SIMT 的欺骗性
很多人把 CUDA 当成并行计算的银弹。说实话，它不是。它只是一个极度精致的调度器。核心叫 SIMT——单指令多线程。听着像 SIMD 的亲戚，对吧？但你以为 32 个线程真在同时跑？大错特错。它们被捆成 Warp，像囚徒一样一波波送进执行单元。如果你写的代码里分支太多——那个叫 divergence——Warp 分裂，性能直接腰斩。我曾在一个图像卷积核里把分支从 4 路砍到 2 路，耗时从 1.2ms 降到 0.8ms。没有什么魔法，就是让 Warp 少受点刑。
所以说，CUDA 编程的本质是揣摩硬件。你得知道 SM 流多处理器内部有几个 warp scheduler，每个 cycle 能发几条指令。这样才能写出那种让硬件爽到的代码。不然你就是在写 C++，跑在贵得要死的显卡上，却只比 CPU 快那么一丢丢——甚至更慢。
内存的迷宫
GPU 的内存模型才是真正的修罗场。全局内存、共享内存、常量内存、纹理内存……还分什么 pinned memory、pageable memory。我刚入门那会儿，直接把 CPU 的数组一股脑拷到全局内存，延迟高得吓人。后来才明白：全局内存是公共厕所，又远又慢，共享内存才是包间——得自己手动搬数据。
这里有个压测案例：一个矩阵转置，用全局内存粗暴直读，带宽才 200GB/s，换成共享内存做 tile，飙到 900GB/s。A100 的理论带宽 1555GB/s 还没用满，因为 bank conflict 没处理好——共享内存分 32 个 bank，你的线程要是都踩在同一个 bank 上，那就串行化了。我花了一整天加 padding 消除冲突，带宽才拉到 1.3TB/s。这种硬件级别的过载，想想就头疼，但调通那一刻的快感，也是双倍的。
再说异步传输。cudaMemcpyAsync 用着爽，忘了加 cudaStreamSynchronize，结果主机端读数据时显卡还没写完，那叫一个酸爽——随机抽风，偶尔正确。后来我定了个铁律：凡是异步，必有显式同步。哪怕多写一行 cudaDeviceSynchronize 调试的时候打开，也比玄学 bug 强。
三大陷阱与补丁
陷阱一：隐式同步幽灵。你会发现 cudaMalloc 一个迟滞，但你没写同步啊？因为它内部有个设备级锁。解决：要么用 cudaMallocAsync（注意得新驱动），要么干脆在程序启动时把显存全申请了，跑起来之后绝不碰分配。这招土，但管用——我这么干过，微服务延迟从抖动 2ms 变成稳定 0.5ms。
陷阱二：统一内存的美丽谎言。Unified Memory 让你觉得不用管数据移动，OS 帮你换页。可一旦你的数据集超出 GPU 显存，那个缺页故障带来的延迟——啧啧，比 CPU 还慢 10 倍。所以别懒，老老实实手动管理：分析数据流，用 prefetch 把需要的页提前搬到设备端。哪怕代码变长 30%，也是值得的。
陷阱三：warp-level primitive 的毒药。__shfl_down_sync 这种指令，玩好了极致快，玩坏了整个 warp 一起凉。你得保证 mask 里的线程同时抵达，少一个就死锁。我的解法：只要是 warp 内通信，一律用 __syncwarp() 做屏障，而且把 divergent branch 彻底堵死——宁可多复制一份数据，也不让 warp 分裂。
写在最后的硬核美学
说到底，CUDA 这东西，真学深了会上瘾。它迫使我们用硬件的眼光去推倒重写算法。那种把 2048 个线程同时搅动起来，让显存带宽吃满的瞬间——风扇狂转，电流嘶鸣——是一种纯粹的计算暴力美学。别信什么自动并行编译器，别指望框架替你擦屁股，就得自己下去跟寄存器、cache line、warp 较劲。才能榨出那最后 20% 的性能。这 20%，往往就是产品生死线。
