#Tensor Parallelism

CUDA 张量并行之后，到底有哪几种计算

用一个 X @ W 小例子讲清张量并行里的本地分片计算、Column Parallel、Row Parallel、all-gather、all-reduce、reduce-scatter，以及它们在 Transformer 里的位置。