GPU的性能主要有哪些？

计算能力（吞吐量）：通常关心的是32位浮点计算能力。16位浮点训练也开始流行，如果只做预测的话也可以用8位整数。

显存大小：当模型越大，或者训练时的批量越大时，所需要的GPU内存就越多。

显存位宽：位数越大则瞬间所能传输的数据量越大。显存带宽：只有当内存带宽足够时才能充分发挥计算能力。