meta data for this page
  •  

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

— enterprise:nvidia:description:gpu [2024/10/31 17:03] (current)
mchus created
Line 1: Line 1:
 +====== NVIDIA GPU Cheatsheet ======
  
 +
 +^                                 ^         ^ A100 \\ 40GB PCIe  ^ A100 \\ 80GB PCIe  ^ A100 \\ 40GB SXM  ^ A100 \\ 80GB SXM  ^ H100 80GB \\ SXM      ^ H100 80GB\\ PCIe      ^ H100 94GB\\ NVL       ^ H200 141GB\\ NVL      ^ H200 141GB\\ SXM      ^
 +| GPU memory                      | GB      | 40                 | 80                 | 40                | 80                | 80                    | 80                    | 94                    | 141                   | 141                   |
 +| FP64                            | TFLOPS  | 9,7                | 9,7                | 9,7               | 9,7               | 34                    | 26                    | 30                    | 34                    | 34                    |
 +| FP64 Tensor Core                | TFLOPS  | 19,5               | 19,5               | 19,5              | 19,5              | 67                    | 51                    | 60                    | 67                    | 67                    |
 +| FP32                            | TFLOPS  | 19,5               | 19,5               | 19,5              | 19,5              | 67                    | 51                    | 60                    | 67                    | 67                    |
 +| TF32 Tensor Core                | TFLOPS  | 312                | 312                | 312               | 312               | 989                   | 756                   | 835                   | 989                   | 989                   |
 +| BFLOAT16 Tensor Core            | TFLOPS  | 624                | 624                | 624               | 624               | 1979                  | 1513                  | 1671                  | 1979                  | 1979                  |
 +| FP16 Tensor Core                | TFLOPS  | 624                | 624                | 624               | 624               | 1979                  | 1513                  | 1671                  | 1979                  | 1979                  |
 +| FP8 Tensor Core                 | TFLOPS  |                    |                    |                   |                   | 3958                  | 3026                  | 3341                  | 3958                  | 3958                  |
 +| INT8 Tensor Core                | TFLOPS  | 1248               | 1248               | 1248              | 1248              | 3958                  | 3026                  | 3341                  | 3958                  | 3958                  |
 +| GPU memory bandwidth            | TB/s    | 1,55               | 1,935              | 1,55              | 1,935             | 3,35                  | 2                     | 3,9                   | 4,8                   | 4,8                   |
 +| Decoders                        |         |                    |                    |                   |                   | 7 x NVDEC\\ 7 x JPEG  | 7 x NVDEC\\ 7 x JPEG  | 7 x NVDEC\\ 7 x JPEG  | 7 x NVDEC\\ 7 x JPEG  | 7 x NVDEC\\ 7 x JPEG  |
 +| Max thermal design power (TDP)  | W       | 250                | 300                | 400               | 400               | 700                   | 350                   | 400                   | 700                   | 700                   |
 +| Multi-Instance GPUs             |         | 7                  | 7                  | 7                 | 7                 | 7                     | 7                     | 7                     | 7                     | 7                     |
 +| Form factor                     |         | PCIe               | PCIe               | SXM               | SXM               | SXM                   | PCIe                  | PCIe                  | PCIe                  | SXM                   |
 +| NVLink                          | GB/s    | 600                | 600                | 600               | 600               | 900                   | 600                   | 600                   | 900                   | 900                   |
 +| PCIe                            |         | Gen4               | Gen4               | Gen4              | Gen4              | Gen5                  | Gen5                  | Gen5                  | Gen5                  | Gen5                  |