meta data for this page
  •  

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

enterprise:nvidia:description:gpu [2024/10/31 14:03] – created mchusenterprise:nvidia:description:gpu [2025/01/20 13:58] (current) – mchus
Line 1: Line 1:
 ====== NVIDIA GPU Cheatsheet ====== ====== NVIDIA GPU Cheatsheet ======
 +
 +===== Blackwell =====
 +^                                 ^ H100              ^ H200              ^ GB200 Superchip                  ^ NVL72                               ^ NVL36                               ^
 +| Configuration                   | Hopper GPU        | Hopper GPU        | 2x Blackwell GPU, 1x Grace CPU   | 36 Grace CPUs : 72 Blackwell GPUs   | 18 Grace CPUs : 36 Blackwell GPUs   |
 +| FP4 Tensor Dense/Sparse         | N/A               | N/A               | 20/40 petaflops                  | 720/1440 PFLOPS                     | 360/720 PFLOPS                      |
 +| FP6/FP8 Tensor Dense/Sparse     | 2/4 petaflops     | 2/4 petaflops     | 10/20 petaflops                  | 360/720 PFLOPS                      | 180/360 PFLOPS                      |
 +| INT8 Tensor Dense/Sparse        | 2/4 petaflops     | 2/4 petaflops     | 10/20 petaflops                  | 360/720 PFLOPS                      | 180/360 PFLOPS                      |
 +| FP16/BF16 Tensor Dense/Sparse   | 1/2 petaflops     | 1/2 petaflops     | 5/10 petaflops                   | 180/360 PFLOPS                      | 90/180 PFLOPS                       |
 +| TF32 Tensor Dense/Sparse        | 0.5/1 petaflops   | 0.5/1 petaflops   | 2.5/5 petaflops                  | 90/180 PFLOPS                       | 45/90 PFLOPS                        |
 +| FP32                            | 67 teraflops      | 67 teraflops      | 180 teraflops                    | 6480 teraflops                      | 6480 TFLOPS                         |
 +| FP64 Tensor Core                | 34/67 teraflops   | 34/67 teraflops   | 90 teraflops                     | 3240 TFLOPS                         | 1620 TFLOPS                         |
 +| Memory Type                     | HBM3              | HBM3e             | HBM3e                            | HBM3e                               | HBM3e                               |
 +| Memory                          | 80GB(5x16GB)      | 141GB(6x24GB)     | up to 384GB (2x8x24GB)           | up to 13.5TB HBM3e                  | up to 6.75TB HBM3e                  |
 +| Memory Bandwidth                | 3.35TB/s          | 4.8TB/s           | 16 TB/s                          | 576 TB/s                            | 288 TB/s                            |
 +| NVLink Bandwidth                | 900GB/s           | 900GB/s           | 2x 1.8 TB/s                      | 130TB/s                             | 65TB/s                              |
 +| Power                           | 700W              | 700W              | Up to 2700W                      | Up to 123.6kW                       | Up to 67kW                          |
 +
 +===== Hopper =====
  
  
Line 19: Line 37:
 | NVLink                          | GB/s    | 600                | 600                | 600               | 600               | 900                   | 600                   | 600                   | 900                   | 900                   | | NVLink                          | GB/s    | 600                | 600                | 600               | 600               | 900                   | 600                   | 600                   | 900                   | 900                   |
 | PCIe                            |         | Gen4               | Gen4               | Gen4              | Gen4              | Gen5                  | Gen5                  | Gen5                  | Gen5                  | Gen5                  | | PCIe                            |         | Gen4               | Gen4               | Gen4              | Gen4              | Gen5                  | Gen5                  | Gen5                  | Gen5                  | Gen5                  |
 +
 +