Hopper (microarchitectuur)

Hopper is een microarchitectuur voor grafische processoren (GPU's) ontwikkeld door NVIDIA. Het is ontworpen voor datacenters en wordt gebruikt in combinatie met de Lovelace-microarchitectuur.

De Hopper-architectuur is genoemd naar computerwetenschapper en admiraal Grace Hopper van de Amerikaanse marine, en werd officieel uitgebracht in maart 2022. De architectuur is een verbetering ten opzichte van zijn voorgangers, de Turing- en Ampere-microarchitecturen. Ze beschikt over een nieuwe streaming-multiprocessor, een sneller geheugensubsysteem en een transformer acceleration engine.

De Hopper H100 GPU is geïmplementeerd met behulp van het TSMC N4-proces met 80 miljard transistors. Hij bestaat uit maximaal 144 streaming multiprocessors. Dankzij de verhoogde geheugenbandbreedte van de SXM5-socket biedt de Nvidia Hopper H100 betere prestaties in een SXM5-configuratie dan in een typische PCIe-socket.

Hopper biedt een verbeterde doorvoer voor drijvende-komma-berekeningen met enkelvoudige precisie (FP32), met twee keer zoveel FP32-bewerkingen per cyclus per streaming multiprocessor als zijn voorganger. Daarnaast biedt de Hopper-architectuur ondersteuning voor nieuwe instructies, waaronder het Smith-Waterman-algoritme. Net als bij de Ampere-microarchitectuur wordt TensorFloat-32 (TF-32)-rekenkunde ondersteund.

De GH200 combineert een op Hopper gebaseerde H100 GPU met een op Grace gebaseerde 72-core CPU op één module. Het totale stroomverbruik van de module bedraagt maximaal 1000 W.

In 2023, tijdens de AI-boom, was er grote vraag naar H100's. Larry Ellison van Oracle Corporation zei dat jaar dat hij en Elon Musk van Tesla, Inc. en xAI tijdens een diner met Nvidia-CEO Jensen Huang "smeekten" om H100's, "ik denk dat dat de beste manier is om het te beschrijven. Een uur sushi eten en smeken".

In januari 2024 schatten analisten van Raymond James Financial dat Nvidia de H100 GPU verkocht voor een prijs tussen de $25.000 en $30.000 per stuk, terwijl individuele H100's op eBay meer dan $40.000 kostten. In februari 2024 werden Nvidia-producten naar verluidt in gepantserde auto's naar datacenters vervoerd.^[1]