JavaScript is currently disabled.Please enable it for a better experience of Jumi. Spikande chip för Chat GPT i fickan

Koreanska forskningsinstitutet Kaist presenterar en AI-accelerator för strömsnåla inbyggda system baserad på en spikande arkitetur.

Ett drygt år efter ChatGPT börjar det dyka upp AI-chip skräddarsydda för generativ AI. Nu har Kaist (Korea Advanced Institute of Science and Technology) presenterat en strömsnål krets för inbyggda system kallad C-Transformer (Complementary-Transformer).

Per operation ska den dra 625 gånger mindre ström än Nvidias AI-superprocessor A100 när den kör språknätet GPT2. Till skillnad från A100 är den optimerad för AI-språkmodeller och för strömsnålhet. Den sägs dessutom komprimera nätets parametrar.

C-Transformer är byggd på en gammal tillverkningsprocess: 28 nanometer mot 7 nanometer för A100. Den tar upp 4,5 mm2. A100 är 41 gånger större och drar 250 W mot 400 mW för C-Transformer.

Det mest intressanta enligt Kaist är att den använder en så kallad spikande arkiktektur vilket betyder att beräkningarna inte klockas fram utan bara sker som respons på händelser, med tanken att spara ström.

Idén är gammal, men den här versionen är dessutom specialanpassad för språkmodeller. De tre huvudkomponenterna heter HDSC, OSSU och IWGU, vilket står för Homogeneous DNN-Transformer/Spiking-transformer Core, Output Spike Speculation Unit, respektive Implicit Weight Generation Unit.

Läs mer här (länk).

 

MER LÄSNING:
 
KOMMENTARER
Kommentarer via Disqus

Anne-Charlotte Lantz

Anne-Charlotte
Lantz

+46(0)734-171099 ac@etn.se
(sälj och marknads­föring)
Per Henricsson

Per
Henricsson
+46(0)734-171303 per@etn.se
(redaktion)

Jan Tångring

Jan
Tångring
+46(0)734-171309 jan@etn.se
(redaktion)