OpenAI och chiptillverkaren Broadcom har presenterat ett nytt chip vid namn Jalapeño, byggt specifikt för att köra stora språkmodeller i datacenter. Det rapporterar Ars Technica.
Chipet är en så kallad ASIC, ett kretskort designat för en enda uppgift, och enligt Broadcom ritades det från grunden för just inferens, alltså själva körningen av färdigtränade modeller. Bolagen beskriver Jalapeño som första generationen i ett långsiktigt samarbete där chipen ska förfinas över tid.
Kapplöpningen om kisel
Bakgrunden är den skenande efterfrågan på beräkningskraft för AI. Att OpenAI går in och formger egen hårdvara tillsammans med en etablerad leverantör säger en del om hur trångt det börjar bli om de chip som faktiskt går att köpa, framför allt Nvidias.
För OpenAI handlar det om att få mer kontroll över både kostnad och tillgång. Ett chip byggt enbart för att köra deras egna modeller kan i teorin bli både billigare och effektivare per fråga än generell hårdvara. Men Jalapeño är ännu första generationen, och bolagen har inte redovisat några oberoende prestandasiffror. Hur väl det står sig mot Nvidias kretsar återstår att se.