Til maj lancerer NVIDIA “DIGITS”: en kompakt computer beregnet til AI. Den har 128 GB hukommelse - nok til at køre de større sprogmodeller (op til 200 milliarder parametre eller 405 milliarder, hvis man kobler to DIGITS-systemer sammen). I modsætning til “traditionelle” GPU’er som f.eks. den kommende RTX 5090 med 32 GB VRAM (~2.000 USD) har DIGITS (~3.000 USD) en delt RAM pool aka CPU-GPU-hukommelsesdeling og diverse AI-værktøjer.
Ikke samme hastighed som VRAM, men 128 GB alligevel.
Det er nok ikke så interessant for den almene gamer. Men det er godt nyt for mindre virksomheder, der ønsker lokal LLM-inferens eller -træning, uden at skulle dele sine fortrolige data med techgiganter.
Jeg overvejer at installere én på arbejde, når de kommer. Og så bliver den vores lille interne orakel, der kan hjælpe mig med at huske på alle de forskellige fejlkoder og brugsvildledninger til vores produkter.
Ja, det er dog et komplet system - i forhold til 2.000 USD for RTX 5090, kun for grafikkortet.
Så relativt set er det jo billigt. /s
Meh, det er jo ikke engang løgn. Det er jo ikke dyrt, det er vel nogenlunde det samme som 1 kraftig udviklingsmaskine til et softwarefirma. Det er nok ikke målrettet hr. og fru feddit.dk
Jo da. Gratis idé: ai.feddit.dk
Prøliåhørher, du narrer ikke mig. Jeg er udemærket klar over at i allesammen allerede er AI.
Den eneste på Feddit.dk der ikke er en bot er dig.