Syv gratis åpen kildekode GPT-modeller utgitt

Silicon Valley AI-selskapet Cerebras har utgitt syv åpne kildekode-GPT-modeller for å tilby et alternativ til de strengt kontrollerte og proprietære systemene som er tilgjengelige i dag.

De kongelige, gratis open source GPT-modellene, inkludert vektene og treningsoppskriften, er blitt utgitt under den svært liberale Apache 2.0-lisensen av Cerebras, et AI-infrastrukturselskap basert i Silicon Valley.

Til en viss grad er de syv GPT-modellene en bevisførelse for Cerebras Andromeda AI-superdatamaskinen.

Cerebras-infrastrukturen gjør det mulig for kundene deres, som Jasper AI Copywriter, å raskt trene opp egne tilpassede språkmodeller.

En Cerebras-blogginnlegg om maskinvareteknologi noterte:

"Vi trente alle Cerebras-GPT-modellene på en 16x CS-2 Cerebras Wafer-Scale Cluster kalt Andromeda.

Clusteret gjorde det mulig å fullføre alle eksperimenter raskt, uten behov for tradisjonell distribuert systemteknikk og modellparallelle justeringer som kreves på GPU-cluster.

Mest viktig var at det gjorde det mulig for forskerne våre å fokusere på ML-designet i stedet for distribuert system. Vi mener evnen til å enkelt trene store modeller er en nøkkelmuliggjør for det brede samfunnet, så vi har gjort Cerebras Wafer-Scale Cluster tilgjengelig på skyen gjennom Cerebras AI Model Studio."

Cerebras GPT-modeller og gjennomsiktighet

Cerebras nevner konsentrasjonen av eierskap til AI-teknologi hos bare noen få selskaper som en grunn til å opprette syv åpne kildekode GPT-modeller.

OpenAI, Meta og Deepmind holder en stor mengde informasjon om systemene sine private og strengt kontrollert, noe som begrenser innovasjonen til det de tre selskapene bestemmer at andre kan gjøre med dataene sine.

Er et lukket kildekode-system best for innovasjon innen kunstig intelligens? Eller er åpen kildekode fremtiden?

Cerebras skriver:

«For at LLM-er skal være en åpen og tilgjengelig teknologi, mener vi det er viktig å ha tilgang til toppmoderne modeller som er åpne, gjenskapbare og fri for rettigheter både for forskning og kommersielle applikasjoner.»

«Av den grunn har vi trent opp en familie av transformer-modeller ved hjelp av de nyeste teknikkene og åpne datasett som vi kaller Cerebras-GPT.»

«Disse modellene er den første familien av GPT-modeller trent opp ved hjelp av Chinchilla-metoden og utgitt under Apache 2.0-lisensen.»

Derfor blir disse sju modellene utgitt på Hugging Face og GitHub for å oppmuntre til mer forskning gjennom åpen tilgang til AI-teknologi.

Disse modellene ble trent med Cerebras' Andromeda AI-superdatamaskin, en prosess som bare tok uker å fullføre.

Cerebras-GPT er fullstendig åpen og transparent, i motsetning til de nyeste GPT-modellene fra OpenAI (GPT-4), Deepmind og Meta OPT.

OpenAI og Deepmind Chinchilla tilbyr ikke lisenser for å bruke modellene. Meta OPT tilbyr kun en ikke-kommersiell lisens.

OpenAI's GPT-4 har absolutt ingen gjennomsiktighet når det gjelder treningsdataene deres. Brukte de Common Crawl-data? Drev de med nettskraping og laget sin egen datasett?

OpenAI holder denne informasjonen (og mer) hemmelig, noe som står i kontrast til Cerebras-GPT-tilnærmingen som er fullstendig gjennomsiktig.

Følgende er åpent og gjennomsiktig:

• Modellarkitektur
• Treningsdata
• Modellvekter
• Kontrollpunkter
• Tilstand for optimal trening (ja)
• Lisens til bruk: Apache 2.0-lisens

De syv versjonene kommer i 111M, 256M, 590M, 1.3B, 2.7B, 6.7B og 13B modeller.

Det ble kunngjort:

«For første gang blant AI-maskinvareselskaper har Cerebras-forskere trent en serie på syv GPT-modeller med 111M, 256M, 590M, 1.3B, 2.7B, 6.7B og 13B parametere på Andromeda AI-superdatamaskinen.

Vanligvis tar dette flere måneder, men takket være den utrolige hastigheten til Cerebras CS-2-systemene som utgjør Andromeda, og Cerebras' vektstrømningsarkitektur som eliminerer behovet for distribuert beregning, ble dette arbeidet fullført på bare noen få uker.

Disse resultatene viser at Cerebras' systemer kan trene de største og mest komplekse AI-arbeidsbelastningene i dag.

Dette er første gang en serie GPT-modeller, trent ved hjelp av banebrytende teknikker for treningseffektivitet, har blitt offentliggjort.

Disse modellene er trent slik at de oppnår høyest mulig nøyaktighet med et gitt beregningsbudsjett (dvs. treningseffektivitet ved bruk av Chinchilla-oppskriften), og derfor har de kortere treningstid, lavere treningkostnad og bruker mindre energi enn noen eksisterende offentlige modeller.»

Åpen kildekode AI

Mozilla-stiftelsen, skaperne av åpen kildekodeprogramvaren Firefox, har startet et selskap kalt Mozilla.ai for å bygge åpen kildekode GPT og anbefalingssystemer som er pålitelige og respekterer personvernet.

Databricks har også nylig lansert en åpen kildekode GPT Klon som heter Dolly, som har som mål å demokratisere "magien til ChatGPT".

I tillegg til de syv Cerebras GPT-modellene, har et annet selskap ved navn Nomic AI lansert GPT4All, en åpen kildekode GPT som kan kjøres på en bærbar datamaskin.

Den åpne kildekode AI-bevegelsen er på et tidlig stadie, men får stadig mer fart.

GPT-teknologi gir opphav til massive endringer på tvers av bransjer, og det er mulig, kanskje uunngåelig, at bidrag fra åpen kildekode kan endre ansiktet til bransjene som driver denne endringen.

Hvis den åpne kildebevegelsen fortsetter å utvikle seg i dette tempoet, kan vi være på terskelen til å være vitne til en endring i AI-innovasjon som hindrer at den havner i hendene på noen få selskaper.

Les den offisielle kunngjøringen:

Cerebras Systems Lanserer Sju Nye GPT-modeller Trent på CS-2 Wafer-Scale Systemer