Ny åpen kildekode ChatGPT-klone - Kalt Dolly

Open Source GPT Chat tok et nytt skritt fremover med utgivelsen av Dolly Large Language Model (DLL) opprettet av Databricks, et programvareselskap for bedrifter.

Den nye ChatGPT-klonen heter Dolly, oppkalt etter den berømte sauen med samme navn, det første pattedyret som ble klonet.

Åpne Kilde Store Språkmodeller

Dolly LLM er den nyeste manifestasjonen av den voksende åpne kildekode AI-bevegelsen som søker å tilby større tilgang til teknologien slik at den ikke monopoliseres og kontrolleres av store selskaper.

En av bekymringene som driver open source AI-bevegelsen er at bedrifter kan være motvillige til å overlate sensitiv data til en tredjepart som kontrollerer AI-teknologien.

Basert på åpen kildekode

Dolly ble opprettet fra en åpen kildekode-modell som ble utviklet av det ideelle forskningsinstituttet EleutherAI og Stanford Universitys Alpaca-modell, som igjen ble opprettet fra den åpne kildekoden LLaMA-modellen med 65 milliarder parametere, som ble utviklet av Meta.

LLaMA, som står for Large Language Model Meta AI, er en språkmodell som er trent på offentlig tilgjengelige data.

Ifølge en artikkel publisert av Weights & Biases, kan LLaMA prestere bedre enn mange av de beste språkmodellene (OpenAI GPT-3, Gopher av Deep Mind og Chinchilla av DeepMind) til tross for å være mindre.

Opprette et bedre datasett

En annen inspirasjon kom fra en akademisk forskningsartikkel (SELF-INSTRUCT: Tilpasning av språkmodell med selvgenererte instruksjoner PDF) som beskrev en måte å lage høykvalitets autogenerert treningdata for spørsmål og svar som er bedre enn den begrensede offentlige datamengden.

Selvopplært forskningsartikkel forklarer:

"…vi kuraterer en samling av ekspertskrevne instruksjoner for nye oppgaver og viser gjennom menneskelig evaluering at å finjustere GPT3 med SELF-INSTRUCT gir betydelig bedre resultater enn å bruke eksisterende offentlige instruksjonsdatasett, og bare etterlater en absolutt forskjell på 5% i forhold til InstructGPT…

…Ved å anvende vår metode på vanlig GPT3 viser vi en absolutt forbedring på 33% sammenlignet med den opprinnelige modellen på SUPERNATURALINSTRUCTIONS, noe som er på linje med ytelsen til InstructGPT…som er trent med privat brukerdata og menneskelig annotering."

Betydningen av Dolly er at den viser at en nyttig stor språkmodell kan opprettes med en mindre, men høykvalitets datasett.

Databricks observerer:

«Dolly fungerer ved å ta en eksisterende åpen kildekode-modell med 6 milliarder parametere fra EleutherAI og justere den svært lite for å fremkalle instruksjonsfølgingsegenskaper som idémyldring og tekstgenerering som ikke finnes i den opprinnelige modellen, ved hjelp av data fra Alpaca.

…Vi viser at hvem som helst kan ta en datert ferdiglaget åpen kildekode for et stort språkmodell (LLM) og gi den magisk ChatGPT-lignende instruksjonsoppfølgende evne ved å trene den i 30 minutter på én maskin, ved hjelp av kvalitetsrik treningsdata.

Overraskende nok ser det ut til at å følge instruksjoner ikke krever de nyeste eller største modellene: vår modell har bare 6 milliarder parametere, sammenlignet med 175 milliarder for GPT-3.

Databricks Åpen kildekode AI

Dolly sies å demokratisere AI. Den er en del av en voksende bevegelse som nylig ble fulgt av den ideelle organisasjonen Mozilla med etableringen av Mozilla.ai. Mozilla er utgiveren av Firefox-nettleseren og annen åpen kildekode-programvare.