Hvordan fungerer ChatGPT?

ChatGPT er et av de mest skinnende nye AI-drevne verktøyene, men algoritmene som jobber i bakgrunnen har faktisk drevet en hel rekke apper og tjenester siden 2020. Så for å forstå hvordan ChatGPT fungerer, må vi begynne med å snakke om det underliggende språket motoren som driver den.

GPT i ChatGPT er stort sett GPT-3, eller Generative Pre-trained Transformer 3, selv om GPT-4 nå er tilgjengelig for ChatGPT Plus-abonnenter – og vil trolig bli mer utbredt snart. GPT-modellene er utviklet av OpenAI (selskapet bak ChatGPT og bildegeneratoren DALL·E 2), men de driver alt fra Bings AI-funksjoner til skriveverktøy som Jasper og Copy.ai. Faktisk bruker de fleste av AI-tekstgeneratorene som er tilgjengelige for øyeblikket GPT-3, og vil sannsynligvis tilby GPT-4 som et neste trinn.

ChatGPT brakte GPT-3 frem i rampelyset fordi det gjorde prosessen med å samhandle med en AI-tekstgenerator enkel og – viktigst av alt – gratis for alle. I tillegg er det en chatbot, og folk har elsket en god chatbot siden SmarterChild.

Mens GPT-3 og GPT-4 er de mest populære store språkmodellene (LLM) akkurat nå, vil det sannsynligvis bli mye mer konkurranse i løpet av de neste årene. Google, for eksempel, har Bard – sin AI chatbot – som drives av sin egen språkmotor Pathways Language Model (PaLM 2). Men foreløpig er OpenAIs tilbud de facto industristandarden. Det er bare det enkleste verktøyet for folk å få tak i.

Så svaret på "hvordan fungerer ChatGPT?" er i utgangspunktet: GPT-3 og GPT-4. Men la oss grave litt dypere.

Hva er ChatGPT?

ChatGPT er en app bygget av OpenAI. Ved å bruke GPT-språkmodellene kan den svare på spørsmålene dine, skrive kopier, skrive utkast til e-poster, holde en samtale, forklare kode på forskjellige programmeringsspråk, oversette naturlig språk til kode og mer – eller i det minste prøve å – alt basert på det naturlige språket ber deg mate den. Det er en chatbot, men en veldig, veldig god en.

Selv om det er kult å leke med hvis du for eksempel vil skrive en Shakespearesk sonett om kjæledyret ditt eller få noen ideer til emnelinjer for noen markedsførings-e-poster, er det også bra for OpenAI. Det er en måte å få mye data fra ekte brukere og fungerer som en fancy demo for kraften til GPT, som ellers kunne føles litt uklar med mindre du var dypt inne i maskinlæring.

Akkurat nå tilbyr ChatGPT to GPT-modeller. Standarden, GPT-3.5, er mindre kraftig, men tilgjengelig for alle gratis. Den mer avanserte GPT-4 er begrenset til ChatGPT Plus-abonnenter, og selv de får bare et begrenset antall spørsmål hver dag.

En av ChatGPTs store funksjoner er at den kan huske samtalen du har med den. Dette betyr at den kan hente kontekst fra hva du har spurt om den tidligere og deretter bruke den til å informere samtalen med deg. Du kan også be om omarbeidinger og rettelser, og det vil referere tilbake til det du har diskutert før. Det gjør at samhandling med AI føles som en ekte frem og tilbake.

Hvis du virkelig ønsker å få en følelse av det, kan du bruke fem minutter på å spille med ChatGPT nå (det er gratis!), og så kom tilbake for å lese om hvordan det fungerer.

Hvordan fungerer ChatGPT?

Dette enorme datasettet ble brukt til å danne et dypt læringsnevralt nettverk [ ... ] modellert etter den menneskelige hjernen – som tillot ChatGPT å lære mønstre og relasjoner i tekstdataene [ ... ] og forutsi hvilken tekst som skulle komme neste i en gitt setning .

ChatGPT fungerer ved å forsøke å forstå spørsmålet ditt og deretter spytte ut strenger med ord som det forutsier vil best svare på spørsmålet ditt, basert på dataene det ble trent på.

La oss faktisk snakke om den treningen. Det er en prosess der den begynnende AI-en får noen grunnregler, og så blir den enten satt i situasjoner eller gitt masse data å jobbe gjennom for å utvikle sine egne algoritmer.

GPT-3 ble trent på omtrent 500 milliarder «tokens», som gjør at språkmodellene lettere kan tildele mening og forutsi plausibel oppfølgingstekst. Mange ord tilordnes enkeltmerker, selv om lengre eller mer komplekse ord ofte brytes ned i flere tokens. I gjennomsnitt er tokens omtrent fire tegn lange. OpenAI har vært stille om den indre funksjonen til GPT-4, men vi kan trygt anta at den ble trent på omtrent det samme datasettet siden den er enda kraftigere.

Alle tokens kom fra et massivt korpus av data skrevet av mennesker. Det inkluderer bøker, artikler og andre dokumenter på tvers av alle forskjellige emner, stiler og sjangere – og en utrolig mengde innhold som er skrapet fra det åpne internett. I utgangspunktet var det lov å knaske gjennom summen av menneskelig kunnskap.

Dette enorme datasettet ble brukt til å danne et dypt læringsnevralt nettverk - en kompleks, mangelags, vektet algoritme modellert etter den menneskelige hjernen - som gjorde det mulig for ChatGPT å lære mønstre og relasjoner i tekstdataene og utnytte muligheten til å lage menneskelignende svar ved å forutsi hvilken tekst som skal komme neste i en gitt setning.

Selv om det egentlig underselger ting enormt. ChatGPT fungerer ikke på setningsnivå – i stedet genererer det tekst av ord, setninger og til og med avsnitt eller strofer som kan følge. Det er ikke den prediktive teksten på telefonen din som rett og slett gjetter neste ord; den prøver å skape fullstendig sammenhengende svar på en hvilken som helst melding.

For ytterligere å avgrense ChatGPTs evne til å svare på en rekke forskjellige spørsmål, ble den optimalisert for dialog med en teknikk kalt forsterkningslæring med menneskelig tilbakemelding (RLHF). I hovedsak skapte mennesker en belønningsmodell med sammenligningsdata (hvor to eller flere modellsvar ble rangert av AI-trenere), slik at AI-en kunne lære hvilken som var den beste responsen.

Tilbake til det nevrale nettverket det dannet. Basert på all den treningen, har GPT-3s nevrale nettverk 175 milliarder parametere eller variabler som gjør at den kan ta et innspill – forespørselen din – og deretter, basert på verdiene og vektingene den gir til de forskjellige parameterne (og en liten mengde tilfeldighet) ), gir ut det den mener passer best til forespørselen din. OpenAI har ikke sagt hvor mange parametere GPT-4 har, men det er en sikker gjetning at det er mer enn 175 milliarder og mindre enn de en gang ryktet om 100 billioner parametere. Uavhengig av det nøyaktige antallet, betyr ikke flere parametere automatisk bedre. Noe av den økte kraften til GPT-4 kommer sannsynligvis av å ha flere parametere enn GPT-3, men mye er nok ned til forbedringer i hvordan den ble trent.

Til slutt er den enkleste måten å forestille seg det på som et av de "fullfør setningen"-spillene du spilte som barn.

Til slutt er den enkleste måten å forestille seg det på som et av de "fullfør setningen"-spillene du spilte som barn. For eksempel, da jeg ga ChatGPT ved å bruke GPT-3 ledeteksten "Zapier er ..." svarte den og sa:

"Zapier er et nettbasert automatiseringsverktøy som lar brukere koble forskjellige nettapplikasjoner sammen for å automatisere repeterende oppgaver og forbedre arbeidsflytene."

Det er den typen setninger du kan finne i hundrevis av artikler som beskriver hva Zapier gjør, så det er fornuftig at det er den typen ting den spytter ut her. Men da redaktøren min ga den samme oppfordringen, sa den:

"Zapier er et nettbasert automatiseringsverktøy som lar brukere koble sammen forskjellige nettapplikasjoner og automatisere arbeidsflyter mellom dem."

Det er ganske likt, men det er ikke akkurat det samme svaret. Den tilfeldigheten (som du kan kontrollere i noen GPT-3-apper med en innstilling kalt "temperatur") sikrer at ChatGPT ikke bare svarer på hvert enkelt svar med det som tilsvarer et aksjesvar. Den kjører hver prompt gjennom hele det nevrale nettverket hver gang, og kaster et par terninger her og der for å holde ting friskt. Det er ikke sannsynlig å begynne å hevde at Zapier er en farge fra Mars, men det vil blande opp følgende ord basert på deres relative sannsynligheter.

(For hva det er verdt, når du kjører på GPT-4, sa ChatGPT: " Zapier er et nettbasert automatiseringsverktøy som lar brukere integrere og automatisere oppgaver mellom ulike nettapplikasjoner og tjenester." Mye det samme!)

Spytter ut ord, ikke kunnskap

Skaperne av ChatGPT er de første til å si at det kan produsere feil (og muligens skadelig) informasjon, selv om de jobber hardt for å fikse det.

Her er et tamt eksempel. Da jeg spurte ChatGPT ved å bruke GPT-3 og GPT-4 om å svare på "Harry Guinness er..." svarte GPT-3 først ved å spørre hvilken Harry Guinness. Flott spørsmål - vi er bokstavelig talt to! Så jeg sa: "Harry Guinness the writer" (det er meg). GPT-4 gjettet hvem jeg var med en gang, selv om begge svarene var fascinerende:

GPT-3: Harry Guinness er en frilansskribent og journalist basert i Irland. Han har skrevet for en rekke publikasjoner, inkludert The New York Times, The Guardian, The Huffington Post og Popular Mechanics. Han dekker temaer som spenner fra teknologi og fotografi til reise og kultur.

GPT-4: Harry Guinness er en irsk forfatter, fotograf og teknologiekspert. Han har skrevet for forskjellige publikasjoner, inkludert How-To Geek, Lifehacker og Tuts+. Arbeidet hans fokuserer først og fremst på teknologi, veiledninger og tips, samt fotografering og bilderedigering. Guinness har bygget et rykte for å lage detaljerte guider som hjelper leserne å forstå komplekse emner eller løse problemer på en enkel måte.

GPT-3s første og siste linje er hentet nesten ordrett fra mine forskjellige nettsteder og forfatterbios rundt på nettet (selv om jeg vanligvis oppgir meg selv som frilansskribent og fotograf, ikke journalist). Men listen over publikasjoner er i utgangspunktet satt opp. Jeg har skrevet for The New York Times , men ikke for The Guardian , The Huffington Post eller Popular Mechanics (jeg skriver regelmessig for Popular Science , så det kan være der det kom fra).

GPT-4 får fotografdelen rett og viser faktisk noen publikasjoner jeg har skrevet for, noe som er imponerende, selv om det ikke er de jeg ville vært mest stolt av. Det er et flott eksempel på hvordan OpenAI har vært i stand til å øke nøyaktigheten til GPT-4 i forhold til GPT-3, selv om det kanskje ikke alltid gir det mest korrekte svaret.

Men la oss gå tilbake til GPT-3 siden feilen gir et interessant eksempel på hva som skjer bak kulissene i ChatGPT. Den vet faktisk ingenting om meg. Det er ikke engang å kopiere/lime inn fra internett og stole på kilden til informasjonen. I stedet forutsier det ganske enkelt en rekke ord som kommer neste basert på milliarder av datapunkter den har.

For eksempel: The New York Times grupperes langt oftere med The Guardian og The Huffington Post enn det er med stedene jeg har skrevet for, som Wired , Outside , The Irish Times og, selvfølgelig, Zapier. Så når det skal finne ut hva som skal følge på fra The New York Times , trekker det ikke fra den publiserte informasjonen om meg; den henter den listen over store publikasjoner fra alle treningsdataene den har. Det er veldig smart og ser plausibelt ut, men det er ikke sant.

GPT-4 gjør en mye bedre jobb og nagler publikasjonene, men resten av det det står føles egentlig bare som plausible oppfølgingssetninger. Jeg tror ikke det setter stor pris på ryktet mitt: det er bare å si den typen ting en bio sier. Den er langt bedre til å skjule hvordan den fungerer enn GPT-3, selv om den faktisk bruker mye av den samme teknikken.

Likevel er det veldig imponerende hvor mye GPT allerede har forbedret seg. Foreløpig er GPT-4 låst bak et premium-abonnement, så det meste av ChatGPT-innholdet du ser vil stole på GPT-3, men det kan endre seg i løpet av den neste tiden. Hvem vet hva GPT-5 vil bringe.

Hva er ChatGPT API?

OpenAI har ikke en bare-oss-holdning med sin teknologi. Selskapet har en API-plattform som lar utviklere integrere kraften til ChatGPT i sine egne apper og tjenester (for en pris, selvfølgelig).

Zapier bruker ChatGPT API for å drive sin egen ChatGPT-integrasjon, som lar deg koble ChatGPT til tusenvis av andre apper og legge til AI til dine forretningskritiske arbeidsflyter. Her er noen eksempler for å komme i gang, men du kan utløse ChatGPT fra praktisk talt hvilken som helst app.

Du kan også benytte deg av OpenAIs andre modeller—som DALL·E og Whisper—med Zapiers OpenAI-integrasjon. Automatiser arbeidsflyter som involverer bildegenerering og lydtranskripsjon, rett fra appene du allerede bruker.

Relatert lesning: Hvordan du kan (og når du ikke bør) bruke ChatGPT til å skrive markedsføringskopi