ChatGPT tok en MBA-eksamen. Her er hvordan det gjorde

En professor ved Wharton, University of Pennsylvania har gitt en teoretisk B-karakter til ChatGPT etter å ha merket svarene den genererte for en avsluttende eksamen i et typisk MBA-kurs.

Christian Terwiesch, professor i operasjonsledelse ved Wharton, sa ChatGPT gjør en "fantastisk jobb med grunnleggende operasjonsledelse og prosessanalysespørsmål."

"Ikke bare er svarene riktige, men forklaringene er utmerket," skriver han i en ny melding.

Også: Hvordan komme i gang med ChatGPT

Men han la til at chatboten gjør "overraskende feil i relativt enkle beregninger på nivået i 6. klasse matematikk," og at den for øyeblikket ikke kan håndtere mer avanserte prosessanalysespørsmål. På den annen side kan den nåværende versjonen av ChatGPT endre svarene sine som svar på menneskelige hint for å komme frem til den riktige løsningen.

«Tatt i betraktning denne prestasjonen, ville Chat GPT3 ha fått en B til B-karakter på eksamen», skriver Terwiesch.

Flere av Terwieschs spørsmål hadde som mål å teste om ChatGPT kunne identifisere en flaskehals i en prosesseringsoperasjon med flere maskiner som har ulik gjennomstrømningskapasitet.

ChatGPT, derimot, "gjorde en betydelig feil av en enorm størrelse" ved beregning med middels aritmetikk.

Interessant nok svarte ChatGPT i utgangspunktet feil på et av Terwieschs spørsmål angående køanalyse. Han ba den med et hint for et bedre svar, og ChatGPT forbedret svaret. Dagen etter stilte professoren det samme innledende køspørsmålet uten hint - og ChatGPT svarte riktig på sitt første forsøk.

"Enten er den i stand til å lære av tidligere tilbakemeldinger, eller så har jeg bare vært heldig," bemerker han, og legger til at det så ut til å være en viss tilfeldighet i kvaliteten på svarene.

Terwiesch fant også ut at ChatGPT var i stand til å formulere smarte og humoristiske spørsmål som han kunne bruke i fremtidige eksamener. Chatboten introduserte imidlertid også subtile feil i noen spørsmål som gjorde dem umulige å svare på.

Også: ChatGPT "manglet dybde og innsikt," sier prestisjetunge redaktører for vitenskapstidsskrift

Terwiesch advarer andre om å være oppmerksomme på ChatGPTs muligheter og begrensninger. Han sier at han "ble forelsket" i ChatGPT etter å ha lest svaret på det første spørsmålet hans, men advarer om at det "gjorde store feil i noen ganske enkle situasjoner."

«Vi er fortsatt langt fra en A+ for komplekse problemer, og vi trenger fortsatt et menneske i løkken», skriver han.

"Etter mitt syn på utdanning trenger en grunnskoleelev fortsatt å lære at 7 x 7 = 49 og at hovedstaden i Pennsylvania er Harrisburg, selv om kalkulatorer har vært mye brukt i over 50 år og elever kan bruke Google Wikipedia for å finne svar for de fleste faktaspørsmål. Det er grunnferdighetenes natur at de kreves for å forstå mer avanserte emner."

Terwiesch er enig i at lærere bør være bekymret for at K-12-studenter kan bruke ChatGPT for å jukse med oppgaver og eksamener. For eksempel har New York City Department of Education nylig forbudt chatboten fordi pålitelige tester er viktige i undervisningen, mens ferdighetssertifisering ikke bør kompromitteres på grunn av ny teknologi. En student som bruker ChatGPT er som å kunne ringe en venn med «gjennomsnittlig akademisk kompetanse» for å fullføre eksamen for dem, bemerker han.

Men han hevder også ChatGPT og lignende teknologier har evnen til å spille rollen som en "smart konsulent" - en som produserer elegante, men ofte feil svar, som han mener er den "perfekte treningsplassen" for å utvikle ferdigheter blant MBA-studenter som trenger å kritisk vurdere foreslåtte alternativer.