Kan ChatGPT bestå juristeksamen?

ChatGPT og barneksamen

Advokateksamen er en streng test som vurderer kunnskap og resonnementsevne gjennom essays, praktiske oppgaver og flervalgsoppgaver. Den er en standardisert test som brukes av mange amerikanske jurisdiksjoner som en del av deres opptaksprosess til advokatbevilling. Den består av tre deler som vurderer en kandidats kunnskap om grunnleggende juridiske prinsipper, evne til å anvende juridiske prinsipper på konkrete faktamønstre, og evne til å utføre juridiske oppgaver.

Dette eksamen er utformet for å la advokater få lisens i flere stater uten å måtte ta barneksamen for hver stat på nytt. Den beståtte poengsummen blir fastsatt av hvert enkelt område, og eksamensresultatene kan overføres til andre staters områder, i henhold til hver enkel områdes regler og krav.

GPT-3.5 og GPT-4, de store OpenAI-språkmodellene som ChatGPT er bygget på, har evnen til å gjøre vanskelige oppgaver som krever omfattende juridisk kunnskap, leseforståelse og skriveferdigheter, til det punktet der de kan oppfylle standarden til menneskelige advokater i nesten alle amerikanske jurisdiksjoner. Den nasjonale konferansen for barundersøkelser, som har laget flervalgsdelen, har bemerket at advokater besitter unike evner som er oppnådd gjennom utdanning og praksis, evner som kunstig intelligens for øyeblikket ikke kan matche.

Hvordan presterte ChatGPT på juraeksamen?

Tidligere i år gjennomførte forskere fra Illinois Tech og Michigan State College of Law forskning der ChatGPT 3.5 klarte å oppnå en bestått resultat i to kategorier av multistatligeksamen (MBE) og presterte tilsvarende menneskelige kandidater i en annen kategori, noe som viser dens generelle forståelse for det juridiske området. I en annen forskning gjennomført av OpenAI-forskere selv, klarte ChatGPT seg bra på eksamenen og oppnådde en poengsum på 90 prosentilen i denne forskningen. Den fikk nesten 76% av flervalgsspørsmålene riktig, en forbedring fra ChatGPT's 50% og presterte bedre enn den gjennomsnittlige menneskelige deltakeren med over 7%.

ChatGPT var i stand til å generere oppgave- og prestasjonstest-responser som var hovedsakelig relevante og logisk sammenhengende. Terskelen for å bestå advokateksamen varierer fra stat til stat, og i New York kreves det en score på 266, omtrent på 50. persentil, for å bestå. Resultatene til ChatGPT tyder på at store språkmodeller har evner som strekker seg til komplekse oppgaver som krever betydelig juridisk kunnskap, forståelse og skriveferdigheter. Disse modellene oppfyller den standarden som gjelder for menneskelige advokater i nesten alle jurisdiksjoner i USA.

Bestod ChatGPT en advokateksamen?

ChatGPT besto den uniforme advokateksamenen.

Hva er den øverste 1% karakteren på en advokateksamen?

300 er omtrentlig toppen av den 90. prosentilen, mens en poengsum på 330 er rundt toppen av 1%.