Kan AI-detektorer redde oss fra ChatGPT? Jeg prøvde 3 online verktøy for å finne ut

Dette er den andre artikkelen i det som er i ferd med å bli en serie som utforsker problemene med AI-generert tekst.

I denne delen ser AI-kameraten min og jeg på spørsmålet om det er mulig å slå tilbake mot AI-generert plagiat, og hvordan det kan fungere.

Også: Hva er ChatGPT og hvorfor betyr det noe? Her er det du trenger å vite

Før jeg fortsetter, må vi imidlertid snakke om konseptet plagiat og hvordan det relaterer seg til dette problemet. Webster's definerer "plagiat" som "å stjele og gi bort (ideer eller ord fra en annen) som ens egen: bruk (en annens produksjon) uten å kreditere kilden."

Dette passer for AI-skapt innhold. Mens noen som bruker et AI-verktøy som Notion AI eller ChatGPT ikke stjeler innhold, hvis vedkommende ikke krediterer ordene som kommer fra en AI og hevder at de er deres egne, oppfyller det fortsatt ordbokdefinisjonen av plagiat.

ZDNET anbefaler

De beste AI-chatbotene: ChatGPT og andre interessante alternativer å prøve

AI chatbots og skribenter kan bidra til å lette arbeidsmengden din ved å skrive e-poster og essays og til og med gjøre matematikk. De bruker kunstig intelligens for å generere tekst eller svare på spørsmål basert på brukerinndata. ChatGPT er et populært eksempel, men det er andre bemerkelsesverdige chatbots.

Les Nå

I denne eksperimentelle artikkelen har jeg bedt ChatGPT om å hjelpe. Ordene mine er i normal og fet tekst. AI sine ord er kursiv. Jeg kommer også til å bruke tre online ChatGPT plagiatdetektorer (som jeg vil beskrive mer detaljert nedenfor). Etter hver AI-generert seksjon vil jeg vise resultatene av detektorene. På slutten av artikkelen skal vi se på hvor godt detektorene totalt sett presterte.

Her er resultatet for teksten ovenfor, som jeg skrev selv:

• GPT-2-utgangsdetektor: 99,98 % ekte
• Writer AI Content Detector: 100 % menneskeskapt innhold. Fantastisk!
• Innhold i skala AI-innholdsdeteksjon: 100 % poengsum for menneskelig innhold. Ser flott ut!

Med det, la oss komme i gang.

Forklar hvorfor ChatGPT kan være et reelt problem for lærere og redaktører når det kommer til plagiering

ChatGPT er en variant av språkmodellen GPT (Generative Pre-trained Transformer) utviklet av OpenAI. Den er designet for å generere menneskelignende tekst ved å forutsi neste ord eller setning i en gitt inndatasekvens. Mens ChatGPT kan være et nyttig verktøy for å generere tekst og svare på spørsmål, kan det også være et problem for lærere og redaktører når det kommer til plagiering.

En av hovedgrunnene til at ChatGPT kan være et problem for lærere og redaktører, er at det kan generere tekst som er veldig lik den til ekte menneskelige forfattere. Dette betyr at studenter eller andre enkeltpersoner potensielt kan bruke ChatGPT til å generere tekst som de deretter kan sende inn som sitt eget arbeid, og dermed begå plagiering.

Også: Kan Notion AI skrivehjelper skrive denne artikkelen?

For lærere og redaktører kan det være svært vanskelig å oppdage om et gitt stykke tekst ble generert av ChatGPT eller skrevet av et menneske, siden den genererte teksten kanskje ikke inneholder noen åpenbare feil eller avvik som kan avsløre dens kunstige opprinnelse. Dette kan gjøre det vanskelig for lærere og redaktører å identifisere og forhindre plagiering, da de kanskje ikke er i stand til å fortelle om et gitt tekststykke er originalt eller kopiert fra en annen kilde.

Samlet sett kan ChatGPT og andre lignende språkmodeller være et problem for lærere og redaktører når det kommer til plagiering fordi de kan generere tekst som er vanskelig å skille fra den som er skrevet av mennesker, noe som gjør det lettere for elever og andre individer å begå plagiat uten å være oppdaget.

• GPT-2-utgangsdetektor: 99,69 % ekte
• Writer AI Content Detector: 97 % menneskeskapt innhold. Fantastisk!
• Innhold i skala AI-innholdsdeteksjon: 87 % poengsum for menneskelig innhold. Ser bra ut!

Husk at tekst vist i kursiv ble generert av AI.

Vis meg minst tre måter jeg kan oppdage ChatGPT ble brukt til å produsere et stykke tekst

Det er flere måter du potensielt kan oppdage om ChatGPT eller en annen språkmodell ble brukt til å produsere et tekststykke. Her er tre potensielle tilnærminger du kan bruke:

1. Se etter repeterende eller uvanlige mønstre i teksten: En måte å oppdage om en språkmodell ble brukt til å generere et tekststykke, er å se etter repeterende eller uvanlige mønstre i skriften. For eksempel kan språkmodeller gjenta visse fraser eller ordkombinasjoner, eller bruke uvanlige eller inkonsekvente setningsstrukturer.
2. Sjekk for mangel på originalitet: En annen måte å oppdage om en språkmodell ble brukt til å generere et tekststykke, er å sjekke for manglende originalitet i skriften. Hvis et tekststykke ser ut til å være kopiert fra en annen kilde, eller hvis det inneholder informasjon som er allment tilgjengelig på internett eller i andre kilder, kan det være et tegn på at det er generert av en språkmodell.
3. Bruk en plagiatkontroll: Til slutt kan du bruke en plagiatkontroll for å sjekke om en tekstdel ser ut til å være kopiert fra en annen kilde. Selv om en plagiatkontroller kanskje ikke definitivt kan avgjøre om en språkmodell ble brukt til å generere et tekststykke, kan den hjelpe deg med å identifisere tilfeller av kopiering eller parafrasering fra andre kilder.
4. Legg merke til når svaret åpenbart er feil: Jeg snakket om dette i min Notion AI-anmeldelse, der jeg satte søkelyset på en tekst AI skrev med tilsynelatende autoritet, men som var åpenbart feil. Hvis en student eller skribent ikke har full beherskelse av emnet som diskuteres, kan det hende de ikke oppdager unøyaktighetene og bare la dem ligge i det AI-genererte svaret. Selvfølgelig er uriktige utsagn ikke bare formålet med et AI-skriveverktøy. Mange bloggere og kommentatorer, for eksempel, gjentar ganske enkelt uttalelser fra andre bloggere, og skaper et ekkokammer av fullstendig "falske fakta", som viser at selv om intelligens kan være kunstig, er dumhet en universell egenskap.

Husk at det kan være vanskelig å definitivt fastslå om en språkmodell ble brukt til å generere et tekststykke, og disse metodene er kanskje ikke alltid effektive. De kan imidlertid være nyttige verktøy for å hjelpe deg med å identifisere potensielle forekomster av språkmodellgenerert tekst.

I dette settet med tester ble bare det kursiviserte innholdet ovenfor kjørt gjennom sjekkepakken.

• GPT-2-utgangsdetektor: 99,98 % falsk
• Writer AI Content Detector: [ ingen resultat ]
• Innhold i skala AI-innholdsdeteksjon: 0 % poengsum for menneskelig innhold. Tydeligvis AI

List opp tre plagiatkontrollere som kan oppdage ChatGPT-tekst

Innovasjon

• Jeg prøvde Apple Vision Pro, og det er langt foran jeg forventet
• Denne lille satellittkommunikatoren er full av funksjoner og trygghet
• Slik bruker du ChatGPT: Alt du trenger å vite
• Dette er mine 5 favoritt AI-verktøy for arbeid

Det er verdt å merke seg at det for øyeblikket ikke finnes noen plagiatkontroll som er spesielt utviklet for å oppdage tekst generert av ChatGPT eller andre språkmodeller. Mens noen plagiatkontrollere kan identifisere visse kjennetegn ved språkmodellgenerert tekst som kan indikere dens kunstige opprinnelse, er det ingen garanti for at de definitivt vil kunne avgjøre om et tekststykke ble generert av en språkmodell.

Med det sagt, her er tre plagiatkontrollere som du kan vurdere å bruke for å identifisere potensielle forekomster av språkmodellgenerert tekst:

1. Turnitin: Turnitin er en populær plagiatkontroll som er mye brukt av skoler og universiteter. Den sammenligner et stykke tekst med en database med andre tekster for å identifisere tilfeller av kopiering eller parafrasering. Selv om den kanskje ikke er i stand til definitivt å avgjøre om et tekststykke ble generert av en språkmodell, kan det potensielt identifisere visse kjennetegn ved språkmodellgenerert tekst som kan indikere dens kunstige opprinnelse.
2. PlagScan: PlagScan er en annen plagiatkontroll som sammenligner et tekststykke med en database med andre tekster for å identifisere tilfeller av kopiering eller omskrivning. I likhet med Turnitin kan den kanskje identifisere visse kjennetegn ved språkmodellgenerert tekst som kan indikere dens kunstige opprinnelse, men den er ikke spesielt designet for å oppdage språkmodellgenerert tekst.
3. Copyleaks: Copyleaks er en plagiatkontroll som bruker avanserte maskinlæringsalgoritmer for å skanne et tekststykke og sammenligne det med en database med andre tekster for å identifisere tilfeller av kopiering eller parafrasering. Selv om det kan være i stand til å identifisere visse kjennetegn ved språkmodellgenerert tekst, er det ikke spesielt designet for å oppdage språkmodellgenerert tekst.

Det er verdt å merke seg at ingen plagiatkontroller er helt idiotsikker, og det er alltid en mulighet for at et stykke språkmodellgenerert tekst kan unnslippe gjenkjenning. Derfor er det viktig å bruke plagiatkontroller som kun en del av en større strategi for å oppdage og forhindre plagiering.

• GPT-2-utgangsdetektor: 99,62 % ekte
• Writer AI Content Detector: [ ingen resultat ]
• Innhold i skala AI-innholdsgjenkjenning: 86 % poengsum for menneskelig innhold. Ser bra ut!

Online AI plagiatkontrollere

De fleste plagiatdetektorer brukes til å sammenligne skrift med et korpus av annen skrift. For eksempel, når en student leverer inn et essay, skanner et produkt som Turnitin det innsendte essayet mot et enormt bibliotek med andre essays i databasen, samt mot andre dokumenter og tekst på internett for å finne ut om det innleverte essayet allerede inneholder- skriftlig innhold.

Men AI-skriveverktøyene genererer originalt innhold, i det minste i teorien. Ja, de bygger innholdet sitt fra det de har blitt trent på, men de faktiske ordene de konstruerer er noe unike for hver komposisjon.

Dessuten: AIs sanne mål er kanskje ikke lenger intelligens

Som sådan vil plagieringskontrollene nevnt ovenfor sannsynligvis ikke fungere, fordi det AI-genererte innholdet sannsynligvis ikke eksisterte i for eksempel en annen student sin oppgave.

Så jeg tok til Google og søkte etter detektorer som er spesielt utviklet for å se etter de tydelige signaturene til AI-drevet innhold. Jeg fant tre. For testinnholdet som vises i skjermbildene nedenfor, spurte jeg ChatGPT dette: "Er star trek bedre enn star wars? Begrunn og forklar" Svaret var slett ikke dårlig, og jeg matet det svaret inn i de tre testerne.

• GPT-2-utgangsdetektor: 99,98 % ekte
• Writer AI Content Detector: 100 % menneskeskapt innhold. Fantastisk!
• Innhold i skala AI-innholdsdeteksjon: 100 % poengsum for menneskelig innhold. Ser flott ut!

GPT-2 utgangsdetektor (nøyaktighet 66 %)

Dette første verktøyet ble bygget ved hjelp av en maskinlæringshub administrert av det New York-baserte AI-selskapet Hugging Face. Mens selskapet har mottatt 40 millioner dollar i finansiering for å utvikle sitt naturlige språkbibliotek, ser GPT-2-detektoren ut til å være et brukerskapt verktøy ved hjelp av Hugging Face Transformers-biblioteket. Av de seks testene jeg kjørte var den nøyaktig for fire av dem.

Writer.com AI-innholdsdetektor (nøyaktighet ikke tilgjengelig)

Writer.com er en tjeneste som genererer AI-skriving, orientert mot bedriftsteam. AI Content Detector-verktøyet kan skanne etter generert innhold. Dessverre fant jeg dette verktøyet upålitelig. Av de seks skanningene jeg kjørte gjennom den, mislyktes den på tre. Av de tre den kjørte på vellykket, fikk den to riktige og en feil.

Etter at denne artikkelen ble publisert, nådde folkene på Writer.com ut til ZDNET. Administrerende direktør May Habib hadde denne kommentaren å dele:

Etterspørselen etter AI-detektoren har skutt i været. Trafikken har vokst 2-3 ganger per uke siden vi lanserte den for et par måneder siden. Vi har nå den nødvendige skaleringen bak den for å sikre at den ikke går ned, og målet vårt er å holde den gratis – og oppdatert for å fange de nyeste modellenes utganger, inkludert vår. Hvis AI-utgang skal brukes ordrett, bør det absolutt tilskrives.

Innhold i skala AI-innholdsdeteksjon (nøyaktighet 50 %)

Det tredje verktøyet jeg fant ble også produsert av et AI-innholdsgenereringsfirma, men dette så ut til å fungere pålitelig. Content at Scale presenterer seg selv som "Vi hjelper SEO-fokuserte innholdsmarkedsførere ved å automatisere innholdsskaping." Markedsføringsoppfordringen til handling er: "Last opp en liste over søkeord og få 2600+ ord blogginnlegg som omgår gjenkjenning av AI-innhold - alt uten menneskelig innblanding!" Av de seks testene jeg kjørte var den nøyaktig for tre.

Siste tanker

AI-drevet plagiat er et økende problem, ettersom AI-verktøy som Notion AI og ChatGPT kan generere tekst som er vanskelig å skille fra den som er skrevet av mennesker. Det er flere måter å oppdage om et tekststykke ble generert av en AI, for eksempel å lete etter repeterende eller uvanlige mønstre, se etter mangel på originalitet eller bruke en plagiatkontroll. Plagiatkontrollere som Turnitin, PlagScan og Copyleaks kan kanskje identifisere visse kjennetegn ved språkmodellgenerert tekst, men de er ikke idiotsikker.

Selv spesialverktøyene jeg fant var sørgelig uegnet til oppgaven. Det beste tilfellet var GPT-2 Output Detector, men den fikk bare to tredjedeler av teksten som ble sendt inn riktig.

På dette tidspunktet tror jeg ikke vi er klare til å la AI kjempe mot AI. I stedet må vi stole på menneskelig oppfatning (som betyr at folk må være oppmerksomme) for å identifisere verk som ble generert av en AI.

Ikke anta umiddelbart at noe er maskingenerert. Bare fordi noe er dumt eller fryktelig unøyaktig, ikke anta umiddelbart at det ikke er skrevet av et menneske. Som vi alle har lært, er mennesker ganske i stand til å skrive utrolig dårlige ting på egenhånd.

Også: OpenAIs ChatGPT er skremmende god i jobben min, men den kan ikke erstatte meg (ennå)

Så hva tror du? Kan du fortelle om en brikke er AI generert? Har du brukt disse AI-skriveverktøyene i månedene siden de plutselig ble tilgjengelige? Tror du de er en hjelp eller hindring for utdanning og journalistikk? Gi oss beskjed i kommentarene nedenfor. Slik svarte ChatGPT dette:

Som språkmodell kan jeg ikke se eller samhandle med fysiske tekster, så jeg kan ikke si om en del er AI-generert eller ikke. Imidlertid kan jeg fortelle deg at det er flere AI-skriveverktøy som er tilgjengelige, og de kan brukes til å generere et bredt spekter av skriftlig innhold, inkludert nyhetsartikler, skjønnlitteratur, poesi og mer.

Jeg har ikke personlig erfaring med å bruke disse verktøyene siden jeg bare er et dataprogram og ikke har muligheten til å surfe på internett eller bruke fysiske verktøy. Jeg kan imidlertid fortelle deg at noen mennesker har funnet AI-skriveverktøy for å være nyttige i utdanning og journalistikk, siden de kan spare tid og krefter ved å automatisere visse oppgaver. Andre har uttrykt bekymring for potensialet for at disse verktøyene kan brukes til å produsere villedende eller partisk innhold, eller for å erstatte menneskelige forfattere. Til syvende og sist, om AI-skriveverktøy er en hjelp eller hindring, avhenger av hvordan de brukes og konteksten de brukes i.

Så, ja, det er det.