Effektiv omtrentlighet: Hva kan man egentlig bruke GenAI til?

Jeg elsker elegant og presist språk – le mot juste, som Flaubert kalte det – og ChatGPT, Claude, og andre store språkmodeller irriterer fletta av meg med sin utrettelige flom av vokabulært overdimensjonerte omtrentligheter.

Ikke desto mindre er GenAI et faktum. Man kan skaffe seg et abonnement på ChatGPT eller bruke gratisversjonen, eller ta i bruk ulike integrasjoner (med Microsofts CoPilot som den klart vanligste). Felles for denne bruken er at initiativet til å ta i bruk systemet kommer fra enkeltindivider, enten man ber systemet foreslå et svar på en kjedelig epost, skrive en tale til det neste julebordet, eller skrive firmaets strategi (noe forbausende mange selskaper ser ut til å gjøre – luftige ord uten styringssignaler…).

Det er positivt, gir en produktivitetseffekt på enkeltpersonsnivå – i hovedsak at man bruker mye mindre tid på å generere innhold og noe mer på å kontrollere det – men som vi alle vet: De virkelige endringene kommer når vi legger om våre prosesser og organisasjoner etter hva teknologien kan tilby – når vi går fra hesteløse kjerrer til skikkelige biler, for eksempel. Hva kan vi forvente når GenAI ikke lenger omtales som GenAI, men bare er en alminnelig del av systemer og prosesser? Hva kan GenAI egentlig gjøre på organisasjonsnivå?

Skal vi forstå det, må vi se på hva slags underliggende funksjonalitet teknologien tilbyr – eller for å si det med Clayton Christensen: Hva slags jobber kan du ansette ChatGPT til å gjøre?

For meg er det tre hovedjobber: Konversasjon, destillasjon, og fabrikasjon.

Konversasjon: GenAI som samtalende grensesnitt

Et samtalende grensesnitt – conversational interface – er noe vi har vent oss til å bruke etter at søkemotorer ble den vanlige måten å finne informasjon på. Tenk litt på forskjellen på å søke i en database og i en søkemotor: Mot en database må du fortelle ikke bare hva du ser etter (f.eks. alle transaksjoner over et visst beløp), men også hvordan dette skal uttrykkes overfor maskinen – f.eks. med et SQL-utsagn (SELECT id, customer, item FROM transaction_table WHERE sum > 10000). Databasesøk er effektivt og presist, men krever at du skriver søkestrengen svært spesifikt. Hvis det ikke finnes noen transaksjoner som tilfredsstiller kriteriene, får du heller ikke noe svar. Enten er informasjonen der, og da kan du stole på den, ellers får du ingenting.

En søkemotor er noe vennligere: For det første forstår den mer av hva du skriver inn – query processing – og tolererer stavefeil, synonymer og rotete ordstilling. For det andre vil den (nesten) alltid returnere et resultat, som kanskje er feil, men som er den biten informasjon som søkemotoren mener er tettest opp til det du spør om. Dette kan være unøyaktig, men søkemotoren returnerer alltid en peker til et underliggende dokument, som du kan lese og vurdere kvaliteten og påliteligheten av.

Årsaken til at man kaller det et samtalende grensesnitt, er at du skriver et søk, ser resultatet systemet foreslår, og så prøver deg med et mer presist søk inntil du finner det du vil ha. Du har en samtale med systemet – og systemet vil alltid vise et resultat, om enn unøyaktig eller irrelevant. Hva systemet skal svare, er et resultat av hva slags informasjon det har oversikt over, den underliggende søkealgoritmen, men også hva slags resultater eieren av systemet ønsker skal vektlegges.

Generativ AI tar dette samtaleelementet videre, og gir ikke bare lenker til kilder, men setter sammen innholdet i svaret basert i hovedsak på hva den har sett av lignende tekster. Det gjentas ofte til kjedsommelighet at alt en språkmodell gjør, er å forsøke å gjette det neste ordet i en setning – den har ingen formening, i alle fall ikke i utgangspunktet, om hva noe betyr. Når den likevel kan fremstå som både kunnskapsrik og konversant, er det fordi vår egen kunnskap er begrenset og skriftlig språk er lite presist som informasjonsbærer.

Så der vil du finne GenAI – som samtalepartnere i neste generasjon søkesystemer, med evnen til alltid å komme opp med et svar på selv de mest håpløse spørsmål. Den vil være uendelig tålmodig (og dermed både et verktøy for og et våpen mot kommentarfeltets ankelbitere) og har ubegrenset selvtillit. Den gir alltid et svar, men glir rundt grøten og lar seg lett påvirke av populære (eller i alle fall populistiske) meninger. Kvaliteten øker med bruk, siden den er lærenem, men med en målfunksjon preget av mange lokale minima kommer den ikke med reell problemløsning, bare forslag basert på hva den har sett før.

Destillasjon: Umenneskelig apetitt for gørrkjedelighet

Where is the «brief insightful summary» button on the keyboard?
P. J. O’Rourke

Her forleden hørte jeg en presentasjon fra en toppleder som fortalte at hans styre hadde mottatt en 1100 siders rapport fra administrasjonen. Han hadde spurt om de ikke skulle lage et executive summary for styremedlemmene, men hadde fått beskjed om at det kunne de ikke gjøre, for det var viktig at styret hadde lest hele rapporten. Jeg vet ikke hva slags styremedlemmer det var i det styret, men jeg klarer ikke å få doktorgradsstudenter til å lese 1100-siders rapporter, så jeg betviler sterkt at noen av styremedlemmene kom seg gjennom det hele, ei heller i hvilken grad innholdet ble gjenstand for en læreprosess.

Hadde dette styremøtet funnet sted i dag, kunne medlemmene ha kjørt hele greia inn i en språkmodell (forhåpentligvis en med kommersiell lisens, slik at teksten ikke ble del av modellens korpus) og fått ut akkurat så mye oppsummerings om de ønsket. Kommersielle språkmodeller trenes opp ved å lese masse tekst (f.eks. lovtekster, tekniske manualer eller ulike policy-dokumenter) og kan deretter besvare enkel spørsmål om dem – eller summere dem. Dette er supert for studenter som ikke gidder lese for mye (men heller ikke lærer stort) og kjempefint for folk som trenger en kjapp oversikt over hva en bok eller en samling artikler inneholder.

Kvaliteten av oppsummeringen er definitivt caveat emptor – mottakers ansvar – men i en situasjon der det ikke er mulig å komme seg gjennom hele materialet, kan en destillert versjon, produsert om ikke på sekunder, så i alle fall på minutter, være bedre enn å måtte pløye gjennom alt sammen. For advokatfirma, revisorer, konsulentselskaper og innen corporate banking, der enorme tekstmengder skal leses og kontrolleres – for eksempel innen due diligence-prosesser – vil språkmodeller være et nyttig hjelpemiddel, om enn ikke en erstatning.

Et problem her er at forretningsmodellen til slike selskaper ofte er bygget på at kunden betaler (med god margin) kostnaden for alle dem (som regel juniorer) som gjør lesejobben og sammenstillingen. Dette er også der selskapene rekrutterer sine fremtidige ressurser. Jeg har hørt endel ledere innen konsulentselskaper snakke begeistret om reduserte personalkostnader ved bruk av AI, uten at det ser ut til at de er helt klar over at kundene for det første kan bruke disse verktøyene selv, for det andre at deres betalingsvillighet kommer til å gå ned i takt med kjennskap til de nye verktøyene.

Når prisen på en tjeneste går ned, kan vi spare penger, men like ofte skjer det at bruken øker. For språkmodellers vedkommende betyr det at ting som tidligere tok lang tid (lese en artikkel) eller var umulig (lese alle artikler om et tema) nå kan gjøres kjapt og greit, om enn med mindre nøyaktighet og en liten fare for juridiske konsekvenser.

Fabrikasjon: Når originalitet verken er nødvendig eller verdifullt

Amazon has created a new rule limiting the number of books that authors can self-publish on its site to three a day.
The Guardian

Språkmodeller er fabelaktige til å generere tekst og annet innhold – Googles NotebookLLM, for eksempel, produserer podcasts basert på artikler du mater inn. Men du skal ikke ha lest mye slikt innhold (eller hørt på en generert podcast i bilen) før en følelse av hjerneråte setter inn.

Årsaken er at tekstene ikke er originale, noe i hvert fall min hjerne registrerer nokså fort, og at det derfor blir som å spise loff til morgen, lunsj og middag i årevis.

Nå er det slik at en hel del tekster som er nødvendige (og ofte pålagt) innen samfunns- og næringsliv ikke må være originale, for å si det forsiktig. Selv har jeg startet firma og bedt ChatGPT genere vedtekter og annet materiale som skled greit gjennom Brønnøysund. Digitalisering har gjort det enkelt for lovgivere å be om materiale og rapporter, websider skal dynamisk oppdateres, og pressemeldinger om dette og hint skal skrives.

Det som først og fremst kommer til å sørge for mye tekstproduksjon Det er mange eksempler på det – digitalisering gjør det svært enkelt å be om en rapport – men det som først og fremst kommer til å virkelig sette fart i svadaproduksjonen er kravene til ESG-rapportering som nå pålegges alle selskaper. Det begynner med de børsnoterte, men kravene siger nedover til alle underleverandører, noe som allerede har ført til at endel store innkjøpere nå handler lokalt eller innen EU i stedet for å hente varer fra fjernere (og billigere) strøk. Endel krav er lite kjent: Åpenhetsloven, for eksempel, krever dokumentasjon av forsyningskjeder og underleverandører og nesten øyeblikkelig generering og levering av den informasjonen til alle som spør. Kan man ikke det, blir det dyrt, noe et klesfirma nylig oppdaget etter å ha blitt gjenstand for et skoleprosjekt.

Bedrifter generelt har verken økonomi eller ledelseskapasitet til å bygge opp et rapporteringsregime like stort som økonomifunksjonen, spesielt siden det for de fleste bedrifters vedkommende vil ha noen effekt på salg eller produktutvikling. For å si det litt kynisk: Språkmodeller kan bli svært verdifulle ved å automatisere grønnvasking, fordi de kan mer enn å skrive «bedriften forurenser ikke det ytre miljø.»

Bullshit jobs no more

With AI, it is much easier to replace a doctor than a nurse.
Yuval Harari, Nexus

Nå er det slik at det meste av arbeidsoppgavene ovenfor – interaksjon, sammenstilling og generering av standardtekster – i dag gjøres av mennesker, i jobber som i mange tilfelle kan defineres som «bullshit jobs«. Det er få som har som sin brennende ambisjon å være grensesnittet mot et kronglete system, leser av kjedelige tekster, eller produsent av innhold ingen egentlig etterspør.

Ikke desto mindre er det disse jobbene som sørger for kjøpekraft for en betydelig del av befolkningen – og reisen fra samlebånd til customer support er ingenting i forhold til reisen fra brukbar informasjonsarbeider til genuin innholdsprodusent.

Det er dukat för konflikt når venstrehåndsarbeidet forsvinner og alminnelig nyskapning blir en hygienefaktor.

Jeg frykter ikke fotografiet, det kan ikke brukes i himmelen eller helvetet.
Edvard Munch

I Martin Amis’ kostelige roman Lucky Jim finner vi denne beskrivelsen av en skikkelig dagen derpå:

Dixon was alive again.  […] The light did him harm, but not as much as looking at things did; he resolved, having done it once, never to move his eye-balls again.  A dusty thudding in his head made the scene before him beat like a pulse.  His mouth had been used as a latrine by some small creature of the night, and then as its mausoleum.  During the night, too, he’d somehow been on a cross-country run and then been expertly beaten up by secret police.  He felt bad.

Jeg er ganske sikker på at en slik beskrivelse ikke er noe en språkmodell kan komme opp med. Og det er ikke fordi språkmodeller ikke kan bli bakfulle (eller i alle fall late som de er det), men fordi originalitet krever at man kjenner reglene for hvordan noe skal gjøres – og deretter å bryte dem.

Originalitet er viktig, blir viktigere, og vil alltid vil bli premiert. Det er bare det at terskelen for hva som er originalt og nyskapende nå er lagt så mye høyere. Verden kan, for å sitere Paul Graham, bli delt inn i de som skriver godt og de som ikke kan skrive i det hele tatt.

Det blir med andre ord mer og mer verdifullt å finne le mot juste

Lykke til!

Dette innlegget ble først publisertComunita.no, et nettverk av ledere og forretningsutviklere innenfor mange interessante firma. Ta kontakt om du ønsker mer informasjon, eller kanskje et medlemsskap?

Råtner ChatGPT?

(Dette innlegget ble først publisert på bloggen til Comunita AS, et ledernettverk jeg nettopp har startet sammen med Haakon Gellein. Kontakt meg direkte om du er interessert i å bli med der!)

ChatGPT: Deja vu om igjen

Jeg har lurt på (og blitt spurt om) om jeg skal melde meg på debatten om ChatGPT, men tror jeg lar det være. Det er ikke det at den ikke er interessant – les for eksempel Chomsky et al i New York Times eller Cory Doctorow i Medium for synspunkter som i alle fall til en del faller sammen med mine – men jeg har tidligere vært involvert i debatter om kalkulatorer og søkemotorer og Wikipedia (særlig innen undervisning) og, vel, har en følelse av at jeg kanskje bare skulle børste av noen gamle essays, gjøre en find/replace og, vel, ting er i boks.

Eller hvorfor ikke summere det hele opp med XKCDs briljante standard svar til de vanligste spørsmålene om ny teknologi:

Forøvrig: Den bransjen som bør føle seg mest truet, er ikke lærere, men kommunikasjonsrådgivere, hvis jobb til en stor del består i å skrive nøytrale sammendrag av ting de ikke vet noe om. En oppgave som ChatGPT er kjempegod på. Som vanlig vil det være de smarte, de som kan skrive noe originalt (som ChatGPT ikke kan), som vil overleve. Og sånn skal det være.

Selv brukte jeg ChatGPT til å skrive en litt lang og kjedelig epost her om dagen. En en-setnings bestilling ble til en A4-side lang innkalling til et seminar, med forslag til dagsorden og brukbare innlednings- og avslutningsfraser. Litt redigering, en adresseliste, og jobben var gjort. Fabelaktig hjelpemiddel for folk som meg, som sliter med å komme i gang men er nokså kjapp med å flikke på ting som allerede er produsert. (Kommentar fra en bekjent: Så det er derfor så mange eposter har blitt så høflige i det siste…)

Hva gjelder elever/studenter som jukser med å bruke ChatGPT på eksamen – jeg har allerede laget eksamensoppgaver som spør «Hva er [sett inn begrep her]?» Deretter gir jeg svaret fra ChatGPT, og eksamensoppgaven er «ChatGPTs svar er ufullstendig og inneholder feil. Hva mangler og hva er feil?» (Da min kollega Ragnvald Sannes nevnte dette for en studentgruppe, fikk han et stønn til svar…)

Og for ordens skyld: Dette blogginnlegget har ikke – som 74,6% av alle innlegg om ChatGPT) – noe tekst generert av ChatGPT.

Og det er jo, i denne debatten, litegrann originalt.

LØRN.TECH og digitale plattformer

Min gode venninne Silvija Seres – som jeg har skrevet en haug kronikker og alltid ser frem til å snakke med – inviterte meg til å lage en podcast om digitale plattform for noen uker siden. Resultatet i all sin skravlete omtrentlighet finner du her.

EUs nye AI-lover: GDPR for maskinlæring?

EU har kommet med et forslag til nye lover som regulerer bruk av AI i bedrifter og organisasjoner. Såvidt jeg kan se, ligner forslaget på GDPR-lovgivningen: Ansvarliggjøring av styre og ledelse, bøter basert på omsetning ved overtredelser, og (sannsynligvis) et eller annet i retning av «safe harbor» bestemmelser slik at man kan være nogenlunde sikker på at man ikke gjør noe galt.

Et interessant aspekt her er at EU er tidlig ute i forhold til bruken av AI (ja, jeg vet det er et upresist begrep, men la det ligge foreløpig) og at man igjen tar ledelsen innen regulering der Silicon Valley (og Kina) har tatt ledelsen innen implementering.

Elin Hauge

Jeg skal finne ut mer om dette, i første omgang ved å høre på et webinar på konferansen Applied Artificial Intelligence Conference 2021. Seminaret (27. mai kl. 1430-1600) er åpent for alle som registrerer seg, og vil bli fasilitert av Elin Hauge, som er medlem av EGN AI og maskinlæring, et av EGN-nettverkene jeg leder.

Anbefales – og vel møtt!

30 minutter inn i fremtiden: Om data og sånt

cover art for Hvis du tror du har masse data, så har du antagelig ikke det

Her forleden hadde jeg en hyggelig samtale med Eirik Norman Hansen – en gang min student, nå er ikke aldersforskjellen så voldsom lenger – om dataanalyse og hvorfor mange bedrifter sliter med det. Noe av det ble en podcast, her er detaljene:

Apple Podcast: https://podcasts.apple.com/…/30…/id1470592074…

Spotify: https://open.spotify.com/episode/1OHfdMnv6oTAeOxycb27pL…

Acast: https://shows.acast.com/…/hvis-du-tror-du-har-masse…

Hvorfor du skal lære matematikk (igjen)

Jeg slo på radioen i bilen i går og inne i mellom all viruspraten (som jo i prinsippet handler om matematiske spredningskurver) fikk jeg høre to matematikklærere, begge tydeligvis flinke folk (de har begge skrevet lærebøker) som strevet med å artikulere nytten av matematikk for sine elever. Det er ikke enkelt å snakke på direkten, særlig når programlederen starter med den vanlige «jeg har ikke hatt nytte av matematikken» tiraden, men debattartikkelen det hele bygger på, er velskrevet og bra – bortsett fra overskriften (som er det de fleste leser, og som forfatteren ikke setter selv.)

Skal ungdom forstå hvorfor de skal lære matematikk, må vi være direkte. Så derfor vil jeg nok en gang å gjengi mine grunner til å lære matematikk, denne gang oppdatert med et punkt til – om klima og forurensning og (hvorfor ikke) pandemier.

( Tidligere versjoner av denne kom først som en kronikk fra Aftenposten fra 2006, også her i 2015, og tidligere publisert mange steder og i mange språkdrakter rundt omkring i verden.)

Her også som lydfil – tilgjengelig som podkast på Spotify.

13 grunner til å lære matematikk

Du skal lære matematikk for å bli smartere. Matematikk er for læring hva kondisjons- og styrketrening er for idrett: Grunnlaget som setter deg i stand til å bli bra i den spesialiteten du ender opp med. Du blir ikke idrettsstjerne uten å ha god kondis. Du blir ikke stjerne innen din jobb eller flink i dine fag uten å kunne tenke smart og kritisk – og matematikk lærer deg det.

Du skal lære matematikk for å tjene mer penger. Idol-vinnere og andre kjendiser tjener penger, men det er få av dem, og de fleste tjener bare penger i noen få år. Deretter er det tilbake til skolebenken. Dersom du kutter ut Idol-køen og TV-fotball og i stedet gjør leksene dine – særlig matematikken – kan du gå videre med en utdannelse som gir deg en godt betalt jobb, for eksempel innen stordataanalyse og kunstig intelligens. Du vil tjene mye mer enn popsangere og idrettsfolk – kanskje ikke med en gang, men helt sikkert når du regner gjennomsnitt og over hele livet.

Du skal lære matematikk for å tape mindre penger. Når massevis av mennesker bruker pengene sine på dårlige investeringer, inkludert pyramideselskaper, forbruksgjeld og tilbud som er for gode til å være sanne, så er det fordi de ikke kan regne. Hvis du skjønner litt statistikk og renteregning, kan du gjennomskue økonomiske løgner og luftige drømmer. Med litt naturfag i bagasjen blir du sikkert friskere også, siden du unngår alternative medisiner, krystaller, magneter, homøopati, shamaner og annen svindel fordi du vet det ikke virker.

Du skal lære matematikk for å få det lettere senere i studiene. Ja, det kan være endel jobb å lære seg matematikk mens du går i videregående. Men når du kommer videre til universitet eller høyskole, slipper du ofte å pese deg gjennom hundrevis av overforklarende tekstsider. I stedet kan du lese en formel eller se på en graf, og straks forstå hvordan ting henger sammen. Matematikk er mer kortfattet og effektivt enn andre språk. Kan du matematikk, kan du jobbe smart i stedet for hardt.

Du skal lære matematikk fordi du skal leve i en global verden. I en global verden konkurrerer du om de interessante jobbene med folk fra hele verden – og de smarteste studentene i Øst-Europa, India og Kina kaster seg over matematikk og andre “harde” fag for å skaffe seg en billett ut av fattigdom og sosial undertrykkelse. Hvorfor ikke gjøre som dem – skaffe seg kunnskaper som er etterspurt over hele verden, ikke bare i Norge?

Du skal lære matematikk fordi du skal leve i en verden i stadig endring. Ny teknologi og nye måter å gjøre ting på endrer hverdag og arbeidsliv i stadig større tempo. Hvis du har lært din matematikk, kan du lære deg hvordan og hvorfor ting fungerer, og slippe å skrape deg gjennom arbeidsdagen med huskelapper og hjelpetekster, livredd for å trykke på feil knapp og komme ut for noe nytt.

Du skal lære matematikk fordi det lukker ingen dører. Hvis du ikke velger full matematikk i videregående, lukker du døren til interessante studier og yrker. Du synes kanskje ikke disse yrkene og studiene er interessante nå, men tenk om du skifter mening? Dessuten er matematikk lettest å lære seg mens man er ung, mens samfunnsfag, historie, kunst og filosofi bare har godt av litt modning – og litt matematikk.

Du skal lære matematikk fordi det er interessant i seg selv. Altfor mange mennesker – også lærere – sier matematikk er vanskelig og kjedelig. Men hva vet de om det? Du spør ikke bestemoren din hva slags smarttelefon du skal kjøpe? Du ber ikke foreldrene dine om hjelp til å legge ut noe på Tiktok? Hvorfor spørre noen som aldri lærte seg matematikk om du skal lære matematikk? Hvis du gjør jobben og holder ut, vil du finne ut at matematikk er morsomt, spennende og intellektuelt elegant.

Du skal lære matematikk fordi du kommer på parti med fremtiden. Matematikk blir viktigere og viktigere innen alle yrker. Fremtidens journalister og politikere vil prate mindre og analysere mer. Fremtidens politifolk og militære bruker stadig mer komplisert teknologi. Fremtidens sykepleiere og lærere må forholde seg til tall og teknologi hver dag. Fremtidens bilmekanikere og snekkere bruker chip-optimalisering og belastningsanalyser like mye som skiftenøkkel og hammer. Det blir mer matematikk i arbeidslivet, så du trenger mer matematikk på skolen.

Du skal lære matematikk fordi du får reell studiekompetanse. Hvis du slapper av i videregående, får du et papir som sier at du har ”almen studiekompetanse”. Det er jo kjekt med et papir, men kompetanse til å studere har du ikke. Det vil du merke når du går videre til universitet eller høyskole, og må ha intensivkurs i matematikk for å skjønne hva foreleseren snakker om.

Du skal lære matematikk fordi det er kult. Det er lov å være smart, det er lov ikke å gjøre som alle andre gjør. Velg matematikk, så slipper du for resten av livet å vitse bort at du ikke klarer enkle utregninger eller ikke skjønner hva du holder på med. Dessuten får du jobb i de kule selskapene, de som trenger folk med hjerner.

Du skal lære matematikk fordi det er kreativt*. Mange tror at matematikk bare har med logisk tenkning å gjøre og at logikk ikke kan være kreativt. Sannheten er at matematikk er noe av det mest kreative som finnes – bare man bruker kunnskapen riktig. Gode kunnskaper i matematikk og matematisk tenkning i kombinasjon med annen kunnskap gjør deg mer kreativ enn mange andre.

Du skal lære matematikk fordi du skal løse de store problemene. Verden sliter i dag med store problemer som klima, forurensning, fattigdom, sykdommer og et forvitrende demokrati. For å løse disse problemene trenger vi folk som kan forstå komplekse sammenhenger og lage nye løsninger – inkludert ny teknologi – for å gjøre verden bedre. Det er kjempebra at ungdom protesterer mot manglende klimatiltak og forurensning, men i det lange løp trenger vi ikke protester og symbolhandlinger – og matematikk vil sette deg i stand til å lage løsningene, ikke bare rope etter dem.

Du trenger ikke å bli matematiker fordi du velger matematikk i videregående. Men det hjelper bra å velge matematikk hvis du vil bli smart, tenke kritisk, forstå hvordan og hvorfor ting henger sammen, og argumentere effektivt og overbevisende.

Matematikk er en skarp kniv for å skjære gjennom problemstillinger. Vil du ha en skarp kniv i din mentale verktøykasse – velg matematikk.

*) Takk til Jon Holtan, matematiker, for det siste punktet.

Odd Erik om replikering av AI-forskning

file (1)

Syntes jeg dro kjensel på fotografiet – og jammen var det ikke Odd Erik Gundersen (som jeg sitter i styret i SmartHelp sammen med) som ble intervjuet og har skrevet en glimrende (og tilgjengelig) kronikk i Morgenbladet om diskusjonen om forskningskvalitet. Det er et stendig problem innen forskning (også innen informatikk) at forskningsresultater ikke lar seg replikere.

Innenfor kunstig intelligens (eller, vel, maskinlæring som jeg regner med at det er snakk om her) er dette ekstra viktig fordi utviklingen av maskinlæringsalgoritmer i motsetning til vanlig vitenskapelig metode er teoriløs – man har masse data, kjører en søkealgoritme over mange modeller og modellvarianter, og så ender man opp med et eller annet resultat, gjerne uttrykket ved en confusion matrix eller en validation curve (også kalt learning curve).

Ofte finner man at når folk snakker om at de har en modell som er «94% nøyaktig» så snakker de om nøyaktigheten på treningsdataene (der modellen er utviklet) og ikke på testdataene (som er de dataene man holder til side for å se om modellen, utviklet på treningsdataene, er nøyaktig.) Dermed får man modeller som har svært høy nøyaktighet (ikke noe problem å komme til 100% hvis man bare er villig til å ta med nok variable) men som brukbare til noe som helst.

Og det er et problem ikke bare i maskinlæring, men i all forskning. Det er bare det at i maskinlæring finnes dataene og programmene lett tilgjengelige, problemet er synlig, og det er sjelden noen grunn til å skjule det.

Bortsett fra at noen trenger å publisere noe, heller enn å bygge en god modell.