Maskinlæring og akademisk rutinearbeid

Undervisningssektoren er ikke særlig automatisert. Riktignok finnes all verdens datasystemer for å holde orden på studenter (karakterer, økonomi, studieprogresjon). Alle skoler har en eller annen form for LMS (Learning Management System) som gir tilgang til studiemateriale og til en viss grad fasiliterer studentinteraksjon. Noen har også digitalisert selve eksamen – i hvert fall om man kan kalle det å skrive eksamen på en PC for å digitialisere den.

Men jeg lurer på om vi ikke kan gå litt lenger.

JP Morgan, en amerikansk investeringsbank, har laget et system som heter COIN, som leser kontrakter og tolker dem. Programmet gjør 360.000 timer advokatarbeid i løpet av noen sekunder.

La meg se – finnes det innenfor undervisningssektoren noen prosesser der høyt gasjert personale sitter og leser massevis av sider med repetitivt innhold uten særlig utbytte?

phd120310s

Jepp, sensurering. Før man kan reise på ferie, må man (i alle fall om man underviser på massestudier, hvilket jeg heldigvis ikke gjør) forholde seg til en kjempebunke med oppgaver som skal leses og karaktersettes. Dette er en kjedelig prosess for alle involverte, selv om man kan gjøre mye ved å systematisere prosessen selv eller kanskje ty til kreative og litt desperate snarveier. Det er mange problemer med sensur, bortsett fra at det er kjedelig og repetitivt og dyrt. Et av dem er at man ikke alltid er like konsistent i sin karaktersetting. Jeg har aldri foretatt noen studier på det selv, men alle mulige studier av evalueringer i andre sammenhenger viser at saksbehandlere varierer i sine vurderinger før og etter lunsj, for eksempel. I tillegg er det norsk folkesport å klage på karakteren, i følge en utenforstående observatør.

Hva om vi brukte litt maskinlæring på sensuren? Det burde la seg gjøre å bruke tekstgjenkjenning av noe slag, slik at en sensor kunne lese et visst antall oppgaver, som deretter ble brukt til å trene opp en algoritme (f.eks. et nevralt nettverk) til å lese og karaktersette et større antall oppgaver. Ikke noe for alle studier, naturligvis, men store fag som «forberedende» på universitetet eller «ork & lede» på BI burde jo absolutt være kandidater, med sine tusenvis av oppgaver ingen egentlig orker å forholde seg til, aller minst kandidatene selv.

Riktignok vil dette ta vekk arbeid for endel sensorer, men for å være ærlig tror jeg ikke dette er noe man vil savne. Og det vil jo fri opp sensorene til å gjøre noe mer interessant.

«Never send a human to do a machine’s job,» for å sitere en av de dårligste filmene jeg vet. Så gjenstår det å se om studentene vil akseptere en klassifiseringsalgoritme som sensor – det skal i alle fall ikke stå på detaljeringsgraden i sensurbegrunnelsen…

Advertisements

Søkertall!

digøkskjermI går morges ringte Morten Dæhlen, Dekan for Mat-Nat på Universitetet i Oslo, med meget hyggelige nyheter: Studiet Informatikk: Digital Økonomi og Ledelse, som jeg er initiativtaker til og har jobbet med Institutt for Informatikk for å utvikle, har nettopp mottatt søkertallene fra Samordnet opptak: Til 27 studieplasser har vi fått 514 søkere med studiet som førsteprioritet, og over 3000 som har det som annen- eller tredjeprioritet.

Dette betyr at studiet har 19 førsteprioritetssøkere per studieplass, og dermed er det mest ettertraktede studiet i Norge.

Made my day. Og ser frem til å møte flinke og motiverte studenter til høsten!

Oppdatering: Nå også i Dagens Næringsliv. Og i Aftenposten.

DigØk!

Et problem – i Norge kanskje mer enn andre land – er at vi mangler folk som forstår både teknologi og forretning. Det er en kultur i Norge for at gode ledere kan lede hva som helst (noe jeg mener er det reneste sludder), og at teknologi er noe som man kan overlate til teknologene. Dette gir seg mange utslag, blant annet i at det er forbausende få studier som kombinerer teknologi og business, selv om et av de få studiene som gjør det – Indøk (Industriell Økonomi) på NTNU – er av de mest søkte i Norge.

ifi

Det har jeg gjort noe med – ved (sammen med Stein Gjessing) å opprette et nytt studium ved Institutt for Informatikk ved Universitetet i Oslo. Det nye studiet er et bachelorprogram og heter Informatikk: Digital økonomi og ledelse.

Studiet har to tredjedeler informatikk – skikkelig hardcore, med programmering og teknologi – og en tredjedel forretningsfag. Tanken er å lage et motstykke til IndØk i Trondheim, men rettet mot IT-bransjen (som stort sett ligger i Oslo-området.)

På forretningssiden blir det fire nye kurs innen økonomi- og ledelsesfag, som jeg har utviklingsansvar for:

Hver av disse kursene blir et oversiktskurs der mange forretningsfag integreres i ett – noe jeg ikke tror blir noe problem, siden vi kommer til å ha svært dyktige studenter. Planen er at etter denne bacheloren kan man velge om man vil gå videre med en teknisk master (på IFI, kanskje) eller en forretningsmaster (BI?). Jobbmulighetene vil uansett være aldeles utmerket, selv i disse ulvetider.

Så – hvis du har ambisjoner om å være en av disse sjeldne personene som forstår både teknologi og forretning og kan kommunisere med begge sider (en posisjon som både er interessant karrieremessig og potensielt lukrativ): Søk Digøk!

Etterutdanning er den nye oljen

Nok en kronikk i Aftenposten med Silvija Seres. Også gjengitt i BI Business Review.

Etterutdanning er den nye oljen

Silvija Seres og Espen Andersen

«Det store kunnskapsgapet» beskrives som en av de største samfunnskonsekvensene ved de raske teknologidrevne endringene vi er i. I dag har vi ikke et utdanningssystem som kan lukke det. For hvordan lager man et pensum for det ukjente?

Og hvordan tester man for det utdaterte? Datateknologien skaper en overflod av gode og billige tjenester og produkter.

Samtidig skaper den profesjonelle flyktninger gjennom automatisert produksjon og friksjonsfri informasjonsdistribusjon.

Kan være både voksen og lovende

Digitalt fordrevne fagpersoner – og det er mange av dem – møter stor likegyldighet fra samfunnet og arbeidsgivere.

Mens vi er enige om at noe må gjøres med ungdom som forlater skolen, sees deres voksne motparter som en tapt sak, med en fremtid med AFP, NAV eller «liksomjobber». Vi har glemt at man kan være både voksen og lovende.

Dette er ikke bærekraftig. Vi kan ikke fortsette å smile og klappe for teknologientusiaster som overbeviser om at «alle over 35 år er utdaterte» og snakker om Don Tapscotts «digitale innfødte» som den ubestridte kilde til fremgang.

Med stadig bedre helse og forventet levealder, skal mange av oss helst jobbe til vi er godt over 75. En vanlig høyere utdanning ender gjerne ved 25 års alder, og da blir arbeidslivets matematiske midtpunkt 50 år – gått ut på dato – ifølge dagens holdninger. Har vi råd til å kaste bort halvparten av folks yrkesliv ut fra en oppfatning at man ikke kan lære noe i moden alder?

Flere arbeidstagere må forbli relevante

Rekrutteringsvaner gjør saken verre. Det er et press mot å ansette og forfremme stadig yngre (men, faglig befestede) helter. Satt på spissen er drømmeprofilen til den nye topplederen en 30-åring med 20 års relevant erfaring og gjerne en doktorgrad.

Det er ikke mange av dem – og de som finnes, blir også snart irrelevante. Vi må gjerne streve for å tiltrekke slike stjerner, men vi må også sørge for at andre arbeidstagere forblir relevante og attraktive.

Heldigvis finnes det muligheter nettopp i denne nye digitale splitten. Mens robotene og kunstig intelligens overtar mange jobber, kan de også skape ny effektivitet og overskudd i samfunnet som kan brukes til etterutdanning.

En tillitserklæring

Tanken om etterutdanning er selvfølgelig ikke ny. Den er minst like gammel som fagbevegelsen.

Men disse endringstider krever at den utføres mer motivert og mer konsentrert enn før.

I dag er etterutdanning en slags bonus for dem med initiativ, en mulighet til egenutvikling uten sterke koblinger til jobbincentiver.

Det er slik fordi vi i altfor stor grad vurderer, ansetter og forfremmer basert på tidligere skolering og erfaring, heller enn tilpasningsdyktighet og læringsvilje.

Kurs i arbeidslivet oppleves av altfor mange som en ferie- eller straffekoloni. De bør sees på som en tillitserklæring og et underforstått løfte om stadig relevans.

Det er også utfordringer med utdanningenes form.

Læringskrav og metode er i altfor stor grad statiske og silobaserte – vi former utdanning for fremtiden ved å se i bakspeilet.

Richard Riley, USAs utdanningsminister under Bill Clinton, sa at «utdanning må forberede unge for jobber som i dag ikke finnes, med teknologier som ennå ikke er blitt oppdaget, for å løse problemer vi ennå ikke er klar over».

Instrumentelle evner er minst like viktige som konkrete fag.

Pensum for det ukjente

Vi må lære å lære, håndtere kompleks og tvetydig informasjon, kreativ problemløsing, kritisk tenkning, etisk refleksjon og samarbeid på tvers av kulturer og fagområder.

Et pensum for det ukjente må videreutvikles i tre dimensjoner: Innhold, tilrettelegging, og evaluering.

Det skapes nok spennende og nytt innhold både på våre egne gode høyskoler, universiteter og internasjonalt, der mange av verdens beste læringsinstitusjoner åpner store kurs som såkalte MOOCs (Massive Open Online Courses).

Det finnes gode nye digitale verktøy for å rigge til en individuell tilrettelegging, med mekanismer for dynamisk utvikling basert på læringsevne og interesse, slik som Udacity, Coursera, Google’s Apps for Education og et utall spennende oppstartselskaper, også norske.

Opplæringens akilleshæl

Andre relevante trender innen tilrettelegging er mobil undervisning, bruken av big data, «hvor som helst og når som helst»-læring, nye kommunikasjonsverktøy mellom lærere, elever og diverse foresatte (for eksempel sjefer) og mange nye kreativitetsverktøy på tvers av alle medier.

Datamaskiner, skyen og internett tilbyr en svært effektiv og ny infrastruktur, innhold og lim mellom alle parter. Det finnes også spennende forskning rundt effektiv pedagogikk og didaktikk relatert til digitalisert læring.

Evaluering er den digitale opplæringens akilleshæl. Personvern er godt håndtert, men det er lett å omgå identifikasjonskrav.

Skal en utdanning være attraktiv, må den kunne verifiseres, så man kan knytte incentiver til den.

Det finnes spennende nye metoder og verktøy (også fra norske selskap) for å løse dette også – basert på automatisert eller manuell testing av resultater av utdanningen, for eksempel automatisk analyse av programkode eller prosjektarbeid.

Tiden er inne for å satse

Så må vi gjøre det lett å gjøre det rette, altså sørge for at det skapes en ny og entusiastisk kultur rundt slik etterutdanning. Dette gjør vi gjennom de rette incentivene, både fra det offentlige (for eksempel kunnskapspolitisk, gjennom fagbevegelsen og nye utdanningsrettigheter) og selskapene som fletter etterutdanning inn i ressursstyringen sin.

Dette må også skje på tvers av fag- og industrisiloer, da det meste av innovasjon fremover kommer til å skje nettopp på slike tverrfaglige arenaer.

Ansatte må også ville dette selv, ikke på tilfeldig og sjelden basis, men som en viktig og planlagt del av sitt ukentlige og langsiktige arbeid.

Ledere og politikere sier ofte at «våre folk er vår viktigste ressurs». Tiden er inne til å satse bevisst på videreutvikling av våre viktigste ressurser. Vi går fra kunnskapssamfunn til læringssamfunn – også for toppledere og politikere – og da må alle tilbake til både den digitale og fysiske skolebenken.

Matematikk og lærerstudenter. Igjen.

Årets deleksamen i matematikk for lærerstudenter viser en strykprosent på 37%. Ikke nok med det, kun 27% klarte en C eller bedre (Kilde: NOKUT via VG):

Antall Prosent Kumulativ%
A 6 0,60 % 0,60 %
B 60 6,05 % 6,65 %
C 205 20,67 % 27,32 %
D 230 23,19 % 50,50 %
E 122 12,30 % 62,80 %
F 369 37,20 % 100,00 %
992 100,00 %

Og så akkurat nå som NOKUT hadde rapportert at høstens eksamen hadde gått ganske bra, skjønt det resultatet skyldes muligens at i høst var det en større andel av studentene som faktisk var interessert i matematikk (eller kunne nok matematikk og derfor tok eksamen med en gang).

Men hvor ille dette er, ser man ikke før man ser på selve eksamen. Jeg vet ikke hvor man setter grensen for A, B, og så videre, men har i hvert fall fått «retningslinjer» fra NOKUT når jeg selv skal evaluere mine studenters arbeid at en A innebærer en poengsum over 80-85 (av 100). Jeg vil tippe at en F krever mer enn halvparten feil.

Med 20 spørsmål betyr det at kun 6 av nesten 1000 studenter klarte å gjøre 3 eller færre feil på en eksamen som har oppgaver som

  • Hvis du skraverer 25 % av 2/3 av et rektangel, hvor stor brøkdel av hele rektangelet har du skravert? Forklar resonnementet ditt.
  • Skriv både 7/25 og 7/56 som prosent og desimaltall.
  • En bil er verdt 80 000 kroner. Bilens verdi har falt med 20 % per år i to år. Hvilken verdi hadde bilen for to år siden? Vis utregning.

Jeg beklager, men dette er ikke vanskelig matematikk. Det er ungdomsskolenivå. Dette er ikke oppgaver som krever matematisk teknikk, men rett og slett sunn fornuft, og har noe med intelligens å gjøre.

Jeg kan bare konkludere med at hvis du ikke klarer en slik eksamen, er du ikke bare for lite smart til å være matematikklærer – du er rett og slett ikke smart nok til å være lærer i det hele tatt.

Steganografi

Nu i disse Panama-dager kan det jo være interessant å finne ut: Når det er lekkasjer – hvem er det som har lekket? En måte å gjøre det på (om enn noe vanskelig for Mossack Fonseca, gitt at det var mossack_fonseca_logo2,6 terabyte data som ble lekket), er steganografi.

La oss ta et eksempel: I 2005 hadde daværende utdanningsminister Kristin Clemet problemer med at noen lærere lakk nasjonale prøver. De nasjonale prøvene var og er for alt jeg vet like over hele landet – og der er problemet: Hvis de blir lekket, er alle forberedt, og dermed er ikke prøvene de måleinstrumentene de er ment å være.

Det som skjedde var at lærerne og/eller skolen fikk prøvene, på papir, dagen før, noe som er naturlig gitt postgang og at man må sikre at alle skolene faktisk har prøvene i tide, og så videre. I dag ville man vel levert hele greia digitalt, noe som gjør sikkerheten enklere – men spørsmålet gjenstår: Hvis man har mange eksemplarer av informasjon (elektronisk eller ikke) – så kan man ikke sikre seg mot at den lekker, men det er ikke vanskelig å finne ut hvem som har gjort det. Dette kan man gjøre ved å nummerere prøvene eller lignende, men det er jo ikke vanskelig for den som lekker å fjerne nummereringen. Et elektronisk dokument kan jo ha fingeravtrykk, men hvis man skriver det ut og deretter scanner det, forsvinner den muligheten.

Den elegante måten å hindre slik lekkasje på er steganografi: Man endrer litt på hvert dokument – litegrann endring i teksten, for eksempel. Ikke mye, og ikke noe som endrer innholdet i vesentlig grad. Hvert eneste eksemplar av dokumentet vil være litt forskjellig, og disse forskjellene utgjør identifiseringen av dokumentet. Dette betyr at hvis et eksemplar lekker ut, vet man hvor det ble lekket fra.

I eksemplet med de nasjonale prøvene, som inneholder grafer og tegninger som skal tolkes og derfor må gjengis i faksimile hvis den skal ha verdi som lekkasje, kan man jo i tillegg endre litt på linjer – stipling, tykkelse, og slikt. Man kan endre på hvor på siden ting er plassert. Man kan endre rekkefølgen på oppgaver.

Det er ikke mye som skal til – med ca. 3300 skoler i Norge, trenger man bare 12 ting som kan endres – antall mulige variasjoner er 2 i 12. potens = 4096. Antakelig trenger man ikke så mange, siden man har to forskjellige språkformer, og mange av de 3300 skolene er jo ikke barneskoler.

Sannsynligvis vil man ikke få noen lekkasje i det hele tatt – vissheten om at disse prøvene kan spores til kilden vil antakelig sørge for at lekkasjen enten ikke vil skje, eller at den vil skje i full offentlighet, ved at noen tar ansvar for den. Et annet alternativ er at den som lekker dokumentet gjør noen endringer på det – men da blir lekkasjen mindre verdifull for mottakeren.

Nuvel, antakelig overkill. Men slik er det med alle sikkerhetsløsninger – de er kompliserte og dermed blir det til at de ikke brukes. Og alle former for sikkerhet, kryptografiske og andre, har liten mening hvis ikke alle bruker dem. Og det kan jo være like bra, siden jeg har stor sans for hva John Doe gjorde, og hans grunner til å gjøre det.

Filmen om filmen

Kollega Audun Farbrot har skrevet et blogginnlegg om den lille videosnutten vi laget om delingsøkonomi forleden. Det var virkelig så enkelt: Lyssetting gjort på forhånd, dukket opp, holdt forelesning, og det var det. Og når ting er så enkelt, frister det jo til gjentakelse. Så det kommer nok mer…