Maskinlæring og akademisk rutinearbeid

Undervisningssektoren er ikke særlig automatisert. Riktignok finnes all verdens datasystemer for å holde orden på studenter (karakterer, økonomi, studieprogresjon). Alle skoler har en eller annen form for LMS (Learning Management System) som gir tilgang til studiemateriale og til en viss grad fasiliterer studentinteraksjon. Noen har også digitalisert selve eksamen – i hvert fall om man kan kalle det å skrive eksamen på en PC for å digitialisere den.

Men jeg lurer på om vi ikke kan gå litt lenger.

JP Morgan, en amerikansk investeringsbank, har laget et system som heter COIN, som leser kontrakter og tolker dem. Programmet gjør 360.000 timer advokatarbeid i løpet av noen sekunder.

La meg se – finnes det innenfor undervisningssektoren noen prosesser der høyt gasjert personale sitter og leser massevis av sider med repetitivt innhold uten særlig utbytte?

phd120310s

Jepp, sensurering. Før man kan reise på ferie, må man (i alle fall om man underviser på massestudier, hvilket jeg heldigvis ikke gjør) forholde seg til en kjempebunke med oppgaver som skal leses og karaktersettes. Dette er en kjedelig prosess for alle involverte, selv om man kan gjøre mye ved å systematisere prosessen selv eller kanskje ty til kreative og litt desperate snarveier. Det er mange problemer med sensur, bortsett fra at det er kjedelig og repetitivt og dyrt. Et av dem er at man ikke alltid er like konsistent i sin karaktersetting. Jeg har aldri foretatt noen studier på det selv, men alle mulige studier av evalueringer i andre sammenhenger viser at saksbehandlere varierer i sine vurderinger før og etter lunsj, for eksempel. I tillegg er det norsk folkesport å klage på karakteren, i følge en utenforstående observatør.

Hva om vi brukte litt maskinlæring på sensuren? Det burde la seg gjøre å bruke tekstgjenkjenning av noe slag, slik at en sensor kunne lese et visst antall oppgaver, som deretter ble brukt til å trene opp en algoritme (f.eks. et nevralt nettverk) til å lese og karaktersette et større antall oppgaver. Ikke noe for alle studier, naturligvis, men store fag som «forberedende» på universitetet eller «ork & lede» på BI burde jo absolutt være kandidater, med sine tusenvis av oppgaver ingen egentlig orker å forholde seg til, aller minst kandidatene selv.

Riktignok vil dette ta vekk arbeid for endel sensorer, men for å være ærlig tror jeg ikke dette er noe man vil savne. Og det vil jo fri opp sensorene til å gjøre noe mer interessant.

«Never send a human to do a machine’s job,» for å sitere en av de dårligste filmene jeg vet. Så gjenstår det å se om studentene vil akseptere en klassifiseringsalgoritme som sensor – det skal i alle fall ikke stå på detaljeringsgraden i sensurbegrunnelsen…

Innholdsmarkedsføring

innholdsmarkedsfc3b8ring-214x300Notater fra et morgenmøte (Lansering av boken Innholdsmarkedsføring, av Jens Barland, Arne Krokan, Monica Viken og Tor Bang. Lansert som gratis ebok, siden fagbøker likevel ikke genererer noe penger…)

Jens Barland:
Innholdsmarkedsføring ikke nytt, men kommer nå med digitaliseringen og sosiale medier, og er blitt en ny industri, særlig rundt design/utvikling/distribusjon og analyse av data. Datahøsting gjør at kunder blir digitale brukere som man får kunnskap om. Viktigere å lage interessant innhold som gjør at leseren/brukeren blir interessert i å være sammen med deg på nett. Innholdsmarkedsføring i tradisjonelle mediekanaler (også digitale) er egentlig en liten del av det hele.

Arne Krokan:
Om forretningsmodellene: Aviser har alltid vært en teknologi for å selge annonser til selgere. 3/4 av de som kommer inn på Dagbladet kommer fra sosiale medier, ikke gjennom portalen. Når folk oppdager at noe er sponset innhold, mister de tillit til mediene. Arnes kapittel ser fremover på teknologisiden: Mye av innholdet i aviser er commodities: Bare 15% av Boston Globe (etter vekt) var originalt språk, resten var klipp herfra og derfra, og det kan gjøres av algoritmer, godt nok til at andre journalister ikke kan finne ut hva som er skrevet av maskin og hva som er skrevet av et menneske. Platformer tillater bylines med stor spredning.

Mediebransjen må lære av musikkbransjen, musikerne tjener mer penger på konserter enn på plater, mediebransjen må følge etter. Skal man klare det, må man beskytte fremtiden mot fortiden.

Monika Viken:
De juridiske rammene utfordrer mer enn Vær Varsom-plakaten. I hvilken grad har vi regler som er i stand til å regulere disse nye trendene. EU viktig, ehandelsregler, copyright, legemiddel-, tobakk- og alkohollovgivning, og mye annet. Noen konflikter: Reklame vs. journalistikk, og jus og etikk.

Ting må merkes som reklame (ikke journalistisk) og reklamen må være etterrettelig, også om det blir sagt av kjendiser. Ikke fritatt for dokumentasjonsplikten selv om man synser og mener, men villedende reklame er forbudt. I det du sier noe, må du kunne dokumentere at det er sant. Påstander som er hentet fra redaksjonelt innhold kan ikke direkte brukes i markedsføring uten at det er godtatt for bruk i markedsføring, egne regler her.

Jus og etikk er ikke det samme. Har en tendens til å pakke etikken inn i jussen. Markedsføringsloven sier at det er forbudt å markedsføre i strid med «god markedsføringsskikk» etc. – et annet regelverk enn jussen.

Det er redaksjonell ytringsfrihet, men er det kommersiell ytringsfrihet? Spørsmål om kommersiell ytringsfrihet skal beskyttes av grunnloven, men har svakere vern, kan reguleres i mye større grad.

Hva skal til for at noe er forbudt? Målestokken er markedet – publikum. Leseren defineres som forbruker, ikke leser, og ting er forbudt dersom forbrukeren endrer sin økonomiske adferd som et resultat av markedsføringen (kommer fra en EU-bestemmelse). Det er gjennomsnittsforbrukeren som gjelder, ikke en enklet forbruker.

Tor Bang:
Utviklingen fremover: Innholdsmarkedsføring svært vidt begrep. Har eksistert lenge, nye medier kommer, som Lofotkrafta, kundeavis for interkommunalt kraftselskap, dit journalistene går siden tradisjonelle medier ikke ansetter folk lenger, og noe må de jo gjøre.

Mange innholdsprodusenter ønsker ikke å fremtvinge reaksjoner fra f.eks. PFU. Konvergerende sektorer, PR/reklame/innhold/presse. Informasjonskomponenten i kommunikasjonen blir tydeligere, mindre propaganda, tar leseren/kunden mer på alvor. Media utenfor mediabransjen vil fortsette å vokse, samt «leverandørindustrien.» Kanskje det er viktigere å lære publikum, barna våre, hvordan de skal forholde seg til dette enn å gråte over det som kommer.

Vibeke Christensen, Amedia: Skrev oppgave om innholdsmarkedsføring på BI i fjor, jobber nå med innholdsmarkedsføring («native ads») for Amedia, 2 ansatte, pluss frilansmedarbeidere, regionalt team med 7 medarbeidere over hele landet. Vokser, interesant nisje, man lage svært målrettet stoff siden man har så mange lokalaviser. Skal være verdensmestere i lokal historiefortelling. Viktig med god fortelling, skal engasjere, tydelig merket med «annonse», og hvem som har betalt. Skal være merkevarebyggende, ikke for de som vil tømme lageret kjapt. Tidkrevende å lage, trengs en opplæring også mot selgerne, må ta betalt for rådgivning og produksjon, ikke bare distribusjon.

Nina Wergeland, Egmont Content Stories: Innholdsmarkedsføring fra et ukepresseperspektiv. Startet for halvannet år siden med å bygge opp innholdsproduksjon for Egmont – «bygg ditt publikum». Kan enkelte målgrupper, som helse, foreldre, interiør, skal konsentrere seg om det, uavhengig av Egmonts egne flater. Viktigst av alt er å forstå kundene, så skribenten lager de historiene som trengs. Stab på 12, mest skribenter, markedsfører oss som eksperter på målgruppen. Utfordringen ligger i å spre innholdet, å gjøre datafangst og analyse av distribusjon, enkelte annonsører har nok innhold men vet ikke hvordan de skal distribuere det. Mange bedrifter ansetter egne folk til å skrive historier, spørs om det er så lurt, og om man ikke bør bruke andre. Merkevarene skal tenke slag, men må jobbe som proffe publisister. Har tall (fra AC Nielsen) som viser at samarbeid med publisist øker merkevareverdi.

x, VG Partnerstudio: Eksempler på innholdsmarkedsføring. VGs inhouse produksjonsstudio, for det meste tidligere VG-medarbeidere, kan fortelle de gode historiene, kan plukke unge og flinke medarbeidere. Har levert endel store «branded content» innhold – et online reisebyrå for Ving, seksjon om familieliv for Rema1000 (ønsker å omforme bildet av Rema fra «billig» til rådgiver for unge mødre), lager en stor sak om «Kongens nei», som premiumartikkel, og TrashTV, 102000 avspillinger av de første to episodene på fire dager, betalt av Grønnpunkt som vil ha folk til å kildesortere.
Bruker VGs førsteside, mange lesere, kombinert med andre distribusjonsformer, de bygger opp under hverandre. Annonsørene vil vite om ting har effekt, retargeting, pre/post analyser, måle effekter.

Case 1: Helsedirektoratet. Ønsker å få flere ungdommer til å spise ordentlig skolemat. Laget to videoer om viktigheten av skolemat, videoene blir laget, men trenger en kontekst å settes inn i, lager artikler, oppskrifter, råd etc. Effekten er at folk leser artikkel og ser video. Skulle levere 275000 lesere/seere, ligger fortsatt på 4. plass i organisk søk i Google.

Case 2: Novartis. Vanskelig farvann, mye lover og regler. Ønsket fokus på konferanse om hjertesvikt, vi laget pakke med video, reportasje, forskning, ingenting om piller i materialet. 151000 sidevisninger på to dager, 3800 timer brukt på artikkelen. I papiravisen i tillegg.

Case 3: Rema 1000: 10 millioner sidevisninger, 3.5 unike brukere. Relevant innhold i relevant setting.

(To egne tanker på fallrepet: Finnes det regler der ute som står i veien for en fornuftig utvikling i innholdsmarkedsføring (a la forbud mot kamera for Tesla X. For det andre: Her klarer man å skrive gode historier med få mennesker – hvorfor sender pressen hundrevis av journalister til Skien for å dekke Anders Behring Breivik?)

Matematikk og lærerstudenter. Igjen.

Årets deleksamen i matematikk for lærerstudenter viser en strykprosent på 37%. Ikke nok med det, kun 27% klarte en C eller bedre (Kilde: NOKUT via VG):

Antall Prosent Kumulativ%
A 6 0,60 % 0,60 %
B 60 6,05 % 6,65 %
C 205 20,67 % 27,32 %
D 230 23,19 % 50,50 %
E 122 12,30 % 62,80 %
F 369 37,20 % 100,00 %
992 100,00 %

Og så akkurat nå som NOKUT hadde rapportert at høstens eksamen hadde gått ganske bra, skjønt det resultatet skyldes muligens at i høst var det en større andel av studentene som faktisk var interessert i matematikk (eller kunne nok matematikk og derfor tok eksamen med en gang).

Men hvor ille dette er, ser man ikke før man ser på selve eksamen. Jeg vet ikke hvor man setter grensen for A, B, og så videre, men har i hvert fall fått «retningslinjer» fra NOKUT når jeg selv skal evaluere mine studenters arbeid at en A innebærer en poengsum over 80-85 (av 100). Jeg vil tippe at en F krever mer enn halvparten feil.

Med 20 spørsmål betyr det at kun 6 av nesten 1000 studenter klarte å gjøre 3 eller færre feil på en eksamen som har oppgaver som

  • Hvis du skraverer 25 % av 2/3 av et rektangel, hvor stor brøkdel av hele rektangelet har du skravert? Forklar resonnementet ditt.
  • Skriv både 7/25 og 7/56 som prosent og desimaltall.
  • En bil er verdt 80 000 kroner. Bilens verdi har falt med 20 % per år i to år. Hvilken verdi hadde bilen for to år siden? Vis utregning.

Jeg beklager, men dette er ikke vanskelig matematikk. Det er ungdomsskolenivå. Dette er ikke oppgaver som krever matematisk teknikk, men rett og slett sunn fornuft, og har noe med intelligens å gjøre.

Jeg kan bare konkludere med at hvis du ikke klarer en slik eksamen, er du ikke bare for lite smart til å være matematikklærer – du er rett og slett ikke smart nok til å være lærer i det hele tatt.

Kul dag på jobben

IMG_1805

For litt siden skrev jeg en liten artikkel for BIs Strategy Magazine, om hvordan Tesla Motors påvirker de andre bilfabrikantene om og Tesla kan være en disruptiv innovatør – et spennende faglig spørsmål fordi disruptive innovasjoner gjerne kommer i den nedre delen av markedet.

I alle fall, vi bestemte oss for å lage en video som illustrerte dette – først en vanlig «en lærer og en tavle» video, og så, da det ikke ble så veldig spennende, en skikkelig video med fysiske biler. Vi fikk låne en Modell S P90D fra Tesla og en Jaguar XF fra Insignia, kjørte opp på Ekeberg og filmet i vei. Resultater kommer senere – men det var ganske morsomt å leke Top Gear i etpar timer, både for programleder og fotografer….

De digitale nerdelovene

Teknologi endrer vårt samfunn i rekordfart. Denne endringen drives av noen grunnleggende nerdelover som kan hjelpe ledere å forstå hvorfor det haster, og i hvilken retning utviklingen går.

Silvija Seres, President Polyteknisk Forening
Espen Andersen, Førsteamanuensis, Handelshøyskolen BI og Førsteamanuensis II, Institutt for Informatikk, Universitetet i Oslo

Internett-pioneren Marc Andreessen sa i 2011 at “software spiser verden”: Alle næringer endres av data, alle selskaper blir dataselskaper, og den enorme prisingen og lønnsomheten de nye store internettselskapene oppnår er godt begrunnet i deres verdiskapning. Mange tradisjonelle næringslivsledere er refleksivt skeptiske og ser en boble i den digitaliseringsdrevne veksten.

For datafolk – nerder, om du vil – er  denne ”nye veksten” og dens svimlende fart opplagt, nærmest gammelt nytt. De forstår hvordan teknologien muliggjør en ny virkelighet som før var dyr og kompleks; robotisering, kunstig intelligens, skytjenester, delingsøkonomi, og virtuell realitet, for eksempel. Deres digitale instinkter bygger på noen grunnleggende nerdelover.

Disse ”nerdelovene” er stort sett erfaringsmessige observasjoner som har vist seg å stemme i den digitale verden. De er nyttige å få med seg, fordi de hjelper å forstå de dramatiske endringene i våre næringer og vårt samfunnsliv. Her er noen av dem:

Les videre

Civita om undervisningskvalitet

Civita her utgitt et notat om undervisningskvalitet i universiteter og høyskoler og arrangerte i dag et frokostmøte om saken. Deltakere i panelet var kunnskapsminister Torbjørn Røe Isaksen, leder av Norsk studentorganisasjon, Therese Eia Lerøen og ny leder i Universitets- og høgskolerådet og rektor ved Menighetsfakultetet, Vidar L. Haanes.

(Advarsel: Liveblogging. Misforståelser og forglemmelser og alt det der.)

Torbjørn Røe Isaksen innledet med endel runde formuleringer om at det er vanskelig å definere kvalitet innen utdanning, men at man kjenner det igjen når man ser det. Noen punkter:

  • Høyere kvalitet bør føre til at man har høyere ambisjoner på studentenes vegne. Problemet er ikke studentene men hva slags forventning man har til dem – om man kan studerere 28 timer i uken og likevel få A eller B, hva sier det om forventningene vi har til studentene. Hvis man i tillegg ikke har høye krav for å komme inn, hva sier det om studiet. Vi må tenne den faglige gløden hos studentene.
  • Trenger mer inkluderende former for undervisning. Diktonomien mellom forskningsfri og undervisningsplikt bør bort.
  • Må skape en kvalitetskultur, og studentene må få ta del i det. Vanskelig å operasjonalisere, men du merker det ved at folk ikke er fornøyd med hva de har fått til, og samarbeider for å få til mer.
  • Studentene må integreres i det akademiske fellesskapet.
  • Studiene må være relevant for næringsliv og samfunn, for arbeidslivet utenfor akademia.

Mye ligger i strukturene: Få kvalitative krav til studenter, mye fokus og finansiering basert på kvantitet. Politikerne og studentorganisasjonene legger seg opp i hvem som skal komme inn på studier. Men jobben må også gjøres på den enkelte institusjon, politikerne kan ikke pålegge kvalitet.

Therese Eia Lerøren startet med at det er frustrerende at man er så enig, kunne lest opp Civita-notatet og vært helt enig. Fire punkter:

  • Kultur
  • Studenter som ressurs: må operasjonaliseres, notatet er bra om faglig og sosial tilhørighet, og om fullføring av studier. Når blir studenter invitert til å spise lunsj og snakke fag med faglige? Per idag er studentene en ubrukt ressurs. Studiebarometeret viser at studentene er minst fornøyd med oppfølging og veiledning – ikke omsorg, men motivasjon og tilbakemeldinger.
  • Varierte undervisnings- og evalueringsformer. Undervisningen i pedagogikk er ikke pedagogisk lagt opp… Undervisning kan ikke lenger være en privatsak.
  • Belønning og opprykk: Hva slags kriterier vektlegges ved ansettelser og opprykk. Samme krav til undervisningskompetanse for 1. amanuens og professor, i motsetning til forskning. Trenger et formelt krav til undervisningskompetanse, trenger noe standardisert her.

Hva står i veien for at dette ikke blir gjort i dag?

Vidar Haanes innledet med et sitat fra Burke: «Reading without reflection is like eating without digesting.» Blir det gjort så lite som det sies. Fra NTH til Menighetsfakultetet: Hadde arbeidsvaner men kjente ikke navnet på foreleserne på NTH, på MF kunne en professor holde på et helt semester med 8 vers. Sterkt politisk fokus på økt antall studenter, dette gjør det vanskelig, men det gjøres ganske mye. Skrevet veiledere og rutiner for hvordan undervisning skal finne sted. Arbeidet med NOU vil gi sektoren et dytt i retning bedre undervisning. All stimulans og ressurser går i retning av fokus på forskning, i verdenssammenheng, som Horizon2020. Ikke noe galt i det, men det handler om hvilke gulerøtter som skal deles ut. Det har vært skrevet utredninger om dette, UHR trekker inn alle og forsøker å finne gode eksempler. Mener at fokus på UK-pedagogisk kompetanse, undervisningskompetanse bør være meriterende. Forskningen er ikke privat, der må alt publiseres. Undervisningen må avprivatiseres på samme måte, må ha kolleger og mentorer som lytter til og kritiserer vår undervisning. Dannelsesaspektet blir vektlagt av faglige. FOU i utdanning skal bidra til å hjelpe studentene forholde seg til problemer med forskningskarakter i arbeidslivet etterpå.

Spørsmål til panelet fra programleder: Hva kan gjøres på incentivsiden.

Røe Isachsen: Et aspekt her er «massification of education», ofte som et resultat av ungdomsarbeidsledighet. I Norge er alle universiteter, muligens med unntak av noen estitiske spesialinstitusjoner, masseuniversiteter. Krav til publisering og impact, søknader til forskningsrådet og europeiske programmer, lettere å si noe om kvaliteten på forskningen og utdanningen. Hva skal vi se etter når vi vurderer undervisning? Politkerne må komme et steg nærmere mot å si noe om krav til undervisningskvalitet, det har vi stort sett overlatt til institusjonene. På en god institusjon hører god undervisning og god forskning sammen. Men skal studentene involveres i forskningen kreves det et godt forskningsmiljø i bunnen, og vi er ikke gode nok på å koble forskning og undervisning.

Lerøren: Skulle gjerne se flere tiltak fra undervisningsledere og politikerne, konkret, hva skal rigges til og endres på for å få noen til? Det er ikke så mye som skal til – og hadde vi ikke hatt studentene, så hadde ikke så mange akademikere hatt jobb.

Haanes: Opplever at kontakten med studentene er noe det som gjør jobben viktig og interessant. Har få virkemidler utover diskusjon, ledere må la dette sige inn i sin institusjon. Mer og mer profesjonalisering av seminarvirksomhet, kan hindre studentdeltakelse. Er ikke sikker på om politiske virkemidler er det som skal til, ei heller standardisering. Når presset på enkeltansatte blir for stort mot forskning og habilitering, går det ut over undervisning. Bør bytte ut «vurdere» med «verdsette» Mange studenter er mest opptatt av å få en utdanning. Finner mange eksempler på godt arbeid på læresteder.

Røe Isachsen: Bør har rom for flere undervisningsstillinger. Mye anekdoter og fortellinger om svak undervinsingskvalitet, rom for å gå lenger her.

Spm fra salen: Hvor er de store ambisjonene her? Kan man gjøre noe med den rykende ruinen som er ex.phil., kan man gjøre noe med overspesialiseringen, og hva med MOOC?

Bernt Hagtvedt: Er det for mange som tar høyere utdannelse?

… og resten av debatten orket jeg rett og slett ikke å ta notater fra, det ble litt for mye «det skal ikke så mye til» og «vi kan ikke sammenligne oss med Harvard/MIT/Yale» og felles vannkoker mellom studenter og faglige. En interessant diskusjon er forholdet mellom masseutdanning og elite, og tanken om at man skal vekk fra»dyrehagemodellen» over mot spissing av fagmiljøer, men da må, som Torbjørn Røe Isachsen sa, noe velges bort.

I prinsippet er det ingenting som hindrer at institusjoner prioriterer god undervisningskvalitet. I praksis er det masse hindringer, og milevid avstand mellom hva man sier i festtaler og hva man gjør i praksis.

Digitalisering – spørreundersøkelse

I disse dager sender Ragnvald Sannes og jeg ut en spørreundersøkelse til CIOs og IT-direktører/IT-sjefer i norske selskaper. Undersøkelsen er et samarbeid mellom MIT Center for Information System Research, Handelshögskolan i Stockholm og Handelshøyskolen BI.

Tanken er å finne ut hvordan det står til med digitalisering blant norske private og offentlige virksomheter, sett i et CIO/IT-direktørperspektiv. Vi spør om i hvilken grad virksomhetens inntekter, nå og i fremtiden, er truet av digitale konkurrenter og forretningsmodeller; i hvor stor grad virksomhetens produkter, tjenester og aktiva er digitalisert, og hvordan man organiserer arbeide med digitalisering i bedriften, og hvilken rolle CIO/IT-direktør spiller. Norge har et rykte for å være kjappe med å ta teknologi i bruk, men langsommere med å endre organisering og gevinstuttak, og vi ønsker å finne ut i hvilken grad det stemmer. Gjennom det internasjonale samarbeidet kan vi gjøre sammenligninger på tvers av landegrenser.

Vi kommer tilbake med flere opplysninger etterhvert. Hvis du er interessert i å være med på undersøkelsen, og ikke har fått den tilsendt i løpet av den neste uken, send oss en epost på self@espen.com eller ragnvald.sannes@bi.no, så skal vi sende deg en link.