Odd Erik om replikering av AI-forskning

file (1)

Syntes jeg dro kjensel på fotografiet – og jammen var det ikke Odd Erik Gundersen (som jeg sitter i styret i SmartHelp sammen med) som ble intervjuet og har skrevet en glimrende (og tilgjengelig) kronikk i Morgenbladet om diskusjonen om forskningskvalitet. Det er et stendig problem innen forskning (også innen informatikk) at forskningsresultater ikke lar seg replikere.

Innenfor kunstig intelligens (eller, vel, maskinlæring som jeg regner med at det er snakk om her) er dette ekstra viktig fordi utviklingen av maskinlæringsalgoritmer i motsetning til vanlig vitenskapelig metode er teoriløs – man har masse data, kjører en søkealgoritme over mange modeller og modellvarianter, og så ender man opp med et eller annet resultat, gjerne uttrykket ved en confusion matrix eller en validation curve (også kalt learning curve).

Ofte finner man at når folk snakker om at de har en modell som er «94% nøyaktig» så snakker de om nøyaktigheten på treningsdataene (der modellen er utviklet) og ikke på testdataene (som er de dataene man holder til side for å se om modellen, utviklet på treningsdataene, er nøyaktig.) Dermed får man modeller som har svært høy nøyaktighet (ikke noe problem å komme til 100% hvis man bare er villig til å ta med nok variable) me som ikke har noen som helst brukelighet.

Og det er et problem ikke bare i maskinlæring, men i all forskning. Det er bare det at i maskinlæring finnes dataene og programmene lett tilgjengelige, problemet er synlig, og det er sjelden noen grunn til å skjule det.

Bortsett fra at noen trenger å publisere noe, heller enn å bygge en god modell.

Doktorgrad: Innovasjon i offentlig sektor

Ny doktorgrad ved BI: Innovation in Public Services: Wicked Problems and Multi-layered Solutions, Rannveig Røste

Advarsel: Notater og refleksjoner underveis. Feil, mangler og misforståelser foreligger sikkert –  caveat emptor.

Innovasjon i offentlig sektor er mye omskrevet, men preges av en søken etter en magisk og enkel løsning, et universalverktøy for å løse absolutt alle problemer. Denne doktorgraden har studert i detalj en innovasjon i offentlig sektor – introduksjonen av offentlige ladestasjoner for elbiler i Oslo – for å beskrive og avdekke hva som egentlig foregår.

Et problem er en utbredt oppfatning at det er stor forskjell på innovasjon i offentlig og privat sektor, der offentlig sektor er dyr, ineffektiv og rigid, mens den private er kompetitiv og innovativ. Baserer seg på Schumpeter (eller rettere sagt, neo-Schumpeteriansk evolusjonsteori og Webersk byråkratiteori (legitimering ved å følge regler som oppfattes som riktige og naturlige.)

Fokus for studien har vært utbyggingen fra 0 til 701 offentlige ladestasjoner for elbiler i Oslo, gjennom tre teknologigenerasjoner. Dette er en enkel tjeneste (ingen kostnad for brukeren), men har en kompleks og interessant historie. Et vedtak med et mål om 400 ladestasjoner ble vedtatt i 2007 og tatt inn i budsjettene året etter. Trafikketaten slet med dette fordi de var opptatt av parkering og hadde ikke kunnskap eller interesse for ladestasjoner. Etaten tok imidlertid ansvar, men var redd for at 400 var et for høyt antall, og at man ville få avisoverskrifter om dyre og ubrukte ladestasjoner. Dette dyttet dem i retning av å finne en god løsning. Man foretok studiereiser og innledet et samarbeid med Norsk Elbilforening, som ble en sentral aktør i å representere elbileiere og -produsenter.

Forslaget kom fra Venstre og fikk støtte av alle partier, et resultat av en gradvis utvikling mot å legge til rette for elbiler som en offentlig norm. Norge hadde også to elbilprodusenter (Think og Buddy).

Hovedkonklusjonen er at innovasjon i offentlig sektor er et komplekst problem med mange prosesser i parallell – et såkalt «wicked problem».

Questions from the invigilators:

Q: What are the two or three big take-aways from your dissertation?

A: Innovation in public services is much more complex than what the debates and the governmental agendas – there are many processes and things are not planned as much as people tend to think that they are.

Q: What would be your advice for a policy-maker, and what would you say to your academic audience?

A: Understand the complexities of the processes and think hard about incentives. [missed this discussion]

Egen oppsummering: God doktorgrad hva gjelder selve studien, skulle gjerne sett litt mer presise og anvendbare konklusjoner – som komiteen sier, litt egen teoribygging – men det er kanskje feltet heller enn doktorgraden som er problemet her. Og at man som doktorgradsstudent kanskje er litt kledelig beskjeden.

Sintef-seminar: Det fremtidige «mennesket»

Advarsel: Dette er liveblogging: Notater underveis, jeg kommer til å misse og misforstå ting og sikkert skrive ting feil og, vel, caveat emptor. (Og det livestreames (med opptak) her: https://www.youtube.com/watch?v=WQqpu50jtBU).

Summa: Ikke mye nytt her… men morsom liten filosofidiskusjon på slutten.

Herman Ruge Jervell: Hva datamaskiner ikke kan, 30 år etter.
Jervell skrev en bok med denne tittelen for 30 år siden. På den tiden var entusiasmen for hva datamaskiner kunne bli stor. Boken var ment nøytralt. Det var antakelig den første boken i Norge der teksten ble sendt rett til trykkeriet (takket være Kai A. Olsen.) Ønsket var å få frem det håndverksmessige i programmering.

AI er to ting – og man må ha begge deler: AI (artificial intelligence some syntaktisk agent), og AE (artificial environment, som sivilisasjonsprosess, en del som ofte undervurderes.) T-banen i København er en selvkjørende bil, innenfor en verden som er nokså begrenset, og i denne begrensningen ligger mye av konstruksjonen. Dette er en sivilisasjonsprosess i den forstand at man trenger skriftssprog, arkiv, kommunikasjon, avtaler, veier, bank, bokholderi, annet.

Hva forfatterne bommet på: Internett, automater (perseptron, nevralnett, bruk av statistikk, persepsjon). Nå har man etterhvert forstått at det er gap mellom kode og adferd – vi kan ikke gå direkte fra kode til adferd – man kan ikke bruke genomet til å forutsi adferd, for eksempel. Oppsummering: Datamaskinen er en syntaksmaskin, mange tror da at en står fritt til å gjøre hva som helt, men man trenger kunnskap fra mange områder.

Marita Skjuve: Intelligent teknologisk liv
Tar mennesket som utgangspunkt for hva det vil si å ha et liv og være intelligent. Definerer teknologi som bruk av vitenskaplig kunnskap for praktiske oppgaver. Teknologien om prøver å etterligne menneskelige egenskaper: Roboter og chatboter. Viser noen videoer (Google Assistant, en sexrobot, Atlas, etc.). Store begrensninger – chatbots skjønner ikke ironi og klarer ikke å huske langt tilbake i en samtale, for eksempel. Moravec og Kurzweil har spådd intelligent teknologi lenge, en nylig survey blant AI-eksperter sier at menneskelig intelligens er oppnåelig innen 2075. Dette vil manifestere seg enten ved en embodied evolution (ligner mennesket, færre begrensninger) eller disembodied evolution (lever i en virtuell virkelighet.) Realismen i dette kan diskuteres.

Kommentar: Skille mellom frykten for AI som ligner mennesker, kontra den mer realistiske frykten for å overlate mer og mer til algoritmer man ikke kan argumentere med.

Kommentar: Økonomisk begrensning – hvem skal betale for den enorme datakraften man vil trenge. Overlydsfly og distribuert atomkraft er teknisk mulig og økonomisk ikke mulig…

Phu Ngyen: Advances in genetical engineering and the future of humans
Three aspects: Genetic engineering advances, applicability to humans, and future developments.

Some new advances: Things are getting cheaper thanks to CRISPR (kind of like moving from using scissors to using a word processer (search and replace.)). You can now introduce gene blocking – not changing the genes, but silencing parts of them. Applications for humans is to use screening for early detection of genetically caused disorders.

Main point: Slippery slope, we are just at the beginning.

Philip Turk: Cyborgs – humanity’s future?
Cyborg = cybernetic organism. Sliding scale from people with assisting technology (most people today are dependent on their smartphone) to true hybrids. Numerous implants possible already: Retinal, diagnostic, ID, arms steered by thoughts, etc. So what is possible in the next 30 years?

Maybe artificial organs such as eyes or hearts; fully functional artificial limbs, nanobots, proper brain-computer interfaces. Convenience implants of different kinds (already have credit cards, for instance), but we would have smartwatches or similar, VR/AR enhancements, decoration (moving tatoos, LEDs under the skin?) Exoskeletons. Enhanced artificial eyes (infrared and/or UV, superhigh def, 360 degrees?) Enhanced robustness. Most interesting: Cognitive enhancements.

Einar Duenger Bøhn: Homo Machina: Til forsvar for transhumanisme
(Medlem av CAIR, senter for AI Research.) Skal si litt om transhumanisme. Sosial og muligens politisk bevegelse, vanskelig å si hva en transhumanist er helt presist. Ser det som en normativ påstand, en moralsk påstand, som sier: Transhumanisme er at vi bør etterstrebe å utvikle, anvende og spre teknologi som forbedrer mennesket. Mennesket vil her si arten homo sapiens. Forbedre er vanskelig å definere, men vi er ikke avhengig av en presis definisjon. Også et kollektivt eller individuelt spørsmål, strategien er antakelig at samfunnet skal satse på det uten å påtvinge det mennesker.

Det er nivåspørsmål her:

  1. Preventiv transhumanisme: På et grunnleggende nivå er vi der allerede: Reparerer mennesker tilbake til normalen. Vaksinemotstandere er et eksempel på motsatsen.
  2. Proaktiv transhumanisme: Forbedring utover normalen. Sterkere syn, etc. men forbedrer menneskearten slik den er i dag, men uten å overskride grensene for hva vi er i dag.
  3. Transcenderende transhumanisme: Forbedringer slik at man blir noe annet, overskride grensene (omtrent som en transkjønnet har overskredet grensene for sitt kjønn.)

Hvorfor skal vi dit? Det er en flytende overgang – hvis å reparere hjerter er OK, hva med å la det vare evig. Kan jo ikke være galt? Et moralsk premiss er at om du kan forbedre en situasjon bør du gjøre det. Et annet argument er i evolusjon: Arv, miljø og mutasjoner. Dette skjer ved relative tilfeldigheter, og hvis vi kan styre prosessen bør vi gjøre det.

Innvendinger: Frykt for måte dette gjennomføres på («Hitlerkortet»), men dette er ikke en innvending mot transhumanisme, men mot gjennomføringen. En annen innvending er at vi skal ikke tukle med naturen, leke Gud. Vi vet ikke hvor dette ender. Igjen: Ikke en innvending mot enden, bare måten.

Hvorfor nettverk er viktig for innovasjon

En liten video som forklarer hvorfor nettverk – sosiale og andre – er viktig for innovasjon. Samt en liten reklame for kurset Nettverksledelse i praksis.

Forresten, Granovetters artikkel er

  • Granovetter, M. S. (1973). The Strength of Weak Ties. American Journal of Sociology, 78(6), 1360-1380.

…og du finner en kopi av den her.

Digitalisering av ledelse: Er ledelse en truet kultur?

Dette blogginnlegget begynte som notater under Jan Ketil Arnulfs foredrag 6. april, men gitt at Jan Ketil er en foredragsholder som tilfører teksten mye – og dessuten bruker live-skjermer i stedet for Powerpoint, så legger jeg like greit ut videoen. Interessant innhold (og i seg selv et eksempel på hvordan digitalisering endrer forskning) og en studie i avslappet og poengtert foredragsleveranse:

Da kan jeg jo også anbefale Jan Ketils bok En kultur kalt ledelse, mens jeg er i gang. Lesverdig!

Financial Times-rankingen

1920px-lbs_campus_2Financial Times årlige liste over de beste handelshøyskolene i Europa er kommet. London Business School (bildet) leder på fjerde året. Av de nordiske skolene finner vi Stockholm på 27. plass, Aalto på 32, BI på 33, NHH på 35, og København på 51.

Norge er stadig det eneste nordiske landet med to skoler inne på listen – og, som jeg pleier å si, for å erte mine kolleger i Bergen: Det er jo en triumf for norsk distriktspolitikk…

Spøk til side, egentlig er det en prestasjon at Norge (og de nordiske landene) er så høyt oppe som vi er. Et av de viktigste kriteriene for å vurdere skolene er hvor mye penger kandidatene tjener 3 år etter at de er utdannet. I nordiske land, der lønnsforskjellene er små, gir dette dårligere resultater. De nordiske landenes jevne stigning oppover listene reflekterer at man har gjort det bedre og bedre på andre kriterier, som for eksempel antall kvinner i styre og ledelse, og andel utenlandske lærerkrefter. At København har gått fra 35. til 51. plass tilskriver jeg skolens svekkede økonomi og det faktum at danske myndigheter gjør det vanskeligere for utenlandske forskere å arbeide og oppholde seg i Danmark.

BI har gått frem en plass, og det er det jo grunn til å glede seg over. Så gjenstår det å se hvordan vi kan gjøre skolen enda bedre. Handelshøyskoler står overfor store utfordringer fremover, dels fordi man er truet av billigere alternativer (generelt ved at mer og mer blir tilgjengelig over nettet, for BIs vedkommende fordi offentlig subsidierte skoler går inn på det som engang var våre enemerker), men også fordi økonomisk utdannelse i fremtiden vil kreve mer kunnskap om teknologi og teknologiutvikling. Det siste skal ikke jeg akkurat klage over, siden det er mitt fagområde, men det er klart at mange handelshøyskoler vil slite med å tilpasse sine tilbud til en verden der mer og mer av det som tidligere ble gjort av økonomer i stadig økende grad kan gjøres av roboter.

Og da blir det jo et spørsmål – utdanner handelshøyskoler folk som forteller datamaskinen hva den skal gjøre, eller folk som blir fortalt av en datamaskin hva de skal gjøre?

Det vil nok etterhvert vise seg på Financial Times-rankingen.

Ja, men…om frisører og selvkjørende biler

dirtyhair

Bilde: RSPCA

I sagaen om for eller mot hårvask har direktøren for frisørbransjen et innlegg om hvordan hele greia har kommet skjevt ut: Selvfølgelig har man ikke noe i mot konkurranse, men det er bare det at om kundene kommer inn med skittent hår, skal man kunne tilby hårvask og nekte å klippe om kunden nekter å vaske. Dessuten blir frisører utdatert av å bare klippe hele dagen, må vite, og derfor bør man ikke tilby lavprisklipping på bekostning av striping og andre ting.

Akk ja. Her er det mye å ta tak i. Sånn til å begynne med: En frisørsalong (som enhver annen bedrift) er der fordi man har kunder som ønsker å få noe, ikke fordi man har ansatte som ønsker å gjøre noe. Dette kan være litt vanskelig å skjønne av og til. En organisasjon – en bedrift, et departement, en forening – eksisterer for å oppnå eller utføre noe. Når den ikke gjør dette lenger – for eksempel fordi det kommer andre måter å gjøre ting på – har den ikke lenger eksistensberettigelse. Så om noen frisørsalonger forsvinner fordi folk vil ha billig klipp – vel, så går nok verden videre.

Men det er ikke det som irriterer mest med dette intervjuet. Det som irriterer mest er påstanden om at man skal drive en organisasjon på en bestemt måte i tilfelle noe kan komme til å skje – som for eksempel at en kunde kommer inn med uhygienisk skittent hår. For meg høres dette ut som en situasjon som ikke oppstår så altfor ofte – hvor stort er problemet egentlig? Og hvis problemet skulle oppstå, kan ikke bare frisøren nekte å klippe likevel, og sende kunden hjem for en hårvask? Dessuten har jeg lært at man skal vaske håret før man går til frisøren – dels fordi det da blir en bedre klipp, dels fordi man føler seg vel.

Ja, men…

Denne innvendingen mot en ny måte å gjøre en gammel tjeneste på er typisk når noe nytt skjer: De som blir utkonkurrert kjemper i mot ved å komme opp med spesielle scenarier der den nye måten å gjøre ting på ikke fungerer.

Jeg er nokså opptatt av innføring av selvkjørende biler, som etter mitt skjønn ikke kan komme fort nok – om ikke annet så fordi det dør ca. 160 mennesker i trafikken i Norge hvert år, og en total overgang til selvkjørende biler vil ut fra de fleste spådommer redusere det antallet med 90%. Om ikke 144 færre dødsfall i året (og tilsvarende færre skader) er grunn nok, vil vi også redusere antallet biler, redusere forurensning (siden de fleste vil være elektriske) og få masse mer plass i byene på grunn av færre parkeringsplasser.

1200px-trolley_problemOg så kommer «ja, men…» – i dette tilfelle i form av et filosofisk paradox kalt trikkeproblemet eller «the trolley problem«, som i korthet går ut på følgende: Tenk deg at du ser fire mennesker som går på skinnegangen (til en trikk eller et tog). En vogn uten bremser ruller mot dem, og de vil bli drept hvis ikke du penser vognen inn på et annet spor. På dette andre sporet går det en person. Spørsmålet blir da – skal du pense vognen over, slik at bare en person blir drept i stedet for fire?

Her er det mange svar og mange varianter, jeg skal ikke gå inn på dem, bare si at dette problemet stadig kommer opp når man diskuterer selvkjørende biler: Sett at et barn styrter ut i veibanen. Skal bilen holde seg på veien og dermed drepe barnet, eller kjøre av veien og dermed drepe føreren?

Dette diskuteres i det vide og brede, og fremstilles som et være eller ikke være for selvkjørende biler, både fra et produsentsynspunkt (hva skal man programmere bilen til å gjøre) eller fra et forsikringssynspunkt (hvem skal ta erstatningsansvaret?) Og hvis man er filosofisk anlagt, kan man bruke ganske lang tid på dette spørsmålet.

Er man mer praktisk anlagt, ser man i stedet på om problemet i det hele tatt oppstår – og, i så fall, hvor ofte? Jeg har kjørt bil i mange år og aldri vært i denne situasjonen, og det tror jeg gjelder de fleste. Fremfor alt – oppstår den oftere med selvkjørende biler enn med vanlige biler? Gitt at den selvkjørende bilen er mye sikrere og ser ting bedre enn menneskelige sjåfører (i gjennomsnitt, i alle fall), er det ikke grunn til å tro det.

Men, sier forståsegpåere – det er ikke spørsmål om hvorvidt dette skjer ofte, men om prinsippet: Ville du satt deg inn i en selvkjørende bil hvis du ikke visste om den kom til å ta livet av deg (gitt en nokså sjelden situasjon) eller ikke?

Svaret er at det gjør vi nesten hver dag. Hvis jeg setter meg inn i en bil (taxi, buss, hva som helst) som jeg ikke kjører selv, men som er kjørt av en annet menneske – så vet jo ikke jeg hva dette mennesket ville gjort i en slik situasjon. Sjåføren vet det antakelig ikke selv heller. Jeg vet ikke engang hva jeg selv ville gjort. Det kommer an på, som det heter.

Dermed har vi altså et filosofisk stort problem som i praksis ikke er et problem, bare man tenker seg litt om.

Omtrent som hårvask.

Men jeg begynner å bli dyktig sliten av alle disse «ja, men…» innvendingene. Hva med å se etter løsninger i stedet for problemer når noen foreslår noe nytt?