Odd Erik om replikering av AI-forskning

file (1)

Syntes jeg dro kjensel på fotografiet – og jammen var det ikke Odd Erik Gundersen (som jeg sitter i styret i SmartHelp sammen med) som ble intervjuet og har skrevet en glimrende (og tilgjengelig) kronikk i Morgenbladet om diskusjonen om forskningskvalitet. Det er et stendig problem innen forskning (også innen informatikk) at forskningsresultater ikke lar seg replikere.

Innenfor kunstig intelligens (eller, vel, maskinlæring som jeg regner med at det er snakk om her) er dette ekstra viktig fordi utviklingen av maskinlæringsalgoritmer i motsetning til vanlig vitenskapelig metode er teoriløs – man har masse data, kjører en søkealgoritme over mange modeller og modellvarianter, og så ender man opp med et eller annet resultat, gjerne uttrykket ved en confusion matrix eller en validation curve (også kalt learning curve).

Ofte finner man at når folk snakker om at de har en modell som er «94% nøyaktig» så snakker de om nøyaktigheten på treningsdataene (der modellen er utviklet) og ikke på testdataene (som er de dataene man holder til side for å se om modellen, utviklet på treningsdataene, er nøyaktig.) Dermed får man modeller som har svært høy nøyaktighet (ikke noe problem å komme til 100% hvis man bare er villig til å ta med nok variable) me som ikke har noen som helst brukelighet.

Og det er et problem ikke bare i maskinlæring, men i all forskning. Det er bare det at i maskinlæring finnes dataene og programmene lett tilgjengelige, problemet er synlig, og det er sjelden noen grunn til å skjule det.

Bortsett fra at noen trenger å publisere noe, heller enn å bygge en god modell.

Doktorgrad: Innovasjon i offentlig sektor

Ny doktorgrad ved BI: Innovation in Public Services: Wicked Problems and Multi-layered Solutions, Rannveig Røste

Advarsel: Notater og refleksjoner underveis. Feil, mangler og misforståelser foreligger sikkert –  caveat emptor.

Innovasjon i offentlig sektor er mye omskrevet, men preges av en søken etter en magisk og enkel løsning, et universalverktøy for å løse absolutt alle problemer. Denne doktorgraden har studert i detalj en innovasjon i offentlig sektor – introduksjonen av offentlige ladestasjoner for elbiler i Oslo – for å beskrive og avdekke hva som egentlig foregår.

Et problem er en utbredt oppfatning at det er stor forskjell på innovasjon i offentlig og privat sektor, der offentlig sektor er dyr, ineffektiv og rigid, mens den private er kompetitiv og innovativ. Baserer seg på Schumpeter (eller rettere sagt, neo-Schumpeteriansk evolusjonsteori og Webersk byråkratiteori (legitimering ved å følge regler som oppfattes som riktige og naturlige.)

Fokus for studien har vært utbyggingen fra 0 til 701 offentlige ladestasjoner for elbiler i Oslo, gjennom tre teknologigenerasjoner. Dette er en enkel tjeneste (ingen kostnad for brukeren), men har en kompleks og interessant historie. Et vedtak med et mål om 400 ladestasjoner ble vedtatt i 2007 og tatt inn i budsjettene året etter. Trafikketaten slet med dette fordi de var opptatt av parkering og hadde ikke kunnskap eller interesse for ladestasjoner. Etaten tok imidlertid ansvar, men var redd for at 400 var et for høyt antall, og at man ville få avisoverskrifter om dyre og ubrukte ladestasjoner. Dette dyttet dem i retning av å finne en god løsning. Man foretok studiereiser og innledet et samarbeid med Norsk Elbilforening, som ble en sentral aktør i å representere elbileiere og -produsenter.

Forslaget kom fra Venstre og fikk støtte av alle partier, et resultat av en gradvis utvikling mot å legge til rette for elbiler som en offentlig norm. Norge hadde også to elbilprodusenter (Think og Buddy).

Hovedkonklusjonen er at innovasjon i offentlig sektor er et komplekst problem med mange prosesser i parallell – et såkalt «wicked problem».

Questions from the invigilators:

Q: What are the two or three big take-aways from your dissertation?

A: Innovation in public services is much more complex than what the debates and the governmental agendas – there are many processes and things are not planned as much as people tend to think that they are.

Q: What would be your advice for a policy-maker, and what would you say to your academic audience?

A: Understand the complexities of the processes and think hard about incentives. [missed this discussion]

Egen oppsummering: God doktorgrad hva gjelder selve studien, skulle gjerne sett litt mer presise og anvendbare konklusjoner – som komiteen sier, litt egen teoribygging – men det er kanskje feltet heller enn doktorgraden som er problemet her. Og at man som doktorgradsstudent kanskje er litt kledelig beskjeden.

Sintef-seminar: Det fremtidige «mennesket»

Advarsel: Dette er liveblogging: Notater underveis, jeg kommer til å misse og misforstå ting og sikkert skrive ting feil og, vel, caveat emptor. (Og det livestreames (med opptak) her: https://www.youtube.com/watch?v=WQqpu50jtBU).

Summa: Ikke mye nytt her… men morsom liten filosofidiskusjon på slutten.

Herman Ruge Jervell: Hva datamaskiner ikke kan, 30 år etter.
Jervell skrev en bok med denne tittelen for 30 år siden. På den tiden var entusiasmen for hva datamaskiner kunne bli stor. Boken var ment nøytralt. Det var antakelig den første boken i Norge der teksten ble sendt rett til trykkeriet (takket være Kai A. Olsen.) Ønsket var å få frem det håndverksmessige i programmering.

AI er to ting – og man må ha begge deler: AI (artificial intelligence some syntaktisk agent), og AE (artificial environment, som sivilisasjonsprosess, en del som ofte undervurderes.) T-banen i København er en selvkjørende bil, innenfor en verden som er nokså begrenset, og i denne begrensningen ligger mye av konstruksjonen. Dette er en sivilisasjonsprosess i den forstand at man trenger skriftssprog, arkiv, kommunikasjon, avtaler, veier, bank, bokholderi, annet.

Hva forfatterne bommet på: Internett, automater (perseptron, nevralnett, bruk av statistikk, persepsjon). Nå har man etterhvert forstått at det er gap mellom kode og adferd – vi kan ikke gå direkte fra kode til adferd – man kan ikke bruke genomet til å forutsi adferd, for eksempel. Oppsummering: Datamaskinen er en syntaksmaskin, mange tror da at en står fritt til å gjøre hva som helt, men man trenger kunnskap fra mange områder.

Marita Skjuve: Intelligent teknologisk liv
Tar mennesket som utgangspunkt for hva det vil si å ha et liv og være intelligent. Definerer teknologi som bruk av vitenskaplig kunnskap for praktiske oppgaver. Teknologien om prøver å etterligne menneskelige egenskaper: Roboter og chatboter. Viser noen videoer (Google Assistant, en sexrobot, Atlas, etc.). Store begrensninger – chatbots skjønner ikke ironi og klarer ikke å huske langt tilbake i en samtale, for eksempel. Moravec og Kurzweil har spådd intelligent teknologi lenge, en nylig survey blant AI-eksperter sier at menneskelig intelligens er oppnåelig innen 2075. Dette vil manifestere seg enten ved en embodied evolution (ligner mennesket, færre begrensninger) eller disembodied evolution (lever i en virtuell virkelighet.) Realismen i dette kan diskuteres.

Kommentar: Skille mellom frykten for AI som ligner mennesker, kontra den mer realistiske frykten for å overlate mer og mer til algoritmer man ikke kan argumentere med.

Kommentar: Økonomisk begrensning – hvem skal betale for den enorme datakraften man vil trenge. Overlydsfly og distribuert atomkraft er teknisk mulig og økonomisk ikke mulig…

Phu Ngyen: Advances in genetical engineering and the future of humans
Three aspects: Genetic engineering advances, applicability to humans, and future developments.

Some new advances: Things are getting cheaper thanks to CRISPR (kind of like moving from using scissors to using a word processer (search and replace.)). You can now introduce gene blocking – not changing the genes, but silencing parts of them. Applications for humans is to use screening for early detection of genetically caused disorders.

Main point: Slippery slope, we are just at the beginning.

Philip Turk: Cyborgs – humanity’s future?
Cyborg = cybernetic organism. Sliding scale from people with assisting technology (most people today are dependent on their smartphone) to true hybrids. Numerous implants possible already: Retinal, diagnostic, ID, arms steered by thoughts, etc. So what is possible in the next 30 years?

Maybe artificial organs such as eyes or hearts; fully functional artificial limbs, nanobots, proper brain-computer interfaces. Convenience implants of different kinds (already have credit cards, for instance), but we would have smartwatches or similar, VR/AR enhancements, decoration (moving tatoos, LEDs under the skin?) Exoskeletons. Enhanced artificial eyes (infrared and/or UV, superhigh def, 360 degrees?) Enhanced robustness. Most interesting: Cognitive enhancements.

Einar Duenger Bøhn: Homo Machina: Til forsvar for transhumanisme
(Medlem av CAIR, senter for AI Research.) Skal si litt om transhumanisme. Sosial og muligens politisk bevegelse, vanskelig å si hva en transhumanist er helt presist. Ser det som en normativ påstand, en moralsk påstand, som sier: Transhumanisme er at vi bør etterstrebe å utvikle, anvende og spre teknologi som forbedrer mennesket. Mennesket vil her si arten homo sapiens. Forbedre er vanskelig å definere, men vi er ikke avhengig av en presis definisjon. Også et kollektivt eller individuelt spørsmål, strategien er antakelig at samfunnet skal satse på det uten å påtvinge det mennesker.

Det er nivåspørsmål her:

  1. Preventiv transhumanisme: På et grunnleggende nivå er vi der allerede: Reparerer mennesker tilbake til normalen. Vaksinemotstandere er et eksempel på motsatsen.
  2. Proaktiv transhumanisme: Forbedring utover normalen. Sterkere syn, etc. men forbedrer menneskearten slik den er i dag, men uten å overskride grensene for hva vi er i dag.
  3. Transcenderende transhumanisme: Forbedringer slik at man blir noe annet, overskride grensene (omtrent som en transkjønnet har overskredet grensene for sitt kjønn.)

Hvorfor skal vi dit? Det er en flytende overgang – hvis å reparere hjerter er OK, hva med å la det vare evig. Kan jo ikke være galt? Et moralsk premiss er at om du kan forbedre en situasjon bør du gjøre det. Et annet argument er i evolusjon: Arv, miljø og mutasjoner. Dette skjer ved relative tilfeldigheter, og hvis vi kan styre prosessen bør vi gjøre det.

Innvendinger: Frykt for måte dette gjennomføres på («Hitlerkortet»), men dette er ikke en innvending mot transhumanisme, men mot gjennomføringen. En annen innvending er at vi skal ikke tukle med naturen, leke Gud. Vi vet ikke hvor dette ender. Igjen: Ikke en innvending mot enden, bare måten.

Hva med et digitalt innbyggerskap?

e-residency-id-cardJeg har lurt litt på om jeg skal skaffe meg en «eResidency» i Estland og opprette et datterselskap der. Jeg har ikke noe behov for det – har riktignok noen utenlandske kunder, men faktura fra Norge fungerer nokså greit (selv om tyske selskaper sliter litt med digitale kvitteringer og insisterer på at jeg skal printe ut PDF’ene og sende dem i posten.) Skattemessig er det ikke mye å tjene på dette, og jeg har ikke noe problem med skattenivået i Norge uansett. Det er kanskje litt enklere å ha et firma i EU, og i Estland er det ikke skatt på overskudd som reinvesteres i selskapet (virkelig noe vi burde tenke på her i Norge). Det betyr antakelig (usikker på hvordan det stiller seg skattemessig til Norge) at jeg ville kunne parkere litt penger i utlandet, en slags offshorevirksomhet uten at man trenger å hyre advokater i Cayman eller Bahamas. Men tilsammen er det ikke så store fordeler, så nødvendig er dette ikke.

Men – prosessen fascinerer meg. Estland er et av de få landene som er kommet lenger enn Norge på digitalisert offentlighet (og vi har ikke kommet så langt i Norge som vi burde.) Man kan bli digital innbygger og starte firma og være innenfor EU, og jeg lurer litt på om jeg ikke bare skal gjøre det for å skaffe meg litt erfaring. Det er noe tiltalende ved et land som innoverer på denne måten.

Dessuten må jeg jo plukke opp mitt digitale innbyggerbevis i Estland eller på en estisk ambassade, og en tur til Tallinn på firmakontoen kan kanskje forsvares i den sammenhengen.

Noen som har erfaring med dette og har noen synspunkter?

Slutt å ta penger for offentlig informasjon!

1280px-hc3a5kon-wium-lie-2009-03Håkon Wium Lie er en av Norges legitime Internett-pionerer, men også aktivist som jeg nesten alltid er enig med. Denne gangen har han skapt internasjonal oppmerksomhet ved å publisere rettsavgjørelser – en type informasjon som skal være åpen for publikum men som firmaet Lovdata av uforståelige grunner mener seg å ha enerett på.

Dette med offentlige samlinger som man tar penger for er en ganske interessant studie i det som kalles institusjonalisering: For å gjøre en jobb, skaper man en organisasjon. Denne organisasjonen setter opp prosesser og forretningsmodeller og ledelsesstrukturer og mye annet, alt for å gjøre jobben. Så viser det seg at man ikke lenger trenger noen til å gjøre jobben – men da har organisasjonen fått for seg at den har en verdi i seg selv. For å sikre sin eksistens, begynner den å gjøre det stikk motsatte av det den skal gjøre.

Lovdata har som oppgave å tilgjengeliggjøre norsk rettsinformasjon for publikum – skal man følge lover, må man jo kunne lese dem. En gang i tiden kostet det mye penger å tilgjengeliggjøre informasjon, så da tok man betalt for det. I dag har vi scannere, Internett, praktisk talt gratis lagringskapasitet, og, ikke minst, digital produksjon av den underliggende informasjonen. En rettsavgjørelse kan i praksis publiseres med et tastetrykk i det øyeblikk den er ferdigskrevet og opplest. Likevel fortsetter man å tviholde på sine gamle måter å gjøre ting på.

Håkon har tidligere publisert norske lover (som Lovdata også ville hemmeligholde, for denslags kan man jo ikke gjøre tilgjengelig for hvem som helst) og har nå gjort det samme med rettsavgjørelser gjennom nettstedet Rettspraksis.no. Det har nå blitt stengt ved at Lovdata har gått til retten og fått det stengt uten at Rettspraksis.no har fått uttale seg. Lovdatas begrunnelse er at Rettspraksis.no har brukt crawlere for å hente rettsavgjørelsene, og beviset for at dette har skjedd er at Lovdatas crawler-detektorer ikke har slått ut.

Prosesskrivet fra Rettspraksis.no er fornøyelig lesning, og dette kommer nok til å ordne seg etterhvert. At Jon Wessel-Aas, som burde vite bedre, er prosessfullmektig for Lovdata får jeg vel heller vente på en forklaring på.

Offentlig informasjon er offentlig. Offentlig betyr ikke at man skal betale 12000 kroner i året for den. Offentlig betyr offentlig for alle. Dessverre er det endel offentlige beslutningstakere som setter sin forretningsmodell foran de prinsipper de er satt til å forvalte, og det er problematisk. Sist var det Kartverket som ville leke forretning (uten risiko og kostnader). Nå er det altså rettssystemet.

Dette har faktisk med demokrati å gjøre. Kan vi snarest finne en rettsinstans som ser på saken, ikke på saksøkeren (som er en av dere egne)?

Norske e-bøker på Kindle!

9788249514687_678696a2cfe5cbbbede60f5e295271274660c16a_x300Overskriften sier vel det meste, men i alle fall: Jeg hadde i grunnen gitt opp norske e-bøker, etter bransjens mange merkelige krumspring (noen som husker forslaget om å selge bøker på plastbrikker?). Men så fikk jeg for meg at jeg skulle lese Karin Sveens Klassereise – siden den er nominert som god sakprosabok i Morgenbladet – og den var utsolgt fra forlaget.

Men den finnes som ebok hos ebok.no, så jeg klikket meg over dit og kjøpte den. Så tenkte jeg at her må jeg nok laste ned en app utviklet av et eller annet konsulentselskap, men dengang ei – i stedet kunne jeg sende hele boken til Kindle.

Så nå kan jeg lese norske bøker slik jeg vanligvis leser bøker – på mobiltelefonen min.

Det går fremover. Til og med i norsk forlagsbransje.

Og Klassereise? Er omtrent halvveis, mange bra observasjoner, litt langdryg i setningsbygningen her og der. Men verdt tiden. Og prisen.

Fascinerende om ulikhet

999c60f6b

The Atlantic (som er et av de beste tidsskrifter som finnes, basta) har en fascinerende artikkel om ulikhet i USA – mer spesifikt, om de 9.9% (ikke de 0.1% som er styrtrike, men de som gjør det helt OK), som forfatteren kaller det nye amerikanske aristokratiet.

Artikkelen er interessant for debatten om ulikhet i Norge – selv om vi har høy sosial mobilitet, i tillegg til å være et av de rikeste og likeste landene i verden. Samtidig er det naivt å hevde at ikke de samme mekanismene som finnes i USA – at vellykkede mennesker gjør de beste de kan for sine barn – opererer i Norge også, og har effekt. Som i USA, ser ikke medlemmene av aristokratiet sine egne ressurser og tror deres posisjon skyldes nesten bare egen innsats. Som forfatteren sier, «It’s one of the delusions of our meritocratic class […] to assume that if our actions are individually blameless, then the sum of our actions will be good for society. »

Jeg har bodd i Brookline (byen, eller bydelen, med det høyeste gjennomsnittlige utdanningsnivået i USA) og studert ved Harvard og mange av mine amerikanske venner er medlemmer av dette aristokratiet. Hvis vi har et slikt aristokrati i Norge (og det har vi nok, selv om fokuset på utdanning og investeringer er litt mindre enn i USA) er vi antakelig medlemmer av det. I USA er de fremste kjennetegnene at man eier sin egen bolig i et attraktivt strøk, arbeider med noe innenfor det som i Norge engang ble kalt «de frie yrker», har høy utdanning, og ressurser, både mentale og pekuniære, til å stille opp for sine barn. Samtidig er det ikke bare penger det dreier seg om – jeg hørte engang en person som drev med barn og utdanning si at «er det bøker i hjemmet, går det som regel bra», en regel med mange unntak men en viss grad av sannhet.

60044Av og til har jeg lurt litt på dette med klasseskiller i Norge – hvordan er de egentlig? I USA finnes det naturligvis masse studier av dette, og en hylende morsom bok, Class, av nå avdøde Paul Fussell, som gir en veiviser til hva som er inn og ut i et stort land. Jeg har lest en studie av bl.a. Ottar Brox (tror jeg) som delte nordmenn inn langs aksene urban/rural og med/uten penger/utdanning, som forsøkte å kartlegge situasjonen. Man har jo Karin Sveens Klassereise, (nylig omtalt i Morgenbladet) som jeg ennå ikke har lest. (Den er utsolgt fra forlaget, men kommer nok i trykk igjen nå som den er kåret til en av Norges beste sakprosabøker.) Selv skrev jeg en kronikk i Aftenposten for noen år siden om «Meritokratiets paradoks«, som snakker om noen av de samme mekanismene, og farene ved dem. Men finnes det en definitiv (og helst litt provoserende) fremstilling av klasse i Norge i dag?

Hvis ikke, er det på tide at noen skriver en. Det er forskjeller mellom Ullevål Hageby, Bygdøy, Grefsen, Veitvedt og Lillestrøm. Ikke bare i statistikk, men hvordan man forholder seg til biler, klær, utdanning, TV, Internett, båter og ikke minst hva man snakker om i selskaper. Greit å vite for de som skal ut på en klassereise…