Noen poenger om karakterer og poengsummer

1ec8969

Alternativ karaktersettingsmetode (Solove, 2006 & 2014)

Det deles ut for mange A og B-karakterer på BI og NHH, men nå skal noe gjøres med det. Utmerket, på tide med en oppstrammer.

Men så setter byråkratiet i gang…

På BI (og sikkert mange andre steder også, slike pålegg kommer gjerne fra sentrale og litt virkelighetsfjerne skrivebord) skal vi bruke følgende oppsett for karakterer i kurs med såkalt mappeevaluering (evaluering basert på mange faktorer i stedet for en enkelt eksamen eller oppgave) som jeg stort sett bruker: Enkeltevalueringer (innleveringer, deltakelse i klasserommet, gruppearbeider og lignende) av studenter skal karaktersettes med poeng fra 0-100. Disse poengene kan man velge om man vil publisere til studentene underveis eller ikke. Mot slutten skal poengene regnes sammen, og studentene få en bokstavkarakter.

Greit nok – dette er i praksis det opplegget jeg har fulgt selv i årevis, fungerer utmerket, og jeg anbefaler det i boken min om undervisningsteknikk: Gi poeng underveis, legg sammen, og bruk deretter skjønn for å bestemme hvor en A, B, og så videre bør ligge (slik at ikke studenter med nesten like poengsummer havner på hver sin side av en B og en C, for eksempel). Jeg presiserer alltid overfor studentene at jeg reserverer meg retten til å ta en samlet vurdering til slutt. Og jeg bedømmer studenter på masternivå ikke bare ut fra deres enkeltprestasjoner, men også ut i fra i hvilken grad de bidrar til sine medstudenters læring gjennom deltakelse i diskusjoner, presentasjoner og lignende.

Helt greit.

Men så blir det vanskelig: Vi blir nemlig ikke bare pålagt å sette poeng, men også hvilke poengsummer som skal gi hvilke karakterer: En A krever en gjennomsnittssum på 75 eller over, for eksempel, B 65-74, C 55-64, D 45-54, E 35-44, og F 0-34. Samtidig pålegges man å opprettholde en «riktig» fordeling av de samlede karaktererene, uten at det spesifiseres hva den skal være.

Ser du problemet? Rent bortsett fra det meningsløse presisjonsnivået og det at studentene kan legge sammen sine poeng underveis og beregne sin karakter (noe som kan gjøre at studenten kan optimalisere innsats i kurs gjennom finregning), så er det et lite, rent matematisk problem her: Man kan ikke bruke én fordeling på delresultater og forvente å få den samme fordelingen på et samlet resultat, i hvert fall ikke medmindre alle studentene får akkurat den samme evalueringen hver gang. Det finnes faktisk visse matematiske (eller rettere sagt statistiske) fenomener og lover som «regression to the mean» og sentralgrenseteoremet som man ganske enkelt ikke kan vedta seg ut av.

Skal man få gjort noe med karakterinflasjon, er det enkleste å gjøre som man gjør på Harvard Business School: Sett faste kvoter for karakterer. På HBS har man 90 studenter i hver klasse (10 klasser pr. årskull) og karaktersettingen er slik: 15% får beste karakter («Category 1»), 10% får dårligste bestått-karakter («Category III»), og resten får den i midten. Får man litt for mange III’ere setter skolen in ekstra innsats. (Det finnes også en «Category IV» som er en strykkarakter, men gitt inntakskravene til HBS blir ikke den brukt så ofte.) Dette fungerer hvis inntakskravene er de samme fra år til år, kvaliteten er god nok, og man kan ta forutsetninger om normalfordeling av studentene innenfor en klasse, noe som tilsier at det bør være mer enn 20-30 studenter i hver klasse.) Det hadde løst problemet med karakterinflasjon, men hadde ikke gjort karaktersettingen noe lettere for forelesere: For store deler av klassen blir karaktersettingen lett, men så bruker man masse tid på finvurdering av grensetilfellene.

En slik fordeling hadde vært å adressere problemet direkte, men kommer ikke til å skje, dertil er man for redd for studentenes reaksjon og i for stor tvil om inntaksnivået. Studenter ønsker svært detaljerte tilbakemeldinger, og det er fristende å pålegge dette. Men jo mer spesifisering som kreves, jo mer er læreren nødt til å manipulere resultatene for å tilfredstille krav til en konsistens som rett og slett ikke er mulig i fag som nødvendigvis må være vurderingsbaserte og skjønnsmessige.

Karakterer og målinger er nødvendig for instrumentelt å tvinge studenter til innsats, men ofte en distraksjon fra læring og kvalitet, særlig i modningsfag. De virkelig gode studentene trenger dem ikke. En av de beste MBA-studentene jeg noensinne har hatt åpnet ikke konvoluttene med karakterer som kom hver tredje måned. Som han sa – hvis han gjorde det virkelig dårlig, regnet han med at BI ville fortalt ham det, og han ville ikke la karakterer ødelegge hans læringsopplevelse. Han ble beste student det året.

Men det kunne vært verre – i Danmark var det inntil nylig, ved lov, forbudt å evaluere studenters deltakelse i klasserommet eller å pålegge studenter å være tilstede, noe som sterkt vanskeliggjør case- og annen diskusjonsbasert undervisning. Hvordan noen skal lære seg strategisk forretningsutvikling og lederskap ved å lese på egenhånd og ikke diskutere med sine medstudenter og lærere er for meg en gåte, men jeg slutter aldri å forundre meg over hva sentralt plasserte utdanningsbyråkrater kan finne på.

Problemet (i alle institusjoner, ikke bare BI) er at kvaliteten på forelesere varierer. Ledelsen ønsker bedre (og i alle fall mer konsistent) undervisningskvalitet, men kvier seg for å sparke dårlige forelesere fordi undervisning ikke er viktig i et universitetssystem. Dermed innfører man i stedet en masse prosesskrav, som nok kan ha den effekten at de trekker de aller dårligste foreleserne litt oppover mot middels, men samtidig pålegges de gode foreleserne et masse ekstraarbeid, tvinger dem mot «sikre» og lite inspirerende undervisningsmetoder, og hindrer innovasjon.

Så her er min oppskrift: Slipp foreleserne fri, bli kvitt dem som ikke får det til, og få studentene til å bruke mer energi på faget og mindre energi på å finlese poengsummer. BI (og alle andre høyskoler) er ikke et solarium, men et helsestudio, man får ikke mer ut av det enn man legger inn selv…

(Ellers finnes det jo mer arbeidsbesparende måter å sette karakterer på…)

Advertisements

Et praktisk veiledning i case-undervisning

Og dermed er boken publisert!
bookcover2Bill Schiano og undertegnede har skrevet en bok, Teaching with Cases: A Practical Guide, publisert av Harvard Business Publishing, tilgjengelig som PDF og paperback (304 sider).

Bill og jeg er opptatt av case-undervisning og bruker det når vi kan. Boken er ment for forelesere som vil bruke case-undervisning, men er ved institusjoner der caseundervisning ikke er en dominerende (eller engang vanlig) undervisningsform. (Arbeidstittelen for verket var faktisk Case teaching when you are not at Harvard, men det ble altså en mer generisk tittel.)

Det finnes flere bøker om hvordan man skal gjøre case-undervisning, men felles for dem er at de er a) nokså filosofiske og abstrakte i sine råd, og b) tar omgivelsene for gitt – de forutsetter implisitt at du er ved en skole, som Harvard Business School, Wharton, INSEAD eller University of Western Ontario hvor case-undervisning er normen, studentene er kjempesmarte og ivrige etter å diskutere, klasserommene er bygget for case-undervisning og, ikke minst, hvor god undervisning er akseptert som viktig av administrasjon og bedømmelseskomiteer

Vi har villet skrive en svært praktisk bok, og det er det blitt. Du vil finne råd om hvordan kle deg for undervisning, hvordan forholde seg til urolige studenter, hvordan få studenter til å komme forberedt, hvordan evaluere muntlig deltakelse. Du vil også finne råd om hvordan du skal skape den nødvendige infrastrukturen for case-undervisning når du ikke har et støtteapparat, ned til detaljer om hvordan lage navneskilt ((la studentene gjøre det selv, eller bruk et regneark med mail-merge) og klassekart (ta et bilde av klassen mens de holder opp navneskiltene, skriv ut i gråskala så du kan skrive notater rett på kartet etter hver forelesning.)

Bokens hoveddel har tre byggestener (basert på Forventninger, flyt og feedback, men totalt skrevet om): Foundations (hvordan bygge opp et kurs, inngå en kontrakt med studentene, og sette opp infrastrukturen); Flow (hvordan lede diskusjonen i klasserommet, styre tid og tavler, stille spørsmål, og avslutte diskusjoner); og Feedback (hvordan legge opp karaktersetting og tilbakemeldinger, spesielt hva gjelder klasseromsdeltakelse). Vi har også kapitler om hvordan man skal forholde seg til ulike vanskeligheter som måtte dukke opp (mye basert på spørsmål vi har fått fra deltakere på Harvard Business Schools caseundervisningskurs); hvordan undervise kvantitative og tekniske emner; hvordan håndtere forskjeller i språk og kultur (både for studenter og foreleser); hvordan forberede neste kurs ut fra det kurset du holder nå; hvordan legge opp for caseundervisning på skolenivå (mange business schools ser nå på bedre undervisning, også caseundervisning, som en differensierende faktor); og til slutt et langt og detaljert kapittel om bruk av teknologi i klasseromomet, inkludert hvordan man kan gjøre caseundervisning over Internett.

Med boken følger endel digitale ressuser (eksempler på kursopplegg, notater til foreberedelse, og annet) tilgjengelig på teachingwithcases.hbsp.harvard.edu. Vi håper denne samlingen vil vokse etterhvert som vi hører fra lesere og lager mer materiale selv.

Casekurs–på BI

I overimorgen kommer et kurs jeg har gledet meg til – sammen med min gode venn Bill Schiano skal jeg undervise et todagers kurs i case-undervisning, arrangert av Harvard Business School Publishing. Dette er fjerde gangen jeg underviser et slikt kurs (det første blogget jeg om i mars i fjor), men denne gangen er det altså hjemme, og 29 av de 55 studentene er kolleger. Resten er fra norske (6) og utenlandske (17) utdanningsinstitusjoner – Tsjekkia, Chile, Danmark, Sverige og Storbritannia, blant annet.

Om dette er det mye å si, men akkurat nå har jeg ikke tid – så jeg henviser til tidligere blogginnlegg om case-undervisningens betydning for handelshøyskoler i fremtiden. Kommer tilbake med mye mer – jeg har jobbet ganske intenst med å utvikle endel saker og ting, sammen med Bill – og i mellomtiden har jeg et kurs å forberede…