Noen poenger om karakterer og poengsummer

1ec8969

Alternativ karaktersettingsmetode (Solove, 2006 & 2014)

Det deles ut for mange A og B-karakterer på BI og NHH, men nå skal noe gjøres med det. Utmerket, på tide med en oppstrammer.

Men så setter byråkratiet i gang…

På BI (og sikkert mange andre steder også, slike pålegg kommer gjerne fra sentrale og litt virkelighetsfjerne skrivebord) skal vi bruke følgende oppsett for karakterer i kurs med såkalt mappeevaluering (evaluering basert på mange faktorer i stedet for en enkelt eksamen eller oppgave) som jeg stort sett bruker: Enkeltevalueringer (innleveringer, deltakelse i klasserommet, gruppearbeider og lignende) av studenter skal karaktersettes med poeng fra 0-100. Disse poengene kan man velge om man vil publisere til studentene underveis eller ikke. Mot slutten skal poengene regnes sammen, og studentene få en bokstavkarakter.

Greit nok – dette er i praksis det opplegget jeg har fulgt selv i årevis, fungerer utmerket, og jeg anbefaler det i boken min om undervisningsteknikk: Gi poeng underveis, legg sammen, og bruk deretter skjønn for å bestemme hvor en A, B, og så videre bør ligge (slik at ikke studenter med nesten like poengsummer havner på hver sin side av en B og en C, for eksempel). Jeg presiserer alltid overfor studentene at jeg reserverer meg retten til å ta en samlet vurdering til slutt. Og jeg bedømmer studenter på masternivå ikke bare ut fra deres enkeltprestasjoner, men også ut i fra i hvilken grad de bidrar til sine medstudenters læring gjennom deltakelse i diskusjoner, presentasjoner og lignende.

Helt greit.

Men så blir det vanskelig: Vi blir nemlig ikke bare pålagt å sette poeng, men også hvilke poengsummer som skal gi hvilke karakterer: En A krever en gjennomsnittssum på 75 eller over, for eksempel, B 65-74, C 55-64, D 45-54, E 35-44, og F 0-34. Samtidig pålegges man å opprettholde en «riktig» fordeling av de samlede karaktererene, uten at det spesifiseres hva den skal være.

Ser du problemet? Rent bortsett fra det meningsløse presisjonsnivået og det at studentene kan legge sammen sine poeng underveis og beregne sin karakter (noe som kan gjøre at studenten kan optimalisere innsats i kurs gjennom finregning), så er det et lite, rent matematisk problem her: Man kan ikke bruke én fordeling på delresultater og forvente å få den samme fordelingen på et samlet resultat, i hvert fall ikke medmindre alle studentene får akkurat den samme evalueringen hver gang. Det finnes faktisk visse matematiske (eller rettere sagt statistiske) fenomener og lover som «regression to the mean» og sentralgrenseteoremet som man ganske enkelt ikke kan vedta seg ut av.

Skal man få gjort noe med karakterinflasjon, er det enkleste å gjøre som man gjør på Harvard Business School: Sett faste kvoter for karakterer. På HBS har man 90 studenter i hver klasse (10 klasser pr. årskull) og karaktersettingen er slik: 15% får beste karakter («Category 1»), 10% får dårligste bestått-karakter («Category III»), og resten får den i midten. Får man litt for mange III’ere setter skolen in ekstra innsats. (Det finnes også en «Category IV» som er en strykkarakter, men gitt inntakskravene til HBS blir ikke den brukt så ofte.) Dette fungerer hvis inntakskravene er de samme fra år til år, kvaliteten er god nok, og man kan ta forutsetninger om normalfordeling av studentene innenfor en klasse, noe som tilsier at det bør være mer enn 20-30 studenter i hver klasse.) Det hadde løst problemet med karakterinflasjon, men hadde ikke gjort karaktersettingen noe lettere for forelesere: For store deler av klassen blir karaktersettingen lett, men så bruker man masse tid på finvurdering av grensetilfellene.

En slik fordeling hadde vært å adressere problemet direkte, men kommer ikke til å skje, dertil er man for redd for studentenes reaksjon og i for stor tvil om inntaksnivået. Studenter ønsker svært detaljerte tilbakemeldinger, og det er fristende å pålegge dette. Men jo mer spesifisering som kreves, jo mer er læreren nødt til å manipulere resultatene for å tilfredstille krav til en konsistens som rett og slett ikke er mulig i fag som nødvendigvis må være vurderingsbaserte og skjønnsmessige.

Karakterer og målinger er nødvendig for instrumentelt å tvinge studenter til innsats, men ofte en distraksjon fra læring og kvalitet, særlig i modningsfag. De virkelig gode studentene trenger dem ikke. En av de beste MBA-studentene jeg noensinne har hatt åpnet ikke konvoluttene med karakterer som kom hver tredje måned. Som han sa – hvis han gjorde det virkelig dårlig, regnet han med at BI ville fortalt ham det, og han ville ikke la karakterer ødelegge hans læringsopplevelse. Han ble beste student det året.

Men det kunne vært verre – i Danmark var det inntil nylig, ved lov, forbudt å evaluere studenters deltakelse i klasserommet eller å pålegge studenter å være tilstede, noe som sterkt vanskeliggjør case- og annen diskusjonsbasert undervisning. Hvordan noen skal lære seg strategisk forretningsutvikling og lederskap ved å lese på egenhånd og ikke diskutere med sine medstudenter og lærere er for meg en gåte, men jeg slutter aldri å forundre meg over hva sentralt plasserte utdanningsbyråkrater kan finne på.

Problemet (i alle institusjoner, ikke bare BI) er at kvaliteten på forelesere varierer. Ledelsen ønsker bedre (og i alle fall mer konsistent) undervisningskvalitet, men kvier seg for å sparke dårlige forelesere fordi undervisning ikke er viktig i et universitetssystem. Dermed innfører man i stedet en masse prosesskrav, som nok kan ha den effekten at de trekker de aller dårligste foreleserne litt oppover mot middels, men samtidig pålegges de gode foreleserne et masse ekstraarbeid, tvinger dem mot «sikre» og lite inspirerende undervisningsmetoder, og hindrer innovasjon.

Så her er min oppskrift: Slipp foreleserne fri, bli kvitt dem som ikke får det til, og få studentene til å bruke mer energi på faget og mindre energi på å finlese poengsummer. BI (og alle andre høyskoler) er ikke et solarium, men et helsestudio, man får ikke mer ut av det enn man legger inn selv…

(Ellers finnes det jo mer arbeidsbesparende måter å sette karakterer på…)

Kommenter

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut /  Endre )

Google+-bilde

Du kommenterer med bruk av din Google+ konto. Logg ut /  Endre )

Twitter-bilde

Du kommenterer med bruk av din Twitter konto. Logg ut /  Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut /  Endre )

Kobler til %s