Evaluering

Jeg jobber kontinuerlig med evaluering av egen undervisning, både for enkeltforelesninger og emner, med tanke på kommunikasjonsform, aktiviteter, pensumutvalg, vurderingsformer, osv. Min metode for dette er å notere fortløpende hva som fungerer og ikke fungerer, slik at endringer kan gjøres neste gang forelesningen eller emnet kjøres. I tillegg er selvfølgelig andres konkrete tilbakemeldinger verdifulle. Dette gjelder fra både kolleger og studenter, og både studentevalueringer og refleksjon over kollegaveiledning presenteres nedenfor. Det å observere andres undervisningsstil og -opplegg har også vært nyttig for min egen utvikling.

Studentevalueringer

På arkeologi ved UiT gjennomføres emneevalueringer systematisk hvert semester på stort sett alle emner. Tilbakemeldingene oppsummeres og diskuteres i programstyret, i tillegg til å tas til etterretning av undervisere og emneansvarlig. En utfordring er at det i noen tilfeller er svært få av de oppmeldte studentene som deltar i evalueringen, sånn at resultatet har begrenset generell gyldighet. Det er også sannsynlig at de som faktisk svarer er de studentene som allerede er mest aktive, og at vi dermed ikke får tilbakemelding om forbedringspotensiale fra de som kanskje ville hatt mest å si om saken. Når det er sagt, forholder vi oss aktivt til de evalueringene vi får i lærerkollegiet. I mange tilfeller gjøres justeringer på bakgrunn av tilbakemeldingene.

Jeg har i all hovedsak fått gode tilbakemeldinger på min undervisning, men det har vært tilbakemeldinger om ulike utfordringer ved måten emnene er utformet på. Jeg vil her presentere eksempler fra tre emner på ulike nivåer i utdanningen. (Dokumentasjon av emneevalueringer fra studenter kan fås på etterspørsel.)

ARK-1014 Hva er arkeologi? er introduksjonemnet for nye studenter i høstsemesteret og ble opprettet i forbindelse med revisjonen av bachelorprogrammet. Det ble kjørt første gang høsten 2018. Undervisningen er delt 50/50 mellom meg og en kollega, men jeg er emneansvarlig og hadde også ansvar for å sette opp pensum og utforme innholdet, selv om emnebeskrivelsen allerede var vedtatt før jeg startet i min jobb ved UiT. Dette har helt klart vært en utfordring for meg som helt fersk underviser, og jeg opplever at emnet har brukt noe tid på å gå seg til. Studentevalueringene reflekterer dette, da andelen fornøyde studenter synes å øke fra år til år. Det første året var mange misfornøyde med arbeidskravet, som var innlevering av en arbeidsdagbok med frie refleksjoner over temaer i undervisningen, mens enkelte likte denne formen. Jeg endret likevel dette til mer tydelige arbeidskrav i 2019, mens vi i 2020 valgte å redusere antall obligatoriske innleveringer og lette noe på kravet til form i dette innledende emnet. Det har også vært et arbeidskrav å stille til en kort obligatorisk veiledning med en av underviserne.

Vi opplever stadig bedre økt søkertall og gjennomstrømning på emnet, og karakterfordelingen fra 2020 viser en normalfordeling (med noen A og B, flest C og noen D og E).

År	Antall oppmeldt	Antall tatt eksamen	Antall stryk
2018	24	17	0
2019	29	24	2
2020	34	28

ARK-2027 Bacheloroppgave i arkeologi er mye basert på å gi studentene veiledning i valg av tema og problemstilling, og deretter gi dem konkrete verktøy til å skrive en god oppgave og akademisk tekst. Jeg har vært emneansvarlig og eneste underviser i årene 2019-2021, men alle studenter får også tildelt en fagveileder. I 2019-2020 var det henholdsvis fire og to studenter på emnet. Disse sesongene fikk emnet svært god tilbakemelding, selv om to studenter i 2019 av ulike grunner ikke leverte sine oppgaver. I 2021 hadde emnet 12 studenter, noe som skapte en utfordring med tanke på den tette oppfølgingen det var lagt opp til. Tilbakemeldingene på ulike deler av opplegget har likevel stort sett vært gode eller meget gode. De studentene som gjennomfører har fått relativt høye karakterer, og eksterne sensorer har kommentert det gjennomgående høye nivået på oppgavene som noe som må reflektere er velfungerende undervisningsopplegg.

Emnet går på omgang i kollegiet, og form og innhold har blitt drøftet i forbindelse med evalueringen av bachelorprogrammet i 2021. Det ble da konkludert at vi måtte revidere emnebeskrivelsen, da denne ikke var endret i forbindelse med at emnet ble omgjort fra 20 sp til 10 sp. Ny emnebeskrivelse skal reflektere at man ikke kan forvente like høyt nivå og lange besvarelser fra studentene innenfor et 10 studiepoengsemne. Vi vil i fortsettelsen også vektlegge bedre kommunikasjon mellom emneansvarlige og fagveileder på et tidlig tidspunkt når det gjelder valg av tema og problemstilling, slik at vi sikrer at studentene formulerer en overkommelig oppgave innenfor rammene av emnet. Når det er sagt, observerer flere undervisere at bacheloroppgaven er noe studentene gleder seg til og legger prestisje i. Dette har jeg som underviser også merket i form av at studentene ofte legger ned langt mer innsats i form av lesing, skriving og oppmøte på seminarene her enn andre 10 sp-emner. Det er enighet om at vi må beholde fritt valg av tema, sånn at dette blir en fordypning innen det studentene selv er interesserte i.

ARK-3015 Arkeologi og historiske kilder er et av få masteremner jeg er emneansvarlig for og som jeg har rukket å kjøre flere år, da vi pga lave studenttall har måttet ta hensyn til hva aktuelle studenter allerede har tatt av emner når vi legger opp valgemner fra år til år. Det lave studenttallet har gjort at jeg kun hadde én student på emnet i 2019. Evalueringen ble da gjennomført som en samtale med vår studiekonsulent. Studenten var godt fornøyd med emnet og fant det interessant, men påpekte at en-til-en-undervisning er krevende for studenten og at lesemengden var stor. I 2021 tok to studenter emnet. Jeg valgte da å variere dynamikken noe mer ved blant annet å trekke inn en historikerkollega til å snakke om sitt spesialfelt innenfor historiske kilder. Studentene ga gode tilbakemeldinger og ville anbefale emnet til flere. Det mest negative var igjen at de oppfattet lesemengden som noe stor.

Jeg vil her påpeke at jeg i alle emner legger opp det antall sider som pensum som er gjengs for 10 sp, dvs cirka 800-1000 sider når det ikke inngår mer praktiske øvelser i tillegg. Med kun to studenter valgte jeg også å fokusere på to eller tre artikler til hvert seminar hvorav de presenterte en hver og evt. leste en felles bakgrunnsartikkel begge to. Utfra tilbakemeldingene vil jeg i neste runde spisse fokus for seminarene enda mer og forsøke å trekke inn spesialister på ulike kildetyper i større grad, enten dette er gjennom direkte undervisning, videoforelesninger eller eksisterende ressurser fra nettet o.l. Det blir også viktig å planlegge for en større gruppe, da de siste årenes større bachelorkull kan medføre at vi etterhvert får flere studenter på master også.

Jeg tar studentevalueringene på alvor og gjør ofte justeringer i henhold til disse. Når det er sagt, synes jeg det er viktig å anerkjenne at studentenes evaluering ikke nødvendigvis reflekterer deres læringsutbytte (jf. f. eks. Uttl et al. 2017). Når studenter opplever lesebyrden i et emne som stor, men samtidig sier de har fått mye ut av emnet, vil det etter min mening være hensiktsmessig å opprettholde et relativt stort pensum som dekker de grunnleggende aspektene ved emnets tema. Dette gir også mengdetrening som er viktig for studentenes utvikling som fagpersoner og potensielt fremtidige akademikere.

Jeg bruker for øvrig alltid noe tid på de seminarbaserte masteremnene til å gi studentene tips til hvordan de skal lese blant annet artikler på mest mulig effektiv måte, både med tanke på tidsbruk og for å få med seg innholdet. Det omfatter hurtiglesing, å få en oversikt over artikkelen og så eventuelt lese den grundigere, og en liste med hvilken informasjon de bør kunne gjengi etter å ha lest en tekst (hovedpoeng, spørsmål/hypotese, materiale, metode, teori, konklusjon). Det er oppmuntrende at flere studenter melder tilbake at de bruker disse teknikkene også i emner som undervises av andre og at det har hjulpet dem å forstå og ta til seg innholdet i pensum og faglitteratur generelt.

Kollegaveiledning

I forbindelse med kurset PED-600 Forskningsveiledning gjennomførte jeg i 2021 en gjensidig kollegaveiledning med en kursdeltager fra Institutt for kjemi. Vi anvendte Results Skjema for kollegaveiledning, som bidro godt til å strukturere gjennomføring, observasjon og tilbakemelding. Før jeg ble observert, hadde jeg avklart dette med den masterstudent som var min eksempelstudent i kurset. Jeg hadde også fylt ut første del av skjemaet med opplysninger om antatt lengde på veiledningsmøtet, intendert læringsutbytte, plan for møtet og hva jeg særlig ønsket tilbakemelding på. Både på grunn av denne strukturen og at jeg har begynt å anvende det læringsutbyttet jeg hadde av selve kurset for å strukturere veiledningene min, var det ganske tydelige rammer for dette møtet, noe som passer denne studenten godt. I tillegg hadde vi helt konkrete ting som skulle tas opp og avklares, samt gode nyheter om et fint funn studenten hadde gjort som vedkommende fikk velfortjent ros for.

Møtet foregikk digitalt av praktiske årsaker. Tilbakemeldingen gikk dermed hovedsakelig på kommunikasjonen. Denne fikk svært god tilbakemelding: Studenten fikk god beskjed på forhånd via mail om innholdet i møtet, kommunikasjonen var bra, jeg som veileder var lyttende og oppmuntrende, og studenten var avslappet i situasjonen og tok eget initiativ til å snakke om problemer (mulig behov for utsettelse). Etter alt å dømme opplevde alle parter dette som et svært godt gjennomført veiledningsmøte. Et forbedringspotensiale var å la studenten tenke mer selv rundt mulig betydninger av sine funn, men dette oppfattet jeg litt som en misforståelse fra observatørens side, da jeg faktisk forsøkte å lirke fram det motsatte poenget av det observatøren oppfattet. Det er uansett en kommentar til ettertanke, da det tyder på at jeg var for utydelig og det alltid er en utfordring å stille spørsmål som på rett måte utfordrer den enkelte student til å tenke videre selv.

Min egenrefleksjon i etterkant var fokusert på utbyttet av å ha en godt strukturert veiledning og at de utfordringene studenten har støtt på potensielt kunne ha vært unngått ved bedre kartlegging av vedkommendes kunnskapsgrunnlag ved oppstart på masteren, men også at det er gledelig at studenten har modnet til å selv innse mulig tidsnød og at vedkommende opplever veiledningsrelasjonen som trygg nok til å ta dette opp av seg selv.

I arkeologi er mye veiledning basert på møter med en og en student. Det var derfor svært interessant å observere en helt annen form for veiledning i kjemi, der tre PhD-studenter, professor/veielder og en annen prosjektdeltager i en forskningsgruppe møttes til felles veiledning. Denne foregikk også digitalt på en for meg ny plattform, gather.town, som minner om et dataspill og tillater at deltagerne møtes i ulike deler av et lokale og snakker innad i mindre grupper. I dette tilfellet var det kun vår lille gruppe, så sånn sett hadde det mindre funksjon, men det gir en illusjon av et fysisk møtested som kan være en fin forandring når veldig mange møter foregår digitalt på todimensjonelle flater. I tillegg ble det brukt en del andre digitale hjelpemidler, blant annet for å tegne opp figurer og formler.

Kommunikasjonen var svært god og møtet bar preg av at dette er en ukentlig foreteelse uten spesifisert agenda, der studentene selv tar opp problemer de har støtt på. Tonen var uformell og det var veldig god studentdeltagelse. Veileder svarte i noen grad på konkrete spørsmål, men også lot studentene diskutere seg imellom om ting de er bedre kjent med enn ham eller han henviste dem til andre eksperter på ulike temaer.

Observasjonen var til inspirasjon i forhold til ulike digitale hjelpemidler man kan ta i bruk når veiledningen ikke kan skje ansikt til ansikt. Det gjorde meg også mer oppmerksom på den store forskjellen på å ha studenter som jobber tett opp mot ens egen forskning, og det å veilede studenter som jobber med egne prosjekter som de må få frihet til å utvikle selv, slik det er mest vanlig i arkeologi. Det er helt åpenbart noen fordeler med et tett samarbeid, både fordi studenten vil få mer følelse av fellesskap og teamarbeid, og fordi det blir mulig og ønskelig med tettere oppfølging og hyppigere kontakt, noe som kan ha både faglige og sosiale fordeler for alle parter. Når det er sagt, vil et vellykket tett samarbeid også være avhengig av en viss grad av personkjemi og klare rolleavgrensninger. At arkeologi har tradisjon for at både master- og PhD-studenter skal utvikle sine egne prosjekter, fremmer også den kritiske tenkningen som er så sentral for faget. Likevel kan det være hensiktsmessig å vurdere gruppeveiledning dersom det er flere studenter som jobber med relaterte temaer, selv om dette ikke er organisert innenfor et formelt prosjekt.

En annen kommunikasjon jeg vil definere som en form for kollegaveiledning, er evalueringen av emner som gjerne følger med når man diskuterer karaktersetting med eksterne sensorer eller som ekstern sensor. Jeg har opplevd det som svært givende å diskutere form og innhold på både introduksjonemner, bachelorskrivekurset og masteremner med kolleger som kjører samme type emner på NTNU, UiB og UiO. Det er også nyttig å erfare at kolleger ved samme universitet for eksempel har hatt ulik formening om positive og negative sider ved utformingen av, og da særlig pensumet i, emnet ARK-3025 Kulturhistorisk fordypning, som under mitt emneansvar 2018-2019 dreide seg om kommunikasjon, infrastruktur og forflytning i perioden 800-1600. Der en savnet bredere historisk-arkeologisk nedslagsfelt, fant en annen temaet svært godt og inspirerende. Det viser hvordan balansen mellom bredde og fokus kan være vanskelig å finne ved planlegging av ulike emner. I slike planleggingsfaser, for eksempel av ARK-3026 Sentrale perspektiver på arkeologisk teori og metode i 2020, har jeg også oppsøkt kolleger ved andre universiteter som kjører tilsvarende emner for å sammenligne  innhold og pensumliste med deres opplegg. Denne utvekslingen har betydning for min egenevaluering av emnene jeg utformer. Mine utenlandsopphold under studier og senere i Barcelona, Stockholm og Cambridge gjør at jeg også har et internasjonalt sammenligningsgrunnlag for form og innhold i undervisningen min.

Referanser

Uttl, B., C. A. White, D. W. Gonzalez. 2017: Meta-analysis of faculty’s teaching effectiveness: Student evaluation of teaching ratings and student learning are not related. Studies in Educational Evaluation 54, 22-42.