Frågor och svar om systemet för kvalitetsutvärdering 2011—2014

• Vad ska utvärderas och hur
  
• Studenternas självständiga arbeten (examensarbeten)
  
• Lärosätets självvärdering
  
• Utbildningens förutsättningar
  
• Bedömare
  
• Alumnenkäter och studenternas erfarenheter
  
• Övriga frågor
  
• Fler frågor?
  

Vad ska utvärderas och hur

Vilka utbildningar ska Högskoleverket granska?
Högskoleverket ska utvärdera utbildning på grundnivå, avancerad nivå och forskarnivå. I ett första skede kommer det nya utvärderingssystemet inte att inkludera utbildning på forskarnivå.  

Ett metodutvecklingsarbete pågår och ambitionen är att under 2012 kunna påbörja utvärdering av utbildning på forskarnivå. 
 
Hur ser tidsplanen ut för kvalitetsutvärderingarna? Vilka utbildningar kommer att utvärderas när?
Så här ser tidplanen för kvalitetsutvärderingarna ut »

Vilka moment ingår i utvärderingen?
Högskoleverket har tagit fram en skiss som beskriver utvärderingsprocessens olika steg.
Se utvärderingsprocessen »
 
Sammanställningen nedan är ett komplement till skissen där de moment som direkt påverkar lärosätenas arbete är fetade. Det går inte att ge någon exakt tidsplan för de olika momenten eftersom de tar olika lång tid i de olika utvärderingarna.

• Nominering av bedömare
• Högskoleverkets beslut om vilka som ingår i bedömargruppen.
• SCB skickar ut enkät till alumner.
• Bedömargruppen föreslår mål och sätter kriterier för respektive examen som ingår i utvärderingen.
• Lärosätena får bedömargruppens förslag på mål och kriterier.
• Upptaktsmöte med representanter för lärosäten och bedömargrupp.
• Lärosätena inkommer med eventuella ändringsförslag på valda mål och kriterier.
• Högskoleverket fattar beslut om mål och kriterier.
• Lärosätena lämnar in listor på självständiga arbeten i HSV Direkt och gör ett slumpmässigt urval av de arbeten som ska ingå i utvärderingen. Dessa arbeten  avidentifieras och läggs in i HSV Direkt så att bedömargruppen får tillgång till dem.  
• Lärosätena får underlag till självvärdering och skriver den under åtta veckor. Hänsyn tas till sommar- och vintersemester.  
• Högskoleverket får resultatet av alumnenkäten och skickar det till lärosätena samt gör en sammanställning som bildar underlag för bedömargruppen.
• Bedömargruppen bedömer de självständiga arbetena utifrån valda mål och kriterier. Inom stora utvärderingar engageras expertläsare för bedömning av självständiga arbeten.
• Studenternas erfarenheter samlas in.
• Bedömargruppen bedömer alla fyra bedömningsunderlagen och ser om de behöver ställa ytterligare frågor till utbildningarna vid ett platsbesök.
• Frågeområdena kommuniceras med utbildningarna.
• Representanter för bedömargruppen träffar representanter för utbildningarna.
• Bedömargruppen skriver ett yttrande.
• Högskoleverket fattar beslut.

När får lärosätena ta del av vägledning för självvärdering och när ska självvärderingen lämnas in?

En generell vägledning för självvärdering finns publicerad på hsv.se »
 
Två veckor efter upptaktsmötet får lärosätena en självvärderingsmall. De har därefter åtta veckor till sitt förfogande. Om självvärderingsperioden infaller under sommaren ingår inte perioden från måndagen efter midsommar t.o.m. andra fredagen i augusti i de åtta veckorna. Vid jul- och nyår ingår inte perioden 20 december t.o.m. trettondagshelgen i de åtta veckorna.

Så här ser tidsplanen för kvalitetsutvärderingarna ut »

Vilka bedömningsunderlag kommer Högskoleverket att använda sig av?
Studenternas självständiga arbeten (examensarbeten), enkäter till tidigare studenter, studenternas erfarenheter av hur väl utbildningen når de aktuella målen och lärosätets självvärdering.

Vad ska bedömningsunderlagen granskas mot?
Högskoleverket ska granska i vilken grad studenterna (och därmed utbildningarna) uppnår målen i examensbeskrivningarna. För varje utvärdering kommer ett urval av mål att göras.

Examensbeskrivningarna finns i:

• bilaga 2 till högskoleförordningen (1993:100)
• bilagan till förordningen (1993:221) för Sveriges lantbruksuniversitet
• bilagan till förordningen (2007:1164) för Försvarshögskolan. 

Kommer Högskoleverket att ta hänsyn till om studenterna läser på program? Varje program är ju på sitt sätt unikt och ger, i viss mån olika vägar till målen.
Nej. Högskoleverket utvärderar hur väl studenterna når målen och inte vägen dit.

Bör man i självvärderingen göra referenser till olika utbildningsprogram och vad som skiljer dem åt när det gäller vägen till målen?
Högskoleverket utvärderar inte program. I självvärderingen finns utrymme att resonera kring hur kurser bygger på varandra för att studenterna ska nå examensmålen.

Hur förhåller sig det nya systemet för kvalitetsutvärdering till Bolognaprocessen?
Kopplingen till Bolognaprocessen är tydlig. De examensordningar som ansluter till högskolelagen förändrades på ett genomgripande sätt 2007, som ett resultat av överenskommelser inom ramen för Bolognaprocessen. Högskoleverkets uppdrag är just att utvärdera mot dessa examensordningar och att granska i vilken utsträckning studenternas faktiska studieresultat motsvarar de förväntade studieresultaten.

Studenternas självständiga arbeten (examensarbeten)

Ska Högskoleverket överpröva examinatorns bedömning?
Nej. Högskoleverkets granskningar av studenters självständiga arbeten handlar inte om att göra en bedömning av individresultat. Det handlar istället om att göra en helhetsbedömning av utbildningens resultat med utgångspunkt i de mål i examensbeskrivningen som gäller för den aktuella utbildningen.

Innebär Högskoleverkets utvärderingsmodell att samtliga examensmål bör rymmas inom det självständiga arbetet (examensarbetet)?
Nej. Resultat relaterade till de examensmål som inte berörs i det självständiga arbetet (examensarbetet) kommer lärosätet att kunna redogöra för i självvärderingen.

Hur görs urvalet av studenternas självständiga arbeten?
Genom slumpvisa stickprov. Storlekarna på stickproven följer en urvalsfunktion där minst fem och högst tjugofyra arbeten granskas per utbildning och examensnivå. Urvalet av självständiga arbeten ska i första hand ske från det senaste läsåret då examensarbeteskurs eller motsvarande hölls.

Vad är vitsen med att avidentifiera studenternas självständiga arbeten? Bedömarna kommer väl ändå att kunna lista ut från vilket lärosäte som det aktuella examensarbetet kommer ifrån?
Visst, det kan i vissa fall vara möjligt, men vi anser att det kommer att öka trovärdigheten i bedömningarna. Dessutom finns det önskemål om avidentifiering av arbetena från vissa bedömare och lärosäten vilket vi har valt att respektera.

Hur hanteras avidentifieringen av självständiga arbeten?
Studentens, handledarens och lärosätets namn ska i möjligaste mån avidentifieras. Mer information om avidentifiering av självständiga arbeten finns i HSV Direkt.

Man kan anta att upplägg och fokus för studenternas självständiga arbeten och handledarnas arbetsformer kommer att förändras under den här utvärderingsperioden. Men det behöver väl inte betyda att utbildningarna får bättre kvalitet i sig?
Högskoleverket har regeringens uppdrag att utvärdera utbildningars resultat med självständiga arbeten som ett tungt vägande underlag. Det kommer säkert att leda till förändringar i hur lärosätena arbetar med självständiga arbeten. Det kan t.ex. leda till en bättre kvalitetssäkring på lärosätena.

Enligt regeringen är det självständiga arbetet viktigt för att visa om en student har uppnått kraven för en examen. Av det självständiga arbetet framgår, enligt regeringen, om studenten har fått de kunskaper som han eller hon kan tillämpa och vidareutveckla med den grad av självständighet som krävs för att utöva det yrke som utbildningen förbereder för eller för att påbörja studier på högre utbildningsnivå.

Vissa självständiga arbeten har skrivits enligt 1993 års examensordning. Ska de ingå i utvärderingen?
Om det självständiga arbetet kan ingå i en examen enligt den nuvarande examensordningen så ska arbetet ingå.

Hur påverkas bedömningen av antalet studenter som skriver arbetet, omfattningen i högskolepoäng, handledningstid och andra externa faktorer?
Det finns många faktorer som kan påverka kvaliteten på det självständiga arbetet. Vid bedömning av varje enskilt, avidentifierat, arbete tas inte hänsyn till externa faktorer. Lärosätet kan dock i självvärderingen beskriva faktorer som har med de självständiga arbetena att göra för att öka bedömarnas förståelse för underlagen. Det är emellertid måluppfyllelse som ska bedömas och inte förutsättningar och processer, även om dessa kan förklara för bedömarna vad det är för typ av arbete som de är satta att bedöma.

Lärosätets självvärdering

Hur lång tid kommer lärosätena att ha på sig att lämna in sina självvärderingar?
Två veckor efter upptaktsmötet får lärosätena en självvärderingsmall. De har därefter åtta veckor till sitt förfogande. Om självvärderingsperioden infaller under sommaren ingår inte perioden från måndagen efter midsommar t.o.m. andra fredagen i augusti i de åtta veckorna. Vid jul- och nyår ingår inte perioden 20 december t.o.m. trettondagshelgen i de åtta veckorna.

Kommer självvärderingarna att se olika ut för de olika utvärderingarna?
Ja, det kommer att vara skillnader eftersom målen i examensbeskrivningarna är olika för olika utbildningar. Högskoleverkets bedömargrupper kommer att anpassa utvärderingen efter den utbildning som ska utvärderas genom att göra ett urval av mål ur den examensbeskrivning som gäller för den aktuella utbildningen.

Hur omfattande får självvärderingen vara?
Självvärderingen bör högst omfatta 60 000 tecken (ca 20 A4 sidor). Källmaterial ska inte bifogas, men det ska finnas möjlighet för bedömarna att begära fram det någon gång under bedömningsprocessen. Eftersom yrkesexamina innehåller fler mål är det rimligt att även självvärderingen blir mer omfattande. Självvärderingar som avser yrkesexamen kan omfatta högst 90 000 tecken och bör inte överstiga 30 sidor.

Vilka andra begränsningar finns för självvärderingens utformning?
Vi vill ha en så enkel, tydlig och trolig beskrivning av utbildningens måluppfyllelse som möjligt. Det finns möjlighet att t.ex. lägga in illustrationer och grafer.

Ska självvärderingen fokusera på måluppfyllelse i slutet av utbildningen?
I självvärderingen ska lärosätet analysera och argumentera för att studenterna uppnår examensmålen oavsett var i utbildningen det sker. Det är viktigt att man sätter exemplen i ett sammanhang, t.ex. hur representativa de är för utbildningen som helhet.
 
Ska förutsättningar redovisas i förhållande till målen eller till generella förutsättningar?
Förutsättningar bör redovisas i förhållande till målen i examensbeskrivningarna.
 
Vilket språk ska självvärderingen skrivas på?
Enligt språklagen ska språkanvändningen i offentlig verksamhet vara på svenska. Enligt § 10 är "språket i domstolar, förvaltningsmyndigheter och andra organ som fullgör uppgifter i offentlig verksamhet [...] svenska. " Högskoleverkets vägledning för självvärdering" finns tillgänglig på svenska och på engelska.
 
Hur mycket ska vi beskriva om lärosätets kvalitetsarbete?
Fokus i självvärderingen ligger på hur väl studenterna når målen inom huvudområdet. Kvalitetsuppföljningsstrategier kan beskrivas under del 3 av självvärderingen "andra förhållanden som är särskilt viktiga."

Kommer bedömarna vid behov att begära in kompletteringar av självvärderingen?
Bedömarna kan begära kompletterande uppgifter i samband med platsbesök, om de anser att underlaget är bristfälligt.

Kommer det att finnas tydliga kriterier för mycket hög kvalitet?
Kriterier ska generellt utarbetas på tre nivåer. För enstaka kriterier kan bedömargruppen välja att inte differentiera mycket hög måluppfyllelse från hög måluppfyllelse.
 
Hur skrivs självvärderingen när studenten har läst kurser som ingår i examen som inte är huvudområdets ansvar?
Självvärderingen bör i första hand utgå från de kurser studenten läser inom huvudområdet. Om studenterna överlag även läser specifika kurser inom andra huvudområden bör en beskrivning av hur dessa kurser bidrar till att studenterna når examensmålen också ingå i självvärderingen.

Vilka terminer ska självvärderingen utgå från?
Självvärderingen bör i första hand utgå från de senaste två terminerna. För kurser som är periodiserade och för att beskriva progression i utbildningen kan det vara befogat att gå längre tillbaka i tiden. Det bör i så fall framgå av självvärderingen.

Utbildningens förutsättningar

Hur redovisar man lärarkompetens i relation till enskilda mål?
Redovisningen behöver inte göras mot enskilda mål, men lärosätet ska göra det troligt att utbildningen har en lärarkompetens som täcker de mål som valts ut för bedömning.

Kommer omfattningen på informationen av lärarkompetens och lärarkapacitet motsvara vad som efterfrågades i Högskoleverkets tidigare utvärderingssystem?
Nej. Omfattningen av informationen/analysen av lärarkompetens och kapacitet väger inte lika tungt som i tidigare utvärderingssystem. En viktig skillnad är att lärosätet ska analysera lärarkompetensen och kapaciteten i relation till de examensmål som utvärderas. Det är de faktiska förhållandena under utvärderingsperioden i självvärderingen som är av intresse att redovisa och analysera, inte hur situationen varit tidigare.

Hur ska vi mäta det egna lärosätets studenters förutsättningar i relation till studenters förutsättningar vid andra lärosäten?
Meritvärden vid antagningen kan vara ett exempel på mått. En annan (tidskrävande) möjlighet är att studentgrupper på likartade utbildningar runt om i landet jämförs med varandra på olika sätt. Värt att notera är att regeringen menar att det är upp till lärosätet att bestämma om den här typen av uppgifter ska ingå i självvärderingen eller inte, samt att uppgiften används om bedömningen står och väger mellan ett ifrågasättande eller inte.

Distansstudenter har ofta andra förutsättningar än campusstudenter. Finns det möjlighet att resonera kring detta i självvärderingen?
Lärosätet kan resonera om detta under studenternas förutsättningar. Det ska då ställas i relation till likande utbildningar vid andra lärosäten. Det finns också möjlighet att analysera distansstudenternas situation under del 3 "andra förhållanden som är särskilt viktiga" i självvärderingen.

Bedömare

Kommer bedömargruppen att vara internationellt sammansatt?
Högskoleverket eftersträvar en representation av sakkunniga från andra länder. Alla bedömare måste dock kunna läsa svenska eftersom självvärderingar och många självständiga arbeten skrivs på svenska.

Hur kommer expertgruppen som ska läsa examensarbetena att rapportera sin läsning till bedömargruppen och vem kommer att ingå i expertgruppen som ska läsa examensarbetena?
Hur bedömargruppen sätts samman beror på hur många arbeten som ska läsas i förhållande till hur många utbildningar som ska utvärderas. I de fall där det är möjligt läser alla bedömare både självvärderingar och självständiga arbeten. I de fall det behövs bedömare (experter) som enbart läser självständiga arbeten kommer de att lämna ett underlag till bedömargruppen.

Alumnenkäter och studenternas erfarenheter

Hur ska ni ta in studenternas erfarenheter?
Högskoleverket kommer att intervjua studenter som är i slutet av den utbildning som utvärderas.

Hur tar Högskoleverket hänsyn till att alumnenkäter går ut till tidigare studenter som gick utbildningen för flera år sedan?
Högskoleverket vill ha så aktuella data som möjligt för respektive underlag. Självvärderingen ska i första hand täcka de senaste tre terminerna (för omgång 1 motsvarar det vårterminen 2010-vårterminen 2011). De självständiga arbetena ska i första hand tas från den senaste tolvmånadersperioden (senaste två terminerna). Alumnenkäterna kan av naturliga skäl inte vara lika aktuella. Här har en avvägning gjorts mellan aktualitet och att svaren ska kunna spegla relevansen för det arbete alumnen har.

Till vilka tidigare studenter har alumnenkäten gått ut?
Enkäterna har i första hand gått ut till alumner som tog ut examen två år före utvärderingen. För små utbildningar med färre än 20 alumner per år har enkäter även skickats ut till dem som tog examen för tre år sedan och, i en del fall, även för ett år sedan. Enkäterna har bara gått ut till de alumner som tagit ut examen eftersom det inte finns nationella data för studenter som avslutat utbildning, men inte tagit ut examen.

Kan lärosätets egna alumnenkäter användas som underlag?
Ja, om de visar hur studenterna har nått målen i examensbeskrivningen kan lärosätet ta med det underlaget i självvärderingen.

Övriga frågor

Kommer Högskoleverket att utvärderas?
Högskoleverket är fullvärdig medlem i den europeiska organisationen för kvalitetssäkringsorgan, ENQA. Den del av Högskoleverkets verksamhet som avser kvalitetssäkring av högre utbildning kommer att utvärderas av ENQA under år 2011-2012.
Läs mer om granskningen här »

I en nationell kontext är Högskoleverket en statlig myndighet under regeringen. Det är regeringens sak att bedöma om en myndighet under regeringen ska bli föremål för någon typ av översyn eller utvärdering.

Därutöver står det naturligtvis andra aktörer fritt att ta egna initiativ till utvärderingar eller liknande av Högskoleverket.

Kommer det att ske någon forskning kring systemet för kvalitetsutvärderingar i sig eller hur det påverkar sektorn? 
Högskoleverket saknar egna medel för att finansiera forskning kring detta. Däremot välkomnar vi sådana initiativ. Det nya systemet för kvalitetsutvärdering har väckt stort intresse internationellt och det kan därför även finnas ett intresse utomlands att forska om detta.

Fler frågor?