Brug af data i skoleledelse

Literature review

Brug af data i skoleledelse

 

Abstract

Brug af data er efter reformen blevet en central udfordring for danske skoleledere. Artiklen dykker ned i den omfattende internationale litteratur om emnet for at finde frem til hvad vi ved om hvilke træk ved ledelse og organisation, som fremmer og hæmmer brugen af data i grundskolen. Resultatet er et overblik over de vigtigste indsigter fra litteraturen og bud på, hvordan de kan omsættes i dansk praksis.

 

Baggrund: Det selektive review bliver til

Arbejdet med dette review blev sat i gang for at skabe overblik over den internationale litteratur om brug af data i skoleledelse. Formålet var at finde frem til forskning, der udpeger og beskriver de faktorer, som henholdsvis hæmmer og fremmer brugen af data i grundskolen.

Arbejdsgruppen bevægede sig fra en generel interesse i overhovedet at få overblik over, hvad der findes af international uddannelsesforskning, som har brug af data i det pædagogiske felt som genstand, til en mere specifik interesse i forskning, som havde noget at sige om betingelser for produktiv brug af data i praksis med relevans i dansk sammenhæng.

Vi arbejdede ud fra følgende review-spørgsmål: Hvilke egenskaber ved ledelse og organisation, som er relevante i forhold til opbygning af professionel kapacitet i danske skoler, henholdsvis hæmmer og fremmer brugen af data i grundskolen?

Reviewet skulle informere både UCC’s forskning og interventioner i feltet for forskningsinformeret skoleudvikling. Arbejdet var således drevet af en dobbelt ambition: For det første at bidrage til udviklingen af et vidensgrundlag for skoler og kommuner, som i disse år arbejder med at udvikle bud på en bæredygtig professionalisering af data- og analysebaserede beslutningsprocesser (jf EVA 2014). For det andet at understøtte UCC’s forskning i skoleledelse og organisatorisk læring og kapacitet.

Den første ambition har en klar adresse i praksisfeltet. Forvaltninger og skoleledelser efterspørger i høj grad viden, som kan informere udviklingen af en mere undersøgende skole. Målet er mange steder at give ledelse og forvaltning et solidt grundlag af systematisk viden som grundlag for at følge skolens udvikling og elevernes læring. Det handler om at udvikle dialogiske styringsformer, som engagerer, og ikke fremmedgør, lærere og pædagoger.

Reviewets normative udgangspunkt er at bidrage til udviklingen af en kultur for brug af data og evidens som hænger sammen i praksis. Det kan ske ved at pege på forudsætningerne for opbygning af det, vi i dette review taler om som ’data-kultur’. Det handler, som vi skal se, blandt andet om udvikling af den rigtige form for ejerskab til data og gode processer for samarbejdet om data på elevernes og den professionelle organisations udvikling.

Den dagsorden, som den dobbelte ambition sætter for reviewet, har direkte konsekvenser for det udvalg af litteratur, som reviewet gennemgår og analyserer. Nærværende tekst kan således betegnes som et selektivt review, som går fra en generel søgning til gennemgang af udvalgt litteratur ifølge de kriterier, som er beskrevet i afsnittet om metode.

Den udvalgte litteratur er endt med kun at bestå af engelsksprogede tekster og der er ingen studier af den danske eller skandinaviske virkelighed. Vores søgninger har ikke fundet peer-reviewede studier fra vores del af verden. Det kan ses som et kritisabelt udgangspunkt når det er ambitionen at skabe et bidrag til skoler i Danmark. Vi ser det imidlertid som en nødvendig øvelse af se på erfaringerne fra andre lande, hvis reformer har inspireret udviklingen i Danmark. Det vil dog være oplagt at gennemføre en søgning i databaser over dansksproget litteratur – men det vil i givet fald kræve en ny review-proces.
 

Definitioner af data

Svaret på reviewspørgsmålet er direkte afhængig af definitionen af ’data’ – som der findes et væld af forskellige bud på indenfor uddannelsesforskningen. Det hænger sammen med at der er mange teoretiske traditioner og perspektiver, som beskæftiger sig med brug af data, og at uddannelse i praksis bruger mange forskellige former for data. Vi ser således en række bud, lige fra fokus på kvantitative målinger af elevers præstationer til læreres subjektive vurderinger.

Reviewet har anlagt en bred definition af data, som kan rumme mangfoldigheden i de beslutninger, som undervisere, ledere og administratorer arbejder med til daglig, og spændvidden i de politiske ambitioner om at basere skolen på både kvantitative og kvalitative data. Vi har således udvalgt litteratur, der handler om både data på eleverne (fx Wayman, Jimerson and Cho 2012) og på hele læringsmiljøet, det vil sige undervisning inklusiv skolens organisation, fx data som ”…the multiple types of data that teachers and school leaders need for decision-making.” (Schildkamp, Ehren, Lai 2012)

Data om eleverne er i praksis ofte kvantitativ viden som fx testresultater for enkelte elever, hele klasser eller årgange, eller kvalitativ viden som fx lærerens beskrivelser i elevplanerne. Data som indsamles på den enkelte skole eller i nationale systemer. Schildkamp, Ehren og Lai (2012) peger på, at skoler alt for ofte har en snæver forståelse af data, som er begrænset til evalueringsdata, testresultater eller andet kvantificerbart. Dette syn på data forstærkes ifølge Schildkamp, Ehren og Lai af reformer og andre politiske initiativer, som har et stærkt fokus på aggregerede data. De kvantitative data stilles både i Danmark og i udlandet til rådighed på skolerne i feedback-systemer som kan være både summative og standardiserede (fx Brugerportalinitiativet i Danmark[1]) og formative og forankret i lokale processer og initiativer (Halverson 2010, Spillane 2012).

Den anden forståelse af data er bredere og knytter an til et fokus på evidensinformeret praksis. Her er fokus på brug af data og evidens til at informere og kvalificere skoleledelsens beslutninger og de professionelles praksisser mere generelt. Data kan i denne forbindelse spænde lige fra testresultater til evalueringer af skolens organisation eller viden, der kommer udefra, fx forskning om uddannelse og læring fra andre skoler eller nationale systemer.

I forhold til ambitionerne om at bidrage både til skolernes vidensgrundlag og forskningen i brug af data, vil vi understrege behovet for en bred definition af data, som kan bruges ifht de generelle udfordringer omkring opbygning af kapacitet til vidensbasering og evaluering, som skolerne står overfor (Qvortrup 2014: 11). Det vil sige, at definitionen af data skal være så bred, at den kan fange de processuelle og sociale aspekter af brugen af data i skolen og forklare, hvordan data kan skabe forandring – ikke bare bekræfte eksisterende arbejdsgange, processer og hierarkier (Piety 2013).

Disse processuelle aspekter kræver et begreb om data, som tænker det ind i en dynamisk udviklingsmodel. Et eksempel er den forståelse af data, som ligger i litteraturen indenfor Data-drive decision-making (DDDM). Her antages det, at data udvikler sig til information og senere til viden. Det sker i en proces, hvor data fortolkes og sættes ind i en relevant sammenhæng, fx som grundlag for beslutninger om skolens udvikling (Mandinach, Honey & Light (2006), se også Davenport & Prusak 1998, Cousins & Leithwood 1993).
 

Hvorfor et review af forskning i brug af data i skoleledelse?

Policy-initieret og forskningsinformeret

Behovet for en systematiseret fremstilling af international forskning indenfor brug af data i skoleledelse opstår med den aktuelle danske uddannelsespolitik, som manifesterer sig i en reform-bølge i folkeskolen og ungdomsuddannelserne. Denne reformbølge er inspireret af den bølge af reformer i andre lande, som vi har set forandre skolen gennem de sidste to årtier (Spillane i OECD 2013).

Endvidere er interessen i databrug i skoleledelse inspireret af det internationale forskningsfelt i school effectiveness, og mere specifikt feltet indenfor ledelse for læring eller læringscentreret uddannelse. I dette felt er der en bred konsensus om, at der kan etableres en konstruktiv relation mellem systematisk databrug i uddannelsesledelse og elevernes læringsudbytte med fokus på betydningen af systematisk målsætning, opfølgning og ikke mindst kapacitetsopbygning eller organisatorisk læring (Se fx. Robinson et al. 2009; Leithwood & Louis 2012; Rambøll og UVM 2014; Hall 2015).

I såvel en international og en dansk sammenhæng er der en klar forbindelse mellem forskningsfeltets udpegning af betydningen af systematisk databrug og de aktuelle reformers fokus på øget mål- og effektstyring. Det handler om en styrket og systematiseret brug af data til at sætte mål for og følge udvikling og progression i elevernes læringsudbytte. De aktuelle danske uddannelsesreformer er således også informeret af dette felt af forskning i skoleudvikling og skoleledelse, som fokuserer på sammenhængen mellem skoleledelse og elevernes læringsudbytte.

Vi ser nærmere på disse henholdsvis politiske og forskningsfaglige begrundelser for at samle viden om brug af data i de følgende afsnit. Denne forskningsoversigt sigter således på at samle og systematisere viden og perspektiver på databrug i skoleledelse fra et internationalt forskningsfelt. Det sker for at kunne stille denne viden til rådighed og for at etablere et grundlag for at diskutere perspektiverne i brug af data i dansk skoleledelse. 
 

Databrug i skoleledelse i relation til skolereform som aktuel policy

Skolereformen kan karakteriseres som en styringsreform, en ledelsesreform og en læringsreform (Bjerg og Staunæs 2014; Pors 2014).  Målet er at styrke alle elevers læringsudbytte og trivsel, og at øge tilliden til skolen. Vejen til målet er mål- og effektstyring, hvor data om elevernes læring og trivsel spiller en væsentligt rolle, både på niveau af undervisningen og den overordnede kvalitetssikring af skoleområdet.

Der er med andre ord tale om, at data om resultater og effekter indgår i en styringsrelation, hvor den enkelte skole og skoleledelse i højere grad holdes ansvarlige for kvalitetsmål på elevernes læringsudbytte.  Skolereformens fokus på læring kommer dels til udtryk i ændringer i skolens organisering med henblik på at skabe såvel øget læringsudbytte, dels vægt på læringsparathed og flere veje til læring. Her tænkes for eksempel på en længere og mere varieret skoledag, på bevægelsesdimensionen, samt indførelsen af understøttende undervisning (Bjerg og Staunæs 2015). 

På dette niveau udpeges databrug som centralt for de professionelle lærere og pædagoger. De skal kunne sætte mål for, men samtidig også evaluere og følge, hvorvidt og hvordan eleverne lærer, så de kan justere udviklingen indenfor undervisning og pædagogik.

Endelig kan skolereformen ses som en ledelsesreform, idet god skoleledelse udpeges som en central forudsætning for at realisere en skole, hvor alle elever får optimalt udbytte. Skoleledelse formuleres som et bredt repertoire af kompetencer, som kan sikre effektiv professionel læring, trivsel, anerkendelse og høj faglighed i alle aspekter af skolens liv. Skolelederens rolle spænder lige fra økonomi og personale til strategi og forandring (Skolelederforeningen 2015, EVA 2015).

En stadig vigtigere del af dette repertoire er ledelse med brug af evidens, viden og data som beslutningsgrundlag for den faglige del af ledelsesrollen (Young 2006, Hulvej og Jöhncke 2015). Reformens ambitioner om en mere målstyret skole som inkluderer, skaber læring for alle og dermed har ambitioner for alle elevgrupper uanset forudsætning, forudsætter et systematisk vidensgrundlag for ledelsens beslutninger. Ledelsen skal kunne følge alle elevers udvikling nøje, så den kan handle og skabe forandring i de tilfælde, hvor noget går galt. Skolens ledelse skal ifølge undervisningsministeriet have

…øget fokus på arbejdet med mål, data og analyse som led i at synliggøre dels forholdet mellem undervisning og læring og dels skolens arbejde mod de overordnede mål for reformen.” (UVM 2015b)

Ministeriet opstiller kompetencemål for både skoleledelser og forvaltning, som betoner vigtigheden af dels arbejdet med systematisk dokumentation og opfølgning på elevernes faglige læring og udbytte, dels indsatsen for at udvikle skolen som organisation ”med afsæt i systematisk viden om skolernes aktuelle udfordringer” (UVM 2015: 17). Reform-teksterne bruger en række forskellige begreber til at betegne de dimensioner af skolens organisation, som skal forandres. Man taler for eksempel om ’læringsfællesskaber’, ’feedbackkultur’ og ’evalueringskapacitet’:

Skoleledelsen skal (…) kontinuerligt arbejde for at fremme og understøtte en stærk evalueringspraksis og feedbackkultur, mens forvaltningen blandt andet skal fremme og understøtte en stærk vidensinformeret faglig dialog mellem skole og forvaltning. (UVM 2015: 16)

Det er tydeligt, at evidens og data ofte er del af et overordnet krav om stærkere faglighed og større effekt målt på test- og prøveresultater, men der et fortolkningsrum, hvad angår de helt præcise betydninger af disse begreber. Ministeriet skelner således mellem ’målbare og ikke umiddelbart målbare områder’. Det betyder, at data fra andet end test er en relevant del af ledelsens videns- og beslutningsgrundlag.  Vi ser tilløb til, at denne sondring bliver en kampplads i professionsfelterne, fordi professionernes tradition og kultur værdisætter det ikke-målbare højt[2], mens politikere og medier i højere grad italesætter data som tal eller andre intuitivt akkumulérbare former for viden (se fx Matzen 2015). Denne kamp om definitioner kan ses som anledning til at efterspørge mere forskning i de praktiske implikationer af forskellige former for evidens og data (se fx Piety 2013: 19). I forlængelse heraf kan der også være anledning til at se nærmere på et muligt spændingsfelt mellem på den ene side summativ databrug med henblik på evalueringer og vurdering som led i kvalitetssikring og øget systematisk ansvarliggørelse for kvalitet og effekter, og på den anden side databrug af mere formativ og udviklingsorienteret karakter, som sigter på undersøgelse og udvikling af undervisning og læring, ofte i mere lokalt situerede og forankrede processer (Hill 2011).

Det øgede fokus på data og evidens knytter sig således også til forskellige forståelser og praktiseringer af accountability eller professionel ansvarliggørelse (Anderson, Leithwood, Strauss 2010). Den danske reform er tydeligt inspireret af den nordamerikanske reformdiskurs, herunder effectiveness- og accountability-tænkningen og det seneste tiårs accelererede udvikling i dokumentationskrav på uddannelsesområdet med anvendelse af nye tekniske muligheder for at vidensbasere og styre undervisning (Piety 2013, Selwyn 2011). I USA har man det sidste tiår diskuteret forholdet mellem ansvarliggørelse og professionel dømmekraft og autonomi – en diskussion som vi også ser opstå i kølvandet på reformerne i Danmark.


 

Forskningsperspektiver på databrug i skoleledelse og i professionelle læringsfællesskaber

Brug af data optræder på en række forskellige måder i litteraturen om skoleledelse, og her særligt de traditioner som går under betegnelsen school effectiveness og ledelse for læring eller læringscentreret ledelse. School effectiveness-feltet undersøger hvad der karakteriserer effektive skoler, det vil sige skoler hvor eleverne præsterer relativt højt. Forskningsfeltet ledelse for læring indskriver sig i denne tradition, men fokuserer mere specifikt på mulige sammenhænge mellem skole- og uddannelsesledelse og elevernes læringsudbytte.

Databrug i skolen som organisation og i skoleledelse står centralt i begge felter. Samtidig problematiseres det dog også, at der savnes evidens for den direkte sammenhæng eller effekten af bestemte former for databrug på skole- og ledelsesniveau for kvaliteten i undervisningen og elevernes læringsudbytte (Leithwood og Louis 2012, Anderson, Leithwood and Strauss 2010).

Feltets fokusering på databrug kan fremstilles i fire forskellige, men integrerede formål: 1) at sætte mål og monitorere indsatser i relation til strategisk beslutningstagen, særligt i forhold til effekt for elevernes læring og trivsel; 2) udvikling af en evaluerings- og feedbackkultur med fokus på udvikling af undervisning og læring; 3) øget brug af evidens og forskningsviden i udvikling af praksis, og endelig 4) øget fokus på mål- og effektstyring som del af øget ansvarliggørelse af skolerne.

Vi har ovenfor set på snævre og brede definitioner på data, som svarer til to hovedstrømme i forskningen:

For det første forskning med fokus på udvikling af undervisningen. Her er fokus på ledelsens og lærernes brug af data til at følge elevernes læring og udvikle undervisning.  I dansk sammenhæng vil vi tale om didaktisk eller faglig udvikling med fokus på undervisning og læring. Vi finder en lignende tilgang i den form for skoleledelse, der går under betegnelsen instructional leadership (Se fx Robinson et al 2009).

For det andet findes der et mere organisatorisk perspektiv, som falder sammen med temaer som skoleudvikling/’school improvement’ og professionel læring/’professional development’. Her er der primært fokus på, hvordan databrug på en gang indgår i og samtidig forudsætter udvikling af skolen som organisation gennem øget samarbejde omkring og kapacitetsopbygning til at kunne anvende data konstruktivt i professionelle læringsfællesskaber. I skoleledelsesforskningen har disse aspekter ved databrug særligt været adresseret under betegnelsen transformational leadership eller forandringsledelse med fokus på at sætte en fælles vision og arbejde med udvikling af skolen i et organisatorisk perspektiv (Se fx Leithwood og Louis 2012).

Indenfor ledelse for læring, ses der dog generelt en tendens til at fremsætte et integreret eller hybridiseret perspektiv (Bjerg og Staunæs 2014; Robinson et al 2009). Her forstås ledelse for læring som faglig og pædagogisk ledelse, der har et skarpt fokus på elevernes udbytte og udvikling af undervisning med henblik på at styrke dette, men som samtidig integrerer et organisatorisk perspektiv med særligt fokus på ledelse af professionelles læring og udvikling. Eksempelvis forstås ledelse af professionelles udvikling og læring af skoleledelsesforskeren Viviane Robinson som opbygning af kapacitet til at lærerne selv kan analysere og handle på deres bidrag til elevernes læring – ikke alene som individuelle fagpersoner, men som medlemmer af et professionelt fællesskab med fælles ansvar (Robinson 2011).

Her indgår brug af data som ét af mange elementer i opbygningen af organisatorisk kapacitet. Hattie og Timperley har peget på betydningen af feedback som nøgle til elevens læring og udvikling (2007)[3], mens tænkningen af organisatorisk kapacitet – det vil sige lærerens, pædagogens eller lederens læring – har været domineret af begrebet om professionelle læringsfællesskaber (Hargreaves og Fullan 2012, Albrechtsen 2013). I forlængelse heraf forstås ’ledelse’ som distribueret ledelse, hvor læreren med Timperleys begreb udvikler en ’selv-regulerende lærende’ praksis (Albrechtsen 2013: 58).

Teorien om professionelle læringsfællesskaber lægger meget stor vægt på betydningen af databrug i relation til formativ evaluering (Halverson 2010, Wille 2012). Lederen og den fagprofessionelles dømmekraft i forhold til vurdering af viden og dermed selvstændige brug af data (eller tilmed udvikling af egne data) står derfor centralt (jf. Halverson 2010, Wayman 2005). Det bliver i den sammenhæng afgørende at overveje, hvem der definerer, samler, bearbejder og ejer data – og i hvilken grad data opleves som et relevant, motiverende grundlag for at analysere og udvikle egen praksis (Spillane 2012). I nærværende review ser vi primært på skoleledelsens brug af data. Litteraturen om professionelles brug af data i professionelle læringsfælleskaber indgår således i det omfang, det er relevant ifht ledelsens arbejde med at udvikle organisationens brug af data. Det handler om ledelsens arbejde med at opbygge kapacitet til databrug i velfungerende professionelle læringsfællesskaber.

Indenfor forskningsfeltet i ledelse for læring indgår brug af data således med fokus på ledelsens rolle i relation til en styrket og kvalificeret databrug i forskellige relationer. For det første fokuseres der på skoleledelsens 'egen' brug af data - i forhold til strategisk og datainformeret at kunne træffe beslutninger og herunder at udpege og analysere problemområder og anvende data og evidens i at sætte mål, samt udvikle, følge og evaluere indsatser og deres effekt (Se fx Robinson 2011). Endvidere peges der på ledelsens rolle i opbygningen af organisatorisk kapacitet til brug af data, således som det blev uddybet ovenfor. Og endelig udspiller ledelsens brug af data sig i relationer til styringsniveauet, hvor databrug ofte er knyttet til systematisk dokumentation, kvalitetssikring og accountability. Forskningen i skoleledelse peger dog også på betydningen af sammenhæng i udviklingen af databrug indenfor og i relationerne mellem de tre niveauer: de professionelles brug af data 'i klasserummet'; skoleledelsens brug af data på skoleniveau, samt forvaltnings- eller distriktsniveauets brug af data (Calmann 2010; Leithwood og Louis 2012)
 

Gennemgående perspektiver – uddybning af reviewspørgsmål

Vi har nu etableret den centrale betydning af databrug i politisk og forskningsfaglig sammenhæng. Dermed kan vi definere tre perspektiver, som vi forstår som afgørende at beskrive nærmere for at kunne understøtte både den politiske og den forskningsmæssige interesse i data. Disse perspektiver fungerer således som en operationalisering af vores reviewspørgsmål. Vi vil se nærmere på:

1)     Egenskaber ved skolens professionelle organisation, som har betydning for brug af data og som dermed kan understøtte udvikling og læring, herunder både elevers og professionelles læring, organisatorisk kapacitet og ejerskab af data.

2)     Ledelsesudfordringer forbundet med udvikling af skolen som organisation, herunder forskelle i brug af data i henholdsvis læreres og pædagogers praksis.

3)     Skolen i en styringsmæssig kontekst, det vil i sær sige forholdet mellem skole og forvaltning, herunder mødet mellem forvaltningens data- og feedback-systemer og praksis på skolerne.

 

Reviewet søger at udvælge litteratur, som belyser disse tre perspektiver på ledelse. Vi ser nærmere på hvordan i det følgende afsnit.
 

Metode: Søgestrategi og kriterier for valg af litteratur

Arbejdet med reviewet har været styret af dels den dobbelt ambition beskrevet i indledningen, dels det praktiske hensyn til både at nå vidt og bredt ud i den internationale litteratur og at udvælge en håndtérbar mængde litteratur.

Hvis vi tager afsæt i Coopers taxonomi for reviews (Randolph 2009) har det været ambitionen at lave en gennemgang af litteraturen baseret på en bred og udtømmende søgning (”exhaustive”), men som samtidig foretager en begrundet udvælgelse af dele af den samlede litteratur (”selective citation”) (se fx Toode, Routasalo og Souminen 2010).

Reviewprocessen går fra den brede søgning til selektionen i to overordnede faser: 1) søgning i peer-reviewede journals, og 2) en uddybende søgning med afsæt i resultater fra den første søgning (forfatter og udvalgte søgeord) samt i litteratur som refereres enten i artikler fra første søgning eller i den danske akademiske og fagprofessionelle debat om brug af data.

Vi har søgt at udvælge litteratur efter tematiske kriterier som udspringer af reviewspørgsmål og gennemgående perspektiver. Disse temaer er konkretiseret i søgeordene (se appendix).  Vi har ikke anvendt kriterier for de udvalgte studiers metoder, og udvalget består således både af teoretisk og empirisk baseret forskningslitteratur. Der er udelukkende udvalgt peer-reviewet litteratur.

Søgninger: Hvordan og hvorfor?

Den første fase af litteratursøgningen havde til formål at skabe et overblik over den internationale forskning i brug af data på skoleområdet. Søgningen bestod af 24 søge-kombinationer i Ebsco.com, herunder ”use of data” i kombination med ”formative assessment”, ”school effectiveness”, ”feedback” og andet (se detaljer om baser og søgeord i appendix).

Søgeordene blev defineret efter indledende læsning i feltet og diskussion af reviewspørgsmålet mellem de tre forfattere.
 

Første søgning

Den første søgning skulle finde den internationale forskning, som har brug af data i det pædagogiske felt som sin genstand. Søgningen gav over 1000 artikler.

Det overordnede indtryk af dette materiale er, at forskningen i brug af data bærer præg af at være forholdsvis uorganiseret, da den bygger på forskning fra disparate faglige traditioner (Coburn and Turner 2011: 175). Der forskes i mange forskellige aspekter af databrug fra flere felter og med afsæt i begreber og metoder fra mange discipliner.
 

Anden søgning

Fordi første søgning gav 1000+ artikler, foretog vi en ny søgning, denne gang på baggrund af et indsnævret fokus på skoleledelse. I anden søgning udvidede vi desuden ”data use” og ”use of data” med begreber fra litteraturen, som vi var stødt på i første søgning: "data literacy", "data culture" og "data-driven".

Dermed kom den justerede søgning til at se således ud:

 

Som illustrationen viser, byggede søgningen på synonymerne: "data use", "use of data", "data literacy", "data culture", "data-driven" ved at bruge funktionen ”OR”. Herefter kombinerede vi første søgning (ved at anvende funktionen “AND”) med en anden række synonymer, bestående af ordene "school leadership", "school management”, ”principals” og ”educational leadership”. På den måde udvælges de artikler, som omhandler brug af data i skoledelse.

Vi valgte samtidig, at denne søgning kun skulle vise resultater fra efter 2001. Det skyldes, at man i USA i 2001 gennemfører reformen No Child Left Behind. Denne reform har medført et markant skift i brugen af data i det amerikanske skolesystem og en generel kulturændring, som har haft en stor betydning også i forskningsfeltet. Til slut valgte vi at ekskludere de artikler, som ikke er peer-reviewede. Dermed endte vi på 322 artikler.

Da en række af artiklerne handler om forhold udenfor grundskolen valgte vi at tilføje: NOT "higher education", NOT "college", NOT "health education", som et led i at sortere artikler fra, der ikke omhandler grundskolen. Det reducerede feltet til 270 artikler.

Disse artikler blev efterfølgende gennemgået ved at læse abstracts og keywords. Her sorterede vi de artikler fra, som ikke handlede om brug af data i skolens praksis (men fx om brug af data som metode i forskningen), som ikke havde fokus på skoleledelse, og som ikke har grundskolen som sin genstand.

Det betød, at vi endte med at have 48 artikler, som er grundlag for analyserne her. Vi har dog samtidig valgt også at bruge yderligere fire tekster, som enten ofte citeres i forskningsfeltet eller er videreudviklinger af artikler i søgningen. Dermed lander vi på samlet set 52 tekster.
 

Kodning af artikler

For at identificere bidrag til de tre perspektiver samt udpege hovedudfordringer i de 52 udvalgte artikler tog vi først udgangspunkt i de ”keywords”, som er udvalgt af forfatterene.  På den måde kunne vi underopdele teksterne. Den største del bestod af 21 artikler som havde ’Decision Making’ som keyword i sammenhæng med eksempelvis ’data-based’, ’data-informed’ eller ’data-driven decision making’ (DDDM). Der var ingen andre klare underopdelinger.

For at nærme os et systematisk overblik over litteraturens indhold besluttede vi os for at kode artiklerne. Vi brugte en funktion i Mendeley, som tillader brugeren at tilføje ”tags”(mærkat/ nøgleord) til artiklerne, som derefter kan bruges som filtre for udvalg i litteraturen. De anvendte tags tog udgangspunkt i de tre perspektiver og blev defineret med inspiration fra de keywords, som forfatterene til artiklerne selv har anvendt (fx data-driven decision making, som vi havde set fylde meget som keyword).

Bemærk at kodningen med tags fandt sted med basis i forfatternes skøn. Vi satte tags på niveau af den samlede tekst - en mere grundig kodning ville tagge teksterne på afsnits- eller sætningsniveau.

Efter tagging af teksterne kunne vi gå i gang med analysen, som faldt i tre dele som svar på de tre perspektiver. Vi brugte tags til at identificere tekster med relevans for hver delanalyse, men det er værd at bemærke at flere tekster har relevans for mere end ét tema.
 

Kendetegn ved teksterne

Vi var blandt andet interesserede i at vide, hvor mange studier der var empirisk funderet og hvor mange, der bar præg af at være teoretiske. Kodningen viste, at 29 af artiklerne bygger på empiriske studier og 23 har en karakter af et review, teori eller how-to-litteratur.

Det viste sig også, at langt størstedelen af artiklerne, såvel de empiriske som teoretiske, bygger på studier af det amerikanske og canadiske skolesystem. Det skyldes formentlig at vores søgeord var inspireret af amerikansk forskning, men skal også forklares med at den amerikanske forskning i dette felt er langt stærkere repræsenteret i de internationale artikelbaser.

Her følger en oversigt over de mest anvendte tematiske tags:


 

Hvad siger forskningen om brug af data i skolen?

Resultater og analyse ud fra udvalgte begreber og temaer

I konklusionen på gennemgangen af brug af data i dansk policy og den rolle, som data spiller i teorien, udvalgte vi som nævnt tre perspektiver, som vi vil søge at belyse gennem analysen af den udvalgte litteratur. De tre perspektiver er henholdsvis skolens organisation, de konkrete ledelsesudfordringer forbundet med faggruppernes brug af data, samt skolen i en styringsmæssig sammenhæng, her forstået som del af den kommunale styringskæde.
 

Making sense. Egenskaber ved skolens organisering, som betyder noget for brug af data

Det første perspektiv belyser kendetegn ved organisationen på skoler, som lykkes med at bruge data til beslutninger og udvikling. Litteraturen fokuserer i udbredt grad på det professionelle fællesskabs læring og udvikling, herunder skolens kapacitet til selv at drive og bidrage til udvikling af organisation og kerneydelsen i elevernes læring.

Det er åbenlyst at denne problematik ikke primært handler om skolen som formel organisation. Udvikling som baseret i uformelle fællesskaber handler om mere end skolens struktur og de formelle relationer mellem fx ledelse og medarbejdere. Derfor kredser forskningen om fænomener som samarbejde, kultur og deling af viden som sociale dynamikker med central betydning for produktiv brug af data.

En væsentlig del af den litteratur i reviewet, som diskuterer denne type problemer, er amerikansk. Den tager afsæt i amerikanske reformer, særligt No Child Left Behind fra 2001, de nye krav til uddannelsessystemet (Kelley og Modeste 2015), og skolens reaktioner på disse krav. På trods af den lange række forskelle mellem amerikanske og danske skoler vil vi argumentere for at indsigter fra denne litteratur er relevante også for danske skoleforskere, politikere, ledere og professionelle.

Vi vil her lægge vægt på to relevante fund fra litteraturen: dels et helhedsorienteret eller systemisk blik på hvordan skolerne træffer beslutninger, dels et fokus på dynamikker i de professionelle læringsfællesskaber som nøgle til at lykkes med brug af data. Begge disse tilgange lægger vægt på det formative frem for det summative. Det vil sige, at de fokuserer på hvordan data kan bruges som del af skolens udviklingsprocesser, snarere end som kontrol (Myran og Clayton 2011).
 

Brug af data i skolens beslutningsprocesser

Det er en væsentlig pointe, at skoler som lykkes med at bruge data til at forbedre elevernes resultater er kendetegnet ved velfungerende beslutningsprocesser, fx målstyring og kapacitet til løbende kollektiv evaluering, som kan bruges i forandringer af både undervisning og organisation (Halverson 2010, Copland 2003).

Halverson beskriver erfaringer fra New York, hvor man omkring 2005 lykkedes med en større omstilling af byens skoler. Især skoler i udsatte områder kunne dokumentere stor fremgang målt på elevernes resultater (Halverson 2005). Årsagen til disse forbedringer kan ikke reduceres til en enkelt faktor, men bestod i sammenhængen mellem en række initiativer, som ifølge Halverson skabte en ny kultur for elev-centreret ledelse og undervisning.

Halversons forskning undersøger sammenhængen mellem brug af data, feedback og beslutningsprocesser, som han sammenfattende kalder Data-Driven Decision Making (DDDM), på en række skoler i Midtvesten i USA (2005, 2007, 2010).

Reviewet har fundet en række bud på, hvordan skoler kan omsætte idealet om data-drevne beslutningsprocesser i praksis:

Udnytte hverdagens rammer og rutiner som udviklingsrum (Farley-Ripple og Buttram 2014), fx møderækker (Halverson 2007),

Videreuddannelse af de professionelles kompetence til brug af data (Wayman, Jeffrey and Jimerson 2014),

Bedre vejledning og support fra ledere til medarbejdere (Anderson, Leithwood og Strauss 2010, Marsh 2006, Farley-Ripple og Buttram 2014: 46, Herr et al. 2006),

Give medarbejderne den fornødne tid (Marsh og Farrell 2015, Wayman, Jeffrey and Jimerson 2014) og undgå at forfalde til forhastede konklusioner (Katz & Dack 2014)

Undgå at brug af data reduceres til kontrol og overvågning (Selwyn 2011: 483).

Undgå at data misbruges til at begrunde forkerte beslutninger (Hess 2009).

 

Det professionelle læringsfællesskab. ’It is the learning that is the key’

Ved siden af litteraturen om beslutninger finder vi et andet dominerende teoretisk perspektiv, nemlig professionel læring[4] (Blanc et al. 2010, Katz og Dack 2014). Som vi så ovenfor, er det nødvendigt at overveje, hvordan vi kan bygge kompetencer og kapacitet hos de professionelle, så de kan samarbejde med data. Litteraturen anbefaler at fokusere på, hvordan opgaven med at drive skolens udvikling tages af medarbejdere og ikke alene er den formelle ledelses opgave. Dette samarbejde indebærer imidlertid ifølge Halverson et opgør med traditionelle læringsprocesser, fordi målet ikke er at opfylde professionens egne normer, men kollektivt[5] at forholde sig til krav til skolen, som kommer udefra:

Leaders need to reframe the traditional sense-making practices of schools to respond to a culture of external accountability.” (Halverson 2010: 4-5)

Den mest dominerende strømning i litteraturen peger på, at det kræver et velfungerende professionelt læringsfællesskab at få et udviklingsrelevant udbytte af at bruge data. Litteraturen peger på, at elevernes læring hænger tæt sammen med lærernes evne til at lære (Robinson). Som Katz og Dack udtrykker det:

Teaching something differently (or rather, better), depends on teachers learning something new. It is the learning that is key here. (…) Much of the power comes in (…) having the stance, strategies, and skills to know how to learn”’ (2014: 36)

Forskningen peger på, at brug af data kan være med til at udvikle denne type kompetence. Idealet beskrives som udvikling af en undersøgende kultur (Katz and Dack 2014, Copland 2014, Murray 2014).

Hvad kendetegner denne type kultur? I et studie af brug af data i Delaware, USA, har man set på, hvordan fire skoler indenfor samme skoledistrikt arbejder med data (Farley-Ripple og Buttram 2014). Skolerne havde adgang til samme IT-ressourcer og har sammenlignelig elev-sammensætning og organisation, men deres professionelle læringsfællesskaber fungerer alligevel forskelligt. Sammenligningen af skolerne viste, at særligt ledelsens forventninger, deling af data og data-kultur havde betydning for, hvordan man brugte data. Den Delaware-skole, som præsterede bedst, var kendetegnet ved:

Consistent district and school leadership vision and support for PLCs [professionelle læringsfællesskaber, red.] as a vehicle of collaborative data use, a strong culture of professional community, leader-established norms and expectations, monitoring of PLCs and allocation of instructional ressources to PLCs. (Farley-Ripple og Buttram 2014: 49)

Delaware-studiet opsummeres i anbefalinger til skoler om at planlægge undersøgelses- og læringsprocesser i fire trin. De kan – som det var tilfældet i Delaware – organiseres som arbejdsprocesser i månedlige, 90 minutter lange og obligatoriske ’læringsfællesskabs-møder’ på skolerne. Her faciliterede ledelsen lærernes arbejde med at:

  • Analysere et konkret data-materiale,
  • Diskutere den relevante praksis,
  • Planlægge undervisning målrettet de praktiske udfordringer og informeret af egne analyser. (Farley-Ripple og Buttram 2014: 46f)

Forskningen rummer forskellige bud på den slags læringsprocesser for de professionelle. De kan være tænkt som en måde at fremme samarbejde og læring, eller som en måde at udvikle nye, undersøgende videnspraksisser blandt lærere og ledere. Halverson taler om ‘structured occasions to turn assessment information into actionable knowledge’ (2010: 133) eller ‘opportunities to sort through relevant data’ (2005: 7).

Copland (2003) og Katz og Dack (2014) taler om ’inquiry cycles’ som iterative modeller for udvikling af en undersøgende kultur. Her arbejder man med udgangspunkt i et formuleret problem, som undersøges gennem en invention i praksis og evalueres inden næste praktiske udfordring udpeges. Copland viser, at den type undersøgende processer er et kendetegn for skoler, som lykkes med at distribuere ledelsesopgaven (2003: 394).
 

Ledelsesudfordringer

Store dele af den fundne litteratur peger på, at skoledelsen spiller en afgørende rolle i at drive og sætte mål for de åbne læringsprocesser, som vi så på ovenfor (Anderson, Leithwood & Strauss, 2010; Bowers, Shoho & Barnett, 2014; Earl & Fullan, 2003; Earl & Katz, 2006; Halverson, Prichett & Watson, 2007; Levin & Datnow, 2012; Marsh & Farrell, 2015;Park & Datnow, 2009). I dette afsnit vil se nærmere på de ledelsesudfordringer, der er forbundet med brug af data.

Litteraturen peger på, at skoledelsens udfordringer sjældent ligger i tilgængeligheden af data. Tværtimod er problemet ofte, at ledelsen drukner i data og derfor ikke ved, hvor de skal starte arbejdet med at identificere de områder, der kræver forbedring (Murray, 2013). Det faktum, at der findes data, øger det eksterne pres på skoleledelsen, som er under pres for at bruge data på den måde, som den politiske ledelse ønsker sig (Bowers et al. 2014; Spillane 2012, Wayman, Jimerson and Cho 2012).

Litteraturen er imidlertid ret klar i dette spørgsmål: Anvendeligheden af data kan ikke forklares med deres egenskaber. Det vigtigste er, hvordan man bruger data:

One of the central lessons from research on data use in schools and school districts is that assessments, student tests, and other forms of data are only as good as how they are used.” (Coburn & Turner, 2011).

Derfor lægger forskningen sit fokus på den ledelsesopgave, der ligger i at sætte mål for og etablere de rette betingelser for anvendelse af data (Anderson, Letithwood og Strauss 2010). Det gælder ikke alene data på elevernes præstation, men også for data på organisationen, herunder data om brugen af data (Schildkamp, Ehren, Lai 2012). Det åbner for at udvikle ny viden om sammenhængen mellem ledelse og den rolle, som data spiller i organisationen.

Vi genfinder interessen i organisationens processer i analyser af hvordan ledelse og lærere skaber en undersøgende og tillidsbaseret datakultur (Earl & Fullan 2003; Hamilton et al 2009; Koyama 2014; Murray 2013; Reeves & Burt 2006; Lange, Range og Welsch 2012). I forlængelse af begrebet om datakultur identificeres ofte endnu en ledelsesudfordring, nemlig at mange skoleledere og lærere mangler kompetencerne i data literacy, forstået som evner til at indsamle, analysere og anvende data effektivt (Ronka et al., 2008). Når skolen begynder på at udvikle en undersøgende praksis må medarbejderne kæmpe for at får det til at fungere (Copland 2003), og der opstår skepsis og kritik af data fra især standardiserede test (Kerr et al. 2006: 512). Vi ser på datakultur og data literacy i det følgende.
 

Datakultur

Datakultur beskrives som en pædagogisk understøttende og udviklende måde at bruge data som en integreret del af alle skolens processer (Earl & Katz 2006; Murray 2013; Hamilton et al 2009; Reeves & Burt 2006). Lederen bør selv gøre brug af data om eleverne i sit daglige arbejde og samtidig skabe en fælles forståelse for vigtigheden af at bruge data på skolen (Levin & Datnow, 2012). Det kan støtte lærerne i at identificere deres styrker og svagheder, så de kan blive mere effektive og opmærksomme på, hvor der skal laves forbedringer i undervisningen (Earl og Katz 2006). Det kan også handle om at udfordre selvfølgelighederne og bryde med vaner i organisationen (Katz og Dack 2014).

På den måde kan ledelsen skabe en datakultur, det vil sige skabe et læringsmiljø hvor værdier og visioner understøtter brug af data som en praksis, der kan give beslutningsprocesserne en ny kraft (Hamilton, Halverson, Jackson, Mandinach, Supovitz & Wayman 2009: 46).

Det er selvsagt lettere sagt end gjort. Lorna Earl og Micheal Fullan arbejder med at beskrive de udfordringer og spændinger, som en række skoleledere oplever ved implementeringen af reformer, der forudsætter et øget brug af data (2003). Et af deres fund er, at når brugen af data bliver en central del af en større reform som udfordrer skolen, så rejser der sig kritik af data (Earl & Fullan 2003).

Levin og Datnow skriver, at en vigtig forudsætning for en produktiv anvendelse af data i skolen er, at ledelsen prioriterer arbejdet med data (2012). Det kræver en stor indsats at forandre skolen fra at være ’begynder’ til at blive en ’avanceret’ undersøgende kultur (Copland 2003: 384). Levin og Datnow udpeger en række centrale udfordringer, som skolelederen bør fokusere på:

  • Formulere specifikke mål på baggrund af skolens behov (se også Jimerson 2013),
  • Afsætte tid til at lærerne kan samarbejde om data (se også Kerr et al. 2006, Farley-Ripple 2014, Marsh 2015),
  • Skabe tillid til validitet og faglig relevans af data (se også Kerr et al. 2006, Anderson et al. 2010),
  • Opbygge viden om og evner til brug af data.[6]
     
Data Literacy

Earl og Fullan peger på, at selvom flertallet af skoleledere synes positivt stemt for at bruge data i deres arbejde, så udtrykker de samtidig en række bekymringer. Det handler især om, at de føler usikre på, om de har de kompetencer, det kræver at indsamle, fortolke og anvende data (2003). De mangler data literacy (Ronka et al. 2008; Bowers et al. 2014). Hamilton med flere definerer data literacy som:

’The ability to ask and answer questions about collecting, analyzing, and making sense of data is known as data literacy. Widespread data literacy among teachers, administrators, and students is a salient characteristic of a data-driven school culture.’ (2009)

En stor del af de data, som er tilgængelige, består af tal, tabeller og grafer, som kan virke direkte uforståelige for skolelederne. Det skaber en usikkerhed, som betyder, at data i sidste ende ikke bliver anvendt (Earl and Fullan 2003). Et studie fra England viser, at skoledere blev langt mere trygge ved at anvende data, da de begyndte at inkludere kvalitative data, så som observationer og beskrivelser af pensummål. Dette forklarer Earl og Fullan med, at denne type data skaber en anden type fortolkningsproces, som ikke kræver en bevægelse fra data til information og til viden (Mandinach, Gummer & Anderson 2015).

Nogle forskere taler om at bevægelsen fra data til information kræver statistisk træning (Bowers et al. 2014). Men det er ikke nok, at skoledelsen bliver undervist i brug af data. De skal samtidig undervises i, hvordan de motiverer lærerne til at arbejde med deres data literacy (Mandinach & Gummer 2013). Halverson skriver, at denne form for kapacitetsopbygning udfordres af, at administratorer, ledere og undervisere har brug for forskellige former for data. Derfor må ledelse være opmærksom på, at der i en data-dreven tidsalder i højere grad end tidligere er en forventning om, at skoleledelse foregår på to niveauer:

…one level to generate accurate feedback that connects instructional practices to system outcomes, and one level that meets the data needs of local practices of teaching, learning and school improvement. Creating a coherent data-driven instructional context means building links between these two levels. (Halverson in Bowers et al. 2014:  262)

Udfordringen for den succesfulde skoleleder er derfor at opbygge kapacitet, der forbedre læring samtidig med at hun afrapporterer resultaterne på en måde, der både tilfredsstiller skolens medarbejdere og eksterne interessenter (ibid). I en dansk sammenhæng vil der være den særlige udfordring, at gruppen af medarbejdere med pædagogernes store, men endnu utydelige rolle i skolen, rummer meget forskellige behov og forudsætninger. Den internationale litteratur adresserer imidlertid ikke variationer på tværs af forskellige professioner.
 

Brug af data som del af styringskæden

Vi har nu set på skolens brug af data i den tætte relation mellem lærere og elever, og mellem de professionelle og ledelsen. Men den udvalgte litteratur beskriver samtidig at brug af data finder sted i en afgørende relation til den overordnede administrative enhed. I den amerikanske forskning handler det oftest om ’the district’, som vil svare til det kommunale niveau i Danmark.

Som vi så ovenfor handler det overordnet om at skolen skal stå til regnskab for sin omverden, det vil sige udsættes for administrativ og politisk kontrol med drift og resultater. I den amerikanske sammenhæng handler det primært om elevernes progression (Halverson i Bowers et al. 2014). Men forskningen peger på betydningen af, at relationen mellem skole og forvaltning i praksis bygger på andet og mere end kontrol.

Levin og Datnow viser, at skoledistriktet har en afgørende rolle i at sikre skolelederen de rigtige rammer (2012). Tillid og tryghed i relationen mellem administration og skoleleder er vigtig (ibid: 189). Dette perspektiv lægger vægt på at policy realiseres i en sammenhængende styringskæde, som forbinder alle niveauer fra politiker til praktiker, og som ikke alene bygger på en juridisk forpligtelse.[7] Vi finder en lignende pointe hos Anderson et al. (2010), som viser at distriktet i den amerikanske sammenhæng med succes optræder som faglig aktør, inspirator og ressource for kapacitetsopbygning (308).

Der er i de foreliggende tekster tre overordnede tilgange til beskrivelsen af forvaltningens aktive rolle – som går langt udover formel kontrol og myndighed:

Fokus på sparring og coaching (dvs. lederens faglige udvikling). Det har afgørende betydning for forandring af praksis, at lederen på den enkelte skole får faglig sparring (Goff, Guthrie, Goldring 2014, Anderson et al. 2010)).

Fokus på at udvikle feedback-systemer, som skaber sammenhæng mellem det overordnede socio-tekniske system med dets standarder og tekniske muligheder (Anderson et al. 2010, se også Piety 2014), og den interpersonelle kommunikation og læring i de professionelles fællesskaber (Halverson 2007, 2010).

Fokus på standardisering og digitalisering som samfundsmæssig udvikling præget af et samspil mellem overordnet politisk strategi og en mangfoldig faglig udvikling (Selwyn 2011, Piety 2013).

 

Bud på en tematisk konklusion

Vi har gennemført en første læsning af den udvalgte litteratur, guidet af de tre valgte perspektiver. Her opsummerer vi en række temaer, som er tydelige i den udvalgte litteratur og som har en klar relevans for praksis i Danmark.

Den gennemgående præmis i litteraturen synes at være at databrug i skoleledelse kan have positive sammenhænge med elevernes læring og trivsel; for udvikling af professionelles praksisser – herunder undervisning og for udvikling af velfungerende professionelle læringsfællesskaber.

Litteraturen peger dog også på en række præmisser, som skal være gældende for brug af data, hvis disse positive sammenhænge kan realiseres. Det gælder især, at det er vigtigt at tænke brugen af data i et proces-perspektiv, som er følsomt overfor skolens specifikke situation. Skolerne bør søge at opbygge kapacitet, som tilpasses de forskellige formål med at bruge data, som findes på forskellige niveauer af praksis – dvs. i læreres brug af data ’i klasseværelset’; ledelsens brug af data, samt i styringsrelationen mellem skoleledelse og forvaltning/distrikt.

Ved siden af disse mere strategiske overvejelser peger litteraturen på en række praktiske barrierer for brug af data. Flere studier rapporterer at det er et problem at finde tid til at arbejde med data. Ledere og lærere risikerer at lave forkerte analyser og bruger i høj grad data til at bekræfte de forståelser, de allerede har af skolens og elevernes situation. Den undersøgende skole kræver tid og kompetence til distribueret ledelse af de processer, hvor de professionelle danner mening og udvikler ikke bare ny information, men ny viden som bliver en del af fundamentet for deres beslutninger i hverdagen.
 

Videre review-arbejde

Vi foreslår at arbejde videre med følgende fire perspektiver for en konstruktiv og udviklingsorienteret brug af data:

-        Kvalitet – i data: Hvad siger forskningen om forskellige datatyper og strukturer for tilvejebringelse og tilgængelighed af data

-        Kapacitet – til brug af data: Hvad ved vi om hvad skoleledelser skal kunne for at bruge data? Hvad er dataliteracy i en dansk kontekst? Hvordan organiseres og rammesættes brugen af data i skolen som organisation?

-        Kultur – for brug af data: Hvad siges der på tværs om, hvad der karakteriserer en konstruktiv datakultur? - herunder det undersøgende, tillidselementet mv.

Vi sigter således på at opsummere fund fra litteraturen, der kan omsættes i præmisser for og anbefalinger til udvikling af databrug i skoleledelse i praksis med henblik på at øge sandsynligheden for at lærere og ledere vil opleve det som meningsfuldt og produktivt at arbejde med data med henblik på at skabe udvikling og kvalificering i deres opgaver.

Disse resultater foreligger i en række diskussioner og refleksioner, som præger den fundne litteratur. En del af teksterne fremsætter konkrete bud på fx procesmodeller og prioriteringer ifht. kompetenceudvikling, men vi må konkludere, at næste skridt bliver en yderligere konkretisering af de praktiske konsekvenser. Vi forventer, at det vil være muligt at finde litteratur, som er mere konkret, men at det samtidig er nødvendigt at omsætte denne viden i dansk praksis og som del af dette arbejde at udvikle nye forskningsprojekter, som kan komme helt tæt på den danske virkelighed.
 

Kan vi sammenligne Danmark med Delaware?

Det er en oplagt og berettiget kritik at de internationale, primært amerikanske, erfaringer ikke kan overføres direkte til Danmark. Men litteraturen viser både, at der helt rigtigt ER store forskelle – men også iøjnefaldende ligheder mellem de to kontekster.

Den internationale – primært amerikanske - litteratur er præget af en udpræget pragmatisk tilgang, som tager udgangspunkt i at accountability- og feedback-systemer er kommet for at blive. Det er en uimodsagt præmis for de professionelle, at de skal forholde sig til eksterne krav og forventninger. Det betyder også at litteraturen typisk ikke taler om, at det er op til de professionelle at beslutte om, hvordan og i hvilket omfang data skal bruges.

Dette review søger at bidrage til løsninger på problemer, som udspringer af den aktuelle danske uddannelsespolitik. I Danmark ser vi mål- og effektstyring tage en central plads på dagsordenen – på en måde, der er sammenlignelig med accountability-dagsordenen i USA. De amerikanske erfaringer med at udvikle en praksis for ansvarlighed er derfor relevante i dansk sammenhæng.

Det gælder både i forhold til at rejse kritiske perspektiver, men også i forhold til konstruktive bud på, hvordan skolerne kan håndtere de nye krav.  Endvidere viser litteraturen, at de problemstillinger, der udspiller sig i professionelle praksisser handler om modstand, behov for kapacitetsopbygning, organisering og datakultur. Disse problemstillinger kan man forvente at genfinde i en dansk sammenhæng.

Med afsæt heri er der følgende igen tentative problemstillinger, som rejser sig i relationen mellem den internationale litteratur og de kontekster, den er produceret i og en dansk skolekontekst:

-        Hvordan udrulles og udmøntes accountability i forskellige styrings- og ledelsesrelationer i en dansk sammenhæng?

-        Hvordan udvikles professionelle læringsfællesskaber i spændingsfeltet mellem eksterne krav, forventninger og standarder og ’interne’/egne professionelle standarder og forventninger?

-        Hvilke begreber og modeller for udvikling af data-literacy – hos skoleledelser og professionelle – er relevante og brugbare i en dansk sammenhæng?

-        Hvordan etableres der konstruktive sammenhænge og feedbacksystemer på tværs af forskellige led i styringskæden?
 

Konklusion på reviewspørgsmål og –proces

Tilbage står spørgsmålet, om vi er nået i mål med besvarelsen af reviewspørgsmålet og om den viden, vi har fundet, kan blive værdifuld for praktikere og forskere.

Vi spurgte: Hvilke egenskaber ved ledelse og organisation, som er relevante i forhold til opbygning af professionel kapacitet i skolevæsenet i Danmark, henholdsvis hæmmer og fremmer brugen af data i grundskolen?

Den tematiske konklusion ovenfor peger på betydningen af et processuelt perspektiv på data, herunder konkret arbejde med det professionelle fællesskab, og på opbygning af kapacitet til at bruge data i beslutningsprocesser i hele skolens praksis. Vi har ikke fundet litteratur om ledelse af tvær-professionel praksis. Pædagogernes praksis er som forventet ikke beskrevet i den internationale litteratur.

Vi havde på forhånd en forventning om at finde flere konkrete og sammenlignelige bud på, hvad ledelse og organisation kan gøre for at anvende data mere produktivt. Resultaterne af reviewet fungerer i højere grad som nye spørgsmål, der kan guide nye forsøg på at finde brugbar viden.

Brugbarheden for praktikere skal findes på et mere indirekte niveau: praktikere kan med dette review bliver mere sikre på, hvordan de skal prioritere procesdimensionen på brug af data, og hvordan de skal gå til udfordringerne med at opbygge kompetencer og kapacitet til at bruge data på en produktiv måde. De danske praktikere i forvaltning og på skolerne står med store udfordringer omkring brug af data, og nærværende review giver et overblik over den internationale viden på området – og en understregning af den afgørende betydning af gode processer for de professionelles deltagelse.

 

Referencer

Tekster markeret med * er fundet gennem den beskrevne selektion. Bemærk at kun 36 af de fundne tekster optræder som referencer i denne artikel.

Albrechtsen, R. S. (2013). Professionelle læringsfællesskaber - teamsamarbejde og undervisningsudvikling. Dafolo.

*Anderson, S., Leithwood, K., & Strauss, T. (2010). Leading Data Use in Schools: Organizational Conditions and Practices at the School and District Levels. Leadership and Policy in Schools, 9(3), 292–327.

Bjerg, H. og Staunæs, D. (2014): Læringscentreret skoleledelse. Tænketeknologier til forskningsinformeret skoleledelse. Frederikshavn: Dafolo

Bjerg, H. og Staunæs, D. (2015): Det forsvundne frikvarter. At lede efter læring i mellemrummene. I: Bjerg, H. og Vaaben, N.  At lede efter læring. Ledelse og organiseringer i den reformerede skole. Frederiksberg: Samfundslitteratur

*Blanc, S., Christman, J. B., Liu, R., Mitchell, C., Travers, E., Bulkley, K. E., & Blanc, Suzanne; Christman, Jolley Bruce; Liu, Reseann; Mitchell, Cecily; travers, eva; Bulkley, K. E. (2010). Learning to Learn From Data: Benchmarks and Instructional Communities. Peabody Journal of Education, 85(2), 205–225.

Bowers, A. J., Shoho, A. R., Barnett, B. G., & Bowers, Alex J.; Shoho, Alan R.; Barnett, B. G. (2014). Using Data in Schools to Inform Leadership and Decision Making. Charlotte, NC.: IAP.

Calmann, P. R. (2010): Exploring the Underlying Traits of High Performing Schools. Toronto: EQAO Research

*Coburn, C. E., & Turner, E. O. (2011). Research on Data Use: A Framework and Analysis. Measurement: Interdisciplinary Research & Perspective, 9(4), 173–206.

*Copland, M. A. (2003). Leadership of Inquiry: Building and Sustaining Capacity for School Improvement. Educational Evaluation and Policy Analysis, 25(4), 375–395.

Cousins, J., & Leithwood, K. (1993). Enhancing knowledge utilization as a strategy for school improvement. Science Communication.

Davenport, T., & Prusak, L. (1998). Working knowledge: how organizations manage what they know. Working Knowledge: How Organizations 

*Earl, L., & Fullan, M. (2003). Using Data in Leadership for Learning. Cambridge Journal of Education, 33(3), 383–394.

*Earl, L., & Katz, S. (2002). Leading Schools in a Data Rich World. … International Handbook of Educational Leadership and …, 1–10.

*Farley-Ripple, E. N., & Buttram, J. L. (2014). Developing collaborative data use through professional learning communities: Early lessons from Delaware. Studies in Educational Evaluation, 42, 41–53.

Farley-Ripple, Elizabeth N.; Buttram, J. L. (2014). Schools’ use of interim data. Practices in classrooms, teams, and schools. In B. G. Bowers, Alex J.; Shoho, Alan R.; Barnett (Ed.), Using data in schools to inform leadership and decision making (pp. 39–66). IAP.

*Goff, P., Edward Guthrie, J., Goldring, E., Bickman, L., & Goff, P., Edward Guthrie, J., Goldring, E., & Bickman, L. (2014). Changing principals’ leadership through feedback and coaching. Journal of Educational Administration, 52(5), 682–704.

*Halverson, R. (2010). School Formative Feedback Systems. Peabody Journal of Education, 85(2), 130–146.

*Halverson, R., Grigg, J., Prichett, R., & Thomas, C. (2005). The New Instructional Leadership: Creating Data-Driven Instructional Systems in School. Journal of School Leadership, 17(2), 159–194.

*Halverson, R., Grigg, J., Prichett, R., & Thomas, C. (2007). The New Instructional Leadership: Creating Data-Driven Instructional Systems in School. Journal of School Leadership, 17(2), 159–194.

*Halverson, R., Prichett, R. B., & Watson, J. G. (2007). Formative Feedback Systems and the New Instructional Leadership.

*Hamilton, L., Halverson, R., Jackson, S. S., Mandinach, E., Supovitz, J. A., & Wayman, J. C. (2009). Using student achievement data to support instructional decision making. … : US. Department of Education

Hargreaves, A., & Fullan, M. (2012). Professional capital: Transforming teaching in every school.

Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational 

*Hess, F. M. (2009). The New Stupid: Limitations of Data-Driven Education Reform. Education Outlook. No. 1. American Enterprise Institute for Public Policy Research, (1), 1–4.

Hulvej, Morten; Jöhncke, S. (2015). The social life of evidence: rationalising professional practice in the welfare state. In K. M. Steffen, Vibeke; Jöhncke, Steffen; Raahauge (Ed.), Between magic and rationality: On the limits of reason in the morden world (1st ed., pp. 43–71). København: Museum Tusculanum Press.

Ideas into Action (2013-2014): Ideas into Action:  Using Data: Transforming Potential into Practice. Ontario Leadership Strategy Bulletin n 5, Winter 2013 - 2014

*Kerr, K. A., Marsh, J. A., Ikemoto, G. S., Darilek, H., & Barney, H. (2006). Strategies to Promote Data Use for Instructional Improvement: Actions, Outcomes, and Lessons from Three Urban Districts. American Journal of Education, 112(4), 496–520.

*Katz, S., & Dack, L. A. (2014). Towards a culture of inquiry for data use in schools: Breaking down professional learning barriers through intentional interruption. Studies in Educational Evaluation, 42, 35–40.

Kelley, C. & Modeste, M. (2015). Developing stronger Student-centeret Leadership. In Vaaben, Nana; Bjerg, Helle (Ed.), At lede efter læring. Samfundslitteratur, København.

*Koyama, J. (2014). Principals as "Bricoleurs": Making Sense and Making Do in an Era of Accountability. Educational Administration Quarterly, 50(2), 279–304.

Leithwood, K. & Louis, L.S. (2012): Linking Leadership to Student Learning. Jossey Bass. 

*Levin, J. A., & Datnow, A. (2012). The principal role in data-driven decision making: using case-study data to develop multi-mediator models of educational reform. School Effectiveness and School Improvement, 23(2), 179–201.

*Mandinach, E. B., & Gummer, E. S. (2013). A Systemic View of Implementing Data Literacy in Educator Preparation. Educational Researcher, 42(1), 30–37.

*Mandinach, E. B., Honey, M., & Light, D. (2006). A Theoretical Framework for Data-Driven Decision Making, 1–18.

*Marsh, J. a, Pane, J. F., & Hamilton, L. S. (2006). Making sense of data-driven decision making in education. Rand Education, 1–15.

*Marsh, J. A., & Farrell, C. C. (2015). How Leaders Can Support Teachers with Data-Driven Decision Making: A Framework for Understanding Capacity Building. Educational Management Administration & Leadership, 43(2), 269–289.

*Murray, J. (2014). Critical Issues Facing School Leaders Concerning Data-­Informed Decision-Making. Professional Educator, 38(1).

*Myran, S., & Clayton, J. K. (2011). The Tension between Accountability and Formatively: Implications for Educational Planning. Educational Planning, 20(2), 22–30.

*Park, V., & Datnow, A. (2009). Co-Constructing Distributed Leadership: District and School Connections in Data-Driven Decision-Making. School Leadership & Management, 29(5), 477–494.

* Park, V., Daly, A. J., & Guerra, A. W. (2013). Strategic Framing: How Leaders Craft the Meaning of Data Use for Equity and Learning. Educational Policy, 27(4), 645–675.

Piety, P. (2013). Assessing the Educational Data Movement. Technology, Education--Connections (TEC). Teachers College Press.

Pors, J. (2014): Støjende ledelse. Støjende styring - Genopfindelsen af folkeskolen mellem ledelse, organisering og læring. Frederiksberg: Nyt fra Samfundsvidenskaberne

Qvortrup, L. (2014). Datainformeret skoleledelse. Skolen i Morgen. Nr. 3. November 2014. 18. årgang. Tema: Ledelse af data (e-tidsskrift, pdf)

Randolph, J. (2009). A guide to writing the dissertation literature review. Practical Assessment, Research & Evaluation.

Robinson, V.; Hohepa, M. & Lloyd, C. (2009): School leadership and student outcomes: Identifying what works and why. Best Evidence Synthesis Iteration [BES] (s. 291). Wellington: Ministry of Education, Wellington, New Zealand.

Robinson, V. (2011): Student-Centered Leadership. San Francisco: Jossey-Bass.

*Ronka, D., Lachat, M. A., Slaughter, R., & Meltzer, J. (2008). Answering the Questions That Count. Educational Leadership, 66(4), 18–24.

*Schildkamp, K., Ehren, M., & Lai, M. K. (2012). Editorial article for the special issue on data-based decision making around the world: from policy to practice to results. School Effectiveness and School Improvement, 23(2), 123–131.

*Schildkamp, K., Karbautzki, L., & Vanhoof, J. (2013). Exploring data use practices around Europe: Identifying enablers and barriers. Studies in Educational Evaluation, 42(3), 15–24.

*Selwyn, N. (2011). “It’s All about Standardisation”--Exploring the Digital (Re)Configuration of School Management and Administration. Cambridge Journal of Education, 41(4), 473–488.

* Selwyn, N. (2015). Data entry: towards the critical study of digital data and education. Learning, Media and Technology, 40(1), 64-82. *Spillane, J. P. (2012). Data in Practice: Conceptualizing the Data-Based Decision-Making Phenomena. American Journal of Education, 118(February), 113–141.

Toode, K., Routasalo, P., & Suominen, T. (2011). Work motivation of nurses: a literature review. International Journal of Nursing Studies.

* Thornton, B., & Perreault, G. (2002). Becoming a data-based leader: An introduction. NASSP Bulletin, 86(630), 86-96.

* Timperley, H. (2008). Teacher Professional Learning and Development. Educational Practices Series-18. UNESCO International Bureau of Education.

*Wayman, J. C. (2005, July 16). Involving Teachers in Data-Driven Decision Making: Using Computer Data Systems to Support Teacher Inquiry and Reflection.

*Wayman, J. C., & Jimerson, J. B. (2014). Teacher needs for data-related professional learning. Studies in Educational Evaluation, 42, 25–34.

*Wayman, J. J. C., Jimerson, J. B. J., & Cho, V. (2012). Organizational considerations in establishing the Data-Informed District. School Effectiveness and School Improvement, 23(2), 159–178.

Wille, T. S. (2012). Vurdering for læring. In T. S. Andreasen, Rune; Bjerresgaard, Helle, Bråten, Ivar; Hattie, John; Hermansen, Mads; Hopfenbeck, Therese Nerheim; Kirkegaard, Preben Olund; Madsen, Claus; Timperley, Helen; Weinstein, Claire Ellen; WIlle (Ed.), Feedback og vurdering for læring (pp. 59–80). Frederikshavn: Dafolo.

*Young, V. M. (2006). Teachers’ Use of Data: Loose Coupling, Agenda Setting, and Team Norms. American Journal of Education.

 

Rapporter

×        EVA. (2015). Ledelse tæt på undervisning og læring.

×        EVA. (2014). Et bevidst blik på alle elevers læring. København.

×        KL. (2015). Brugerportalsinitiativet. København.

×        Matzen, J. (2015). Børn med en fremtid. Weekendavisen, 27.02.2015, pp. 1–2.

×        OECD. (2013). Leadership for 21st Century Learning.

×        UVM. (2015). Ledelse af den nye folkeskole.

×        UVM. (2015b). Ledelse af videns- og resultatbaseret udvikling af skolens undervisning.
http://www.uvm.dk/~/media/UVM/Filer/Folkeskolereformhjemmeside/2014/Okto... Ledelse af videns og resultatbaseret udvikling af skolens undervisning.pdf
 

Appendix

Søgningen i første fase blev lavet i følgende databaser (med samlet adgang gennem ebsco.com):
 

Academic Search Elite
Indeholder artikler i fuldtekst fra ca. 2.000 tidsskrifter indenfor alle fagområder.
 

British Education Index
British Education Index indeholder referencer til artikler indenfor undervisning/uddannelse fra tidsskrifter, rapporter, bøger, konferencepapirer publiceret i England.
 

Education Research Complete
Databasen giver adgang til artikler i en af verdens mest komplette samlinger af pædagogiske tidsskrifter fuldtekst.
 

ERIC
ERIC indeholder litteratur indenfor emnerne pædagogik, uddannelse og tilstødende fagområder.

SocIndex
Databasen SocIndex dækker sociologi og andre relaterede subdiscipliner fx socialt arbejde, social psykologi, kønsstudier, abort, misbrug, kriminologi m.fl.

Teacher Reference Center
Basen tilbyder indeksering og abstracts fra mere end 270 lærer- og administrationstidsskrifter, der kan understøtte den professionelle underviser.

 

Søgeord

Første søgning indeholdt følgende ord/kombinationer af ord:

1. "use of data" AND "data literacy"

2. "using data" AND "data literacy"

3. "data use" AND "data literacy"

4. "use of data" AND "school effectiveness"

5. "data use" AND "formative assessment"

6. "data use" AND "school effectiveness"

7. "using data" AND "school effectiveness"

8. "using data" AND "formative assessment"

9. "use of data" AND "formative assessment"

10. "accountability AND leadership"

11. "data use" AND "quality control"

12. "data use" AND "feedback"

13. “using data" AND "quality control"

14. "use of data" AND "feedback"

15. "data use" AND "organizational development”

16. "data use" AND "education research"

17. "use of data" AND "education research"

18. "using data" AND "organizational development"

19. "data use"

20. "use of data"

21. "using data" AND "education research"

22. "Using data"

23. "data use" AND "education research"

24. "data use" AND "organizational development



 

 

 


[1] Brugerportalsinitiativet er en del af digitaliseringen af skolen. Formålet med dette projekt, som baseres på en aftalen mellem Regeringen og KL fra 2014, er blandt andet at sikre, at ”både elever, forældre, pædagogisk personale og skoleledelser oplever en sammenhængende it-understøttelse af elevernes læringsproces…”, herunder både afvikle og tilgå resultater af test (KL 2015).

[2] Fx professionel dømmekraft, som udfordres af data-drevet ledelse (jf. Hess 2009)

[3] I Norge taler man om ’vurdering’, som den proces hvor lærer og elev samarbejder om en løbende evaluering af elevens udvikling, som både informerer lærerens udvikling af undervisningen og elevens strategi for egen læring (Wille i Andreasen et.al. 2013, Roald 2012).

[4] Her bruges ’professionel læring’ synonymt med en række andre begreber, herunder navneord som ’professional learning’, ’organizational learning’, ’collective learning’ samt betegnelser, der bruges til at beskrive horisontale eller tværgående og organiske læringsrum, fx ’learning communities’, ’learning organizations’ og ’learning environments’.

[5] Se Copland (2014) vedrørende de professionelles kollektive tilgang til ekstern krav.

[6] Se Copland 2003 for et procesperspektiv på kompetenceniveauer for brug af data.

[7] Det er samtidig værd at bemærke, at der synes at være en sammenhæng mellem graden af autonomi for skolen og brug af data. Et sammenlignende studie (Schildkamp, Karbautzki og Vanhoof 2013) viser, at skoler med stor autonomi træffer flere beslutninger og derfor har mere brug for data end lande, hvor beslutninger træffes centralt. Det er ifølge Schildkamp, Karbautzki og Vanhoof én af forklaringerne på at England, hvor skolerne har autonomi, har en stærkere tradition for brug af data end man har i fx Tyskland.

 

Pædagogisk leder på Ny Frederiksberg Skole

E: hebj02@frederiksberg.dk

Ph.d-stipendiat på CBS/UCC

E: lahn@ucc.dk