Definitioner

Eftersom Andante arbetar med utvärdering och eftersom utvärdering är mitt speciella forskningsområde börjar jag med att definiera utvärdering.

Edward Suchman skrev den första större boken om utvärdering och han definierade det så här: ”For the present, we may simply indicate the range of variation by defining evaluation as the detemination (whether based on opinions, records, subjective or objective data) of the results (whether desirable,or undesirable, permanent or transient, immediate or delayed) attained by some activity (whether a program, or part of a program, a drug or a therapy, an ongoing or a one-shot approach) designed to accomplish some values goal or objective (whether ultimate, intermediate, or immediate, effort of performance, long or short range) … The scientific method with its accompanying research techniques then provide the most promising means for determining the relationship of the stimulus to the objective in terms of measurable critera.”

1970 skrev Wholey et all om utvärdering: ”evaluation relies on the principles of research design to distinguish a program’s effect from those other forces working in a situation. Rossi och Wright (1977)  instämde med att ”The crucial distinction between evaluation and other ways of judging the utility of  public policy and other assocuated programs is that it draws upon the research techniques of the social sciences.”

Till skillnad från de ovanstående är det några författare som betonat att utvärdering handlar om att värdera sådant som redan skett; såsom Weiss (1972). ”The purpose of evaluation research is to measure the effects of a program against the goals it set out to accomplish”. Andra menar att utvärdering som metod även kan avse sådant som kommer att hända (man talar om export och ex ante utvärdering (för det senare, se United Nations, 1977, och UNIDO, 1978.

På ett mycket behändigt och pragmatiskt sätt definierade Rossi, Freeman och Wright (1979) utvärdering med att det är vad man gör när man besvarar utvärderingsfrågor. Sådana finns det fyra sorter av: (1) frågor om projektplanering, (2) frågor om genomförande, (3) frågor om effekter, samt (4) frågor om effektivitet. Det är en definition som betonar processen, emn som lämnar det vetenskapliga därhän.

Den vanligaste definitionen idag är enkel och skär över de flesta gränser i debatten – inte minst för att det är en kompromiss som de flesta forskare och praktiker inom utvärdering kan enas om:

Evaluation is the systematic inquiry into the worth or merit of an object. 

Den återfinns i The Programme Evaluation Standards (1994) och det är den definition som används rakt igenom i den här skriften.

Men det finns också en förståelse för begreppet som baseras på sunt förnuft (det ena utesluter inte det andra). Enlig Nationalencyklopediens Ordbok innebär  ”utvärdera” att: ”(noggrant) bedöma värdet (resultatet) av ny verksamhet”. Det anges ha förekommit på svenska sedan 1954, så det är ett nytt fenomen. Ordboken hänvisar även till ordet ”evaluera”, med samma betydelse, och som härrör från franska ”évaluer”, med betydelsen ”skatta, värdera”. Motsvarande engelska begrepp är ”evaluate”

Även om Ordboken antyder att man bara utvärderat sedan 1954 är det ju självklart att människor noggrant bedömt värde mycket längre än så. Hur länge? Vill man anlägga ett kort perspektiv kan man gå tillbaka till Bibeln och första Mosebok. Där beskrivs en tidig utvärderingsprocess mycket tydligt: ”…och Gud såg på allt som han hade gjort, och se, det var mycket gott.” Citatet belyser kärnan i utvärdering, själva den värderande bedömningen. Visserligen är det sällan en utvärdering kommer fram till att något är enbart och odelat bra, men det kan ju hända. Dessutom är observation ett bra exempel på utvärderingsmetod.

I ett längre tidsperspektiv än det bibliska kan det vara värt att reflektera över att våra förfäder som förfinade stenbitar till spjutspetsat och yxor, vävde fångstnät, lärde sig om rötter, bär och svampar, m.m. även var pionjärer vad gäller utvärdering.  I  deras hjärnor bör det ha förekommit processer som liknar utvärdering när de tänkte: ”Det här är bra, det fungerar, det här måste provas, det blir kanske bättre med ….”  Sådana tankar är kärnan i vad utvärdering handlar om.

Som citaten visar har utvärdering ett dubbelt arv; dels som ett förvaltningsekonomiskt och modernt begrepp, och dels som en självklar prövande och värderande verksamhet som människor alltid ägnat sig åt. Som begreppsdefinitionerna i box 1 visar är det framförallt två aspekter som bör betonas, och som också reflekterar arvet.

Det ena är det vetenskapliga; utvärderingen görs systematiskt, dvs. med vetenskapliga metoder. Definitionen i ordboken anger att utvärdering ska vara noggrann, och det kan utsträckas till att den ska vara vetenskaplig. Det är genom att arbeta systematiskt, med öppen dataredovisning, och med klar beskrivning av hur man avgör värde, som det blir noggrant, och därmed också vetenskapligt. 

Det andra är att utvärdering faktiskt ska vara värderande; det handlar om att bedöma värde. Värde skall här förstås inte bara någonting som mäts i pengar. Värde kan också vara upplevt, ett psykologiskt fenomen. En utvärdering kan bedöma någots värde med hjälp av kvalitativa forskningsmetoder; ibland går det att översätta till pengar men för det mesta inte.

Utvärdering är alltså en systematisk undersökning av någontings värde. Vad är då någonting? Kan det vara vad som helst? I princip ja, visserligen har utvärdering ofta handlat om bedömningar av projekt och program, ibland om organisationer, i vissa fall om policy, eller kanske om kurser, eller någonting annat. Det viktiga är att förstå ”någonting” (”object” i den engelska definitionen) i dess grammatiska bemärkelse, dvs. någonting som specificeras ytterligare i sitt sammanhang, och som kan vara i stort sett vad som helst. 

En definition anger vad någonting är, och vad det inte är, samt vad det inte behöver vara. Att utvärdera är en process, och substantivet utvärdering avser en process. Det avser inte en rapport. Många gånger är det bekvämt och bra att skriva en rapport för att föra fram utvärderingens budskap, men det är inte rapporten som är utvärderingen. Man kan också välja att sprida utvärderingens slutsatser genom muntliga framställningar, med hjälp av bilder (foto, film, bildspel) eller med dramatisering. Om man väljer att skriva en rapport kan den se ut på många sätt, och det behöver inte vara en torr och tråkig byråkratisk produkt. Det är i regel bättre om den inte  är det (torr och tråkig).