Når en Fiat 500 er bedre end en Ferrari

Evaluering af erhvervsfremme. Hvor mange vil umiddelbart acceptere påstanden “En Fiat 500 er en bedre bil end en Ferrari”? Vel nok de færreste. Men hvis vi nu siger, at kriterierne er ‘billig anskaffelse’, ‘let at manøvrere i bykørsel’ og ‘let at skaffe reservedele til’, er det nok en anden sag. Denne analogi kan overføres til de igangværende evalueringer af den regionale vækstindsats.

Regionerne og Erhvervsstyrelsen har sammen iværksat en samlet evalueringsindsats af alle regionale erhvervsfremmeprojekter, der tilsammen har et budget på omkring 6 milliarder kroner de næste fem år (se mere her). Det bliver til op mod 500 evalueringer, som af ressourcemæssige hensyn hver især har et ydmygt evalueringsbudget på under 40.000 kroner per evaluering (cirka 10-20% af en almindelig evaluering). Det har fået enkelte projektejere til at stille spørgsmålstegn ved anvendeligheden af disse mini-evalueringer. Få går skridtet videre og kalder dem “spild af tid” sammenlignet med en standardevaluering eller måske ligefrem med følgeforskning af projektet. Men det forholder sig, vil jeg argumentere, lige omvendt – her giver det faktisk mening af sætte sig bag rettet af en Fiat 500.

Evalueringsindsatsen har to centrale formål: 1) at skabe grundlag for en systematisk og tværregional erfaringsopsamling fra projekterne; og 2) at sikre en professionel porteføljestyring bl.a. gennem løbende evalueringer. Begge dele kræver, at alle indsatser evalueres af ét evalueringshold og med én metodisk tilgang.

I de forgangne fem år har der været forskellige tilgange til evalueringer i regionerne. Forskellige projekter og programmer er evalueret af forskellige evaluatorer med forskellige metoder, vinklinger og vurderinger. Der har været gennemført adskillige glimrende evalueringer og gjort mange interessante observationer, men svagheden er indlysende: Læring er kun sporadisk og usystematisk bragt på tværs af regionsgrænser, fordi evaluator og evalueringsdesign har været forskellige fra gang til gang. En evaluering af samtlige projekter muliggør nu, at der kan tilvejebringes mere solide erfaringer om ‘good practices’ i gennemførelsen af erhvervsfremmeprojekter.

Skulle alle projekter have et mere typisk evalueringsbudget (300-400.000 kroner), ville de samlede evalueringsudgifter beløbe sig til op mod 100 millioner. Dette ville vel at mærke være penge, der ellers kunne være brugt på vækstrettede aktiviteter for virksomhederne. Alternativt kunne man have udvalgt f.eks. en fjerdedel af projekterne til en mere almindelig evaluering, men dette ville groft underminere de to formål med erfaringsopsamling og porteføljestyring.

Det kan meget vel være, at rapporterne fra disse mini-evalueringer vil blive dækket af et støvlag af samme tykkelse som en almindelig evaluering. Men forskellen er, at centrale observationer vil blive samlet op, sammenlignet og lagt i en stor, fælles skattekiste af læring og viden om regional erhvervsudvikling.

Endelig skal man huske på, at alternativet til en “Fiat 500-evaluering” ikke nødvendigvis er en Ferrari eller for den sags skyld en Skoda Octavia, men ingen evaluering overhovedet. Dette ville som nævnt svække mulighederne for regionernes porteføljestyring og den fælles læringsopsamling, men det ville samtidig være et tab for de mange projektholdere. Valget af en Fiat 500 giver os mulighed for at køre forbi samtlige projekter i regionernes porteføljer og samle værdifuld læring op på vejen. Derudover skal man ikke undervurdere den praktiske effekt af anledningen, som en (lille) evaluering giver, til selvrefleksion fra projektholder, mulighed for kritiske og konstruktive input fra projektets målgruppe samt nye perspektiver fra en ekstern evaluator. Vi oplever gang på gang, hvordan disse mini-evalueringer skaber værdi og bidrager til at styrke projektets forudsætninger for effektskabelse til gavne for virksomhederne og den regionale vækst.

Blogindlægget er skrevet af:

MAWL, foto

 

Martin Aage Welzel
Projektleder for evaluering af den regionale vækstindsats

 

Husk at følge vores blog om Regional Vækst ved at trykke ‘Follow’ i nederste højre hjørne af skærmen!

Alle synspunkter udtrykt i blogindlægget står alene for bloggerens egen regning og altså ikke udtryk for holdninger hos hverken COWI A/S eller hos opdragsgiverne for Evaluering af den regionale vækstindsats.

Reklamer
Mere effekt for pengene

Evaluering: Mere effekt for pengene!

Blogindlægget blev oprindeligt bragt som ‘kommentar’ af Jakob Dybdahl Christensen i DJØF-bladet Nr 1, Januar 2016, som kan ses her.

Hvert år bliver budgetterne mindre og kravene større i det offentlige. Samtidig er det mere vigtig end nogensinde, at vide om en indsats har nyttet. Det offentlige skal turde tænke både stort, standardiseret og på tværs af myndigheder, når der skal effektmåles og evalueres, for at få den ligning til at gå op. Her er der vigtig inspiration at hente fra den nye samlede evaluering af den regionale vækstindsats frem til 2020, der omfatter op mod 300 initiativer og har 7 myndigheder som opdragsgiver.

Der bruges årligt et stort milliardbeløb på allehånde indsatser inden for velfærd, sundhed, uddannelse & forskning, erhvervsstøtte etc. Og indsatserne er fulgt op af gode intentioner om at måle, veje og effektvurdere… eller følge op på om man bare i det mindste er blevet lidt klogere. Det holder en konstant mængde af projektejere, embedsmænd og konsulenter i sving med at lave evalueringsdesign, indsamle data og komme med anbefalinger om “forandringsteorier” og “spredningsstrategier” og andet godt.

Evaluér – men gør det effektivt

Lad det være sagt med det samme – det er en rigtig god ide at drive politik og gennemføre initiativer på et oplyst grundlag. Og selvom tillid kan være billigere end kontrol – så er det svært at komme uden om lidt ekstern opmærksomhed, som et bidrag til at komme i land med målsætningerne. Så evaluering skal der til!

Men når budgetterne strammer til og det ikke afspejles i en tilsvarende tilpasning af målsætningerne– så skal det samme klares for mindre. Og hvad enten det er i sundhedssektoren eller i en evaluering – så er kvaliteten tit det første offer. Skal man skabe et solidt vidensgrundlag, må man derfor gå nye veje. Én vej er i højere grad at analysere eksisterende data (eksisterende statistik etc.), men en anden og langt mere oplagt vej er standardisering af ydelser og stordrift.

Fordele og ulemper

For det første er der helt åbenlyse økonomiske fordele. COWIs erfaring med mere end 400 enkeltstående evalueringer inden for vækst- og erhvervsfremme, er, at udgifter til evaluering kan skæres ned til en fjerde- eller femtedel af det normale budget for en sådan opgave. For det andet giver det adgang til tværgående viden af en kvalitet, som ikke kan trækkes ud af nogen statistik eller database. Klassiske metodiske udfordringer og usikkerhed ved at tilskrive effekter til konkrete indsatser kan endvidere reduceres betydeligt. Samtidig åbnes der mulighed for at foretage korrigerende handlinger, hvis en indsats implementeres uhensigtsmæssigt ift. sine mål. Alt sammen fordi der anvendes “live data” i form af interview eller survey. Ulemperne knyttet til disse små standardiserede evalueringer i modsætning til en “fuld version” er, at detaljer går tabt. Er der tale om initiativer med stor bevågenhed, vil der typisk også være behov for at interviewe en større gruppe interessenter og tid til mere proces.

Se lighedstræk og bundt

Verden er kompleks, og det gælder også for projekter og indsatser. Men når der ses nærmere på “projekters anatomi” er det klart, at de alle bør dele en række fællestræk – og dette er det oplagte omdrejningspunkt for standardisering. Når projekter brydes op i først de konkrete aktiviteter, dernæst det umiddelbare resultat af disse aktiviteter og endelig de forventede effekter – så er grundlaget for en standardiseret tilgang til evaluering lagt.

Men for at standardiseringen rigtig skal give mening, skal det kunne bruges på et større antal projekter og initiativer. Frem for spredte små analyser, skal evalueringerne kunne “bundtes” – og her er det helt oplagt, at projekterne sorteres efter et vist sammenfald af indikatorer for målopnåelse – det kan f.eks. være socialt, miljømæssigt eller socioøkonomisk.

Tilgangen til porteføljeevalueringer er altså velafprøvet og med gode resultater – så hvis modet ellers er tilstede i forhold til at reducere kompleksitet – så er der mange sektorområder, hvor man sagtens kan få meget mere både indsigt og effekt for pengene.

Blogindlægget er skrevet af:
JDCR

 

Jakob Dybdahl Christensen
Chief Market Manager, COWI

 

Husk at følge vores blog om Regional Vækst ved at trykke ‘Follow’/’Følg’ i nederste højre hjørne af skærmen!

Så er vi i luften med evaluering af den regionale vækstindsats

COWI skal over de næste fem år rådgive og evaluere op mod 300 offentligt støttede vækstskabende initiativer. Målet er at påvise evidens for effekten af de enkelte projekter og sikre tværgående læring, der kan styrke vækstindsatsen fremadrettet.

​Hvordan skaber vi regional vækst? Det er hovedspørgsmålet i det ambitiøse rådgivnings- og evalueringsprojekt, som Erhvervsstyrelsen sammen med de fem danske regioner og Bornholms Regionskommune netop har iværksat.

COWI skal stå i spidsen for projektet, der konkret skal afdække effekten af de cirka tre milliarder kroner fra EU’s strukturfonde, som i perioden 2014-2020 tildeles en lang række danske regionale initiativer inden for blandt andet grøn omstilling, iværksætteri, klyngedannelse, samarbejde mellem erhvervsliv og vidensinstitutioner, kompetenceudvikling og teknologidreven udvikling.

Endvidere skal evalueringsindsatsen skabe tværgående viden og læring, som kan optimere de enkelte initiativer såvel som hele den danske regionale vækstindsats fremadrettet.

Læring på tværs af projekter

Jakob Dybdal Christensen, senior markedsleder i COWIs økonomi-, management-, og planlægningsdivision ser meget frem til at gå i gang med opgaven. Han fortæller:

“Oftest har disse typer af evalueringer foregået inden for det enkelte projekt. Imidlertid har vi rigtigt gode erfaringer med at rådgive og evaluere på tværs af projekter ud fra et standardiseret koncept, vi har udviklet. Det sikrer muligheder for at sammenligne og udvikle viden og best practices, som ultimativt betyder, at projekterne har en større chance for at blive en succes – og dermed skabe en øget vækst og beskæftigelse i de danske regioner.”

“En anden afgørende forskel i forhold til mere traditionelle evalueringer er, at vi er ‘ude i marken’ hos alle de enkelte projektejere, både ved opstart og undervejs i forløbet. Det sikrer, at vi er helt tæt på processen, og på den baggrund kan have en dialog om, hvordan projektet eventuelt kan forbedres.”

Processen i step

  1. COWI mødes ved projektets opstart med de enkelte projektledere og –ejere, hvor projektets delelementer gennemgås med henblik på at sikre sammenhæng mellem målene om vækst/beskæftigelse og projektets tilrettelæggelse. Som led i dette stiller COWI et nyudviklet digitalt hjælpeværktøj til rådighed. Værktøjet rummer konkrete erfaringer og anbefalinger fra 170 tidligere vækstinitiativer, som COWI har evalueret.
  2. Herefter gennemfører COWI midtvejs- og slutevalueringer af de mange indsatser. COWI gennemfører i denne sammenhæng, med samtlige projektledere, et stort antal interviews med projekternes partnere og deltagere samt e-surveys blandt de enkelte projekters interessenter. Formålet er at vurdere, hvordan de enkelte projekter kan optimeres, uddrage læring og ikke mindst undersøge, hvorvidt projekterne reelt bidrager til vækst og beskæftigelse.
  3. I løbet af projektperioden vil COWI gennemføre forskellige videndelingsaktiviteter på tværs af indsatsområder og landsdele. Det vil bl.a. være i form af temaanalyser, workshops etc.