L’impatto, un concetto complesso. Il risultato dell’attività di monitoraggio e valutazione è chiaramente e direttamente apprezzabile quando riguarda aspetti operativi: attività e output realizzati, beneficiari raggiunti, conseguenze immediate e visibili di un progetto appena concluso. Questi dati, che si ricavano soprattutto attraverso l’attività di monitoraggio, sono anche i più importanti per chi realizza un progetto, che è chiamato a risponderne direttamente.
È, invece, più complesso rispondere a domande più ampie e strategiche, tipiche dell’attività di valutazione: qual è stato (e quale sarà) l’impatto del progetto? Il progetto ha raggiunto il suo fine ultimo, ovvero il suo obiettivo generale? Ha prodotto il cambiamento che si prefiggeva quando è stato elaborato?
Per rispondere a queste domande con elementi oggettivi occorrere raccogliere dati in un periodo successivo alla conclusione del progetto e utilizzare risorse che possono andare al di là di quanto è messo a disposizione nell’ambito di un singolo progetto europeo.
Inoltre, l’impatto è un concetto complesso dal punto di vista concettuale e statistico-matematico, perché molti fattori contribuiscono a realizzarlo: non è facile “isolare” il contributo del progetto da una pluralità di altri fattori concomitanti. Ad esempio: quanto sono apprezzabili su una comunità gli effetti di un progetto di riduzione della povertà, e come isolarli da una pluralità di altri fattori (positivi o negativi) quali gli effetti della congiuntura economica, delle politiche industriali, di altri progetti paralleli, dell’iniziativa dei membri della comunità?
La misura dell’impatto resta tuttavia una preoccupazione legittima: l’impatto è parte integrante della logica del progetto e del suo quadro di monitoraggio e valutazione; è il punto di partenza e di arrivo per chiunque realizzi o finanzi un progetto; è ciò che definisce nei termini più ampi l’effettivo successo del progetto.
Anche in questo caso, la trattazione che segue non ha pretese di rigore scientifico né di esaustività, ma si propone di tradurre il concetto di “impatto” in alcuni spunti che possano risultare “alla portata” di chi realizza un progetto europeo.
L’impatto come analisi controfattuale. L’analisi controfattuale definisce l’impatto come la differenza tra dati rilevati alla fine di un intervento (dati “fattuali”) e dati rilevati in una situazione caratterizzata da assenza di intervento (dati “controfattuali”). Si tratta dell’approccio più “scientifico” alla valutazione d’impatto: viene infatti utilizzato nella ricerca medica, che confronta gruppi “soggetti a trattamento” con gruppi “di controllo”.
Questo approccio è difficilmente utilizzabile in ambito sociale, in quanto presuppone:
- L’esistenza di indicatori verificabili in modo univoco con strumenti analitici, dotati di un nesso altrettanto verificabile e univoco con la dimensione che intendono misurare.
- La possibilità di identificare un “gruppo di controllo” con caratteristiche e dinamiche pienamente comparabili con quelle del gruppo-target del progetto.
Si tratta di condizioni non semplici per molti progetti che riguardano aspetti “umani” e sociali, in cui:
- La correlazione tra i dati e fenomeno misurato può essere più o meno forte, ma è difficilmente univoca e dipende dall’intervento di più fattori.
- Le situazioni di gruppi e comunità sono molto varie, complesse e (ad un’analisi approfondita) difficilmente comparabili.
Nonostante i suoi limiti, l’analisi controfattuale resta un utile “riferimento ideale” per misurare l’impatto.
L’impatto come cambiamento di un trend. L’analisi controfattuale può essere utilizzata in forma attenuata definendo l’impatto in termini più semplici e generali, come “capacità di produrre un cambiamento di traiettoria” in un trend o in un fenomeno.
Pur in modo non totalmente quantitativo e scientifico, l’analisi dei dati del progetto rispetto ad alcuni trend di riferimento fornisce una misura del suo impatto, ovvero di quanto il progetto ha saputo “cambiare” un trend esistente. Questo tipo di analisi è riconducibile in termini più formali al metodo “difference in differences”, che analizza la doppia variazione di una variabile: nel tempo (prima, dopo, ex-post”) e tra soggetti (destinatari e non).
Questo metodo può essere applicato con un maggiore o minore grado di complessità e rigore a seconda delle ambizioni e delle risorse disponibili. Può risultare applicabile:
- Circoscrivendo l’ambito del fenomeno che si intende misurare a ciò cui il progetto ha contribuito più fortemente e direttamente (per aumentare il livello di correlazione tra indicatore e obiettivo misurato);
- Comparando l’evoluzione registrata dai dati di progetto rispetto a punti di riferimento il più possibile “vicini” alla popolazione-target del progetto (situazione “quasi controfattuale”);
- Coniugando tra loro, se possibile, riferimenti di comparazione diversi e complementari (o “triangolando” dati e punti di vista diversi per aumentare l’attendibilità dei risultati);
- Includendo nell’analisi, se possibile, più momenti di misurazione (per definire un trend), incluse misurazioni di “di follow-up” (ad esempio dopo uno, due o tre anni dalla conclusione del progetto);
- Accompagnando l’analisi con una valutazione dei fattori (positivi o negativi) che possono aver influito su dati e “trend” del progetto e dei riferimenti utilizzati.
Ad esempio, su un progetto dedicato all’inserimento lavorativo per giovani in fascia d’età 15-24, residenti in un territorio urbano soggetto a problemi sociali, si possono comparare le variazioni dei dati occupazionali dei giovani in fascia d’età 15-24 registrate:
- Dal progetto sui suoi beneficiari (baseline vs dato finale: dato “fattuale”).
- Nell’area d’intervento del progetto (o in un altro territorio urbano soggetto a problemi sociali), nello stesso periodo (dato “quasi controfattuale”).
In coda all’esempio di Quadro di monitoraggio e valutazione viene fornito un esempio più dettagliato e specifico.
La scelta del metro di comparazione (o l’utilizzo contemporaneo di più riferimenti di comparazione) può variare in funzione della disponibilità di dati. Le differenze tra “dato fattuale” e “dato quasi controfattuale” possono essere analizzate (ed eventualmente ponderate, o corrette) alla luce di altri fattori e variabili che possono aver inciso sulle due popolazioni di riferimento:
- Fattori positivi – ad esempio, risultati positivi ottenuti da iniziative parallele presenti sul territorio (es. corsi professionalizzanti, sostegno a tirocini, strumenti di “matching” tra domanda e offerta di lavoro…).
- Fattori negativi – ad esempio, difficoltà congiunturali delle imprese sul territorio o peggioramento di condizioni abilitanti (es. diminuzione delle risorse destinate dalle amministrazioni pubbliche ad educazione o assistenza sociale).
La Teoria del Cambiamento può essere d’ausilio in questa attività di ponderazione, in quanto prevede una “mappatura” di tutte le condizioni necessarie a realizzare un cambiamento desiderato.
L’impatto come “storie” di cambiamento. Quanto illustrato finora segue uno schema logico e strutturato, più o meno quantitativo, basato sul concetto di “misura” del cambiamento realizzato rispetto a quanto il progetto si propone.
In alcuni progetti questo schema può risultare complesso o non sufficiente ad illustrare in modo corretto e completo cambiamenti di tipo qualitativo, fenomeni inattesi ed effetti non definiti nelle metriche iniziali. Per questo motivo, esistono metodi di misura dell’impatto più ampi, qualitativi o svincolati dal concetto di misura rispetto ad “obiettivi” iniziali (es. valutazione “goal-free”).
Anche in questo caso, una trattazione del tema completa, esaustiva e rigorosa va oltre le ambizioni di questa Guida. È tuttavia importante attirare l’attenzione sull’importanza di aspetti qualitativi e meno strutturati nella misura dell’impatto di un progetto.
In termini operativi, questo significa porsi le seguenti domande: come è cambiata la vita dei beneficiari (o delle organizzazioni beneficiarie) in seguito al progetto? Che ruolo ha avuto il progetto nella loro evoluzione, nella loro “storia” e nella loro esperienza individuale? Nella percezione dei beneficiari (o delle organizzazioni beneficiarie), come sarebbe stata la loro vita e quale sarebbe stata la loro storia senza l’intervento del progetto? Queste piccole “storie” individuali sono in grado di produrre a loro volta nuove piccole e suggestive “storie di cambiamento”? Attraverso “storie” e punti di vista individuali è possibile tracciare una linea che identifichi i parametri di successo del progetto e le sue debolezze?
Le “storie” possono essere raccolte e valutate attraverso vari metodi di analisi qualitativa, già citati nei precedenti paragrafi: interviste e focus group; redazione di casi di studio e indagini narrative; metodi più specifici, quali il “most significant change” e i sistemi di analisi e rappresentazione grafica di trend e cambiamenti qualitativi.Questo tipo di analisi adotta un approccio empirico basato sulla “induzione”, ovvero sulla formulazione di conclusioni di carattere generale a partire da casi particolari. Non va considerata un “piano B” rispetto ad altre metodologie, in quanto può essere in grado di cogliere elementi diversi, più profondi o quantomeno complementari rispetto a sistemi di analisi più strutturati.
Un’analisi attraverso “storie” di vario tipo permette inoltre di elaborare materiale di comunicazione e disseminazione interessante e fruibile da un’ampia platea di specialisti (in virtù della sua profondità di analisi), da partner e stakeholder (che possono a loro volta farlo proprio e diffonderlo) e dal pubblico più ampio di non addetti ai lavori.
Questi aspetti sono rilevanti ed apprezzati nell’ambito dei progetti europei. La reportistica e la comunicazione sono aspetti tra loro collegati, che rispondono a un comune obiettivo di responsabilità e trasparenza (accountability) nei confronti delle istituzioni, dei cittadini e della propria comunità di riferimento.
Approfondire concetti e approcci sull’impatto. Per chi desiderasse affrontare le metodologie di misura e gestione dell’impatto da un punto di vista alternativo e complementare, consigliamo un’ampia rassegna di guide e strumenti prodotti da organizzazioni specializzate del settore dell’impact investing, cui abbiamo dedicato un apposito approfondimento.
L’impact investing è caratterizzato da una mobilitazione metodica e consapevole delle risorse per il raggiungimento di un impatto misurabile in ambiti in cui ve ne è carenza (principi di intenzionalità, misurabilità e addizionalità). Pur non avendo un focus specifico sull’ambito d’intervento della nostra Guida, le guide e gli strumenti proposti hanno punti in comune con quanto descritto in questo capitolo e possono fornire spunti addizionali per la misura e la gestione dell’impatto nei progetti europei.
Segnaliamo ancora due guide dedicate alla valutazione dei progetti. Non sono recenti e provengono da ambiti particolari, ma possono fornire indicazioni interessanti a chi lavora con i progetti europei.
1. Una guida sviluppata nell’ambito di CIVITAS, iniziativa dell’Unione europea dedicata alla mobilità urbana. Pur con esempi dedicati al settore specifico, fornisce una trattazione molto chiara, completa e generale del tema della valutazione di progetti e programmi.
2. Un manuale “user friendly” per la valutazione dei progetti sviluppato in ambito americano (agenzia governativa National Science Foundation), che ha un approccio sistematico, completo e scientifico al tema della valutazione dei progetti.