Abitare la complessità: perché abbiamo bisogno di un approccio radicalmente nuovo alla valutazione

La valutazione dei risultati e la sua più recente evoluzione – la valutazione dell’impatto generato – hanno preso la scena da diversi anni ormai anche nel Terzo Settore. Il fatto è molto positivo, perché sulla valutazione si gioca una parte importante del nostro futuro, dal Piano nazionale di ripresa e resilienza (PNRR) alla Cooperazione Internazionale.

Tuttavia la cultura dominante, nel profit come nel non profit, nelle istituzioni pubbliche come nei donatori, è ancora fondamentalmente rinchiusa in una visione della valutazione burocratica, schiacciata sul presente e sul breve termine, estremamente autoreferenziale, essenzialmente basata sulla sfiducia reciproca (fra donatori ed ETS, fra personale della Pubblica Amministrazione assunto e politici eletti, fra ETS e aziende, fra Istituzioni e cittadini ecc.) e sulla fede cieca nell’azione in quanto tale.

La visione dominante della valutazione

Consapevole del fatto che sto generalizzando per semplicità, potrei sintetizzare la visione dominante così:

• è uno strumento di controllo del rispetto di regole e linee guida;
• si concentra sostanzialmente sull’efficienza, e quindi sulle attività svolte, sul costo delle attività e sui prodotti o servizi erogati grazie a tali attività; che cosa abbiamo cambiato effettivamente nella vita delle persone e quanto questi cambiamenti saranno a loro volta generativi, non è quasi mai dato sapersi;
• rappresenta uno dei documenti obbligatori da allegare alla rendicontazione economica dei progetti;
• non se ne capisce veramente il senso, poiché dei report di valutazione, una volta completati/consegnati, non se ne fa nulla nessuno, non guidano i futuri programmi o politiche (e in molti casi è meglio così, viste le ragioni che segnalerò qui di seguito) e quindi vengono vissuti per lo più come una scocciatura inevitabile;
• ogni referente, che sia politico o della filantropia privata, chiede indicatori di valutazione dei risultati/dell’impatto differenti, a volte da scegliere fra un set predefinito, altre volte con la richiesta vincolante che provengano da elenchi riconosciuti a livello internazionale; con la conseguenza che gli ETS devono ogni volta costruire sistemi di Monitoraggio e Valutazione diversi, che peraltro cambiano anche rapidamente negli anni;
• i modelli e i sistemi di valutazione nello stesso ambito  (per esempio l’inclusione lavorativa di soggetti vulnerabili) sono differenti a seconda di chi finanzia/promuove i relativi interventi, con il risultato che non è possibile comparare gli interventi e la loro reale efficacia, benché spesso agiscano sulle stesse tipologie di soggetti e negli stessi territori;
• poiché le Linee Guida ministeriali su Bilancio e Impatto sociale chiedono espressamente di rendicontare i risultati a più livelli, la maggior parte degli ETS si trova per di più di fronte alla sfida di creare un set di indicatori di autovalutazione, che si aggiunge a quelli dei donatori descritti ai punti precedenti, andando a configurare un impegno organizzativo ed economico spesso insostenibile (si consideri anche la necessità di costruire una piattaforma digitale di acquisizione, elaborazione, gestione e comunicazione dei dati sugli indicatori di risultato);
• la conseguenza diretta è che molti, sconfortati dalla situazione sopra descritta, dedicano alla valutazione il budget e il tempo minore possibile, in modo tale da renderla sostenibile e di non togliere tempo all’operatività, al fare.

La conseguenza ultima e gravissima di questa visione dominante è la seguente: agiamo senza essere in grado di intercettare in modo condiviso con gli attori in campo le continue variazioni nei contesti di intervento e senza valutare le conseguenze di medio-lungo periodo di programmi, politiche o strategie. In pratica, guidiamo bendati.

Il sistema culturale nel quale operiamo

Si tratta di un sistema basato su un pensiero che Baricco definirebbe “novecentesco” e che Alessandro Cravera ha ben canonizzato nel suo libro “Allenarsi alla complessità” (EGEA, 2021). È un pensiero che appartiene a un mondo che non esiste più, ma che resiste strenuamente a ogni tentativo di cambiamento. E può spesso riuscire nel suo intento perché le strutture della società in cui viviamo, culturali e materiali, sono per lo più conformate a quel tipo di pensiero, dalle scuole alle aziende, dalle amministrazioni pubbliche al privato sociale.

Baricco individua 4 caratteristiche fondamentali dell’intelligenza novecentesca:

1. “Ama lavorare con soluzioni stabili e di scarsissima flessibilità…
2. Si fida di una particolare forma di sapere: quella specialistica…
3. Procede a partire da alcuni principi solidissimi, che adotta come precetti indiscutibili e che non riesce a cambiare se non con cicli lentissimi… Non è un’intelligenza pragmatica, che cerca semplicemente la soluzione migliore…
4. Si crede razionale, … fonda la sua forza sulla convinzione di agire secondo razionalità. Qui l’errore è doppio: credere, cartesianamente, che esista un’intelligenza razionale (che si possa capire e gestire la realtà con il solo meccanismo della ragione) e credere, in sovrappiù, di esserne una perfetta espressione, aliena da qualsiasi rigurgito irrazionale…”.

Operare nella complessità

Cravera, dal canto suo, e in perfetta coerenza con l’analisi di Baricco, individua 4 caratteristiche dei sistemi complessi nei quali operiamo, che richiedono approcci e competenze in gran parte nuove rispetto a quelle con le quali ci troviamo attrezzati oggi. Provo a sintetizzarli qui di seguito, rimandando al bellissimo libro per un approfondimento:

• la non linearità nel modo in cui i differenti fenomeni/cambiamenti si influenzano, che implica l’impossibilità di scomporre ciascun fenomeno in catene input-output definite e costanti (determinismo); questo significa anche fare i conti con una dose molto alta di imprevedibilità;
• la causalità circolare, cioè il fatto che i fenomeni/cambiamenti si influenzano reciprocamente e retro-attivamente; il livello di interconnessione è altissimo e le relazioni si modificano costantemente fra di loro, mentre modificano il contesto e ne sono modificate;
• l’olismo, che comporta il fatto che siamo costretti a ragionare a livello di sistema e non delle singole parti che lo compongono;
• il costruttivismo, che pone l’attenzione sul fatto che le persone e le organizzazioni agiscono nei confronti delle cose o di altri soggetti in base al significato che questi hanno per loro e che tale significato è continuamente influenzato e co-generato dall’interazione sociale.

Valutare nella complessità

Ora, l’approccio prevalente oggi alla valutazione non è per nulla strutturato per rispondere alle caratteristiche dei sistemi complessi nei quali operiamo:

• ci obbliga a semplificare in catene input-output-outcome pre-definite e rigidamente immodificabili i cambiamenti che vogliamo generare nella società;
• non è in grado di intercettare, valorizzare e utilizzare i feedback che arrivano dal “fare” per ri-orientare rapidamente interventi e strategie, imponendo al contrario il rispetto delle catene di cui al punto precedente;
• isola parti limitate della realtà operando semplificazioni riduzionistiche, che finiscono per costringerci a lavorare su sistemi astratti, costruiti a tavolino davanti a un computer;
• si muove con approcci fortemente autoreferenziali, dove la partecipazione di tutti i principali attori in campo nel dare senso ai risultati raggiunti in tutte le fasi del ciclo di programma/progetto (dalla programmazione alla valutazione finale) è quasi sempre più evocata che sostanziale.

Analisi del tutto simili si trovano anche nell’articolo di Leni Wild (Ricercatrice dell’Overseas Development Institute – ODI) dedicato alla cooperazione internazionale e intitolato Doing development differently (Stanford Social Innovation Review, Spring 2021).

Alcune soluzioni e strade da percorrere

Le soluzioni di eccellenza che per fortuna sempre più si stanno diffondendo anche in Italia mettono al centro la co-programmazione di medio lungo periodo, su risultati e impatti analizzati a livello sistemico, con metodi e strumenti di valutazione condivisi da tutti gli attori in campo. Sono soluzioni estremamente flessibili, che cambiano e crescono in base ai feedback raccolti in modo strutturato e costante, aperti a modificare gli stessi risultati e strumenti/metodi di valutazione tutte le volte che è necessario. Si caratterizzano per piani di lavoro approfonditi e dettagliati a livello di outcome (come quelli centrati sullo sviluppo di una Theory of Change), basati sulle migliori informazioni/evidence disponibili al momento da parte degli stakeholders, ma costruiti già in partenza per apprendere continuamente dalle interazioni del sistema e per modificare rapidamente attività e output (e quindi l’impiego delle risorse/input) di conseguenza.

Questo significa che dobbiamo smettere di avere sistemi rigorosi di controllo a garanzia della legalità e della trasparenza nel modo in cui si spendono i soldi? Ovviamente no! Ma questi sistemi già esistono e sono peraltro pervasivi. Non è su questo piano che possiamo migliorare, se non attraverso una semplificazione normativa e una maggiore capacità di interazione dei “regulators”. L’ambito a tutt’oggi ancora molto scoperto riguarda un’alleanza fra tutti gli attori in campo per rendere efficace, prima che efficiente, la nostra volontà di essere agenti di cambiamento. Per fare un salto in questa direzione a mio parere occorre:

• attivare e moltiplicare tavoli di confronto nazionali e territoriali/tematici con mandati chiari e potere decisionale reale, sulla scia di quanto sta facendo Fondazione con il Sud, per mettere a sistema risorse, metodologie di intervento e attori in campo;
• lavorare come reti di associazioni per condividere standard minimi sulla qualità dei processi di valutazione più che sui singoli indicatori; gli indicatori spesso hanno la necessità di essere estremamente personalizzati, in quanto collegati ai soggetti in campo, allo specifico risultato e agli strumenti e alle fonti di verifica di quel particolare contesto di intervento, mentre la qualità dei processi di valutazione lavorerebbe trasversalmente su tutti i programmi/progetti;
• avviare un “piano Marshall” nazionale di formazione e capacity building su competenze di leadership, organizzative e gestionali, incluse quelle di monitoraggio e valutazione, in linea con l’approccio sistemico/complesso sopra descritto e rivolto alla Pubblica Amministrazione, agli ETS e al settore profit, con sessioni dedicate in modo mirato a ciascuno di questi 3 settori e sessioni trasversali, in cui i 3 settori dialogano e si confrontano;
• prevedere una quota di budget minimo/massimo (in percentuale sul valore complessivo dell’intervento) in tutti i programmi/progetti dedicata a monitoraggio in itinere e valutazione ex post e finanziarla al 100%; integrare sempre il lavoro di valutatori interni con quello di valutatori esterni.

Consapevole che si tratta di un argomento estremamente complesso e senza avere la pretesa di esaurirlo o di avere “la bacchetta magica”, invito tutti i lettori a interagire qui nei commenti e a favorire un dibattito di cui abbiamo estremo bisogno e con urgenza. Grazie fin d’ora a tutti coloro che contribuiranno.