Ultimamente tra ferie e molte cose da chiudere, sono stato assai indeciso su quello che avrei voluto scrivere, tanto ormai è il flusso che mi interessa sui temi degli Open Data. Ed il tempo sempre limitato.
In giro se ne parla a vari livelli, e la sfida di coprire i diversi aspetti legati a così tante discipline che intervengono attorno agli Open Data è assolutamente fantastica: a livello scolastico sarebbe un gran bel tema, da inserire al posto di educazione civica ( cosa, che tra parentesi, non ho mai fatto perchè boicottata da tutto il mio percorso scolastico, ma vi sembra normale? )

Alla fine inizio da un post di sintesi di alcuni elementi emersi in questo scorcio di settembre e fine agosto.
La parte pratica di civic hacking arriverà poi: mettere tutto assieme rischia di creare confusione.
Parto dall’ottima sintesi di Ernesto su Apogeonline (_ a proposito @ernesto, grande new entry eh eh_ ) è un ottimo punto di partenza per chi non fosse così aggiornato sul tema:
-> Open Government, non perdiamo altro tempo

Dato utile, aperto e pronto al riuso: trasparenza reloaded?

C’è molta confusione sul concetto stesso di “dato utile”, sul concetto stesso di significato di “dato aperto” nel luogo Web, e sulle relative implicazioni sulla “trasparenza abilitata grazie a questi scenari”.
Ovvero: un po’ di luce su questi passaggi ci vuole, per capire che non basta l’ Open Data per abilitare una nuova trasparenza, ma serve consapevolezza anche nel processo di apertura dei dati e questa documentazione è importante tanto quanto i dati stessi.

E qui farei un break con un video di Sir Tim Berners Lee per enfatizzare il contesto, di nuovo, che non basta mai. Anche se non proseguite la lettura, questo video è fondamentale ( ne hanno parlato in italiano Webmasterpoint.org e ComputerWorld Italia - CWI :

Vediamo il dato utile.
Utile per chi e per che cosa?
Bella domanda direi, per niente scontata come potrebbe sembrare.
L’utilità prevede forse implicitamente un’idea di consapevolezza: se io conosco quel dato, sono maggiormente informato e quindi condivido un nuovo livello di conoscenza riguardo allo stato di cose di cui parla quel dato.
Ma poi prevede anche una forma di appropriazione: se mi è utile, vuol dire che posso farci anche qualcosa, che posso rimaneggiarlo, e magari ripubblicarlo. Posso creare insomma qualcosa di nuovo, utile magari per qualcun altro, oltre che per me stesso.

Questo implica delle notevoli conseguenze a livello normativo, e di diffusione dei dati, no?

E questo in effetti è legato a quell’economia della collaborazione innata per chi vive la Rete da molto tempo, avendone accettato la diversa economia alla sua base.
Perchè mettiamo pagine e pagine di ipertesto online tutto il tempo? Perchè si condivide in Rete?
Non sempre è presente una finalità a monte ben chiara. Questa è la Rete. E’ una piattaforma per la creatività, per dirla alla Lawrence Lessig.
Per cui, alla domanda, quali dati siano utili: tutti i dati che lo Stato raccoglie nel rispetto della normativa, e del buon senso sono utili. Perchè è la Rete che abilita tutto questo, e la sua naturale apertura non ha dei principi di finalità connaturati.
Alcuni più di altri forse.

Se ne parlava nel forum di InnovatoriPA in questa discussione:
-> Open data: gran parlare, ma ….

Una accezione corrente è stata: mettiamo in pubblico gli stipendi dei vari livelli di responsabilità della PA.

Altra accezione, abbastanza votata: mettiamo in pubblico tutte le informazioni su come, dove e quando la PA lavora.

Poi si è parlato dei “dati geo/cartografici” da rendere disponibili.

Poi …..altre varie specificità più o meno complesse o particolari.

Tutte queste accezioni possono essere anche condivisibili ed in qualche caso, vedi dati cartografici, possono dare un valore aggiunto. Nel contempo le altre accezioni sono solo una risposta a necessità voyeristiche senza costrutto. La notizia che il tal consulente guadagni 100.000 euro, da sola vale zero infatti ci potrebbero essere, o potrebbero essere trovati, mille motivi per giustificarla giustamente o falsamente. E non vale neppure il motivo fiscale perchè, nel caso l’Agenzia delle Entrate non sapesse questa notizia, sarebbe ora di chiuderla.

Secondo i veri open data dello stato dovrebbero essere tutte le notizie che qualsiasi organo dello stato detiene, comunque e dovunque, dovrebbe essere resa disponibile a tutti gli altri organi dello stato, dovunque e comunque per evitare che ciascun Cittadino, padrone reale dei sui dati, debba rincorrerli per tutta l’Italia. Il mio estratto dell’atto di nascita non è proprietà del Sindaco di Bari, deve essere una proprietà che io condivido con tutti gli organi dello stato.

In effetti forse un modo di intendere i dati utili è quello di pensare al loro potenziale di riuso.
Come fossero Lego: io sto mettendo a disposizione dei cittadini i pezzi con cui loro stessi possono esercitare quello che nel mondo fisico hanno dovuto delegare, per i limiti del mondo fisico stesso. In questo caso questo potere puo’ tornare a chi dovrebbe esercitarlo: nulla di strano che la classe dirigente non voglia naturlamente cedere questo potere a livello politico .)

Ed in più non è solo una questione di PA:** si sta parlando del ruolo dello Stato nei confronti dei cittadini, il suo ruolo storico. Quello di gestire per nostra delega un patrimonio collettivo, che è dello Stato e quindi anche nostro. Ed i dati che lo riguardano, pagati dalle nostre tasse per la difesa dei nostri interessi comuni, sono già un investimento fatto dalla collettività, che dovrebbe per regola tornarci indietro.**
Ma non è così semplice, a livello normativo, come sappiamo.

In breve: lo Stato difende i nostri interessi a lungo termine, perchè per la natura economica delle imprese, queste ultime non lavorano per interessi a lungo termine se non obbligate attraverso le normative. Ed è normale che sia così. Sono gli Stati che dovrebbero fare gli interessi del lungo periodo: in Italia mi pare che questa cosa si sia totalmente persa per strada. Perchè è un concetto apartitico.
Chi è che difende il nostro futuro?

Perchè le deleghe che facciamo ai politici comunque hanno una durata limitata, ed ognuno fa i propri interessi: non c’è un sistema di informazione che difenda e comunichi abbastanza in maniera chiara e limpida l’operato a lungo termine, quello che qualcuno chiama anche Fact Checking. Dovrebbe essere il cittadino che lo richiede al Mercato e al proprio sistema democratico, o sbaglio? E lo stiamo chiedendo con forza?

Il movimento Open Data dovrebbe essere promosso dal governo come un diritto inaleniabile dei cittadini, oltre che per un risparmio sui costi del controllo e per l’entrata del Paese Italia nell’economia immateriale della PSI, promossa dall’ Unione Europea tra gli altri, e per permettere l’esercizio di un controllo sull’operato a lungo termine sulla cosa pubblica, cioè il nostro patriminio collettivo.

E siamo noi a doverlo inserire nell’agenda setting delle priorità del governo stesso, o sbaglio?

Ma per tornare sul concetto di utilità a livello più pragmatico, nella medesima discussione degli InnovatoriPA c’è un gran bel commento che riprendo:

Dati utili: quali? Più del 70% degli intervistati ritiene che la migliore strategia sia quella di rendere pubblici i dati relative all’utilizzo dei fondi pubblici
Seguono atti di giunta e consiglio e consulenze esterne
Poco utile la pubblicazione dei curricula
Pochissimo utile la pubblicazione degli stipendi.

Interessante, direi. Dove vanno i soldi potrebbe essere una delle motivazioni più sentite, provocate forse dal contesto politico in cui versiamo, no? Notevole il fatto che gli stipendi siano pubblici non interessa più di tanto, in effetti, rispetto ad altri temi. Se lo si pensa rispetto al concetto di riuso ha più senso di quello che sembra.

E qui interviene anche il senso di lontananza della politica dalle priorità dei cittadini, quella che negli ultimi anni viene chiamata anti-politica. **Attivare gli Open Data permette di rendersi conto di quanto lo Stato ascolti il sentire dei cittadini, al di là del populismo dei programmi e dei periodi in cui siamo sotto elezione.
Trovare risposte rispetto agli investimenti che lo Stato fa, e la loro priorità. **

E qui cito prima Alberto Cottica, che ha segnalato come la Ragioneria dello Stato abbia in effetti iniziato a pubblicare i dati di spesa dello Stato, in forma aperta.
-> Spaghetti open data

La seconda operazione è stata fatta dalla Ragioneria Generale dello Stato. Qui i dati sono davvero sugosi:** i bilanci preventivi e consuntivi e i trasferimenti alle ammministrazioni regionali e locali 2007-2010. Per capire davvero la discussione sui famosi tagli di bilancio, non c’è niente di meglio di scaricarsi i dati e giocarci un po’, magari producendo qualche bel grafico colorato. La RGS fornisce anche una guida alla costruzione di tavole di sintesi usando Excel.**

Questa è una bella opportunità per i civic hackers di cui parla sempre David Osimo. Non c’è più bisogno di fidarsi (o di non fidarsi, che è lo stesso perché comunque la nostra opinione finisce per dipendere da una fonte giornalistica che non possiamo verificare): quando sentiamo dire “lo Stato non investe in cultura”, “la spesa sanitaria è fuori controllo” o “stiamo mandando la scuola pubblica in malora” possiamo controllare di persona, accedendo ai dati, filtrandoli e mettendoli in fila per vedere se è vero, e condividere con gli altri le nostre conclusioni. Anche così crescono le democrazie (e le Wikicrazie).

E qui in effetti i dati disponibili sono pubblici. Ma non sono open data in senso stretto.
Uno dei primi che ha iniziato a giocarci un po’ è stato Gaspar, con un titolo ad effetto “Dove vanno i tuoi soldi“ poi ricitato giustamente anche da Factcheck, e da Massimo Mantellini, tra gli altri.

Dalla tabella riassunta da Gaspar emergono delle cose interessanti:

  • la prorità delle spese sembra essere esattamente il contrario rispetto agli investimenti per il nostro futuro, sotto alcuni punti di vista che emergono nei commenti
  • il modo con cui si è titolata la voce di spesa crea facili problemi interpretativi, nonchè populismo sui dati derivato dalla propria posizione politica di partenza e quindi dal proprio punto di vista: come lo si potrebbe risolvere?
  • servono altri dati sul processo di selezione e di creazione di quella sintesi: il fact checking altrimenti è incompleto e crea forti problemi sulle interpretazioni del lettore. Servono insomma i metadati di provenienza della tabella da cui sono stati estratti, e magari la modalità con cui si è fatta la tabella pivot, altrimenti non è detto che sia chiaro il processo per chi non sia abituato a fare operazioni di questo tipo.
  • alcuni concetti di contabilità non sono assolutamente automatici da comprendere. Serve anche un migliore livello di supporto anche per questo tipo di lettura. Da integrare in loco nella visualizzazione magari.

E qui andiamo all’ultimo punto con cui ho iniziato il post: avere i dati, in forme diverse, abilita davvero la trasparenza?
E’ una condizione necessaria, ma di certo non sufficiente.
Per dirla in maniera matematica eh eh
Ed infatti è importante sia il dato, sia la provenienza, sia il processo in cui lo si analizza e ne si crea una sintesi ed una visualizzazione. Un po’ come ha fatto Gaspar riprendendo la discussione nel post successivo:
-> L’ossessione dei soldi

La cosa davvero strana è che, d’accordo con Gaspar, i giornali ed i media non facciano operazioni su operazioni su tutti quei dati per discutere di fatti, non di pugnette sulle agende setting dettate dai politici di potere di turno. E questo è un fatto davvero, ma davvero triste.

Non è più solo importante dare i dati in un formato aperto, ma anche dare gli step ed i singoli sviluppi su tali dati e relative visualizzazioni. In modo da rendere tutto il processo trasparente e riutilizzabile nelle singole fasi. Per avere questo ogni passaggio dovrebbe avere un link, però.
Sul quale discutere e creare confronto, per sviscerare il tema.
Una sorta di FriendFeed legato al processo stesso di trasparenza nella manipolazione del dato pubblico. Una par condicio dei punti di vista e delle interpretazioni sulle sintesi che si possono creare dai dati.

Non è un caso che i giornalisti stiano iniziando corsi tecnici, come dice Luca De Biase qualche tempo fa, anzi corsi di hacking

**[Data Driven Journalism - Telling Stories Online](http://www.slideshare.net/amclean/data-driven-journalism-telling-stories-online "Data Driven Journalism - Telling Stories Online")**
View more [presentations](http://www.slideshare.net/) from [amclean](http://www.slideshare.net/amclean).

Ed è qui che interviene l’aspetto tecnologico della Rete.
Perchè c’è un gran bel passaggio che emerge in queste voci di David Eaves titolate “The Three Laws of Open Government Data“ , citato a suo tempo anche da Ernesto Belisario nella sua rubrica Open Links:

The Three Laws of Open Government Data:

  1. If it can’t be spidered or indexed, it doesn’t exist
  2. If it isn’t available in open and machine readable format, it can’t engage
  3. If a legal framework doesn’t allow it to be repurposed, it doesn’t empower

A questo punto io riderei un po’ dalla tristezza. In sintesi:

  • il primo punto deriva dall’intersezione tra la direttiva Brunetta sulla trasparenza e la nostra normativa della privacy. E’ possibile che il dato sia pubblico, ma non deve essere indicizzabile. Esattamente il contrario della regoletta.
  • il secondo punto parla del formato con cui questo dato e questo insieme di dati debba essere pubblicato: aperto, in formato comprensibile dalle macchine e dai programmi e aperto, sia come indipendenza da formati proprietari che standard. E qui di fatto abbiamo una grossa mole di dati oggi pubblici, ma in formato PDF. Qualcosa in formato CSV e qualcosa in formato Excel, non propriamente un formato aperto. Ma il dilemma sono i formati PDF, non processabili dalle macchine di fatto.
  • il terzo punto prevede un discorso legale abilitante: quindi una licenza libera associata ai dataset con il minor numero di vincoli possibili. Anche qui in Italia regna una gran confusione, anche perchè si conosce assai poco il movimento Creative Commons, che ha il suo analogo anche per i dati in effetti. Un altro punto complesso insomma.

Elementi questi che avevo citato in altra forma al VeneziaCamp nelle ultime slide, riprendendo questo articolo di O’Reilly:
-> Data is not binary - Why open data requires credibility and transparency

“The major difference between open and public data is [that with open data] you have the ability to re-use it. Data in document format is effectively useless. By making [data] open…people can analyze, compare, and benchmark it, and find patterns that you did not realize.”

Oppure anche questo, sempre di O’Reilly, è affine ad abilitare il processo di trasparenza sui dati ed anzi a promuovere una sorta di approcio open source social a lato della produzione dei medesimi:
-> Truly Open Data

Un contesto assai ampio quindi.
Per chiudere credo che il dilemma normativo sia quello più importante sul quale fare leva: proprio per questo concordo con Marco Tedeschini Lalli sulla reale incomprensione da parte del ministro Brunetta relativa alla creazione del portale data.gov italiano, a margine del post già citato di Alberto Cottica

Temo che sulla questione di Brunetta ci sia stato un fraintendimento tra lui e Riccardo Luna che lo intervistava. Riccardo parlava di un “data.gov” e lui parlava probabilmente dei dati sugli appalti della PA

**
Il fraintendimento tra dato pubblico e dato open non potrebbe ricondursi in una maniera più chiara di questa. E la trasparenza abilitata di conseguenza è vittima di questo design assai differente da quello del movimento Open Data a livello mondiale.**

In chiusura, per riflettere sul tema più tecnico e abilitante, invito a vedere questa presentazione:

**[Gt health2stat 7-22-2010](http://www.slideshare.net/george.thomas.name/gt-health2stat-7222010 "Gt health2stat 7-22-2010")**
View more [presentations](http://www.slideshare.net/) from [George Thomas](http://www.slideshare.net/george.thomas.name).

I dati devono essere pubblici, ma inseriti nel luogo Web con le sue regole e le sue potenzialità: come faccio a far emergere le connessioni anche implicite e nascoste tra i dati? Non basta di certo averli in PDF, nè in un formato CSV… come dice anche Titti, d’altronde:

I dati pubblici devono essere online, interattivi, integrabili e linkabili.

Questo deve essere il nostro motto, superata la questione normativa, altrimenti stiamo solo scimmiottando una cosa che nel mondo ha valore, ma che qui diventa solo un’altra forma più tecnica se vogliamo di mero populismo, no?

Usiamo pure la provocazione di Gaspar per iniziare a fare un po’ di civic hacking collettivo, e magari, dicendo esattamente i passi fatti, si possono capire molte cose, come dice anche Alberto Cottica: stiamo imparando a gestire una complessità nuova, ed a capire i retroscena.

Abbiamo solo iniziato a scalfirne la superficie….

ps - io consiglio di iniziare a smanettare con Freebase Gridworks con quel dataset della Ragioneria dello Stato .) ho appena iniziato e sembra un portento eh eh un prossimo post con i dettagli tecnici…