sabato 3 novembre 2012

Considerazioni personali su SPC e OPENDATA




A seguito di una serie di conversazioni twitter sul tema, ho capito quanto sia necessario, non solo parlare di OPENDATA ma anche di altri temi che, pur essendo passati di moda, sono tutt'ora e forse anche piu' di quando sono nati, fondamentali per il futuro del nostro Paese.
Cercherò di non essere troppo tecnico, perchè la mancata diffusione e attuazione di una serie di strumenti di cui siamo stati pionieri e all'avanguardia dagli anno 90 in poi, sono forse stati accantonati perchè non comunicati in modo opportuno e non sufficientemente compresi dai nostri decisori. In questo mi sento di dire che noi tecnici abbiamo delle grandi colpe, nel recente passato!

Cominciamo con SPC. Non spaventatevi, il termine significa Sistema Pubblico di Connettività. E' un mostro tecnologico? No! E' un qualcosa che coniuga regole, processi e tecnologie, pensato dall'allora CNIPA(Centro Nazionale della Pubblica Amministrazione) per far evolvere la rete RUPA (1995-2004) delle pubbliche amministrazioni. La precedente rete RUPA offriva, a 67 amministrazioni ed enti centrali e a circa 14 regioni (RUPAR) servizi di connettività, di interoperabilità di base e di interoperabilità evoluta. La RUPA comprendeva quindi una serie di servizi che andavano già ben oltre la semplice interconnessione fisica e logica di PA. Si cominciava a diffondere il protocollo informatico e con questo anche un sistema di mailing dedicato alle PA (precursore dell'attuale pec), che abilitava, per le PA piu' "smart", il dialogo in modo automatico (trasmissione attraverso mail e protocollo informatico di messaggi). Il difetto principale della RUPA risiedeva però nel fatto di essere centralistico, non rispettando appieno le modifiche introdotte nel 2001 dalla riforma del titolo V della nostra Carta Costituzionale.

Negli stessi anni si cominciavano a diffondere, a livello software, nuovi paradigmi, tra cui uno in particolare la SOA. La SOA (architettura orientata ai servizi) è un paradigma indipendente dalla tecnologia del momento, che consente ad esempio ad una azienda di esporre alcuni servizi, e ad un'altra di invocarli (utilizzarli). Perchè è importante? Vi faccio un esempio concreto. Pensiamo ad una azienda on-line che vende prodotti e che si avvale di un'altra società per la sua distribuzione sul territorio. Il servizio al cliente finale richiede sia la procedura di vendita sia la procedura di distribuzione. In questo caso, parliamo di due aziende, con business diversi e con sistemi informativi differenti. E' evidente che i business dell'una e dell'altra ad un certo punto si incrociano. Ci saranno infatti dei processi che necessitano di scambio dati tra le due aziende e dunque interazione tra sistemi informativi differenti(basta pensare all'integrazione degli ordini effettuati dai clienti con la distribuzione dei prodotti ad essi connessi) per consentire che il prodotto arrivi al cliente finale. I due sistemi informativi si devono parlare e dunque , oltre ad esserci la necessità di un linguaggio comune (semantica) e di protocolli condivisi di comunicazione, occorre utilizzare tecnologie che consentano di consultare, e modificare i dati e le informazioni anche da chi non ne è necessariamente il proprietario, garantendone sempre la sicurezza. Ecco, SOA aiuta in questi casi... SOA consente che sistemi informativi diversi si parlino, si scambino dati, il tutto su processi che possono essere parzialmente o anche completamente informatizzati, in tempo reale e accedendo direttamente alla fonte, non a copie o a snapshot (come nel caso di OPEN DATA). I lettori tecnici mi perdonino, l'eccessiva semplificazione che è , in questo caso quantomai voluta!

Riprendiamo allora il discorso su SPC.

Riporto per esteso la definizione:

"Il SPC e' l'insieme di infrastrutture tecnologiche e di regole tecniche, per lo sviluppo, la condivisione, l'integrazione e la diffusione del patrimonio informativo e dei dati della pubblica amministrazione, necessarie per assicurare l'interoperabilità di base ed evoluta e la cooperazione applicativa dei sistemi informatici e dei flussi informativi, garantendo la sicurezza, la riservatezza delle informazioni, nonche' la salvaguardia e l'autonomia del patrimonio informativo di ciascuna pubblica amministrazione."

Dunque considerarlo una semplice infrastruttura di rete è puramente limitativo!!!!!!!

Di questa definizione del Dlgs.42/2005, la parte piu' innovativa risulta essere quella legata al concetto di "Cooperazione applicativa" vale a dire, così come riportato nell'art.1 lettera f dello stesso decreto legislativo, quella particolare parte dell'SPC, finalizzata all'interazione tra i sistemi informatici delle pubbliche amministrazioni per garantire l'integrazione delle informazioni e dei procedimenti amministrativi.

E' questo il punto piu' importante dell'SPC! soprattutto se lo consideriamo congiunto con il fatto (art.3 comma a dlgs.42/2005) che la realizzazione del SPC sarebbe dovuta avvenire  consentendo uno sviluppo architetturale ed organizzativo che garantisse la natura federata, policentrica e non gerarchica del sistema.

Il che è in piena sintonia con quanto previsto dal nostro ordinamento giuridico a seguito della riforma federale del titolo V.

Il significato va quindi ben oltre la semplice possibilità di scambiare dati e informazioni (interoperabilità). Qui si tratta di accesso effettivo, in tempo reale, da parte di una amministrazione, con pieno valore giuridico, a servizi e a basi di dati, di un’altra amministrazione, per usare concretamente i dati e le stesse informazioni presenti, in quel momento(non copie..), nei sistemi informativi.

In una siffatta situazione diviene naturale anche la possibilità di aggiornare i sistemi informativi di interesse di più amministrazioni con dati immessi da ciascuna per quanto di competenza. Conseguenza diretta è la possibilità di svolgere anche procedimenti informatizzati tra diverse amministrazioni nelle quali ciascuna immette dati ed eventuali documenti informatici.

Come rendere allora tutto questo possibile?

Beh, a questo punto entra in gioco il paradigma precedentemente esposto. Infatti, a partire dalla SOA, si sono sviluppate delle tecnologie quali quelle relative ai web service (attenzione anche se la tecnologia cambiasse, il modello comunque rimarrebbe sempre valido..), che implementano proprio questo tipo di architettura. Ma c'è di piu'. Il CNIPA, a partire dalle tecnologie dei webservice, ha realizzato il sistema SPCCOOP, specializzandole e adeguandole al contesto delle PA italiane.

Ha quindi preso vita la Porta di Dominio, il registro SICA e le buste di EGOV, che costituiscono i tre pilastri su cui si basa l'intero sistema SPCCOOP(la parte di cooperazione applicativa del sistema pubblico di connettività).

Non entro nel dettaglio tecnico ma vi basti sapere che stiamo parlando di tecnologie altamente innovative ancora oggi, seppur presenti dagli anni 2000, e che consentono di effettuare qualsiasi scambio dati, processo, scrittura e lettura su basi di dati e, voglio ripeterlo ancora una volta, in sicurezza e garantendo l'autonomia delle pubbliche amministrazioni, etc....etc...

Da quello che so la cooperazione applicativa è utilizzata oggi da un po' di amministrazioni (INPS, Agenzia entrate, Consiglio di Stato, Avvocatura, Corte dei Conti, etc..) e da alcune regioni anche attraverso progetti cofinanziati da CNIPA.

Perchè non si è diffusa di piu?

Io penso che non sia mai decollata la sua diffusione perchè:

1) Non è stata compresa dai non addetti ai lavori ;

2) I costi per l'integrazione di una sua componente base (porta di dominio) con i sistemi informativi degli enti (non tutte le PA dispongono di budget elevato, se pensiamo soprattutto ai comuni..) sono elevati;

3) Vi è una forte carenza di competenze tecniche nelle PA;

4) La Governance del sistema non è mai stata ottimale così come era stata invece definita dalle norme;

5) Le procedure di qualificazione delle Porte di Dominio sono sempre state estremamente complesse;

6) Sono tuttora presenti notevoli problemi di semantica nei dati delle PA (ogni amministrazione chiama dati simili in modo diverso, quindi ci sono grandi difficoltà quando si cerca di scambiare i dati);

7) Vi è la mancanza di una anagrafica unica per le PA (IPA non è completo, altre fonti neppure..., se non si parte da una anagrafica condivisa delle PA diventa difficile instaurare qualsiasi scambio di dati).

8) Vi era l'obbligo di acquisire i servzi di cooperazione da contratto quadro (cio' comporta in molti casi, soprattutto a livello locale, un nuovo fornitore, aumento di complessità gestionale dovuto a mix di responsabilità nei sistemi informativi );

L'elenco è ovviamente ancora piu' lungo ma non voglio dilungarmi oltre.

A questo punto, a qualcuno di voi potrebbe venire in mente un'altra domanda: ma perchè ci siamo orientati su OPENDATA quando in Italia, già avevamo SPCCOOP?

Due sono a mio avviso gli elenchi delle risposte possibili, uno banale l'altro piu' complesso.

Partiamo dal banale:

1) Ci piace copiare le idee inventate all'estero (in questo stiamo diventando un po asiatici);

2) OPENDATA è piu' semplice da capire e apparentemente piu' facile da realizzare anche dai non addetti ai lavori (in realtà nasconde complessità che molti si ostinano a non comprendere);

3) la parola OPEN è di moda da sempre;

4) OPENDATA è riconosciuto come uno degli strumenti della trasparenza, e oggi questo tema è molto caldo;

5) Chiunque può fare OPENDATA (farlo bene è una cosa diversa).

La risposta complessa è invece:

1) OPENDATA si realizza in poco tempo, con poche risorse e anche con scarse competenze (non vi è alcuna necessità di programmazione...e la sicurezza è gestita dal fatto che il server web è per natura un sistema statico che limita l'accesso alle informazioni e ai dati in sola lettura (non considero qui altri protocolli utilizzabili quali FTP, l'accesso a servizi webservice, etc...);

2) La complessa macchina organizzativa e tecnologica della cooperazione applicativa è stata realizzata ed è andata effettivamente a regime a cavallo del cambio di management del CNIPA e della sua trasformazione verso DIGITPA. Questo ha comportato un cambio di vedute e di priorità che non ha consentito una continuità nel progetto iniziale. Tra l'altro per diffondere un tale strumento anche a livello regionale e locale soprattutto, occorre avere una forza politica non indifferente, generata da una capacità di trasmettere benefici piu' a lungo che a breve termine;

3) La cooperazione applicativa è molto complessa da attuare e necessita di un costo iniziale piu' elevato e difficile da applicare nelle amministrazioni locali.

Quindi, in estrema sintesi, con OPENDATA si possono leggere dati messi a disposizione dalle PA e si possono integrare dati tra piu' fonti, ammesso che la semantica sia condivisa e che ci siano chiavi univoche che consentano l'integrazione. Quindi può contribuire ad essere piu' trasparenti, niente di più.
Non parliamo di servizi transazionali perché open data difficilmente può realizzarli.

Con la cooperazione applicativa di SPC, oltre a leggere dati messi a disposizione dalle PA, si può scrivere nelle basi dati dei sistemi informativi che fanno capo ad amministrazioni diverse, conservando piena validità giuridica e garantendo l'autonomia di chi è custode dei dati (proprietari sono i cittadini). E' evidente come tale sistema sia molto piu' potente di quanto previsto dall'OPENDATA, così come è stato detto anche nei recenti post del prof. Fuggetta dei quali condivido tutto!

In questo secondo caso possiamo infatti gestire anche i processi e i procedimenti amministrativi tra PA e PA e nasconderne, effettivamente, nel back office, la complessità, semplificando il front office al cittadino.

SPC, sarà sicuramente piu' complesso, ma non possiamo ridurre la complessità a fronte di servizi che con altri strumenti certamente non si è in grado di erogare.

Qualcuno potrebbe poi dire, SPC è solo per interazione tra PA e PA. Come possiamo attivare una economia dell'immateriale se il privato non può accedere a tali servizi?

La risposta è: chi vieta di estendere la rete SPC all'ingresso di privati che vogliono costruire dei servizi composti, per il cittadino sulla base di dati o servizi messi a disposizione su SPC in modalità cooperazione applicativa? Si tratterebbe solo di scrivere delle regole, un po come ha fatto il prof. Fuggetta per expo 2015, consentendo anche al privato di accedere all'ecosistema SPC, ad opportune condizioni.

Ecco che allora potremmo far convergere l'esigenza dell'opendata con tecnologie ben piu' evolute e ben piu' efficienti e performanti, contribuendo, tra l'altro, ad una standardizzazione semantica, resa sempre piu’ necessaria per fornire servizi di qualità e confrontarne le performance.

Spero di aver spiegato in modo comprensibile  per i non addetti ai lavori, anche se di getto e senza una revisione del testo che ho appena scritto, il perché  occorre considerare la cooperazione applicativa dell'SPC piu’ di OPEN DATA.
E quello a cui oggi pensano come evoluzione dell’Open data (mettere a disposizione Api, web service , etc. per le imprese…), negli Stati Uniti , noi lo avevamo già realizzato 100 volte meglio già  dal 2004, anche se non siamo stati in grado di diffonderlo sufficientemente sul territorio.
Anzi succede che torniamo indietro, a tal punto che della cooperazione applicativa  non se ne sente piu' parlare e le priorità progettuali su SPC sembrano essere rivolte ad altre iniziative (SPCDATA) che seppur attuino modelli corretti ed avanzati di applicazione dell'OPEN DATA rappresentano un seguire le mode del momento con vantaggi nel breve termine ...
In pratica 100 passi indietro rispetto a quello che di veramente strategico per il Paese si era già realizzato ....

Tra l'altro si potrebbe pensare di semplificare SPC, anche portandolo su un CLOUD certificato, seguendo un po l'idea del prof. Osnaghi, e facendo in modo che la porta di dominio sia fornita in modalità "as a service"; facilitando, in questo modo, la sua adozione da parte degli enti locali.

Ma queste sono considerazioni per un altro articolo che cercherò di scrivere a breve .......

10 commenti:

  1. Intanto grazie per l'utilissimo excursus fatto su SPC, ormai relegato nel dimenticatoio, seppure costituisca una grande opportunità per tutte le PA.

    In Puglia a tal proposito sono stati spesi milioni di euro di Fondi Strutturali negli anni passati per realizzare la Rete Unitaria della Pubblica Amministrazione Regionale (RUPAR) alla quale a stento ha aderito la stessa Regione Puglia.

    Vorrei però sottolineare un paio di errori di concetto fatti nell'articolo, che a mio modesto avviso corrono il rischioi di creare ulteriore confusione anziché fare chiarezza.

    Paragonare gli Open Data all'SPC è un principio errato, poiché con i primi parliamo di formati di dati e licenze d'uso aperti, oltre che di semantica per garantire l'interoperabilità. Mentre SPC è essenzialmente un sistema di servizi dedicati alle PA, una infrastruttura tecnologica utile per "connettere" tra loro soggetti affinché possano scambiare informazioni e dati, appunto, con modalità open.

    Si tratta dunque di due concetti non già in antitesi, alternativi, ma assolutamente e necessariamente complementari, per realizzare il cosiddetto Open Government.

    RispondiElimina
  2. Caro Pietro, ti ringrazio per queste osservazioni che mi aiutano a cercare di essere piu' chiaro.
    Io parlo di SPC cooperazione e non di rete di interconnessione. La rete di interconnesione è l'autostrada, poi su questa autostrada occorre metterci servizi, che vengono realizzati , su SPC, anche grazie alla cooperazione applicativa.
    Per quanto riguarda invece il paragone, hai ragione non si può proprio fare perchè mentre open data oltre a formati di dati e licenze d'uso aperti, implica come pilastro base quello che comunemente viene chiamato dataset (copia o snapshot dei dati contenuti nelle basi di dati dei sistemi informativi degli enti che espongono anche eventuali cataloghi), la cooperazione applicativa implica un accesso diretto ed in tempo reale ai dati situati nelle stesse banche dati dei sistemi informativi degli enti che erogano i servizi. La differenza fondamentale è che i dataset devono essere aggiornati costantemente mentre utilizzando la cooperazione applicativa non si pone priprio il problema perchè accedo direttamente al dato e non a copie...(nella prassi che si sta concretizzando nei portali italiani si accede effettivamente solo a copie...). Ma c'è un'altra differenza fondamentale. I dati non possono essere modificati nell'OPEN DATA , mentre nella cooperazione applicativa ciò è possibile essendo una caratteristica nativa proprio di SPC. Per quanto riguarda la semantica, entrambi hanno una particolare attenzione a questo tema, anzi forse nell'SPC le regole sono già meglio definite, per opendata ancora stiamo a caro amico..... e integrare dataset diversi per arricchire contenuti informativi scaturendo un servizi a valore.. può essere complesso (pochi lo hanno fatto e quanto lavoro richiede negli aggiornamenti? andatelo a chiedere alle aziende che stanno cercando di farlo..). Dunque ricapitolando a mio avviso:
    OPEN DATA per la trasparenza e per abilitare eventuali servizi di natura non transazionale, in cui non vi sia necessità di modificare dati e in cui gli aggiornamenti su questi ultimi possono avvenire in un arco temporale ragionevole.
    Per tutto il resto, per i procedimenti, per i processi, occorre pensare ad evoluzione di cooperazione applicativa dell'SPC , in modo tale da abilitare anche servizi transazionali effettivamente di valore per il cittadino, e aprendo alle aziende l'ingresso all'SPC evoluto.
    Infine vorrei sottolineare, che quanto oggi si fa con opendata è possibile farlo anche con la cooperazione applicativa, basterebbe realizzare servizi in tempo reale che estraggono dataset dalle banche dati.
    Se parliamo dunque di licenze d'uso e di formati di dati concordo che non ci siano legami.
    Ma se cominciamo ad inquadrare il tema introducendo le tecnologie, così come richiesto da chi tra i primi ha lanciato "raw data now", dobbiamo essere consapevoli che tali tecnologie hanno dei limiti e sono limitative per la realizzazione di servizi composti, sia tra PA e PA , sia tra PA e Aziende e sia Tra PA e Cittadini. L'amministrazione di Obama docet, stanno adesso spostando il focus sui servizi... Noi eravamo già pronti dal 2004!

    RispondiElimina
    Risposte
    1. Caro davide, sinceramente non ho capito perché sei convinto che "I dati non possono essere modificati nell'OPEN DATA" e che Open data = pubblicare in CSV.
      Come è emerso anche da molte risposte su Spaghetti, open data vuol dire applicare principi di apertura e libero accesso ai dati della PA, non è una tecnologia.
      Aprire i dati della PA tramite API, ad esempio, abilita eccome lo sviluppo di servizi in real time, come cercavo di dire anche nel commento che feci al post di fuggetta.
      Nei casi in cui questo non sia sufficiente (ma qui non saprei entrare nel merito...), diamoci come obiettivo una integrazione ancora più efficace (basta però che i dati siano accessibili a tutti, altrimenti non si parla più di open data ma di system integration, etc).
      Probabilmente non tutti "predicano bene" tra gli evangelist italiani, ma chi conosce le prassi internazionali sa benissimo che i gli open data sono "piattaforma", che occorre interrogarli in real time, etc. altrimenti sono inutili per fare certi tipi di servizi.
      Non so se sono chiaro...

      Elimina
    2. Caro Luigi, i dati non possono essere modificati nell'open data perchè le tecnologie che utilizzano non lo consentono, se vogliamo essere fiscali con quelle che vengono utilizzate a detta del raw data now.... fai una prova, vai sul sito di dat.piemonte.it e prova a modificare i dataset che sono pubblicati. Puoi solamente scaricarli... non puoi entrare nelle basi dati reali e effettuare delle modifiche... vai anche sullo stesso sito di opencoesione.. puoi lì scaricare dati relativi a estrazioni , ma non puoi modificare i dati.. (ovviamente non avrebbe senso nel servizio che date perchè è un servizio informativo..). Mi sai fare esempi reali e concreti di opendata su servizi transazionali? E non di aziende che utilizzano integrazioni di dataset provenienti da diversi siti web? Ecco aspetto un esempio effettivo per poter cambiare le mie idee..
      Open data come inteso da raw data now... non è fatto per integrazione di servizi transazionali..
      o per dirla meglio ci sono altri strumenti che attuano meglio questi temi. Se poi dite che open data significa formati aperti e licenze d'uso e basta allora sono d'accordo con voi, ma allora converrete con me che per attuarlo è possibile utilizzare anche tecnologie migliori e non quelle che ad oggi si basano su dataset!

      Elimina
    3. ok, avevo capito modificati = aggiornati....
      Sì, negli esempi che conosco gli open data sono usati solo "in lettura". Non saprei se esistono dei casi in cui lo scambio è bidirezionale, sarebbe interessante scoprirlo.
      Confermo che open data significa accesso da parte di tutti alle informazioni della PA, vedi ad es. gli 8 principi dell'OGD o la definizione della OKFN. "Raw data now" è il primo passo....

      Elimina
  3. Caro Luigi dove si parla di OPENDATA nel documento ogd? Scusa non trovo riferimenti ... Solo open government ....

    RispondiElimina
    Risposte
    1. Facevo riferimento ai "classici" 8 principi dell'Open Government Data, la prima dichiarazione con impatto internazionale su questo tema http://www.opengovdata.org/home/8principles

      Elimina
  4. Caro Luigi dobbiamo essere precisi, facevi riferimento ai principi Dell open government directive non Dell open government data... Scusami ma occorre precisare .. Non si parla del termine opendata nella direttiva ...

    RispondiElimina
  5. Davide, non so cosa ti spinga a pensare con questa convinzione che in SPC ci si concentri ora su SPCData e basta! SPCData è uno dei progetti, concreti, che abbiamo fatto nell'ultimo anno (io sono da poco più di un annetto in ex DigitPA e ti parlo quindi su quello che ho visto con i miei occhi). Ma mica tutto il resto è stato accantonato, anzi tutt'altro! Ripeto, non si trovano facilmente, ma almeno altri 3 documenti di linee guida sono stati pubblicati nei mesi scorsi su SPC che parlano dei servizi alle PA. Prova ad andare a vedere nella sezione Commissione di Coordinamento SPC --> attività. Troverai il risultato di alcuni gruppi di lavoro dove si parla anche di cloud in SPC (per esempio). Non solo, le raccomandazioni che abbiamo scritto su smart city parlano anche del ruolo di SPC, le linee guida per l'interoperabilità semantica attraverso i linked open data parlano di SPC e del suo ruolo centrale. Da questi documenti e lavori sono poi nate altre attività in ex DigitPA, dove non solo io ma diversi altri miei colleghi hanno lavorato/stanno lavorando, per la definizione di servizi innovativi da erogare alle PA. Il progetto SPCdata ha lo scopo di aprire dati pubblici prodotti nel contesto SPC e ci è servito molto per prendere familiarità con un nuovo modo di trattare i dati e relative tecnologie (quelle del web semantico) per affrontare il problema spinoso che anche tu hai correttamente ricordato dell'interoperabilità semantica. Considera che anche a livello di commissione europea stanno guardando all'approccio linked per approcciare il tema interoperabilità semantica. Sono personalmente in contatto con alcuni di loro che hanno visto le linee guida italiane e le vogliono promuovere come best practice tra i paesi membri.
    E altri progetti per SPC ci sono in cantiere. Dobbiamo allineare il nostro framework nazionale di interoperabilità (SPC) a quello Europeo nel 2013, dice la Digital Agenda (pillar 2).
    Poi sicuramente bisogna anche dire che è arrivato il decreto n.83 e molte cose hanno visto una battuta di arresto. Vedremo prossimamente con la neonata Agenzia. Io sono fiduciosa :-) Come te credo nel sistema SPC che giustamente non è solo rete ma tanto tanto altro :-) E ben venga che se ne parli!!

    RispondiElimina
  6. Ottimo, voglio andarli a studiare questi documenti. Sono contento che si stia andando avanti con SPC, spero che si stia andando avanti in particolare sulla cooperazione applicativa, visto che è il valore reale di SPC! Per quanto riguarda il progetto SPCDATA, lo considero una ottima iniziativa di cui bisogna diffondere il modello. Teniamo presente e facciamoperò capire bene i limiti di tale modello, così come le potenzialità di una cooperazione applicativa attuata anche con le aziende private che entrano in SPC per comporre servizi composti a valore aggiunto.. questo potrebbe funzionare...

    RispondiElimina