Differenze tra le versioni di "Progetto Dati Lombardia/Relazione"
m (→Glossario) |
|||
Riga 104: | Riga 104: | ||
* '''bene complesso''': bene costituito da più beni individui (ad esempio, una cascina può essere un bene complesso formato da diversi edifici). | * '''bene complesso''': bene costituito da più beni individui (ad esempio, una cascina può essere un bene complesso formato da diversi edifici). | ||
* '''bene individuo''': bene con una struttura unitaria, che può essere parte di un bene complesso (ma non necessariamente). | * '''bene individuo''': bene con una struttura unitaria, che può essere parte di un bene complesso (ma non necessariamente). | ||
− | * '''OR''': [https://openrefine.org/ '''O'''pen'''R'''efine], tool di ''data wrangling'' | + | * '''OR''': [https://openrefine.org/ '''O'''pen'''R'''efine], tool di ''data wrangling'' utilizzabile per pulire i dati tabulari e collegarli alle basi di conoscenza, inclusa Wikidata. |
* '''QS''': [https://quickstatements.toolforge.org/#/ '''Q'''ick'''S'''tatements], tool per la creazione e modifica massiva di elementi su Wikidata. | * '''QS''': [https://quickstatements.toolforge.org/#/ '''Q'''ick'''S'''tatements], tool per la creazione e modifica massiva di elementi su Wikidata. | ||
* '''SIRBeC''': [https://www.regione.lombardia.it/wps/portal/istituzionale/HP/DettaglioServizio/servizi-e-informazioni/enti-e-operatori/cultura/beni-culturali/sirbec-cult '''S'''istema '''I'''nformativo '''R'''egionale '''Be'''ni '''C'''ulturali] di Regione Lombaardia | * '''SIRBeC''': [https://www.regione.lombardia.it/wps/portal/istituzionale/HP/DettaglioServizio/servizi-e-informazioni/enti-e-operatori/cultura/beni-culturali/sirbec-cult '''S'''istema '''I'''nformativo '''R'''egionale '''Be'''ni '''C'''ulturali] di Regione Lombaardia |
Versione delle 17:31, 31 mar 2022
![]() |
Il contenuto di questa pagina è aggiornato.
Stato valido al 31-03-2022. |
Premessa Ciascun paragrafo corrisponde alle sessioni di lavoro, in cui viene riportato il procedimento, corredato dal riflessioni e motivazioni delle problematiche riscontrate di volta in volta, seguite dalle soluzioni individuate e quindi adottate.
14 febbraio
In un primo momento, si è deciso di procedere condividendo su OneDrive il file csv scaricato dal sito della Regione Lombardia. Infatti, operando modifiche sul dataset di partenza delle Architetture in locale, a fine sessione si esporta il progetto archiviandolo come file, inserendo nel commento delle cronologie delle versioni quali sono le modifiche che interessano tale versione, al fine di agevolare una futura consultazione per gli operatori. Tale scelta trova le sue motivazioni nel fatto che sarebbe controproducente dividere fisicamente in due il file dal punto di vista operativo poiché l’ordine dei beni non rispecchia una divisione per comuni o per tipologia architettonica, rendendo così ridondante il lavoro di esportazione dello schema in Wikidata. Si prevede dunque una modalità di lavoro asincrona, che può divenire sincrona tramite condivisione schermo, sebbene solamente si operi solamente da una postazione. Si valuta inoltre l’impiego futuro di GitHub per permettere invece la sovrapposizione e il confronto tra versioni differenti riconciliabili. Avendo stabilito il modus operandi, la fase successiva è stata quella di sistematizzare e correggere gli errori di battitura principali presenti nel dataset di partenza (maiuscole, minuscole, plurali o singolari). Procedendo di colonna in colonna, si sono riscontrati errori tramite l’apertura della finestra dei filtri per testo. Attraverso l’impiego di flag e star, è stato agevolato il processo di ricongiungimento dei campi relativi ad un’unica architettura spezzata su più righe e di eliminare i duplicati (tutti > modifica righe > rimuovi righe combacianti), giungendo da 17833 a 17826 righe totali. Sono stati inoltre eliminati gli spazi che fungevano da fonte di errore attraverso la funzione trim. Inoltre, attraverso la funzione cluster, è stato possibile operare modifiche su più righe come nel caso della colonna della denominazione dei beni, raggruppando ad esempio le nomenclature delle chiese affini e uniformandoli, valutando di volta in volta se mantenere le differenze o meno, cercando di trovare la soluzione grammaticalmente corretta, oltre che accettata maggiormente dalla community wikimediana (cosa fare in Casa di Casa di Gorni --> inserirlo la denominazione ufficiale SIRBeC in alias e nominare la scheda Q con la dicitura più scorrevole). Durante questa fase è stata riscontrata la necessità di creare successivamente la scheda Wikidata per la tipologia architettonica del tempietto ossario, qualora non la si associ alla tipologia cappella ossario. Nel caso della Casa di via Pietro fortunato 3-7, si fa riferimento a elementi SIRBeC differenti rispetto all’omonimo al civico 37, per cui si sottolinea la necessità di controllare di volta in volta le unioni per cluster, al fine di ridurre al minimo l’errore nonostante le affinità. Attraverso espressioni di trasformazione sono stati inoltre eliminati dalla denominazione del bene i riferimenti alla tipologia di complessità del bene (eg.: “- complesso”).
15 febbraio
Sapendo già i dati utili alla futura esportazione in Wikidata, sono state eliminate le colonne relative all’ubicazione non viabilistica, autori, stile/scuola, datazione, uso attuale e uso storico. Le colonne relative alla provincia, nonostante non siano di interesse, serviranno al controllo incrociato al momento della riconciliazione dei comuni. In seguito, è stata operata la trasformazione dei record delle coordinate, eliminando le parentesi tonde per permettere il loro inserimento nel formato previsto dalla proprietà coordinate geografiche di Wikidata. Dopo queste operazioni di pulizia dati, si è avviata la riconciliazione dei comuni. Per poter riconciliare i comuni unreconcliated e none – tramite la finestra dei filtri che è recuperabile ad ogni riapertura del progetto da riconciliazione > faccette > per giudizio - è stato necessario intervenire manualmente per i casi di ex comuni, oggi frazioni di città di recente costituzione (former municipality Q19730508) o municipality seat (Q15303838) - in quest’ultimo caso si auspica l’uso di un bot (eg.: Cavallasca), aggiornando il dato attuale corretto e trasferendo nella colonna località il dato originario. Infatti, la riconciliazione sul tipo commune of Italy (Q747074) non ritrova tutti i comuni o ex comuni.
17 febbraio
Successivamente è stata avviata la riconciliazione sulla colonna del numero scheda SIRBeC, ritrovando 2499 elementi su Wikidata sui 2768 riscontrabili dall’elenco generato grazie al bot Listeria (vedi qui) e riscontrabile anche su Wikidata Query Service con i seguenti comandi SELECT ?item WHERE { ?item wdt:P3503 ?sub0 }
. Inoltre, sono stati aggiunti i dati manualmente della denominazione del bene complesso e del numero scheda bene complesso che risultavano blank da quest’ultima colonna. Per ottenere un maggior numero di riscontri, si preferisce la riconciliazione sulla SIRBeC con vincolo di Comune (P131), presupponendo di poter massivamente aggiornare le schede già esistenti su Wikidata con i dati mancanti da OpenRefine. In questo modo si individua il primo gruppo di architetture su Wikidata con già il Codice SIRBeC, sottraendolo tramite filtri alla ricerca del secondo gruppo di elementi, ovvero item esistenti su Wikidata ma senza il SIRBeC, effettuando una nuova riconciliazione sulla denominazione con vincolo comune. Sottratti con filtro i bene componenti, al fine di prendere in considerazione i soli beni individuo e complessi per una maggiore sicurezza nell’operazione di matching massivo nei casi di corrispondenza con valutazione 100, per proseguire poi con il matching manuale per tutte le riconciliazioni con valutazione da 70 in su WHY (riconcilia>faccette>miglior score dei candidati).
18 febbraio
Indagine sulla possibilità di riconciliazione complessa e come strumento di lavoro l’impiego.
21 febbraio
Riconciliazione denominazione con vicolo comune, molti senza label da individuare meccanicamente. Emersa problematica di lavoro poiché le anteprime degli elementi su Wikidata sono visibili, e dunque utilizzabili per la riconciliazione manuale solo dall’operatore che ha svolto la relativa riconciliazione nonostante il file su cui si lavora sia lo stesso. È possibile ovviare a ciò ripetendo ciascun operatore la riconciliazione. Si utilizza inoltre Discord per la duplice condivisione dello schermo e per non appesantire la RAM sul web e velocizzando quindi i processi su OpenRefine. Si segnala la presenza dal catalogo lombardo di un doppio identificativo per un’unica architettura, eg.: Palazzo Giovio (doppio id da inserire).
22 febbraio
Una volta stimata la possibilità di esportazione tramite QuickStatements anche per l’integrazione di record di specifiche colonne in schede Wikidata già esistenti, coinvolgendo sia il primo gruppo di architetture matchate sulla chiave del numero della scheda SIRBeC (2474*), sia il secondo gruppo di elementi riconciliati su chiave denominazione con vincolo comune, si rende possibile l’integrazione nel primo caso volta all’arricchimento con informazioni note dal catalogo regionale, nel secondo l’inserimento dell’identificativoLombardiaBeniCulturali di un edificio che permette il collegamento tra i due dataset. Vd: <https://www.wikidata.org/wiki/Help:QuickStatements#Add_simple_statement>. Inoltre, si valuta il possibile impiego di bot per rendere omogenea la situazione relativa alle unità amministrative soppresse (eg.: Alta Valle Intervi) e le former city [sentire Luca a riguardo]. Una breve parentesi va dedicata ad un altro meramente pragmatico del lavoro. Importando il progetto, non vengono mantenute le riconciliazioni manuali, per cui si valuta l’estrazione e la conseguente applicazione delle singole operazioni, che OpenRefine registra progressivamente in uno storico, che possono dunque essere scambiate tra gli operatori condividendo il testo relativo in JSON. Per questo è necessario aggiornare le singole operazioni via via che queste vengono elaborate, per non perderne traccia ed evitare computi numerici differenti e lavoro ridondante su entrambe le postazioni. A seguito di ciò, è stato messo a fuoco come poter recuperare il gruppetto di 269 elementi, appartenenti al primo gruppo di elementi esistenti con già presente il codice SIRBeC, che non sono stati individuati dalla riconciliazione sul tipo building, ma che sappiamo esistere dalla sopracitata lista su Wikipedia. Isolando le colonne di nostro interesse, sia su OpenRefine sia dal file csv estraibile dalla tabella di architetture con SIRBec in Wikidata, sono state poste a confronto su Excel e infine caricare come nuovo progetto su OpenRefine. Preliminarmente alla riconciliazione su NUM_SCHEDA_SIRBEC, si duplica questa stessa colonna al fine di conservare l’identificativo, chiave nel confronto appena esposto, che si perde una volta effettuato il matching. Si individuano 321 elementi rimanenti (70 blank), successivamente riconciliati su struttura architettonica (, scuola (14); serie di dipinti (1); GLAM (19 tra cui il Museo civico Treviglio BG080-00007), di frequente si individua l’istanza di cascina (intesa come insieme di edifici che quindi posso costituire un insediamento urbano eg.: cascina Gavazzo trovata su building), sebbene in un caso si riscontra un errore poiché si fa rimando all’omonimo comune italiano: Cascina Fontana), portale (quindi elemento architettonico) o ancora foresteria, chiesa non trovata perché istanza di chiesa cattolica (2, di cui una da non considerare, vd. Sotto al 24.02), edicola (1), bene immobile (2 rettificati con istanza di palazzo), albergo (trovato su building) e università (unimi) non riconciliate poiché l’istanza è riferibile piuttosto all’ente che all’edificio e nel catalogo SIRBeC è tipo architettura ospedale, associato a Ca’ Granda, insediamento urbano, quartiere, monumento storico che in catalogo SIRBec è tempio civico). Se ne deduce che la varietà di istanze attribuite agli item, non sempre riconducibili all’elemento base building, sia all’origine di questa frammentazione che tuttavia ha permesso la correzione di errori individuati nel percorso di riconciliazione. Si segnalano due casi di sostituzione idLombardia edificio al posto di toponimo, eliminati Tolcinasco eg. (https://www.wikidata.org/wiki/Special:Contributions/2A02:8109:B540:99E4:D9D6:188B:3AD9:51E5 https://www.wikidata.org/w/index.php?title=Q3992388&action=history). Corretto su Wikidata l’id regionale “0065” incompleto.
24 febbraio
Focus su possibile problematica nella riconciliazione e conseguente matching sulla tipologia architettonica, in previsione dell’inserimento di questo tipo di record in qualità di istanza di nello schema di Wikidata. Si segnalano la chiesa di Santa Maria d’Ognissanti di Pavia, ritrovata dal bot ma non presente del db lombardo delle architetture quanto in quello delle sculture in qualità di oggetto e opera d’arte (https://www.wikidata.org/wiki/Q101500286, https://www.lombardiabeniculturali.it/opere-arte/schede/r0920-00319/); la scheda di catalogo della regione Lombardia relativa all’Università di Milano, riferibile all’architettura storia dell’ospedale, è stato corretto associando il codice correttamente a Ca' Granda. Problema omonimia elementi ma istanze diverse (vd. Cascina in riferimento alla località/frazione o architettura) emergerà come problema nell’esportazione in QS, cercare di aggiungere proprietà distinto da in questi casi.
La problematica dell’aumento degli identificativi LombardiaBeniCulturali, ascrivibile al contributo di membri della community e riscontrabile dall’aggiornamento del bot, è risolvibile rilanciando riconciliazioni poco prima dei caricamenti massivi. Inoltre, grazie al template Constraint violation [1], si individuano casi particolari di item da controllare prima del nuovo confronto fra gli item con IdLombardia di un edificio da Wikidata Query Service (2811) e quelli precedentemente individuati tramite la riconciliazione su OpenRefine.
- Errore caricamento prob da https://www.wikidata.org/wiki/Q102175468 corretto sosoti
- Cascine anche comuni soppressi eg.: https://www.wikidata.org/wiki/Q3559059 , nel momento in cui si esporta su QS aggiungere proprietà distinto da.
- Corretto Chiese Sant’Apollinare a Baggio, Milano per presenza dati scorretti.
- Tra i “single value” violations si segnalano:
- doppie schede SIRBeC nel seguente caso, da comunicare alla Regione Lombardia per evitare le ripetizioni delle schede di catalogo (situazione analoga a Palazzo Giovio per cui si è deciso di mantenere il doppio id): https://www.wikidata.org/wiki/Q57750432 .
- Nel caso di Cascina Villarossa (Q3559059), su Wikidata corretta associazione tra beni componenti e complessi, ma errato considerarla comune soppresso: problema voce Wikipedia
10 marzo
Accertata la possibilità di aggiornare tramite QS solo alcune proprietà nelle schede su Wikidata, funzionalmente all’espletamento del primo e secondo gruppo individuato nel db SIRBeC (elementi riconciliati sull’idLombardiaBeniCulturali e elementi riconciliati su denominazione con chiave paese), emerge la necessità di effettuare un controllo successivo al caricamento dato che non dovremmo poter sapere se viene aggiunto un valore già esistente o se inserito ex novo. Nel caso della descrizione di spunta la possibilità di sovrascrivere se esiste dallo schema Wikidata, e per altre proprietà, quali designazione del patrimonio culturale, indirizzo e coordinate (sufficienti 6 cifre), si ritiene opportuno inserire come fonte dell’affermazione SIRBeC. Inoltre, si auspica la segnalazione in GitHub dei problemi relativi alla visualizzazione dell’anteprima qualora la riconciliazione non sia effettuata in loco, ostacolando il lavoro in team. Inoltre, tenere a mente problemi che emergono nella creazione dello schema per individuare ulteriori errori.
11 marzo
Violazioni valore unico → stesso id per chiesa e convento(palazzo), una volta eliminate da chiesa (con proprio id che verrà integrato con QS), eg.: del complesso della chiesa di San Cristoforo a Lodi (LO620-00018) riconciliato con palazzo omonimo, non corretto, da ripetere quindi riconciliazione. Matching della tipologia architettura manuale, ai fine dell’inserimento in qualità di istanza di. MEMO: Stalla-fienlile gruppo non riconciliato per distinguerlo da stalla e fienile per aggiungere doppia istanza al momento della creazione schema per WD. Da '''edificio a schiera''' lavoro in asincrono con scambio cronologia per velocizzare il processo.
- ? Nell'esportazione mantiene nome dal db originario o assume il testo generato dalla riconciliazione+matching?
- Problema riconciliazione CO180-00030 non risolto con matching sulla tipologia building o le altre tipologie specifiche di edifici individuati perché associato con la scheda id cervical cancer (Colonnato di St. Cecilia)
14 marzo
Finito matching per tipo architettura: PV230-00285 esistendo già la scheda Wikidata con istanza di palazzo, si asseconda il tipo architettura proposta nel SIRBeC che sottolinea come la parte del maschio del castello sia poi stato trasformato in palazzo. Arengario di Brescia BS400-00622 storicamente noto così anche e l’istanza non corrisponde alla definizione intesa nel nome, si propone elemento architettonico essendo arengario presente già nel nome dell’elemento che si verrà a creare. Nel caso della casaforte, casa-torre inserito Casaforte essendo la casa torre una sua sottoclasse, oltre ad essere presente nel nome la “torre”.
15 marzo
Per i tipi di architettura Cementificio e Impianto idrovoro si valuta l’istanza di architettura industriale o edificio industriale anche se da preferire il primo poiché in caso di complesso di edifici risulta più idoneo. Nel caso della Serra, usata oggi come biblioteca/asilo, si prevede l’uso di più istanze. Nel caso dell’ala del palazzo vescovile, istanza del palazzo di riferimento o parte di un edificio Q19603939? Pozzo --> non pozzo in strictu sensu perché si tratta di edifici che ospitavano il pozzo vero e proprio?
17 marzo
Fixati i blank dei beni complessi di riferimento, effettuata la riconciliazione sull'identificativo SirBeC e contemporaneamente su Comune per ridurre al minimo il margine di errore. Effettuato il planning delle riconciliazioni future.
18 marzo
Ok in schema wikidata doppia istanza con creazione ulteriore colonna e tipo architettura modificata.
- Tutti i dubbi relativi alle violations sono flaggati con stella:
- Cascina Vigadore ha più elementi duplicati sul db lombardia (così sembra), esiste poi l'elemento su wikidata con 3 schede sirbec diverse. Per ora ho soltanto tolto ilmatching a tutti gli elementi RISOLTO
- Castello di Chignolo Po è bene complesso con solamente sè stesso come bene componente, le schede differiscono solamente sulle coordinate, eliminerei il bene componente,anche qua ho tolto il match
- Cascina paderno, altro duplicato su lombardia. due beni complessi con le stesse proprietà, stesso indirizzo cambiano di poco le coordinate (77metri), tolto il match
- Cascina Ca' Repellini sono due cascine con lo stesso nome ma il civico diverso, una è il numero 1 l'altra il numero due, semplicemente passa in mezzo una strada, unmatch
- Cascina Ca' Repellini sono due cascine con lo stesso nome ma il civico diverso, una è il numero 1 l'altra il numero due, semplicemente passa in mezzo una strada, unmatch
- Cascina Bosco Repellini stessa identica cosa, in realtà anche stessa strada (quasi)
24 marzo
Pubblicazione su Wikibar e WikiProjects. Trasformazione della tipologia bene componente in bene individuo per tutti i blank nel SIRBeC del bene complesso di riferimento. Eliminazione dallo schema Wikidata dell’identificativo SIRBeC in preparazione dell’esportazione su QS del primo gruppo di elementi.
25 marzo
Prova di integrazione di proprietà del primo gruppo (item già su Wiki con già identificativo LombardiaBeniCulturali di un edificio) nel cui schema è eliminata la proprietà chiave per evitare ridondanze, con un gruppo di 10 tuple appartenenti a tipologia bene individuo. Situazione di partenza su un totale di 17826 righe:
- 2477 matched (poi 2454) di cui 820 complessi, 199 componente e 1458 individuo (poi 1435)
- 15349 none.
Problemi:
- coordinate
- Problema etichetta alias non sovrascrivibile se esiste → solo alias
Non risulta possibile inserire le coordinate come valore preferito nel momento in cui esiste già un valore per la stessa proprietà. Si considera l'utilizzo di Strumento OLAF per permettere un lavoro di fino per il confronto di piccoli gruppi.
Divisioni per provincia: MI, BG, MB, VA e le restanti.
In vista di una futura possibile importazione degli id WikiLovesMnumentsItalia e delle Categorie di Commons, gli elementi già importati/creati non verranno sotratti al db in locale per cancellazione ma saranno flaggati.
Inoltre, essendo stata inserita la colonna con una seconda istanza per le architetture di questo primo gruppo, riconciliati e inseriti nello schema.
Inizio relazione con Regione con dati alla mano per proposta liberazione dati e segnalazione errori in db di partenza. Cell.recon.match.name Bandierinati violazioni da lasciare indietro alla esportazione del primo gruppo dei beni complessi.
Chignolo po castle, Cascina Paderno (Q63960779), cascina bosco repellini, da creare subito e inserire rapporto con item nuovo da creare del bene complesso di riferimento e le proprietà parte di e consiste di. Duplicati complessi corretti.
31 marzo
Importazione del gruppo di item matchati del tipo architettura complesso (n. 801), previa impostazione dello schema in cui si aggiunge l'istanza di "complessi di edifici". Caricamento suddiviso per province: Lodi, Como e le restanti. Se per le architetture componenti è possibile inserire la proprietà "parte di" tramite OR e QS - a seguito della riconciliazione del numero scheda SIRBeC del bene complesso di riferimento, il reciproco inserimento della proprietà "consiste di" per gli item delle architetture complesse. A tal proposito, si propone l'uso di un bot per inserire in Wikidata tale relazione per tutti i beni complessi. Inoltre, a conclusione di tutte le esportazioni integrative, si auspica la creazione di un elenco degli item interessati dal db regionale che presentano coordinate doppie per permetterne il controllo e quindi, conseguenzialmente la modifica per l'indicazione del valore preferito e quello sconsigliato (da pubblicare quindi in Wiki Project Italia).
Per quanto concerne i beni componenti del primo gruppo (n. 190), esistente su Wikidata e con già l'id del SIRBeC, se ne riconciliano 103, lasciando fuori 87 elementi. Alcuni da questo ultimo gruppo, si riferiscono a beni complessi non ancora creati (eg.: 1A060-00061, borgo murato complesso) e saranno quindi messi da parte fino ad allora.
MEMO per QS
- velocizzare processo di import con QS
- nominare batch
Glossario
Di seguito sono riportati alcuni termini e acronimi ricorrenti, con le relative definizioni:
- bene complesso: bene costituito da più beni individui (ad esempio, una cascina può essere un bene complesso formato da diversi edifici).
- bene individuo: bene con una struttura unitaria, che può essere parte di un bene complesso (ma non necessariamente).
- OR: OpenRefine, tool di data wrangling utilizzabile per pulire i dati tabulari e collegarli alle basi di conoscenza, inclusa Wikidata.
- QS: QickStatements, tool per la creazione e modifica massiva di elementi su Wikidata.
- SIRBeC: Sistema Informativo Regionale Beni Culturali di Regione Lombaardia