Identifierare och relationer

Björn Hagström

@jonor Jag skulle säga att följande riktlinje från DIGGs andra vägledning är relevant i detta sammanhang. Det är att betrakta som en e-tjänst även om den kanske inte har ett webbgränssnitt:
https://webbriktlinjer.se/riktlinjer/6-tillhandahall-e-tjanster-pa-en-webbadress-som-tillhor-myndigheten/

@jonor Wikidata Egenskapen Open Data portal jag begärde en egenskap på Wikidata 24 jun 2020

den skapades 4 jul 2020
sedan matade jag in så många jag hitta se karta

min vision var
- steg ett var att enklare börja hitta dataportalen och att Google hittar den se hur snabbt Google läser Wikidata tweet
  - att om det blir bra så skulle alla Wikipedia artiklar om ex. en kommun kunna ha en länk till deras öppna dataportal var min tanke... tanken möttes med försiktig positiva kommentarer (att inför förändring på Wikipedia är oftast halvt omöjligt )
steg 2 var att beskriva enskilda dataset. Jag slog ihop en POC med Wikibase se sweopendata.wiki.opencura.com
- samtidigt med detta då jag fortfarande trodde på Öppen data så var tanken att hämta från alla kommuner exempelvis deras vindskyddsdata se blog , lesson learned ofta visste en kommun inte vad Öppen data är....
försökte även få in metasolution och dataportalen eller så är det någon annan man skall prata med (tror tyvärr att metasolution ser Wikidata som ett hot än en möjlighet men vi har väl alla olika agendor

Jag har nog backat 10 år på mina visioner....

skall saker hända så måste det till saker som JobTech och Fastighetslab .... röran med badplatser pekar på att vi efter minst 6 års jobbande med Öppen data kanske mer ser brister än framsteg....

Frågan om realtidsuppdateringar är väl också intressant. Samlas data in löpande till Wikidata från public service och andra som publicerar nyhetsartiklar och media t.ex.?

Som med alla frivilliga communities så är Wikidata spretigt man gör det man tycker är kul

Börjar Öppen data levereras mer proffsigt så kan nog någon synkronisera det nedan vad några försökt göra men som det är även i denna diskussionsgrupp är att dom som sitter på dataset är svåra att hitta/kommunicera med

Riksdagens ledamöter kollar en engelsman tweet
/ GITHUB
- tror även motioner etc. uppdateras av Robin etc... se "Analysera rikspolitiken med hjälp av Wikidata" / video om HD beslut
Nobelpriset har jag en Jupyter notebook
Svenskt Kvinnobiografiskt lexikon har jag uppdaterat med Jupyter notebook - men har sagt till dom att jag inte gör det längre men att dom enkelt kan göra det själva
Litteraturbanken samma där Notebook - men har slutat uppdatera
Riksarkivet SBL har inget API men jag gjorde webskrabing med en Notebook
- lite "intressant" att Riksarkivet var ansvariga för Öppen data 2016 men har inte ens API till sitt eget data...
osv....

jonor

@salgo60 Tack för bakgrunden, kul att veta hur det gjordes och bra insats med att registrera dataportalerna. Ja det går förstås att se historiken för när och hur en egenskap infördes och populerades på Wikidata, att den möjligheten finns är man ju inte riktigt van vid.

Jag såg också att det tidigare fanns en egenskap för "external data available at", men att den endast var definierad som ett textvärde snarare än en entitet som kan ha egenskaper i sig.

@jonor det var ett infall jag hade.... jag hade kollat på data.europa.eu (EDP) se min Jupyter Notebook och dit skickar svenska dataportalen text strängar med språkkod vilket är helt fel 2021

Fick inget svar av dom varför dom gör så fel.... ställde senare en fråga på en workshop se video om att Google Dataset Search Engine har kunskapsgraf min fråga vid 54 min om att EDP springer åt fel håll som skickar textsträngar. Särskilt när det är Europiska dataset med massor med olika språk.... gissar att ordet kommuner inte är självklart i hela Europea utan bättre kommunicera med en graf

Jag har försökt lyfta detta på GITHUB DIGGSweden/DCAT-AP-SE/issues/84 men får en sur bismak att den specen drivs för att passa Metasolutions produkt plus att DIGG känns för svaga på kunskapsgrafer och att förstå länkade data så dom kan inte driva detta mot EDP.... känns som Open Data har svårt att lämna startblocken....

/med hopp att jag har fel

jonor

@salgo60 Ja jag provkörde OpenRefine lite i dagarna, och det framstår som att en uttalad målsättning vid publicering av data borde vara att förebygga och undvika rekonsiliering/manuellt arbete med sammanställningar.

Alla instanser som arbetar med arkiv och register borde väl också vara fullt medvetna om nyttan med och användningen av referensnummer och standardiserade egenskaper, det måste ju tillhöra den grundläggande praktiken i den världen.

När det gäller ekonomidata är det kanske sämre med standardisering och identifiering av betydelser av olika fält, men det beror väl på ev. bakomliggande redovisningskrav också.

Med en referens för fältegenskapen skulle den ju enkelt kunna översättas till önskat språk.

Jag vet inte i vilken mån detta återspeglas i styrningen av offentlig datapublicering i dagsläget. Det borde kanske finnas någon form av beställarroll som checkar av att detta fungerar och tillgodoses i publicerade datamängder så man undviker onödigt arbete vid nyttjande.

Ex. på rekonsiliering i Refine:
https://youtu.be/5tsyz3ibYzk?t=205

@jonor coolt... för mig tog det 2-3 veckor innan jag blev kompis med Open Refine.... min gamla trötta hjärna fick kortslutning

Japp det är så självklart för den som använder datat att data skall vara länkat....

I FB gruppen OpenGov publicerades en länk till en DN artikel "Till stora kostnader samlas data in som aldrig används”" där vi kanske har förklaringen som är så enkel att ingen använder dagens data.... 5 års jobb och ingen använder data
""Intresset för att samla in och bearbeta data inom offentlig sektor åtföljs ofta av ointresse att använda sig av dessa data.""

studie som verkar peka på att Öppen data inte används och i såfall spelar det ju inte så stor roll

Jag är lite rädd att en organisation som DIGG inte lyckas anställa folk som är "data scientist" och vill jobba med data och skapa ett svenskt ekosystem.... utan fokus blir mer att leverera en pdf och inte göra skitgörat som det är att styra upp och tvätta data och ha en prioriterad backlog. Att DIGG på 2 år skapat ett dataset kanske visar denna Digitala brist på vision..... kollar man vad som ramlat in enligt datahamstern var det 2164 uppdaterade dataset nu senast gissa om detta 100000 dubblas om vi får fart på kommuner och myndigheter och att sitta med fritextsökning funkar inte.... Wikipedia insåg detta 2012, Google 2012 ....

Snyggt exempel på Kunskapsgrafer vs. text strängar idag skickas datat vidare till Europeiska dataportal där svenska kommuner är en text sträng med en språklabel om jag förstått det rätt

I WIkidata som är långt från perfekt utan enligt mig mer ett socialt experiment kan vi fråga efter

alla administrativa enheter på nivå 2 = Svenska kommuner
Q13220204 är WD objektet för nivå 2
- 1692 av dessa objektet har P3896 som är ytan --> vi kan visa en karta över objektets utbredning (saknas mycket i Sverige) dvs. skulle vi kunna få bra data så har vi en infrastruktur som är enormt spännande och skalar snyggt till hela världen....

lite intressant att vi lyckats få bättre data från Malawi

OT Exempel på verktyg Wikidata har för att kolla kvaliten på exempelvis Svenska Badplatser länk känns också saker DIGG borde ha i sin portfölj för att styra upp Öppen Data och kunna se var det behövs bättre data kvalitet, nu verkar man lyssna på EDP som räkna antal uppladdade dataset...

länk

jonor

@salgo60 Jag känner också att det kan behövas några veckor för att komma in i Refine, även om introduktionsvideorna var ganska bra. En del saker är svåra att komma på hur man ska göra även om man har en idé om vad man vill konceptuellt. Det verkar vara lite av en hybrid av UI och ett expression language API för mer avancerade operationer.

Jag får 2 träffar på dataset från DIGG på länken, Status och Leverantörsfakturor, men de kanske har ramlat in med två års mellanrum. Det kan ju vara en övning att försöka hitta historiken i metadatan för dataseten.

Hade hört talas om den artikeln på DN och tänkte försöka läsa den, det låter intressant. Hörde också om en annan debatt-artikel som tar upp att Sveriges som det verkar lite speciella decentraliserade administration har lett till en inofficiell centralisering.

https://www.dn.se/debatt/man-och-invandrare-borde-ha-prioriterats-i-vaccineringen/

DN DEBATT 24/4. Bo Rothstein
...
Som Riksrevisionens rapport gör klart leder denna ”uppgörelsestyrning” till minskad offentlig insyn och, som det nu med fatala konsekvenser visat sig, ”otydlig ansvarsfördelning”.
...
Riksrevisionens rapport slår fast följande: ”Många gånger har regeringens insatser syftat till att höja ambitionsnivån, men Riksrevisionen bedömer att dessa inte har inneburit nya åtaganden för kommuner och landsting.”

Intressant med sidan med täckningsgrad för egenskaperna, jag hade själv börjat tänka i de banorna hur man kunde få en översikt över hur komplett information är inom ett område.

@jonor ring om du har problem med Open Refine 0705937579 jag finns även på Telegram salgo60 Har nog ett antal video som svar på email till andra du har även bra support på Gitter och GITHUB

finns även bra på programminghistorian.org exempel "Fetching and Parsing Data from the Web with OpenRefine" där man webscrapar och hämtar från API

jonor

@jonor sa i Identifierare och relationer:

Det kan ju vara en övning att försöka hitta historiken i metadatan för dataseten.

Utgivningsdatum för ett dataset skulle isf. heta "issued" enligt DCAT?
Jag kan inte hitta det i metadatan från DIGG:s dataset.

https://docs.dataportal.se/dcat/sv/#dcat_Dataset-dcterms_issued

Egenskap http://purl.org/dc/terms/issued
Kravnivå Rekommenderad

https://admin.dataportal.se/store/760/metadata/1536?recursive=dcat
https://admin.dataportal.se/store/760/metadata/1544?recursive=dcat

@jonor jag är inte alls kopis med docs.dataportal.se/dcat tycker inte jag hittar mycket som är intressant. Jag skulle vilja koppla ihop organisationer i Wikidata med deras organisations identifierare i dataportal.se så kan du hitta denna koppling så kan vi begära att skapa en Wikidata egensak

Dennis_Priskorn

@salgo60 Det låter som en bra idé, tyvärr verkar dataportalen sådana här adresser till organisationer:
https://www.dataportal.se/sv/datasets?p=1&q=&s=2&t=20&f=http%3A%2F%2Fpurl.org%2Fdc%2Fterms%2Fpublisher||http%3A%2F%2Fid.kb.se%2Forganisations%2FSE2021000837||false||uri||Organisationer||Statistikmyndigheten SCB - Statistiska centralbyrån&rt=dataset%24esterms_IndependentData

där identifieraren är
http%3A%2F%2Fid.kb.se%2Forganisations%2FSE2021000837%7C%7Cfalse%7C%7Curi%7C%7COrganisationer%7C%7CStatistikmyndigheten%20SCB%20-%20Statistiska%20centralbyr%C3%A5n&rt=dataset%24esterms_IndependentData

lycka till att göra en regex på den

här finns en till
https://www.dataportal.se/sv/datasets?p=1&q=&s=2&t=20&f=http%3A%2F%2Fpurl.org%2Fdc%2Fterms%2Fpublisher||https%3A%2F%2Fpensionsmyndigheten.se%2Fpublisher1||false||uri||Organisationer||Pensionsmyndigheten&rt=dataset%24esterms_IndependentDataService%24esterms_ServedByDataService

@jonor sa i Identifierare och relationer:

Intressant med sidan med täckningsgrad för egenskaperna, jag hade själv börjat tänka i de banorna hur man kunde få en översikt över hur komplett information är inom ett område.

I en öppen community som Wikidata är kvaliten ett problem, särskilt om det inte finns bra öppen data från auktoriteter. Du har en bra sessions från 2019 där Lydia Pintscher pratar om hur dom tänker en annan intressant aspekt är att data i Wikidata är enkelt att använda så många forskar på Wikidata se scholia.toolforge.org/topic Wikidata lista senaste forskningsrapporter

OT exempel hur datat hämtats av andra är att nu har data från WIkidata om svenska badplatser hämtats av en A Elias och visualiserats snyggt

Kristine_

@salgo60 sa i Identifierare och relationer:

@jonor det var ett infall jag hade.... jag hade kollat på data.europa.eu (EDP) se min Jupyter Notebook och dit skickar svenska dataportalen text strängar med språkkod vilket är helt fel 2021

Fick inget svar av dom varför dom gör så fel.... ställde senare en fråga på en workshop se video om att Google Dataset Search Engine har kunskapsgraf min fråga vid 54 min om att EDP springer åt fel håll som skickar textsträngar. Särskilt när det är Europiska dataset med massor med olika språk.... gissar att ordet kommuner inte är självklart i hela Europea utan bättre kommunicera med en graf

Jag har försökt lyfta detta på GITHUB DIGGSweden/DCAT-AP-SE/issues/84 men får en sur bismak att den specen drivs för att passa Metasolutions produkt plus att DIGG känns för svaga på kunskapsgrafer och att förstå länkade data så dom kan inte driva detta mot EDP.... känns som Open Data har svårt att lämna startblocken....

/med hopp att jag har fel

@salgo60
Metadataspecifikationen är en anpassning av W3C DCAT - EU:s DCAT-AP. Den svenska anpassningen och tolkningar har gjorts i samarbete i en referensgrupp av experter, som även står omnämnda i specen. Sen är den informationsmodell inte "perfekt", men där är Sveriges linje att i första hand följa och bidra till utvecklingen på EU-nivå snarare än att uppfinna något själva.

Det finns säkerligen mycket outforskat gällande hantering och användning av nyckelord. Det kommer från W3C-specen. Det får isåfall utvecklas i kommande versioner av W3C och i takt med utvecklingen inom EU-kommissionen.

Den issue du hänvisar till på github gäller frågeställningar som relaterar till att tillgodose lagkrav i lagen om digital offentlig service. För detta ska organisationer som publicerar metadata även uppge språkangivelse på metadatan. Annars kommer språkuppläsningsverktyg inte fungera på ett bra sätt. Det är lagkrav och något som vi och andra som publicerar till dataportalen ska förhålla sig till. Propertyn language kommer från W3C DCAT så återigen det är inte heller någon som DIGG har hittat på själva.

Vänliga hälsningar,
Kristine

jonor

@Kristine_ @salgo60 Hej, jag är inte helt med i vad det här exemplet med fältnamn på svenska i EU-dataportalen gäller. Är fältnamnen värden för något annat metadata-fält? Går det att förtydliga eller konkretisera var och hur problemet uppstår, t.ex. vad som skickas från dataportalen.se och var det hamnar i EU-datan, om det nu fortfarande är aktuellt?

@salgo60 sa i Identifierare och relationer:

@jonor det var ett infall jag hade.... jag hade kollat på data.europa.eu (EDP) se min Jupyter Notebook och dit skickar svenska dataportalen text strängar med språkkod vilket är helt fel 2021

Källan till exemplet från EU:s dataportal verkar inte fungera.
https://www.europeandataportal.eu/data/api/datasets/https-catalog-skl-se-store-1-resource-38.jsonld?useNormalizedId=true&locale=en

=> Parameter catalogue and useNormalizedID are both missing. Please set one of them.

@kristine_ sa i Identifierare och relationer:

. Det är lagkrav och något som vi och andra som publicerar till dataportalen ska förhålla sig till. Propertyn language kommer från W3C DCAT så återigen det är inte heller någon som DIGG har hittat på själva.

Propertyn language som refereras gäller för "Catalogued Resource", men det exemplifieras i definitionen med värden för titel eller beskrivning, inte för fältnamn.

https://www.w3.org/TR/vocab-dcat-2/#Property:resource_language

Definition: A language of the item. This refers to the natural language used for textual metadata (i.e. titles, descriptions, etc) of a cataloged resource (i.e. dataset or service) or the textual values of a dataset distribution

Kristine_

@jonor

Jag tolkar det som att det som @salgo60 refererar till är huruvida det är lämpligt att ha fritextfält som "nyckelord" . Vi tycker att det skulle vara positivt om man skulle inkludera fler standardiserade vokabulärer och djupare kategorisering än vad som idag erbjuds. Sedan är det en balansgång då DCAT är tänkt att vara domänövergripande, och är därmed inte framtagen att täcka in alla domäner på en detaljerad nivå. Som ni har varit inne på tidigare så drivs utvecklingen framåt både vad gäller standarder, identifierare och vokabulärer inom EU vilket är positivt.

Propertyn Language används vid fritextfälten. Vår rekommendation är att man ska översätta fritextfält (som t.ex titel och beskrivning) till åtminstone engelska. Men det finns även andra fritextfält. För de fält där man väljer mellan färdiga värden, t.ex. kategorier i form av URI:er, så finns redan översättningar till olika många språk.

Just att de säger "catalogued resource" handlar om att datamängder och tjänster är katalogiserade. Enligt DCAT är det katalogen är det som "omsluter" alla resurser som delas. Varje "nivå" i katalogen beskriver man enligt den gemensamma specifikationen. Logiken är att i katalogen beskriver man sina resurser i form av datamängder och datatjänster (API:er) . Datamängderna kan i sin tur ha en distribution som pekar ut vart/hur man får åtkomst till datan, t.ex via en fil, ett API, en webblänk etc.

Lite osäker på vilken källa din länken hänvisar till så förtydliga gärna det så kan jag kolla på det. Har upptäckt att det är lite olika saker som vi behöver adressera med europeiska dataportalen, så vi uppskattar era konkreta exempel som vi kan felsöka. Tack för er återkoppling.

För mer info; till de som publicerar metadata till Sveriges dataportal finns följande rekommendation om språk och språkangivelse:
https://docs.dataportal.se/dcat/docs/recommendations/#2-oversatt-fritextfalt-till-andra-sprak
https://docs.dataportal.se/dcat/docs/recommendations/#12-sprakangivelse

Vänliga hälsningar,
Kristine

jonor

@kristine_ Ok, det är väl de här mojängerna i metadatan som hämtas in då, jag hade inte förstått att det handlade om nyckelord just. Istället för att rada upp översättningar av ämnesorden skulle man då kunna använda eller komplettera med identifierare som lät dataportalen söka och koppla nyckelord mer effektivt, oavsett de språk de angetts bokstavligt i.

<dcat:keyword>Myndigheten för digital förvaltning</dcat:keyword>
<dcat:keyword xml:lang="sv">Inköp</dcat:keyword>
<dcat:keyword xml:lang="en">Purchase</dcat:keyword>
<dcat:keyword xml:lang="sv">Leverantörsfaktura</dcat:keyword>
<dcat:keyword xml:lang="en">Supplier invoice</dcat:keyword>
<dcat:keyword xml:lang="sv">Anskaffning</dcat:keyword>
<dcat:keyword xml:lang="sv">Procurement</dcat:keyword>

jonor

@jonor Det ser ut att finnas en egenskap i DCAT för koncept-referenser till skillnad från bokstavliga värden, men jag vet inte hur den används i praktiken, man ska gå via ett tillgängligt skos:ConceptScheme?

https://www.w3.org/TR/vocab-dcat-2/#Property:resource_theme

RDF Property: dcat:theme
Definition: A main category of the resource. A resource can have multiple themes.
Range: skos:Concept
Usage note: The set of skos:Concepts used to categorize the resources are organized in a skos:ConceptScheme describing all the categories and their relations in the catalog.

https://github.com/w3c/dxwg/issues/121#issuecomment-375074957

dcat:theme would always be preferred if a suitable SKOS ConceptScheme is available because you can more precisely test if different datasets are classified with the same skos:Concept, while dcat:keywords would involve text comparisons. But people still need to enter keywords as free text sometimes. Yes - more textual guidance is always helpful.

Kristine_

@jonor
Precis. Det finns en standardiserad kategorisering inrymd i den europeiska applikationsprofilen av DCAT via Theme/ sv Kategorier. Det är denna som ligger till grund för de olika kategorierna på startsidan samt filtret i sökfunktionen. Theme/Kategori är alltså en Proporty vars värde är ett begrepp (skos:concept).

Det är rekommenderat att ange ett eller flera teman för varje datamängd. Dessa teman är framtagna för att kunna skapa en första grov indelning. De teman som etablerats syftar till att vara lättförståeliga, hänga samman ämnesmässigt samt också skapar en någorlunda jämn fördelning av datamängder. Tyvärr räcker dessa 13 teman inte särskilt långt för att kategorisera datamängder, t.ex. det är helt klart att det finns många olika subkategorier inom t.ex trafik eller miljö som skulle kunna användas för att filtrera fram relevanta datamängder. På sikt kan man fundera på hur vilket sätt som fler eller djupare ämneskategoriseringar kan stödjas i Sverige. Det är något som vi har berört i olika sammanhang men har ännu inte något skarpt case. Allra helst vill vi såklart att EU driver detta så att man får alla medlemsländerna att gå åt samma håll.

jonor

@kristine_ Ja 13 kategorier låter kanske torftigt, kan inte dataleverantörer länka in begrepp från etablerade vokabulärer inom sina egna verksamhetsområden?

Kristine_

@jonor

Min bild är att DCAT-AP idag inte stödjer fler vokabulärer än vad som uttryckligen står i specen. Om vi skulle stödja fler vokabulärer eller skapa något fält som fungerar som key words, men som är t.ex länkar istället för fritext, skulle det vara en nationell utvidgning av specen.

Jag tar med mig frågan genom att skapa ett issue på DCAT-AP github yta här: https://github.com/DIGGSweden/DCAT-AP-SE/issues/86.
På så vis när specen står inför en uppdatering nästa gång tar vi med och behandlar den frågan.

Vänliga hälsningar,
Kristine