@josefinlassi Ja det låter ju som identifierare bör ligga under något namn avsett för registerföring och mer långsiktig förvaltning, då ligger kanske arkivmyndigheter eller dataförvaltare nära till hands. Jag gissar att det klarnar mer när man börjar använda URI:er och ställa frågor mot dem eller vill koppla ihop dem för egen del. Om DIGG ska stödja och hjälpa organisationer i detta behöver man nog kunna förklara hur det fungerar, gärna inbegripande exempel och fallstudier. Tack för tipsen om rekommendationer.

Apropå trådämnet, har dataportalens API-register URI:er och kopplingar till Wikidata?

Det ser ut som det går att skapa egna etiketter för nya trådar i forumet.

Samtidigt som man skapar en tråd under en existerande huvudkategori kan man ju då lägga till en etikett för den kanal man vill samla inläggen inom, och senare nå den via sidan för "taggar", eller via etiketten i trådrubriken.

Exempelvis finns redan etiketter för NOSAD, Internetstiftelsen, regioner, kommuner m.fl.

Etiketter visas i inläggsrubriker:

Hej, jag tittade på leverantörsfakturor.csv från DIGG.

https://www.dataportal.se/sv/datasets/760_1544/leverantorsfakturor

Det verkar som textfilen har en systemspecifik kodning (Windows-1252 eller ISO-8859-1?).

I metadatan står att formatet är text/csv, men jag hittar inte någon information om teckenkodningen.

Webbadress för åtkomst
https://catalog.digg.se/store/1/resource/33
Format
Vanliga mediatyper
CSV (.csv)

Borde inte teckenkodningen vara UTF-8 eller anges uttryckligen i metadatan så att konsumenten kan avkoda innehållet korrekt?

Lade märke till också att frågan om en standardteckenkodning togs upp i utkastet till specifikation för badplatser som refererades i en annan tråd:

6 . CSV-formatet
Det enklaste formatet att stödja är CSV formatet enligt RFC4180.
Utöver det som sägs i RFC4180 krävs alltid att informationen är uttryckt med teckenkodning UTF-8.

@ainali sa i Identifierare och relationer:

@jonor sa i Kategorisera API:er efter datasort:

Apropå trådämnet, har dataportalens API-register URI:er och kopplingar till Wikidata?

Vad tänker du att de ska koppla mot/länka till? Olika datasorter i Wikidata (exempelvis Q7300787 (realtidsdata) )?

Jag tänker mig t.ex. att det kan gå att hitta datamängder jag är intresserad av via Wikidata. Jag provade att söka efter kommunernas dataportaler och fick upp en lista där bl.a. Stockholms dataportal dök upp. Där kunde jag sedan leta vidare efter data.

https://w.wiki/3HTp

Sedan vore det intressant att veta om jag kan inkludera den nuvarande nationella dataportalen i sökningen också.

Dock ser ämnesmärkningen i de nationella portalerna ganska sporadisk och ojämn ut så långt jag sett. Jag föreställer mig att det kunde finnas möjligheter till friare kategorisering och koppling, och mer kraftfulla och enhetliga sökverktyg, om informationen finns representerad på Wikidata.

Jag tänker också på fallet där jag skulle vilja hitta datamängder av samma typ från Sverige och andra länder som jag skulle vilja göra jämförelser mot.

Jag vet inte hur informationen om kommunernas dataportaler hamnat i Wikidata, om det är av ideella krafter eller offentligt sanktionerat, men jag tycker det verkar värdefullt att den kan göras åtkomlig där för meta-sökning över spridda informationskällor.

Frågan om realtidsuppdateringar är väl också intressant. Samlas data in löpande till Wikidata från public service och andra som publicerar nyhetsartiklar och media t.ex.?

@kristine_ Ok, innehållet kanske borde ses över lite i en del andra avseenden också.

En del fakturanummer verkar ha formaterats som talvärden med vetenskaplig notation.

Här en icke kredit-faktura med negativt belopp? Jag vet inte om sånt händer, men det var ett udda fall i posterna.

I samband med det undrar jag också om talformatet för kolumner finns angivna i metadatan, eller hur vet man vid maskin-inläsning om komma eller punkt används som decimalavgränsare?

@salgo60 Ja jag provkörde OpenRefine lite i dagarna, och det framstår som att en uttalad målsättning vid publicering av data borde vara att förebygga och undvika rekonsiliering/manuellt arbete med sammanställningar.

Alla instanser som arbetar med arkiv och register borde väl också vara fullt medvetna om nyttan med och användningen av referensnummer och standardiserade egenskaper, det måste ju tillhöra den grundläggande praktiken i den världen.

När det gäller ekonomidata är det kanske sämre med standardisering och identifiering av betydelser av olika fält, men det beror väl på ev. bakomliggande redovisningskrav också.

Med en referens för fältegenskapen skulle den ju enkelt kunna översättas till önskat språk.

Jag vet inte i vilken mån detta återspeglas i styrningen av offentlig datapublicering i dagsläget. Det borde kanske finnas någon form av beställarroll som checkar av att detta fungerar och tillgodoses i publicerade datamängder så man undviker onödigt arbete vid nyttjande.

Ex. på rekonsiliering i Refine:
https://youtu.be/5tsyz3ibYzk?t=205

@jonor sa i Identifierare och relationer:

Det kan ju vara en övning att försöka hitta historiken i metadatan för dataseten.

Utgivningsdatum för ett dataset skulle isf. heta "issued" enligt DCAT?
Jag kan inte hitta det i metadatan från DIGG:s dataset.

https://docs.dataportal.se/dcat/sv/#dcat_Dataset-dcterms_issued

Egenskap http://purl.org/dc/terms/issued
Kravnivå Rekommenderad

https://admin.dataportal.se/store/760/metadata/1536?recursive=dcat
https://admin.dataportal.se/store/760/metadata/1544?recursive=dcat

@josefinlassi Hej, Jag tycker argumentet om att "alla ska kunna ta del" missar en viktig aspekt i sammanhanget, det handlar inte om att bara tekniskt kunniga människor ska få tillgång till datan, utan att den ska kunna användas och tillgängliggöras av flera, och fritt kunna presenteras på nya sätt som lika väl kan vara mer begripliga och lättillgängliga och snabbare nå ut än vad den ursprungliga utgivaren kan tillhandahålla. I exemplet om vaccinationsdata handlar det t.ex. om att presentera Folkhälsomyndighetens uppgifter i en sammanställning tillsammans med data från andra källor, på en sida tillgänglig för allmänheten, inte primärt att någon tekniskt kunnig person ska sitta och leka med den på sin hemdator.

Här låter det mer som att myndigheten vill begränsa spridning och behålla kontrollen över informationen för att se till att den tills vidare inte presenteras på annat vis än sådant utgivaren kan styra.

Ur den synvinkeln borde kanske det första steget vara att tillgänggligöra datan för att möjligöra alternativa presentationer och analyser som utgivaren på egen hand inte har resurser att genomföra.

I följande steg kan myndigheten gå vidare med att utifrån framtagen data på sitt eget vis göra informationen tillgänglig för icke-tekniska personer enligt direktiv som den är ålagd.

Jag kan tycka att det låter bakvänt och ineffektivt i avseende förlorad tid och potential för nyttjande av datan att göra det i omvänd ordning, färre får möjlighet att använda sina kunskaper och göra något vettigt av informationen.

På det sättet kunde öppna data ses som pressreleaser. Ska man vänta med en pressrelease tills efter man förberett, översatt och presenterat informationen för samtliga olika språkgrupper och funktionsvariationer som har rätt att ta del av den enligt direktiv om detta?

Åtminstone borde väl öppna data jämställas med övriga tillänglighetsdirektiv, och processerna kunna ske parallellt.

@josefinlassi sa i Tillgänglighetsdirektivet och publicerade öppna data:

@salgo60 Mitt svar relaterade till frågan om DIGGs föreskrifter finns tillgängliga som ett "dataset", och det gör dom inte mig veterligt. Det kan bero på att det är viktigt att alla ska kunna ta del av dom, inte bara tekniskt kunniga människor. Ser inte att den paragraf du postade kräver ett dataset heller.

Däremot så har DIGG startat upp ett regeringsuppdrag kring "Rättsligt stöd" (för alla lagar, föreskrifter mm som är relevanta för det vi jobbar med) som vår chefsjurist är ansvarig för, och som jag också jobbar med. En del i detta är att ta fram ett tydligare stöd som gör det enklare att bla se vilka lagar och föreskrifter som är relevanta för olika typer av offentliga aktörer. Så ett förbättringsarbete är redan igångsatt. En viktig del i detta är att det rättsliga stödet ska ges på ett enhetligt sätt till alla offentliga aktörer och att det inte ska bli så att DIGG supportar vissa mer än andra. Därför måste informationen vara tillgänglig på ett sätt som även icke-tekniskt kunniga personer kan hantera och förstå. Men läs mer i uppdragsbeskrivningen via länken.

Vi har också satt igång ett internt projekt med att sätta öppna licenser på den information som vi har på webben, det införs allt eftersom det finns resurser till att göra detta arbete.

Hej, Det är lite slående i rapporten att den jämförelse där Sverige ser ut att ligga sämst till saknar analys om orsaker? Övriga jämförelser i sammanfattningen har stycken om Sveriges placering och vad resultatet beror på.

Som jag ser det skulle det vara av särskilt intresse att läsa en sådan analys och kommentar om den jämförelse som indikerar att Sverige underpresterar på ett område.

https://www.digg.se/publicerat/publikationer/2021/digital-forvaltning-i-internationellt-perspektiv-2021

Industrivärldens samarbetsorganisation OECD (Organisationen för ekonomiskt samarbete och utveckling) publicerar vart annat år ett index om öppna offentliga data: OURdata Index (Open-Useful-Reusable Government data Index). Detta mäter och jämför länders politik på nationell nivå kring öppna offentliga data och hur den implementeras.

Digital förvaltning i internationellt perspektiv 2021
Denna rapport är en sammanställning av fem av de mest erkända internationella jämförelserna av den digitala förvaltningen i olika länder

Här är några länkar från seminariemötet:

Samlar publikationer
https://distill.pub/

University of Washington Interactive Data Lab
https://idl.cs.washington.edu/

Nivåer för öppna data
5stardata.info

Nivå 4
data.riksdagen.se

Nivå 5
https://query.wikidata.org/
Ardalan Shekarabi Wikidata
https://www.wikidata.org/wiki/Q4787806

Manhattan buildings 3D
https://tbaldw.in/nyc-buildings/

GitHub users visualisering 3D
http://ekisto.sq.ro/

Transporter, Svenska fartyg i Finska Viken?
https://www.vesselfinder.com/

https://www.electricitymap.org/map
Mapping the climate impact of electricity

http://waqi.info/
World's Air Pollution

Chatt:

Ardalan Shekarabi Wikidata https://www.wikidata.org/wiki/Q4787806
samma på kinesiska
https://www.wikidata.org/wiki/Q4787806?uselang=zh

Öppen data <> tillförlitlig data
https://www.svd.se/forsvaret-oroas-av-falska-fartygsrutter

Det finns en intressant "standard" eller EU-praxis som säger att man bara ska behöva rapportera information till myndigheter till ETT ställe EN gång - den s.k. Tallindeklarationen.
https://digital-strategy.ec.europa.eu/en/news/ministerial-declaration-egovernment-tallinn-declaration
https://www.wikidata.org/wiki/Q106581243

https://archive.nytimes.com/www.nytimes.com/interactive/2012/02/13/us/politics/2013-budget-proposal-graphic.html
Four Ways to Slice Obama’s 2013 Budget Proposal

@jonas-nordqvist Ja, min fråga kring detta riktar sig egentligen till DIGG som inhämtar och förvaltar informationen. Jag har även ställt den tidigare i tråden om identifierare och relationer.

@jonas-nordqvist Tack, nu svarade du "manuellt" på min förfrågan om vad Storsthlm är. Det jag undrar är hur jag ska veta det eller kunna härleda det utifrån referensen i publisher-fältet? Det pratas ju om länkad data, men finns det några tankar kring hur jag ska göra som data-konsument för att koppla publisher till exempelvis www.storsthlm.se?

Via en URI som nedan kan jag ju t.ex. komma vidare till mer information om Storsthlm.
https://www.wikidata.org/wiki/Q65197998

Storsthlm, tidigare Kommunförbundet Stockholm, är en kommunal samarbetsorganisation för kommuner i Storstockholmsområdet som omsätter cirka 50 MSEK/år[1] med 47 anställda[2]. Storsthlm ägs av regionens 26 kommuner. Genom förbundsmötet som hålls vart fjärde år väljer kommunernas politiska representation vilka frågor Storsthlm ska arbeta med under mandatperioden.

@kristine_ Hej, Hur fungerar inmatningen av publisher? Görs det någon form av kvalitetssäkring? Vad refererar t.ex. Storsthlm till i detta fall?

@uljerry Hej, det nämns en programvara som heter Odoo i katalogen här:

https://gitlab.com/open-data-knowledge-sharing/wiki/-/wikis/Katalog-över-öppen-programvara-inom-offentlig-sektor

Länk från nosad.se

När jag läser tillbaka i tråden ser jag att svar redan getts delvis, men jag hade nog inte formulerat frågeställningen för mig själv vid det laget.

Som en följdfråga, pågår det någon aktivitet i nuläget med vägledning för och samsyn kring tillämpning av identifierare? Finns det kanske konkreta exempel på hur identifierare används hos de refererade institutionerna?

Det skulle fortfarande vara intressant att höra hur man ser på en policy för identifierare för organisationer för dataportalen. När det gäller datan för leverantörsfakturor verkar det redan förekomma etablerade identifierare t.ex., medan det är ett frågetecken gällande registret över datamängder.

@josefinlassi sa i Identifierare och relationer:

I dagsläget har vi tyvärr inga konkreta exempel eller mer information än det som står i vägledningen.
...
Vi har sett ett behov av att ta fram en tydligare vägledning kring detta och att förankra den hos ett antal centrala aktörer i frågan. Bla Riksarkivet/Riksantikvarieämbetet, MSB och SND (Svensk nationell datatjänst, en portal för forskningsdata) har ju idag lite rekommendationer som inkluderar beständiga identifierare. Och det vore fint om vi kunde få till lite samsyn kring en rekommendation om hur man ska gå tillväga med detta:) Men vi är inte där ännu. Kanske några fler i den här tråden kan hjälpa dig vidare?

@jonor sa i Identifierare och relationer:

Finns det några tankar kring vidareutveckling av interoperabilitet för metadatan och samordning av detta?

Om jag ska försöka förtydliga mig så har flera förfrågningar har gjorts i forumet efter kopplingar mellan datamängd och organisation, och det har även påpekats att det behövs någon som tar ansvar för förvaltningen av unika identifierare.

Kan DIGG bidra med något i frågan om hur referenser för organisationer i metadatan ska se ut? Jag har svårt att förstå hur de ska användas för detta i sin nuvarande form.

Mer allmänt, hur ser ansvarsbilden ut idag för att publicerad data uppfyller kvalitetsnivåer gällande identifierare och användbarhet?

@kristine_ I en annan tråd nämns vikten av att skapa interoperabla data.

DIGG seminarium: Öppna data för nybörjare:

Vi har satt ganska stort fokus på vikten av att skapa interoperabla data men inte gått ner exakt på hur man gör det eftersom inte alla kommer att vara inblandade på den tekniska nivån, och detta står också i våra vägledningar (även om det kan bli mer utförligt). Vi ser inte att alla som kommer att vara inblandade i arbetet med öppna data behöver vara på Github, därför har vi inte med det i den här översikten av öppna data.

API-dokumentationen ger ett exempel på datamängder per organisation (det enda någorlunda enkla exemplet på API-anrop jag hittade, de flesta andra verkar bestå av komplicerade sökuttryck som ger indirekta resultat).

Jag antar att "values" i resultatet representerar de URI:er som registrerats för respektive organisation eller utgivare. Vissa utgivare ser ut att ha organisationsnummer enligt någon auktoritet (t.ex. id.kb.se/orgnr för SCB och Huddinge kommun), medan andra refererar till utgivarens webbplats eller någon resurs under denna, och återigen andra har applikations-relaterade URI:er under dataportal.se eller andra instanser av någon dataportal med liknande programvara (Nobel Media har en URI som ligger under dcat-editor.com/store/17/resource/1).

https://docs.dataportal.se/registry/api/#skordningsstatus

Den som är nyfiken över hur många datamängder det finns per organisation kan göra följande anrop: https://admin.dataportal.se/charts/orgData.json

"labels": [
  "Statistikmyndigheten SCB - Statistiska centralbyrån",
  "Pensionsmyndigheten",
  "Umeå Energi",
  "Naturvårdsverket",
  "SMHI - Öppna Data",
  "Stockholms stad",
  "Trafikverket",
  "Huddinge kommun",
...
  "Tomelilla kommun",
  "Länsstyrelsen i Norrbottens län",
  "Sounds of Changes",
  "Nobel Media",
  "Sörmlands museum",
  "Falbygdens museum",
  "Hemsö fästning"
],

"values": [
  "http://id.kb.se/organisations/SE2021000837",
  "https://pensionsmyndigheten.se/publisher1",
  "https://admin.dataportal.se/store/43/resource/fd2584866d01e4eaee64e3ffcfe40e02",
  "https://admin.dataportal.se/store/635/resource/9de761c624866bdca2f2e6ccdeba9815",
  "https://www.smhi.se/data/utforskaren-oppna-data",
  "https://admin.dataportal.se/store/733/resource/d73b9d8c4334e31634836a2610ef4ff7",
  "https://resources.geodata.se/metadata#foaf/Trafikverket/",
  "http://dataportal.se/organisation/SE2120000068",
...
  "https://data.tomelilla.se/store/1/resource/6",
  "https://admin.dataportal.se/store/635/resource/3b8d0533349a7311f7f47efa0767f468",
  "http://www.soundsofchanges.eu/",
  "https://dcat-editor.com/store/17/resource/1",
  "https://www.sormlandsmuseum.se/",
  "http://www.falkoping.se/museet",
  "http://www.hemsofastning.se/"
],
"datasetCount": 7243,
"publisherCount": 162

Jag stötte på ett formulärbibliotek med namnet RDForms som verkar relaterat till EntryScape. Om det är så att RDForms används för att registrera datamängder på dataportalen enligt DCAT-formatet, så kanske det kan finnas ledtrådar i konfigurationen av dessa formulär att metadatan ser ut som den gör. Åtminstone i det exempel jag stötte på nedan ser det inte ut att finnas någon stödfunktion för att ange referenser.

https://rdforms.com/editors/dcat/

Finns det några tankar kring vidareutveckling av interoperabilitet för metadatan och samordning av detta?

Som @salgo60 var inne på tidigare i tråden så blir det väl inte mycket till länkad data om alla hittar på egna referenser huller om buller.

Hej, Kan ni förtydliga vad som menas med "escapa" i kontexten av frågespråket Solr. URL-kodning är också ett sätt att escapa.

Parametern rdfType indikerar vilken typ av entiteter vi söker efter, i detta fall är det datamängder då typen är http://www.w3.org/ns/dcat#Dataset, observera att först har tecknet : escapats då det har en särskild betydelse i frågespråket som används (Solr) och därefter har uttrycket urlenkodats.

Här avses väl EntryScape-registret?

Uppdateringsfrekvens
Varje natt försöker registrera uppdatera infomrationen om datamängderna genom att skörda om från alla registrerade organisationer.

Jag undrar också i likhet med trådstartaren hur man på ett enkelt vis kan koppla utgivaren av en datamängd till en bestämd myndighet/organisation? Det verkar finnas information om namn och hemsida, men finns det någon beständig identifierare för själva utgivaren?

Kan dessa URI:er användas för att identifiera organisationen? (Från exempel-sökningar i dokumentationen.)

        "http://purl.org/dc/terms/publisher": [{
          "type": "uri",
          "value": "https://catalog.gavle.se/store/1/resource/1"
        }]

=>

  "metadata": {"https://catalog.gavle.se/store/1/resource/1": {

      "http://purl.org/dc/terms/contributor": [{
        "type": "uri",
        "value": "https://admin.dataportal.se/store/_principals/resource/2"
      }]

@kristine_ Hej, det beskrivs i API-dokumentationen hur man söker i metadatan med search/ som verkar bygga på syntax för sökmotorn Solr. Finns det exempel på hur man söker med SPARQL också?

Admin.dataportal.se använder sig av EntryScape Registry och lagringslösningen EntryStore för att hantera metadata. Generell dokumentation om det underliggande API:et finner du här:
Swagger för hela API:et https://entrystore.org/api/

search
GET /search Searches the repository and returns entries
GET /sparql Global SPARQL interface

@tomasmonsen Ok, jag tänkte att man kanske kunde få en URI under dataportal.se eller liknande namnrymd som förvaltas långsiktigt av DIGG i samband med att man registrerar en datamängd, som en form av stödtjänst, men jag är faktiskt inte riktigt klar över vad som förväntas av en registerhållare för beständiga identifierare.