Inlägg skapade av jonor

@björn-hagström DIGG verkar ju använda GitHub, men jag har sett att en del offentliga verksamheter använder GitLab också, kan det vara så att GitLab föredras/rekommenderas med tanke på juridiska aspekter? Intressanta frågor som kanske förtjänar en egen tråd.

Här finns ju för övrigt en ärendehantering för dataportalens webb på GitHub. Vad är det i så fall man inte har möjlighet att införa idag och behöver invänta prioritering för?

https://github.com/DIGGSweden/dataportal-web/issues

@kristine_ sa i Länk till community på dataportal.se fel:

@salgo60 Ja det är något som vi har behov av, dessvärre och som jag tidigare berättat i denna tråd gällande helpdesk id:n så är det inget som vi på Sveriges dataportal har möjlighet att införa just idag. Där behöver vi luta oss på att DIGG prioriterar införanden av systemstöd/processer/rutiner utifrån myndighetens övergripande verksamhetsbehov och resurser.

Det låter av formuleringen som "vi på Sveriges Dataportal" och DIGG är två skilda organisationer, men i rubriken på forumet ser det ut som Sveriges Dataportal förvaltas av DIGG. Hur ser förhållandet ut mellan DIGG och dataportalen? Vem skulle ta ett beslut och hur om att införa rutiner för uppföljning av ärenden på ett strukturerat sätt? Var kan man följa aktiviteter på DIGG inom detta område och vad man arbetar med överlag för närvarande?

@jonas-nordqvist Ja, min fråga kring detta riktar sig egentligen till DIGG som inhämtar och förvaltar informationen. Jag har även ställt den tidigare i tråden om identifierare och relationer.

@jonas-nordqvist Tack, nu svarade du "manuellt" på min förfrågan om vad Storsthlm är. Det jag undrar är hur jag ska veta det eller kunna härleda det utifrån referensen i publisher-fältet? Det pratas ju om länkad data, men finns det några tankar kring hur jag ska göra som data-konsument för att koppla publisher till exempelvis www.storsthlm.se?

Via en URI som nedan kan jag ju t.ex. komma vidare till mer information om Storsthlm.
https://www.wikidata.org/wiki/Q65197998

Storsthlm, tidigare Kommunförbundet Stockholm, är en kommunal samarbetsorganisation för kommuner i Storstockholmsområdet som omsätter cirka 50 MSEK/år[1] med 47 anställda[2]. Storsthlm ägs av regionens 26 kommuner. Genom förbundsmötet som hålls vart fjärde år väljer kommunernas politiska representation vilka frågor Storsthlm ska arbeta med under mandatperioden.

@kristine_ Hej, Hur fungerar inmatningen av publisher? Görs det någon form av kvalitetssäkring? Vad refererar t.ex. Storsthlm till i detta fall?

@uljerry Hej, det nämns en programvara som heter Odoo i katalogen här:

https://gitlab.com/open-data-knowledge-sharing/wiki/-/wikis/Katalog-över-öppen-programvara-inom-offentlig-sektor

Länk från nosad.se

När jag läser tillbaka i tråden ser jag att svar redan getts delvis, men jag hade nog inte formulerat frågeställningen för mig själv vid det laget.

Som en följdfråga, pågår det någon aktivitet i nuläget med vägledning för och samsyn kring tillämpning av identifierare? Finns det kanske konkreta exempel på hur identifierare används hos de refererade institutionerna?

Det skulle fortfarande vara intressant att höra hur man ser på en policy för identifierare för organisationer för dataportalen. När det gäller datan för leverantörsfakturor verkar det redan förekomma etablerade identifierare t.ex., medan det är ett frågetecken gällande registret över datamängder.

@josefinlassi sa i Identifierare och relationer:

I dagsläget har vi tyvärr inga konkreta exempel eller mer information än det som står i vägledningen.
...
Vi har sett ett behov av att ta fram en tydligare vägledning kring detta och att förankra den hos ett antal centrala aktörer i frågan. Bla Riksarkivet/Riksantikvarieämbetet, MSB och SND (Svensk nationell datatjänst, en portal för forskningsdata) har ju idag lite rekommendationer som inkluderar beständiga identifierare. Och det vore fint om vi kunde få till lite samsyn kring en rekommendation om hur man ska gå tillväga med detta:) Men vi är inte där ännu. Kanske några fler i den här tråden kan hjälpa dig vidare?

@jonor sa i Identifierare och relationer:

Finns det några tankar kring vidareutveckling av interoperabilitet för metadatan och samordning av detta?

Om jag ska försöka förtydliga mig så har flera förfrågningar har gjorts i forumet efter kopplingar mellan datamängd och organisation, och det har även påpekats att det behövs någon som tar ansvar för förvaltningen av unika identifierare.

Kan DIGG bidra med något i frågan om hur referenser för organisationer i metadatan ska se ut? Jag har svårt att förstå hur de ska användas för detta i sin nuvarande form.

Mer allmänt, hur ser ansvarsbilden ut idag för att publicerad data uppfyller kvalitetsnivåer gällande identifierare och användbarhet?

@kristine_ I en annan tråd nämns vikten av att skapa interoperabla data.

DIGG seminarium: Öppna data för nybörjare:

Vi har satt ganska stort fokus på vikten av att skapa interoperabla data men inte gått ner exakt på hur man gör det eftersom inte alla kommer att vara inblandade på den tekniska nivån, och detta står också i våra vägledningar (även om det kan bli mer utförligt). Vi ser inte att alla som kommer att vara inblandade i arbetet med öppna data behöver vara på Github, därför har vi inte med det i den här översikten av öppna data.

API-dokumentationen ger ett exempel på datamängder per organisation (det enda någorlunda enkla exemplet på API-anrop jag hittade, de flesta andra verkar bestå av komplicerade sökuttryck som ger indirekta resultat).

Jag antar att "values" i resultatet representerar de URI:er som registrerats för respektive organisation eller utgivare. Vissa utgivare ser ut att ha organisationsnummer enligt någon auktoritet (t.ex. id.kb.se/orgnr för SCB och Huddinge kommun), medan andra refererar till utgivarens webbplats eller någon resurs under denna, och återigen andra har applikations-relaterade URI:er under dataportal.se eller andra instanser av någon dataportal med liknande programvara (Nobel Media har en URI som ligger under dcat-editor.com/store/17/resource/1).

https://docs.dataportal.se/registry/api/#skordningsstatus

Den som är nyfiken över hur många datamängder det finns per organisation kan göra följande anrop: https://admin.dataportal.se/charts/orgData.json

"labels": [
  "Statistikmyndigheten SCB - Statistiska centralbyrån",
  "Pensionsmyndigheten",
  "Umeå Energi",
  "Naturvårdsverket",
  "SMHI - Öppna Data",
  "Stockholms stad",
  "Trafikverket",
  "Huddinge kommun",
...
  "Tomelilla kommun",
  "Länsstyrelsen i Norrbottens län",
  "Sounds of Changes",
  "Nobel Media",
  "Sörmlands museum",
  "Falbygdens museum",
  "Hemsö fästning"
],

"values": [
  "http://id.kb.se/organisations/SE2021000837",
  "https://pensionsmyndigheten.se/publisher1",
  "https://admin.dataportal.se/store/43/resource/fd2584866d01e4eaee64e3ffcfe40e02",
  "https://admin.dataportal.se/store/635/resource/9de761c624866bdca2f2e6ccdeba9815",
  "https://www.smhi.se/data/utforskaren-oppna-data",
  "https://admin.dataportal.se/store/733/resource/d73b9d8c4334e31634836a2610ef4ff7",
  "https://resources.geodata.se/metadata#foaf/Trafikverket/",
  "http://dataportal.se/organisation/SE2120000068",
...
  "https://data.tomelilla.se/store/1/resource/6",
  "https://admin.dataportal.se/store/635/resource/3b8d0533349a7311f7f47efa0767f468",
  "http://www.soundsofchanges.eu/",
  "https://dcat-editor.com/store/17/resource/1",
  "https://www.sormlandsmuseum.se/",
  "http://www.falkoping.se/museet",
  "http://www.hemsofastning.se/"
],
"datasetCount": 7243,
"publisherCount": 162

Jag stötte på ett formulärbibliotek med namnet RDForms som verkar relaterat till EntryScape. Om det är så att RDForms används för att registrera datamängder på dataportalen enligt DCAT-formatet, så kanske det kan finnas ledtrådar i konfigurationen av dessa formulär att metadatan ser ut som den gör. Åtminstone i det exempel jag stötte på nedan ser det inte ut att finnas någon stödfunktion för att ange referenser.

https://rdforms.com/editors/dcat/

Finns det några tankar kring vidareutveckling av interoperabilitet för metadatan och samordning av detta?

Som @salgo60 var inne på tidigare i tråden så blir det väl inte mycket till länkad data om alla hittar på egna referenser huller om buller.

Hej, Kan ni förtydliga vad som menas med "escapa" i kontexten av frågespråket Solr. URL-kodning är också ett sätt att escapa.

Parametern rdfType indikerar vilken typ av entiteter vi söker efter, i detta fall är det datamängder då typen är http://www.w3.org/ns/dcat#Dataset, observera att först har tecknet : escapats då det har en särskild betydelse i frågespråket som används (Solr) och därefter har uttrycket urlenkodats.

Här avses väl EntryScape-registret?

Uppdateringsfrekvens
Varje natt försöker registrera uppdatera infomrationen om datamängderna genom att skörda om från alla registrerade organisationer.

Jag undrar också i likhet med trådstartaren hur man på ett enkelt vis kan koppla utgivaren av en datamängd till en bestämd myndighet/organisation? Det verkar finnas information om namn och hemsida, men finns det någon beständig identifierare för själva utgivaren?

Kan dessa URI:er användas för att identifiera organisationen? (Från exempel-sökningar i dokumentationen.)

        "http://purl.org/dc/terms/publisher": [{
          "type": "uri",
          "value": "https://catalog.gavle.se/store/1/resource/1"
        }]

=>

  "metadata": {"https://catalog.gavle.se/store/1/resource/1": {

      "http://purl.org/dc/terms/contributor": [{
        "type": "uri",
        "value": "https://admin.dataportal.se/store/_principals/resource/2"
      }]

@kristine_ Hej, det beskrivs i API-dokumentationen hur man söker i metadatan med search/ som verkar bygga på syntax för sökmotorn Solr. Finns det exempel på hur man söker med SPARQL också?

Admin.dataportal.se använder sig av EntryScape Registry och lagringslösningen EntryStore för att hantera metadata. Generell dokumentation om det underliggande API:et finner du här:
Swagger för hela API:et https://entrystore.org/api/

search
GET /search Searches the repository and returns entries
GET /sparql Global SPARQL interface

@tomasmonsen Ok, jag tänkte att man kanske kunde få en URI under dataportal.se eller liknande namnrymd som förvaltas långsiktigt av DIGG i samband med att man registrerar en datamängd, som en form av stödtjänst, men jag är faktiskt inte riktigt klar över vad som förväntas av en registerhållare för beständiga identifierare.

@kristine_ Ja 13 kategorier låter kanske torftigt, kan inte dataleverantörer länka in begrepp från etablerade vokabulärer inom sina egna verksamhetsområden?

@jonor Det ser ut att finnas en egenskap i DCAT för koncept-referenser till skillnad från bokstavliga värden, men jag vet inte hur den används i praktiken, man ska gå via ett tillgängligt skos:ConceptScheme?

https://www.w3.org/TR/vocab-dcat-2/#Property:resource_theme

RDF Property: dcat:theme
Definition: A main category of the resource. A resource can have multiple themes.
Range: skos:Concept
Usage note: The set of skos:Concepts used to categorize the resources are organized in a skos:ConceptScheme describing all the categories and their relations in the catalog.

https://github.com/w3c/dxwg/issues/121#issuecomment-375074957

dcat:theme would always be preferred if a suitable SKOS ConceptScheme is available because you can more precisely test if different datasets are classified with the same skos:Concept, while dcat:keywords would involve text comparisons. But people still need to enter keywords as free text sometimes. Yes - more textual guidance is always helpful.

@kristine_ Ok, det är väl de här mojängerna i metadatan som hämtas in då, jag hade inte förstått att det handlade om nyckelord just. Istället för att rada upp översättningar av ämnesorden skulle man då kunna använda eller komplettera med identifierare som lät dataportalen söka och koppla nyckelord mer effektivt, oavsett de språk de angetts bokstavligt i.

<dcat:keyword>Myndigheten för digital förvaltning</dcat:keyword>
<dcat:keyword xml:lang="sv">Inköp</dcat:keyword>
<dcat:keyword xml:lang="en">Purchase</dcat:keyword>
<dcat:keyword xml:lang="sv">Leverantörsfaktura</dcat:keyword>
<dcat:keyword xml:lang="en">Supplier invoice</dcat:keyword>
<dcat:keyword xml:lang="sv">Anskaffning</dcat:keyword>
<dcat:keyword xml:lang="sv">Procurement</dcat:keyword>

@kristine_ Ok, innehållet kanske borde ses över lite i en del andra avseenden också.

En del fakturanummer verkar ha formaterats som talvärden med vetenskaplig notation.

Här en icke kredit-faktura med negativt belopp? Jag vet inte om sånt händer, men det var ett udda fall i posterna.

I samband med det undrar jag också om talformatet för kolumner finns angivna i metadatan, eller hur vet man vid maskin-inläsning om komma eller punkt används som decimalavgränsare?

Hej, jag tittade på leverantörsfakturor.csv från DIGG.

https://www.dataportal.se/sv/datasets/760_1544/leverantorsfakturor

Det verkar som textfilen har en systemspecifik kodning (Windows-1252 eller ISO-8859-1?).

I metadatan står att formatet är text/csv, men jag hittar inte någon information om teckenkodningen.

Webbadress för åtkomst
https://catalog.digg.se/store/1/resource/33
Format
Vanliga mediatyper
CSV (.csv)

Borde inte teckenkodningen vara UTF-8 eller anges uttryckligen i metadatan så att konsumenten kan avkoda innehållet korrekt?

Lade märke till också att frågan om en standardteckenkodning togs upp i utkastet till specifikation för badplatser som refererades i en annan tråd:

6 . CSV-formatet
Det enklaste formatet att stödja är CSV formatet enligt RFC4180.
Utöver det som sägs i RFC4180 krävs alltid att informationen är uttryckt med teckenkodning UTF-8.

@Kristine_ @salgo60 Hej, jag är inte helt med i vad det här exemplet med fältnamn på svenska i EU-dataportalen gäller. Är fältnamnen värden för något annat metadata-fält? Går det att förtydliga eller konkretisera var och hur problemet uppstår, t.ex. vad som skickas från dataportalen.se och var det hamnar i EU-datan, om det nu fortfarande är aktuellt?

@salgo60 sa i Identifierare och relationer:

@jonor det var ett infall jag hade.... jag hade kollat på data.europa.eu (EDP) se min Jupyter Notebook och dit skickar svenska dataportalen text strängar med språkkod vilket är helt fel 2021

Källan till exemplet från EU:s dataportal verkar inte fungera.
https://www.europeandataportal.eu/data/api/datasets/https-catalog-skl-se-store-1-resource-38.jsonld?useNormalizedId=true&locale=en

=> Parameter catalogue and useNormalizedID are both missing. Please set one of them.

@kristine_ sa i Identifierare och relationer:

. Det är lagkrav och något som vi och andra som publicerar till dataportalen ska förhålla sig till. Propertyn language kommer från W3C DCAT så återigen det är inte heller någon som DIGG har hittat på själva.

Propertyn language som refereras gäller för "Catalogued Resource", men det exemplifieras i definitionen med värden för titel eller beskrivning, inte för fältnamn.

https://www.w3.org/TR/vocab-dcat-2/#Property:resource_language

Definition: A language of the item. This refers to the natural language used for textual metadata (i.e. titles, descriptions, etc) of a cataloged resource (i.e. dataset or service) or the textual values of a dataset distribution

@tomasmonsen Är det inte så att man får en URI för datamängden när den registreras på dataportalen t.ex.? Då fungerar den kanske som ett beständigt prefix för "lokala id" som ni genererar för posterna som därigenom kan refereras universellt. (Nu spekulerar jag väl lite fritt, men det känns som något man vänder sig till en registermyndighet för.)