Hej, jag tittade på leverantörsfakturor.csv från DIGG.

https://www.dataportal.se/sv/datasets/760_1544/leverantorsfakturor

Det verkar som textfilen har en systemspecifik kodning (Windows-1252 eller ISO-8859-1?).

I metadatan står att formatet är text/csv, men jag hittar inte någon information om teckenkodningen.

Webbadress för åtkomst
https://catalog.digg.se/store/1/resource/33
Format
Vanliga mediatyper
CSV (.csv)

Borde inte teckenkodningen vara UTF-8 eller anges uttryckligen i metadatan så att konsumenten kan avkoda innehållet korrekt?

Lade märke till också att frågan om en standardteckenkodning togs upp i utkastet till specifikation för badplatser som refererades i en annan tråd:

6 . CSV-formatet
Det enklaste formatet att stödja är CSV formatet enligt RFC4180.
Utöver det som sägs i RFC4180 krävs alltid att informationen är uttryckt med teckenkodning UTF-8.

@björn-hagström DIGG verkar ju använda GitHub, men jag har sett att en del offentliga verksamheter använder GitLab också, kan det vara så att GitLab föredras/rekommenderas med tanke på juridiska aspekter? Intressanta frågor som kanske förtjänar en egen tråd.

@josefinlassi Ja det låter ju som identifierare bör ligga under något namn avsett för registerföring och mer långsiktig förvaltning, då ligger kanske arkivmyndigheter eller dataförvaltare nära till hands. Jag gissar att det klarnar mer när man börjar använda URI:er och ställa frågor mot dem eller vill koppla ihop dem för egen del. Om DIGG ska stödja och hjälpa organisationer i detta behöver man nog kunna förklara hur det fungerar, gärna inbegripande exempel och fallstudier. Tack för tipsen om rekommendationer.

Apropå trådämnet, har dataportalens API-register URI:er och kopplingar till Wikidata?

@kristine_ Ok, innehållet kanske borde ses över lite i en del andra avseenden också.

En del fakturanummer verkar ha formaterats som talvärden med vetenskaplig notation.

Här en icke kredit-faktura med negativt belopp? Jag vet inte om sånt händer, men det var ett udda fall i posterna.

I samband med det undrar jag också om talformatet för kolumner finns angivna i metadatan, eller hur vet man vid maskin-inläsning om komma eller punkt används som decimalavgränsare?

@nina_ Jag tror en bidragande orsak till att tonen kan verka hård eller kritisk är att det skrivs så lite här från DIGG eller representanter från andra offentliga verksamheter. Många frågor som som riktar sig till offentliga verksamheters aktiviteter på området ignoreras och lämnas obesvarade vilket blir en källa till frustration för den som hoppas på information om eller inblick i den eventuella utvecklingen. Forumet kan förefalla ganska övergivet och mer som en bock i någon checklista, eller en annonstavla för interna verksamheter, än något allvarligt menat försök att kommunicera öppet. Jag är faktiskt förvånad över det låga intresset från DIGG själva som driver dataportalen att besvara eller engagera sig i diskussionerna här. Tycker ni att engagerade användare av datamängder och API:er bara ska diskutera sinsemellan här får ni nog räkna med att det klagas en del över att den ena sidans huvudaktörer i ekvationen lyser med sin frånvaro.

Om ni vill se ett bättre klimat här tror jag det är värt att satsa på ökad närvaro och att visa ett intresse i att diskutera och besvara synpunkter och återkoppling från intresserade användare.

Så länge det inte rör sig om personangrepp ska väl annars en offentlig institution kunna tåla ett visst mått av kritik från missnöjda medborgare, och utöver att endast klaga på tonläge eller ordval också försöka bemöta detta med en trovärdig argumentation och vilja att föra resonemang kring de tjänster man producerar.

Ni kan gärna försöka förtydliga syftet med det här forumet annars, vilka typer av frågor och svar som är lämpliga att dryftas här, jag har själv undrat om jag kanske har missuppfattat det.

@maria_dalhage Är det konsultbyråer som skriver rapporterna? Det ser ut att vara mycket management-terminologi och maskinöversatt engelska i texten tycker jag.

@ainali sa i Identifierare och relationer:

@jonor sa i Kategorisera API:er efter datasort:

Apropå trådämnet, har dataportalens API-register URI:er och kopplingar till Wikidata?

Vad tänker du att de ska koppla mot/länka till? Olika datasorter i Wikidata (exempelvis Q7300787 (realtidsdata) )?

Jag tänker mig t.ex. att det kan gå att hitta datamängder jag är intresserad av via Wikidata. Jag provade att söka efter kommunernas dataportaler och fick upp en lista där bl.a. Stockholms dataportal dök upp. Där kunde jag sedan leta vidare efter data.

https://w.wiki/3HTp

Sedan vore det intressant att veta om jag kan inkludera den nuvarande nationella dataportalen i sökningen också.

Dock ser ämnesmärkningen i de nationella portalerna ganska sporadisk och ojämn ut så långt jag sett. Jag föreställer mig att det kunde finnas möjligheter till friare kategorisering och koppling, och mer kraftfulla och enhetliga sökverktyg, om informationen finns representerad på Wikidata.

Jag tänker också på fallet där jag skulle vilja hitta datamängder av samma typ från Sverige och andra länder som jag skulle vilja göra jämförelser mot.

Jag vet inte hur informationen om kommunernas dataportaler hamnat i Wikidata, om det är av ideella krafter eller offentligt sanktionerat, men jag tycker det verkar värdefullt att den kan göras åtkomlig där för meta-sökning över spridda informationskällor.

Frågan om realtidsuppdateringar är väl också intressant. Samlas data in löpande till Wikidata från public service och andra som publicerar nyhetsartiklar och media t.ex.?

Det ser ut som det går att skapa egna etiketter för nya trådar i forumet.

Samtidigt som man skapar en tråd under en existerande huvudkategori kan man ju då lägga till en etikett för den kanal man vill samla inläggen inom, och senare nå den via sidan för "taggar", eller via etiketten i trådrubriken.

Exempelvis finns redan etiketter för NOSAD, Internetstiftelsen, regioner, kommuner m.fl.

Etiketter visas i inläggsrubriker:

@salgo60 Ja jag provkörde OpenRefine lite i dagarna, och det framstår som att en uttalad målsättning vid publicering av data borde vara att förebygga och undvika rekonsiliering/manuellt arbete med sammanställningar.

Alla instanser som arbetar med arkiv och register borde väl också vara fullt medvetna om nyttan med och användningen av referensnummer och standardiserade egenskaper, det måste ju tillhöra den grundläggande praktiken i den världen.

När det gäller ekonomidata är det kanske sämre med standardisering och identifiering av betydelser av olika fält, men det beror väl på ev. bakomliggande redovisningskrav också.

Med en referens för fältegenskapen skulle den ju enkelt kunna översättas till önskat språk.

Jag vet inte i vilken mån detta återspeglas i styrningen av offentlig datapublicering i dagsläget. Det borde kanske finnas någon form av beställarroll som checkar av att detta fungerar och tillgodoses i publicerade datamängder så man undviker onödigt arbete vid nyttjande.

Ex. på rekonsiliering i Refine:
https://youtu.be/5tsyz3ibYzk?t=205

@nina_ sa i Engagemang, Fokus, Öppenhet, Respekt och Mod:

Vi har inte möjlighet att öppna vår interna ärendetavla för alla, men vi jobbar för att ha ett mer öppet arbetssätt.

Det skulle vara intressant att höra om vilka ni anser vara huvudskälen till att det inte går att öppna en ärendetavla. Är det beroende på typer av ärenden, eller personuppgifter som betraktas som känsliga t.ex. Vilka delar i ärendetavlan skulle eventuellt kunna publiceras för en allmänhet? Är detta något ni har analyserat aller funderat över?

@nina_ Hej, Att det skulle vara en avsiktlig design att inte kunna ångra efter formatering låter lite märkligt, skulle det i så fall vara en medveten trade-off för att spara tid eller uppnå någon annan funktionalitet?

Har ni en länk till GitHub repository för editorn? Det kanske finns mer information att hämta i issues-listan där.

Det vore intressant att veta vilka anpassningar ni har gjort för tillgänglighet, är det ändringar i programkoden som är tillgängliga som öppen källkod? Det låter som något som kunde vara lämpligt att dela med andra institutioner som har samma krav på sig.

@salgo60-ej-aktiv sa i Govdirectory och statligt ägda bolag:

dvs,.

• Akademiska Hus = Wikidata Q10403939
  • prop. 1991/92:44 = Wikidata Q98487906
  • bet. 1991/92:FiU8 tror samma som Wikidata Q98416584
  • rskr. 1991/92:107...

Läggs de posterna in i Wikidata med automatik?
Finns det kopplingar mellan dokumenten och bolaget?

Hur går man tillväga om man har en lista eller tabell med data som man vill lägga till eller uppdatera i Wikidata, annat än att lägga till varje post manuellt?

@salgo60-ej-aktiv Ja det verkar vara mycket tabeller från myndigheter som ligger inbäddade i PDF:er och det är problematiskt för den som vill göra något med informationen tycker jag. Jag undrar om det finns några planer för att förbättra den situationen, för många av de offentliga verksamheter jag har varit i kontakt med verkar i dagsläget helt ointresserade av att tillhandahålla informationen i något mer strukturerat format, med hänvisning till att det inte ingår i deras åtaganden.

Vad gör petscan, är det en tjänst för att läsa in information från PDF:er, eller sammanställer den listor från Wikipedia-artiklar?

@mattias Ok, tack för uppdateringen.

@ainali Det finns visst ett filter för myndighetslistan, Områden: "Bolag med statligt ägande", som ger 49 träffar. Kanske rentav går att hämta listan via ett API då?

https://www.regeringen.se/myndigheter-med-flera/#1234

@ainali sa i Engagemang, Fokus, Öppenhet, Respekt och Mod:

@jonor Vi har inte tagit med statligt ägda bolag i första svängen, men det finns definitivt med i planerna!

Vet du om det finns någon definitiv offentlig källa för vilka som finns just nu?

Nej, det har jag inte koll på, tyvärr.

På regeringen.se står att det finns 46 bolag och 2 verksamhetsstiftelser.
https://www.regeringen.se/regeringens-politik/bolag-med-statligt-agande/

Där finns också verksamhetsberättelse för 2020 med vad som ser ut att vara en lista över bolag på sida 45 i en PDF. Ohanterligt men officiellt kanske.

https://www.regeringen.se/rapporter/2021/06/verksamhetsberattelse-for-bolag-med-statligt-agande-2020/

https://www.regeringen.se/4a0189/contentassets/a34b2a25b7a646d4850b5f6f2ec9e818/verksamhetsberattelse-for-bolag-med-statligt-agande-2020-komplett.pdf#page=45

På Wikipedia finns en lista med 47 bolag, men den saknar källhänvisningar.

https://sv.wikipedia.org/wiki/Lista_över_statliga_företag_i_Sverige

Såg inte att public service-bolagen var med någonstans så jag inser att jag blandat ihop den biten, de ska väl vara fristående bolag och lyder under en förvaltningsstiftelse, styrelsen är ju dock tillsatt av regeringen och nominerad av riksdagen. En intressant fråga kanske hur direktiv om digitalisering och öppna data berör bolagen under denna förvaltningsstiftelse.

https://sv.wikipedia.org/wiki/Förvaltningsstiftelsen_för_SR,_SVT_och_UR

Styrelsen för Förvaltningsstiftelsen består (2015) av en politiskt oberoende ordförande och tolv ledamöter som nomineras av riksdagspartierna[3][6]:39 och utses av regeringen.[6]:39

https://www.forvaltningsstiftelsen.se/

Spännande.
En hel del WordPress-relaterat publicerat synes det.

@nina_ Låter bra att det finns tankar kring att öka transparensen, även om ni är upptagna med annat. Digital infrastruktur handlar väl mer om säker och intern kommunikation mellan myndigheter. Hur ser det ut med vägkartan för öppna roadmaps, är det något man kan få en uppfattning om när det kan introduceras?

@salgo60-ej-aktiv Intressant initiativ med govdirectory.org, men det verkar inte som statligt ägda bolag i Sverige som SVT och SR är med?

Hej, om jag markerar text och applicerar en formatering via knappraden så går det inte att ångra ändringar i editorn som gjordes innan formateringen.

Någon annan som märkt av det problemet? Jag är annars van att kunna ångra redigeringar med Ctrl-Z.