Hej, jag tittade på leverantörsfakturor.csv från DIGG.

https://www.dataportal.se/sv/datasets/760_1544/leverantorsfakturor

Det verkar som textfilen har en systemspecifik kodning (Windows-1252 eller ISO-8859-1?).

I metadatan står att formatet är text/csv, men jag hittar inte någon information om teckenkodningen.

Webbadress för åtkomst
https://catalog.digg.se/store/1/resource/33
Format
Vanliga mediatyper
CSV (.csv)

Borde inte teckenkodningen vara UTF-8 eller anges uttryckligen i metadatan så att konsumenten kan avkoda innehållet korrekt?

Lade märke till också att frågan om en standardteckenkodning togs upp i utkastet till specifikation för badplatser som refererades i en annan tråd:

6 . CSV-formatet
Det enklaste formatet att stödja är CSV formatet enligt RFC4180.
Utöver det som sägs i RFC4180 krävs alltid att informationen är uttryckt med teckenkodning UTF-8.

@jonor Jag skapade ett nytt ämne för vidare diskussion om finansiering och uppföljning av stödprojekt för öppen källkod och öppna data, eftersom det börjar avvika från trådens huvudämne om hantering av IT-säkerhet.

https://community.dataportal.se/topic/320/uppföljning-av-support-projekt-för-användare-av-öppen-källkodsprodukter

@björn-hagström DIGG verkar ju använda GitHub, men jag har sett att en del offentliga verksamheter använder GitLab också, kan det vara så att GitLab föredras/rekommenderas med tanke på juridiska aspekter? Intressanta frågor som kanske förtjänar en egen tråd.

@kristine_ Ok, innehållet kanske borde ses över lite i en del andra avseenden också.

En del fakturanummer verkar ha formaterats som talvärden med vetenskaplig notation.

Här en icke kredit-faktura med negativt belopp? Jag vet inte om sånt händer, men det var ett udda fall i posterna.

I samband med det undrar jag också om talformatet för kolumner finns angivna i metadatan, eller hur vet man vid maskin-inläsning om komma eller punkt används som decimalavgränsare?

@maria_dalhage sa i Vad krävs för att skapa en effektiv och värdeskapande offentlig sektor?:

@jonor Intressanta reflektioner. Håller med om punkt 2 och 3 samt vill komplettera med punkt 4.

Gällande Dataportalen tänker jag såhär: Dataportalen uppkom ur det verkliga behovet att kunna ens kunna hitta datamängderna. Samtliga länder i EU har därför en skyldighet att tillhandahålla en dataportal. DIGG ansvarar för Sveriges dataportal. En annan utmaning kopplat till att hitta data, därför har vi DCAT AP SE som rimmar med DCAT AP som EU har. Visst, det saknas fortfarande data och det finns förbättringspotential både avseende metadata och dokumentation. Jag ser detta mer som ett processarbete hos de 750 potentiella offentliga organisationer som ska dela sina data och göra dessa sökbara i dataportalen än som att dataportalen inte behövs. Den behövs och det offentliga behöver tillsammans se till att man kan hitta den data man söker där.

Naturligtvis är det bra att det finns en samlad översikt över datamängder, samtidigt kan jag få intrycket av att verksamheten är i hög grad driven av EU-direktiv som man är av nöden tvingad att genomföra, och i övrigt sitter och väntar passivt på. T.ex. ser man till att uppfylla DCAT-AP, men engagerar sig inte ytterligare i kvaliteten på innehållet, utan hänvisar till att annan part ska se till att uppfylla detta, vilket förmodligen inte sker förrän nya tvingande direktiv införs.

Här vill jag applådera DIGG som faktiskt har en policy för utveckling av programvara sedan 2019 som säger att verksamheten ska säkerställa att det som anskaffas också ska kunna licensieras som öppet och delas.

Håller med om att detta är mycket positivt.
Hur kan jag följa aktivitetsnivån för utvecklingsarbetet med EntryScape apropå det? Läggs det resurser på att åtgärda de synpunkter som har postats angående sökfunktioner och stöd för inmatning av metadata?

Angående diskussionsämnet för tråden så kunde det kanske vara bra att numrera punkterna i det ursprungliga inlägget, så att det blir lättare att referera enskilda punkter.

Vad krävs för att skapa en effektiv och värdeskapande offentlig sektor?/post/1435:

1. Lägg ner samtliga projekt som pågått i flera år utan att ha testats på riktiga användare.

2. Inför krav på samtliga offentliga organisationer som upphandlar nyutveckling att släppa resultaten som öppen källkod, så att vi slipper finansiera samma system i 290 kommuner och i myndigheterna.

3. Minska storleken på upphandlingar så att fler av techföretagen kan vara med och konkurrera med de stora konsultföretagen.

4. Kräv att samtliga myndigheter och kommuner kan kommunicera via öppna API:er, vilket möjliggör för den privata marknaden att bygga de verktyg som behövs, samt öka insyn och förhindra inlåsning.

5. Kräv att alla upphandlingar genomförs med agila metoder, det vill säga med användaren i centrum och i små steg vilket förhindrar dessa gigantiska upphandlingar och långa ledtider och minskar vår sårbarhet.

6. Initiera en kartläggning av vår it-sårbarhet. Det saknas i princip i dag. Initiativet bör resultera i en konkret åtgärdsplan.

7. Etablera en it-haverikommission som analyserar de haverier som inträffar. Varje haveri måste leda till en kompetensutveckling som kommer andra till del, så att varje incident stärker – inte försvagar – samhället.

@nina_ Jag tror en bidragande orsak till att tonen kan verka hård eller kritisk är att det skrivs så lite här från DIGG eller representanter från andra offentliga verksamheter. Många frågor som som riktar sig till offentliga verksamheters aktiviteter på området ignoreras och lämnas obesvarade vilket blir en källa till frustration för den som hoppas på information om eller inblick i den eventuella utvecklingen. Forumet kan förefalla ganska övergivet och mer som en bock i någon checklista, eller en annonstavla för interna verksamheter, än något allvarligt menat försök att kommunicera öppet. Jag är faktiskt förvånad över det låga intresset från DIGG själva som driver dataportalen att besvara eller engagera sig i diskussionerna här. Tycker ni att engagerade användare av datamängder och API:er bara ska diskutera sinsemellan här får ni nog räkna med att det klagas en del över att den ena sidans huvudaktörer i ekvationen lyser med sin frånvaro.

Om ni vill se ett bättre klimat här tror jag det är värt att satsa på ökad närvaro och att visa ett intresse i att diskutera och besvara synpunkter och återkoppling från intresserade användare.

Så länge det inte rör sig om personangrepp ska väl annars en offentlig institution kunna tåla ett visst mått av kritik från missnöjda medborgare, och utöver att endast klaga på tonläge eller ordval också försöka bemöta detta med en trovärdig argumentation och vilja att föra resonemang kring de tjänster man producerar.

Ni kan gärna försöka förtydliga syftet med det här forumet annars, vilka typer av frågor och svar som är lämpliga att dryftas här, jag har själv undrat om jag kanske har missuppfattat det.

@josefinlassi Ja det låter ju som identifierare bör ligga under något namn avsett för registerföring och mer långsiktig förvaltning, då ligger kanske arkivmyndigheter eller dataförvaltare nära till hands. Jag gissar att det klarnar mer när man börjar använda URI:er och ställa frågor mot dem eller vill koppla ihop dem för egen del. Om DIGG ska stödja och hjälpa organisationer i detta behöver man nog kunna förklara hur det fungerar, gärna inbegripande exempel och fallstudier. Tack för tipsen om rekommendationer.

Apropå trådämnet, har dataportalens API-register URI:er och kopplingar till Wikidata?

@maria_dalhage Är det konsultbyråer som skriver rapporterna? Det ser ut att vara mycket management-terminologi och maskinöversatt engelska i texten tycker jag.

Re: NOSAD workshops på teamat IT-säk

Stötte på en länk i kommentarsfältet på DN till denna sammanställning av Jörgen Städje av tillbud inom den digitala sektorn.

http://www.teknikaliteter.se/2021/11/05/it-skandaler-som-ingen-bryr-sig-om/

Den samlade erfarenheten av alla IT-sammanbrott borde tas om hand av en IT-haverikommission, precis som man gör med flyg- och tågolyckor, men något sådant finns inte på den svenska cyberhimlen. IT-säkerhet intresserar helt enkelt inte någon i maktställning.

Här är de svenska skandalerna mellan 2019 och februari 2021 sammanställda, sorterade i antal per drabbad bransch, sorterade i fallande ordning. Det är ganska enkelt att se att sjukvården drabbats hårdast (sämst utbildning, ointresse?), varefter kommer de som ska främja våra intressen, nämligen kommuner och myndigheter.

Det ser ut som det går att skapa egna etiketter för nya trådar i forumet.

Samtidigt som man skapar en tråd under en existerande huvudkategori kan man ju då lägga till en etikett för den kanal man vill samla inläggen inom, och senare nå den via sidan för "taggar", eller via etiketten i trådrubriken.

Exempelvis finns redan etiketter för NOSAD, Internetstiftelsen, regioner, kommuner m.fl.

Etiketter visas i inläggsrubriker:

@Magnus-Sälgö sa i Hur skyndar vi på digitaliseringen?:

Se hela svaret https://github.com/salgo60/open-data-examples/issues/2#issuecomment-1175362343
...
I Regeringskansliet pågår sedan några år tillbaka en översyn av rättsinformationsförordningen. I samband med detta upphörde arbetet med att samla in myndigheternas rättskällor och status för lagrummet.se stannade vid att vara en länkportal.

Svårt att förstå hur regeringskansliet tänker kring hur digitaliseringen ska skyndas på.

Vad handlar översynen om, hur långt har man kommit i den, och varför upphörde arbetet med att samla in rättskällorna?

Det låter som något en haverikommission eller riksrevisionen borde ta sig an att reda ut, det innebär ju ett allvarligt bakslag för digitaliseringen och effektivisering av det svenska samhället.

@Magnus-Sälgö sa i Hur skyndar vi på digitaliseringen?:

Min förståelse av TEI är att det är forskarvärldens lösning till att hantera ostrukturerad text med struktur och har haft kopplingar till SGML så att texten kan användas till maskininlärning NLP etc...

Ja, kanske snarare så att man märker upp text manuellt för att träna programvara som sedan kan analysera och märka upp struktur i ny text med automatik.

kollar vi på delleverans av havererade rättsinformationssystemet 2008 dvs. dom beskriver identifierade delar med struktur.... se exempel deras handböcker man blir tårögd att allt detta blir till sand - Spotify tolkar projektet. Dom skrev vägledning för resursidentifiering och identifierare

Det är märkligt att man verkar ha kommit väldigt långt i arbetet med strukturerad data, och att det nu framstår som att det vore helt bortglömt och okänt för dagens myndigheter.

dvs. skall man börja jobba med struktur i dokument så är det ett enormt kliv... jag har svårt att se att DIGG styr upp det som lägger ut sina författningar MDDFS utan metadata eller verkar sakna en egen dokumenthateringsfilosofi.... hur skall dom kunna jobba med strukturerade dokument eller vara "tankeledare" och sprida en vision... tror mer deras mål är "just another myndighet"

Klivet borde ju inte behöva vara så stort, varför inte plocka upp och fortsätta på det arbete som redan påbörjats, t.ex. i fråga om författningssamlingen.

Vi har även börjat med vår seminarieserie som vi erbjuder alla rättsinformationsproducerande myndigheter att vara med på

• fundering varför "erbjuder man" borde man inte se till att certifiera folk att dom kan hantera myndighetens författningar...

känner lite samma med Öppna data certifiera folk vad persistenta identifierare är

Låter väl som ett bra förslag att certifiera folk för den kompetens som behövs för att lösa uppgifterna. Då blir det väl tydligt vilken databeredskap man besitter.

• vi har fastnat i djävulens påfund med färgglada html sidor och web redaktörer som skall lösas allt...
• diskussionen är PDF är inte bra kanske HTML funkar....

Nu trillade poletten ned för mig gällande vad det är du har emot HTML. Det är ju vanligt med webbsidor där man mest ser till den ytliga designen utan att tänka särskilt mycket på strukturen och betydelsen i informationsinnehållet. Dock är ju HTML också ett semantiskt format med element som artikel, sektion, rubrik, stycke, interna och externa länkar osv. även om semantiken är begränsad till en fast vokabulär (en tillämpning av SGML). För det ändamålet att utöka semantiken i HTML-dokument finns väl sådant som RDF-a och JSON-LD som kan tillämpas för att påföra information på ett flexibelt sätt som är analogt med RDF.

Apropå denna tråd och https://community.dataportal.se/topic/270/badplatser-open-api

https://sverigesradio.se/artikel/badplatsen-dar-du-far-veta-vattentemperatur-innan-du-kommit-dit

P4 Stockholm
Mattias Rindefors står i förgrunden av bilden, bakom honom ser man en brygga och vatten.

Mattias Rindefors är innovationssamordnare inom digitalisering och IT på Upplands-Bro kommun. Foto: Björn Lindberg/Sveriges Radio

SMART BADPLATS

Badplatsen där du får veta vattentemperatur – innan du kommit dit

1:14 min
Publicerat igår kl 14.01

Smarta telefoner, smarta högtalare, smarta TV-apparater och nu – en smart badplats.
Det är Lillsjöns badplats i Upplands-Bro som numera kallas för just en smart badplats.
Här kan man se folkmängd, parkeringsplatser och vattentemperatur, redan innan du kommit dit.

@Maria_Dalhage sa i Hur skyndar vi på digitaliseringen?:

Jag skulle önska att se fler lyckade exempel. Att vi hjälper varandra genom att visa på goda exempel. Offentligkod.se är ett bra första steg där vi berättar vilka open source-programvaror vi använder så att vi kan hjälpa varandra välja det öppna alternativet, med support drift och annat som vi behöver hålla koll på vid en upphandling.

Det skulle jag också vilja se. Jag minns att någon Peter Krantz drev en webbplats som listade öppna data graderade efter skalan för "5-star open data". Det var rätt mycket PDF:er och Excel-dokument på de lägsta nivåerna. Efter ett tag lades dock webbplatsen ned och frågan är om det har gått framåt sedan dess. En liknande typ av kvalitetsbedömning vore kanske intressant för dataportalen för att göra det lättare att hitta exempel som nått ett steg längre.

Valet av system kommer vara det som avgör om vi kan arbeta agilt, kan arbeta med öppna standarder (kan prata med andra system) och kan säkerställa att vi inte låser in oss hos en specifik leverantör. Här finns det myndigheter som går före, kommuner som samarbetar, delar och återanvänder varandras kod.

Det verkar som rätt många myndigheter använder EntryScape, men jag har undrat om det är någon utöver utvecklarna själva som förstår hur det systemet fungerar och ska användas, annars skulle det väl finnas gott om goda exempel på länkad data?

Man behöver kanske bestämma sig på något vis i vilket format man ska producera dokument och metadata, och vilka alternativ för verktyg man kan tillgå som kan integreras i verksamheten. Finns det några sådana rekommendationer från DIGG:s håll idag?

För min del är Wikidata hittills den enda praktiskt fungerande tillämpningen av länkad data jag har stött på som bidragit till en bättre förståelse för hur det fungerar och kan användas, i övrigt har det mesta framstått som väldigt akademiskt, teoretiskt och tekniskt svårgripbart, så jag kan rekommendera det för den som vill få en bättre praktisk förståelse för hur länkad data fungerar.

@Magnus-Sälgö

Se min fråga till Domstolsverket om Lagrummet

jag lyssnade på ESV och DIGGs GD på "Textdata och delning av statliga utredningar för maskinell analys" och förslaget var att då PDF är svårt att hantera kanske vi skall testa HTML
se dialog med Esamverkan #3

Intressant det här med Text Encoding Initiative (TEI) som nämns i ärendet om Esams publikationer.

Jag har undrat lite över hur man ska gå vidare från PDF:er mot maskinläsbara dokument.
Wikidata sysslar väl mest med metadata, medan den löpande texten finns på Wikipedia. Använder man där något etablerat format för representation av textartiklar som är mer semantiskt än t.ex. HTML?
Vad vore det lämpligaste formatet för publicering av myndighetsdokument, och kan det redan finnas exempel på det?

https://en.wikipedia.org/wiki/Text_Encoding_Initiative

The Text Encoding Initiative (TEI) is a consortium which collectively develops and maintains a standard for the representation of texts in digital form. Its chief deliverable is a set of Guidelines which specify encoding methods for machine-readable texts, chiefly in the humanities, social sciences and linguistics.

<s>
 <cl>It was about the beginning of September, 1664,
 <cl>that I, among the rest of my neighbours,
      heard in ordinary discourse
  <cl>that the plague was returned again to Holland; </cl>
  </cl>
 </cl>
 <cl>for it had been very violent there, and particularly at
    Amsterdam and Rotterdam, in the year 1663, </cl>
 <cl>whither, <cl>they say,</cl> it was brought,
 <cl>some said</cl> from Italy, others from the Levant, among some goods
 <cl>which were brought home by their Turkey fleet;</cl>
 </cl>
 <cl>others said it was brought from Candia;
    others from Cyprus. </cl>
</s>
<s>
 <cl>It mattered not <cl>from whence it came;</cl>
 </cl>
 <cl>but all agreed <cl>it was come into Holland again.</cl>
 </cl>
</s>

@jonass Bra med konkret input, men är det någon som kan förlänga redigeringstiden då?

@Magnus-Sälgö Påpasslig observation.

@Maria_Dalhage sa i Förlänga tiden för att ändra ett inlägg:

Vilket jag har teknisk möjlighet att göra.

Att tjänstepersoner tillgriper kringgående manövrer på det sättet p.g.a. begränsat tekniskt och byråkratiskt rörelseutrymme är nog ett symtom på att det inte primärt handlar om juridik (det verkar inte logiskt att man inte har ställt detta förfarande på kö till de semestrande, föräldralediga, etc. juristerna tidigare). Att man lyckades starta igång forumet överhuvudtaget får väl ses som en bedrift, men man bör ju också ta höjd för underhåll och utveckling av verksamheten.

(Ett analogt fenomen verkar vara att man gärna utbyter information sinsemellan på medier som LinkedIn och Facebook, medan juridiken plötsligt blir en stoppkloss när det gäller att drifta egna publika ärendehanteringssystem.)

Tack för feedback! Vi tar med oss frågan.

4 månader senare

Vi kommer att titta på den efter semestrarna. (Det är våra jurister som gör detta).

=> 4 + 2 mån väntetid för en konfigurationsändring i forumtjänsten.

Det är intressant, för det kan ju vara en ledtråd till varför det tar 25 år att överge projekt som rättsinformationsförordningen som diskuterats i en annan tråd.

Vad innebär t.ex. "vi tar med oss frågan". Har DIGG registrerat ett ärende om att förlänga redigeringstiden för inlägg och hur har det hanterats? Jag upplever inte att hanteringen i det avseendet rimmar riktigt med den transparens som beskrivs i DIGG:s policydokument.

I vilka moment är juristerna inbegripna i konfiguration och moderering av diskussionsforumet, och vem är det som ska verkställa konfigurationen av redigeringstiden för egna inlägg? Den nuvarande tidsbegränsningen på tio minuter är väl ett godtyckligt förval? Varför inte förlänga redigeringstiden till en timme och låta juristerna ta ställning till detta efter sin sommarledighet?

Policy för utveckling av programvara
ÄRENDENUMMER: 2019-136
Största möjliga öppenhet ska prägla arbetet.

1. Det DIGG gör ska hålla den kvalitet att det tål insyn

@Magnus-Sälgö Jag har inte läst igenom rättsinformationsförordningen, men det ser ju ut att stå att det "skall finnas ett offentligt rättsinformationsssystem". Om jag förstår dig rätt så var det lagkrav och projektet hade mandat i förordningen att införa förändringar och kräva leverans av strukturerad data, men verksamheterna klarade helt enkelt inte av det. Man skickade ut ett startpaket för myndigheter, och sedan en förenklad applikation och sedan gav man i princip upp och har sänkt ambitionsnivåerna. Är det så att verktygen har varit väldigt komplicerade, för de flesta kan väl hantera vanliga kontorsprogram för ordbehandling och kalkyl?

@Magnus-Sälgö En lag utan krav på efterföljande är förstås meningslös och symbolisk. Det verkar som det ibland kan behövas kriser av digniteten pandemier eller krig för att uppnå en grad av nödvändighet där saker börjar röra på sig.