Hur skyndar vi på digitaliseringen?

@Nina_ @Jonas-Nordqvist lite fakta så vi vet vad vi pratar om just nu minskar kommuner som ens har en websida som heter Öppna data är min slutsats efter att ha jämfört 2022 med 2020

Nedan kommuners Öppna data sidor som verkar ha upphört... men ev. finns i internet archive

Bollnäs kommun hade 2020 sidan https://bollnas.se/psidata
- internet archive / WD
Svalövs kommun hade 2020 http://www.svalov.se/psidata
- internet archive 2016 / WD
Härryda kommun https://www.harryda.se/psidata
- internet archive / WD
Håbo kommun sida 2020 https://www.habo.se/psidata)
- internet archive / WD
Lerums kommun - https://lerum.se/psidata
- internet archive / WD
Lunds kommun hade https://lund.se/psidata
- internet archive saknar denna sida
Staffanstorps kommun https://staffanstorp.se/psidata
- internet archive
Vetlanda kommun https://vetlanda.se/psidata
- internet archive
Kungsbacka kommun hade https://kungsbacka.se/psidata
- internet archive saknar sidan
listan är nog längre eftersom jag klickade runt på Wikidata skapad karta (tips på midsommar pyssel leta Öppna data )

finns säkert fler och i många fall är en kommun sida om Öppna data en länk till kolada eller någon udda älgstatistik

Hade DIGG haft @Stefan-Wallin lösning hade ni sett detta direkt i portalen....

Om DIGG tror att ni utvecklar Öppna data så har nog kommunerna missat det tåget....

Fundering: Gör DIGG skillnad? Vad behövs? Behövs Öppna data?

Saker som har testats men inte gör skillnad

Lag 1999:175 med lagrummet
- projektet lades ned om jag fattar rätt 2016 för att myndigheter inte kunde leverera sina författningar digitalt... blev en länksida inte sökbar
  
  .
Vi testade skapa en myndighet SFS 2018:486 grov gissning att snart är en miljard Skr förbrukade...
- resultat? en portal och en diskussionsgrupp och färre kommuner som har Öppna data sidor, några dokument om att typ "Öppenhet är standard"....

Projekt NSÖD körde 3 år 2019-2022 för +16 miljoner
- resultat: kom fram till att NSÖD projektet saknade egen kompetens på API och att detta är en kulturresa för kommunerna...

Finns säkert flera 100 tals miljoner som lagts på andra initiativ....Stockholms stads irrande med en portal Stockholmskommunernas öppna data-portal som försvann vet säkert @Jonas-Nordqvist mer om....

Som medborgare känns det surt att saker som köps för skattepengar inte levereras som bra öppen data och vi blir mer eller mindre tvingade att använda dom digitalajättarnas tjänster även för kommunalinformation. Det blir bara mer och mer galet där de digitalajättarna försöker komma över vem vi har i våra adressböcker/ vilka mediciner vi köper på apoteket....

Er slutsats: .....

Glad midsommar

Stefan Wallin

@Jonas-Nordqvist jag vet inte riktigt hur du vill att jag ska tolka ditt svar, menar du att jag skulle behöva jobba som IT-chef i en politiskt styrd organisation för ”att få perspektiv” på mina orimliga åsikter?

Eller menar du kanske att alla som jobbar nu har en annan lista med svar än min? Eller kanske rent av samma lista med svar men får ändå ”inget” gjort?

Oavsett tänker jag att regeringen pekat ut riktningen för länge sedan: ”…Sverige ska bli bäst på digitalisering…” men nuvarande arbetssätt ger inte det resultatet är min observation. Vi har bett om postnummer som öppna data i över 15 år nu…

Maria_Dalhage

@elias jag skulle säga att ett område där det finns ett behov av att höja kunskap har med kravställning och upphandling att göra. Det finns många sk icke-funktionella krav (kan man ens kalla interoperabilitet för icke-funktionella krav?!?). Valet av system kommer vara det som avgör om vi kan arbeta agilt, kan arbeta med öppna standarder (kan prata med andra system) och kan säkerställa att vi inte låser in oss hos en specifik leverantör. Här finns det myndigheter som går före, kommuner som samarbetar, delar och återanvänder varandras kod.

Jag skulle önska att se fler lyckade exempel. Att vi hjälper varandra genom att visa på goda exempel. Offentligkod.se är ett bra första steg där vi berättar vilka open source-programvaror vi använder så att vi kan hjälpa varandra välja det öppna alternativet, med support drift och annat som vi behöver hålla koll på vid en upphandling.

Maria_Dalhage

@magnus-sälgö Du ställer en intressant fråga när du skriver:

Fundering: Gör DIGG skillnad? Vad behövs? Behövs öppna data?

Sverige och EU har haft en PSI-lagstiftning i tio år och vi har lagt massvis med pengar på att beskriva värdet med öppna data. Men det är ju inte DIGG som kan producera andra organisationers data. Det är heller inte DIGG som kan finansiera detta arbete. DIGG förvaltar den digitala infrastrukturen som möjliggör för andra att hitta data och byggblock att bygga vidare på, men själva tillhandahållandet av data, öppen källkod samt arbete med öppna standarder och specifikationer behöver respektive offentlig aktör själva göra.

Jag tycker att DIGG gör skillnad för att en del av det som saknades förut finns nu:

En nationell dataportal där man kan hitta offentlig sektors data,
En gemensam metadatastandard som möjliggör att vi kan söka på filtrera fram den data vi behöver,
API profil som beskriver hur vi best practice designar våra API:er så att de blir så lättanvända som möjligt,
Rekommendation för val av öppna data-licenser
En mängd olika rekommendationer och vägledningar som beskriver hur vi kan dela data mm.
Samarbete samt förvaltning av gemensamma byggblock till den digitala infrastrukturen (mina ärenden, eID, Peppol, mfl.)
Policy för utveckling av programvara, där DIGG går före och väljer öppet i första hand.
Verktyg baserade på open source såsom DCAT-AP-SE-Processorn som underlättar för organisationer att publicera sina data.
Nätverk såsom NOSAD
Detta forum för att skapa dialog. mm.

Funkar allt bra? Finns mer att göra? Absolut finns det mer att göra!

Vi behöver höja kvaliteten på datamängderna och deras metadata, vi behöver tillhandahålla mer data, och vi behöver bli duktigare på att återanvända och bidra till varandras lösningar.

jonor

@Magnus-Sälgö Väl gjord sammanställning av projektet med rättsinformationssystemet och väldigt intressant läsning. Sådan uppföljning och redovisning skulle man gärna vilja se från myndigheterna.

Det pekar ju ganska tydligt på att trots att kompetens finns för att konstatera vad som behöver göras så föreligger det svårigheter att förankra och genomdriva hantering av strukturerad information i verksamheterna.
Föreligger det inte några mandat eller krav från styrningen så orkar man inte sätta sig in i det, låter det rinna ut i sanden och fortsätter med det arbetssätt och de verktyg man är vana vid, får jag intryck av.

Föreligger det inte några mandat eller krav från styrningen

@jonor Jag tycker att Sveriges Rikes lag skulle få fart på laget och ha tålamod i 25 år.... vad för mandat vill du se? att ryssen intar Rosenbad eller skall kungen rida ut på häst för att folk skall inse att dom skall leverera

Många skýller på att Öppna data går så segt (starta man inte 2010?!?! video från 2013 med @Ainali ) är just bristen på en svensk lag... tycker att här är bevisat att det inte hjälper med en lag då massa myndigheter underlevererar.... och saker inte styrs upp....

mer om vikten av Digitala organisation som pratar data som data och APIfirst
- att skapa en svensk lag biter inte QED kunskap och kommunikation

jonor

@Magnus-Sälgö En lag utan krav på efterföljande är förstås meningslös och symbolisk. Det verkar som det ibland kan behövas kriser av digniteten pandemier eller krig för att uppnå en grad av nödvändighet där saker börjar röra på sig.

@jonor vilka lagar har inte krav på efterföljande!?!? Bränna hemma i Norrland ? Betala skatt i restaurangbranschen? Leverera författningar till ett centralt rättssystem....?

Är nog bara trötta myndigheter som kanske inte vet hur man tar första steget som kommer undan.... vore intressant att få info från någon som var med.... jag har själv varit del av att skapat en SGML produkt och levererat SGML lösningar till Saab Military, Novo Nordisk, OCLC på 90-talet och det blir snabbt komplext med DTD:er men även att använda SGML editorer... tror tyvärr att länkade Öppna data kräver liknande kompetenser för att det skall ta fart om det skall bli mer en kartor över utegym...

jonor

@Magnus-Sälgö Jag har inte läst igenom rättsinformationsförordningen, men det ser ju ut att stå att det "skall finnas ett offentligt rättsinformationsssystem". Om jag förstår dig rätt så var det lagkrav och projektet hade mandat i förordningen att införa förändringar och kräva leverans av strukturerad data, men verksamheterna klarade helt enkelt inte av det. Man skickade ut ett startpaket för myndigheter, och sedan en förenklad applikation och sedan gav man i princip upp och har sänkt ambitionsnivåerna. Är det så att verktygen har varit väldigt komplicerade, för de flesta kan väl hantera vanliga kontorsprogram för ordbehandling och kalkyl?

Jonas Nordqvist

@Stefan-Wallin sa i Hur skyndar vi på digitaliseringen?:

@Jonas-Nordqvist jag vet inte riktigt hur du vill att jag ska tolka ditt svar, menar du att jag skulle behöva jobba som IT-chef i en politiskt styrd organisation för ”att få perspektiv” på mina orimliga åsikter?
ja, men din lista är inte orimlig, den är bra, men det är inte där problemet ligger.
Eller menar du kanske att alla som jobbar nu har en annan lista med svar än min? Eller kanske rent av samma lista med svar men får ändå ”inget” gjort?
Det sistnämnda, samma lista.

@jonor SFS 1999:75 är en förordning och en SFS som jag uppfattar att den skall vara bindande.... du kanske kan få utfallet av detta projekt provat av HD... verkar ju minst sagt slappt att förbruka säkert >100 miljoner för att sedan skapa en länksamling.....

Läser du på www.domstol.se om-webbplatsen lagrummet.se-och-rattsinformationssystemet

står det

I systemet ingår rättskällor från regering, riksdag, högre domstolar samt statliga myndigheter. Varje myndighet ansvarar för innehållet i sin egen rättsinformation och hur det publiceras på internet.

Via lagrummet.se når du:
....

Till grund för verksamheten ligger rättsinformationsförordningen, SFS 1999:175

läser du SFS 1999:175 känns det inte som dom levererat §4 men projektet kanske inte är avslutat ännu... den som väntar på något gott väntar aldrig för länge.

Frågan var: Hur skyndar vi på digitaliseringen

gör root cause analys av projekt som ovan
fundera på om det finns faktorer som "skill gap", icke lärande organisationer
om du frågar mig från utsidan så tror jag bygg nya digitala organisationer och kanske centralisera saker, dagens modell fungerar inte.... det jobb jag ser Kolada gör att samla in för kommunerna Agenda 2030 indikatorer tror jag inte många av 290 kommuner skulle kunna göra själva.... när dom inte ens kan ha data var utegymmen finns eller ens ge mig ett helpdesknummer
3.1) tycker lärdomen av projektet "Rättsinformationssystemet" är att > 100 myndigheter som producerar rättsinformation underleverar rejält och det verkar inte vara självlärande organisationer

En vag fundering jag har haft är om det Digitala samhället ställer andra krav?

varför skall Riksarkivet, Libris, Riksantikvarieämbetet vara DataSilos det är data om ofta samma gubbar som dyker upp.... skapa En gemensam kunskapsgraf
varför skall varje kommun skapa 3 rader om deras 3 utegym jag vill ha ETT ställe som jag enkelt kan hämta data från jmf Wikidata
Bra exempel på att ett ställe fungerar är hur "data dysfunktionella länders" Covid data samlas ihop och kan enkelt hanteras är OWID Our world in data som ger oss allt data från Ett ställe på GITHUB exempel hur svenska datat måste OWID hämta med webscraping eftersom det inte verkar finnas API:er hos Folkhälsomyndigheten

@Jonor det finns exempel på vad som skall levereras i exempel.zip

@jonor det blir allt värre framåt natten.... känns som lagrummet light som finns idag borde hantera alla författningssamlingar dvs. då DIGG upphör bör MDFFS finnas tillgänligt dels som en länk i länksamlingen men även författningarna, ytterligare ett argument att ha data som data och inte enbart färgglada websidor som förvinner då myndigheten byts ut...

Se min fråga till Domstolsverket om Lagrummet

jonor

@Magnus-Sälgö

Se min fråga till Domstolsverket om Lagrummet

jag lyssnade på ESV och DIGGs GD på "Textdata och delning av statliga utredningar för maskinell analys" och förslaget var att då PDF är svårt att hantera kanske vi skall testa HTML
se dialog med Esamverkan #3

Intressant det här med Text Encoding Initiative (TEI) som nämns i ärendet om Esams publikationer.

Jag har undrat lite över hur man ska gå vidare från PDF:er mot maskinläsbara dokument.
Wikidata sysslar väl mest med metadata, medan den löpande texten finns på Wikipedia. Använder man där något etablerat format för representation av textartiklar som är mer semantiskt än t.ex. HTML?
Vad vore det lämpligaste formatet för publicering av myndighetsdokument, och kan det redan finnas exempel på det?

https://en.wikipedia.org/wiki/Text_Encoding_Initiative

The Text Encoding Initiative (TEI) is a consortium which collectively develops and maintains a standard for the representation of texts in digital form. Its chief deliverable is a set of Guidelines which specify encoding methods for machine-readable texts, chiefly in the humanities, social sciences and linguistics.

<s>
 <cl>It was about the beginning of September, 1664,
 <cl>that I, among the rest of my neighbours,
      heard in ordinary discourse
  <cl>that the plague was returned again to Holland; </cl>
  </cl>
 </cl>
 <cl>for it had been very violent there, and particularly at
    Amsterdam and Rotterdam, in the year 1663, </cl>
 <cl>whither, <cl>they say,</cl> it was brought,
 <cl>some said</cl> from Italy, others from the Levant, among some goods
 <cl>which were brought home by their Turkey fleet;</cl>
 </cl>
 <cl>others said it was brought from Candia;
    others from Cyprus. </cl>
</s>
<s>
 <cl>It mattered not <cl>from whence it came;</cl>
 </cl>
 <cl>but all agreed <cl>it was come into Holland again.</cl>
 </cl>
</s>

jonor

@Maria_Dalhage sa i Hur skyndar vi på digitaliseringen?:

Jag skulle önska att se fler lyckade exempel. Att vi hjälper varandra genom att visa på goda exempel. Offentligkod.se är ett bra första steg där vi berättar vilka open source-programvaror vi använder så att vi kan hjälpa varandra välja det öppna alternativet, med support drift och annat som vi behöver hålla koll på vid en upphandling.

Det skulle jag också vilja se. Jag minns att någon Peter Krantz drev en webbplats som listade öppna data graderade efter skalan för "5-star open data". Det var rätt mycket PDF:er och Excel-dokument på de lägsta nivåerna. Efter ett tag lades dock webbplatsen ned och frågan är om det har gått framåt sedan dess. En liknande typ av kvalitetsbedömning vore kanske intressant för dataportalen för att göra det lättare att hitta exempel som nått ett steg längre.

Valet av system kommer vara det som avgör om vi kan arbeta agilt, kan arbeta med öppna standarder (kan prata med andra system) och kan säkerställa att vi inte låser in oss hos en specifik leverantör. Här finns det myndigheter som går före, kommuner som samarbetar, delar och återanvänder varandras kod.

Det verkar som rätt många myndigheter använder EntryScape, men jag har undrat om det är någon utöver utvecklarna själva som förstår hur det systemet fungerar och ska användas, annars skulle det väl finnas gott om goda exempel på länkad data?

Man behöver kanske bestämma sig på något vis i vilket format man ska producera dokument och metadata, och vilka alternativ för verktyg man kan tillgå som kan integreras i verksamheten. Finns det några sådana rekommendationer från DIGG:s håll idag?

För min del är Wikidata hittills den enda praktiskt fungerande tillämpningen av länkad data jag har stött på som bidragit till en bättre förståelse för hur det fungerar och kan användas, i övrigt har det mesta framstått som väldigt akademiskt, teoretiskt och tekniskt svårgripbart, så jag kan rekommendera det för den som vill få en bättre praktisk förståelse för hur länkad data fungerar.

@jonor sa i Hur skyndar vi på digitaliseringen?:

För min del är Wikidata hittills den enda praktiskt fungerande tillämpningen av länkad data jag har stött på som bidragit till en bättre förståelse för hur det fungerar och kan användas, i övrigt har det mesta framstått som väldigt akademiskt, teoretiskt och tekniskt svårgripbart, så jag kan rekommendera det för det som vill få en bättre praktisk förståelse för hur länkad data fungerar.

Håller med Wikidata har tagit 6 år av mitt liv och en miljon redigeringar..... finns brister, finns massa brister med en öppen community osv. men Denny som designade är enormt smart.... jag hade funderat över trust och källor och fick ställa frågan till honom se hans svar video det var 1000 ggr smartare än vad jag tänkt på.... tycker Wikidata har massa snygga design beslut och bygger på ett EU projekt om att hantera olika åsikter i data om jag fattar rätt....

Fortunately some of the roots of Wikidata lie in an EU research project called RENDER. The goal of this project is to explore and support the diversity of knowledge on the Web. RENDER discards the assumption of a simple, single truth – and this was inherited by the Wikidata data model. Instead of collecting facts, we collect statements. We define statements as claims that can have references. A reference supports the claim. A beautiful example is for example Ethanol, where the CAS number – a standard identifier for chemical compounds – is given with a reference to the actual standard, pointing out the page in the source.>

Vi pratar nu på annat ställe om persistenta identifierar och hur massa andra aktörer misslyckas eller inte ser problemet Wikidata med sin tighta koppling till artiklar på massa språk inser att man behöver samma som vilket är perfekt....

dock ser jag att Wikidata inte börjat fundera på semantik.... en artikel om August Strindberg är enkelt då är Wikidata gubben av kött och blod
- kul att lyssna på Daniel titel Knowledge specialist och hur han modulerar HDs domar i Wikidata video
lyssnar du på Google så inser man att dom brottas med vad är en bio, kan en bio visa liveuppträdande, vad är en brandstation, är en flygplats med brandbilar en brandstation länk Google key Note Applies Semantics

Det verkar som rätt många myndigheter använder EntryScape, men jag har undrat om det är någon utöver utvecklarna själva som förstår hur det systemet fungerar och ska användas, annars skulle det väl finnas gott om goda exempel på länkad data?

Håller med tar typ 40 dagar att svara på frågan om identifierare och då frågar man massa konsulter och ingen verkar bli klokare..... det tar väl 25 år även denna gången....

Wikidata - not so good

En vag tanke jag har är att nu har vi massa data i en "snygg" graf men vi gör inget med det eller vi borde kunna göra mera.... jag ser att Neo4J har integrerat ML funktionsbibliotek och ser att det forskas på det men i Wikidata världen dyker sånt bara upp när vi har forskar fokus se wikidataworkshop.github.io/2021

@jonor FYI jag flyttade en del av denna diskussion (delen om persistenta identifierare) till GITHUB (där man kan ändra inläggen enklare och rätta felskrivnigar... verkar som myndighetsreglerna inte gäller där... )

Maria_Dalhage

@Magnus-Sälgö Jo, eftersom du gjort en issue på DiggSweden på Github, gäller myndighetsregler...

Däremot så gillar jag att du länkar till dina sammanställningar. Mitt förslag är att du gör en egen sammanställning i en Wiki (Wikidata.se?) och länkar till denna, precis som du nu länkar till din issue på Diggs Githubkonto. Det finns flera skäl till detta.

Du samlar dina tankar på ett och samma ställa och kan länka till din wikisida på detta community eller andra communities istället för att få flera olika versioner av copy/paste taget ur sitt sammanhang.
Du har fri möjlighet att editera, uppdatera och ändra ditt innehåll efter behag.
Du har större frihet i att uttrycka dig och äger ditt innehåll. Med våra användarregler får vi inte namnge personer utanför forumet, ens om det är vår högsta chefer eller politiker.

@Maria_Dalhage känns mer och mer att saker som detta borde finnas på en g0v site det verkar Taiwans digitala ledare uppmuntra

oohps nu namngav jag dig
oohps och du namngav mig....

jonor

@Magnus-Sälgö sa i Hur skyndar vi på digitaliseringen?:

Min förståelse av TEI är att det är forskarvärldens lösning till att hantera ostrukturerad text med struktur och har haft kopplingar till SGML så att texten kan användas till maskininlärning NLP etc...

Ja, kanske snarare så att man märker upp text manuellt för att träna programvara som sedan kan analysera och märka upp struktur i ny text med automatik.

kollar vi på delleverans av havererade rättsinformationssystemet 2008 dvs. dom beskriver identifierade delar med struktur.... se exempel deras handböcker man blir tårögd att allt detta blir till sand - Spotify tolkar projektet. Dom skrev vägledning för resursidentifiering och identifierare

Det är märkligt att man verkar ha kommit väldigt långt i arbetet med strukturerad data, och att det nu framstår som att det vore helt bortglömt och okänt för dagens myndigheter.

dvs. skall man börja jobba med struktur i dokument så är det ett enormt kliv... jag har svårt att se att DIGG styr upp det som lägger ut sina författningar MDDFS utan metadata eller verkar sakna en egen dokumenthateringsfilosofi.... hur skall dom kunna jobba med strukturerade dokument eller vara "tankeledare" och sprida en vision... tror mer deras mål är "just another myndighet"

Klivet borde ju inte behöva vara så stort, varför inte plocka upp och fortsätta på det arbete som redan påbörjats, t.ex. i fråga om författningssamlingen.

Vi har även börjat med vår seminarieserie som vi erbjuder alla rättsinformationsproducerande myndigheter att vara med på

fundering varför "erbjuder man" borde man inte se till att certifiera folk att dom kan hantera myndighetens författningar...

känner lite samma med Öppna data certifiera folk vad persistenta identifierare är

Låter väl som ett bra förslag att certifiera folk för den kompetens som behövs för att lösa uppgifterna. Då blir det väl tydligt vilken databeredskap man besitter.

vi har fastnat i djävulens påfund med färgglada html sidor och web redaktörer som skall lösas allt...

diskussionen är PDF är inte bra kanske HTML funkar....

Nu trillade poletten ned för mig gällande vad det är du har emot HTML. Det är ju vanligt med webbsidor där man mest ser till den ytliga designen utan att tänka särskilt mycket på strukturen och betydelsen i informationsinnehållet. Dock är ju HTML också ett semantiskt format med element som artikel, sektion, rubrik, stycke, interna och externa länkar osv. även om semantiken är begränsad till en fast vokabulär (en tillämpning av SGML). För det ändamålet att utöka semantiken i HTML-dokument finns väl sådant som RDF-a och JSON-LD som kan tillämpas för att påföra information på ett flexibelt sätt som är analogt med RDF.

Redaktionen för lagrummet.se svarade hur det går med lagrummet idag

översyn av Regeringskansliet sedan några år
hade projektet levererats enligt plan så hade de även löst att hantera upphävda myndigheter
databasen Vägledande avgöranden finns inte som öppnadata ev. finns planer men dom vet inte status

Se hela svaret https://github.com/salgo60/open-data-examples/issues/2#issuecomment-1175362343

Har idag lyssnat på diskussioner i Almedalen

både Google och metaverse är där och “brandar” sina varumärken och verkar vilja bygga sina nya plattformar utan att regleras

En kommun pratade från scen om att dom idag saknar stöd att kunna göra bra leveranser av Öppna data ex. hur öppna data skall levereras dom verkar känna sig övergivna…

Summa sumarum det råder leveransproblem i Svea riket Sverige internationella tech jättar har visioner och levererar