Community på Sveriges dataportal

@Magnus tack för din analys. 🤩

Jag har under flera år försökt konsumera diverse datamängder från ett antal myndigheter.
Tyvärr är min bild samstämmande med din på tvären av all öppen data från offentliga organisationer med få undantag.
Tex SCB där det av någon anledning är mycket bra ordning på allt.

Jag har funderat nyligen på att göra en egen portal och låta en AI och individer recensera öppna datamängder för att få ett bättre överblick. Det skulle då också gå att söka utifrån utgivare och teman så man enkelt hittar det man söker.

Dataportalen som digg driver har många brister och är nästintill värdelös eftersom den likt bolagsverkets årsrapporter inte har någon som helst granskning av kvalitet, möjlighet att flagga värdelösa poster för granskning/borttagning eller möjlighet för konsumenten att recensera en post.

Resultatet är en massa brus.

Den undermåliga sökfunktionen gör portalen nästintill värdelös när det gäller findability så det samlede resultatet är att datakonsumenter nog ger upp och söker sin data på annat håll tex genom att kontakta berörd myndighet direkt istället.

Om du vill bygga en app med badplatser så är mitt förslag att titta på Wikidata och Openstreetmap och kombinera det med Lantmäteriet topo50.
Då får du täckning på gissningsvis 80-90% av landets badplatser.
Sen kan du konsumera datan om badvatten kvalitet från HaV också.

Utmaningen är att matcha ihop alla dessa och presentera det hela på ett vettigt sätt för användaren så de enkelt hittar och får en bra badupplevelse.

Integration med Google maps är kanske också möjligt men om deras recensioner går att läsa från en api vet jag ej.

Lycka till!

Jag har märkt att flera av våra myndigheter har uppenbara svårigheter med det här med öppna standarder och att dela informationen på ett sätt som enkelt kan konsumeras av datakonsumenter.

Här har ni ett exempel där jag analyserat en felaktig formaterat CSV från Naturvårdsverket.

Det här tolkar jag som inkompetens att hantera data hos myndighetens anställda. Har DIGG några utbildningar eller dylikt att erbjuda för anställda som handlägger ärenden enligt öppna datalagen så vi slipper sånt här på sikt?

@Matself Jag håller helt med. Geopackage stöds nu tex av JOSM som används inom OpenStreetMap så det går lika bra som GeoJSON.

För mig som datakonsument är huvudsaken att val av koordinatsystem tydligt specificeras. Jag vill inte ha GeoJSON som inte följer standard.

En verksjurist på Åklagarmyndigheten verkar tolka öppna datalagen så att deras hemsida är maskinläsbar och att publicering där därför kan räknas som att de redan lämnat ut.

Se https://handlingar.se/request/begaran_om_ordlista_som_oppen_da#incoming-4055

Här följer en definition på maskinläsbar som jag hittade efter en snabbgoogling:
"Maskinläsbara data innebära att data är väl strukturerat i ett standardiserat format så att maskiner kan utläsa betydelsen och bearbeta innehållet utan manuell handpåläggning." källa

Här är definitionen enligt DIGG:
"Maskinläsbart format innebär ett filformat som är strukturerat på ett sådant sätt att det enkelt kan läsas av ett datorprogram, vilket definieras i 1 kap. 4 § öppna datalagen. Enkelt innebär att det inte bör krävas att den som begärt att få tillgång till data skaffar kostsam eller svårtillämpad programvara för att kunna ta del av den data som tillgängliggörs (prop. 2021/22:225 s. 7469)." källa

Det ligger helt i linje med det jag sett vid andra förfrågningar: de flesta myndigheter tvärvägrar att svara eller lämna ut data i vettigt maskinläsbart format. Det finns undantag, men tyvärr är de få sett till våra 600+ myndigheter.

Till verksjuristens fördel kan tilläggas att han valde att bifoga en XML-fil med välstrukturerad data för att vara snäll.

Det intressanta är att ingen än stämt nån av våra myndigheter som vägrar lämna ut enligt nya lagen. Vi har således noll rättspraxis.

Tekniskt sett har juristen rätt när han skriver att hemsidan går att läsa med maskin via en webbläsare. Så min gissning är att andra myndigheter kommer börja ducka på detta sätt framöver tills någon stämmer dem och får medhåll i domstol eller tills lagen tydliggörs så de inte kan hävda att (x)html är maskinläsbar och väl strukturerad på det sätt som avses av lagstiftaren.

Vi behöver ett tydligt fall som dras till domstol så att vi slipper osäkerhet på hur lagen ska tolkas.

@matthias intressant. Så det kanske skulle vara värt att starta ett företag eller förening mellan kommunerna eller privat som aggregerar och tillgängliggör ett stabilt API för varje typ av datamängd som kommunerna själva eller andra är intresserade av.

Om kommunerne själva skulle göra det tex via SKR skulle de kanske ha mera motivation att faktiskt följa de standarder som finns?

Med tanke på våra överlag ganska dataomogna och api-omogna kommuner så är det nog troligast att en privat aktör kliver fram.

Om jag skulle ge mig in på det skulle jag först göra en marknadsundersökning. Den skulle troligen visa att bortom SCBs data finns de väldigt lite på dataportal.se som medborgare eller kommuner vill ha och det lilla som finns håller väldigt låg kvalitet. Hoppas jag tar fel men det kan ju vara svaret på varför ingen aktör gett sig in på området än.

Det finns flera privata företag som idag aggregerar rättsinformation dvs begär ut alla domar digitalt och gör dem sökbara för journalister.

Jag efterfrågade data från ISOF och de levererade så gott de kunde inom rimliga gränser.
https://handlingar.se/request/svenska_datatermgruppens_termsam#describe_state_form_1

Det här är mycket ovanligt. Jag känner mig lite överraskad och väldigt nöjd.

Dock ändrar inte det här på att hela begrepp/term-området verkar väldigt styvmoderligt behandlad av våra myndigheter. Att ISOF tagit över en del av databaserna har ännu inte lett till någon förbättring vad jag kan se, de är ett gäng silos som samlar damm.

Jag önskar mig att regeringen tar ett ordentligt krafttag och pekar tydligt på vilken myndighet som ska ansvara för att binda ihop alla offentliga begrepp semantiskt på ett vettigt sätt som skapar värde för hela samhället.

Just nu tappar vi det hela på golvet vad jag kan se.

@jonor sa i Nya specifikationer och vägledningar för lediga tomter, matsvinn och snöröjning:

jag upplever att funktionaliten i nuläget är krånglig, onödigt begränsad och knapphändigt dokumenterad.

Det här låter som ett riktigt skitsystem.
Har du läst Jävla skitsystem!?
Jag kan varmt rekommendera den boken.

@jonor sa i DiBa:

Riksrevisionen bedömer att myndigheterna inte arbetar med att involvera användare i tillräcklig omfattning, när de utvecklar de digitala tjänsterna.

Tack för citatet. Å vad jag älskar Riksrevisionen!

@Dennis_Priskorn Svar från Härnösand: Ingen sådant finns i dagsläget i vår inköpspolicy.

Jag har gjort följande analys av begreppet "kommunpolis".

Vid sökning på google kommer följande fram:

Notera att det där inte är en pålitlig källa, Polismyndigheten finns inte med på nån av hitsen på första sidan.

Regeringen då? Nej, inga hits alls på kommunpolis

Riksdagen då? Nej, de har ingen begreppsdatabas. Ordet förekommer dock vid sökning i 161 träffar, men man kan inte enkelt med maskin utleda vad det betyder.

Polismyndigheten själva? Nej, de har ingen maskinläsbar begreppsdatabas heller dock får man 188 träffar vid sökning men det är inte maskinläsbart.

Varken Regeringen, Riksdagen eller Polismyndigheten har alltså klarat av att definiera begreppet på ett vettigt maskinläsbart sätt eller i en öppen datamängd med begrepp och deras definitioner.

Men vad med våra språkvårdande myndigheter då?
Svenska Akademin? Nej, de klarar inte heller av att berätta för mig vad det är TROTS att de är en statlig organisation med ansvar för svenska språket och är de enda som jobbar professionellt med att definiera ord och begrepp. De jobbar dessutom inte med öppna data eller öppna licenser, så de är inte mycket att ha i dagsläget öht. De har inget tydligt regeringsuppdrag och styrs inte av några regleringsbrev vad jag vet. Dags för en förändring? Se en analys rörande organisationens stadgar. Konungen verkar ännu inte lyckats säkerställa att denna märkliga organisation bidrar till att tillgodose samhällets behov av öppna data om svenska språket.

Institutet för språk och folkminnen (ISOF) då?
Nej, de har flera databaser med begrepp, och har nyligen frigett öppna data, men de klarar inte heller av att förklara vad det är.

Jag sitter här på min kammare och undrar varför inte svenska staten klarar av något så simpelt som att definiera, publicera och underhålla ett vettigt IT-system för sina begrepp.

PS:
Wikidata vet i dagsläget inte vad en "kommunpolis" är. En användare har hittat ordet nånstans och lagt in det som ett leksem, men det saknar betydelser i dagsläget.
Ordet förekommer även i titeln på en motion som importerats från Riksdagens öppna data.
https://www.wikidata.org/w/index.php?search=kommunpolis&title=Special%3ASearch&ns0=1&ns120=1&ns146=1

Snubblade över det här regleringsbrevet https://www.esv.se/statsliggaren/regleringsbrev/Index?rbId=23880 via https://polisen.se/om-polisen/polisens-arbete/utsatta-omraden/#kartgranser

Jag känner mig inte nöjd alls, regeringen verkar inte klara av att själva jobba datadrivet eller ge andra myndigheter i uppdrag att jobba datadrivet och rapportera på ett sätt som kan läsas enkelt med maskin. Det här är så 1999 om ni frågar mig.

Exempel:

Här ber regeringen om att få siffror men notera:

1. regleringsbrevet skickas ENDAST som PDF. Det finns ingen identifierare på de där punkter som möjliggör för Polismyndigheten att svara med RDF strukturerad data.
2. regeringen knyter inte begreppen de jonglerar med i detta brev till något som helst vokabulär, tex skulle vi kunna ha ett svenskt offentligt vokabulär där alla viktiga begrepp definieras (på flera språk) och länkas till andra länders vokabulärer så alla vet vad vi pratar om.
   Exempel på begrepp här: är "brottsförebyggande arbete" == https://www.wikidata.org/wiki/Q855848 och i förlängningen https://lda.data.parliament.uk/terms/90769.html
   Liknande begrepp som behöver definieras är "kommunpolis", "lokalpolis", "områdespolis", m.m. Dessa begrepp saknar idag definition vid en enkel googlesökning. Det är alltså överhängande risk att medborgarna MISSFÖRSTÅR vad de här myndigheter pratar sinsemellan om via PDF.
3. regeringen är inte tydlig alls med HUR återrapporteringen ska ske. Dvs som öppen data i RDF, i PDF eller vad. Min gissning är att Polismyndigheten kommer köra vidare med endast worddokument som exporteras till PDF och skickas till RK. Det är enkelt, billigt och redan inbäddad i myndighetens kultur. Jag vill ha RDF eller JSON-LD i första hand.

Vem driver på att vi skapar en vokabulär likt den i brittiska parlamentet i Sverige/Norden?
Driver nån i Nordiska ministerrådet frågan?
Vem på regeringskansliet har ansvaret för myndighetens semantiska och informationsmässiga strukturer och system?
Vem i riksdagens kansli har ansvaret för deras semantiska och informationsmässiga strukturer och system?

Efter flera års aktivism och förfrågningar från min sida har det skett ett genombrott!
https://handlingar.se/request/oppna_data_strategi_och_handling?nocache=incoming-3377#incoming-3377

Är det första kommunen i landet att klara av detta?
Hur gjorde de?
Ska de börja turnera till alla andra kommuner som än inte klara av detta och hjälpa dem med internutbildning?

Frågorna är många och framtiden är ljus! Hurra!

@Björn-Hagström sa i Vägledning för att publicera data om grillplatser:

Om man ställer för höga krav på att skapa data specifikt för publicering av öppna data leder det också lätt till att verksamheten väljer att inte alls publicera data.

I min värld så finns det morot och piska. Om inte morot funkar, då ser vi till att skapa en bra piska.

Öppna datalagen är i sin nuvarande utformning faktiskt tillräcklig piska för att även regeringskansliet håller på att lära sig grunden för öppna data, se tex https://handlingar.se/request/oppna_data_om_statens_utgiftsomr där de nu lärt sig leverera CSV.

Jag erkänner gärna att med den nuvarande takt så kommer det ta årtionden innan vi kan förstå oss på samhällets viktigaste beslut och funktioner enbart genom att konsumera öppna data, men första spadtaget är iaf gjort.

Att några myndigheter vägrar följa lagen som tex Timrå och Härnösand som blankt nekar eller vägrar lämna ut data jag vet de har är såklart ett problem.

Förslag:
Vad vi skulle behöva är en hök likt skolinspektionen, men på dataområdet. Vi kan kalla den datainspektionen! Den ska ha möjlighet att utfärda vite om inte myndigheterna:

1. följer en specifikation som finns på området
2. delar data som vi kommit överens om att dessa myndigheter ska dela
3. missköter underhåll/tillgång till data
4. inte klarar av att förklara hur datan samlats in och vilka antaganden som gjorts eller vad fälten betyder (exempel där jag bett regionen förklara vad deras för mig kryptiska ID betyder).
   ...

DIGG utfärder rekommendationer och tar alltså fram best practice. Datainspektionen ser till att straffa de myndigheter som inte sköter sig och håller sig inom rimliga gränser när det gäller kvalitet och tillgång till data.

Om nån är missnöjd med best practice får de ta det med experterna på DIGG.

@Maria_Dalhage sa i DiBa:

Vid anskaffning och utveckling ska verksamheterna i första hand välja öppen
programvara samt tillgängliggöra denna under en öppen programvarulicens, om
inte särskilda skäl föreligger.

Skickade iväg följande med stimuli från detta. Tack! https://handlingar.se/request/upphandlingspolicyhandlingsplans

@mattias Jag har ingen som helst tillit till ett enda av samhällets IT-system i dagsläget. Allt jag grävt i har varit trasigt, ofullständigt, undermåligt eller rent av så kasst skött att det resulterat i lagbrott eller så ineffektivt ur kostnadsperspektiv att man förvånas att det öht kunnat beslutas på politisk nivå.

Jag räknar med att jag kommer fara illa framöver pga. bristande IT-kompetens överallt.

Jag förvånas över att det inte är flera som protesterar mot status quo. Jag förvånas även över att det inte är flera läckor och angrepp, för det är löjligt enkelt att installera keyloggers på regionens datorer, ta sig förbi skalskydd, m.m.

@mattias finns ett ärende där jag kan följa arbetet med nästa version? aka jobbar ni öppet och datadrivet? samlar ni in all data som redan publicerats och analyserar hur specifikationen används i praxis, m.m.?

Se samtal med chatgpt och länk till förfrågan på handlingar.se här https://community.openstreetmap.org/t/apropa-badplatser-jag-fragade-chatgpt-vad-det-ar-och-hur-vi-sarskiljer-och-vilken-konsekvens-det-far-for-oss-nar-vi-inte-har-tillgang-till-tillforlitlig-data/105011/2

@mattias planerar ni att göra en ny version av specifikationen längre fram med dessa och kanske andra förbättringar?

@jonor det här luktar inkompetens och skitsystem lång väg. Har de testet på användare? Om ja, varför har de inte fixat de här uppenbara problem innan de rullar ut systemet?
Finns en UX expert tillknyten?
Du kan begära ut dokumentation om projektet och upphandlingen från Domstolsverket.
Om de inte redan delat informationen om projektet öppet säger kanske en del i sig om hur de tänker när det gäller transparens.