DIGG har nu släppt 2 dataset där det ena är deras "Leverantörsfakturor 2020" datasets/760_1544

Som en test och en undring så hämtade jag ned detta

1. i datasetet finns organisationsnumret som är en nyckel till verksamheten
   1-1) om jag förstår rätt har Bolagsverket inget API där jag kan hämta ut Standard för svensk näringsgrensindelning SNI men Google Sheet har lite webscraping så jag fuska med dom... och funktionen IMPORTXML och Xpath som kördes mot www.allabolag.se som har organisationsnummer som nyckel....
2. jag grupperade på SNI och skapade nedanstående översikt -->

==> att jag kan se grovt vad pengarna läggs inom för områden och vilka företag som fakturer....

• worksheet

Vad saknas

• fler som har sina fakturor som öppen data
• att Bolagsverkets har ett API med nyckel organisationsnummer där mer saker kan hämtas enkelt
• att en faktura kopplas till ett projekt hos DIGG som kopplas till de uppgifter DIGG har i sitt regleringsbrev att göra "Förordning (2018:1486) med instruktion för Myndigheten för digital förvaltning"
• att SNI kopplas till några internationella standarder så vi kan jmf mellan olika länder
• ?!?!?! några tankar....

@salgo60 bra exempel på Skillnaden på

• text sträng Sverige

• länkade data samma som "Sverige"

• anger man Sverige samma som WD:Q34 -->

  • graf
    
  • lista med egenskaper som beskriver Q34 = Sverige i Wikidata
    • på finska
    • på engelska
    • på kinesiska
    • på arabiska
    • på polska
      ......

Hela iden är att kunna överföra begrepp på ett entydigt sätt från system A till B det heter semantisk Interoperabilitet.... ju mer internationellt Öppet Data blir desto viktigare blir detta och att leverera saker på ett språk som mottagaren behärskar....

Ett exempel på otydlighet jag ser är när polisen rapporterar brott med en text sträng "Stockholm" så vet vi inte om det är

• "Stockholm" = Q1754 huvudstad graf
• "Stockholm" = Q94385 tätorten graf
• "Stockholm" = Q506250 kommun graf
• "Stockholm" = Q104231 län graf
  skall data vara användbart så måste man ha denna tydlighet....

@jonor det är bara att höra av dig till mig kan jag vi köra en session där vi delar skärm 0705937570.... eller ännu bättre om du har konkret data....

• det här är en helt ny värld och det vi pratar om är att vara semantisk expert / knowledge engineer dvs, att kunna beskriva olika kunskapsdomäner semantiskt och sedan koppla ihop dom med andra kunskapsgrafer. Dom som kommit längst på detta är Google, Apple, Amazon ....
  • jag har inte ens sett detta i Sverige.... vi har en del att lära.... eller kanske en del misstag har gjorts och kommer att göras igen tills vi inser utmaningen...

kollar jag på dom som håller på med Wikidata och gör verklig skillnad på Wikidata så är det folk som doktorerat inom Teknisk fysik och är några av dom smartaste människor jag mött och då är jag själv Teknisk fysiker så detta är inte trivialt.

• Lätt video vad Wikidata är "An introduction to Wikidata"
• längre video där han som skapa internet Tim Berners Lee pratar om att ha data som data - the next web
  • det är även han som kommit på detta med #Linkeddata
• det är som sagt inte helt trivialt och vi har sett kultur Sverige försökt ta steget sedan 2012 men inget händer mycket för att man inte inser att detta kräver nya kompetenser min blogpost om detta elände...

Enklare exempel på skillnad

• Sverige
  • text sträng = Sverige
    • text sträng med språkkod = Sverige - lang sv
    • text sträng med språkkod = Sweden - lang en
    • text sträng med språkkod = 瑞典 - lang zh
• Wikidata: Sverige = Q34 ==> lista egenskaper 222 egenskaper
  • samma fast som en graf dvs. du som hämtar data som land = Q34 vet mycket mer
    • denna graf kan jag hämta på många språk ex. en, zh, ar eftersom detta är designat att vara "språkoberoende" (motsvarande Tyskland, USA, Burma

Kollar vi på Riksdagens data

• min erfarenhet med detta data
  • jobbade på Paralog som var svensk fritextsökning på 90 talet och var inblandad som konsult hos Riksdagen
  • träffade Riksdagen 2019 och beskrev Wikidata för att se vad vi kan göra med varandra länk
    * skapade en egenskap för svenska Riksdagsledamöter Property:P8388
    * en annan för Riksdagens dokument Property:P8433
  • andra har gjort ett magiskt jobb att lyfta in > 100 000 dokument i Wikidata se bra video vid 21:20 minuter beskriver Daniel (enormt skärpt) hur han importerat Högsta domstolens domar, ledamöter och skapar sedan kopplingar till Riksdagens dokument som varit som underlag till detta ex. NJA 2019 s. 1013 - Takläckaget jämför hur HD har detta bara som ett textdokument i pdf utan kopplingar....

* för att kunna beskriva hela världens alla riksdagar (projekt Wikidata:WikiProject_every_politician) och deras ledamöter så har andra tagit fram en ShEx beskrivning se EntitySchema:E134 dvs. ett schema för datat så att vi får konsistens

inte helt trivialt men Tim Bernes Lee hade rätt om internet när han tog fram det 1989 och det känns även som han förstår hur data skall kopplas till data semantiskt...

@salgo60 Lite intressant att dom har kopplingar regleringsbrev etc. se https://datalabb.esv.se/ris/ den datan borde enkelt kunna hämtas men även finnas som öppen data från varje myndighet där man beskriver sin myndighet digitalt. Sedan borde detta kunna brytas ned till ett antal aktiviteter för varje myndighet som även det finns tillgängligt hos en myndighet med vad dom jobbar med, budgeten för detta, status, leverabler och kopplingar till andra myndigheter som jobbar med samma sak... och allt detta skall finnas som data inte i PDF:er.....(Tim Berners Lee Raw data now - making the world better and gives us unadulterated data)

jag skickar en fråga till ESV och pekar på denna diskussion så kanske vi kan föra dialogen här med dom....

I Wikidata försöker vi hålla reda på alla myndigheter etc. och det finns SPARQL federation men kvaliten blir aldrig bra om vi inte kan verifiera detta data mot en källa som ESV... vilka API, endpoints har dom... instruktioner och HD domar har vi redan hämtat (video)

SPARQL vad vi har idag i Wikidata om myndigheter och instruktioner men som borde kvalitetssäkras mot en källa som ESV.... och sedan kopplas mot andra relevanta saker.....

• SPARQL som hämtar myndigheter med deras instruktioner
  • detta kan sedan laddas ned som JSON, csv

@maria_dalhage sa i Hur arbetar ni med öppna standarder?:

interoperabilitet

gäller även datat att ha Semantic_interoperability

@jamespether trevlig jag var faktiskt med som konsult för säkert 20 år sedan och byggde ett data warehouse till ESV med en staging area...

• spontant efter att ha klickat runt
  ** saknar stöd för fler språk än svenska
  ** enkelhet att ladda ned data verkar saknas
  ** feedback skall ges i email "Du kan mejla dina synpunkter till svenne.junker@esv.se" dvs. du kan inte läsa och följa vad andra tycker och processen blir oftast långsam

trevligt vore om dom hitta en väg framåt med att ha kunskapsgrafer där myndigheter etc. beskrivs --> gissar jag att man kan enklare jmf med andra länder....

@tomasmonsen bra ide....

Mina funderingar

1. alltid bra att ha egna unika persistenta identifierare.... ta även höjd för att bad försvinner , byter namn, eller externa idn byts ut....
2. jag kollade kort på hav och vatten API:et och känner att det vore bra att även ha med en identifierare hos Open Street Map --> då kan du se storleken på badet och enklare hålla OSM kartan uppdaterad med erat värde....
3. Open Street Map kopplar WIkidata och Wikidata håller reda på Open Street Map
   1. @Dennis_Priskorn har säkert bättre koll på detta men en bra sak är att skall ni ange ex. wheelchair så "smygkolla" hur OSM gör och se till att det ni anger kan vara kompatibelt med deras... så kan någon frivllig uppdatera deras data... du har en aktiv svensk OSM grupp på FB "OpenStreetMap Sverige"
      1. wiki.openstreetmap.org Key:wheelchair
      2. ramp wheelchair
      3. Key:toilets:wheelchair
4. samma public_transit kolla hur detta identifieras i Trafiklabs API och ange detta id eller vad dom har så blir det enklare för dom som programmerar appar
5. som Wikidata nerd så skulle jag gärna se att Wikidata ID:et och/eller Wikipedia artikeln finns --> att man med lite pyssel även hittar bilder på badet... Jag skapade förra året
   1. Wikipedia Järvabadet
   2. samma som Wikidata Q96252109
   3. samma som OSM relation/11224474 som pekar på Wikidata Q96252109
   4. bilder i WIkicommoins finns då att hämta som alla som har motiv Q96252109 --> haswbstatement:P180=Q96252109

Exempel bilder som avbildar badet Q96252109

@salgo60

• www.esv.se/psidata

@salgo60 la upp detta på GITHUB med ämnesord som en test som jag hoppas kopplar ihop denna test med datasetet

• datasets/760_1544 --> GITHUB ämne github.com/topics/datasets-760-1544

dvs. alla tecken fungerar inte att använda i ett TOPIC hos GITHUB men det borde inte vara omöjligt att hitta en konvention där uppladdade lösningar på GITHUB har en koppling till de dataset de använder

Vill ni fundera/prata om Länkade data så kan jag köra 20 minuter presentation via Zoom eller annat media... vi hamnade idag i en diskussion på en workshop om svenska eller engelska för att beskriva fält och svaret är länkade data, länkade data, länkade data, länkade data...

Amazon, Facebook , Google, Wikipedia har tagit steget... samma kille Tim Berners Lee som satte igång web:en har även beskrivit detta... och han vill nu att vi INTE skickar runt textsträngar utan skickar runt DATA som DATA

• enklare videos
  • Linked Open Data - What is it? and why is it good for me - 5 min
  • Wikidata en introduktion
• Tim Berners-Lee håller ett längre TED föredrag "The next WEB "
• även bra fundering över Öppen data på svenska av Anna Rosling om att publicera Öppen data och att publicera datan så den är användbar" dvs. länkade data

Jag nås på 070-5937579 och har dom senaste 6 åren gratis "jobbat" på Wikidata (user salgo60) och kopplat ihop massa kulturarvsinstitutioner...

Magnus Sälgö
0705937579
salgo60@msn.com
Linked in

Skall man få en bra förståelse för detta kan man enkelt börja lägga till data till Wikidata

• finns massa video när andra skapar objekt - youtube
• på svenska håller Jan Ainali i online träffar där vi pratar fritt - ofta söndagar
  
• Telegram grupp Wikidata Sverige finns motsvarande för Lexemes, internationell grupp Wikibase....
  • twitter wikidata
• om nästa version av Wikidata Abstract Wikipedia - "Knowledge beyond the graph: Towards a multilingual Wikipedia"

@jonor Wikidata Egenskapen Open Data portal jag begärde en egenskap på Wikidata 24 jun 2020

• den skapades 4 jul 2020
• sedan matade jag in så många jag hitta se karta

• min vision var
  • steg ett var att enklare börja hitta dataportalen och att Google hittar den se hur snabbt Google läser Wikidata tweet
    • att om det blir bra så skulle alla Wikipedia artiklar om ex. en kommun kunna ha en länk till deras öppna dataportal var min tanke... tanken möttes med försiktig positiva kommentarer (att inför förändring på Wikipedia är oftast halvt omöjligt )
• steg 2 var att beskriva enskilda dataset. Jag slog ihop en POC med Wikibase se sweopendata.wiki.opencura.com
  • samtidigt med detta då jag fortfarande trodde på Öppen data så var tanken att hämta från alla kommuner exempelvis deras vindskyddsdata se blog , lesson learned ofta visste en kommun inte vad Öppen data är....
• försökte även få in metasolution och dataportalen eller så är det någon annan man skall prata med (tror tyvärr att metasolution ser Wikidata som ett hot än en möjlighet men vi har väl alla olika agendor

Jag har nog backat 10 år på mina visioner....

• skall saker hända så måste det till saker som JobTech och Fastighetslab .... röran med badplatser pekar på att vi efter minst 6 års jobbande med Öppen data kanske mer ser brister än framsteg....

Frågan om realtidsuppdateringar är väl också intressant. Samlas data in löpande till Wikidata från public service och andra som publicerar nyhetsartiklar och media t.ex.?

Som med alla frivilliga communities så är Wikidata spretigt man gör det man tycker är kul

Börjar Öppen data levereras mer proffsigt så kan nog någon synkronisera det nedan vad några försökt göra men som det är även i denna diskussionsgrupp är att dom som sitter på dataset är svåra att hitta/kommunicera med

• Riksdagens ledamöter kollar en engelsman tweet
  / GITHUB
  • tror även motioner etc. uppdateras av Robin etc... se "Analysera rikspolitiken med hjälp av Wikidata" / video om HD beslut
• Nobelpriset har jag en Jupyter notebook
• Svenskt Kvinnobiografiskt lexikon har jag uppdaterat med Jupyter notebook - men har sagt till dom att jag inte gör det längre men att dom enkelt kan göra det själva
• Litteraturbanken samma där Notebook - men har slutat uppdatera
• Riksarkivet SBL har inget API men jag gjorde webskrabing med en Notebook
  • lite "intressant" att Riksarkivet var ansvariga för Öppen data 2016 men har inte ens API till sitt eget data...
• osv....

@jonor sa i Hjälp folk att bada i sommar med Öppna Data! (Tips och hjälp behövs):

inte sett riktigt att det skulle vara en huvudsaklig poäng att Wikidata stod för primära identiteter,

Wikidata är inte primär auktoritet utan refererar till auktoriteter som bekräftar det som står i Wikidata, dock är det bra om man anger samma som Wikidata.

• Exempel på feltänk ör Kungliga biblioteket som har sedan 2012 drivit ett havererande projekt LIBRISXL där man skapat instruktionsfilmer för bibliotekarier där dom anger Wikipedia som källa vilket gör att hela ekosystemet havererar och Wikidata inte kan ha LIBRISXL som källa

• Jag har blivit lite maniskt med detta med källor och trovärdighet så jag skickade frågan vidare till han som skapa Wikidata vilka visioner han hade

  • Denny Vrandečić om källor video

Mer från fastighetslab det känns verkligen som dom har en vision och tänker digitalt

Välkommen till hackaton i Fastighetsdatalabbets arbetsgrupp
”Digital Tvilling - Testbädd - Tät Stad”
Torsdag 27 maj klockan 9 -12

ABB vill tillsammans med oss och på våra plattformar visualisera energiflödet i en stadsdel. Vi vill undersöka och visa på vad som är problemet med energidistributionen ur ett miljöperspektiv. Tillsammans vill vi hämta data ifrån befintliga databaser och kanske sätta in fler mätare i elnät och fjärrvärmenät och visualisera dessa data. Företrädesvis gör man detta med realtidsdata med hög noggrannhet.
ABB har mätare, kommunikationsutrustning och säkra dataplattformar för att hantera data. När data finns visualiserat så finns det massor med möjligheter för andra att göra analyser och komma med förbättringsförslag.
På samma sätt kommer vi att arbeta i de övriga grupperna nedan, med aktörer som har anmält sitt intresse för att bidra med teknik och kompetens.

Målet är att visa upp en 3D-bild av stadens struktur och flöden — och visa på vad som behöver hända för att leva upp till Klimatkontraktet.

Program
09:00 Bakgrund, Klimatneutrala städer/CIM/datalabbet och sammanfattning av det senaste seminariet.
09:15 Presentation av grupperna och indelning i utbrutna zoomrum
Spara energi i bostäder, digitalisering och sensorer
Samla in matavfall
Mobilitetshubb
Testbädd - Stockholm, Göteborg m fl
Utveckla digitala verktyg
Medborgardialog
11:45 Sammanfattning och nästa steg
12:00 Lunchpaus
12:30 Efterhack - De som vill fortsätter
14:30 Diskussion
15:00 Tack för idag

@maria_dalhage jag pingade Öppna Skolplattformen och dom svara se tweet

@josefinlassi kolla på Havs- och vattenmyndigheten dom gör rätt och har EU unika identifierare. Det jag ser mer och mer är att det finns en tydlighet i fördningar 2001:100 vem som äger den officiella statistiken och de är de som bör skapa tydliga identifierare...

Kollar vi på Badplatser där dataset skapats av flera kommuner men det blir bara rörigt och SILOS

• Uppsala kommun
  • hittar på egna ID:n och länkar inte Havs- och vattenmyndigheten som är dom som har persistenta identifierare för EU bad
  • resultat data SILO
• Södertälje kommun
  • hittar på egen identifierare, har koordinater i RT90
  • resultat data SILO
• Karlskrona kommun
  • hittar på ett eget idArea dvs. använder inte EU varianten NUTS dvs. dom refererar inte Havs- och vattenmyndighete
  • resultat data SILO
• ....

Mer om detta kaos med badvatten: min GITHUB Svenskabadplatser där jag nu importerat Havs- och vattenmyndigheten badplatser och håller på att koppla dessa... vi har egna identifierare men pekar på NUTS som finns hos Havs- och vattenmyndigheten

Min tro varför det blir detta kaos organisationerna förstår inte vilka myndigheter som är ansvariga för badvatten och troligen har identifierare

• Löses med
  • bättre myndighetskunskap
  • bättre plattformar att kommunicera med dom som är anvariga ex. Havs- och vattenmyndigheten. Idag svarade dom på email efter en vecka men saknar ex. yta på GITHUB
  • känns som det är ofta externa konsulter som gör lösningarna dom måste styras upp eller skaffa kompetens inhouse

@istyf du har en bra identitet i NUTS - Nomenklaturen för statistiska territoriella enheter (Wikidata property:P605) och det finns bra data hos Havs- och vattenmyndighetens i Sverige med API. Jag lägger nu upp dom badplatser dom definierat i Wikidata se github.com/salgo60/Svenskabadplatser

• Fundering skapar vi med Öppen Data massa data SILOS ser massa dataset om badplatser som laddas upp utan att referera NUTS --> blir massa DataSILOS känns feltänkt att dubblera det jobb som en myndighet med tydligt ansvar gör som en del av sitta uppdrag deras API har kopplingar till vattenprover etc. länk API detail request
• jag kopplar badplatserna till Open Street Map och även sociala medier, sjö ett bad finns vid, vilken landform den finns på oftast ö, om badet finns i ett Naturreservat....

Jag hade i veckan kontakt med Havs- och vattenmyndighetens i Sverige och citat

1: Ja det är unika persistenta ID som vi har, med reservation för att vi har flyttat enstaka bad från en kommun till en annan, då får badplatsen också ett nytt ID eftersom kommunens id-nr är del av ID:t. Samt om en kommun av någon anledning markerar ett bad som inaktivt och sedan registrerar ett nytt med samma namn och koordinater så kommer det ”nya” att ha ett nytt id. BORDE inte inträffa, men kan ju hända…

2: Ja vi har ett API till data:t! Tyvärr bara dokumentation i word-fil än så länge, men en API-gateway är på gång, och då även en översyn av API:t så det blir mer självdokumenterade. Jag bifogar dokumentationen, där är även URL:n. API:t är helt fritt att använda och vi har ingen licens för det. All information man kan få ut är informationsklassad och bedömd som offentligt.

@stefan-wallin jag har emailat dom men personen är sjuk ....

SCB levererar i sitt data unik kommunkod --> att vi kan skapa kartor med data i Wikidata som har koordinater för kommunerna och bilder med mera

• Karta Sveriges kommuner länk SCB från Wikidata

Lesson learned: unika kommunkoder gör att data kan kopplas ihop med Wikidata och annan data kan kopplas på som geografisk tillhörighet, plats i Sverige etc... ....

Vi har kopplat in Sveriges Hembygdsförbund till Wikidata för alla Sveriges kommuner, Distrikt... --> kan skapa nya kartor

• karta SCB kommunsiffror och Sveriges Hembygdsföreningar

patrik-bernhardt och SCB lösning gjordes med en nyckel som är kommunkoden --> att det tog Wikipedia 10 minuter att ändra på en mall som finns på alla Wikipedia sidor för kommuner och länka SCB

• visningar sidor om svenska kommuner Wikipedia > 7000 visningar per dag
• visningar olika språk versioner Solna komun dvs. att SCB borde ha även detta på andra språk
  • engelska har 411 visningar per dag
  • svenska har 141 visningare per dag
  • artiklar om Solna kommun finns på 51 språk på Wikipedia
• den task jag skapade när Patrik slängde in en hint på Wikipedia att denna funktion T266863

jag skickade frågan vidare om Havs- och vattenmyndighetens har unika ID:n för badplatser så vi inte uppfinner hjulet igen se tweet

dom har ju snygg info om provtagning etc.....