Hjälp folk att bada i sommar med Öppna Data! (Tips och hjälp behövs)

Magnus Sälgö

ok men dela gärna och jag ger dig samma tips att testa att lägga till saker på Open Street Map för att lära dig hur dom jobbar.... min magkänsla är att även fast det är en öppen och spretig community som de flesta öppna grupper är så har dom > 18 års erfarenhet att snacka ihop sig och lyckats styra "skutan" så att även jättar som Apple använder deras data mer och mer....

Min magkänsla är idag fungerar ingenting med svensl Öppen data. När jag läser "Specifikation för leverantörsreskontra klar " så är det 15 fält som finns definierade och första utkast skapades 2019-09-05 dvs. det har tagit > 19 månader att definiera 15 rel. självklara fält... jmf vi det med Wikidata som har > 9000 egenskaper så skulle detta ta > 9000 man månader...

Det behövs nog att alla ser sig omkring och lär sig mer och att någon ser till att saker inte dyker upp efter 19 månader.....

Magnus Sälgö

@salgo60 fick tips om Tillgänglighetsdatabasen dvs. data som publiceras om badplatser bör anpassas så Tillgänglighetsdatabasen kan använda det... söker jag bad fås 98 svar vilket känns som detta är en grupp i samhället som kommuner etc borde göra det enklare för.... där bra öppen data är en variant

Det borde även skapas

checklistor att då man publicerar nya datamängder inte missar
- Tillgänglighetsdatabasen
- att data fungerar med Open Street Map
- ?!?!?!

Magnus Sälgö

@salgo60 den observante kan ovan se i sökningen varför man skall ha kunskapsgrafer som även hjälper dig vid sökning att hitta rätt....

söker jag bad så fås träff "Återvinningsstation .... vid Askimbadet" dvs. den posten handlar om Återvinningsstationen och är inte det jag letar efter och skall inte dyka upp....
bra enkel video på 5 min om Linked data med exempel att söka på "Venus"

tomasmonsen

@salgo60
Tack för input, mycket matnyttigt men det snurrar lätt med all feedback som jag fått. Om vi förenklar enormt - kan det räcka med om jag har med fält i datamängden som refererar till OSM - räcker det med ett fält som pekar på just det objektet som utgör badplatsen? (exempelvis /way/688795404 för Hattarevikens badplats?)

Detsamma för Wikidata - kan det räcka med ett fält som pekar på en Q-kod på Wikidata eller måste båda dessa referenser beskrivas som arrayer som kan hålla flera arrayer?

Funderar på om någon av er @salgo60 @josefinlassi @Dennis_Priskorn har någon idé om hur jag kan skapa upp unika identifierare för varje rad i datamängden, genom ett system som kan delas av alla dataproducenter och säkrar att de blir unika - jag har funderat över ett datumbaserat system, kombinerat med kod för kommun eller motsv?

Kommunkod + år + månad + dag + eget löpnummer eller nåt sånt? Eller ska man återanvända något kring NUTS-kod från Eurostat eller nåt sånt för att få koppling till geografi? Det är viktigt att ha en unik identifierare per rad känner jag som dels är beständig och som säkrar att det inte uppstår dubletter eller att de återanvänds om en plats tas bort.

istyf

@tomasmonsen Jag är lite sen till partyt här, men har följt er diskussion ett tag. När det gäller stabila identifierare så tänker jag personligen att det finns något bakomliggande system där informationen om badplatsen bor. Detta system blir då det som skapar/äger identiteten och den bör därför utformas så att den kan användas för att hitta tillbaka till just den "registerposten" i källsystemet. En metod för namngivningen kan till exempel vara någon form av namespace som se.toreboda.anlaggningar.badstrand.217. Att däremot blanda in datum och tid i namnet känns inte helt naturligt för mig.

jonor

Jag är inne på lite liknande frågor som dem @tomasmonsen ställer.
Om man skapar egna utsagor om något, ska man då också skapa unika resurs-identifierare för utsagorna.
Finns det någon offentlig vägledning kring sådant med konkreta exempel?
Är det administrativt betungande inbegripande registrering av domännamn, eller kan man lättvindigt generera universellt unika ID:n som andra kan referera till?

Magnus Sälgö

jag skickade frågan vidare om Havs- och vattenmyndighetens har unika ID:n för badplatser så vi inte uppfinner hjulet igen se tweet

dom har ju snygg info om provtagning etc.....

Stefan Wallin

@istyf sa i Hjälp folk att bada i sommar med Öppna Data! (Tips och hjälp behövs):

En metod för namngivningen kan till exempel vara någon form av namespace som se.toreboda.anlaggningar.badstrand.217

Vad syftar toreboda på, en kommun? Vad händer om kommunen slås ihop med grannkommunen, ska identifieraren ändras då? Isåfall är den inte persistent imho. Vad händer om anläggningen slutar vara kommununderhållen och istället överlåts i privat ägo, vad händer med källsystemet som håller referensen då? Är den fortfarande persistent?

Enklast är nog att försöka ha en gemensam referensdatabas över persistenta identifierare, t.ex. Wikidata

Sen kan man ha lokala persistenta identifierare också, men då behöver de kopplas ihop.

Stefan Wallin

Jag svarar här också, svarade först på twitter: https://twitter.com/Stefan_Wallin/status/1387785992996859908

Är man gnetig så kan man nog mappa upp baden som @havochvatten (verkar inte finnas här på dataplattformen) använder i sin tjänst badplatsen.

En xml-fil med alla bad som havochvatten har koll på:
https://badplatsen.havochvatten.se/badplatsen/api/feature/

Där ser baden ut såhär:

<wfs:member>
  <hav-miljoovervakning:badplatsen gml:id="badplatsen.fid-58b61a0b_1791e1e86d2_2165">
  <hav-miljoovervakning:NUTSKOD>SE0441273000000001</hav-miljoovervakning:NUTSKOD>
  <hav-miljoovervakning:NAMN>Vesljungasjön</hav-miljoovervakning:NAMN>
  <hav-miljoovervakning:KMN_NAMN>Osby</hav-miljoovervakning:KMN_NAMN>
  <hav-miljoovervakning:PRTPG_GEOPOSITION>
    <gml:Point srsDimension="2" srsName="http://www.opengis.net/gml/srs/epsg.xml#4326">
      <gml:pos>13.7674095026078 56.4212500165633</gml:pos>
    </gml:Point>
  </hav-miljoovervakning:PRTPG_GEOPOSITION>
  </hav-miljoovervakning:badplatsen>
</wfs:member>

Den stora frågan är ju om man ska använda gml:id eller NUTSKOD som persistent identifierare. Om någon av dem nu går att lita på

NUTSKOD verkar ju i alla fall användas i deras kart-tjänst badplatsen, https://badplatsen.havochvatten.se/badplatsen/karta/#/bath/SE0441273000004182, så vi kan ju hoppas att det är en semi-persistent identifierare. Sen saknas ju många bad, men det är säkert en bra början.

Stefan Wallin

@stefan-wallin Är man lite extra gnetig kan man nog slänga in alla bad som både OSM och havochvatten har plus de som VGR har i en postgis eller liknande och hitta vilka som skapar geo-konflikter och därmed hitta överlapp. Tyvärr har jag inte riktigt tid över i livet att göra det själv, men kan gärna rådge om någon skulle vara intresserad av det.

Stefan Wallin

@salgo60 Känns som att du bör skicka in ett mail som hamnar hos registratorn och ber de lämna ut persistenta identifierare eller kontaktuppgifter till den tekniska förvaltaren hos havochvatten snarare än att fastna i PR-maskineriet som är svenska myndigheters sociala-medie-konton.

Magnus Sälgö

@stefan-wallin jag har emailat dom men personen är sjuk ....

josefinlassi

@tomasmonsen Jag är nog inte rätt person att svara på tekniska frågor kring detta, men kolla mitt svar nedan till jonor i tråden "Kategorisera API:er efter datasort"... tog upp ett antal aktörer som har lite rekommendationer kring detta där.

jonor

@stefan-wallin

Enklast är nog att försöka ha en gemensam referensdatabas över persistenta identifierare, t.ex. Wikidata

Sen kan man ha lokala persistenta identifierare också, men då behöver de kopplas ihop.

Vad innebär det att lokala identifierare kopplas ihop, är det att definiera en mappning till ett publicerat namn?

Jag stötte på den här introduktionen till SPARQL som jag tyckte var ganska informativ.

https://www.youtube.com/watch?v=FvGndkpa4K0
SPARQL in 11 minutes
148 070 visningar•3 maj 2015
bobdc

Stefan Wallin

@jonor den där introduktionen pratar ju om RDF som är 4e nivån i 5-star data. Länkad data är när vi kopplar ihop dem.

På wikidata har du till exempel det jag kallar "lokala identifierare" om vi tittar på https://www.wikidata.org/wiki/Q10717929 längst ned där du har RAÄ-nummer t.ex.

Screenshot 2021-04-30 at 10.14.20.png

Läs gärna mer på 5stardata.info och ställ fler frågor om det är oklart.

jonor

@stefan-wallin Ja men videon tar upp att han skapar egna egenskapsnamn i form av URI:er med sitt eget domännamn som bas, det var mer apropå frågeställningen om att skapa identifierare.
https://youtu.be/FvGndkpa4K0?t=142

Jag förstår att Riksantikvarieämbetet håller reda på sina egna id-nummer, som refereras från Wikidata-objektet i ditt exempel, men jag förstår inte betydelsen av "lokala" i sammanhanget, innebär det att de inte är publicerade som URI:er, men kopplas till ett Q-nummer på Wikidata?

jonor

Har tittat på 5stardata.info också, och de exemplen de länkar till för de högre nivåerna var inte så mycket att hurra för tycker jag. Jag gissar att man får en känsla för det när man själv börjar arbeta med och söka i den typen av data i praktiken.

istyf

@stefan-wallin Jag valde se.toreboda eftersom OP kommer därifrån om jag inte misstar mig. Ja, det syftar alldeles riktigt på en kommun och möjliggör att skapa en unik identifierare för de informationsobjekt som de publicerar. Jag tror inte att något system är klart till badsäsongen 2021, om det skall upprättas en gemensam databas med identiteter för alla badplatser av olika typer och med olika huvudmän. Vi diskuterar ju datamängder här och det finns, lyckligtvis, inget som hindrar flera aktörer att publicera datamängder om samma fysiska entitet. Då är det i min mening själva informationsobjektets identitet som är intressant och inte det fysiska objektets.

Att kommunindelning kan ändras eller att en badplats övergår till privat ägo är förstås en möjlighet, men då följer ju ansvaret att tillhandahålla en datamängd med och sannolikheten att det görs från samma källsystem är förmodligen liten. Det blir ett nytt informationsobjekt med en ny identitet, från en ny ansvarig utgivare.

Tanken att det skall finnas en öppen databas som wikidata att referera till är god och jag stödjer den principiellt, men den är mer ideologisk än praktisk. Om vi tar Sundsvall (där vi båda bor) som exempel, så har offentligägda badplatser ofta flera identiteter eftersom de har olika egenskaper och utbredning vid olika tillfällen. Sommarbadet har en identitet, men den uppsågade vaken för vinterbad har en annan och det anordnade hundbadet i anslutning har en tredje. Wikidata eller OSM tar inte höjd för detta och kan inte vara huvudkälla för identiteter.

Stefan Wallin

@jonor sa i Hjälp folk att bada i sommar med Öppna Data! (Tips och hjälp behövs):

@stefan-wallin [...] Jag förstår att Riksantikvarieämbetet håller reda på sina egna id-nummer, som refereras från Wikidata-objektet i ditt exempel, men jag förstår inte betydelsen av "lokala" i sammanhanget, innebär det att de inte är publicerade som URI:er, men kopplas till ett Q-nummer på Wikidata?

Med lokala så syftar jag helt enkelt på system-lokala unika persistenta identifierare. I kontrast till en global unik persistent identifierare. Med lokaliteten så syftar jag till att många olika organisationer kan ha sina egna identifierare utan att börja med någon slags sammanslagningar eller liknande då vi riskerar duplikat när andra organisationer identifierar samma objekt.

En global identifierare är en identifierare som många aktörer knyter sig till och riskerar skapa dubletter av i ett på något sätt publikt redigerbart system (inte nödvändigtvis wiki, kanske git-repo med PR eller annat system för kors-organisations-förändring). För att en global identifierare ska blir relevant krävs det att datan där håller hög kvalitet och accepteras av många organisationer inom samma bransch för kunna skaffa sig en sådan status.

Exempel på system som håller sådana globala identifierare skulle kunna vara OSM eller Wikidata.

Vi skulle även kunna resonera som så att vi i sverige vill ha ägande över en nationell persistent identifierare. En sådan skulle vi kunna kalla en regional eller nationell persistent identifierare. Där skulle t.ex. DIGG eller RAÄ sätta upp en egen wikibase-instans dit alla kommunala och regionala system knyter sina persistenta identifierare till. Denna wikibase-instans skulle sedan kunna vara en instans dit externa system som OSM eller wikidata knyter an till. Detta skulle också kunna möjliggöra korskoppling av datapunkter mellan olika myndigheter. T.ex. kanske lantmäteriet, en kommun och havochvatten vara intresserade av samma badplats. Då skulle kunna vara intressant att knyta ihop dessa system utifrån den nationella persistenta identifieraren.

Magnus Sälgö

@istyf du har en bra identitet i NUTS - Nomenklaturen för statistiska territoriella enheter (Wikidata property:P605) och det finns bra data hos Havs- och vattenmyndighetens i Sverige med API. Jag lägger nu upp dom badplatser dom definierat i Wikidata se github.com/salgo60/Svenskabadplatser

Fundering skapar vi med Öppen Data massa data SILOS ser massa dataset om badplatser som laddas upp utan att referera NUTS --> blir massa DataSILOS känns feltänkt att dubblera det jobb som en myndighet med tydligt ansvar gör som en del av sitta uppdrag deras API har kopplingar till vattenprover etc. länk API detail request
jag kopplar badplatserna till Open Street Map och även sociala medier, sjö ett bad finns vid, vilken landform den finns på oftast ö, om badet finns i ett Naturreservat....

Jag hade i veckan kontakt med Havs- och vattenmyndighetens i Sverige och citat

1: Ja det är unika persistenta ID som vi har, med reservation för att vi har flyttat enstaka bad från en kommun till en annan, då får badplatsen också ett nytt ID eftersom kommunens id-nr är del av ID:t. Samt om en kommun av någon anledning markerar ett bad som inaktivt och sedan registrerar ett nytt med samma namn och koordinater så kommer det ”nya” att ha ett nytt id. BORDE inte inträffa, men kan ju hända…

2: Ja vi har ett API till data:t! Tyvärr bara dokumentation i word-fil än så länge, men en API-gateway är på gång, och då även en översyn av API:t så det blir mer självdokumenterade. Jag bifogar dokumentationen, där är även URL:n. API:t är helt fritt att använda och vi har ingen licens för det. All information man kan få ut är informationsklassad och bedömd som offentligt.