Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
Se linked in.
@erik-viklander Tack! Jag deltog precis lite via min mobil och Midori webbläsaren från Fdroid. Det fungerar klockrent, intuitivt och enkelt.
Jag gratullerar till ett välvalt system och än så länge är jag nöjd användare.
@maria_dalhage @jonass När vi jobbar mot Wikimedia servrar i Wikidata finns liknande behov och problemställningar. De öppna APIerna på Wikidata serverar miljontals svar per månad. De som använder tjänsterna uppmanas att ge sig till känna genom att höra av sig först. Ytterligare är det ett krav att sätta User-Agent header vilket jag tycker bättre om än att "missbruka" HTTP-Referer.
If you want to make a lot of API calls, and perhaps run very busy and active bots, talk to wiki admins ahead of time, so they do not block you. See list of Administrators of Wikimedia projects. Read more about this topic on API:Etiquette.
https://m.mediawiki.org/wiki/API:Etiquette https://meta.m.wikimedia.org/wiki/User-Agent_policy
Personligt tycker jag det är helt OK att nån bliver blockad om de vill skickar enorma mängder frågor och vägrar identifiera sig på något sätt. IT är en mycket värdefull samhälls-/organisationell resurs som kostar på miljön och det är värt att designa verktyg och program så att de belastar minst möjligt. Själv får jag ibland skriva om verktyg för jag har helt enkelt skrivit dem för ineffektiva/långsamma.
@maria_dalhage Hej, jag vill gärna anmäla mig men jag har ingen lust att göra det via Zooms hemsida. Jag uppfattar det som en integritetsvidrig proprietär tjänst och jag skulle helst vilja att ni själva fixar en videokonferensinfrastruktur som inte spionerar på användarna och lämnar ut mig till amerikanska myndigheter bakom min rygg.
Det finns flera bra FLOSS lösningar för videokonferens som tex Rocket.chat och Big Blue Button.
Jag valde att inte registrera mig i väntan på svar om hur ni vill göra för att skydda deltagarnas integritet.
#schrems2 #personlig_integritet #floss
@salgo60 sa i Hjälp folk att bada i sommar med Öppna Data! (Tips och hjälp behövs):
Kallbad 1914 Tingsryd kommun verkar ha den typ av kallbad du syftar på... kollar vi på Open Street Map så saknas den info se relation/10701080 Som Wikipedia och andra communities fungerar så saknar man ett sätt att beskriva en sak så får man gå in och beskriva vad man vill ha så får man sedan se hur resten av dom som skapar saker reagerar på det. Kollar du på Tag:amenity public_bath så finns många kombinationer av bad.... där folk har kommit överens att det skall beskrivas....
Kallbad 1914
Tingsryd kommun verkar ha den typ av kallbad du syftar på... kollar vi på Open Street Map så saknas den info se relation/10701080
Som Wikipedia och andra communities fungerar så saknar man ett sätt att beskriva en sak så får man gå in och beskriva vad man vill ha så får man sedan se hur resten av dom som skapar saker reagerar på det. Kollar du på Tag:amenity public_bath så finns många kombinationer av bad.... där folk har kommit överens att det skall beskrivas....
@josefinlassi Du är hjärtligt välkommen att skapa ett OSM-konto och lägga till i Wikin om du kommer på nått bra sätt att etikettera den här typen av bad. Sen är det bara att ändra relationen ifråga https://www.openstreetmap.org/relation/10701080 -> logga in -> lägg till din nya etikett. Efter några minuter går den att söka på via Overpass för alla.
Inget av detta kräver programmeringskunskap. Dock kan det kräva lite att lära sig att redigera i en wiki om det är första gången och likaså med redigeraren på osm.org som f.ö. har en bra nybörjarguide som starter automatiskt
@salgo60 Det låter som en bra idé, tyvärr verkar dataportalen sådana här adresser till organisationer: https://www.dataportal.se/sv/datasets?p=1&q=&s=2&t=20&f=http%3A%2F%2Fpurl.org%2Fdc%2Fterms%2Fpublisher||http%3A%2F%2Fid.kb.se%2Forganisations%2FSE2021000837||false||uri||Organisationer||Statistikmyndigheten SCB - Statistiska centralbyrån&rt=dataset%24esterms_IndependentData
där identifieraren är http%3A%2F%2Fid.kb.se%2Forganisations%2FSE2021000837%7C%7Cfalse%7C%7Curi%7C%7COrganisationer%7C%7CStatistikmyndigheten%20SCB%20-%20Statistiska%20centralbyr%C3%A5n&rt=dataset%24esterms_IndependentData
lycka till att göra en regex på den
här finns en till https://www.dataportal.se/sv/datasets?p=1&q=&s=2&t=20&f=http%3A%2F%2Fpurl.org%2Fdc%2Fterms%2Fpublisher||https%3A%2F%2Fpensionsmyndigheten.se%2Fpublisher1||false||uri||Organisationer||Pensionsmyndigheten&rt=dataset%24esterms_IndependentDataService%24esterms_ServedByDataService
@salgo60 anmält
Forumet har nu varit igång ett kort tag. Jag ser ett 60-tal användare men det är ca 150 offentliga myndigheter som levererar data till portalen.
2 frågor:
@kristine_ Jag har några frågor:
Att göra saker i en stängt arbetsgrupp som bara delar med varandra är IMO so yesterday. Speciellt om arbetet är nått som detta som kommer inflyta på kanske en hel generation (10- 25 år) av öppen data framöver.
Det är väldigt viktigt att det bliver rätt från början med semantisk interoperabilitet och inte bara textsträngar tex. Alternativet är ännu en halvdan otydlig datamängd som tappar i värde pga. bristen på interoperabilitet.
Se Magnus exempel här: https://community.dataportal.se/topic/53/länkade-data-things-not-strings
Finns nån från SCB med här än?
I dagsläget är SCB absolut största dataleverantören sett till antalet datamängder (4500/7200), men tyvärr är de helt oanvändbara för många konsumenter (inkl. Wikidata) pga. valet av CC-BY licens vilket avviker från DIGGs rekommendationer.
De är alltså m.a.o. ett dåligt exempel som vi inte vill att andra ska följa.
Skulle ni på DIGG kunna kontakta SCBs ledning och föreslå en ändring till CC0?
WMSE har redan försökt, men konstaterad att ledningen på SCB verkar skraj för att nån ska ta datan utan att hänvisa till SCB vilket då möjligen kan leda till problem för SCBs ledning (om jag förstod rätt, men det var inga citat).
Hej jag sökte idag ett API så jag enkelt kan få ut maskinläsbar information om organisationer och datamängder från portalen. Jag hittade ingenting om detta på sidan. Finns ett API? Om inte varför inte? Jag har en önskan till alla myndigheter och organisationer i Sverige: först vill jag att ni prioriterar och möjliggör maskinläsbarhet, SEN läsbarhet för människor. Att göra tvärtom i 2021 bliver inget bra.
Ur mitt perspektiv kan det tom. vara samhällsskadligt eftersom vi nu lever i ett kunskapssamhälle där tillgång till information och effektiv behandling och förädling av samma till kunskap är helt avgörande för vår konkurrensförmåga och förmåga att möta de enorma utmaningar som tex klimatkeisen innebär.
Hej Idag fick jag tips av en kompis som jobbar på Sundsvalls Kommun om detta GIS-relaterade IT-projekt: https://github.com/origo-map/origo
Saker jag gillar:
Heja Sundsvalls Kommun, Haninge Kommun, Örnsköldsviks Kommun, m.fl.
Tomas svarade i Google-diskussionen som inte arkiveras så därför får ni en kopia här för eftertiden: "Anonym 20:54 30 apr. • Kommentarer av Vald text: description Där det förekommer fritext vore det kansek smart att ha möjlighet att utöka med andra språk? Dennis P Dennis P
+1 Vi lever i en värld med många språk. Alla i Sverige pratar inte bra svenska. Turister tex. 10:07 1 maj Isak Styf Isak Styf
Bra tanke, men då kanske det kan vara en idé att hellre styra det via requesten med Accept-Language eller liknande. CSV blir ganska begränsande för att hantera flera språk. 20:38 3 maj (redigerad 20:32 4 maj) Tomas Monsén Tomas Monsén
Jag gillar idén men det blir svårt att implementera i CSV då det skulle behövas flera olika fält för att tillåta översättningar av text. Hur många olika spåk ska jag isåfall skapa fält för? Jag tänker mig att det blir upp till implementatören att använda fältet så som denne vill.
I metadatat för datakällan, metadata som taggas med DCAT-AP, kommer man att kunna ange språk på datat. Där står det om det är svenska eller engelska.
I dataspecifikationen finns bara två fritextfält och det är relativt enkelt att lägga till ett fält för ett annat språk. Jag skapar ett som heter description_altlang där man kan skriva ett alternativt språk (förslagsvis engelska). Du kan där skriva vilka språk du vill och den som sedan konsumerar datat får välja vilket av fälten (description = svenska) och (description_altlang = annat språk) vilket som ska användas. Rekommendationen blir engelska men du kan skriva vilket du vill.
Kan det funka som en lösning? 11:00 6 maj Tomas Monsén Tomas Monsén
Jag har beslutat att rekommendera dataproducenten att översätta description till engelska, alternativt publicera ytterligare en engelsk version av datamängden istället.
Vad tror ni om det? 12:38 7 maj Isak Styf Isak Styf
Jag tycker att det låter bra. 13:17 7 maj Tomas Monsén Tomas Monsén
Vi behåller den, förtydligare att man kan skriva en översättning och/eller förse icke-svenskspråkiga med en variant på filen med annat språk. Engelska, franska, tyska, finska, norska osv. . 15:11 7 maj Tomas Monsén Tomas Monsén Markerad som löst 15:11 7 maj Magnus Sälgö Magnus Sälgö Öppnad på nytt att inte stödja flera språk känns 1990... vi vill ha det i datat och inte några konstigheter med att ropa med olika "Accept-Language" se GIST tror det bara är att inse att turister folk i Sverige inte alla pratar svenska https://gist.github.com/salgo60/f306fa23c28e2678928b2c1e9be78689 06:15 I förrgår Tomas Monsén Tomas Monsén
Du får gärna hjälpa mig att förklara hur jag på ett bra sätt ska kunna ha stöd för flera språk - jag tänker mig att som specifikationen ser ut nu kan du ange och skriva den på vilket språk du vill, och sedan får du i metadatat i katalogen specificera vilket av de olika språken du önskar?
Eller ska fritextfälten följas av en språkkod där du som producent av datat först skriver in fritexten och sedan i språkkoden anger vilket språk det är skrivet på typ "The beach is located... " språkkod: EN ?
Jag behöver häjlp med förslag på hur jag ska lösa det rent praktiskt annat än så jag tänkt genom metadatat i publicerande katalog. 13:56 I går Tomas Monsén Tomas Monsén
Jag har tittat på ditt förslag och det är jättesnyggt, problemet är att vi samlar data som en CSV - det är det formatet jag måste förhålla mig till eftersom jag inte tror att det finns verktyg i kommunerna för att bygga nästlade JSON med arrayer av värden för attribut. Om du kan komma på ett bra sätt att göra det i CSVn som sedan blir enkelt maskinläsbart är jag all ears, men jag vet inte hur. Det enda jag kan tänka mig nu är att jag
: Lägger till 3 ytterligare fält för allt som är fritext. : Lägger till 4 ytterligare fält som anger vilket språk fritexten är skriven på.
Då får man möjlighet att ange 4 språk per fil, och du kan välja själv vilka språk, genom att sätta språkkodningen i "kodfältet".
description_1 lang_code_1
description_2 lang_code_2
...
Kan det funka? Hur många sådana behövs isåfall ? 10:11 I dag Magnus Sälgö Magnus Sälgö
skippa CSV dumt krav 2021 är mitt svar viktigare med tydliga krav som man uppfyller 12:55 I dag Tomas Monsén Tomas Monsén
Hej då kommer det inte att bli någon data publicerat tyvärr, så jag får välja en halv-mesyr där jag önskar att innehållet språkkodas mha metadata.
Det finns inga verktyg mig veterligen jag kan sätta i händerna på en "vanlig" tjänsteperson i kommunen som kan generera en sådan utfil/utdata. Datat finns inte i verksamhetssystem som kan leverera data i detta utdataformat. Det kommer, om jag byter detta utdataformat, att ta flera år att få ut någon data, om ens någonsin.
Tyvärr är vi, enligt min bedömning, i det läget i ÖppnaData-Sverige att detta är den minst dåliga vägen fram för att över huvud taget få ut någon data. 15:13 I dag Tomas Monsén Tomas Monsén
Jag blir tvungen att klippa av tråden här och rekommendera att den som behöver publicerar fler filer med språkkodning satt på dcterms:language property i DCAT-AP som vi rekommenderar att man använder för att metadatatagga sin distribution. Jag har flyttat hela frågan om språk till "Appendix D, Restlista". Kika gärna där och lägg till förslag på fler förbättringar som vi ska försöka få med till nästa version av datamodellen/Specifikationen!""
#########################
För mig verkar detta mycket intressant. Det ger ett litet inblick i hur myndighetspersoner resonerar när de designer och bygger system och lösningar.
Hur svårt är det då att skapa nestlad JSON egentligen kanske du som inte kan programmera frågar?
Svaret är att om du har ett minimum av kunskap i t.ex. Python då går det alldeles bra med 5-10 minuters arbete.
Det enda det kräver är
Jämför det med CSV:
Min bedömning är att det är marginellt svårare att exportera i JSON än i CSV och att det är väl värt mödan om ni frågar mig.
Min gissning är att en elev i gymnasiet som har en kurs i programmering skulle kunna fixa att skapa en nestlad JSON på 1 timme.
Om kommunerna inte klarar av att anställa folk med basala kunskaper om programmering, databehandling, datahantering och dataexport i standardiserade format och enligt specifikationer då är det någonting som måste åtgärdas genast.
Nog med prat nu: Såhär skapar du en nestlad JSON á la Magnus: Ladda ner Pycharm på din dator Skapa ett projekt Läs https://csharpskolan.se/article/nastlade-loopar/ Klona eller kopiera denna kod och kör programmet
import json from pprint import pprint # Simple example of nestled JSON generation raw_data = [ dict( id="SE0441273000000001", en='bathing place näsholm', sv='badplats näsholm', ), dict( id="SE0441273000000002", en='bathing place kastholm', sv='badplats kastholm', ) ] # detta är vår dictionary som håller all data som ska skrivas till disk data = {} public_baths = [] languages = ["en", "sv"] for bath in raw_data: entry = {} # dictionary entry["Eionet bathingWaterIdentifier"] = bath["id"] names = {} # dictionary for language in languages: if language in bath.keys(): names[language] = {'language': language, 'value': bath[language]} entry["name"] = names public_baths.append(entry) data["public_baths"] = public_baths pprint(data) with open("sample.json", "w") as outfile: outfile.write(json.dumps(data))
Output:
{'public_baths': [{'Eionet bathingWaterIdentifier': 'SE0441273000000001', 'name': {'en': {'language': 'en', 'value': 'bathing place näsholm'}, 'sv': {'language': 'sv', 'value': 'badplats näsholm'}}}, {'Eionet bathingWaterIdentifier': 'SE0441273000000002', 'name': {'en': {'language': 'en', 'value': 'bathing place kastholm'}, 'sv': {'language': 'sv', 'value': 'badplats kastholm'}}}]}
@tomasmonsen sa i Hjälp folk att bada i sommar med Öppna Data! (Tips och hjälp behövs):
Hej igen allesamman, nu är det "final push" till leverans av specifikationen och några frågor kvarstår som jag behöver ha hjälp med, framför allt språk: Språkstöd - Hur ska jag erbjuda språkstöd för fler än ett språk. Min ide: Lägg till "lang_code" som attribut, använd ISO639-1 för att sätta en kod "EN" t.ex. och då måste resten av filen vara på engelska. Den som då har behov att dela data på fler språk än ett får skapa flera filer och använda olika spåk i dem, och berätta med lang_code vilket språk filen är på. Man får sedan i metadata med DCAT-AP markera vilket språk filen har. Andra idéer: Skapa fler språkfält, där du valfritt kan lägga upp till 5 olika språk, fritextfälten skulle då behöva utökas med 4 till och varje sådant fält ha en språkkod kopplat: descripition_1 kopplas med attribut lang_code_1. Du skriver på svenska i "description_1" och sätter "SE" i lang_code_1. Description_2 kopplas med attribut lang_code_2. Du skriver på arabiska i "description_2" och sätter "AR" i lang_code_2. ...osv. Finns det andra ideer? Tänk på att formatet är flatfil typ CSV för att underlätta för dataproducenten som troligen ofta inte har verktyg att hantera JSON-objekt med arrayer av värden... Hilfe! Länk till specen: https://docs.google.com/document/d/1GxNucD_E_eoHnlyJAL3tjCel-BdWvwF5TB_lYl7bs94/edit?usp=sharing (Skriv gärna kommentarer och skapa förslag direkt i dokumentet)
Hej igen allesamman, nu är det "final push" till leverans av specifikationen och några frågor kvarstår som jag behöver ha hjälp med, framför allt språk:
Språkstöd - Hur ska jag erbjuda språkstöd för fler än ett språk.
Min ide: Lägg till "lang_code" som attribut, använd ISO639-1 för att sätta en kod "EN" t.ex. och då måste resten av filen vara på engelska. Den som då har behov att dela data på fler språk än ett får skapa flera filer och använda olika spåk i dem, och berätta med lang_code vilket språk filen är på. Man får sedan i metadata med DCAT-AP markera vilket språk filen har.
Andra idéer: Skapa fler språkfält, där du valfritt kan lägga upp till 5 olika språk, fritextfälten skulle då behöva utökas med 4 till och varje sådant fält ha en språkkod kopplat:
Finns det andra ideer? Tänk på att formatet är flatfil typ CSV för att underlätta för dataproducenten som troligen ofta inte har verktyg att hantera JSON-objekt med arrayer av värden...
Hilfe!
Länk till specen: https://docs.google.com/document/d/1GxNucD_E_eoHnlyJAL3tjCel-BdWvwF5TB_lYl7bs94/edit?usp=sharing
(Skriv gärna kommentarer och skapa förslag direkt i dokumentet)
Jag tycker som Magnus att ni ska frångå CSV och göra nestlad JSON istället. CSV är so yesterday och ganska inflexibelt. Om kommunerna inte klarar av att leverera JSON istället för CSV då är det ändå dödfött från början skulle jag säga.
Kolla själv på exemplet Magnus gjort: https://gist.github.com/salgo60/f306fa23c28e2678928b2c1e9be78689
Det formatet ligger för övrigt mycket närmare exportformatet i JSON från Wikibase som syns här https://www.wikidata.org/wiki/Special:EntityData/Q5.json.
De som byggd Wikidata har lyckats skapa ett semantiskt system som kan hantera den komplexitet som vi möter i världen. Att inspireras av dem kanske kan vara en nyckel till framgång. Många professionella inom IT-industrin jobbar redan mot Wikidatas olika API:er och använder datan på olika sätt (t.ex. Google) och det betyder att om ni använder nestlad JSON då använder ni något när en industristandard för informationsutbyte.
Se även Sello.io som har liknande nestlad JSON där språkfält också är nestlade se https://docs.sello.io/#getting-products
@thomas sa i Open Source-system för dokumenthantering:
@dennis_priskorn Hej Dennis! Tack för att du engagerar dig och ställer frågor! Systemet består av server- (39 delprogram) och klientprogram ( 141 delprogram) och är mycket väl dokumenterat med installationsinstruktioner och användarmanual. Koden är helt läsbar och det går att aktivera visning var i koden man befinner sig när man använder systemet, för att underlätta programförändringar. Jag har använt bash, html5, css samt ett antal programpaket från Debian (cirka 60 st ). Programmet var färdigutvecklat för 2 år sen (utv. tid ca 7 år) och har cirka 110.000 programrader skrivna i bash.
@dennis_priskorn
Hej Dennis! Tack för att du engagerar dig och ställer frågor!
Systemet består av server- (39 delprogram) och klientprogram ( 141 delprogram) och är mycket väl dokumenterat med installationsinstruktioner och användarmanual. Koden är helt läsbar och det går att aktivera visning var i koden man befinner sig när man använder systemet, för att underlätta programförändringar. Jag har använt bash, html5, css samt ett antal programpaket från Debian (cirka 60 st ). Programmet var färdigutvecklat för 2 år sen (utv. tid ca 7 år) och har cirka 110.000 programrader skrivna i bash.
A ha. Jag undrar hur det kommer sig att du valt Bash? Jag brukar bara använda det för kortare skripts eftersom det inte stödjer OOP eller klasser eller annat som man vanligen brukar vilja ha för att enklare kunna skriva mindre kod och att den även går att abstrahera och återanvändas tex genom att man drar ut en del och publicerar som ett bibliotek, vilket är väldigt enkelt i tex. Python.
Att installera en användarklient är mycket enkelt men att konfigurera hela systemet med server (raid, brandväggar osv), scanner med mera, kräver förkunskaper och en dialog med mig underlättar processen. Det är bakgrunden till att jag valt att inte lägga koden för nerladdning på min hemsida.
Hm. Jag tror inte riktigt på detta tillvägagångssätt. Jag vill kunna titta i koden om jag skulle överväga att upphandla. Har du tittat på NextCloud hur de gör? Odoo? Dolibarr?
Jag erbjuder mina konsulttjänster och vill i första hand medverka vid införandeprocessen (stöd vid installation, kort utbildning i handhavande till nyckelpersoner) och få organisationen att förstå docufindings-konceptet samt GNU/Linux/Debian. Därefter är det min förhoppning att myndigheten eller företaget klarar sig själva. Jag har försökt göra systemet så driftsäkert som möjligt och enkelt att använda både för användarna och den serveransvarige. Hoppas det är svar på dina frågor och uppstår fler svarar jag mer än gärna på dem.
Jag undrar om du själv gjort allt? Har du haft nån till att ge kritik/code review? FLOSS brukar bli bäst när många deltar och aktivt medskapar koden. Dolibarr har en benevolent diktator, men de flesta FLOSS-projekt brukar ha en hyfsat öppen ledning och möjlighet för vem som helst att enkelt engagera sig och börja bidra. I detta fall omöjliggörs det av att du hållit koden för dig själv.
Om jag får vara lite krass skulle jag säga att allt som inte är tillgängligt det är inte värt min tid eller energi. Lycka till med ditt projekt.
@thomas Jag hittade inte koden på din webbplats. Vilket programspråk har du valt? Hur många linjer har du skrivit? Antar att det är med avsigt att du inte publicerat koden. Lycka till med att sälja in dina tjänster hos myndigheter och företag och utveckla systemet.
@salgo60 Jag har ett gäng möjliga förklaringar:
Hej
Jag hittade idag denna lilla myndighet med statistik.
Tyvärr använder de en hemsnickrat CC BY liknande licens för data vilket gör det helt värdelöst ur Wikidata-perspektiv. Jag underar hur många av de 28 officiella statistikmyndigheterna som delar data under CC0? Har ni koll?
Jag önskar att ni skapar ett forum härinne eller nån annanstans där vi kan rapportera (och gärna även diskutera) offentligt när myndigheter inte klarar av att dela data på ett vettigt sätt eller med vettig licens?
Sen kan ni på DIGG ju kontakta dem och be dem vänligt att följa riktlinjerna och notera detta i tråden. (helst skulle jag vilja använda piska, men ni har ju ingen, så det bliver ju svårt).
@kristine_ Vore det inte bra då med en slaskkategori som tex Övrigt? Sen kan ni skapa underkategorier när det behövs utifrån mängden trådar som skapas i denna?
