Community på Sveriges dataportal

Jag har skrivit ett verktyg som tar en JSON-fil och organiserar den i grupperingar på flera nivåer. Att användas för att få överblick över innehållet, för analyser och för att utvärdera datakvaliteten. En demo finns som innehåller exempel för platsannonser - grupperat på geografi, yrkestaxonomi, språk m.m.

Ladda ner här: https://github.com/erik-gbg/json-explorer

För Windows finns en körbar version att packa upp:
https://github.com/erik-gbg/json-explorer/releases/download/v1.0/json_explorer_exe_for_windows.zip

Programmet är helt generellt och funkar på vilken JSON-fil som helst. Anpassningen görs på några få rader i en konfigurationsfil. Ett bra verktyg för att snabbt bekanta sig med nya data, eller för att ta kontroll över och felsöka gamla data.

Titta på den här länken istället, för bättre bildkvalitet:
https://ia801403.us.archive.org/27/items/json-explorer-en-introduktion/JSON Explorer - En introduktion.webm

Jag har samlat och fixat till olika "getting started"-exempel från lite olika håll och samlat dem på ett ställe, så att en ny användare har en ingångspunkt och kan hitta det som finns, och det blir begripligt.

https://gitlab.com/arbetsformedlingen/job-ads/getting-started-code-examples

@nina_ @Maria_Dalhage Kul att få feedback! Jag vill uppmana alla att ladda ner den körbara Windows-versionen. Den är lätt som en plätt att få igång (om ni bara ser till att ert virusskydd inte bråkar med er).

https://github.com/erik-gbg/json-explorer/releases/download/v1.0/json_explorer_exe_for_windows.zip

Så att ni kan ge mig lite mer synpunkter på utformningen

Jag har nu uppdaterat frontend-exemplet med paginering.

API:er som JobSearch och JobLinks innehåller parametrarna limit och offset. Jag har gjort enklast möjliga paginerings-kod för att visa hur de bör användas.

Här är den nya branchen (som väntar på approval):
https://gitlab.com/arbetsformedlingen/job-ads/getting-started-code-examples/frontend-example/-/tree/pagination

Istället för Javascript (eller värre), där man får ett tjog filer, så är detta Python-repo litet och elegant. Använder FastAPI och Jinja web template engine. Exemplet kör emot Joblinks API:et, just eftersom då slipper man ha API-nyckel.

Så även om folk är mindre vana att skriva frontend-kod i Python än i Javascript, så bör det gå snabbt att identifiera strukturen i hur limit & offset används.

@maria_dalhage Japp, jag nämnde ju SUSA-navet i rubriken ;-). Och jag släpper snart ett par olika konfigurationer för deras utbildningsdata.

Faktum är att det var när jag jobbade i Revival och skulle analysera utbildningsdatat i SUSA-navet som jag fick idén till detta verktyg. För att svara på frågor som:

• Vad finns exakt i SUSA-navet? (svaret = 99% är kostnadsfria & CSN-berättigande)
• Karaktären hos de resterande 1%?
• Hur många utbildningar saknar ett viss attribut, t.ex. 'description'?

Om jag haft detta verktyg då, så skulle jobbet ha gått på mindre än en tiondel av tiden.

Även om programmet redan fungerar väl, är det att betrakta som en prototyp. I en tänkt slutversion så borde programmet gå som en web server med ett web interface, som är direkt tillgängligt för alla, utan installation. Och att man hela tiden hämtar färska data från de olika API:erna (eller åtminstone dagligen).

Vidare så kan man göra syntaxen för konfigurationen enklare. T.ex:
$.occupation_group.label istället för
lambda x: x.get('occupation_group').get('label')

Ett till synes läskigt uttryck som:
lambda x: x.get('events') and x.get('events')[0].get('urls') and x.get('events')[0].get('urls')[0].get('content')

kan faktiskt förenklas till: $.events.urls.content.
Om man inte nöjer sig med första träffen, utan vill ha hela listan så skriver man: [$.events.urls.content], eller t.o.m. [[$.events.urls.content]]

Sånt där kan jag fixa, om det visar sig att folk är intresserade av att använda det här på allvar,

Ny rejält genomarbetad version av JSON Explorer (One tool to tool them all). Nya konfigurationer, nu också för SUSA-navet och Joblinks.

https://github.com/erik-gbg/json-explorer

Körbar demo för Windows:
https://github.com/erik-gbg/json-explorer/releases/download/v2.0/json_explorer_exe_for_windows_v2_DEMO.zip

Följande trädvyer finns nu:

• JobSearch - Anställningstyp > Lönetyp
• JobSearch - Flera platser i samma annons
• JobSearch - Geografi
• JobSearch - Kompetenskrav
• JobSearch - Krav på arbetslivserfarenhet
• JobSearch - Språkkrav
• JobSearch - Yrkestaxonomi
• Jobtech Links: Externa annonssajter - enkel vy (något missvisande)
• Jobtech Links: Externa annonssajter - komplett vy
• SUSA-navet: Myndighet > Skoltyp > Lärosäte
• SUSA-navet: Utbildningar med flera lärosäten
• SUSA-navet: Utbildningar som saknar beskrivning
• SUSA-navet: Vilka utbildningar finns? (CSN, avgift o.s.v.)