Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

erik-gbg

Jag har skrivit ett verktyg som tar en JSON-fil och organiserar den i grupperingar på flera nivåer. Att användas för att få överblick över innehållet, för analyser och för att utvärdera datakvaliteten. En demo finns som innehåller exempel för platsannonser - grupperat på geografi, yrkestaxonomi, språk m.m.

Ladda ner här: https://github.com/erik-gbg/json-explorer

För Windows finns en körbar version att packa upp:
https://github.com/erik-gbg/json-explorer/releases/download/v1.0/json_explorer_exe_for_windows.zip

Programmet är helt generellt och funkar på vilken JSON-fil som helst. Anpassningen görs på några få rader i en konfigurationsfil. Ett bra verktyg för att snabbt bekanta sig med nya data, eller för att ta kontroll över och felsöka gamla data.

Maria_Dalhage

@erik-gbg Snyggt!!! Vore roligt att få feedback från någon annan org som har jsonfiler och utbildningsdata.

Nina_Berlin

@maria_dalhage @erik-gbg Bra idé jag tipsar CSN, där jag känner lite folk.

erik-gbg

@maria_dalhage Japp, jag nämnde ju SUSA-navet i rubriken ;-). Och jag släpper snart ett par olika konfigurationer för deras utbildningsdata.

Faktum är att det var när jag jobbade i Revival och skulle analysera utbildningsdatat i SUSA-navet som jag fick idén till detta verktyg. För att svara på frågor som:

Vad finns exakt i SUSA-navet? (svaret = 99% är kostnadsfria & CSN-berättigande)
Karaktären hos de resterande 1%?
Hur många utbildningar saknar ett viss attribut, t.ex. 'description'?

Om jag haft detta verktyg då, så skulle jobbet ha gått på mindre än en tiondel av tiden.

erik-gbg

@nina_ @Maria_Dalhage Kul att få feedback! Jag vill uppmana alla att ladda ner den körbara Windows-versionen. Den är lätt som en plätt att få igång (om ni bara ser till att ert virusskydd inte bråkar med er).

https://github.com/erik-gbg/json-explorer/releases/download/v1.0/json_explorer_exe_for_windows.zip

Så att ni kan ge mig lite mer synpunkter på utformningen

erik-gbg

Även om programmet redan fungerar väl, är det att betrakta som en prototyp. I en tänkt slutversion så borde programmet gå som en web server med ett web interface, som är direkt tillgängligt för alla, utan installation. Och att man hela tiden hämtar färska data från de olika API:erna (eller åtminstone dagligen).

Vidare så kan man göra syntaxen för konfigurationen enklare. T.ex:
$.occupation_group.label istället för
lambda x: x.get('occupation_group').get('label')

Ett till synes läskigt uttryck som:
lambda x: x.get('events') and x.get('events')[0].get('urls') and x.get('events')[0].get('urls')[0].get('content')

kan faktiskt förenklas till: $.events.urls.content.
Om man inte nöjer sig med första träffen, utan vill ha hela listan så skriver man: [$.events.urls.content], eller t.o.m. [[$.events.urls.content]]

Sånt där kan jag fixa, om det visar sig att folk är intresserade av att använda det här på allvar,

erik-gbg

Ny rejält genomarbetad version av JSON Explorer (One tool to tool them all). Nya konfigurationer, nu också för SUSA-navet och Joblinks.

https://github.com/erik-gbg/json-explorer

Körbar demo för Windows:
https://github.com/erik-gbg/json-explorer/releases/download/v2.0/json_explorer_exe_for_windows_v2_DEMO.zip

Följande trädvyer finns nu:

JobSearch - Anställningstyp > Lönetyp
JobSearch - Flera platser i samma annons
JobSearch - Geografi
JobSearch - Kompetenskrav
JobSearch - Krav på arbetslivserfarenhet
JobSearch - Språkkrav
JobSearch - Yrkestaxonomi
Jobtech Links: Externa annonssajter - enkel vy (något missvisande)
Jobtech Links: Externa annonssajter - komplett vy
SUSA-navet: Myndighet > Skoltyp > Lärosäte
SUSA-navet: Utbildningar med flera lärosäten
SUSA-navet: Utbildningar som saknar beskrivning
SUSA-navet: Vilka utbildningar finns? (CSN, avgift o.s.v.)

erik-gbg

Trädvyerna kan nu sparas i formatet .jtree. Den körbara demon för Windows använder nu dessa filer, istället för att man laddar ner de stora json-filerna.

erik-gbg

Jag har börjat göra instruktionsfilmer som presenterar mitt nya verktyg, JSON Explorer. Lägg en stund och kolla på detta.

https://archive.org/details/json-explorer-en-introduktion

erik-gbg

Titta på den här länken istället, för bättre bildkvalitet:
https://ia801403.us.archive.org/27/items/json-explorer-en-introduktion/JSON Explorer - En introduktion.webm

Maria_Dalhage

@erik-gbg Föredömligt Erik! Rekommenderar att de som jobbar med Regeringsuppdraget KLL kollar in detta klipp. Att spela in en kort demo är ett lysande sätt att beskriva sina API:er och tjänster på mer av detta hoppas jag få se i detta forum!

lennartjohansson

Häftigt Erik! Ska prova detta direkt då jag själv känt mig lost ibland när jag navigerar runt i SUSA

jonor

@erik-gbg Det verkar vara en behändig applikation för att få en överblick och botanisera i datamaterialet. Jag tyckte det var lite intressant med representationen av språkkompetenser vid 9:48, är det avsiktligt att varje språkkombination får en egen gruppering, eller har det att göra med att strukturen i datamaterialet skulle kräva ytterligare bearbetning. Man kunde ju annars tänka sig att gruppera på enskilda språk och att samma annons dyker upp under flera grupperingar, eller att språken bildar nivåer under varandra.

Hur är det med att dela ut exe-filer, vågar man ladda ned och köra sådana utan certifiering och säkerhetsgarantier i dessa tider, eller finns det sätt att köra dem säkert? Jag undrar lite över användningen av webbplatsen archive.org, är det en tjänst där man kan lägga upp eget material och vad är skillnaden/fördelen mot videotjänster som Youtube?