Sveriges dataportal, DIGG - Myndigheten för digital förvaltning
Sök data Nyheter Om oss Community
  • Hem
  • Kategorier
  • Senaste
  • Taggar
  • Populära
  • Användare
  • Grupper
  • Sök
  • Ser ut som din anslutning till %1 gick förlorad, vänta medan vi försöker att återansluta.
  • Registrera
  • Logga in
    1. Hem breadcrumb link
    2. erik-gbg
    E
    • Profil
    • Följer 0
    • Följare 1
    • Ämnen 2
    • Inlägg 10
    • Bästa 8
    • Grupper 0

    erik-gbg

    @erik-gbg

    15
    Rykte
    6
    Profil-visningar
    10
    Inlägg
    1
    Följare
    0
    Följer
    Gick med Senast online

    erik-gbg Sluta följ Följ

    Bästa inläggen skapade av erik-gbg

    • Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      Jag har skrivit ett verktyg som tar en JSON-fil och organiserar den i grupperingar på flera nivåer. Att användas för att få överblick över innehållet, för analyser och för att utvärdera datakvaliteten. En demo finns som innehåller exempel för platsannonser - grupperat på geografi, yrkestaxonomi, språk m.m.

      Ladda ner här: https://github.com/erik-gbg/json-explorer

      För Windows finns en körbar version att packa upp:
      https://github.com/erik-gbg/json-explorer/releases/download/v1.0/json_explorer_exe_for_windows.zip

      Programmet är helt generellt och funkar på vilken JSON-fil som helst. Anpassningen görs på några få rader i en konfigurationsfil. Ett bra verktyg för att snabbt bekanta sig med nya data, eller för att ta kontroll över och felsöka gamla data.

      postat i Öppen källkod
      E
      erik-gbg
    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      Titta på den här länken istället, för bättre bildkvalitet:
      https://ia801403.us.archive.org/27/items/json-explorer-en-introduktion/JSON Explorer - En introduktion.webm

      postat i Öppen källkod
      E
      erik-gbg
    • Kodexempel för Jobtech-API:er

      Jag har samlat och fixat till olika "getting started"-exempel från lite olika håll och samlat dem på ett ställe, så att en ny användare har en ingångspunkt och kan hitta det som finns, och det blir begripligt.

      https://gitlab.com/arbetsformedlingen/job-ads/getting-started-code-examples

      postat i Data
      E
      erik-gbg
    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      @nina_ @Maria_Dalhage Kul att få feedback! Jag vill uppmana alla att ladda ner den körbara Windows-versionen. Den är lätt som en plätt att få igång (om ni bara ser till att ert virusskydd inte bråkar med er).

      https://github.com/erik-gbg/json-explorer/releases/download/v1.0/json_explorer_exe_for_windows.zip

      Så att ni kan ge mig lite mer synpunkter på utformningen 🙂

      postat i Öppen källkod
      E
      erik-gbg
    • RE: Kodexempel för Jobtech-API:er

      Jag har nu uppdaterat frontend-exemplet med paginering.

      API:er som JobSearch och JobLinks innehåller parametrarna limit och offset. Jag har gjort enklast möjliga paginerings-kod för att visa hur de bör användas.

      Här är den nya branchen (som väntar på approval):
      https://gitlab.com/arbetsformedlingen/job-ads/getting-started-code-examples/frontend-example/-/tree/pagination

      Istället för Javascript (eller värre), där man får ett tjog filer, så är detta Python-repo litet och elegant. Använder FastAPI och Jinja web template engine. Exemplet kör emot Joblinks API:et, just eftersom då slipper man ha API-nyckel.

      Så även om folk är mindre vana att skriva frontend-kod i Python än i Javascript, så bör det gå snabbt att identifiera strukturen i hur limit & offset används.

      postat i Data
      E
      erik-gbg
    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      @maria_dalhage Japp, jag nämnde ju SUSA-navet i rubriken ;-). Och jag släpper snart ett par olika konfigurationer för deras utbildningsdata.

      Faktum är att det var när jag jobbade i Revival och skulle analysera utbildningsdatat i SUSA-navet som jag fick idén till detta verktyg. För att svara på frågor som:

      • Vad finns exakt i SUSA-navet? (svaret = 99% är kostnadsfria & CSN-berättigande)
      • Karaktären hos de resterande 1%?
      • Hur många utbildningar saknar ett viss attribut, t.ex. 'description'?

      Om jag haft detta verktyg då, så skulle jobbet ha gått på mindre än en tiondel av tiden.

      postat i Öppen källkod
      E
      erik-gbg
    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      Även om programmet redan fungerar väl, är det att betrakta som en prototyp. I en tänkt slutversion så borde programmet gå som en web server med ett web interface, som är direkt tillgängligt för alla, utan installation. Och att man hela tiden hämtar färska data från de olika API:erna (eller åtminstone dagligen).

      Vidare så kan man göra syntaxen för konfigurationen enklare. T.ex:
      $.occupation_group.label istället för
      lambda x: x.get('occupation_group').get('label')

      Ett till synes läskigt uttryck som:
      lambda x: x.get('events') and x.get('events')[0].get('urls') and x.get('events')[0].get('urls')[0].get('content')

      kan faktiskt förenklas till: $.events.urls.content.
      Om man inte nöjer sig med första träffen, utan vill ha hela listan så skriver man: [$.events.urls.content], eller t.o.m. [[$.events.urls.content]]

      Sånt där kan jag fixa, om det visar sig att folk är intresserade av att använda det här på allvar,

      postat i Öppen källkod
      E
      erik-gbg
    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      Ny rejält genomarbetad version av JSON Explorer (One tool to tool them all). Nya konfigurationer, nu också för SUSA-navet och Joblinks.

      https://github.com/erik-gbg/json-explorer

      Körbar demo för Windows:
      https://github.com/erik-gbg/json-explorer/releases/download/v2.0/json_explorer_exe_for_windows_v2_DEMO.zip

      Följande trädvyer finns nu:

      • JobSearch - Anställningstyp > Lönetyp
      • JobSearch - Flera platser i samma annons
      • JobSearch - Geografi
      • JobSearch - Kompetenskrav
      • JobSearch - Krav på arbetslivserfarenhet
      • JobSearch - Språkkrav
      • JobSearch - Yrkestaxonomi
      • Jobtech Links: Externa annonssajter - enkel vy (något missvisande)
      • Jobtech Links: Externa annonssajter - komplett vy
      • SUSA-navet: Myndighet > Skoltyp > Lärosäte
      • SUSA-navet: Utbildningar med flera lärosäten
      • SUSA-navet: Utbildningar som saknar beskrivning
      • SUSA-navet: Vilka utbildningar finns? (CSN, avgift o.s.v.)
      postat i Öppen källkod
      E
      erik-gbg

    Senaste inläggen av erik-gbg

    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      Titta på den här länken istället, för bättre bildkvalitet:
      https://ia801403.us.archive.org/27/items/json-explorer-en-introduktion/JSON Explorer - En introduktion.webm

      postat i Öppen källkod
      E
      erik-gbg
    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      Jag har börjat göra instruktionsfilmer som presenterar mitt nya verktyg, JSON Explorer. Lägg en stund och kolla på detta.

      https://archive.org/details/json-explorer-en-introduktion

      postat i Öppen källkod
      E
      erik-gbg
    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      Trädvyerna kan nu sparas i formatet .jtree. Den körbara demon för Windows använder nu dessa filer, istället för att man laddar ner de stora json-filerna.

      postat i Öppen källkod
      E
      erik-gbg
    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      Ny rejält genomarbetad version av JSON Explorer (One tool to tool them all). Nya konfigurationer, nu också för SUSA-navet och Joblinks.

      https://github.com/erik-gbg/json-explorer

      Körbar demo för Windows:
      https://github.com/erik-gbg/json-explorer/releases/download/v2.0/json_explorer_exe_for_windows_v2_DEMO.zip

      Följande trädvyer finns nu:

      • JobSearch - Anställningstyp > Lönetyp
      • JobSearch - Flera platser i samma annons
      • JobSearch - Geografi
      • JobSearch - Kompetenskrav
      • JobSearch - Krav på arbetslivserfarenhet
      • JobSearch - Språkkrav
      • JobSearch - Yrkestaxonomi
      • Jobtech Links: Externa annonssajter - enkel vy (något missvisande)
      • Jobtech Links: Externa annonssajter - komplett vy
      • SUSA-navet: Myndighet > Skoltyp > Lärosäte
      • SUSA-navet: Utbildningar med flera lärosäten
      • SUSA-navet: Utbildningar som saknar beskrivning
      • SUSA-navet: Vilka utbildningar finns? (CSN, avgift o.s.v.)
      postat i Öppen källkod
      E
      erik-gbg
    • RE: Kodexempel för Jobtech-API:er

      Jag har nu uppdaterat frontend-exemplet med paginering.

      API:er som JobSearch och JobLinks innehåller parametrarna limit och offset. Jag har gjort enklast möjliga paginerings-kod för att visa hur de bör användas.

      Här är den nya branchen (som väntar på approval):
      https://gitlab.com/arbetsformedlingen/job-ads/getting-started-code-examples/frontend-example/-/tree/pagination

      Istället för Javascript (eller värre), där man får ett tjog filer, så är detta Python-repo litet och elegant. Använder FastAPI och Jinja web template engine. Exemplet kör emot Joblinks API:et, just eftersom då slipper man ha API-nyckel.

      Så även om folk är mindre vana att skriva frontend-kod i Python än i Javascript, så bör det gå snabbt att identifiera strukturen i hur limit & offset används.

      postat i Data
      E
      erik-gbg
    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      Även om programmet redan fungerar väl, är det att betrakta som en prototyp. I en tänkt slutversion så borde programmet gå som en web server med ett web interface, som är direkt tillgängligt för alla, utan installation. Och att man hela tiden hämtar färska data från de olika API:erna (eller åtminstone dagligen).

      Vidare så kan man göra syntaxen för konfigurationen enklare. T.ex:
      $.occupation_group.label istället för
      lambda x: x.get('occupation_group').get('label')

      Ett till synes läskigt uttryck som:
      lambda x: x.get('events') and x.get('events')[0].get('urls') and x.get('events')[0].get('urls')[0].get('content')

      kan faktiskt förenklas till: $.events.urls.content.
      Om man inte nöjer sig med första träffen, utan vill ha hela listan så skriver man: [$.events.urls.content], eller t.o.m. [[$.events.urls.content]]

      Sånt där kan jag fixa, om det visar sig att folk är intresserade av att använda det här på allvar,

      postat i Öppen källkod
      E
      erik-gbg
    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      @nina_ @Maria_Dalhage Kul att få feedback! Jag vill uppmana alla att ladda ner den körbara Windows-versionen. Den är lätt som en plätt att få igång (om ni bara ser till att ert virusskydd inte bråkar med er).

      https://github.com/erik-gbg/json-explorer/releases/download/v1.0/json_explorer_exe_for_windows.zip

      Så att ni kan ge mig lite mer synpunkter på utformningen 🙂

      postat i Öppen källkod
      E
      erik-gbg
    • RE: Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      @maria_dalhage Japp, jag nämnde ju SUSA-navet i rubriken ;-). Och jag släpper snart ett par olika konfigurationer för deras utbildningsdata.

      Faktum är att det var när jag jobbade i Revival och skulle analysera utbildningsdatat i SUSA-navet som jag fick idén till detta verktyg. För att svara på frågor som:

      • Vad finns exakt i SUSA-navet? (svaret = 99% är kostnadsfria & CSN-berättigande)
      • Karaktären hos de resterande 1%?
      • Hur många utbildningar saknar ett viss attribut, t.ex. 'description'?

      Om jag haft detta verktyg då, så skulle jobbet ha gått på mindre än en tiondel av tiden.

      postat i Öppen källkod
      E
      erik-gbg
    • Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

      Jag har skrivit ett verktyg som tar en JSON-fil och organiserar den i grupperingar på flera nivåer. Att användas för att få överblick över innehållet, för analyser och för att utvärdera datakvaliteten. En demo finns som innehåller exempel för platsannonser - grupperat på geografi, yrkestaxonomi, språk m.m.

      Ladda ner här: https://github.com/erik-gbg/json-explorer

      För Windows finns en körbar version att packa upp:
      https://github.com/erik-gbg/json-explorer/releases/download/v1.0/json_explorer_exe_for_windows.zip

      Programmet är helt generellt och funkar på vilken JSON-fil som helst. Anpassningen görs på några få rader i en konfigurationsfil. Ett bra verktyg för att snabbt bekanta sig med nya data, eller för att ta kontroll över och felsöka gamla data.

      postat i Öppen källkod
      E
      erik-gbg
    • Kodexempel för Jobtech-API:er

      Jag har samlat och fixat till olika "getting started"-exempel från lite olika håll och samlat dem på ett ställe, så att en ny användare har en ingångspunkt och kan hitta det som finns, och det blir begripligt.

      https://gitlab.com/arbetsformedlingen/job-ads/getting-started-code-examples

      postat i Data
      E
      erik-gbg