Sveriges dataportal, DIGG - Myndigheten för digital förvaltning
Sök data Nyheter Om oss Community
  • Hem
  • Kategorier
  • Senaste
  • Taggar
  • Populära
  • Användare
  • Grupper
  • Sök
  • Ser ut som din anslutning till %1 gick förlorad, vänta medan vi försöker att återansluta.
  • Registrera
  • Logga in

    Ett verktyg för dataanalys av JobSearch, JobLinks, SUSA-navet etc.

    Öppen källkod
    5
    13
    287
    RSS Feed
    Laddar fler inlägg
    • Äldst till nyaste
    • Nyaste till äldst
    • Flest röster
    Svara
    • Svara som ämne
    Logga in för att posta
    Det här ämnet har raderats. Endast användare med ämneshanterings-privilegier kan se det.
    • E
      erik-gbg Senaste redigerad av

      Jag har skrivit ett verktyg som tar en JSON-fil och organiserar den i grupperingar på flera nivåer. Att användas för att få överblick över innehållet, för analyser och för att utvärdera datakvaliteten. En demo finns som innehåller exempel för platsannonser - grupperat på geografi, yrkestaxonomi, språk m.m.

      Ladda ner här: https://github.com/erik-gbg/json-explorer

      För Windows finns en körbar version att packa upp:
      https://github.com/erik-gbg/json-explorer/releases/download/v1.0/json_explorer_exe_for_windows.zip

      Programmet är helt generellt och funkar på vilken JSON-fil som helst. Anpassningen görs på några få rader i en konfigurationsfil. Ett bra verktyg för att snabbt bekanta sig med nya data, eller för att ta kontroll över och felsöka gamla data.

      Maria_Dalhage E 4 svar Senaste svaret Svara Citera Gilla 4 Post Tools Trigger
      • Maria_Dalhage
        Maria_Dalhage @erik-gbg Senaste redigerad av

        @erik-gbg Snyggt!!! Vore roligt att få feedback från någon annan org som har jsonfiler och utbildningsdata.

        Community Manager NOSAD - Network Open source and data

        Nina_Berlin E 2 svar Senaste svaret Svara Citera Gilla 0 Post Tools Trigger
        • Nina_Berlin
          Nina_Berlin @Maria_Dalhage Senaste redigerad av

          @maria_dalhage @erik-gbg Bra idé 🙂 jag tipsar CSN, där jag känner lite folk.

          CSN

          Ett svar Senaste svaret Svara Citera Gilla 0 Post Tools Trigger
          • E
            erik-gbg @Maria_Dalhage Senaste redigerad av

            @maria_dalhage Japp, jag nämnde ju SUSA-navet i rubriken ;-). Och jag släpper snart ett par olika konfigurationer för deras utbildningsdata.

            Faktum är att det var när jag jobbade i Revival och skulle analysera utbildningsdatat i SUSA-navet som jag fick idén till detta verktyg. För att svara på frågor som:

            • Vad finns exakt i SUSA-navet? (svaret = 99% är kostnadsfria & CSN-berättigande)
            • Karaktären hos de resterande 1%?
            • Hur många utbildningar saknar ett viss attribut, t.ex. 'description'?

            Om jag haft detta verktyg då, så skulle jobbet ha gått på mindre än en tiondel av tiden.

            Ett svar Senaste svaret Svara Citera Gilla 1 Post Tools Trigger
            • E
              erik-gbg @erik-gbg Senaste redigerad av

              @nina_ @Maria_Dalhage Kul att få feedback! Jag vill uppmana alla att ladda ner den körbara Windows-versionen. Den är lätt som en plätt att få igång (om ni bara ser till att ert virusskydd inte bråkar med er).

              https://github.com/erik-gbg/json-explorer/releases/download/v1.0/json_explorer_exe_for_windows.zip

              Så att ni kan ge mig lite mer synpunkter på utformningen 🙂

              Ett svar Senaste svaret Svara Citera Gilla 2 Post Tools Trigger
              • E
                erik-gbg @erik-gbg Senaste redigerad av

                Även om programmet redan fungerar väl, är det att betrakta som en prototyp. I en tänkt slutversion så borde programmet gå som en web server med ett web interface, som är direkt tillgängligt för alla, utan installation. Och att man hela tiden hämtar färska data från de olika API:erna (eller åtminstone dagligen).

                Vidare så kan man göra syntaxen för konfigurationen enklare. T.ex:
                $.occupation_group.label istället för
                lambda x: x.get('occupation_group').get('label')

                Ett till synes läskigt uttryck som:
                lambda x: x.get('events') and x.get('events')[0].get('urls') and x.get('events')[0].get('urls')[0].get('content')

                kan faktiskt förenklas till: $.events.urls.content.
                Om man inte nöjer sig med första träffen, utan vill ha hela listan så skriver man: [$.events.urls.content], eller t.o.m. [[$.events.urls.content]]

                Sånt där kan jag fixa, om det visar sig att folk är intresserade av att använda det här på allvar,

                Ett svar Senaste svaret Svara Citera Gilla 1 Post Tools Trigger
                • E
                  erik-gbg Senaste redigerad av

                  Ny rejält genomarbetad version av JSON Explorer (One tool to tool them all). Nya konfigurationer, nu också för SUSA-navet och Joblinks.

                  https://github.com/erik-gbg/json-explorer

                  Körbar demo för Windows:
                  https://github.com/erik-gbg/json-explorer/releases/download/v2.0/json_explorer_exe_for_windows_v2_DEMO.zip

                  Följande trädvyer finns nu:

                  • JobSearch - Anställningstyp > Lönetyp
                  • JobSearch - Flera platser i samma annons
                  • JobSearch - Geografi
                  • JobSearch - Kompetenskrav
                  • JobSearch - Krav på arbetslivserfarenhet
                  • JobSearch - Språkkrav
                  • JobSearch - Yrkestaxonomi
                  • Jobtech Links: Externa annonssajter - enkel vy (något missvisande)
                  • Jobtech Links: Externa annonssajter - komplett vy
                  • SUSA-navet: Myndighet > Skoltyp > Lärosäte
                  • SUSA-navet: Utbildningar med flera lärosäten
                  • SUSA-navet: Utbildningar som saknar beskrivning
                  • SUSA-navet: Vilka utbildningar finns? (CSN, avgift o.s.v.)
                  E Ett svar Senaste svaret Svara Citera Gilla 1 Post Tools Trigger
                  • E
                    erik-gbg @erik-gbg Senaste redigerad av

                    Trädvyerna kan nu sparas i formatet .jtree. Den körbara demon för Windows använder nu dessa filer, istället för att man laddar ner de stora json-filerna.

                    Ett svar Senaste svaret Svara Citera Gilla 0 Post Tools Trigger
                    • E
                      erik-gbg @erik-gbg Senaste redigerad av

                      Jag har börjat göra instruktionsfilmer som presenterar mitt nya verktyg, JSON Explorer. Lägg en stund och kolla på detta.

                      https://archive.org/details/json-explorer-en-introduktion

                      E Ett svar Senaste svaret Svara Citera Gilla 0 Post Tools Trigger
                      • E
                        erik-gbg @erik-gbg Senaste redigerad av

                        Titta på den här länken istället, för bättre bildkvalitet:
                        https://ia801403.us.archive.org/27/items/json-explorer-en-introduktion/JSON Explorer - En introduktion.webm

                        Maria_Dalhage J 2 svar Senaste svaret Svara Citera Gilla 3 Post Tools Trigger
                        • Maria_Dalhage
                          Maria_Dalhage @erik-gbg Senaste redigerad av

                          @erik-gbg Föredömligt Erik! Rekommenderar att de som jobbar med Regeringsuppdraget KLL kollar in detta klipp. Att spela in en kort demo är ett lysande sätt att beskriva sina API:er och tjänster på mer av detta hoppas jag få se i detta forum!

                          Community Manager NOSAD - Network Open source and data

                          Ett svar Senaste svaret Svara Citera Gilla 0 Post Tools Trigger
                          • L
                            lennartjohansson Senaste redigerad av

                            Häftigt Erik! Ska prova detta direkt då jag själv känt mig lost ibland när jag navigerar runt i SUSA 🙂

                            Ett svar Senaste svaret Svara Citera Gilla 1 Post Tools Trigger
                            • J
                              jonor @erik-gbg Senaste redigerad av jonor

                              @erik-gbg Det verkar vara en behändig applikation för att få en överblick och botanisera i datamaterialet. Jag tyckte det var lite intressant med representationen av språkkompetenser vid 9:48, är det avsiktligt att varje språkkombination får en egen gruppering, eller har det att göra med att strukturen i datamaterialet skulle kräva ytterligare bearbetning. Man kunde ju annars tänka sig att gruppera på enskilda språk och att samma annons dyker upp under flera grupperingar, eller att språken bildar nivåer under varandra.

                              Hur är det med att dela ut exe-filer, vågar man ladda ned och köra sådana utan certifiering och säkerhetsgarantier i dessa tider, eller finns det sätt att köra dem säkert? Jag undrar lite över användningen av webbplatsen archive.org, är det en tjänst där man kan lägga upp eget material och vad är skillnaden/fördelen mot videotjänster som Youtube?

                              Ett svar Senaste svaret Svara Citera Gilla 0 Post Tools Trigger
                              • Moved from Goda exempel och inspiration by  Maria_Dalhage Maria_Dalhage 
                              • Moved from Data by  Maria_Dalhage Maria_Dalhage 
                              • Första inlägg
                                Sista inlägg