Referensdata

Andersos

Jag hittade inget kring ämnet referensdata så jag startar en allmän tråd om ämnet. Är referensdata off topic för Community på Sveriges dataportal så mottar jag gärna tips om var man kan diskutera det.

Enligt Data Management Body of Knowledge (DAMA) definieras referensdata på följande sätt:

"Reference data is data used to classify or categorize other data." (Wikipedia Reference data
)

Några diskussionsfrågor:

Är referensdata ett vedertaget begrepp i er organisation?
Hur arbetar ni med referensdata i er organisation?
Vilka förbättringsområde ser ni som viktiga inom referensdata och semantik?

Vill även tipsa om ENDORSE. Det är en årlig konferens om referensdata och semantik som anordnas av EU:s publiceringsbyrå (EU Publication Office). I år fanns det många intressanta föreläsningar. Vissa berör även öppna data, till exempel "The Future of Data Stewardship". Hela programmet för 2025: https://op.europa.eu/en/web/endorse-2025/programme?pk_campaign=YouTubeVideoDescription&pk_source=ENDORSE&pk_medium=YT

Magnus Sälgö

Ingen verkar svara så jag bidrar med mina observationer och taffliga försök med SSYK och koppla det till internationella vokabulär...

I rapporten Uppdrag att utveckla en sammanhållen
datainfrastruktur för kompetensförsörjning och livslångt lärande Slutredovisning 31 januari 2024 lyfts SSYK, SUN och SNI som centrala klassifikationer.

Tveksam om detta jobb leder någonstans försökte fråga om status i en tidigare tråd (inget svar är också ett svar ;-)) .... var på en workshop i Stockholm men det kändes alldeles för rörigt och ingen riktning framåt och det kändes som det saknades öppna publika backloggar vilket jag tycker slutrapporten även visar...

Citat sidan 15 "De senaste versionerna som används
i Sverige är SNI2007 (baserad på NACE_rev2), SSYK2012 (baserad på ISCO-08) och
SUN2020 (baserad på ISCED 2011 och ISCED-F 2013)." dvs. dom har yrken som senast uppdaterades 2012

När SSYK inte längre speglar dagens arbetsmarknad får det tydliga följdeffekter:

Arbetsförmedlingen kan inte matcha utbildning yrke arbetsmarknad på ett meningsfullt sätt.
Statistiska centralbyrån (SCB) producerar föråldrad statistik.
Utbildningsväsendet planerar insatser efter fel behovsbild.
AI-modeller för kompetensanalys (t.ex. i ESCO) blir inkompatibla eller missvisande i svensk kontext.

Det känns som att fel kompetens eller fel aktörer leder arbetet, eller åtminstone att samarbetet mellan de centrala myndigheterna inte fungerar fullt ut.

Jag försökte ställa frågan 2023 maj hur dom hanterar saker som "deep learning" men sedan när rapporten kom var det bara ett konstaterande att SSYK var från 2012....

Min känsla

att flera av klassifikationerna är föråldrade (t.ex. SSYK 2012 missar många nya yrken),
att versionering och publicering som öppen data ofta saknas,
att kopplingar till internationella kodverk (som EU:s ESCO för yrken och kompetenser) inte verkar finnas maskinläsbart

Gissar att jobtech kanske har något jag hade en ambition 2020 att koppla ihop SSYK med Wikidata och ESCO men gav upp det kändes för rörigt det var inga som prata ontologier och SKOS

skapade Wikidata egenskap Property:P8654 / diskussion om egenskapen
- där en ambitiös tanke fanns att koppla ihop olika internationella koder på WIkidata

lesson leaned 2020 var att SSYK skapades som ett statistiskt och partsneutralt kodsystem för bland annat löne-, sysselsättnings- och arbetskraftsstatistik vilket kanske inte är optimalt 2025.... om man använder SSYK som bas för AI-matchning, livslångt lärande eller kompetensförsörjning,
…så bygger man på ett kodsystem konstruerat för industrisamhällets statistikbehov, inte för kunskapsgrafen i ett digitalt samhälle.

Magnus Sälgö

Annat försök jag gjorde 2021 var med HISCO koder dvs. standarden för historiska yrken ....

Min tanke var att man borde enas kring denna standard i stället för att varje institution skapar egna datasilos och påhittade yrkesnamn.

Jag ägnade en dag åt att webskrapa yrkesdata från flera institutioner – Alvin, Arken, Riksarkivet (SBL), Historiska museet, Kungliga biblioteket, Litteraturbanken, Levande musikarv och Svenskt kvinnobiografiskt lexikon.

Resultat var att det var enormt rörigt

jag skickade ett email aug 2021 till ett antal aktörer 0 intresse... status idag 2025 är att inget har hänt

Min gissning:

Man föredrar att arbeta i datasilos
Det saknas vana att samarbeta mellan arkivinstitutioner
Få personer har en datadriven bakgrund
Det finns inga tydliga krav eller incitament för att systemen ska fungera tillsammans

Har sett att SWEPOP pekar på HISCOkoder men tycker dom har massa konstigheter se försök att ha dialog 2023

Magnus Sälgö

Jag nås på 0735152802 om du har frågor... det mesta finns dock på GITHUB av alla hobby projekt jag gjort eller föredrag jag haft mest förut om Länkade data vilket jag ser som en "vidare utveckling" av referenskoder

Länkad data vs. referenskoder

Referenskoder (t.ex. interna ID-nummer eller kodsystem som “A123” eller “SE12345”) används ofta för att identifiera objekt i slutna system — till exempel en kommun, ett skyddsobjekt eller en plats i en databas. De fungerar bra inom den egna organisationen, men saknar ofta mening utanför sitt sammanhang. Om någon utanför systemet ser koden “A123” vet de inte vad den betyder utan tillgång till samma kodlista.

Länkad data däremot bygger på öppna URIs (webbadresser) som pekar direkt till ett objekt som kan förstås globalt.
I stället för en sluten kod används alltså en webblänk, ofta från Wikidata, VIAF, GeoNames eller OpenStreetMap.

Till exempel:

Referenskod: NR123
Länkad data: https://www.wikidata.org/entity/Q179049 (Nature reserve) som en graf https://w.wiki/G24c

Det innebär att:

varje objekt får en globalt unik identifierare - persistent unik identifierare
data kan kopplas samman automatiskt mellan olika databaser,
man slipper manuella kodlistor,
och information kan uppdateras och delas maskinellt via standarder som RDF och SPARQL.

Kort sagt:

Referenskoder är interna etiketter, medan länkad data är öppna länkar till begrepp som datorer och människor kan förstå globalt.

OT: DIGG hade ett projekt med att skapa en profil för persistenta identifierare för 2 år sedan som jag tycker tyvärr blev för konsult styrt och mer en pdf än nu tar vi nästa steg....