Kategorisera API:er efter datasort
-
Återanvänd gärna arbetsförmedlingens lösning för Platsbanken (eller vår kompetens runt sök/filtrering). Dagligen hanteras ca 60 000 annonser och görs sökbara ur en mängd olika perspektiv. Ni hittar lösningen på github https://github.com/JobtechSwe/sokannonser-api och det är enkelt att komma igång med sökmotorer såsom elastic. (Lämpar sig väl för sök/filtrering)
-
@salgo60 Det är en separat tråd i mina ögon. Starta gärna en tråd om det. Superviktigt ämne, men det har inget att göra med "hitta ett intressant dataset i en okänd mängd av dataset". Ur ett systemförvaltarperspektiv är det såklart intressant men det ser jag inte som samma use case och det är heller inte syftet med min fråga. Att dataset är ihopkopplade över världen löser ju nämligen inte heller mitt problem.
-
@stefan-wallin jag tar bort det om det stör. Är inte säker att du ser det problem jag ser
- DCAT-AP-SE diskuteras här Issues/84
-
@stefan-wallin Tack för feedbacken, vi jobbar vidare med en ”exclude” funktionalitet och hoppas att det blir bra:) En annan sak som dykt upp i tester och som också kanske skulle bidra till enklare utforskning av data är dels om datamängder går att beskriva i ”antal datapunkter” för att man enklare ska kunna avgöra storleken och om det är nåt data som går att använda för AI eller maskininlärning. Ett stöd för samma syfte är att göra det tydligt vilka datamängder som bygger på samma specifikation (typ... en ”Tips! Dom här datamängder använder samma specifikation.) Vi har ingen aning om hur svårt eller om det ens går att realisera detta eller inte i dagsläget, men det vore intressant med din synpunkt även här.
-
@josefinlassi lite synd att ni känner att ni måste jobba vidare med en exclude-funktionalitet. I en korrekt vald arkitektur så skulle, som @salgo60 redan påtalat, det redan fungera.
T.ex. om ni skulle ha en wikibase-installation som bas så är det bara ytterligare ett attribut som ni kan lägga på och det måste inte finnas på alla API:er. Då skulle vi kunna låta våra pengar gå till exempelvis att bygga wikigames som hjälper administratörer och frivilliga att fylla i uppgifterna i schyssta gui och låta API-nyttjare filtrera med sparql-frågor, eller till och med bygga schysta sparql-filtrerings-gui:n
"antal datapunkter" är på sätt och vis ett konstigt attribut eftersom det oftast ändrar sig över tid. Även antalet kommuner har ju ändrats över tid (1952 var det över 2000 kommuner i Sverige). Det är ju även så att inte bara storleken utan även hastigheten är intressant för att uppfatta eventuella skalningsproblem eller om datan är omfattande nog.
För "dessa datamängder bygger på samma specifikation" så är du ju inne på det som @salgo60 pratar om när det gäller persistenta identifierare av specifikationen och en referens till den identifieraren bör finnas med i filtreringsurvalet och data-mängden.
Senior systemutvecklare i privata sektorn (f.n. Iteam)
-
@stefan-wallin Om jag ibland använder konstiga uttryck så är det för att jag inte är en programmerare. Mitt uppdrag är att främja en bred användning av data, alltså även för dom som inte har en lika hög teknisk kompetens som ni har:) So, "bare with me":) Begreppet 'antal datapunkter' har jag dock inte hittat på själv, det kommer från ett användartest med en person som driver ett företag inom machine learning. Och vår målsättning är att göra dataportalens datamängder enklare att använda även i detta sammanhang... och då lyftes detta upp som en väldigt viktig parameter (bland flera). Och missförstod jag dig här ovan när du skrev att en "exclude funktionalitet", som del av en mer avancerad sök, ändå skulle göra det enklare att filtrera fram intressanta datamängder?
-
@stefan-wallin appropå persistenta identifierare så har vi med det i vägledningen för att tillgängliggöra information. Men det behöver absolut utvecklas så det står redan med på vår "to do" lista.
-
@josefinlassi sa i Kategorisera API:er efter datasort:
Och missförstod jag dig här ovan när du skrev att en "exclude funktionalitet", som del av en mer avancerad sök, ändå skulle göra det enklare att filtrera fram intressanta datamängder?
Jag tycker det är bra att ha, men är inne på samma linje som @salgo60 att bygga varje sätt att filtrera en i taget är lite synd att ni ska behöva lägga tid på. Snarare är det bättre att ha eller skapa ett generellt sätt att ställa valfri filtrering av valfri metadata-punkt om api:erna.
Jämför gärna med wikidata query eller med prisjakt som har väldigt många olika flexibla sätt att filtrera en stor databas på baserat på just metadata.
Senior systemutvecklare i privata sektorn (f.n. Iteam)
-
@stefan-wallin Håller med dig om att det inte alltid blir bra om man "duttar"... Just tankarna på den här specifika "exclude" funktionen ingår i ett större arbete kring ett avancerat sök där jag hoppas att vi försöker nå det du pratar om. Jag provtryckte bara en del mot dig, går fortare än att förklara ett helt koncept som inte är klart:)
Och där tänker vi benchmarka lite, så vi kan absolut plocka in prisjakt och wikidata query också som exempel. Något jag personligen tycker är väldigt bra är också Scopus forskningsdatabas där man med enkla medel (bl.a. "limit to"/"exclude", OCH/ELLER funktionalitet , ett flertal filter/kategorier, frisök mm) ganska snabbt kan hitta ungefär det man söker efter i en databas med flera tusentals artiklar. Men jag tar med mig dina tips!
-
@kristine_
Jag håller med om att filter på uppdateringsfrekvens vore lämpligt att implementera.
Det hade underlättat väldigt mycket.
Är det något som är planerat?
