Įrankiai duomenų atvėrimui
Šiame puslapyje pateikiamas sąrašas įrankių, kurių pagalba galėsite atverti savo organizacijos duomenų rinkinius. Sąrašas taip pat papildytas informacija, kuri padės lengviau perprasti šiuos įrankius ir greičiau juos integruoti duomenų atvėrimo procese.
Šis sąrašas yra rekomendacinio pobūdžio, galima be apribojimų naudoti kitus tam tinkančius įrankius, kurių pagalba galima atverti duomenų rinkinius ir suformuoti atitinkantį nustatytus reikalavimas duomenų struktūros aprašą.
Duomenų atvėrimo įrankiai, tai ETL (ang. Extract, Transform, Load), DELP (angl. Describe, Extract, Load, Publish) tipo programinė įranga, kuri palengvina arba gali atlikti visą duomenų atvėrimo procesą – paimti duomenis iš pirminių šaltinių, juos transformuoti ir galiausiai juos įkelti į atvirų duomenų portalą (Portalą).
„Spinta“ – IVPK vystomas duomenų atvėrimo (DELP) įrankis
IVPK siekdama palengvinti ir optimizuoti duomenų atvėrimo procesą siūlo naudoti unifikuotą DVTL integratorių Spinta, kuris taip pat užtikrina vartotojams atvertų duomenų pasiekimą per vieningą API.
Spinta pagalba yra suformuojamas duomenų struktūros aprašas, kurį yra privaloma pateikti į Portalą, atveriant duomenų rinkinį ir jį aprašant metaduomenimis. Atverto duomenų rinkinio duomenų struktūros aprašas, atvertiems duomenims suteikia didesnį brandos lygį.
Spinta yra atviro kodo, komandų eilutės priemonė, leidžiantis automatiškai generuoti duomenų struktūros aprašus, atitinkančius duomenų struktūros aprašo specifikaciją (DSA), nuskaityti duomenis pagal parengtą DSA ir juos publikuoti duomenų saugykloje iš kurios duomenis galima atsisiųsti įvairiais formatais, aukščiausiu brandos lygiu. Ši priemonė glaudžiai integruota su Lietuvos atvirų duomenų katalogu ir yra sudedamoji Lietuvos atvirų duomenų portalo dalis, leidžianti automatizuoti daugelį duomenų atvėrimo veiklų.
Atsisiuntimo nuoroda: https://pypi.org/project/spinta/
Diegimo instrukcijos: https://atviriduomenys.readthedocs.io/spinta.html#diegimas
Talend Open Studio
Atsisiuntimo nuoroda: https://www.talend.com/products/data-integration/data-integration-open-studio/
Instaliuojant Talend Open Studio aplikaciją galite susidurti su licencijos patvirtinimo problema. Problemos sprendimo būdas - turėti atnaujintą Java Runtime Environment 1.8.0.181 ar naujesnę versiją
Tai atviro kodo ETL įrankis, kurio pagalba galite atlikti duomenų atvėrimą – paimti duomenis iš pirminių šaltinių (Oracle, Teradata, Microsoft SQL server ir kt.) juos transformuoti, apjungti, nuasmeninti ir pan. bei sukelti juos į Lietuvos atvirų duomenų portalą (Naudojant organizacijoms skirtą REST API).
Šiam įrankiui paruoštas pavyzdinis projektas, kuriame yra realizuotas duomenų paėmimas iš CSV failo, duomenų transformacija, nuasmeninimas bei duomenų rinkinio šaltinio įkėlimas į Lietuvos duomenų portalą. Pavyzdinis projektas pasiekiamas: DATA_TRANSFORMATION_AND_UPLOAD_JOB.zip. Išarchyvuokite failą ir gautą turinį suimportuokite į savo TALEND projektą (Talend open studio „Repository“ bloke paspauskite dešinį pelės klavišą, tuomet „Import items“ ir atsidariusiame lange pasirinkite išarchyvuotą katalogą).
Taip pat šiam įrankiui sukurta naudojimo instrukcija/mokymo medžiaga, kuria naudojantis galėsite paprasčiau ir greičiau atverti savo duomenų rinkinius:
· Susipažinimas su Talend Open Studio aplinka
· Duomenų įkėlimas į atvirų duomenų portalą
Duomenų įkėlimo į portalą įrankiai
Lietuvos atvirų duomenų portale duomenų rinkinius galima įkelti ir automatizuotu būdu, naudojant duomenis atveriančioms organizacijoms skirtą REST API. Sąraše pateikiami tik keli REST API klientai. Portale naudojamas standartinis REST API servisas, todėl galite naudoti ne tik šiame sąraše paminėtus įrankius, bet ir bet kuriuos kitus REST API servisų klientus.
Insomnia REST client
Atsisiuntimo nuoroda: https://insomnia.rest/
Tai nemokamas produktas, kurio pagalba galite atlikti kreipimus į portalo REST API servisą (Taip pat yra ir mokamos versijos su papildomu funkcionalumu).