Wikipedia

OpenRefine

OpenRefine
DezvoltatorFreebase⁠(d), apoi Google, acum comunitatea open source
Versiune inițialănoiembrie 10, 2010; acum 14 ani și 24 zile (2010-11-10)
Ultima versiune3.8.7[1]  Modificați la Wikidata ()
Repogithub.com/OpenRefine/OpenRefine Modificați la Wikidata
Scris înJava[2]
Sistem de operareMicrosoft Windows
macOS
Linux  Modificați la Wikidata
PlatformăMicrosoft Windows, Linux, macOS
Disponibil înengleză, italiană, chineză, japoneză, franceză, germană
Tip
LicențăLicența BSD
Prezență online
site web oficial
blog oficial
cont Twitter
hasthtag
Modifică date / text Consultați documentația formatului

OpenRefine este o aplicație desktop open-source pentru curățarea datelor și transformarea în alte formate, o activitate cunoscută în mod obișnuit sub denumirea de manipularea datelor.[3] Este similar cu aplicațiile de foi de calcul și poate gestiona formate de fișiere de foi de calcul, cum ar fi CSV, dar se comportă mai mult ca o bază de date.

Funcționează pe rânduri de date care au celule grupate pe coloane, similar modului în care funcționează tabelele de baze de date relaționale. Proiectele OpenRefine constau dintr-un tabel, ale cărui rânduri pot fi filtrate folosind fațete care definesc criterii (de exemplu, afișând rândurile în care o anumită coloană nu este goală).

Spre deosebire de foile de calcul, majoritatea operațiilor din OpenRefine se fac pe toate rândurile vizibile, de exemplu, transformarea tuturor celulelor din toate rândurile de pe o coloană,[4] sau crearea unei coloane noi pe baza datelor existente. Acțiunile efectuate pe un set de date sunt stocate în proiect și pot fi „reluate” pe alte seturi de date. Formulele nu sunt stocate în celule, ci sunt folosite pentru a transforma datele. Transformarea se face o singură dată.[5] Expresiile cu formule pot fi scrise în General Refine Expression Language (GREL),[6] în Jython (adică, Python) și în Clojure.[7]

Programul funcționează ca o aplicație web locală: pornește un server web și deschide browserul implicit la adresa 127.0.0.1 :3333.

Utilizări

modificare
  • Curățarea datelor dezordonate: de exemplu, dacă lucrați cu un fișier text cu unele date semi-structurate, acesta poate fi editat folosind transformări, fațete și grupări pentru a face datele să fie curat structurate.[8]
  • Transformarea datelor: conversia valorilor în alte formate, normalizare și denormalizare.
  • Analizarea datelor de pe site-uri web : OpenRefine are o funcție de preluare a URL-urilor și un parser HTML Jsoup⁠(d) și un motor DOM.[9]
  • Adăugarea de date la setul de date prin preluarea lor de la serviciile web (i.e. care întorc date în formatul JSON ).[10] De exemplu, poate fi folosit pentru geocodarea adreselor la coordonatele geografice.[11]
  • Alinierea la Wikidata sau alt site ce folosește Wikibase: aceasta implică reconciliere — maparea valorilor șirurilor din celule cu entitățile din Wikidata.[12]

Formate acceptate

modificare

Importul este acceptat din următoarele formate:[13]

Dacă datele de intrare sunt într-un format de text non-standard, pot fi importate ca linii întregi, fără a fi împărțite în coloane, iar apoi coloanele sunt extrase ulterior cu instrumentele OpenRefine. Fișierele arhivate și comprimate sunt acceptate (.zip, .tar.gz, .tgz, .tar.bz2, .gz sau .bz2); de asemenea, Refine poate descărca fișiere de intrare de la o adresă URL. Pentru a utiliza pagini web ca intrare, este posibil să importați o listă de adrese URL și apoi să invocați o funcție de preluare a URL-urilor.

Exportul este acceptat în următoarele formate:[15]

  • TSV
  • CSV
  • Microsoft Excel
  • tabel HTML
  • Foi de calcul Google
  • Exportator de șabloane: este posibil să definiți un șablon personalizat pentru ieșirea datelor, de exemplu ca tabel MediaWiki.

Toate proiectele OpenRefine în format nativ pot fi exportate ca arhivă .tar.gz.

Dezvoltare

modificare

OpenRefine și-a început viața ca Freebase Gridworks, dezvoltat de Metaweb și este disponibil ca sursă deschisă din ianuarie 2010.[16] La 16 iulie 2010, Google a achiziționat Metaweb,[17] creatorii Freebase⁠(d), iar pe 10 noiembrie 2010 a redenumit Freebase Gridwords în Google Refine, lansând versiunea 2.0.[18] Pe 2 octombrie 2012, autorul original David Huynh a anunțat că Google va opri în curând dezvoltarea pentru Google Refine.[19][20][21] De atunci, baza de cod a fost mutată către un proiect open source numit OpenRefine.[22]

Note

modificare
  1. ^ Release 3.8.7 (în engleză), , accesat în  
  2. ^ „OpenRefine/OpenRefine - GitHub”. GitHub. Accesat în . 
  3. ^ „openrefine.github.com”. openrefine.org. 
  4. ^ „Editing by transforming: Cell Editing wiki page from Refine documentation”. Accesat în . 
  5. ^ „Comparison with spreadsheet software: Cell Editing wiki page in Refine documentation”. Accesat în . 
  6. ^ General Refine expression language OpenRefine/OpenRefine Wiki GitHub.
  7. ^ „Expressions: Refine documentation”. Accesat în . 
  8. ^ „Screencast: Google Refine 2.0 - Introduction (1 of 3) - editing government data”. YouTube. Accesat în . 
  9. ^ „Stripping HTML: Refine documentation wiki page”. Accesat în . 
  10. ^ „FetchingURLsFromWebServices wiki page: Refine documentation”. Accesat în . 
  11. ^ „Screencast: Google Refine 2.0 - Data Augmentation (3 of 3) - using Openstreetmap Nominatim for geocoding and Freebase for augmentation”. YouTube. Accesat în . 
  12. ^ „OpenRefine documentation: Reconciliation”. GitHub. Accesat în . 
  13. ^ „Importers: Refine documentation wiki page”. Accesat în . 
  14. ^ „Changelog for 2.5”. Accesat în . 
  15. ^ „Exporting: Refine documentation wiki page”. Accesat în . 
  16. ^ „Google Code Archive - Long-term storage for Google Code Project Hosting”. code.google.com. 
  17. ^ „Google Official Blog: Deeper understanding with Metaweb”. Accesat în . 
  18. ^ „Google Opensource blog: Announcing Google Refine 2.0, a power tool for data wranglers”. Accesat în . 
  19. ^ „Google Groups”. groups.google.com. 
  20. ^ „From Freebase Gridworks to Google Refine and now OpenRefine”. 
  21. ^ OpenRefine Arhivat în , la Wayback Machine..
  22. ^ google-refine - Google Refine, a power tool for working with messy data (formerly Freebase Gridworks) - Google Project Hosting.

Legături externe

modificare
Adus de la https://ro.wikipedia.org/w/index.php?title=OpenRefine&oldid=15761951