Data catalog for discovering and retrieving open data

a solution based on government APIs from Brasil

Authors

Keywords:

API, Data catalog, Open government data, Information sources, Metadata, Information retrieval

Abstract

With technological evolution and the emergence of new media, environments and tools, information sources
have under gone changes in the ways they are accessed and communicated, being automated by Application
Programming Interfaces that allow data to be represented, organized and retrieved for various domains. The catalog, a long-standing tool for organizing and preserving collections, hás also under gone changes, taking on board na expanded vision of data and metadata in organizations. Combining these resources for Discovery and retrieval in voluminous, valuable, poorly standardizedanddispersedsourcessuch as open data published by governments is a plausible and necessary solution. The aim of this study was to model a data catalog for open government data Application Programming Interfaces of Brazil. Characterized as descriptive and applied, there search was divided in to three stages, one for each specific objective, carried out between 2023 and 2024. In the
first stage, the mapping of Application Programming Interfaces, carried out in a previous study, was used to study and identify domains, information sources and assets. In the second stage, metadata was defined to representthe Application Programming Interfaces, takingin to account standard components of the architecture, the e-PMG standard and a controlled government vocabulary for classification. The third stage consisted of modeling the data catalog using a relational database with eight tables validated with real data. The data catalog made it possible to discover metadata to retrieve open data sets, encouraging reuse and interoperability with other applications, and the solutionis reproducible for other services and data domains.

Downloads

Download data is not yet available.

References

Albano, C.S. Dados governamentais abertos: proposta de um modelo de produção e utilização de informações sob a ótica conceitual da cadeia de valor. 2014. Tese (Doutorado em Administração) – Universidade de São Paulo, São Paulo, 2014. Disponível em: http://www.teses.usp.br/teses/disponiveis/12/12139/tde-03062014-170642/. Acesso em: 8 jan. 2024.

Alves, R.C.V. Metadados como elementos do processo de catalogação. 2010. 132 f. Tese (Doutorado em Ciência da Informação) – Faculdade de Filosofia e Ciências, Universidade Estadual Paulista, Marília, 2010. Disponível em: https://repositorio.unesp.br/handle/11449/103361. Acesso em: 26 set. 2024.

Araújo, N.C.; Fachin, J. Evolução das fontes de informação. Biblos, v. 29, n. 1, p. 81-96, 2015. Disponível em: https://periodicos.furg.br/biblos/article/view/5463. Acesso em: 19 abr. 2022.

Baeza-Yates, R.; Ribeiro-Neto, B. Recuperação de Informação: conceitos e tecnologia das máquinas de busca. Porto Alegre: Bookman, 2013.

Berners-Lee, T.; Hendler, J.; Lassila, O. The Semantic Web. Scientific American, v. 284, n. 5, p. 34-43, 2001. Disponível em: http://www.scientificamerican.com/article.cfm?id=the-semantic-web. Acesso em: 10 jan. 2024.

Brasil. Lei nº 12.527 de 18 de novembro de 2011. Regula o acesso a informações previsto no inciso XXXIII do art. 5o, no inciso II do § 3o do art. 37 e no § 2o do art. 216 da Constituição Federal; altera a Lei no 8.112, de 11 de dezembro de 1990; revoga a Lei no 11.111, de 5 de maio de 2005, e dispositivos da Lei no 8.159, de 8 de janeiro de 1991; e dá outras providências. Diário Oficial da União, Brasília, 18 nov. 2011. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm. Acesso em: 10 jan. 2024.

Brasil. Lei nº 8.777, de 11 de maio de 2016. Institui a Política de Dados Abertos do Poder Executivo federal. Diário Oficial da União, Brasília, 11 maio. 2016a. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2016/decreto/d8777.htm. Acesso em: 10 jan. 2024.

Brasil. Ministério da Gestão e da Inovação em Serviços Públicos. Vocabulário Controlado: Vocabulário Controlado do Governo Eletrônico - VCGE, interface de comunicação, interoperabilidade, ePING. 2016b. Disponível em: https://www.gov.br/governodigital/pt-br/governanca-de-dados/vocabulario-controlado-dogoverno-eletronico. Acesso em: 11 jan. 2024.

Budapest Open Access Initiative. Read the Declaration. Budapest: BOAI, ©2024. Disponível em: https://www.budapestopenaccessinitiative.org/read/. Acesso em: 10 jan. 2024.

Câmara dos Deputados. Dados Abertos. Brasília: Câmara dos Deputados, 2024. Disponível em: https://dadosabertos.camara.leg.br/swagger/api.html. Acesso em: 26 set. 2024.

Cunha, M.B. Cavalcanti, C.R.O. Dicionário de Biblioteconomia e Arquivologia. Brasilia: Briquet de Lemos/Livros, 2008.

Ferneda, E. Introdução aos modelos computacionais de recuperação de informação. Rio de Janeiro: Ciência Moderna, 2012.

Fowler, S. Microserviços prontos para produção: construindo sistemas padronizados em uma organização de engenharia de software. São Paulo: Novatec, 2019.

Gil, A.C. Métodos e técnicas de pesquisa social. 5. ed. São Paulo: Atlas, 1999.

Ghani, A.T.A.; Zakaria, M.S. Method for designing scalable microservice-based application systematically: A case study. International Journal of Advanced Computer Science and Applications, v. 9, n. 8, 2018. http://dx.doi.org/10.14569/IJACSA.2018.090817.

Kalampokis, E.; Tambouris, E.; Tarabanis, K. On Publishing Linked Open Government Data. In: Panhellenic Conference on Informatics, 17th., 2013, New York. Proceedings [...]. New York: Association for Computing Machinery, 2013.

Kobashi, N.Y. Análise documentária e representação da informação. Informare: Cadernos do Programa de Pós-Graduação em Ciência da Informação, v. 2, n. 2, p. 5-27, 1996.

Lakatos, E.M.; Marconi, M.A.Técnicas de pesquisa. 5. ed. São Paulo: Atlas, 2002.

Lara, M.L.G. Documento e significação na trajetória epistemológica da Ciência da Informação. In: Freitas, L. S.; Marcondes, C.H.; Rodrigues, A.C. Documento: gênese e contextos de uso. Niterói: Editora da UFF, 2010. p. 35-56.

Nascimento Silva, P. Recuperação de dados governamentais abertos em APIs: desafios no contexto brasileiro. BiblioCanto, v. 9, n. 2, 2023. Disponível em: https://periodicos.ufrn.br/bibliocanto/article/view/34226. Acesso em: 24 set. 2024.

Nascimento Silva, P.; Da Silva, G.V.P. Recuperação de dados abertos em APIs: consumindo dados agregados do IBGE. Encontros Bibli, v. 29, e96185, 2023. https://doi.org/10.5007/1518-2924.2024.e96185.

Nikiforova, A. et al. Towards high-value datasets determination for data-driven development: A systematic literature review. In: Electronic Government: IFIP WG 8.5 International Conference, EGOV 2023, 22nd., 2023,

Budapest. Proceedings [...]. Berlin, Heidelberg: Springer-Verlag, 2023. https://doi.org/10.1007/978-3-031-41138-0_14.

Olesen-Bagneux, O. O Catálogo de dados corporativo: aprimore a descoberta de dados, garanta a governança de dados e impulsione a inovação. São Paulo: Novatec Editora, 2023.

Open Gov Data. Eight principles of open government data. Califórnia, 2007. Disponível em: https://public.resource.org/8_principles.html. Acesso em: 10 jan. 2024.

Open Knowledge. The Open Definition. London: Open Knowledge, 2024. Disponível em: http://opendefinition.org/. Acesso em: 10 jan. de 2024.

Pedrão, G.B. A construção do catálogo Panizzi: uma análise documental. 2019. Tese (Doutorado em Ciência da Informação) - Universidade Estadual Paulista, Marília, 2019.

Saudate, A. APIs REST: seus serviços prontos para o mundo real. São Paulo: Casa do Código, 2021.

Silva, P. N. Recuperação de dados em APIs: uma experiência prática no Twitter. In: Encontro Nacional de Pesquisa em Ciência da Informação, 22., 2022, Porto Alegre. Anais eletrônicos [...]. Porto Alegre: Ancib, 2022. Disponível em: https://ancib.org/enancib/index.php/enancib/xxiienancib/paper/viewFile/1007/728. Acesso em: 11 jan. 2024.

Silva, P.N. Observatório de dados governamentais abertos: acesso às APIs brasileiras. Revista ACB, v. 28, n. 1, p. 1-15, 2023. Disponível em: https://revista.acbsc.org.br/racb/article/view/2049. Acesso em: 11 jan. 2024.

United Nations Economic Commission for Europe. Guidelines on Open Government Data for Citizen Engagement. New York: United Nations, 2013. Department of Economic and Social Affairs Division for Public Administration and Development. Disponível em: https://aarhusclearinghouse.unece.org/resources/guidelines-open-government-data-citizen-engagement. Acesso em: 10 jan. 2024.

Valente, M.T. Engenharia de software moderna: princípios e práticas para desenvolvimento de software com produtividade. [S. l.]: Editora Independente, 2020.

Published

2024-12-09

How to Cite

Silva , P. N., Silva, G. V. P. da, & Filho, D. R. F. (2024). Data catalog for discovering and retrieving open data: a solution based on government APIs from Brasil. Transinformação, 36. Retrieved from https://puccampinas.emnuvens.com.br/transinfo/article/view/10694

Issue

Section

Original