A avaliação científica é um dos principais pilares da Comunicação Científica e influencia diretamente na produtividade, no avanço científico e na difusão de determinadas temáticas científicas dentro de áreas do conhecimento. Possui certa variabilidade de acordo com as áreas onde ocorre e pode ser definida como o processo em que as diferentes dimensões da produção científica e da carreira dos pesquisadores são analisadas com o objetivo de alocar recursos e definir prioridades. Esse processo tem como objeto de instrumentalização e estruturação o Sistema de Recompensa Científico (SRC), conceito referente à ideia da existência de um sistema de recompensa para os pesquisadores, voltado para dinâmicas e produtos oriundos da comunidade científica.

O sistema de recompensa surge de maneira espontânea a contar da evolução do ser humano, de sua relação com o trabalho e de sua capacidade de organização social. Na origem, a ideia de “recompensa” se relaciona com a evolução do homem a partir da sua dedicação ao trabalho, que resulta em transformações biológicas, capacitando-o a criar instrumentais corpóreos rudimentares, desenvolver novos papéis em seu grupo e dar início a um tipo de organização social. Nessa organização, destacam-se os indivíduos que desempenham um papel significativo entre seus pares: o caçador que leva o alimento para o grupo ou o sujeito que cria as ferramentas necessárias para a caça, por exemplo. A recompensa se dá, então, pelo reconhecimento entre os pares: fazer algo que torna o indivíduo importante para o grupo garante uma melhor posição dentro da organização social na qual ele está inserido.

O trabalho foi essencial para o processo de humanização da espécie Homo sapiens e também originou um efeito de estratificação social contínuo. No âmbito científico, estabeleceu-se o SRC, onde os pesquisadores são avaliados principalmente por indicadores de produtividade, citação e prestígio e através do qual recompensas que permitem que eles deem continuidade às suas pesquisas e às suas carreiras lhes são atribuídas. Nesse panorama, surge o movimento da Ciência Aberta (CA), que inclui, entre suas iniciativas, propostas de novas práticas de Comunicação e Divulgação Científica, a primeira, considerada um dos pilares do fazer científico. Considerando os elementos expostos, o estudo parte da seguinte problemática: Quais as características, os desafios e as dimensões de avaliação do SRC no contexto da CA?

Este artigo possui como objetivo geral discutir as implicações do fenômeno da CA para o SRC a partir das suas dimensões de avaliação, características e desafios e os seguintes objetivos específicos: identificar as principais iniciativas, quem são os autores que escrevem sobre o tema, quais periódicos publicam sobre o assunto e quais as temáticas abordadas nos trabalhos de SRC em CA; contribuir para o desenvolvimento da discussão sobre a progressão de carreira de pesquisadores no contexto da CA; e incentivar a discussão da temática proposta em âmbito nacional. No Brasil existe pouca literatura voltada para discussão e descrição de um SRC, principalmente direcionado às especificidades da CA, e estudos dessa natureza podem contribuir para fomentar a discussão da temática proposta em âmbito nacional.

A estrutura do trabalho está dividida da seguinte forma: as próximas duas seções abordam os principais subsídios teóricos e conceituais do estudo; na quarta, são expostos os procedimentos metodológicos adotados, que incluem levantamento bibliográfico e análise de conteúdo para criação das categorias referentes às dimensões de avaliação do SRC no contexto da CA e procedimentos bibliométricos; a quinta apresenta a discussão proveniente da análise dos dados coletados e a sexta conclui o trabalho com as considerações finais.

A relação do ser humano com o trabalho e a ideia de recompensa é um dos fenômenos que explicam o processo de humanização. O ser humano, como parte da natureza, se relaciona com o trabalho de maneira a garantir sua existência e, como uma “parte específica” da natureza, estabelece uma ordem típica de metabolismo com os recursos naturais ao seu redor utilizando sua força para adaptar matérias naturais específicas de acordo com as necessidades humanas (Antunes, 2018). Esse processo se caracteriza como uma atividade produtiva especial voltada para um fim específico e é o que Marx define como trabalho (Antunes, 2018; Marx, 2013), sendo esse o processo/fenômeno que permite ao homem se transformar e transformar a natureza. Essas transformações, por sua vez, se configuram como um tipo de recompensa, pois são o resultado da atividade produtiva executada pelo ser humano e possuem um impacto na sua vida.

É a partir do trabalho que o ser humano se humaniza, se complexifica e se forma (Antunes, 2018). Nesse sentido, a teoria da formação humana marxiana (Marx, 2013) atribui ao trabalho as transformações biológicas do ser humano, como o aprimoramento do seu instrumental corpóreo e sua capacidade de produzir material extracorpóreo para executar o trabalho – como, por exemplo, o martelo e a enxada. O indivíduo que produz esses dispositivos a partir das matérias naturais ou que utiliza essas ferramentas para executar o seu trabalho se destaca no grupo em que está inserido, pois adquire o reconhecimento dos seus pares dada a sua relevância para o grupo. Nesse sentido, a noção de recompensa está atrelada à ideia de reconhecimento e implica em uma dimensão individual (os benefícios que o indivíduo recebe por meio do seu trabalho) e em uma dimensão coletiva (os benefícios que o grupo recebe).

O trabalho e, portanto, a recompensa, partem de uma necessidade humana porque configuram uma atividade direcionada a uma finalidade e a “apropriação do elemento natural para a satisfação de necessidades humanas” (Marx, 2013, p. 261). No processo de desenvolvimento histórico-social do ser humano, suas necessidades sofrem refinamentos e complexificações que geram novos processos de trabalho igualmente complexos (Antunes, 2018). A natureza dos produtos criados pelo homem se manifesta de diferentes formas e se relaciona com as necessidades humanas, como alimentação, curiosidade e/ou sua necessidade de expressão, podendo assumir a forma de um alimento, de uma obra de arte ou de uma produção intelectual (Marx, 2004).

A criação de grupos sociais com dinâmicas específicas e formas de trabalho complexas resulta em um sistema de distribuição de recompensas hierárquico e igualmente complexo. A comunidade científica é um exemplo de grupo social cuja dinâmica e forma de produção engendra um sistema de recompensa específico, designado SRC. A ideia de um SRC foi apresentada por Merton (1968), que, na época, cunhou o termo como “Sistema de Recompensa e Comunicação da Ciência” e relacionou as especificidades do SRC ao chamado “Efeito Mateus na Ciência”, que preconiza que determinados indivíduos acumulam recompensas do sistema e formam um tipo de elite acadêmica que, por consequência, passa a exercer uma forte influência no próprio sistema. Segundo Quan, Chen e Shu (2017), a primeira iniciativa de recompensa de que se tem conhecimento no âmbito científico foi atribuída pela Académie des Sciences, na França, para premiar cientistas que contribuíssem para o avanço do conhecimento em Astronomia.

Merton (1968) descreve algumas características do SRC: a consolidação da carreira dos pesquisadores depende de determinado grau de reconhecimento de seus pares; cientistas altamente produtivos com vínculo com grandes universidades obtêm reconhecimento com mais frequência do que cientistas igualmente produtivos vinculados a universidades menores; as recompensas materiais na ciência reforçam um sistema de recompensa principal onde o reconhecimento pelas contribuições científicas é trocado pelo acesso à informação científica e pesquisadores que recebem maior reconhecimento pela sua pesquisa no início de suas carreiras são mais produtivos a longo prazo do que aqueles que não recebem. Merton (1968) acrescenta que outra característica do SRC é reforçar o Efeito Mateus na Ciência: a maior parte dos créditos e do reconhecimento é distribuída entre pesquisadores que já possuem um alto nível de distinção e, mesmo em casos de colaboração científica entre estes pesquisadores e pesquisadores novos/jovens/neófitos, o nome que tende a chamar atenção e ser lembrado é o do pesquisador já reconhecido. Merton (1968) aponta perspectivas onde o Efeito Mateus na Ciência gera desigualdade e afeta individualmente a progressão de carreira dos pesquisadores, gerando dificuldades para pesquisadores novos ganharem notoriedade e construírem uma identidade pública na ciência.

Nesse panorama, o SRC é representado a partir de uma estrutura organizada de aspectos de avaliação aos quais o pesquisador se submete com o objetivo de adquirir algum tipo de crédito e reconhecimento de seus pares que seja significativo para sua carreira. Cabe ainda outra conceituação do SRC de maneira que a definição seja abordada com clareza: é um sistema onde são atribuídos diferentes tipos de capitais simbólicos específicos do âmbito científico, que envolve aspectos como autoria, reconhecimentos, práticas de produção de conhecimento científico, formas de avaliação científica e uso de métricas (Paul-Hus et al., 2017). Ou seja, dentro dos processos de Comunicação Científica, o SRC é um conceito amplo referente ao fenômeno que envolve os pesquisadores, suas práticas de trabalho, os produtos oriundos dessas práticas e reconhecimento e recompensa pelas práticas e produtos criados.

Estudiosos da Ciência da Informação (CI) e, principalmente, da área de Comunicação Científica, têm desenvolvido pesquisas com o objetivo de atualizar a percepção mertoniana do SRC e os indicadores a partir dos quais ele opera. Algumas dessas pesquisas apontam que o atual SRC é prejudicial para a CA, pois ele condiciona a profissão de pesquisador a um modelo de recompensa baseado em indicadores de prestígio e pouco ou nenhum incentivo para as práticas de CA (O’Carroll et al., 2017).

O movimento da CA tem influenciado de forma expressiva as discussões sobre o SRC, uma vez que a CA propõe transformações na maneira de produzir e comunicar ciência, bem como no próprio ecossistema científico. Uma iniciativa significativa nesse sentido foi a criação do Working Group on Rewards under Open Science, grupo de trabalho criado por mandato aprovado pela Open Science Policy Platform para reconhecer, avaliar e recompensar práticas de CA dos pesquisadores da Europa (O’Carroll et al., 2017). O’Carroll et al. (2017) também reforçam a ideia de que a consolidação das propostas do movimento da CA são possíveis somente por meio de um SRC que incentive e recompense pesquisadores que adotam práticas de CA. No relatório desenvolvido pelo grupo foi elaborada uma matriz de avaliação de carreira de pesquisadores com foco em práticas de CA. Embora algumas das práticas possuam maior difusão em nível mundial, como é o caso da adoção do Acesso Aberto em diferentes modalidades, o objetivo da matriz é propor um sistema de avaliação onde estejam incluídas as demais práticas de CA (O’Carroll et al., 2017).

É interessante observar que a matriz foi desenvolvida com base em uma realidade europeia e em práticas de pesquisadores europeus. Não existem iniciativas de mesmo nível em uma realidade brasileira ou latino-americana, por exemplo, o que demonstra a necessidade de produção de trabalhos que busquem sistematizar um SRC baseado em práticas de CA de países da América Latina. De maneira a englobar toda complexidade de práticas e teorias defendidas pela CA, um modelo de avaliação especializado deve ser, ao mesmo tempo, amplo e envolver todas as práticas de CA e pesquisadores em diferentes níveis da carreira. Além disso, devem ser elaboradas adaptações que sejam aplicáveis em contextos específicos e em diferentes realidades políticas e sociais.

Para Leonelli (2017), a implementação da matriz de avaliação em CA permite reconhecer aspectos invisíveis do processo de comunicação científica e do trabalho do pesquisador, como, por exemplo, as interações e as redes e/de equipes construídas entre acadêmicos; a divulgação e adaptação de conteúdo científico para um público não exclusivamente acadêmico e o ensino e tratamento de dados de pesquisa. O relatório do Conselho Latino-Americano de Ciências Sociais (CLACSO) sobre o SRC em CA (Babini; Rovelli, 2020, p. 128, tradução nossa) recomendou “[...] monitorar, refletir e atualizar regularmente o sistema de recompensas em CA, para que permaneça atualizado e adequado ao seu propósito”.

Desrochers et al. (2015) descreve um SRC multifacetado que inclui menções nas redes sociais, contagem de leitores e de downloads e outros marcadores, além de formas de divulgação do conteúdo científico não exclusivamente acadêmicas. Quan, Chen e Shu (2017) apontam que o SRC chinês sofreu mudanças com a introdução do incentivo de recompensas monetárias para publicações em 1980, contexto no qual pesquisadores na China passaram a receber recompensas em dinheiro por suas publicações 10 anos depois, em 1990. Os autores destacam que as políticas de alocação de verba para fins científicos na China aumentaram a produtividade dos pesquisadores chineses, mas também tiveram efeitos negativos, como o incentivo à geração de publicações de pesquisas rápidas e com poucos resultados relevantes em detrimento de pesquisas aprofundadas; a ocorrência de pesquisas plagiadas ou fabricadas; compras de ghostwritten Papers; vendas de autoria e um reforço do Efeito Mateus na Ciência entre as universidades chinesas a partir da criação de uma elite de universidades.

Hayashi (2023) discutiu a avaliação de epígrafes em textos científicos para sua integração no SRC e as questões que surgem a partir de seu uso na avaliação científica, ao mesmo tempo que os dados do estudo indicam semelhanças entre as epígrafes e as citações. Um aspecto essencial para a consolidação de um SRC em CA é o uso de métricas que viabilizem esse sistema. Nesse sentido, a subseção seguinte discute a avaliação de novas práticas e indicadores do SRC, com enfoque no uso de métricas de informação que auxiliem na monitoração e mensuração dessas práticas.

Os Estudos Métricos da Informação são uma das áreas de interesse da CI onde são desenvolvidos estudos sobre as características da produção e avaliação da ciência e a mensuração de indicadores científicos. Araújo (2020) argumenta que as métricas adotadas pela comunidade científica têm uma forte influência no ecossistema acadêmico, pois elas configuram os critérios de qualidade considerados relevantes em relação ao trabalho do pesquisador, o que atribui a elas um papel expressivo na transição bem sucedida para um SRC nos moldes propostos pelo movimento da CA. Araújo (2020) apresenta a expressão “métricas responsáveis” como um fenômeno na comunidade científica, onde existe uma demanda por métricas que viabilizem uma avaliação científica mais transparente, equitativa, aberta e colaborativa, contexto no qual ele discute a altmetria.

A expressão altmetria vem da tradução do termo altmetrics, citado pela primeira vez em setembro de 2010 em um tweet (Priem, 2010) no perfil do pesquisador Jason Priem, principal autor do texto manifesto altmétrico. Souza (2015) define a altmetria como uma métrica que viabiliza a captura e análise de indicadores baseados em dados da Web Social que propiciam uma perspectiva mais abrangente do impacto científico. A Web Social é um ambiente de interação entre um público amplo (acadêmico e não acadêmico) e produtos científicos, resultando em uma produção massiva de indicadores diariamente e retratando a interlocução entre produção científica, diferentes formas de conhecimento e impacto social (Souza, 2015).

Araújo (2020) apresenta outras críticas à altmetria que dificultam sua contextualização na avaliação científica: a dependência de identificadores persistentes e Application Programming Interface (APIs); a dificuldade dos agregadores altmétricos de lidar com a natureza instantânea e volátil da Web Social e sua produção massiva de dados; a necessidade de consistência e reprodutibilidade das abordagens metodológicas e dos dados altmétricos; e a falta de transparência a respeito de agregadores de dados altmétricos e dos procedimentos de coleta e tratamento de dados, bem como o score altmétrico atribuído pelos agregadores.

A altmetria também tem sido contextualizada no escopo das práticas de CA a partir da Escola das Métricas, uma das correntes de CA que discute a mensuração do impacto social de uma pesquisa a partir de indicadores gerados pela circulação de seus resultados em diferentes plataformas e espaços da Web Social. O uso da altmetria na avaliação científica apresenta potencialidades de estudos qualitativos relacionados à abertura do conhecimento científico e à inclusão de outros formatos de publicação científica e fontes da Web Social no escopo da avaliação (Araújo, 2020).

No desenvolvimento de uma taxonomia da CA na perspectiva de especialistas brasileiros, Silveira et al. (2021) indicaram a substituição da expressão “métricas de impacto” ou “métricas abertas” por “métricas responsáveis”, contexto no qual foi incluída novamente a altmetria, embora os autores tenham destacado que as métricas responsáveis não se referem exclusivamente à altmetria e que mesmo as métricas mais tradicionais podem ser favoráveis a uma ciência mais aberta, desde que usadas de maneira responsável, contextualizada e qualificada. Leonelli (2017), sobre a perspectiva de implementação da matriz de avaliação de carreira em CA em diferentes países da Europa, aponta que a Eslovénia foi o único país que indicou o uso de altmetria na avaliação da produtividade dos pesquisadores, e apenas para fins de teste de aprendizagem, salientando que a métrica ainda não foi instituída no sistema de avaliação oficial.

Segundo Davies et al. (2021), o atual SRC é baseado em métricas que reforçam a atribuição de recompensas sexistas e racistas por não conseguirem captar com precisão a amplitude do impacto científico, ignorando o impacto social da ciência. Os autores defendem o desenvolvimento de um SRC baseado em métricas que contemplem princípios de justiça, equidade, diversidade e inclusão. Para eles, o atual SRC valoriza principalmente as citações e a produtividade exacerbada dos pesquisadores, com filtros tendenciosos que recorrentemente ignoram resultados de pesquisa com conclusões questionáveis e artigos que requerem retratação.

A partir dos aspectos abordados na literatura científica acerca da convergência entre a temática de SRC, CA e altmetria é possível delimitar algumas dimensões significativas do SRC atual: práticas de CA a serem avaliadas; critérios e indicadores de avaliação científica; métricas que sustentem uma proposta de SRC em CA; políticas que amparem um modelo de SRC baseado em práticas de CA e a influência de fatores sociais no SRC, como gênero e raça, conforme o estudo de Davies et al. (2021).

A seção a seguir detalha o processo metodológico adotado para analisar o desenvolvimento e as características dessas dimensões na literatura em SRC, bem como para discutir as implicações do fenômeno da CA para o SRC.

Este trabalho se configura como uma pesquisa bibliográfica de caráter qualitativo cujo processo metodológico se deu por meio da exploração de bases de dados em âmbito nacional e internacional e por procedimentos bibliométricos. A busca nas bases de dados permitiu observar o estado da arte da temática de SRC no contexto da CA, em específico os elementos que ajudam a caracterizar esse SRC, identificar suas dimensões e possíveis critérios de avaliação para práticas de CA.

Sousa, Oliveira e Alves (2021) definem a pesquisa bibliográfica como um processo de levantamento e revisão de obras cuja temática é delimitada por uma teoria principal e onde procedimentos analíticos são aplicados para extrair dados dessas obras para posterior tratamento e análise. Os procedimentos desta pesquisa seguem as três etapas de uma pesquisa bibliográfica propostas por Marconi e Lakatos (2003), que incluem: identificação e seleção de bases de dados relevantes e de critérios adequados de busca que estejam de acordo com o problema de pesquisa proposto e permitam recuperar uma literatura relevante; localização, tratamento e organização de literatura científica relevante para a teoria abordada e extração e interpretação dos dados encontrados a partir do conteúdo da produção bibliográfica.

Foram selecionadas tanto bases de dados de caráter internacional quanto latino-americanas de maneira que fosse possível compreender a teoria em um nível macro e também no contexto da américa latina, uma vez que uma das justificativas deste estudo é a ausência de pesquisas sobre o SRC na produção científica brasileira e sub representação nas bases de dados internacionais selecionadas. Nesse panorama, as bases de dados de escopo internacional selecionadas para este estudo foram a Scopus, a Web of Science e a Networked Digital Library of Theses and Dissertations (NDLTD). Quanto às bases de dados focadas em literatura científica latino-americana, foram selecionadas a Base de Dados Referencial de Artigos de Periódicos em Ciência da Informação (Brapci), a Biblioteca Digital Brasileira de Teses e Dissertações (BDTD), a La referencia e a Redalyc.

As tipologias de trabalhos consideradas durante as buscas foram artigos de periódicos científicos, trabalhos acadêmicos (teses e dissertações), capítulos de livros, relatórios de pesquisa e trabalhos publicados em eventos científicos. A estratégia de busca não considerou delimitação por área do conhecimento (embora o foco da discussão fosse a área de CI), de maneira que foram selecionados trabalhos que se mostraram relevantes para a temática de SRC.

A estratégia de busca incluiu expressões pré-estabelecidas que procuravam atender a especificidade de trabalhos sobre o SRC no contexto da CA. De maneira a relacionar ambas as temáticas, as expressões foram usadas juntamente com operadores booleanos: “Open Science” AND “reward system” OR reward OR recognition. As variações de “reward” e “recognition” para “reward system” foram aplicadas na estratégia de busca porque ambos são termos recorrentes na literatura que discute o SRC como elemento principal (Leonelli, 2017; Merton, 1968; O’Carroll et al., 2017; Quan; Chen; Shu, 2017). O operador booleano AND foi utilizado para conectar o termo referente à CA com os referentes ao SRC, enquanto o operador OR foi utilizado para incluir as variações dos termos de SRC na busca. “Open Science” e “Reward System” foram utilizados entre aspas por serem compostos. Nas bases de dados latino-americanas foram utilizadas variações dos termos em português, como “Ciência Aberta”, “Sistema de recompensa”, “Recompensa” e “Reconhecimento”, e em espanhol, com “Ciencia Abierta”, “Sistema de Recompensa”, “recompensa” e “reconocimiento”. Foram utilizados os mesmos operadores booleanos aplicados nas bases de dados internacionais. Nas bases de dados latino-americanas foram feitas buscas pelos termos em inglês, português e espanhol, enquanto nas bases de dados de escopo internacional a busca foi realizada somente pelos termos em inglês.

A estratégia de busca foi testada e adaptada de acordo com as especificidades de cada base. Ao aplicar determinada estratégia de busca, os resultados recuperados foram analisados a partir dos títulos, palavras-chave e resumos para verificar se os trabalhos estavam adequados à temática do estudo. Na Web Of Science, por exemplo, a estratégia de busca Open Science” AND “reward system” OR reward OR recognition recuperou 1.165,588 documentos, sendo que a maior parte deles não contemplava a temática proposta, pois discutiam a CA isoladamente, os SRC fora do contexto da CA ou a ideia de “recompensa” fora do contexto científico. Foi realizada uma nova estratégia de busca utilizando as expressões “Open Science” AND “reward system”, que recuperou somente oito trabalhos na Web Of Science, indicando perda significativa de trabalhos. A estratégia de busca que se mostrou mais adequada na Web Of Science foi “Open Science” AND Reward AND system, pois permitiu recuperar 28 trabalhos e, embora alguns desses não tratassem da temática proposta, eram, em sua maioria, resultados adequados. Esse mesmo processo foi repetido em cada uma das bases de dados até que se encontrasse a estratégia de busca mais adequada para cada uma. O resultado desse processo encontra-se representado no Quadro 1.

Conforme é possível observar no Quadro 1, ao todo foram recuperados 206 trabalhos com as estratégias finais de busca aplicadas em cada base de dados. Essas consultas foram feitas em 21 de novembro de 2023. As expressões “recompensa” e “Ciência Aberta”, quando usadas em conjunto, se mostraram mais adequadas, uma vez que foi identificado em uma primeira análise que muitos trabalhos discutem o SRC sem necessariamente se referirem a ele como um sistema, mas abordam a atribuição de recompensas em CA de maneira mais geral. Também foi observado que expressões como “Sistema de Comunicação Científico”, “Sistema de Avaliação Científico”, “Incentivos” e “Reconhecimento” são frequentes na literatura da temática e muitas vezes usadas como substitutas para as expressões “Sistema de Recompensa Científico” e “Recompensa”, embora se refiram ao mesmo fenômeno. Ainda assim, todos os textos selecionados apresentaram pelo menos uma vez a noção de recompensa no âmbito científico e relacionada a práticas e/ou teorias de CA.

Os 206 trabalhos recuperados nas bases de dados foram exportados e agrupados em uma planilha Excel para tratamento, limpeza, aplicação de procedimentos bibliométricos e auxílio na análise de conteúdo. A limpeza dos dados incluiu, em um primeiro momento, a exclusão dos trabalhos duplicados recuperados entre as bases de dados. Após essa etapa foi feita uma análise dos títulos, das palavras-chave, dos resumos e, quando necessário, do corpo textual dos trabalhos para identificar se eles contemplavam a temática de SRC no contexto da CA. Tendo sido finalizadas todas as etapas de tratamento e limpeza foi identificado que, dos 206 trabalhos, 42 atendiam ao escopo do estudo. Na sequência foram aplicados procedimentos bibliométricos e de análise de conteúdo nos 42 trabalhos que compõem o corpus deste estudo.

Os procedimentos de tratamento e análise dos dados foram realizados com recursos do Google Planilhas (metadados da produção), do software Notepad++ (frequência de palavras), da ferramenta online Voyant Tools (relação entre as palavras) e do Gephi (geração das relações entre os autores). Os documentos continham pelo menos uma área de pesquisa, identificada e/ou determinada pelos autores deste estudo com base em informações como periódico ou área de pesquisa (quando explícita). As designativas dos temas de pesquisa dos estudos foram transformadas em caixa alta e traduzidas para o inglês. Os termos compostos foram mantidos juntos com a adição do caractere “_” entre as palavras. Tudo foi feito com o Google Planilhas, incluindo a identificação da frequência de temas.

A análise de conteúdo foi aplicada a partir dos procedimentos sistemáticos definidos por Sampaio e Lycarião (2021), que descrevem o processo como uma técnica de categorização que permite criar inferências a partir de corpus de conteúdos verbais, visuais ou escritos, de maneira que seja possível interpretar, contextualizar e compreender os significados desse corpus. Nesse sentido, a análise dos 42 trabalhos foi dividida em duas etapas: a primeira se deu a partir da verificação dos títulos e resumos, de maneira a identificar as produções relevantes para a temática e descartar aquelas consideradas irrelevantes, e a segunda incluiu uma leitura detalhada das obras como um todo para compreender como o SRC tem sido abordado na literatura científica; se tem sido discutido no contexto da CA e, se sim, quais suas características, dimensões e seus critérios de avaliação a partir das especificidades da CA. Na segunda etapa, os trabalhos ainda foram categorizados em dimensões criadas a partir da análise de literatura do SRC em CA: práticas de CA; critérios e indicadores de avaliação em CA; métricas de avaliação em CA; políticas de avaliação em CA e indicadores sociais no SRC. A criação de categorias, segundo Sampaio e Lycarião (2021), permite uma compreensão sistematizada da literatura analisada e dos seus significados. Nesse caso, as categorias desenvolvidas permitiram entender quais dimensões do SRC em CA possuem maior aprofundamento metodológico e atenção da comunidade científica. Na seção a seguir será apresentada a discussão proveniente da etapa bibliométrica e da análise de conteúdo, incluindo a categorização do corpus de pesquisa.

Nessa seção será apresentada a discussão desenvolvida a partir dos procedimentos metodológicos adotados e dos dados coletados. Em relação aos dados bibliométricos, foi feita uma análise dos indicadores de ano de publicação dos trabalhos e foi identificado que o ano de maior produção sobre da temática foi 2021, com 11 (26,6%) dos 42 trabalhos publicados, seguido pelos anos 2019, 2020, 2022 e 2023, com 4 (9,5%) trabalhos cada. Os demais dados indicam uma distribuição do restante dos 42 trabalhos entre anos variados e com menos de 4 quatro trabalhos publicados em cada ano. A partir dos indicadores de ano de publicação, foi realizada uma análise por década que evidenciou que a de maior produção foi a de 2020, concentrando 23 (54,8%) trabalhos publicados, seguida pela de 2010, com 17 (40,5%) trabalhos e as de 2000 e 1990, com 1 (2,4%) trabalho cada. Esses dados indicam que a temática de SRC no contexto da CA é recente, embora tenham ocorrido tentativas de discutir um SRC que contemple práticas mais abertas nas décadas anteriores. Quanto às palavras-chave, a Figura 1 apresenta as mais recorrentes a partir do tratamento dos dados bibliométricos.

Os dados ilustrados na Figura 1 indicam que as temáticas de compartilhamento de dados de pesquisa (data_sharing), de dados abertos (open_data), de reprodutibilidade científica (reproducibility) e de acesso aberto (open_acess) são as mais abordadas nos trabalhos de SRC em CA, evidência que também foi encontrada na análise de conteúdo, conforme será detalhado posteriormente nesta seção. Destaca-se ainda a palavra-chave Robert Merton na Figura 1, pois tanto os dados bibliométricos quanto os de análise de conteúdo expõem o uso recorrente do nome do autor e de suas teorias acerca do SRC e da sociologia da ciência na temática de SRC em CA. Quanto aos autores, foram identificados 123 diferentes e uma média de 2.9 por estudo. Pascal Borry, Thijs Devriendt e Mahsa Shabani são os que mais aparecem, com três trabalhos cada um. Foi observada uma relação fraca entre eles e não foram identificados autores com um número significativo de produções. Esses dados sugerem que não existem pesquisadores muito produtivos na temática de SRC em CA.

Já em relação aos principais periódicos, somente dois apresentaram mais de uma publicação da temática: o Encontros Bibli e o Scientific Collaboration and Collective Knowledge: New Essays, com duas publicações cada. Assim como no caso dos autores, não foram identificados periódicos que concentrassem uma quantidade significativa de documentos do tema proposto. A partir da análise métrica também foi possível identificar as áreas que reúnem maior produção, sendo que, dos 42 trabalhos, a CI é a que mais se destaca, com 19 ocorrências, seguida pela psicologia, com 8 ocorrências.

Serão apresentados e discutidos agora os resultados da análise de conteúdo. Todos os resultados encontrados foram organizados de acordo com as categorias pré-estabelecidas criadas a partir da literatura científica da temática. Esse processo está representado visualmente na Figura 2, onde cada um dos 42 trabalhos (identificados na Figura 2 pelo nome dos autores e o ano de publicação) foi inserido no círculo referente às dimensões do SRC que contempla. É importante destacar que, conforme a Figura 2, ocorreu de um mesma produção contemplar mais de uma dimensão, como é o caso daqueles que discutem tanto práticas específicas de CA a serem reconhecidas pelo SRC, como possíveis métricas e/ou indicadores de avaliação para elas.

Nesse contexto, dos 42 trabalhos, 39 abordavam a dimensão de Práticas de CA, 30 falavam da dimensão de Políticas de Avaliação em CA, 14 trabalhos tratavam da dimensão de Critérios e Indicadores de Avaliação em CA, nove trabalhos abordavam a dimensão de Métricas de Avaliação em CA e quatro trabalhos, a de Indicadores Sociais no SRC.

Observando a Figura 2 é possível identificar que a dimensão mais abordada na literatura é a de Práticas em CA, a partir da qual foi possível concluir que a maior parte dos trabalhos discute práticas de CA específicas e a necessidade dessas práticas serem contempladas pelo SRC para que seja viável sua difusão em larga escala. Destaca-se ainda, na Figura 2, que aconteceu de um mesmo trabalho contemplar mais de uma dimensão de avaliação do SRC em CA. A prática mais recorrente entre os trabalhos foi a de compartilhamento de dados de pesquisa, que, de acordo com a literatura, foi a que demonstrou uma maior receptividade pela comunidade científica, possuindo potencial de ser incluída no SRC, visto que alguns trabalhos indicam periódicos e agências de fomento que já realizam iniciativas nesse sentido. As práticas de reprodutibilidade e replicabilidade em pesquisa também apareceram com certa frequência nos estudos analisados. Não foram identificadas outras práticas com destaque significativo.

Os trabalhos da dimensão de Políticas de Avaliação em CA apresentam políticas voltadas para práticas de CA, países e/ou disciplinas específicas. Estes trabalhos foram significativos para compreender o desenvolvimento e a recepção da CA em diferentes países e áreas do conhecimento. Os documentos nas dimensões de Métricas de Avaliação em CA e Critérios e Indicadores de Avaliação em CA descreviam impactos a serem considerados pelas práticas propostas pelo movimento de CA e métricas que permitem mensurar esses novos impactos, ao mesmo tempo que muitos deles teciam críticas a métricas e indicadores mais tradicionais que reforçam o SRC vigente como pouco receptivo a práticas de CA.

A dimensão de Indicadores Sociais no SRC foi a que apresentou um menor número de documentos e, dos quatro trabalhos analisados, três discutiam os impactos de um SRC baseado em práticas de CA para o fenômeno social de desigualdade entre países desenvolvidos e subdesenvolvidos oriundo da diferença de recursos tecnológicos disponíveis e da especificidade das políticas de avaliação científicas. Um dos trabalhos ainda discorreu sobre o impacto no acesso a medicamentos e a informações sobre saúde a partir da inserção de patentes no SRC. Não foram identificados trabalhos que abordavam indicadores de gênero e raça − como o estudo de Davies et al. (2021), exposto anteriormente nas considerações teóricas. Esses dados indicam um gap de estudos sobre o SRC em CA que discutam condutas mais inclusivas considerando fenômenos e fatores sociais.

Dos 39 trabalhos que discutiam práticas de CA no SRC, 14 tratavam a prática de compartilhamento de dados de pesquisa como critério de recompensa (Borges et al., 2018; Devriendt; Shabani; Borry, 2020, 2021, 2023; Díaz-Fragoso; Riquelme-Alcantar; Rivera-González, 2022; Guanaes, 2020; Hertwich et al., 2018; Joly et al., 2012; Koch; Jones, 2016; Kouper; Scheidt; Plale, 2021; Oliveira, 2016; Moher, 2021; Ribeiro; Oliveira; Santos, 2021; Trinca; Albagli, 2023; Veiga et al., 2018). Alguns abordavam a prática e sua recompensa em disciplinas específicas, como nas Neurociências (Koch; Jones, 2016), na Biomedicina (Devriendt; Shabani; Borry, 2021; Moher, 2021) na Genômica (Joly et al., 2012) e na Ecologia Industrial (Hertwich et al., 2018). Veiga et al. (2018) abordou a prática de compartilhamento de dados de pesquisa de neurocientistas do Brasil e de Portugal.

As duas teses que compõem o corpus também focaram a recompensa pelo compartilhamento de dados de pesquisa, sendo que uma discutia o compartilhamento baseado na infraestrutura da e-Science (Oliveira, 2016) e a outra, em pesquisadores da área da saúde (Guanaes, 2020). Ribeiro, Oliveira e Santos (2021) analisaram iniciativas científicas no panorama da CA a partir de universidades paulistas, contexto no qual essa prática de compartilhamento é a que possui maior reconhecimento e incentivo entre as universidades. Os trabalhos apresentavam as especificidades do compartilhamento de dados de pesquisa de forma aberta para reúso nas disciplinas e países onde a prática é analisada, bem como a perspectiva de adoção desse processo científico pelo SRC em seus diferentes contextos.

Ainda no que diz respeito aos 39 trabalhos que discutem práticas de CA no SRC, quatro abordavam as práticas de reprodutibilidade e replicabilidade em pesquisa, incluindo o livro de Bausell (2021), que descreve o trabalho da comunidade científica na reformulação do SRC para minimizar os impactos de resultados de pesquisa irreprodutíveis. Os outros trabalhos analisavam a prática nas disciplinas de Computação e Medicina a partir do desenvolvimento de projetos e sistemas reprodutíveis (Yen et al., 2021), na Psicologia Industrial/Organizacional (Keener; Kepes; Torka, 2023) e na Herpetologia (Marshall; Strine, 2021).

Foram identificados ainda trabalhos que discutiam as implicações, características e os desafios do SRC em CA de maneira mais aprofundada. Carayol e Dalle (2007) argumentam que o SRC influencia nas escolhas da comunidade acadêmica em relação aos problemas científicos que possuem prioridade para serem resolvidos, uma vez que temáticas e fenômenos que possuem maior popularidade entre pares e maior expectativa de retorno rápido (citação, por exemplo) configuram maiores chances de “sucesso”, influenciando tanto na escolha dos pesquisadores sobre os problemas científicos que serão pesquisados como também no investimento que a pesquisa vai receber.

O fenômeno do prestígio acadêmico dentro de um SRC resulta na mobilidade dos pesquisadores de um tema/problema para outro, baseados nas perspectivas de sucesso/visibilidade que aquele tema ou problema representa, o que causa desigualdade no desenvolvimento de determinadas temáticas e determinados problemas (Carayol; Dalle, 2007). As autoras sugerem que essas diferenças podem ser trabalhadas equilibrando os incentivos do processo de recompensa na CA para melhorar a alocação descentralizada da atenção dos acadêmicos, embora também apresentem uma crítica à CA ao pontuarem que a forma como os ideais de CA vêm sendo aplicados na prática é baseada em normas sociais que acabam fortalecendo um SRC estruturado por um conjunto de regras onde a prioridade é o essencial, reforçando a desigualdade entre temáticas e problemas de pesquisa emergentes.

Os trabalhos de Angere e Olsson (2017) e Strevens (2017) são capítulos do livro Scientific Collaboration and Collective Knowledge: New Essays e discorriam sobre a influência do atual SRC na competitividade entre instituições de pesquisa, cenário onde a necessidade de ser o primeiro a publicar resultados de estudos acadêmicos sobre determinado fenômeno e, dessa forma, receber o prestígio pela descoberta, se sobrepõe ao compartilhamento aberto de resultados e dados científicos que, segundo os autores, seria benéfico ao avanço científico. Ambos os trabalhos resgatam a proposta de Robert Merton de uma norma “comunista” da ciência, onde o compartilhamento universal e aberto de conhecimento é um critério obrigatório, como uma solução para o conflito de interesse social e individual reforçado pelo SRC vigente. Destaca-se nos trabalhos dos autores a indicação de um SRC baseado em um “regime comunista” como um SRC mais adequado a práticas de CA.

O relatório de von Mayer (2019), emitido a partir de uma reunião, ocorrida na Suíça, de especialistas engajados com a implementação de práticas de CA, descrevia a análise desses pesquisadores acerca do desenvolvimento e implementação de políticas nacionais relacionadas ao incentivo e à recompensa de pesquisadores e instituições de pesquisa que executam práticas de CA. O documento ainda menciona a altmetria como uma possível métrica para avaliar e recompensar práticas de CA, sendo que os resultados indicam que somente a Eslovénia apresenta um avanço na implementação da métrica nesse sentido, uma vez que a altmetria é utilizada no país, a partir das plataformas Altmetric.com e PlumX, para monitorar o impacto social e o desempenho dos produtos científicos desenvolvidos pelos pesquisadores locais. Os dados do relatório de Leonelli (2017) já haviam apontado a Eslovénia como um dos países pioneiros no uso da altmetria na avaliação científica.

Burgelman et al. (2019) apresentam um panorama dos avanços na implementação da CA em nível macro tomando como base principalmente os relatórios apresentados pela união europeia, incluindo alguns dos já mencionados neste trabalho (Leonelli, 2017; O’Carroll et al., 2017). A partir dos avanços identificados nos documentos, os autores defendem uma reestruturação do SRC de maneira que seja possível recompensar pesquisadores que adotam práticas de CA, garantindo, assim, sua implementação. Trazendo uma perspectiva mais crítica sobre a CA, Carillo e Papagni (2014) descrevem-na como uma instituição que possui parte da responsabilidade pela desigualdade científica e econômica ao causar disparidades no desenvolvimento e na produtividade dos setores científicos de diferentes países. Shibayama (2015) tece outro tipo de crítica ao apontar que seria benéfico para os pesquisadores e as instituições acadêmicas se envolverem em atividades comerciais relacionadas à inovação tecnológica e que essa tendência de comercialização acadêmica pode entrar em conflito com as recomendações e iniciativas de CA, minando o clima cooperativo na academia.

Dasgupta e David (1994) discutem políticas públicas voltadas para a ciência e o desenvolvimento tecnológico, e é importante destacar que a data de publicação do trabalho deve ser levada em consideração quando a definição de CA dos autores, que é baseada nos aspectos da sociologia da ciência e em estruturas sociais e SRC propostos por Robert Merton na época do estudo, for avaliada. Essa foi a primeira produção identificada que estabelece uma relação entre recompensa e CA e é significativa em termos de comparação com a produção científica atual sobre o tema. Beigel (2022), por exemplo, apresenta avanços em relação às políticas voltadas para a CA, a práticas específicas e às recomendações da Unesco no que diz respeito ao movimento da CA, bem como a infraestruturas científicas abertas e seu diálogo com diferentes SRC. A análise da produção científica sobre recompensa em SRC em diferentes períodos demonstra um amadurecimento tanto da noção de CA, de seus termos, conceitos e da especificidade das suas práticas, como da própria ideia de recompensa e da complexidade que envolve as diferentes tarefas que um pesquisador executa em seu trabalho.

Silva (2017) discute as políticas que servem de base para o SRC na China, o sistema métrico no qual ele opera e que tem como base o uso predominante de indicadores quantitativos, com características proprietárias e passíveis de manipulação, e que não refletem verdadeiramente o trabalho realizado por pesquisadores individuais e revistas científicas. Ele advoga que o uso de métricas como a altmetria no SRC da China viabiliza o amortecimento do impacto causado pelo monopólio do Journal Impacto Factor (JIF) nos SRC baseados em métricas, pois, segundo o autor, a altmetria permite analisar indicadores de visibilidade de periódicos científicos entre mídias sociais, e as revistas de acesso aberto que atingem um público mais amplo podem configurar um tipo de impacto mais significativo que um JIF elevado.

Esse trabalho buscou discutir as implicações do fenômeno da CA para o SRC a partir das suas dimensões de avaliação, características e seus desafios. Considera-se que os objetivos foram alcançados. A dimensão mais abordada pelos pesquisadores dedicados à temática são as de Práticas de CA e Políticas de Avaliação em CA, evidenciando um foco em discutir a necessidade de inserção de práticas específicas de CA no SRC e, também, políticas e características de países e áreas do conhecimento específicas. Os dados também demonstraram um gap de produção científica sobre a dimensão de Indicadores Sociais no SRC voltados para questões de gênero e raça e pouca adesão de altmetria para avaliação de práticas de CA.

A análise métrica demonstrou que a temática ganhou maior relevância na última década, sendo que o ano mais produtivo a respeito do tema foi o de 2021. Não foram identificados pesquisadores referências na temática, uma vez que os autores mais produtivos foram Pascal Borry, Thijs Devriendt e Mahsa Shabani, com três trabalhos cada um. Constatou-se também que a temática mais discutida e com maior aprofundamento na literatura científica de SRC em CA é a de compartilhamento de dados de pesquisa abertos. Os dados indicam uma preocupação com o fato de que todo processo que envolve a disponibilização aberta de dados de pesquisa é dispendioso e complexo e, por isso, deve ser devidamente recompensado. Foram identificados poucos estudos dedicados a discutir sistemas métricos que apoiem um SRC em CA, sendo que, entre esses trabalhos, foi observado que o comum é a indicação de uso de métricas mais tradicionais de maneira responsável em relação à CA e às diferentes atividades que o pesquisador exerce, bem como sugestões tímidas sobre o uso da altmetria como uma métrica com potencial para avaliação de práticas de CA.

Algumas das produções analisadas descrevem características de um SRC em CA em disciplinas e áreas do conhecimento específicas, bem como em países específicos e suas respectivas políticas científicas, porém não foram identificadas iniciativas para descrever um SRC em CA voltado para países da América Latina e suas especificidades e políticas científicas. Essa lacuna pode configurar um desdobramento do estudo e um próximo passo para a difusão da discussão do SRC em CA no contexto nacional. Conclui-se que alguns dos principais desafios para o SRC em CA é o desenvolvimento de pesquisas e iniciativas voltadas para outras práticas de CA além do compartilhamento de dados, bem como sobre possíveis métricas e indicadores que sustentem esse sistema e busquem compreender as influências de fatores sociais no SRC e a realidade de países periféricos, suas especificidades e políticas dentro desse sistema.