Opiniões de um participante do I Simpósio Nacional de Avaliação Científica

Armando G. M. Neves
UFMG - Depto. de Matemática
1^o vice-presidente da APUBH


O I Simpósio Nacional de Avaliação Científica (I SNAC) realizou-se em Brasília no dia 20 de setembro de 2010. Um grupo de trabalho permaneceu em Brasília no dia seguinte para elaborar um documento síntese das propostas dominantes apresentadas no evento. Tal documento pode ser acessado em http://www.sbfisica.org.br/v1/arquivos_diversos/avaliacao-2010/Simposio_Avaliacao_Cientifica.pdf. A seguir nos referiremos a esse documento como “documento síntese”.

O presente documento é a opinião pessoal de seu autor sobre o evento em si, do qual participou como simples debatedor, e sobre o documento síntese acima mencionado, ao qual acrescentarei algumas sugestões.

Algumas premissas

O autor deste texto considera a si mesmo um pesquisador, além de professor. Tal denominação se justifica por ser docente de universidade federal, participar de curso de pós-graduação na instituição, ter completado recentemente estágio de pós-doutorado no exterior, com bolsa do CNPq, e por ter uma lista de publicações não tão grande, porém séria. Obviamente seu currículo Lattes está à disposição para consultas e diz um pouco sobre a sua trajetória acadêmica e de pesquisa. Uma melhor avaliação de sua produção científica pode ser feita lendo seus trabalhos.

Nunca participou de qualquer tipo de fraude científica ou colaboração de fachada e só cita em seus artigos científicos trabalhos que considere relevantes para o entendimento do próprio. Embora nunca tenha publicado em revistas consideradas top e nenhum de seus artigos conte mais citações que os dedos de uma mão, ainda assim considera que faz trabalhos de qualidade. Espera que algum dia essa qualidade seja mais reconhecida pela comunidade científica.

Apesar disto, nunca foi beneficiário da bolsa de produtividade em pesquisa do CNPq e nem do programa pesquisador mineiro da FAPEMIG. Possui uma coleção razoavelmente grande de pedidos de bolsa, financiamento a pesquisa e participação em eventos negados por diversas agências de fomento, mas também alguns pedidos aceitos. Acredita que se dispusesse de uma maior disponibilidade de verbas, poderia se sentir mais motivado e produzir com mais qualidade.

Acredita também que a missão primeira das universidades seja a de formação de pessoas. A pesquisa científica e tecnológica, assim como a extensão, devem ser encarados como subsídios para um ensino de alta qualidade. Vê com preocupação o fato de que a produção de muitos papers venha sendo utilizada como principal critério para contratação e ascensão na carreira acadêmica. Considera muito relevantes — e as pratica — outras atividades tais como produção de artigos de divulgação científica e didáticos e a participação nas entidades de cunho sindical. Infelizmente, tais atividades são pouquíssimo valorizadas dentro da academia, mas ainda assim as pratica. E continua fazendo pesquisa, pois isto lhe dá muita satisfação pessoal, além de contribuir para a formação de alunos e incrementar a cultura humana.

O I SNAC e o documento síntese

Primeiramente, avalio que o I SNAC foi um grande sucesso como evento. Desde sua preconização pela Sociedade Brasileira de Física, com o intuito de avaliar a maneira como nós cientistas estamos avaliando nosso trabalho, até o documento síntese, que avalio como bastante positivo em suas recomendações.

De acordo com os organizadores, os procedimentos adotados pelas agências de fomento à pesquisa podem ter “promovido mais o crescimento quantitativo do que a elevação da qualidade” da ciência produzida no país. Em minha opinião, tal desconfiança, para não dizer certeza, era compartilhada pela totalidade das pessoas presentes ao evento, tanto conferencistas, quanto participantes do debate.

Em diversos momentos houve críticas à “numerologia” praticada pelas agências de fomento nos julgamentos de pedidos de bolsas, projetos de pesquisa e demais tipos de auxílio para atividades científicas. Por “numerologia” entende-se aqui o uso como principal critério para concessão de auxílio a um pesquisador ou grupo, e não a outro, a simples contagem do número de trabalhos publicados pelo pesquisador ou grupo, ou variantes mais “elaboradas” dessa contagem. As variantes aqui incluem, por exemplo, contagem de citações dos trabalhos, excluindo-se ou não as auto-citações, cálculo de índice h ou outros assemelhados. Por mais elaboradas que sejam essas variantes, percebi que eram todas igualmente condenadas pelos conferencistas como instrumento principal em que se baseie qualquer avaliação de mérito. No sentido de evitar o uso abusivo de números, gostaria de destacar uma das conclusões de um importante documento. O “Citation Statistics” é um relatório produzido em 2008 por algumas associações internacionais da área de Matemática: a International Mathematical Union (IMU), o International Council of Industrial and Applied Mathematics (ICIAM) e o Institute of Mathematical Statistics (IMS) e está disponível em http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf. Logo nas primeiras páginas deste relatório lê-se que “a pesquisa é importante demais para que seu valor seja medido por uma única ferramenta grosseira”.

É importante ter presente o fato de que os comitês assessores das agências de fomento são submetidos a grande carga de trabalho, pois o número de pedidos a serem julgados é cada dia mais alto e o tempo disponível para os julgamentos é escasso. Nessas condições, obviamente há a tentação de se usar os critérios mais práticos possíveis e acaba-se caindo na tentação da “numerologia”. Julgo que o documento síntese é bastante bom a esse respeito, em suas propostas agrupadas sob os títulos REDUÇÃO DO NÚMERO DE PROJETOS A SEREM ANALISADOS e PROCEDIMENTOS E CRITÉRIOS DE AVALIAÇÃO.

Outro ponto que não pode ser esquecido é que a ênfase em critérios quantitativos para se ter “sucesso” nos pedidos de financiamento científico acabou por gerar reações anti-éticas por parte de membros da comunidade. Também neste ponto as recomendações do documento síntese agrupadas sob o título COLABORAÇÕES DE FACHADA E ÉTICA CIENTÍFICA são bastante suficientes.

Em minha opinião, a parte menos boa do documento síntese é a de título PROMOÇÃO DOS JOVENS E MAIS APOSTA EM QUALIDADE, pois contempla apenas duas recomendações. Acredito que o problema principal da pesquisa científica no Brasil, mas também no resto do mundo, é exatamente a aposta que foi feita na quantidade com consequente detrimento da qualidade. É preciso portanto apostar sim muito mais na qualidade, mas isto vai bastante além da promoção dos jovens pesquisadores. Neste ponto, mesmo correndo o risco de ser desagradável, é necessário ser polêmico.

Minhas sugestões

Embora não tenha feito uma contagem, pelos depoimentos que ouvi e pelo perfil da grande maioria dos presentes no evento, posso apostar que a grande maioria seja de pesquisadores com bolsa de produtividade do CNPq. Tal fato transparece por exemplo de algumas das recomendações do documento síntese, por exemplo nas I(a), (c) e (d), que somente se aplicam a bolsistas de produtividade. A recomendação III(a) fala inicialmente da necessidade de se confiar mais nos jovens e, logo em seguida, se refere aos bolsistas de produtividade que se encontram classificados abaixo de seu mérito. Pergunto-me se por acaso os autores do documento porventura se esqueceram de que nem todos os pesquisadores brasileiros possuem tal bolsa.

Não possuo dados precisos sobre a percentagem dos pesquisadores brasileiros contemplados pela bolsa de produtividade do CNPq, mas uma ideia do tamanho desse número pode ser deduzida do exemplo do curso de pós-graduação em cujo corpo docente figuro. Tal curso foi classificado na última avaliação da CAPES com conceito 5. O corpo docente teve 41 professores em 2009, dos quais 17 são bolsistas de produtividade. Todos os componentes do corpo docente do curso são pesquisadores, pois publicam com alguma regularidade trabalhos em revistas científicas com revisão por pares, mas somente 41% são bolsistas do CNPq. E estamos falando aqui de um curso bem avaliado, em uma das maiores e melhores universidades do país, sediado em uma capital do sudeste.

Creio em suma que a própria existência das bolsas de produtividade em pesquisa do CNPq, com a grande concorrência que criou entre os pesquisadores pela possibilidade de obtê-la, seja um dos maiores obstáculos à produção de ciência com qualidade no país. De consequência, as recomendações para se obter mais qualidade não deveriam se basear nessas bolsas. Quais seriam portanto as minhas outras sugestões de recomendações às agências de fomento para que houvesse aumento de qualidade na ciência produzida no Brasil? Enumero em seguida algumas delas, inclusive as que enunciei durante minha fala nos debates do I SNAC:

1. Democratização dos conselhos assessores do CNPq
Os comitês assessores do CNPq são constituídos unicamente por bolsistas de produtividade. Em outras agências de fomento é quase certo que se a regra acima não é estrita, será ao menos válida em boa aproximação. Até certo ponto é natural que seja assim, uma vez que supostamente os bolsistas de produtividade seriam os pesquisadores de maior qualidade e experiência. Por outro lado, o fato de que se tenha percebido falta de qualidade na ciência produzida no Brasil, fato este que motivou a realização do I SNAC, parece exatamente depor contra os bolsistas de produtividade. Afinal, são eles os responsáveis por grande parte da pesquisa brasileira e portanto são também pelo menos co-responsáveis pela pouca qualidade. Sem querer propor regras de composição para os comitês assessores, parece bastante razoável que a composição destes fosse flexibilizada de modo a abrigar também pesquisadores menos “produtivos”. Mal isto não faria. Poderia pelo menos introduzir alguma boa novidade.

2. Aumento do volume de verbas para Ciência e Tecnologia
Essa é uma reivindicação histórica sobre a qual não é necessário se alongar muito. Basta lembrar que em termos de percentual do PIB as verbas para C&T no Brasil são bastante inferiores às de países com os quais gostaríamos de nos comparar.

3. Rodízio de financiamento
Alguns pesquisadores concorrem todos os anos nos diversos editais das agências de fomento e invariavelmente conseguem as verbas de que precisam, porque apresentam projetos com mérito. Vários outros — eu mesmo, por exemplo — têm o mérito de seus projetos reconhecidos, mas não conseguem receber o financiamento. Por anos a fio concorrem nos editais, sempre com projetos de mérito reconhecido, cada ano com mais realizações acumuladas a custo de grandes sacrifícios para obter poucas verbas. Com alguma sorte, após alguns anos, com boa parte do projeto já realizada sem o devido financiamento, recebem algum apoio. Às vezes, nem isto. A recomendação aqui seria a de, na ausência de verbas suficientes, levar em conta projetos já financiados em anos precedentes e conceder financiamentos para outros projetos de mérito e outros pesquisadores que não tenham sido financiados em anos anteriores.

4. Evitar concorrência desleal
Existem alguns editais reservados exclusivamente, ou com prioridade, para bolsistas de produtividade. Já me aconteceu de deparar com situações em que um pesquisador bolsista de produtividade, com muita experiência, tenha perdido o prazo para concorrer em um edital exclusivo deste tipo. Após isto concorreu com pesquisadores “menores” em edital aberto a todos, obviamente arrebatando recursos que poderiam ter sido dados a esses.

5. Cesta básica do pesquisador
Existem algumas necessidades básicas dos pesquisadores que, em muitos casos, não são contempladas. Não falo aqui de compra de equipamentos caros, por exemplo, mas compra de livros e verbas para intercâmbio e participação em eventos. Praticamente todo pesquisador tem necessidade disto. Aqueles que não possuem o grant associado às bolsas de produtividade nível 1 ou outro grant precisam sempre andar com o pires na mão procurando em diversas fontes algum tipo de financiamento para essas coisas. Minha proposta aqui é de extensão do sistema de grants. Não somente aos bolsistas de produtividade nível 2, como sugerido no documento síntese, mas a TODOS os pesquisadores com algum critério mínimo de qualidade.

6. Apoio aos pequenos centros de pesquisa
O Brasil é muito grande. A pesquisa começou em alguns grandes centros, mas hoje temos doutores espalhados por todo o país. Não só é importante apoiar os jovens pesquisadores, como bem apontado no documento síntese, mas também é necessário que se apoiem os novos centros de pesquisa, promovendo também, dentro do possível, a independência desses dos grandes e tradicionais centros dos quais se originaram. Existem alguns editais de agências de fomento focados nas regiões norte, nordeste e centro oeste de Brasil, mas acreditamos que a regionalização não é a solução para a problemática. Afinal, existem grandes e tradicionais centros de pesquisa nas regiões menos desenvolvidas, assim como há pequenos centros também nas regiões mais desenvolvidas.