Algumas considerações sobre a cultura da avaliação

Martha Ramírez-Gálvez¹
Profa. do Departamento de Ciências Sociais da Universidade Estadual de Londrina, PR


publicado em:

• Mediações, vol. 14, no. 1, pp. 11-23, 2009 (disponível em http://www.uel.br/revistas/uel/index.php/mediacoes/issue/view/302)

Fazer da avaliação em C&T o tema do presente dossiê de Mediações e considerá-lo pelo prisma da cultura requer algumas considerações iniciais. Em 1998, a professora Marilyn Strathern (Universidade de Cambridge, Reino Unido), por ocasião de sua visita à Unicamp, dedicou uma das suas palestras à análise das condições da prática acadêmica. Ela mostrara interesse em saber qual era a situação no Brasil a este respeito, uma vez que considerava o sistema de accountability² e da avaliação nas universidades um fenômeno de proporções globais, cujos efeitos iriam para além de um simples aumento da burocracia.

Passados estes anos, as questões colocadas naquela ocasião por Stratern parecem adquirir maior relevância no contexto atual brasileiro em que, sobretudo no meio acadêmico, assistimos a uma série de discussões e debates. Estes são veiculados em jornais especializados, listas de discussão, blogs, especialmente, sob o formato de cartas abertas e/ou pronunciamentos de pesquisadores/as, de agremiações acerca das formas de avaliação de instituições de ensino superior, de programas de pós-graduação, de reformulação de critérios de avaliação de revistas científicas nacionais (Qualis), dentre outras.

Ao propor para o dossiê o tema C&T: análises sobre a cultura da avaliação na produção acadêmica, a revista Mediações busca contribuir com esse debate na perspectiva das Ciências Sociais, que procuram fornecer uma análise das diversas dimensões de um fenômeno. Isto é, compreender e contextualizar o surgimento de certos eventos, assim como observar seus desdobramentos e as relações, hábitos e práticas que lhes são concomitantes. No caso específico do dossiê, ao nos referirmos à cultura da avaliação estamos assumindo a perspectiva de autores como Strathern e Cris Shore que a entendem como uma condição, moldada por técnicas e princípios de auditoria financeira, aplicados a outros contextos como o da atividade acadêmica e de pesquisa. Isto é, uma condição que toma força e parece se tornar autônoma face ao contexto que lhe deu origem, gerando diferentes efeitos sobre as atividades de pesquisa e ensino. Assim, torna-se importante procurar chaves analíticas para entender os contextos sociais, políticos, culturais e econômicos nos quais a cultura da avaliação se tornou um fenômeno de proporções globais.

Claudia Fonseca (2001) traça um interessante e esclarecedor panorama do sistema de avaliação no país, a partir da sua experiência como avaliadora dos Programas de Pós-Graduação em Antropologia. Para esta autora, o ano de 1998 foi um momento de inflexão do nosso sistema de avaliação quando foram instaurados critérios quantitativos, tidos como mais objetivos e práticos. Antes disso, a ascensão dos programas na avaliação pareceria ser questão de tempo, pois os mais novos esperavam sua vez de melhorar sua posição no ranking, cujos primeiros lugares eram ocupados por programas mais antigos e consagrados. Todavia, tanto o Ministério da Educação (MEC) como a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) se mostraram descontentes, pois se a maioria dos programas atingisse o conceito A, seria um indicativo de que o sistema de avaliação não discriminava. O objetivo do MEC e da CAPES, segundo a autora, era endireitar a pirâmide que colocaria uns poucos programas no topo e a grande massa na base. O novo formato de avaliação gerou controvérsias e um clima tenso – permeado pela desconfiança e a concorrência – abalando a tradição do sistema anterior, julgado como complacente por alguns ou, como outros o concebiam, facilitador de um clima de cooperação e respeito que estimulava a existência de diversos centros de excelência da pós-graduação.

Depois de 1998, Fonseca observa que o novo sistema trouxe uma inversão de atores na formulação dos critérios de avaliação: se antes os comitês tinham autonomia para propor e discutir os critérios para cada categoria, que eram apresentados, explicados e justificados à CAPES; depois das mudanças, os avaliadores passaram a implementar critérios formulados por assessores da CAPES, seguindo uma mesma ficha de avaliação para todas as áreas acadêmicas. A partir desse momento, o objetivo das reuniões dos avaliadores era o de receber instruções e aprender a lidar com a ficha. Aos pares que integravam os comitês de avaliação lhes era “permitido” atribuir o peso numérico dos itens que compunham cada um dos seis quesitos que pudessem ser traduzidos para uma fórmula matemática, cujo resultado daria o conceito final do programa. Contudo, a atribuição de peso já estava pautada pela lógica que valoriza mais a produção em pesquisa do que atividades de ensino, assim como pela redução do tempo médio para as defesas de mestrado e doutorado, dentre outras.

As reflexões iniciadas por Marilyn Strathern (2000), acerca do sistema acadêmico do Reino Unido, proporcionam um contexto mais amplo para a análise e compreensão do tema, assim como de suas relações com valores e práticas transversais de uma forma própria de governabilidade. A autora traça um histórico do sistema de avaliação, observando como o exame do desempenho foi transferido do contexto escolar para o mundo comercial. No entanto, no século XX, tal sistema se volta para o ensino superior, com novos sentidos, intensificando a avaliação, cujo alvo não é mais o desempenho dos/as alunos/as, mas das instituições, na sua organização e prática, examinando suas intenções, objetivos e sua capacidade para atingi-los (STRATHERN, 1999).

Um aspecto interessante na sua análise é o destaque dado a alguns efeitos “descontrolados” desse processo. Na cultura da avaliação, o objetivo não é observar como as instituições funcionam, mas sim verificar se as organizações se ajustam a critérios predeterminados daquilo que se considera “deve ser” uma organização eficiente, que transforma intenções em objetivos, múltiplas possibilidades em planos de ação, extinguindo a contradição e enfraquecendo a criatividade, uma vez que esta não necessariamente anda junto à produtividade.

Strathern lembra que o sistema educacional britânico foi sacudido na década de 1980, durante a era de Margareth Thatcher, quando foi introduzida a avaliação e a auditoria nas instituições de ensino, cujos resultados orientavam a distribuição de recursos, sob a política de “mais alunos, com menos recursos”. A auto-regulação, que incentiva as pessoas a medirem a si próprias usando parâmetros externos, e característica do modus operandi do sistema de avaliação, faz parte de uma racionalidade da forma de governabilidade do século XX. No caso da regulação das instituições de ensino, o objetivo é garantir a responsabilidade pela administração do dinheiro público, investido na formação e desenvolvimento de capacidades mais vendáveis para o mercado³. Isto é, na constituição de um setor empresarial do ensino, aspecto que é analisado neste dossiê por Cris Shore⁴. A partir do exame do sistema de avaliação acadêmica do Reino Unido, este autor propõe que a disseminação de práticas de cálculo, das quais os indicadores de desempenho fazem parte, resultara na generalização de uma “cultura da auditoria”, própria da combinação entre políticas neoliberais e tecnologias do Novo Gerenciamento Público.

O sistema, como algumas críticas apontam, não necessariamente favorece a quem mais trabalha, porém a quem mais produz as provas padronizadas de seu trabalho. Ou, como disse Fonseca, a quem sabe colocar o “x” no lugar certo. Em tal racionalidade, lembra Strathern, as provas do desempenho e de produção devem ser mensuráveis, excluindo atividades que demandam reflexão ou, como manifestou recentemente Olgária Mattos (2009), “o ócio necessário à reflexão e à pesquisa é proscrito como inatividade”.

O problema que se destaca não é a existência de um sistema de avaliação, pois, como argumenta Strathern (2000), a lógica que lhe subjaz, de transparência no manejo de recursos públicos, é um princípio “impossível” de ser criticado, pois é necessário ter mecanismos eficazes de controle para evitar fraudes, má administração e o mau uso do dinheiro público. No entanto, como analisa Cris Shore, não se trata de políticas neutras e inocentes que visam à transparência e a eficiência, mas, de políticas disciplinares que promovem novas formas de subjetividade e de conduta na força de trabalho. Este é um dos assuntos chave abordados por este autor no seu artigo.

Outro dos efeitos descontrolados deste fenômeno é que num formato de avaliação, supostamente isento de subjetividade, isto é, que cumpre o requisito de ser “objetivo” para ser passível de reprodução e adaptação em qualquer área do conhecimento, perdem-se as singularidades de programas, de áreas e de instituições. Retomando a análise específica da área da Antropologia no Brasil, Fonseca lembra que, antes da implementação do sistema atual, considerava-se que o melhor para a área no país não seria a multiplicação de um mesmo modelo, mas, o desenvolvimento de programas que fizessem ou enfatizassem aquilo que se considerava faltar no cenário nacional.

“Impactando” as revistas acadêmicas

Ao observar algumas das conseqüências que esse sistema trouxe, vale a pena nos determos no caso das revistas acadêmicas. A adequação dos Programas de Pós-Graduação ao novo sistema de avaliação provocou um alto crescimento do número de revistas editadas no país, uma vez que as publicações (mais do que as atividades de ensino) se consolidaram como provas públicas, meios de divulgação dos resultados obtidos com o investimento do dinheiro público em educação. Estes efeitos são discutidos em dois artigos do dossiê. No que se refere especialmente à avaliação das revistas acadêmicas, Antonio Ozaí da Silva faz uma reflexão do sistema de avaliação Qualis indicando como a pressão por maior produtividade pode afetar o senso crítico dos docentes que acabam reproduzindo normas e regras burocráticas decididas por uns poucos.

Mas, neste ponto, gostaríamos de nos deter em algumas questões relativas à indústria editorial. El-Hani, Salles e Freire Jr (2008), chamam a atenção para a necessidade de problematizar a valorização do critério de quantidade de publicações, em detrimento da avaliação da qualidade, assim como a omissão da singularidade do modo como a pesquisa é realizada e comunicada nas diversas áreas do conhecimento.

Em algumas áreas se defende e promove o uso de indexadores e índices de impacto e de citação, supondo que a qualidade da pesquisa seria refletida pelos meios no quais ela é divulgada. No entanto, esses autores observam que deveria prevalecer a cautela antes de adotar tais índices de modo generalizado, uma vez que, por exemplo, um tipo de produção necessário para a construção do conhecimento, como livros didáticos e paradidáticos, propostas curriculares, seqüências didáticas, etc. não estaria sendo incluído nos índices de impacto de revistas científicas, nem nas bases de dados. Este tipo de produção seria desconsiderado e, em conseqüência, desestimulado, uma vez que os esforços acerca do que “deve ser” orientam para a produção de artigos em periódicos qualificados. Mas, o “qualificado” requer uma análise mais aprimorada.

A incorporação do uso de base de dados como Scopus, coloca o Brasil no mainstream da ciência internacionalizada, cuja representatividade, como argumenta Cecília Diaz-Isenrath neste dossiê, corresponde à indexação e à visibilidade, administrada por grandes corporações da indústria editorial como Thomson, Elsevier ou Ebsco. Estes, lembra a autora, passam a ser pedágios obrigatórios de áreas tecno-científicas, colocando em risco o papel do intelectual que, atualmente, debruça-se entre suas tarefas científicas, culturais e técnicas e o consumo de serviços de informação. Na análise dos mecanismos de validação do conhecimento, Diaz-Isenrath nos oferece uma interessante reflexão acerca do acesso a bancos de dados bibliográficos e sua relação com os mecanismos de avaliação acadêmica nos seus aspectos sociais, políticos e filosóficos.

Seguindo a esteira de Foucault, esta autora analisa a relação entre os bancos de dados e o “regime de veridição”, no qual a economia política opera as racionalidades governamentais liberais. Por sua vez, El-Hani, Salles e Freire Jr (2008) assinalam a necessidade de estarmos cientes de que, através da sujeição a estes índices, administrados por grandes corporações, fazemos parte das engrenagens de um grande sistema de mercado globalizado de produção científica e tecnológica. Vejamos: a Web of Science é um dos produtos do Institute for Scientific Information (ISI), fundado em 1960 e vendido em 1992 para a atual Thomson Scientific, que faz parte da corporação Thomson Reuters. Uma das concorrentes na oferta dos mesmos serviços é a base Scopus – incluída recentemente na Plataforma Lattes para contabilizar citações de artigos – que pertence à Elsevier.⁵ Os autores dizem-se preocupados com a falta de reflexão e de senso crítico da comunidade científica, que aceita passivamente fazer parte dessa engrenagem que se alimenta do sistema público de ensino e pesquisa para manutenção de monopólios financeiros de corporações internacionais. Transferimos às grandes corporações editoriais o domínio sobre a informação resultante das pesquisas financiadas com dinheiro público. Castiel e Sanz-Valero (2007) mencionam um estudo⁶ acerca das fontes de financiamento dos artigos mais citados em biomedicina, entre 1994 e 2003. Os resultados indicaram que dos 289 artigos analisados, 60% fora financiamento público e 36% teve financiamento da iniciativa privada.

Estar cientes dessas alianças e monopólios é uma parte do problema. Outra é a compreensão do funcionamento dos índices numéricos. Por este motivo, Mediações publica neste dossiê a tradução do relatório Citation Statistics, elaborado pelo Comitê Conjunto sobre a Avaliação Quantitativa de Pesquisa. Os autores, Adler, Ewing e Taylor, destacados especialistas em matemática e estatística, tiveram o mérito de analisar e comentar a “cultura dos números”, adotada amplamente por instituições e pessoas que acreditam que decisões justas podem ser atingidas mediante métodos “simples e objetivos”. O rigoroso estudo destes especialistas fornece importantes conclusões, dentre as quais observam o caráter ilusório de critérios numéricos como garantia de “objetividade” e assinalam o risco que acarreta o uso indevido de estatísticas para classificar periódicos, pessoas e programas. O uso de critérios numéricos para medição não está isento de aspectos subjetivos, tais como os acordos tácitos, as motivações ou conveniências políticas e estratégicas que orientam a citação de trabalhos de certos autores ou de estudos realizados em certas instituições em detrimento de outros. Além disso, números podem não contemplar as especificidades da absorção do conhecimento construído em cada área.

A simplificação da avaliação através de números, concluem os autores, pode ser prática, porém, oferece uma visão limitada e incompleta da complexidade e importância da pesquisa. Como afirmam os mesmos, “se fixamos padrões altos para a gestão da ciência, certamente deveríamos fixar padrões igualmente altos para avaliar sua qualidade”.

A questão, mais uma vez, não é a eliminação da avaliação, mas a cautela em importar padrões de outros sistemas de C&T. Seria necessário promover pesquisas para desenvolver e validar critérios de avaliação da produção acadêmica nacional, a ser amplamente discutidos com a comunidade científica e que levem em consideração a diversidade das áreas de conhecimento e das instituições brasileiras. Neste sentido, alguns críticos do sistema atual propõem iniciativas tais como o fortalecimento do portal de publicações de livre acesso, SciELO, que indexa periódicos locais, muitos dos quais, em que pese a sua qualidade, são ignorados nas bases globalizadas. Isso, sem deixar de considerar periódicos nacionais bem qualificados, ainda que não indexados na base SciELO, nos quais a comunidade de pesquisadores em educação científica deve publicar pela própria natureza de seu trabalho e compromisso com a melhoria do ensino de ciências em nosso país. Zacarias Jaegger Gama, neste dossiê, analisa a política de incentivo às publicações virtuais, especificamente no caso de textos sobre avaliação educacional. O autor observa como a política de avaliação da CAPES, através do Qualis, orienta para a publicação em periódicos impressos, sediados, principalmente, em instituições do Sudeste, inibindo a visibilidade e importância de outros formatos de publicação, como o virtual que, além do baixo custo, permitiria o reconhecimento da produção neste campo de Universidades consideradas periféricas.

Os novos critérios de avaliação de revistas acadêmicas nacionais – Qualis – geraram uma série de pronunciamentos de diversas comunidades científicas (ABRASCO, 2008; ABRAPSO, 2008; JORNAL DA CIÊNCIA, 2009), uma vez que os esforços de vários editores para melhorar a qualidade de suas publicações e de se adequarem aos critérios da CAPES não foram reconhecidos. Estas associações reivindicam a necessidade de levar em consideração as especificidades das áreas e subáreas, assim como a inclusão de editores de periódicos e de membros da comunidade científica na elaboração e discussão dos critérios avaliativos. Agremiações de áreas como a de saúde, chamam a atenção para a singularidade das pesquisas voltadas para a realidade brasileira que, embora de grande relevância social, não são de interesse para uma platéia internacional. Além do mais, a determinação de que os estratos superiores (A1 e A2) da nova classificação não deveriam conter mais do que 20% dos artigos produzidos pela área, é julgada como arbitrária e sem fundamento conceitual. Uma vez que a política de publicação Qualis passou a ser um “atestado de alta ou baixa qualidade”, a sua implementação terá efeitos na distribuição de recursos por parte de agências de fomento, deixando de observar a totalidade da produção científica, pois a avaliação se concentra, apenas, na produção publicada em determinados estratos.

Contudo, as reações não são só locais. Editores de revistas européias das áreas humanas assinaram um manifesto contra o enquadramento dessas publicações em critérios consagrados em outras áreas (MARQUES, 2009). Nesse caso, trata-se de um boicote ao European Reference Index for the Humanities (ERIH), que pretendia graduar essas publicações em três categorias, de acordo com seu impacto e disseminação (A: alto nível internacional; B: nível internacional padrão e C: publicações de importância regional). Como o fazem os manifestos brasileiros, este também destaca a ausência das organizações disciplinares nessa decisão e o estrago que essa iniciativa teria ao se confundir internacionalidade com qualidade. Neste caso, segundo a reportagem, a European Science Foundation (que teria proposto a adoção desse índice) recuou, pois o manifesto teria colocado em questão a credibilidade do índice, ao observar que este reflete uma incompreensão da conduta e da publicação da pesquisa nas humanidades em geral. Interessante notar a força, o modo e efetividade de articulação política, lá e cá, entre as comunidades científicas.

Estar dentro, ficar de fora...

Como bem lembra Fonseca (2001), as atividades de avaliação demandam um grande esforço, tanto de avaliadores como de avaliados na preparação e revisão de relatórios, documentos que, em muitos casos, implica a suspensão de importantes atividades, impondo um rearranjo de agendas. Nesse sentido, Lady Selma F. Albernaz, neste dossiê, oferece um relato etnográfico da sua participação para elaborar um projeto institucional para o Programa Nacional de Cooperação Acadêmica (PROCAD)/CAPES, analisando quem são os beneficiários das políticas de cooperação interinstitucional. A autora considera que um dos efeitos desse tipo de programa parece ser mais o de estimular a competição entre pares, do que o princípio da cooperação acadêmica. Observa, também, o não reconhecimento nas políticas de avaliação de trabalhos técnicos, administrativos e de ensino necessários para a existência das instituições, insustentáveis somente com o trabalho dos que se tornam renomados através das suas publicações.

O sistema de avaliação atual é polêmico, pois há uma diversidade de questionamentos e interesses em jogo em relação à política de C&T no país. Ainda que as críticas não sejam consensuais, destacamos aqui alguns efeitos que, na concepção de Fonseca (2001), ameaçam o sistema de ensino e pesquisa:

• O sistema de avaliação, como dito anteriormente, não deixa espaço para o tempo necessário à produção de novas idéias, fruto de um processo de reflexão e amadurecimento, colocando em risco a criatividade que é parte integral da produção acadêmica;
• A confiança, que deveria ser constitutiva do processo de avaliação, é paradoxalmente enfraquecida minando ou fragilizando os laços entre os colegas, grupos e comunidades acadêmicas;
• A universidade seria por excelência o lugar de conjugação da relação entre ensino, pesquisa e extensão. No entanto, o atual sistema de avaliação ao privilegiar a quantidade de alunos titulados e as pesquisas publicadas, coloca em risco essa relação e os esforços dedicados à formação de novas gerações de pesquisadores na própria graduação.

Aos efeitos anteriores, acrescentaríamos o de estruturação do comportamento e da subjetividade dos acadêmicos, como indica Cris Shore, uma vez que esse tipo de políticas age através da auto-regulação dos indivíduos, incentivados a serem sujeitos ativos e responsáveis pelo aprimoramento do seu próprio desempenho. Para tal, é necessário que estes internalizem as normas desse gerenciamento, assumindo comportamentos, especialmente competitivos, que os fazem cúmplices da moralidade subjacente ao sistema.

O trabalho acadêmico medido apenas ou prioritariamente pela quantidade de “publicações Qualis”, gera efeitos perniciosos para a prática científica. Mais do que se adequar ao sistema e seguir as regras do jogo, como querem muitos, há que se pensar e problematizar várias questões, dentre elas, a da autoria. Se, contra a corrente da velocidade que impõe o sistema de avaliação, desviamos a atenção da quantidade de artigos publicados e olharmos, com mais vagar, as práticas e os contextos de produção dos mesmos, observamos a disseminação de comportamentos com os quais nos vamos tornando complacentes porque são, cada vez mais, corriqueiros. Podemos mencionar, por exemplo, o “auto-plagio” (publicação de versões, levemente modificadas, do mesmo artigo), o “escambo autoral” (eu te cito, tu me citas), a inclusão pouco criteriosa de inúmeros autores, a inclusão automática do orientador na produção de seus orientandos e a extrema fragmentação de argumentos, dentre outras estratégias para aumentar o número de publicações.

Algumas destas práticas são particularmente alheias à tradição acadêmica nas áreas das Ciências Sociais e Humanas, nas quais se considera que o trabalho de orientação de uma pesquisa, formulada e realizada pelo/a aluno/a, é inerente à atividade de docência. Também nestas áreas a publicação de trabalhos completos, geralmente de única autoria, no formato de livros é preponderante. Em algumas áreas, e alguns casos, é comum que o uso de laboratórios e sofisticados equipamentos seja retribuído com a inclusão automática do pesquisador que conseguiu os recursos financeiros para montar tal infra-estrutura, sem o mesmo ter participado na formulação do problema, na realização do experimento, no cálculo das medições, na análise dos dados e, menos ainda, na redação do artigo. Com a ocorrência dessas práticas, cada vez mais frequentes, como equivaler a autoria única de um artigo com a co-autoria, não de duas ou três pessoas, mas de inúmeros autores?

Fazer tal questionamento não significa omitir a produção como parâmetro de avaliação, mas procurar e adotar critérios que dêem as mesmas condições às áreas, sem homogeneizá-las. Como já foi dito, a tradição no sistema atual é atropelada, e não se trata aqui de manter uma prática porque é tradicional, mas de não esquecer que tal tradição obedece à especificidade da elaboração e divulgação de um tipo de conhecimento. Uma cultura de avaliação que tem como premissa a descontextualização de procedimentos de ensino e de pesquisa, homogeneizada e replicada em todos os contextos, além de apagar tais diferenças, coloca umas áreas em maior desvantagem sobre outras.

Além dos problemas concomitantes à unificação de critérios de avaliação para as diversas áreas do conhecimento, vários pesquisadores, dentre os quais Carpinteiro (2008), assinalam que o pressuposto da homogeneização de critérios seria o de que os indivíduos são avaliados sob as mesmas condições. Fazendo uma interessante analogia com o sistema de avaliação do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), especialmente para a concessão de bolsa produtividade no país, este autor observa que seria insensato e injusto comparar o tempo de corrida em uma pista de atletismo, em areia de praia ou com a água pela cintura. Isto é, medir os pesquisadores apenas pela quantidade de publicações de “qualidade”, teria como condição o fato de todos eles terem as mesmas circunstâncias ou infra-estrutura institucional para a realização da pesquisa o que, na verdade, não corresponde à realidade brasileira. Dadas as condições diferenciadas entre instituições consolidadas e emergentes, questiona o autor, a política atual ignora como produção em pesquisa o empenho de professores e pesquisadores na criação de condições de pesquisa, em termos de infra-estrutura e formação de recurso humano.

Apesar de Strathern afirmar que a avaliação, no século XX, voltou-se para as instituições em termos de metas, objetivos e para o exame da infra-estrutura, vemos que o recurso humano, centrado principalmente na figura do pesquisador, torna-se o principal meio para angariar recursos para as instituições. Aqui, a avaliação e a pressão institucional recaem sobre ele para se adequar aos parâmetros do que se considera um “pesquisador produtivo”. E os parâmetros estabelecem as publicações Qualis como a prova, por excelência, da qualidade do trabalho e, logo, do bom investimento do dinheiro público. Ser reconhecido como “pesquisador produtivo” parece ser um alvará de bom manuseio do recurso, o que traz, conseqüentemente, prestígio, capital científico, bonificações e apoios financeiros que passam a estar atrelados ao nome. Cria-se, desse modo, um círculo vicioso: o pesquisador produtivo, munido do seu capital tem mais chances de ter recursos para pesquisar e, portanto, para publicar. Do outro lado, os de menor capital, a despeito da qualidade de suas propostas, simplesmente não conseguem ou conseguem menos recursos e, pour cause, publicam menos.

Para finalizar, sobre sua experiência de 1998, Fonseca (2001) manifesta um fato curioso: ninguém questionou seriamente a nova forma de avaliação que chegava já pré-fabricada em termos de metas, linguagem e modalidades. Ao invés de interiorizarmos a lógica perniciosa do sistema de auditoria e de aceitarmos, acreditarmos e levarmos a sério critérios que nos julgam, classificam e nos reduzem a professores/pesquisadores produtivos e não-produtivos, é possível que seja o momento de questionarmos e procurarmos alternativas para sair desta inércia.


Notas

1. A autora agradece a leitura cuidadosa, os comentários e sugestões de Renata Gonçalves e Sávio Cavalcante, co-organizadores deste dossiê.
2. O termo accountabiliy se refere ao conceito de responsabilidade, mas também à idéia de prestação de contas.
3. Em tempo, o órgão governamental responsável pelas faculdades tecnológicas e escolas técnicas do país, acaba de lançar o Índice de Desenvolvimento do Ensino Técnico e Tecnológico do Estado de São Paulo (Idetec), para avaliar essas instituições. O cálculo do índice que inclui, entre outros, taxa de conclusão de curso, empregabilidade dos formados e produtividade também será usado para definir o pagamento de bonificação para professores e funcionários: “Quanto mais alunos uma unidade do Centro Paula Souza conseguir colocar no mercado de trabalho, por exemplo, melhor será sua avaliação e maior a bonificação”. (AGÊNCIA FAPESP, 25/08/2009).
4. Agradecemos a Andrés P. Salanova pela indicação do artigo do professor Cris Shore.
5. E por falar de alianças estratégicas no sistema de avaliação, Adler, Ewing e Taylor chamam a atenção para a aliança entre a Evidence Ltd., uma empresa especializada em análise e interpretação do desempenho da pesquisa, e a Thomson Scientific. (Cf. neste dossiê p. 98).
6. Patsopoulos NA, Ioannidis JPA, Analatos AA. Origin and funding of the most frequently cited papers in medicine: database analysis. BMJ 2006; 332:1061-4 apud Castiel e Sanz-Valero (2007).


Referências

AGÊNCIA FAPESP. Avaliação técnica. Notícias, 25/08/2009. Disponível em: http://www.agencia.fapesp.br/materia/10968/noticias/avaliacao-tecnica.htm – Acesso em 25/08/2009.

ASSOCIAÇÃO BRASILEIRA DE PSICOLOGIA SOCIAL – ABRAPSO. Novo Qualis Periódicos. Disponível em: http://www.abrapso.org.br/siteprincipal/images/nota_qualis.pdf - Acesso em 17/11/ 2008.

ASSOCIAÇÃO BRASILEIRA DE PÓS-GRADUAÇÃO EM SAÚDE COLETIVA – ABRASCO. Nota do fórum de coordenadores de Programas de Pós-Graduação em saúde coletiva sobre o novo Qualis periódicos. Saúde e Sociedade, v.17, n.4, Dec. 2008. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-12902008000400019&lng=en&nrm=iso – Acesso em: 07/10/2008.

CARPINTEIRO, Otávio A. S. Bolsa de Produtividade: Qual o melhor corredor - o que corre 100 metros em 10 segundos ou o que corre em 20 segundos? Jornal da Ciência – Órgão da SBPC, e-mail 3450, de 15 de Fevereiro de 2008. Disponível em: http://www.jornaldaciencia.org.br/Detalhe.jsp?id=54272 – Acesso em: 19/03/2008.

CASTIEL, Luis David; SANZ-VALERO, Javier. Entre fetichismo e sobrevivência: o artigo científico é uma mercadoria acadêmica? Cad. Saúde Pública, Rio de Janeiro, 23(12):3041-3050, dez, 2007.

EL-HANI, Charbel Niño; SALLES, João Carlos; FREIRE Jr., Olival. Para avaliar a qualidade da pesquisa, basta usar indexação, índices de impacto, índices de citação? Jornal da Ciência – Órgão da SBPC, e-mail 3580, de 20 de Agosto de 2008. Disponível em: http://www.jornaldaciencia.org.br/Detalhe.jsp?id=58083. Uma versão deste artigo foi publicada originalmente no Jornal da Ciência, nº 627.

FONSECA, Claudia. Avaliação dos programas de pós-graduação: do ponto de vista de um nativo. Horizontes Antropológicos. Porto Alegre, ano 7, n. 16, p. 261-275, Dezembro de 2001.

JORNAL DA CIÊNCIA. Pesquisadores das áreas de Zoologia e Botânica questionam critérios adotados pela Capes para o novo sistema Qualis. Jornal da Ciência – Órgão da SBPC, e-mail 3765, de 20 de Maio de 2009. Disponível em: http://www.jornaldaciencia.org.br/Detalhe.jsp?id=63548 – Acesso em: 21/05/ 2009

MATTOS, Olgaria. O mal-estar na Universidade. Carta Maior. Sábado, 25 de Junho de 2009. Disponível em: http://www.cartamaior.com.br/templates/colunaMostrar.cfm?coluna_id=4382 – Acesso em: 27/06/2009.

MARQUES, Fabrício. Não à hierarquia. Índice para classificar revistas de humanidades provoca rebelião de editores. Pesquisa FAPESP. Edição Impressa 157, Março 2009. Disponível em: http://revistapesquisa.fapesp.br/?art=3800&bd=1&pg=1

STRATHERN, Marilyn. “Melhorar a classificação”. A avaliação no sistema universitário britânico. Novos Estudos, n. 53, p.15-31, Março de 1999.

STRATHERN, Marilyn. Introduction: new accountabilities. In: STRATHERN, Marilyn (Ed.) Audit Cultures. Anthropological studies in accountability, ethics and the academy. London and New York: Routledge, 2005.