terça-feira, 21 de julho de 2009

O Qualis do Direito

Durante o CONPEDI de Maringá (PR), ocorrido entre os dias 01 e 04 de julho de 2009, a comunidade científica da Pós-graduação em Direito do Brasil deu um passo importante em direção à sua consolidação como “ciência” respeitada pelos cientistas de outras áreas. Há muito tempo eu dizia que nosso primeiro problema era de uma “surdez recíproca”: as outras áreas não ouviam o que dizíamos e nós não ouvíamos o que elas diziam. Éramos como um bando de cegos apalpando o elefante de depois tentando descrevê-lo (Um diz: "o elefante é longo, comprido, curvo e frio”. Outro responde: “Não, você está errado: ele é curto, tem fiapos na ponta, balança e é mole!”. O que eles não sabem é que estão apalpando partes diferentes do elefante).Houve dois pontos altos no congresso: um foi a conferência de abertura, realizada pelo professor Jorge Douglas Price, da Argentina (sobre a qual blogarei oportunamente). Outro foi o painel sobre Indexação da Produção Científica, que contou com um representante da Associação Brasileira de Editoras Científicas (o professor Benedito Barraviera), com um representante do Scielo (o professor Rogério Meneghini) e com uma representante da Thomson, responsável pela Web of Science (a professora Deborah Dias). Os presentes ao painel chegaram à conclusão que tudo aquilo que o CONPEDI e o Comitê de Área do Direito pensavam saber sobre produção científica, indexação e Qualis pode estar errado. Um professor desesperado, após o painel, me disse: “agora a casa caiu!”. Mas eu respondi: “Não, professor, agora é que começamos a construí-la”.Em todas as áreas de conhecimento, o Qualis, ferramenta da CAPES que organiza e pontua a produção científica, é construído a partir de fatores de impactos, medidos pela Web of Science. Fator de impacto é a repercussão de uma revista em uma comunidade acadêmica (divide-se o número de citações que uma revista teve pelo número de artigos que ela publicou em um ano). É a Thomson que elabora esse índice.A primeira surpresa para mim foi que o fator de impacto nada tem a ver com a peer review. Ao contrário, a avaliação por peer review, basicamente qualitativa, que tem se tornado inviável por causa do volume crescente da produção científica, tem passado a conviver com critérios bibliométricos (quantitativos) de avaliação da produção científica. É a isso que o Fator de Impacto corresponde (há também o Fator H, que mede o “impacto”, não de uma revista, mas de um autor. Sobre ele blogarei em outra oportunidade). Tais critérios bibliométricos complementam a peer review, e dizem respeito ao lema da vida acadêmica: publish or perish (sobre esse lema, consulte a Wikipedia em inglês. Há um verbete sobre ele).O Scielo, por sua vez, é uma base de dados que recolhe revistas com fator de impacto respeitável (evidentemente, esse não é o único critério para uma revista entrar no Scielo). Ora, como pode uma revista que sequer é citada pelas outras revistas da base do Scielo pretender constar da base? É impossível! 16 revistas brasileiras de Direito (três de Belo Horizonte) submeteram-se em 2008 ao ingresso do Scielo nos últimos anos. Nenhuma foi aceita.Outra revelação interessante: há artigos de Direito no Scielo e na Web of Science, mas não revistas de direito. Como isso é possível? Na opinião do professor Rogério, isso é possível porque, provavelmente, a área de Direito é a que mais interessa (secundariamente) às outras áreas. Há muitos artigos de Direito, por exemplo, em revistas de Medicina. Então é possível, sim, que uma revista de Direito passe a ser citada em um artigo da Scielo (primeiro passo para essa revista vir a ingressar no Scielo).Mais uma revelação importante: nas outras áreas de conhecimento, o peso de artigos em periódicos é muito maior que o peso de livros e capítulos de livro (periódicos tem acesso mais amplo e são mais baratos, sendo a base do Scielo composta apenas de periódicos abertos). Para se ter uma idéia, em outras áreas de conhecimento os artigos citam apenas 33% de livros e capítulos de livros. 67% dos textos citados neles são de outros artigos em periódicos. Pois bem: o professor Rogério avaliou uma revista nacional, considerada importante pela área de Direito brasileira. Nela havia 11 artigos, sendo dois artigos de autores americanos traduzidos para o português. Nos artigos de autores americanos, havia 29% de citações de artigos de periódicos e 71% de capítulos de livros. Nos artigos dos brasileiros, havia apenas 8% de artigos de periódicos citados. O que isso permite constatar? Que, se é verdade que os padrões internacionais da área de Direito são diferentes das outras áreas (menos citações de periódicos), também é verdade que os artigos da área no Brasil estão longe do padrão internacional da área.Finalmente, a constatação mais preocupante: como foi construído o Qualis nas outras áreas? A partir do fator de impacto. Cada área estabeleceu a mediana de impacto das revistas de sua área, a partir do Web of Science. Para exemplificar, tomemos a área da Capes chamada Medicina II: se uma revista tinha o seu fator de impacto equivalente a mais de três vezes a mediana da área, seu Qualis seria A1. Se maior que duas vezes e menor que três vezes, seu fator de impacto seria A2. Se menor que 2, seria B1, e assim sucessivamente. Vejam que aqui há um critério objetivo. Mas e a área de Direito, que não possui fator de impacto? Como é possível construir um Qualis nessa área? A resposta a essa pergunta não poderá ser: construindo outros critérios. A única resposta possível será: construindo um fator de impacto, o que só será possível se as revistas brasileiras da área entrarem para a Web of Science. Sem isso, a área do Direito ficará sempre na berlinda.
Marcelo Galuppo
Coordenador do Programa de Pós-graduação em Direito

Seguidores

Pesquisar este blog