Acessibilidade / Reportar erro

As Armadilhas do Discurso sobre a Avaliação da Educação Superior

Resumo:

Os discursos das propostas de avaliação da educação superior tornam-se armadilhas ao não articularem o seu para quê?, para quem?, o quê? e como?. Neste artigo, explicita-se como tais armadilhas são construídas a partir da análise de uma proposta de planejamento e avaliação de uma instituição pública do Estado de São Paulo. A análise da proposta tem como base as ideias de Paulo Freire e outros autores que investigaram a proliferação dos sistemas de avaliação como controle. Conclui-se que, na construção discursiva das diferentes propostas de avaliação, frequentemente, está presente a ideia de controle. Embora utilizem um discurso emancipatório, elas instauram um instrumento de controle quantitativo que pode gerar um aumento da exclusão, do produtivismo e da competição.

Palavras-chave:
Avaliação da Educação Superior; Instrumentos de Avaliação; Avaliação Institucional

Abstract:

The discourses of higher education assessment proposals become traps by not articulating their what for?, for whom? what? and how?. In this paper it is elucidated how such traps are constructed by analyzing the proposal of planning and evaluation of a public institution of the state of São Paulo. The proposal analysis is grounded on the ideas of Paulo Freire and other authors who investigated the proliferation of assessment systems as control. It is concluded that, in the discursive construction of the different assessments proposals, often the idea of control is present. Although an emancipatory discourse is used, they establish an instrument of quantitative control that can generate an increase of exclusion, productivism and, competition.

Keywords:
Higher Education Assessment; Evaluation Instruments; Institutional Assessment

Há muitas armadilhas no mundo e é preciso quebrá-las (Ferreira Gullar).

Introdução

O discurso sobre a avaliação propaga a ideia de que ela é um instrumento para alcançar a qualidade da educação e, por isso, tem se tornado recorrente e originado diversas propostas de avaliação, muitas destas ligadas à ideia de controle, embora façam uso de um discurso aparentemente emancipatório, criando diversas armadilhas aos seus destinatários. Tais armadilhas aparecem sob diferentes formas: conceituais, estatísticas, discursivas, entre outras que integram o universo da avaliação. Para quebrar tais armadilhas, é preciso conhecê-las, sem isso, corremos o risco de defender propostas avaliativas ditas emancipatórias, mas que não condizem, de fato, com uma proposta de educação reflexiva. Com o propósito de explicitar essas armadilhas, tomamos como referência Paulo Freire (1987FREIRE, Paulo. Pedagogia do Oprimido. 17. ed. Rio de Janeiro: Paz e Terra, 1987.), que afirma a necessidade de questionarmos o para quê?, para quem, o quê? e como? de toda política pública.

Essas questões parecem triviais, mas não são; não é possível dizer como avaliar se não sabemos o porquê ou para quem. Conforme as respostas dadas a estas questões, teremos uma ou outra concepção de avaliação que apresentará consequências diferentes. Podemos ter uma avaliação que ajuda a excluir os mais frágeis, ou ainda, uma avaliação que conjuga uma educação de excelência com inclusão social, tudo depende das respostas obtidas nestas perguntas iniciais.

Este artigo tem como objetivo explicitar a dinâmica do que batizamos como armadilhas, presentes nas propostas de avaliação de instituições de ensino superior (IES). Neste texto, designamos como armadilhas as propostas que fazem a justaposição entre para quê, para quem, o quê e como sem efetivamente articulá-los de forma coerente. Assim, uma proposta acaba criando uma armadilha na medida em que propõe um como que exclua as pessoas e, no entanto, utilize uma justificativa (para quê) que defenda a inclusão.

Para realizar esta análise, escolhemos a proposta de planejamento e avaliação desenvolvida, em 2017, pela Universidade Estadual Paulista Júlio de Mesquita Filho (UNESP), por meio da sua Comissão Própria de Avaliação (CPA), no documento intitulado “Planejamento e Avaliação na UNESP: proposta de redefinição de ponto de partida e de percurso” (Unesp, 2017UNESP. Universidade Estadual Paulista. Planejamento e Avaliação na UNESP: proposta de redefinição de ponto de partida e de percurso. 2017. Disponível em: <Disponível em: unesp.br/cpa/Home/planejamento-e-avaliacao---documento-completo-31-jul-17.pdf >. Acesso em: 01 jun. 2018.
unesp.br/cpa/Home/planejamento-e-avaliac...
). A razão da escolha pelo caso da Unesp reside no convite da Associação dos Docentes da Unesp (Adunesp) para participação em uma mesa redonda para discutir a proposta de autoavaliação da Instituição.

A pesquisa apresentada neste artigo é considerada qualitativa, mais precisamente um estudo de caso que tem como foco a análise de uma proposta de planejamento e avaliação. Para André (2008ANDRÉ, Marli Eliza Dalmazo Afonso de. Estudo de Caso em Pesquisa e Avaliação Educacional. 3. ed. Brasília: Liber Livro Editora, 2008.), o que define a opção metodológica pelo estudo de caso é o conhecimento que ele gerará, por isso a questão básica ao se adotar esta metodologia é o que se aprende ao estudar determinado caso. O conhecimento gerado pelo estudo de caso é mais concreto, porque tem a sua base numa experiência real, além disso, é mais contextualizado, porque parte de uma situação existente.

Na leitura do documento e de críticas encaminhadas por docentes à Adunesp, levantamos a hipótese de que o documento continha algumas armadilhas. Usando como fio condutor as questões sugeridas por Paulo Freire, foi realizada a análise do documento. Após a mesa redonda, o documento foi retomado, sendo refeito o caminho metodológico com objetivo de aprofundarmos a análise e o diálogo com a literatura da área.

O documento que contém a proposta, elaborada pela Comissão Própria de Avaliação da Unesp, é dividido em oito seções, sendo as duas primeiras destinadas ao resgate da autoavaliação institucional vigente, as três seguintes são dedicadas aos princípios que nortearam a elaboração da proposta, e as três últimas explicitam as características da proposta e a sua operacionalização.

A fim de analisar esta proposta, este artigo está organizado em três momentos. No primeiro, analisaremos a armadilha do discurso presente na proposta de redefinição de ponto de partida e de percurso trazida no referido documento. No segundo, discutiremos três tipos de armadilhas: as conceituais, a estatística e a da ideia do progresso contínuo contidas no discurso avaliativo. No terceiro momento, teceremos nossas considerações finais.

A Armadilha do Discurso

A armadilha discursiva se constrói ao pronunciar um discurso sobre algum tema utilizando ideias de fácil aceitação para a maioria da população. Como menciona Foucault (2009FOUCAULT, Michel. A Ordem do Discurso. Edições Loyola, 2009., p. 9), o discurso é um jogo de escrita e leitura; a sociedade, por sua vez, produz diferentes tipos de discursos, com diferentes intenções, deste modo “[…] em toda sociedade a produção do discurso é ao mesmo tempo controlado, selecionado, organizado e redistribuído por certo número de procedimentos [...]”.

A partir de consensos generalizados, Foucault (2009FOUCAULT, Michel. A Ordem do Discurso. Edições Loyola, 2009.) ressalta que alguns discursos convencem muitos indivíduos, embora apregoem valores diferentes do que estes defendem. Desta forma, as armadilhas conceituais são construídas a partir de um discurso que une valores opostos, mas que muitas vezes aparecem, numa análise superficial, como complementares.

Grande parte do discurso presente nas propostas de avaliação é construído de forma contraditória. Muitas vezes, na justificativa (no para quê) são utilizados discursos de valorização do ser humano e, ao operacionalizar (o como) suas propostas de avaliação, o fazem a partir de conceitos meritocráticos. Exemplo desta construção é a Declaração Mundial sobre Educação para Todos: satisfação das necessidades básicas de aprendizagem, publicada pela Unesco (1998UNESCO. Organizações das Nações Unidas para a Educação, Ciência e Cultura. Declaração Mundial sobre Educação Para Todos (Conferência de Jomtien). Tailândia: Unesco, 1998. Disponível em: <Disponível em: http://unesdoc.unesco.org/images/0008/000862/086291por.pdf >. Acesso em: 28 de maio 2018.
http://unesdoc.unesco.org/images/0008/00...
), que apresenta os resultados da conferência de Jomtien realizada em 1990 na Tailândia.

Essa declaração traz no seu preâmbulo uma fala emancipatória com foco no social. Entretanto, na execução, se propõe práticas de controle, prevendo ações a partir de um enfoque gerencial alinhado à visão economicista, de responsabilização dos professores e de desresponsabilização dos Estados. Tais ações acabam por estimular a concorrência entre escolas, a supervalorização do mérito e da recompensa (Unesco, 2018).

Um dos mecanismos nas armadilhas discursivas comumente encontrados nas propostas de avaliação se refere à propagação de um discurso hegemônico sobre os seus efeitos positivos. Para Moita Lopes (2003MOITA LOPES, Luiz Paulo da. A Nova Ordem Mundial, os Parâmetros Curriculares Nacionais e o Ensino de Inglês no Brasil: a base intelectual para uma ação política. In: BARBARA, Leila; RAMOS, Rosinda de Castro Guerra (Org.). Reflexão e Ações no Ensino-Aprendizagem de Línguas. Campinas: Mercado de Letras, 2003. P. 29-57.), a construção de um discurso único e global pode levar as pessoas a serem facilmente manipuladas e, em consequência disto, defenderem ideias que as prejudiquem a longo prazo. Desconstruir tais discursos e perceber o que está na sua base é o único caminho para evitar o que chamamos de armadilhas.

Podemos inferir que atualmente há um discurso global sobre a avaliação e, segundo Torres (1996TORRES, Rosa Maria. Melhorar a qualidade da educação básica? As estratégias do Banco Mundial. In: TOMMASI, Lívia De; WARDE, Miriam; HADDAD, Sérgio (Org.). O Banco Mundial e as Políticas Educacionais. São Paulo: Cortez /Ação Educativa/PUCSP, 1996. P. 125-194., p. 134), um dos difusores da concepção de avaliação externa são os organismos internacionais, ao defenderem a ideia de que a qualidade da educação pode ser medida através de notas/pontos, “[…] a qualidade localiza-se nos resultados e esses verificam-se no rendimento escolar”. Esta visão simplista, grandemente alardeada pela mídia, estimula, sobretudo, a competição.

O modelo neoliberal de política, além das mudanças estruturais, se faz sentir na propagação de uma ideologia que promove o individualismo e a competitividade, o que legitima a própria existência deste modelo. “Estas mudanças ideológicas e práticas do estado instituem-se como ideias do senso comum que, por sua vez, moldam as novas estruturas e práticas institucionais do novo regime de regulação do estado” (Robertson; Dale, 2001ROBERTSON, Susan; DALE, Roger. Regulação e Risco na Governação da Educação: gestão dos problemas de legitimação e coesão social em educação nos Estados competitivos. Educação, Sociedade e Culturas, Porto, n. 14 p. 117-147, 2001. Disponível em: <Disponível em: http://www.fpce.up.pt/ciie/revistaesc/ESC15/15-7-roberston.pdf >. Acesso em: 19 fev. 2018.
http://www.fpce.up.pt/ciie/revistaesc/ES...
, p. 129).

Souza e Oliveira (2003SOUZA, Sandra Zákia Lian de; OLIVEIRA, Romualdo Portela de. Políticas de Avaliação da Educação e Quase Mercado no Brasil. Educação & Sociedade , Campinas, v. 24, n. 84, p. 873-895, set. 2003. Disponível em: <Disponível em: http://www.scielo.br/pdf/es/v24n84/a07v2484.pdf >. Acesso em: 21 mar. 2018.
http://www.scielo.br/pdf/es/v24n84/a07v2...
) corroboram as ideias de Robertson e Dale e afirmam que a lógica do capital e do mercado passou a influenciar a educação. Desta forma, valores como competição, ranqueamento e a ideia de qualidade associada a resultados quantitativos foram se tornando centrais nas políticas públicas. Em decorrência deste processo, os mecanismos de avaliação se tornaram comuns e associados à ideia de qualidade.

O discurso da proposta analisada tem dois momentos, o primeiro, de contextualização, apresenta os princípios (o para quê) ligados principalmente a uma visão emancipatória da avaliação, propondo como ponto de partida cinco valores caros à universidade: autonomia, transformação, equidade, transparência e comparação. Contudo, no segundo momento, de operacionalização, ao apresentar o quê e o como, utilizam os valores de produtividade e de competitividade para a construção de indicadores de controle de desempenho.

A produtividade e a competitividade não são princípios presentes na primeira parte, estes princípios direcionam a avaliação para atender os interesses do mercado (para quem). Na proposta, a armadilha não consiste apenas em deixar implícito o para quem, em justapor um para quê com valores distintos do que e do como, mas também é uma armadilha a forma como eles estão articulados.

No documento, o discurso é estruturado do seguinte modo: propõe-se que cada Departamento da Universidade utilize uma gama de indicadores que irão compor um índice final de desempenho. É apresentada uma lista de indicadores quantitativos obrigatórios e optativos e a eles ainda podem ser inseridos outros indicadores eletivos por cada um dos Departamentos. Para consolidação do índice, cada Departamento define o peso que será dado a cada um dos indicadores dentro dos limites estabelecidos. Ao final do processo, cada Departamento terá uma gama de indicadores que permitirá aferir a sua produtividade.

Apesar da proposta não prever a criação de um índice, ela fornece elementos para um ranqueamento e, consequentemente, uma competitividade. A armadilha consiste no fato de os princípios enunciados apontarem para uma liberdade de os Departamentos escolherem os indicadores de controle, o que não deixa de ferir a sua autonomia. Em outras palavras, a armadilha discursiva consiste em subordinar os princípios de autonomia, transformação, equidade, transparência e comparação aos princípios de produtividade e de competitividade por meio da livre escolha dos indicadores.

A proposta de avaliação analisada está presa àquilo que podemos chamar de controle à distância flexível. Nas políticas gerenciais, são criados mecanismos de controle por meio de indicadores padronizados de caráter quantitativo, o que “[…] contribui para mudanças na tecnologia de controle estatal” (Ball, 2006BALL, Stephen. Sociologia das Políticas Educacionais e Pesquisa Crítico-Social: uma revisão pessoal das políticas educacionais e da pesquisa em política educacional. Currículo sem Fronteiras, Brasília, v. 6, n. 2, p. 10-32, jul./dez. 2006., p. 12). Por exemplo, o Conceito Preliminar de Curso (CPC) é um indicador que permite a aferição da qualidade com o desempenho da Instituição, sem a necessidade de visitas de especialistas para avaliar a qualidade dos cursos (Barreyro; Rothen, 2014BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. Percurso da Avaliação da Educação Superior nos Governos Lula. Educação e Pesquisa, São Paulo, v. 40, n. 1, p. 61-76, jan./mar. 2014.).

As propostas gerenciais utilizam indicadores padronizados para o controle, no caso da proposta da Unesp, os Departamentos escolhem os indicadores e os pesos que serão utilizados na avaliação, ou seja, eles têm a flexibilidade de determinar como será o seu controle a distância. Cada Departamento escolhe alguns indicadores quantitativos que se baseiam em dados qualitativos, mas, em uma análise mais profunda, eles são apenas quantitativos.

Como os Departamentos podem escolher os indicadores pelos quais serão avaliados, há o risco de um Departamento desconsiderar os seus reais problemas. Por exemplo, um deles pode entender que o seu maior problema é a evasão dos alunos de graduação. Em uma visão emancipatória, este dado o levaria a buscar causas e a adotar procedimentos para diminuir a evasão. Em uma política que nós denominamos aqui de controle flexível, o Departamento poderá pontuar este quesito com um peso menor, diminuindo a sua importância no conjunto das suas ações. Desta forma, não se resolve o problema. No entanto, ele não prejudicará a pontuação Departamental, pois o Departamento, nessa suposição, escolhe que a questão da evasão tem menor peso.

Todos os processos baseados em pontuação, mesmo que não tenham a intenção de transformar essa prática avaliativa em instrumentos de controle e de ranqueamento, acabam por oferecer um rico material que possibilita esta prática. Desta forma, apesar de critérios de avaliação diferentes nas diversas áreas, é possível fazer, o que nós denominamos aqui, um ranqueamento flexível, ou seja, cada Departamento define os indicadores pelos quais ele será ranqueado, diferentemente dos rankings tradicionais em que os padrões são definidos externamente.

Propostas quantitativistas aderem ao princípio de competição tão alardeado pelas políticas neoliberais. Tal princípio tem atingido os próprios professores e estimulado a rivalidade entre as instituições de ensino. Esta ideologia, ao invés de estimular a colaboração, reforça a competição e o individualismo, principais causas do isolamento no trabalho em sala de aula.

Neste cenário, tanto a aprendizagem quanto a qualidade foram reduzidas a notas e índices. Como afirma Santomé (2003SANTOMÉ, Jurjo Torres. A Educação em Tempos de Neoliberalismo. Porto Alegre: Artmed, 2003., p. 47) “[…] ser competitiva significa ser mais produtiva, mais eficiente, ser capaz de apresentar superiores números e desempenhos”. Neste contexto, a alteridade e a sociabilidade perdem a importância.

Armadilha Conceitual

O primeiro conjunto de armadilhas encontrado no discurso sobre avaliação é o de natureza conceitual, que se refere àquelas construções argumentativas que utilizam expressões-chave, que são aceitas como verdadeiras pela maioria das pessoas. Sobre isso Worthen (1982WORTHEN, Blaine. Visão Geral do Mosaico Formado pela Avaliação e Controle Educacionais. In: GOLDBERG, Maria Amélia Azevedo; SOUSA, Clarilza Prado (Org.). Avaliação de Programas Educacionais: vicissitudes, controvérsias, desafios. São Paulo: EPU, 1982. P. 04-09., p. 07) ressalta que, a clareza conceitual é um traço essencial para qualquer bom plano avaliativo, pois, segundo o autor, “[…] se não houver uma perfeita compreensão da avaliação específica que está se propondo […] o restante da avaliação corre sério risco de vir a ser bastante confuso”.

As armadilhas conceituais nos aprisionam à ideia de que a avaliação ocorre num vazio conceitual que tem a pretensão de ser cada vez mais neutro e objetivo, “[…] como se a avaliação fosse isenta de valores e interesses” (Dias Sobrinho, 2008, p. 821), “[…] capaz de determinar de forma absolutamente objetiva o que é bom ou o que não o é” (Dias Sobrinho, 2004DIAS SOBRINHO, José. Avaliação Ética e Política em Função da Educação como Direito Público ou como Mercadoria? Educação & Sociedade, Campinas, v. 25, n. 88, p. 703-725, out. 2004., p. 705). Na educação superior brasileira, essa tendência se acentuou na segunda metade dos anos 1990 com a instituição da avaliação como política regulatória (Barreyro; Rothen, 2008BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. Para uma História da Avaliação da Educação Superior Brasileira: análise dos documentos do PARU, CNRES, GERES e PAIUB. Avaliação, Campinas; Sorocaba, v. 13, n. 1, p.131-152, mar. 2008.).

Em decorrência desta tendência, surgem diversos problemas de natureza conceitual, que são relacionados, entre outros fatores, à associação equivocada do uso de controle, que pode acontecer quando se usa termos como avaliação, meritocracia, autonomia, responsabilidade e prestação de contas. Ou ainda quando qualidade aparece como sinônimo de racionalidade instrumental e acaba promovendo a supervalorização de indicadores quantitativos sem se levar em conta os atores envolvidos, os diferentes contextos educacionais e as demais políticas públicas voltadas para a educação.

Desta forma, o discurso da qualidade tem servido para promover a elitização e a meritocracia para as instituições de ensino, reforçando, inclusive, a exclusão. Assim, para nos desvincularmos dessas armadilhas conceituais e construirmos uma avaliação que tenha um potencial emancipatório, com forte viés crítico-transformador (Saul, 2010SAUL, Ana Maria. Avaliação Emancipatória: desafio à teoria e à prática de avaliação e reformulação de currículo. 8. ed. São Paulo: Cortez , 2010.), devemos saber do que estamos falando, o porquê e para quem falamos. Se o nosso porquê está relacionado à construção de um sistema avaliativo fundamentado na abordagem emancipatória, alguns termos precisam ser revisitados. É o que fazemos nos itens a seguir quando discutimos avaliação, autonomia, responsabilidade, prestação de contas/publicização dos resultados e meritocracia.

Avaliação

A avaliação faz parte da vida do ser humano, e não há como compreendermos a universidade e a educação sem as práticas avaliativas, de modo que parece inconcebível a educação sem a avaliação. No entanto, poucas vezes nos indagamos sobre o real significado do ato de avaliar. Avaliar, segundo Vianna (1989VIANNA, Heraldo Marelim. A Prática da Avaliação Educacional: algumas questões metodológicas. Cadernos de Pesquisa, São Paulo, n. 69, p. 40-47, maio 1989., p. 41), é determinar o valor de alguma coisa para um determinado fim, trata-se da emissão de “[…] um julgamento de valor sobre a característica focalizada, podendo esse valor basear-se, parcial, mas não exclusivamente, em dados quantitativos”.

Outra concepção recorrente é a ideia de que avaliar é medir o desempenho com o objetivo de identificar o sucesso na aprendizagem. Ainda de acordo com o mesmo autor, medir “[…] é uma operação de quantificação, em que se atribuem valores numéricos, segundo critérios preestabelecidos, a características dos indivíduos, para estabelecer o quanto possuem das mesmas” (Vianna, 1989VIANNA, Heraldo Marelim. A Prática da Avaliação Educacional: algumas questões metodológicas. Cadernos de Pesquisa, São Paulo, n. 69, p. 40-47, maio 1989., p. 41).

Luckesi (1998LUCKESI, Cipriano Carlos. Verificação ou Avaliação: o que pratica a escola? Idéias, São Paulo, n. 8, p. 71-80, 1998.) compreende que o ato de avaliar engloba coleta, análise e síntese dos dados que configuram o objeto da avaliação, acrescido de uma atribuição de valor ou qualidade, que se processa comparando a configuração do objeto avaliado com um determinado padrão de qualidade previamente estabelecido para aquele tipo de objeto.

Nessa acepção, a avaliação se assemelha ao que Vianna (1989VIANNA, Heraldo Marelim. A Prática da Avaliação Educacional: algumas questões metodológicas. Cadernos de Pesquisa, São Paulo, n. 69, p. 40-47, maio 1989., p. 41) denomina como “[…] atividades sistemáticas ou formais para o estabelecimento do valor de fenômenos educacionais [...]”, uma vez que está previsto pelos autores uma atribuição de valor ou qualidade do que se pretende avaliar.

Nas concepções mais modernas de avaliação, adotamos uma postura diagnóstica e nos perguntamos: o que significa o resultado desse aluno? Quais são as suas dificuldades e as suas potencialidades? Nessa concepção, a avaliação é vista como um importante instrumento de auxílio a aprendizagem, cuja função primordial é a de ajudar os alunos a aprender, sobretudo, quando se prevalecem modelos de avaliação baseados em classificações e um sistema educacional que faz com que os alunos percam o interesse pela escola e a abandonem devido a constantes reprovações (Fernandes, 2009FERNANDES, Reynaldo; GREMAUD, Amaury Patrick. Qualidade da educação: avaliação, indicadores e metas. In: FERNANDES, Reynaldo; GREMAUD, Amaury Patrick. Educação Básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elsevier, 2009. P. 213-238.).

Nas práticas estatais de avaliação externa, ela é muitas vezes compreendida como concorrência entre instituições. Desta forma, embora utilizemos a mesma nomenclatura avaliação, estamos tratando de instrumentos com propósitos (para quê?) diferentes. No caso da avaliação externa, muitas vezes, o princípio da avaliação já foi distorcido.

Um exemplo claro desta distorção é a avaliação realizada pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES): se um programa é nota cinco, ele é melhor que um programa quatro e pior do que um programa nota seis; não se leva em consideração o significado daquela pós-graduação na instituição e/ou na sociedade, os avanços que ela trouxe para a comunidade, nem tampouco as dificuldades que levaram a tal desempenho, trata-se de uma avaliação puramente quantitativa e concorrencial. Esta é uma armadilha conceitual, por isso é necessário avaliar a própria avaliação, pois ela, muitas vezes, se tornou uma avaliação concorrencial, não mais educacional.

A proposta de planejamento e avaliação analisada (Unesp, 2017UNESP. Universidade Estadual Paulista. Planejamento e Avaliação na UNESP: proposta de redefinição de ponto de partida e de percurso. 2017. Disponível em: <Disponível em: unesp.br/cpa/Home/planejamento-e-avaliacao---documento-completo-31-jul-17.pdf >. Acesso em: 01 jun. 2018.
unesp.br/cpa/Home/planejamento-e-avaliac...
, p. 22), ao tratar dos critérios mínimos de desempenho docente, propaga a ideia de uma competição contínua: “[…] não se estabelece qualquer patamar mínimo ou máximo para as escolhas a serem feitas por docentes e pesquisadores”, o que “[…] reforça a ideia de um dado ideal de desempenho, o que pode não ser exequível para todos, no mesmo ritmo e do mesmo modo”, assim como acaba gerando competições que priorizam mais a quantidade no lugar da qualidade do trabalho individual dos docentes e pesquisadores.

Na proposta de avaliação, a comparação acontece por meio da “autoavaliação” sobre o projetado e o efetivado pelo Departamento, considerando-se seus docentes e pesquisadores com suas expertises, competências e habilidades”; a “avaliação progressiva” da situação, “[…] num momento e no decorrer do tempo, tanto dos ‘Departamentos’ quanto de docentes e pesquisadores”; a “avaliação comparada interna” entre Departamentos e Unidades, “[…] conforme grandes áreas e áreas de conhecimento”; e uma “avaliação comparada externa” entre a universidade e outras universidades nacionais e estrangeiras, “[…] considerando-se a missão da nossa universidade e seus objetivos” (Unesp, 2017, p. 14).

A armadilha do discurso sobre a avaliação apresentada no documento analisado está na crítica que é feita ao aspecto quantitativo presente na planilha de avaliação individual de desempenho docente retratado em seu modelo de avaliação, que acaba promovendo comparações sincrônicas entre “Unidades” e seus “Departamentos” e diacrônicas entre o quinquênio que se encerra e o anterior, mas não chega a ser processual. Entretanto, ao propor uma redefinição da avaliação, acaba retomando a ideia de competição ao sugerir mecanismos de comparação mais flexíveis entre docentes e pesquisadores, grandes áreas e áreas de conhecimento e entre a instituição e outras IES nacionais e estrangeiras.

Autonomia

A segunda armadilha se refere ao termo autonomia, palavra de origem grega “[…] composta pelos radicais auto (que significa próprio, peculiar) e nomia (que significa lei, regra), o que designa a ideia de direção própria” (Ribeiro, 2016RIBEIRO, Daniella Borges. A autonomia universitária na era da parceria público-privado. Universidade e Sociedade, Brasília, v. 58, p. 104-115, jun. 2016. Disponível em: <Disponível em: http://www.andes.org.br/imprensa/publicacoes/imp-pub-98128498.pdf >. Acesso em: 01 jun. 2018.
http://www.andes.org.br/imprensa/publica...
p. 107). A ideia de autonomia aparece vinculada à maioridade, o que implica a capacidade de tomar decisões e de autocontrole das próprias práticas.

Desta forma, a autonomia universitária permite que ela atue na sociedade com valores diferentes dos adotados na vida social, com conhecimentos que não são necessariamente conhecidos por todos. Exemplo disto é a escolha dos temas a serem investigados. Uma pesquisa sobre o aquecimento global ou sobre o genocídio judeu contribui para a melhoria da nossa sociedade de diferentes formas e ambas devem ter o direito de acontecer. A universidade não precisa de autorização para que tais pesquisas aconteçam, ela tem capacidade de tomar decisões e desenhar os seus caminhos.

O princípio da autonomia é garantido pela Constituição de 1988 (Brasil, 1988BRASIL. Constituição da República Federativa do Brasil. Diário Oficial da República Federativa do Brasil, Brasília, 1988.), em seu artigo 207. Embora, aparentemente, o termo pareça reflexo de um consenso, não o é na sua íntegra, uma vez que esta autonomia deve ser exercida respeitando o princípio da garantia de padrão de qualidade, que aparece no inciso VII do artigo 206 da mesma Constituição. Ela é regulada, portanto, pela qualidade, que pode ser medida de modos diferentes em cada sociedade. É possível inferir que, ao criar uma planilha de avaliação, a instituição de ensino está subordinando a sua autonomia a este instrumento avaliativo.

Toda autonomia é relativa, neste sentido, Afonso (2007AFONSO, Almerindo Janela. Estado, Políticas Educacionais e Obsessão Avaliativa. Contrapontos, Itajaí, v. 7, n. 1, p. 11-22, jan./abr. 2007.) afirma que a autonomia das instituições de ensino foi mais retórica do que real e possibilitou o discurso que justifica a avaliação como meio para se controlar a qualidade e a responsabilização dos atores envolvidos.

Para Afonso (2009AFONSO, Almerindo Janela. Nem Tudo o que Conta em Educação é Mensurável ou Comparável. Crítica à Accountability Baseada em Testes Estandardizados e Rankings Escolares. Revista Lusófona de Educação, Lisboa, v. 13, n. 13, p. 13-29, jul. 2009.), este aumento do controle vem acompanhado da perda da autonomia, num cenário em que as universidades estão construindo mecanismos de avaliação, que facilitam o seu controle tanto externo como interno. A própria Lei de Diretrizes e Bases da Educação Nacional (Brasil, 1996BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da República Federativa do Brasil , Brasília, 22 dez. 1996.) afirma em seu artigo 67 a necessidade da avaliação de desempenho dos profissionais da educação para que possam ter progressão funcional; ao criar uma planilha de avaliação, mesmo que esta não seja a intenção primeira, ela pode resultar numa forma de avaliação dos servidores e interferir, a longo prazo, na sua progressão funcional: a autonomia se subordina à avaliação.

A justificativa para a criação de instrumentos de avaliação tem sido o aumento da competitividade econômica, da eficiência do Estado e da melhoria da qualidade de ensino. Este discurso da qualidade, conforme analisa Afonso (2007AFONSO, Almerindo Janela. Estado, Políticas Educacionais e Obsessão Avaliativa. Contrapontos, Itajaí, v. 7, n. 1, p. 11-22, jan./abr. 2007., p. 18), se mostra sedutor, pois reduz qualidade a uma nota obtida em uma avaliação, comumente quantitativa “[…] sem levar em conta as políticas educacionais, os sujeitos e os respectivos processos e contextos educativos”.

Uma armadilha comum é a ampliação na quantidade de avaliações. Vemos isto na proposta analisada ao mencionar o número de avaliações realizadas pela instituição, conforme segue:

Por fim, outra constatação estimulou, igualmente, a elaboração de uma nova proposta: a graduação e a pós-graduação já são planejadas e avaliadas pelas respectivas coordenações, conselhos e agências e/ou organismos e instituições externos à Unesp, faltando, aos ‘DEPARTAMENTOS’, processo que estimule as ações de planejamento, autoavaliação e avaliação (Unesp, 2017, p. 06)

Deste modo, a avaliação passa a atingir também os Departamentos, criando uma cultura de avaliação e aderindo ao que Afonso chama de “obsessão avaliativa”. Estas avaliações se revestem de uma pseudoneutralidade e, por isso, legitimam e justificam a hierarquização dos indivíduos que passam a internalizar as regras da nossa sociedade desigual e se responsabilizar pelo seu desempenho.

A autonomia foi posta em xeque, e o professor se dedicará àquilo que for melhor pontuado pelo Departamento. O fato destes indicadores serem pontuados de modo flexível, de acordo com as especificidades de cada área, não significa que eles não devam ser respeitados. Trata-se, portanto de uma autonomia flexível. O próprio documento menciona que esta autonomia está condicionada a diferentes fatores:

1. Autonomia: a) dos ‘DEPARTAMENTOS’, células básicas em que se realiza a vida acadêmica; b) das UNIDADES’, segundo seus perfis; c) da universidade, como responsável pela condução de seu projeto institucional; d) de seus docentes e pesquisadores, desde que ela seja praticada em consonância com o plano de trabalho das diferentes instâncias da Unesp (Unesp, 2017UNESP. Universidade Estadual Paulista. Planejamento e Avaliação na UNESP: proposta de redefinição de ponto de partida e de percurso. 2017. Disponível em: <Disponível em: unesp.br/cpa/Home/planejamento-e-avaliacao---documento-completo-31-jul-17.pdf >. Acesso em: 01 jun. 2018.
unesp.br/cpa/Home/planejamento-e-avaliac...
, p. 14).

Neste caso, autonomia é relativa, pois há uma planilha que atribui valores diferentes a determinadas atividades. A pontuação máxima na planilha seria um indicativo de qualidade e, para consegui-la, o servidor deverá cumprir os itens que integram a planilha. Desta forma, a sua autonomia foi relativizada.

Na proposta analisada, o item Ensino e pesquisa de graduação e pós-graduação é uma variável obrigatória, enquanto a participação em projetos de extensão é uma variável optativa. Tal diferenciação nos permite inferir que essas atividades são valorizadas de diferentes formas dentro da universidade.

A própria construção da planilha é uma armadilha que consiste em acreditar que seja possível criar um instrumento capaz de “[…] homogeneizar o planejamento e propiciar a comparação” (Unesp, 2017, p. 31) criando variáveis que buscam “avaliar” o trabalho do docente e do pesquisador sem que isto interfira na sua autonomia.

O fato da construção deste instrumento ser coletivo não impede que a proposta se torne mais um instrumento de controle. Um exemplo disto é a existência de pesos invariáveis para algumas atividades, “[…] as variáveis obrigatórias não podem ser alteradas” (Unesp, 2017, p. 30), estas são comuns a todos os Departamentos e devem representar no mínimo, 60% da pontuação (Unesp, 2017, p. 26). A parte variável da planilha tem um peso menor: 40%. Foi construída, portanto, uma autonomia relativa, uma vez que a parte diferenciada tem um valor menor.

A autonomia do docente é flexível, já que ela deve estar em consonância com o plano de trabalho. A própria planilha estipula que o docente/pesquisador tenha produção intelectual na área de ensino, pesquisa e extensão. Aquilo que seria fruto natural do trabalho do professor passou a ser cobrado, pois ele deverá ter produção nas três áreas. Em vista disto, é possível afirmar que a proposta apresentada está em total sintonia com a legislação vigente e com o que muitos autores afirmam sobre o produtivismo. Assim, o professor será avaliado de todos os modos, uma vez que os critérios da CAPES foram incorporados na planilha e afetarão também quem não está na pós-graduação: “Poderia ser adotada a classificação Qualis CAPES, estabelecendo o patamar mínimo de classificação B2” (Unesp, 2017UNESP. Universidade Estadual Paulista. Planejamento e Avaliação na UNESP: proposta de redefinição de ponto de partida e de percurso. 2017. Disponível em: <Disponível em: unesp.br/cpa/Home/planejamento-e-avaliacao---documento-completo-31-jul-17.pdf >. Acesso em: 01 jun. 2018.
unesp.br/cpa/Home/planejamento-e-avaliac...
, p. 37).

A criação da planilha em si é uma armadilha, uma vez que ela pressionará mais ainda o docente. Com isso, a instituição acabou por incorporar os critérios que tanto critica na avaliação externa ao formular um dispositivo de autocontrole. Sendo assim, o docente terá autonomia, desde que atinja uma boa pontuação na planilha.

Responsabilidade

A responsabilidade com o desenvolvimento científico e social é parte da natureza e da função pública de toda universidade, tal como menciona Dias Sobrinho (2015, p. 583) ao enfatizar que “[…] o eixo da responsabilidade das instituições educativas deve consistir essencialmente na formação de indivíduos-cidadãos dotados de valores cívicos e conhecimentos técnicos e cientificamente relevantes e socialmente pertinentes”. Trata-se, portanto, de uma responsabilidade que extrapola a técnica, mas carrega forte viés ético e político.

Dificilmente alguém defenderia que a universidade ou seus pesquisadores não devam agir com responsabilidade, de modo que defender a responsabilidade das instituições educativas e dos envolvidos nela é algo unânime. O professor, ao preparar uma aula, deve escolher boa bibliografia, tomar os melhores autores, trazer as melhores questões, conhecer as dificuldades de aprendizagem dos estudantes, enfim, compreender a diferença de níveis dos alunos, não ministrando a mesma aula para o aluno de pós-graduação e do primeiro ano da graduação, considerando sempre para todas essas diferenças “[…] o conhecimento com o maior grau possível de qualidade acadêmica, científica, técnica, moral, política e social” (Dias Sobrinho, 2015, p. 583).

É inegável a responsabilidade dos educadores pela aprendizagem dos seus alunos. Por sua vez, nas políticas estatais, a responsabilidade é compreendida como culpabilização dos professores. Assim, se o aluno não está aprendendo adequadamente ou se ele está evadindo, a culpa é do professor. Nesse sentido, responsabilidade se confunde com responsabilização dos professores pela baixa qualidade do ensino e a responsabilidade educacional se transforma numa postura acrítica de culpabilização do docente.

A questão da culpabilização do professor frente ao fracasso escolar é apontada por Freitas (2012FREITAS, Luiz Carlos de. Políticas Públicas de Responsabilização na Educação. Educação & Sociedade , Campinas, v. 33, n. 119, p. 345-351, abr./jun. 2012., p. 346) como uma “nova abordagem” para as políticas públicas de educação, que traz consigo os conceitos de responsabilização, meritocracia e privatização,

[...] onde a responsabilização pelos resultados (leia-se: aumento da média em testes nacionais e internacionais) é legitimada pela meritocracia (distinções ou sanções fornecidas com base no mérito de ter aumentado ou não as médias) com a finalidade de desenvolver novas formas de privatização do público (o qual é desmoralizado pela meritocracia das médias mais altas), visando a constituição de um ‘espaço’ que se firma progressivamente como ‘público não estatal’ em contraposição ao ‘público estatal’.

Afonso (2018AFONSO, Almerindo Janela. Políticas de Responsabilização: equívocos semânticos ou ambiguidades político-ideológicas? Revista de Educação PUC-Campinas, Campinas, v. 23, n. 1, p. 8-18, jan./abr. 2018., p. 12) ressalta que seria mais adequado designar tais políticas de responsabilização como políticas de culpabilização por trazerem uma acepção claramente excludente e negativa da responsabilização, que atribui “[…] predominantemente o insucesso acadêmico às escolas e aos professores”. O autor menciona ainda que essas políticas “[…] desvalorizam ou menosprezam a explicação das diversas condicionantes que pesam sobre os contextos institucionais e a ação dos atores educativos” (Afonso, 2018, p. 13). Freitas (2016FREITAS, Luiz Carlos de. A organização do trabalho pedagógico no contexto atual do ensino público brasileiro. In: MARTINS, Marcos Francisco; VARANI, Adriana; DOMINGUES, Tiago. Entrevista, Crítica Educativa, Sorocaba, v. 2, n. 1, p. 202-226, jan./jun. 2016., p. 222) pontua que,

[...] não há uma responsabilização do sistema quanto às condições de vida ofertadas, quanto às condições que são fundantes para facilitar os processos de aprendizagem e toda esta sonegação de condições é escondida em um processo que converte desigualdades sociais em desigualdades acadêmicas [...].

Nessa perspectiva, o sentido de responsabilidade, além de desmoralizar o trabalho dos professores, restringe as finalidades públicas da avaliação ao controle, à verificação da eficiência e à produtividade em conformidade com os parâmetros externos. Temos como exemplo a armadilha do produtivismo acadêmico, que transforma a própria ciência em moeda de troca. Trata-se do famoso publicar ou perecer, de modo que um pesquisador se torna importante por publicar em revistas de alto impacto, A1 ou A2, e não mais pela pesquisa que realiza, pela qualidade das aulas que ministra ou pelo bom atendimento aos orientandos. A publicação tornou-se uma moeda de troca, se o pesquisador não pesquisa, ele terá menos valor.

A proposta de avaliação analisada (Unesp, 2017, p. 07-08) enfatiza que “[…] a avaliação institucional deixa de ser feita apenas pela comissão responsável pelo [Sistema de Avaliação Institucional] AVISNT e passa a ser responsabilidade de todos, perpassando diferentes planos da vida universitária”, numa perspectiva horizontal que considera “[…] a indissociabilidade entre os fins da universidade - ensino, pesquisa e extensão -, bem como a gestão, entendida como meio para alcançá-los”.

A ideia é possibilitar um movimento dialético entre docentes, pesquisadores, departamentos e suas instâncias de articulação e gestão. Mas deve-se tomar cuidado para que essa alteração dos responsáveis por conduzir o processo de avaliação não seja apenas uma transferência da culpabilização do professor para o Departamento, de tal modo que aumentar os responsáveis pela avaliação não significa rever o papel da responsabilização.

Conforme vimos “[…] a universidade justifica a sua existência ao cumprir suas responsabilidades sociais” (Dias Sobrinho, 2015, p. 583). Entretanto, esta responsabilidade se torna uma armadilha, na medida em que se resume na culpabilização do professor pelo fracasso dos alunos, quando supervaloriza o produtivismo acadêmico na pesquisa em detrimento às demais atividades existentes na universidade e mesmo quando busca descentralizar os responsáveis pelo processo avaliativo com a pretensão de que todos se sintam responsáveis pela avaliação institucional.

Neste cenário, o que temos é a desmoralização do trabalho docente mediante a culpabilização, a obrigação de resultados via metas quantitativas e o aparente envolvimento de todos como responsáveis pelo fazer avaliativo.

Prestação de Contas

A universidade tem que prestar contas à sociedade, uma vez que ela exerce uma atividade pública, com fortes efeitos sociais. Segundo Afonso (2009AFONSO, Almerindo Janela. Nem Tudo o que Conta em Educação é Mensurável ou Comparável. Crítica à Accountability Baseada em Testes Estandardizados e Rankings Escolares. Revista Lusófona de Educação, Lisboa, v. 13, n. 13, p. 13-29, jul. 2009., p. 14), a prestação de contas é o “[…] acto de justificação e explicação do que é feito, como é feito e por que é feito”.

Nesse processo de busca pelo cumprimento do princípio de transparência, que se faz por meio da exigência ética da prestação de contas à sociedade, se desenvolveu a ideia da necessidade da avaliação (Dias Sobrinho; Balzan, 1995). Assim, a avaliação acabou ganhando espaço enquanto mecanismo de prestação de contas, na medida em que evidencia os resultados das ações da instituição, mostrando para a sociedade como a universidade está estruturada, como produz conhecimento e qual o significado da ciência produzida.

A proposta de avaliação analisada também entende que sendo a universidade uma instituição “[…] pública e gratuita, mantida pelo Estado e, consequentemente pela Sociedade” (Unesp, 2017, p. 12), deve sempre prestar contas de como está respondendo às demandas sociais, econômicas, políticas e culturais; do mesmo modo explicitar como os recursos públicos destinados à instituição redundam em eficiência e eficácia; como responde às questões de natureza científica, filosófica e artística formuladas pela instituição e outras que são formuladas pela sociedade; e se responde às funções que são peculiares a missão institucional, “[…] sem deixar de contribuir para solucionar problemas que são atinentes a outras instituições e esferas do mundo contemporâneo” (Unesp, 2017, p. 12).

Ainda a respeito da presença da avaliação nesse processo, Afonso (2009AFONSO, Almerindo Janela. Nem Tudo o que Conta em Educação é Mensurável ou Comparável. Crítica à Accountability Baseada em Testes Estandardizados e Rankings Escolares. Revista Lusófona de Educação, Lisboa, v. 13, n. 13, p. 13-29, jul. 2009., p. 15) destaca que ela precede (ou pode proceder) a prestação de contas, e que, por isso mesmo, é fundamental o desenvolvimento de “[…] processos baseados em metodologias credíveis, válidas e fidedignas, e que permitam emitir e fundamentar juízos valorativos sobre práticas, instituições, contextos e políticas”, caso contrário, as formas de se prestar contas ficam prejudicadas, reduzindo-se simplesmente “[…] a uma prestação de contas ritualística ou simbólica”.

O que se entende como prestação de contas é o princípio de transparência das atividades desenvolvidas no interior das universidades. Na proposta de avaliação analisada (Unesp, 2017, p. 14), o princípio de transparência visa favorecer a difusão das informações dentro da própria universidade; a divulgação dessas informações na sociedade; a integração das informações a um sistema de diagnose e de prospecção; e a verificação da relação entre o planejamento e a execução.

A armadilha presente neste ponto é compreender a prestação de contas apenas como uma obrigação de resultados, como uma meta quantitativa a ser atingida, e normalmente a obrigação de resultados leva a práticas de punição e exclusão. Nesse sentido, a prestação de contas, que é um valor, passa a ser algo negativo para a educação, pois deixa de considerar o princípio de transparência para focalizar apenas no controle dos resultados.

Avaliar a universidade, no sentido de prestação de contas, torna-se um instrumento de controle à distância flexível, ou seja, torna-se o vigia das atividades da instituição, enquanto a punição, em geral, funciona muito mais como uma ameaça. O peso da punição faz com que as pessoas se comportem como se estivessem num panóptico, cuja estrutura facilita o controle do preso, que não sabe se está sendo vigiado ou não (Foucault, 1999FOUCAULT, Michel. Vigiar e Punir: nascimento da prisão. 20. ed. Petrópolis: Vozes, 1999.). Situação semelhante ocorre nos controles à distância, não há presença física do avaliador, mas quem é avaliado tem a sensação de que está continuamente sendo vigiado.

Meritocracia

Mesmo os defensores da igualdade compreendem que a universidade tem dinâmicas meritocráticas. A meritocracia na universidade está ligada, principalmente, à autoridade científica. Por exemplo, na universidade, a meritocracia é institucionalizada na outorga do título de doutor, quando se reconhece que aquela pessoa tem méritos científicos e por isso pode fazer ciência.

O discurso da meritocracia se transforma em armadilha quando conduz ao produtivismo, isto é, deixa de ser mérito gerar conhecimentos relevantes à sociedade, mas sim o número de textos publicados, os financiamentos obtidos, etc. Como aponta Barbosa (1996BARBOSA, Lívia. Meritocracia à Brasileira: o que é desempenho no Brasil? Revista do Serviço Público, Brasília, ano 47, v. 120, n. 3, p. 58-102 set./dez. 1996.), a meritocracia está intimamente atrelada a um ordenamento social de reconhecimento de capacidade e esforço. A ideologia da meritocracia está ligada a avaliação do desempenho e da produtividade com o objetivo de escolha dos melhores.

Comumente no cenário da pós-graduação brasileira, a meritocracia aparece atrelada à publicação, de tal modo que, publicar mais artigos/pesquisas e em revistas bem classificadas reforça uma imagem positiva deste professor/pesquisador perante o departamento, o programa e a própria instituição.

No documento são inseridos como indicadores obrigatórios alguns itens que estão diretamente relacionados ao reconhecimento do mérito, são eles: credenciamento em programas de pós-graduação reconhecidos pela CAPES, coordenação de projetos financiados pelas agências de fomento, bolsas de ensino e pesquisa e a publicação de textos científicos.

A valorização destes indicadores de mérito se torna uma armadilha quando o documento prevê a quantificação destes, exigindo que os Departamentos apresentem metas/produções a serem atingidas em curto prazo. Com isso, a proposta tende a estimular o produtivismo acadêmico. Vale ressaltar que a proposta prevê publicações em três esferas de atuação: ensino, pesquisa e extensão. Desta forma, houve um aumento da cobrança, e o professor deverá publicar cada vez mais. A graduação passa, então, a ser regida pela dinâmica produtivista, tal como a pós.

Armadilha Estatística

Todos que trabalham com dados empíricos sabem que as informações precisam ser tabuladas e que a estatística nos diz muito, entretanto, o grande problema da estatística reside na sua associação a uma produção fabril que nos faz almejar números e índices sem a preocupação em como gerá-los. Tal ideia está muito vinculada ao produtivismo.

Para Bortoni Ricardo (2008), há uma valorização/fixação pelo positivismo e esta tem influenciado tanto as pesquisas acadêmicas quanto o senso comum; a valorização dos dados numéricos é reflexo desta tradição cientificista. Os dados estatísticos podem ser usados como um elemento de comprovação sobre determinada tese, uma vez que aparentemente são irrefutáveis e neutros. No entanto, isto não é inteiramente verdade, uma vez que eles trazem uma visão parcial da realidade e, por isso, podem ser manipulados.

Chaparro (2003CHAPARRO, Manuel Carlos. Estatística não é Coisa com que se Brinque. Copyright: Comunique-se, 2003. Disponível em: Disponível em: http://www2.eca.usp.br/pjbr/arquivos/comentarios_mural4.htm . Acesso em: 01 jun. 2018.
http://www2.eca.usp.br/pjbr/arquivos/com...
, s/p) afirma que “[…] a estatística, em si, jamais promete verdades; apenas revela ou produz presunções (algo que pode ser acreditado), a partir de dados numéricos codificados”. É possível afirmar que ela apenas revela parte que pode ser mensurável de uma determinada realidade, o que nos permite sustentar que supervalorizar estes dados implica em deixar de lado a outra metade da realidade. Mais do que isto, para o professor de jornalismo da Universidade de São Paulo (USP), estes dados podem ser usados para distorcer determinadas realidades, por isso é preciso levar em consideração as intenções de quem faz uso deste argumento.

Afonso (2007AFONSO, Almerindo Janela. Estado, Políticas Educacionais e Obsessão Avaliativa. Contrapontos, Itajaí, v. 7, n. 1, p. 11-22, jan./abr. 2007.) também destaca a importância atribuída aos dados quantitativos nas avaliações. Para o autor, a centralidade da avaliação como mecanismo de controle representou um retrocesso para as políticas públicas, pois supervalorizou aspectos quantitativos nas avaliações. A proposta analisada reflete esta tendência e apresenta um forte viés positivista, uma vez que a utilização de dados estatísticos de alto nível apresenta um grande peso na construção deste discurso, pois a fundamentação técnica aparece como algo neutro e indiscutível. Nela o viés quantitativo é bastante valorizado, com frequência se encontram previsões do seguinte tipo: “[…] variáveis, pesos, indicadores e metas, delineados no início do biênio” (Unesp, 2017, p. 20).

Todo o cálculo apresentado, mesmo não sendo este o objetivo, leva à construção de um índice, que, apesar de trazer informações globais, não apresenta elementos relevantes para auxiliar a prática pedagógica. Isto acontece na proposta analisada, ao mencionar que “[…] para garantir a equidade e a comparação, os pesos atribuídos às variáveis obrigatórias devem compor, no mínimo, 60% de um total de 100 pontos; às variáveis optativas, no máximo, deve ser atribuído 40%” (Unesp, 2017, p. 26). É um processo flexível, porque cada Departamento, cada unidade, poderá dizer como quer ser controlado, entretanto eles serão controlados.

Além disso, o resultado de todo o cálculo estatístico leva à produção de indicadores simples, ou seja, um número que deveria representar o desempenho de determinado profissional ou instituição, porque há obrigatoriedade no documento de se estabelecer os pesos de cada atividade 40%, 30% e 20% de um indicador. Como não é possível atuar em todos os problemas da Universidade, do Departamento, é necessário fazer escolhas, mas estas escolhas serão “controladas” lembrando que as “[…] variáveis obrigatórias não podem ser alteradas” (Unesp, 2017, p. 30). Na prática, o controle foi aumentado, e a autonomia, diminuída.

Tanto no modelo de responsabilização baseado na lógica do mercado, quanto no modelo que se apoia no controle administrativo, são preferidas formas de avaliação predominantemente quantitativas, como as que são utilizadas em testes objetivos ou estandardizados, que facilitam a medição e permitem a comparação dos resultados acadêmicos (Afonso, 2009AFONSO, Almerindo Janela. Nem Tudo o que Conta em Educação é Mensurável ou Comparável. Crítica à Accountability Baseada em Testes Estandardizados e Rankings Escolares. Revista Lusófona de Educação, Lisboa, v. 13, n. 13, p. 13-29, jul. 2009., p. 46).

A utilização dos dados estatísticos advindos das avaliações externas não é neutra. A apresentação dos dados estatísticos induz a criação de uma realidade. Muitas vezes, um processo de avaliação tem início sem a definição de qual realidade que deseja construir, em outras palavras, para quê? e para quem?. Sem esta base corremos o risco de construir sistemas de avaliação que não estejam contribuindo para a qualidade da formação, mas sim para a precarização do trabalho docente e para a desvalorização do ensino. Nas políticas de controle, o uso equivocado de dados estatísticos ocasiona uma outra armadilha, a armadilha do progresso contínuo.

Armadilha do Progresso Contínuo

No documento analisado, há a ideia de que é necessária uma contínua melhoria do desempenho docente e que esta deve ser medida por índices. No Brasil, esta ideia se apresenta pela primeira vez na criação do Índice de Desenvolvimento da Educação Básica (IDEB). Em âmbito nacional, alguns estados, como o de São Paulo, também criaram seu próprio índice, como o Índice de Desenvolvimento da Educação do Estado de São Paulo (IDESP).

Na proposta do IDEB, apresentada por Fernandes (2007FERNANDES, Reynaldo. Índice de Desenvolvimento da Educação Básica (IDEB): metas intermediárias para a sua trajetória no Brasil, estados, municípios e escolas. Brasil: INEP/MEC, 2007.), o autor, ao realizar um estudo estatístico utilizando os resultados do Programa Internacional de Avaliação de Alunos (PISA), identifica que os países integrantes da Organização Mundial do Comércio (OMC) teriam um IDEB equivalente a 6. Com base neste levantamento, foi proposto que todos os países buscassem um crescimento gradativo e contínuo para que em 2024 atingissem tal índice. A fim de que a meta final 6 seja alcançada, foram criadas metas intermediárias e graduais, indicando às instituições de ensino a necessidade de um constante aumento no desempenho delas nos processos de avaliação.

Na proposta da Unesp, assume-se a ideia atualmente defendida pelo IDEB/IDESP da necessidade de criar um índice que permita a proposição de metas de melhoria, pressionando os docentes e Departamentos para terem um aumento contínuo na sua pontuação. A proposta prevê que “[…] cada ‘DEPARTAMENTO’, bem como cada docente ou pesquisador, considerando as variáveis e os indicadores, expressos por pesos, deve estabelecer seu plano de metas” (Unesp, 2017, p. 29).

Esta armadilha envolve a utilização de dados estatísticos como uma forma de evidenciar uma possível gradação/melhoria crescente do rendimento dos envolvidos. Na verdade, tanto o IDEB como o IDESP se apoiam num índice simples, um número. Acreditar que um único número possa ser considerado uma descrição perfeita da realidade educacional brasileira é uma armadilha.

Fernandes (um dos idealizadores do IDEB) e Gremaud (2009FERNANDES, Reynaldo; GREMAUD, Amaury Patrick. Qualidade da educação: avaliação, indicadores e metas. In: FERNANDES, Reynaldo; GREMAUD, Amaury Patrick. Educação Básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elsevier, 2009. P. 213-238., p. 09) admitem que “[…] todas as medidas utilizadas em avaliações educacionais são imperfeitas, por não levarem em conta todos os aspectos que se gostaria de considerar e por medir com erros (sistemáticos e/ou aleatórios) os aspectos que elas se propõem avaliar”. Ao adotar a mesma estratégia, a proposta cai na mesma armadilha, cria um índice incapaz de contemplar todas as atividades desempenhadas pelos docentes da universidade.

Outro engano associado a esta mesma estratégia é a ideia de que é possível continuamente ter uma melhoria, que melhorar ininterruptamente é extremamente necessário. Porém, às vezes isto não é possível ou necessário. Um departamento que tenha bons resultados na aprendizagem dos seus estudantes não precisa ter uma melhoria contínua nas práticas pedagógicas para obter melhores resultados. Nesse caso, o adequado é buscar práticas que mantenham o atual desempenho.

O mesmo raciocínio vale para o aumento quantitativo da produção científica. Departamentos que sejam referências nacionais e internacionais na sua área não necessariamente precisam melhorar, mas manter os patamares em que se encontram. Esta busca constante por um resultado melhor tem como base a internalização das ideias de competitividade e produtividade, princípios estes bastante atrelados às políticas neoliberais.

Vale ressaltar que a elaboração de metas não basta para que elas sejam atingidas, o mesmo vale para as metas estipuladas pela universidade. Conforme afirma Fernandes (2007FERNANDES, Reynaldo. Índice de Desenvolvimento da Educação Básica (IDEB): metas intermediárias para a sua trajetória no Brasil, estados, municípios e escolas. Brasil: INEP/MEC, 2007., p. 05, grifo nosso) “[…] a evolução da qualidade está relacionada ao tempo de exposição das gerações ao novo sistema e às mudanças no foco da política educacional”. Assim, são necessárias mudanças nas políticas públicas que regem a educação. Se o objetivo é que o professor publique mais, uma vez que isto é bem pontuado, é preciso que ele tenha mais tempo para se dedicar à pesquisa. Logo, se as políticas públicas diminuem a contratação de professores para o ensino superior, esta meta não será atingida.

A criação destes índices atrelados às metas reforça a tecnologia da avaliação e instrumentaliza a metodologia positivista de quantificação dos rendimentos educacionais; os indicadores de produtividade e os critérios de avaliação são determinados pelos valores economicistas da rentabilidade e da competitividade. Uma avaliação criada nestes moldes estará muito mais voltada aos interesses do mercado, para o lucro e para a competitividade do que para os valores concernentes ao desenvolvimento e à melhoria da humanidade (Dias Sobrinho, 2002DIAS SOBRINHO, José. Campo e Caminhos da Avaliação : a avaliação da educação superior no Brasil. In: FREITAS, Luiz Carlos de (Org.). Avaliação : construindo o campo e a crítica. Florianópolis: Insular, 2002. P. 13-62.).

Considerações Finais

O artigo explicita a dinâmica do que batizamos como armadilhas presentes nas propostas de avaliação de instituições de ensino superior. Na proposta de avaliação analisada, como em outras, a armadilha pode ser percebida pelos elogios que poderia receber. Os princípios que a fundamentam seriam considerados muito bons por um defensor de uma visão emancipatória da avaliação, ao lê-la a aplaudiria. Por sua vez, um defensor da visão gerencial e de controle, ao ler a operacionalização da proposta, também a aplaudiria. O problema é que tais visões não se articulam, tem-se uma justaposição entre contrários, não há organicidade entre para quê?, para quem?, o quê? e como?.

Mecanismos, elaborados tendo o controle como para quê?, tendem a produzir um índice único que facilita o ranqueamento, mesmo que a intenção não seja esta. Seria como colocar um revólver carregado para segurar uma pilha de papel; pode-se afirmar que ele não será utilizado, mas está ali intimidando os membros da comunidade acadêmica. Para não cair nesta armadilha, é preciso ter muito claro a articulação entre o para quê? para quem? o quê? e o como? do instrumento: promover a autoavaliação do corpo docente e a reflexão sobre os caminhos seguidos é um bom ponto de partida.

O conceito de avaliação é apresentado com um para quê ligado à ideia de diagnóstico do processo educacional, contudo, a proposta assume uma visão de avaliação como medida e como processo de competição entre Docentes e Departamentos. O destinatário da avaliação, para quem, passou a ser principalmente o mercado e não a comunidade acadêmica (alunos, professores, dirigentes e a comunidade envolvida), ou seja, o conceito de autonomia é desvirtuado de sua compreensão como maioridade, restringindo-se ao autocontrole para atender as demandas externas. A legítima prestação de contas e a responsabilidade institucional transformam-se em culpabilização pelos resultados não alcançados.

Os dados provenientes das análises quantitativas presentes nas estatísticas podem ser ferramentas para compreensão da dinâmica acadêmica. Contudo, a pretensa neutralidade das estatísticas consiste em uma armadilha na medida em que escamoteia discussões essenciais como: o para quê da instituição, para quem o trabalho da universidade se destina, o quê efetivamente ela deve oferecer à sociedade e como devem ser suas práticas.

A necessária busca do aperfeiçoamento das práticas institucionais, ao ser interpretada à luz da criação de índices, conduz à armadilha de que é possível um contínuo aperfeiçoamento e que resumir o como a simples elaboração de metas levaria a práticas virtuosas. Não se coloca em xeque as condições institucionais (como) e nem se reconhece que em muitos casos é apenas necessário manter as atuais práticas (como) para a instituição atingir o seu para quê.

Tendo como destinatário (para quem) a comunidade acadêmica, é possível que a avaliação tenha como objeto (o quê) o significado do trabalho institucional. Indicando as suas lacunas, os pontos positivos seriam mantidos e as ações poderiam ser propostas para sanar aqueles aspectos que estão menos desenvolvidos. Por exemplo, pode ser que a falta de divulgação dos resultados das pesquisas seja um ponto que necessite melhoria. Neste caso, os docentes trabalhariam coletivamente para aumentar as suas publicações. Se este quem (o quê) a ser avaliado é um sujeito coletivo, a pressão e a competição tendem a ser minimizados, e a colaboração entre os docentes, incentivada.

A maneira como tal processo será feito é outro quesito de extrema importância. Um primeiro aspecto seria elencar coletivamente os itens a serem avaliados e recusar-se a apenas quantificá-los, evitando transformar isso em ponderações que permitam um índice único e, consequentemente, um ranqueamento. Criar elementos qualitativos não é uma tarefa fácil, mas é imprescindível para construir um instrumento mais justo e que dissemine valores que não sejam a competição e a exclusão.

Quando um indivíduo vive em uma zona de desconforto, torturado por um sistema de pontuação de todas as suas ações, chega um certo momento em que os sujeitos envolvidos adaptam-se e aprendem a sobreviver e passam a conduzir as suas práticas institucionais tal como o mercado produtivo de artigos permite e exige.

Reconhecer as armadilhas que permeiam o universo da avaliação não é um trabalho tão simples, é preciso estar atento e realizar uma constante avaliação do próprio instrumento avaliativo, levando em consideração o para quê?, o para quem?, o o quê? e o como? de tal instrumento. Sem esta constante análise podemos cair na armadilha de supervalorizar os índices e aumentar o controle sobre o trabalho docente.

Referências

  • ANDRÉ, Marli Eliza Dalmazo Afonso de. Estudo de Caso em Pesquisa e Avaliação Educacional. 3. ed. Brasília: Liber Livro Editora, 2008.
  • AFONSO, Almerindo Janela. Estado, Políticas Educacionais e Obsessão Avaliativa. Contrapontos, Itajaí, v. 7, n. 1, p. 11-22, jan./abr. 2007.
  • AFONSO, Almerindo Janela. Nem Tudo o que Conta em Educação é Mensurável ou Comparável. Crítica à Accountability Baseada em Testes Estandardizados e Rankings Escolares. Revista Lusófona de Educação, Lisboa, v. 13, n. 13, p. 13-29, jul. 2009.
  • AFONSO, Almerindo Janela. Políticas de Responsabilização: equívocos semânticos ou ambiguidades político-ideológicas? Revista de Educação PUC-Campinas, Campinas, v. 23, n. 1, p. 8-18, jan./abr. 2018.
  • BALL, Stephen. Sociologia das Políticas Educacionais e Pesquisa Crítico-Social: uma revisão pessoal das políticas educacionais e da pesquisa em política educacional. Currículo sem Fronteiras, Brasília, v. 6, n. 2, p. 10-32, jul./dez. 2006.
  • BARBOSA, Lívia. Meritocracia à Brasileira: o que é desempenho no Brasil? Revista do Serviço Público, Brasília, ano 47, v. 120, n. 3, p. 58-102 set./dez. 1996.
  • BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. Para uma História da Avaliação da Educação Superior Brasileira: análise dos documentos do PARU, CNRES, GERES e PAIUB. Avaliação, Campinas; Sorocaba, v. 13, n. 1, p.131-152, mar. 2008.
  • BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. Percurso da Avaliação da Educação Superior nos Governos Lula. Educação e Pesquisa, São Paulo, v. 40, n. 1, p. 61-76, jan./mar. 2014.
  • BORTONI-RICARDO, Stella Maris. O Professor Pesquisador: introdução à pesquisa qualitativa. São Paulo: Parábola, 2008
  • BRASIL. Constituição da República Federativa do Brasil. Diário Oficial da República Federativa do Brasil, Brasília, 1988.
  • BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da República Federativa do Brasil , Brasília, 22 dez. 1996.
  • CHAPARRO, Manuel Carlos. Estatística não é Coisa com que se Brinque. Copyright: Comunique-se, 2003. Disponível em: Disponível em: http://www2.eca.usp.br/pjbr/arquivos/comentarios_mural4.htm Acesso em: 01 jun. 2018.
    » http://www2.eca.usp.br/pjbr/arquivos/comentarios_mural4.htm
  • DIAS SOBRINHO, José; BALZAN, Newton César. Introdução. In: BALZAN, Newton César; DIAS SOBRINHO, José (Org.). Avaliação Institucional: teorias e experiências. São Paulo: Cortez, 1995. P. 07-13.
  • DIAS SOBRINHO, José. Campo e Caminhos da Avaliação : a avaliação da educação superior no Brasil. In: FREITAS, Luiz Carlos de (Org.). Avaliação : construindo o campo e a crítica. Florianópolis: Insular, 2002. P. 13-62.
  • DIAS SOBRINHO, José. Avaliação Ética e Política em Função da Educação como Direito Público ou como Mercadoria? Educação & Sociedade, Campinas, v. 25, n. 88, p. 703-725, out. 2004.
  • DIAS SOBRINHO, José. Qualidade, Avaliação : do SINAES a Índices. Avaliação , Campinas; Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008.
  • DIAS SOBRINHO, José. Universidade Fraturada: reflexões sobre conhecimento e responsabilidade social. Avaliação , Campinas; Sorocaba, v. 20, n. 3, p. 581-601, nov. 2015.
  • FERNANDES, Domingos. Avaliar para Aprender: fundamentos, práticas e políticas. São Paulo: UNESP. 2009.
  • FERNANDES, Reynaldo. Índice de Desenvolvimento da Educação Básica (IDEB): metas intermediárias para a sua trajetória no Brasil, estados, municípios e escolas. Brasil: INEP/MEC, 2007.
  • FERNANDES, Reynaldo; GREMAUD, Amaury Patrick. Qualidade da educação: avaliação, indicadores e metas. In: FERNANDES, Reynaldo; GREMAUD, Amaury Patrick. Educação Básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elsevier, 2009. P. 213-238.
  • FOUCAULT, Michel. A Ordem do Discurso. Edições Loyola, 2009.
  • FOUCAULT, Michel. Vigiar e Punir: nascimento da prisão. 20. ed. Petrópolis: Vozes, 1999.
  • FREIRE, Paulo. Pedagogia do Oprimido. 17. ed. Rio de Janeiro: Paz e Terra, 1987.
  • FREITAS, Luiz Carlos de. Políticas Públicas de Responsabilização na Educação. Educação & Sociedade , Campinas, v. 33, n. 119, p. 345-351, abr./jun. 2012.
  • FREITAS, Luiz Carlos de. A organização do trabalho pedagógico no contexto atual do ensino público brasileiro. In: MARTINS, Marcos Francisco; VARANI, Adriana; DOMINGUES, Tiago. Entrevista, Crítica Educativa, Sorocaba, v. 2, n. 1, p. 202-226, jan./jun. 2016.
  • GULLAR, Ferreira. No Mundo há Muitas Armadilhas. Toda Poesia, São Paulo, v. 11, p. 163-164, 2001.
  • LUCKESI, Cipriano Carlos. Verificação ou Avaliação: o que pratica a escola? Idéias, São Paulo, n. 8, p. 71-80, 1998.
  • MOITA LOPES, Luiz Paulo da. A Nova Ordem Mundial, os Parâmetros Curriculares Nacionais e o Ensino de Inglês no Brasil: a base intelectual para uma ação política. In: BARBARA, Leila; RAMOS, Rosinda de Castro Guerra (Org.). Reflexão e Ações no Ensino-Aprendizagem de Línguas. Campinas: Mercado de Letras, 2003. P. 29-57.
  • UNESCO. Organizações das Nações Unidas para a Educação, Ciência e Cultura. Declaração Mundial sobre Educação Para Todos (Conferência de Jomtien). Tailândia: Unesco, 1998. Disponível em: <Disponível em: http://unesdoc.unesco.org/images/0008/000862/086291por.pdf >. Acesso em: 28 de maio 2018.
    » http://unesdoc.unesco.org/images/0008/000862/086291por.pdf
  • RIBEIRO, Daniella Borges. A autonomia universitária na era da parceria público-privado. Universidade e Sociedade, Brasília, v. 58, p. 104-115, jun. 2016. Disponível em: <Disponível em: http://www.andes.org.br/imprensa/publicacoes/imp-pub-98128498.pdf >. Acesso em: 01 jun. 2018.
    » http://www.andes.org.br/imprensa/publicacoes/imp-pub-98128498.pdf
  • ROBERTSON, Susan; DALE, Roger. Regulação e Risco na Governação da Educação: gestão dos problemas de legitimação e coesão social em educação nos Estados competitivos. Educação, Sociedade e Culturas, Porto, n. 14 p. 117-147, 2001. Disponível em: <Disponível em: http://www.fpce.up.pt/ciie/revistaesc/ESC15/15-7-roberston.pdf >. Acesso em: 19 fev. 2018.
    » http://www.fpce.up.pt/ciie/revistaesc/ESC15/15-7-roberston.pdf
  • SANTOMÉ, Jurjo Torres. A Educação em Tempos de Neoliberalismo. Porto Alegre: Artmed, 2003.
  • SAUL, Ana Maria. Avaliação Emancipatória: desafio à teoria e à prática de avaliação e reformulação de currículo. 8. ed. São Paulo: Cortez , 2010.
  • SOUZA, Sandra Zákia Lian de; OLIVEIRA, Romualdo Portela de. Políticas de Avaliação da Educação e Quase Mercado no Brasil. Educação & Sociedade , Campinas, v. 24, n. 84, p. 873-895, set. 2003. Disponível em: <Disponível em: http://www.scielo.br/pdf/es/v24n84/a07v2484.pdf >. Acesso em: 21 mar. 2018.
    » http://www.scielo.br/pdf/es/v24n84/a07v2484.pdf
  • TORRES, Rosa Maria. Melhorar a qualidade da educação básica? As estratégias do Banco Mundial. In: TOMMASI, Lívia De; WARDE, Miriam; HADDAD, Sérgio (Org.). O Banco Mundial e as Políticas Educacionais. São Paulo: Cortez /Ação Educativa/PUCSP, 1996. P. 125-194.
  • UNESP. Universidade Estadual Paulista. Planejamento e Avaliação na UNESP: proposta de redefinição de ponto de partida e de percurso. 2017. Disponível em: <Disponível em: unesp.br/cpa/Home/planejamento-e-avaliacao---documento-completo-31-jul-17.pdf >. Acesso em: 01 jun. 2018.
    » unesp.br/cpa/Home/planejamento-e-avaliacao---documento-completo-31-jul-17.pdf
  • VIANNA, Heraldo Marelim. A Prática da Avaliação Educacional: algumas questões metodológicas. Cadernos de Pesquisa, São Paulo, n. 69, p. 40-47, maio 1989.
  • WORTHEN, Blaine. Visão Geral do Mosaico Formado pela Avaliação e Controle Educacionais. In: GOLDBERG, Maria Amélia Azevedo; SOUSA, Clarilza Prado (Org.). Avaliação de Programas Educacionais: vicissitudes, controvérsias, desafios. São Paulo: EPU, 1982. P. 04-09.

Datas de Publicação

  • Publicação nesta coleção
    Oct-Dec 2018

Histórico

  • Recebido
    17 Jul 2018
  • Aceito
    26 Set 2018
Universidade Federal do Rio Grande do Sul - Faculdade de Educação Avenida Paulo Gama, s/n, Faculdade de Educação - Prédio 12201 - Sala 914, 90046-900 Porto Alegre/RS – Brasil, Tel.: (55 51) 3308-3268, Fax: (55 51) 3308-3985 - Porto Alegre - RS - Brazil
E-mail: educreal@ufrgs.br