O problema.
1. O que é e como deveria funcionar o TRI?
O
TRI é um modelo estatístico, utilizado, por exemplo, para avaliar a habilidade de um candidato a uma vaga em uma Instituição de Ensino Superior, baseando-se em seu padrão de respostas e atribuindo-lhe uma nota que compara seu resultado com os de seus concorrentes. O Ministério da Educação - MEC - utiliza-o, desde 2009, para definir vagas no novo
Sistema de Seleção Unificada (SiSU). Ele torna tão obscuro quanto possível os detalhes de sua implementação do modelo, mas alguns deles são conhecidos. Observe:
Em uma distribuição normal, o TRI força esse modelo para todas as 4 provas. Por exemplo, não importa os resultados, o sistema
força que 34.1% dos alunos fiquem com uma nota entre 500 e 600. Da mesma forma, podemos afirmar que apenas 0.1% dos candidatos vão tirar acima de 800 em qualquer prova que siga o TRI.
Quantos alunos tiram determinada nota no modelo TRI?
| Nota | Alunos |
| Acima de 500 | metade |
| Acima de 600 | 1 a cada 6 |
| Acima de 700 | 1 a cada 43 |
| Acima de 800 | 1 a cada 740 |
| Acima de 900 | 1 a cada 31.574 |
| Acima de 1000 | 1 a cada 3.488.560 |
O TRI traz algumas consequências que são criticadas erroneamente.
O TRI causa alguns efeitos que de início podem parecer estranhos, mas, se analisarmos bem, são coerentes e desejáveis.
Exemplo 1: Um aluno acerta mais em linguagens que em matemática, mas a primeira nota é maior!
Isso NÃO é um erro. Por mais que pareça estranho, ele foi melhor em matemática que em linguagens, apesar de ter acertado menos. É que as pessoas costumam ir mal nas exatas, então menos pontos são necessários para se destacar. A questão é: se fossemos fazer rankings, este aluno estaria melhor colocado no de ranking matemática que no de linguagens. É isso que sua nota significa, e é, em parte, o motivo do TRI ser tão belo. O modo antigo de contar não permite essa comparação.
Exemplo 2: As médias de um aluno baixam a cada ano, apesar de ele tirar mais!
Isso também não é ruim. Só significa que as pessoas, em geral, estão melhores, ou seja, há um maior nivelamento, fazendo as notas se aproximarem de 500. Imagine, por exemplo, que todo mundo gabarite todas as provas. Todos tirariam 500, mas isso seria uma ótima notícia, tanto para eles, quanto para o país!
Exemplo 3: Um aluno tira 44 e outro 45. O que tirou 45 fica com uma nota final muito maior que o outro.
Isso não é um erro! Isso só significa que o número de pessoas que tirou 44 é muito menor que o número de pessoas que tirou 45. Logo, essa questão sozinha faz você superar muitos candidatos, elevando bastante sua nota.
2. Porque o modelo utilizado pelo ENEM está errado?
O problema todo está na nota de redação. Ela é uma nota absoluta que vai de 0 a 1000, avaliada, segundo o MEC, por 2 a 3 corretores (
saiba mais). Ela
não é uma nota computada e
não tem valor estatístico. No SiSU, esta nota é somada às outras para formar a
nota final do candidato. Isto é matematicamente ilógico, e só poderia ser feito se houvesse, previamente, um ajuste de escalas. Como consequência, a nota de redação acaba sendo acidentalmente supervalorizada, enquanto as notas das outras 4 provas e, consequentemente, a metodologia TRI, perdem seu valor.
Clique para ver a fórmula, errada, utilizada pelo INEP, e simular sua nota.
Clique para ver um ótimo gráfico ilustrando o problema.
Este gráfico mostra quantos alunos teriam tirado determinada nota se o TRI tivesse sido aplicado no ENEM 2008 (o MEC não disponibiliza dados mais recentes).
As barras
azuis mostram as notas da
prova objetiva (absoluta, de 0 a 1000).
As barras
verdes mostram as notas da
redação (absoluta, de 0 a 1000).
As barras
vermelhas mostram as notas do
TRI (relativa, de média 500 e desvio padrão 100).
Repare que, dos 3 modelos, o
TRI é o único que forma um gráfico equilibrado e simétrico. Sua média é sempre 500 e quase não existem notas fora do intervalo 300-700. Observe, agora, a
redação. Seu gráfico é arbitrário e varia a cada ano. Em 2008, sua média foi 650, e quase 40% dos candidatos tiraram acima de 700, que é, basicamente, o limite prático da nota TRI! Não é difícil perceber que as notas são incompatíveis e não podem ser misturadas sem destruir a harmonia do TRI ou supervalorizar a redação!
Ainda não enxergou o erro? Clique e veja algumas reflexões.
Comparações TRI correto contra TRI INEP.
| NO TRI CORRETO | NO TRI INEP |
| É possível prever a quantidade de alunos a tirar determinada nota. Por exemplo, apenas 0.1% dos alunos tem sua nota final acima de 800 em uma distribuição normal. |
Não dá para fazer previsões. |
| Um aluno pode utilizar sua nota final para comparar com os anos anteriores. |
Não há nenhuma relação. |
| As notas ficam em torno de 500 e, para passar de 750, um aluno tem, basicamente, que gabaritar a prova, sendo algo bem raro. |
750 é uma nota normal de redação, e temos muitas notas acima disso, inclusive vários 1000. |
| Um aluno, para tirar 1000 em uma prova, teria que estar entre as 55 pessoas mais inteligentes da nação naquele tópico (porque?). |
Centenas ou milhares tiraram 1000 em suas redações. Como a redação é utilizada indiscriminadamente junto às outras 4 notas, essas pessoas foram computadas como se fossem super gênios! |
| Cada prova contribui igualmente e harmoniosamente para a nota final do aluno. |
A redação tem um valor desproporcional em relação as outras provas, mesmo quando o peso é 1. É basicamente ela que define as vagas. |
| A nota final é um índice estatístico, matematicamente relevante, que representa a habilidade do aluno, e está apto a ser utilizado como critério de entrada em exames de seleção. |
A nota final não carrega nenhum valor estatístico, não tem nenhuma relevância matemática, não pode ser utilizada para comparar dois alunos e portanto não está apta a ser utilizada como critério de entrada em exames de seleção. |
Explicação do problema da escala utilizada na redação.
Primeiramente, imagine que duas provas são aplicadas. Uma vale 10, a outra vale 1000. Agora, se pergunte: é válido juntar essas duas notas para calcular a média das duas provas? Claro que não, pois são escalas diferentes: a segunda vale 100 vezes mais que a primeira. Sendo assim, porque deveria ser válido juntar a redação - uma nota absoluta, que vai de 0 a 1000 - com as demais - notas relativas, que costumam ficar entre 300 e 700?
A verdade é que o valor 1000 foi escolhido como nota máxima da redação porque "sempre foi assim", sem levar em conta que esta nota, neste sistema, tem um significado diferente do usual. Ela representa 5 desvios padrões, ou seja, uma nota que só 1 a cada 3.488.550 candidatos - um gênio - poderia obter sem desbalancear o sistema (porque?). Algo que obviamente os corretores da redação não estavam cientes ao distribuírem tantas notas altas.
Um estudo foi realizado para estimar as consequências dessa falha. A conclusão não poderia ser mais alarmante: até 60% dos candidatos que "passariam" caso fosse utilizada a fórmula correta perderão suas vagas por conta do erro cometido pelo MEC.
Clique aqui para ver o estudo completo!
3. O que agrava ainda mais a situação?
A péssima qualidade da correção das redações. Como se não bastasse a redação quebrar e desbalancear o modelo estatístico idealizado pelo TRI, há um consenso entre alunos e professores de que
a nota de redação não corresponde à habilidade do estudante. São inúmeros os relatos de candidatos qualificados tirando notas baixíssimas e de candidatos despreparados tirando notas elevadas. A impressão que se tem é de que as redações nem sequer são corrigidas. Pronunciamentos de ex-corretores sustentam essa impressão:
"Como ex-avaliador de redação do ENEM, torno público que o processo não é qualificado, não prima pela qualidade, mas sim pela quantidade e agilidade na entrega das redações. (Osvaldo Arthur Menezes Vieira" -
link para o pronunciamento completo)
Era de se esperar.
"São 4,5 milhões de redações corrigidas por apenas mil corretores espalhados por todo país e com critérios distintos, em suas próprias casas em apenas 3 meses e meio, dando uma média de leitura de 37 redações por dia contando os finais de semana." - analisa
Isadora Pimenta.
Veja o argumento utilizado pelo INEP para não reavaliar as notas, e a contra-argumentação.
À qualquer um que requisite reavaliação de sua nota de redação, o INEP responde com a seguinte mensagem:
Segundo os itens 6.7.6/6.7.6.1/6.7.6.2 do Edital do Enem 2011. O INEP entende que a metodologia empregada na correção das redações contempla recurso de ofício, pois em caso de divergência entre corretores, uma terceira correção é automaticamente disponibilizada. Por isso, não é disponibilizado recurso.
Esse argumento é inválido, principalmente, por 3 motivos:
1. A avaliação do terceiro corretor é a que vale, independentemente das outras, deixando a nota final suscetível ao erro deste.
Se o terceiro corretor errar, é isso que conta. Imagine que, por exemplo, um candidato receba 600 do primeiro corretor e 960 do segundo. Nesse caso, sua redação será enviada a um terceiro corretor. Suponha que este atribua 200 à nota. Esta será a nota final! Em outras universidades, geralmente, o terceiro corretor só pode escolher uma nota entre a dos outros corretores, de modo a evitar o cenário exemplificado.
2. Uma diferença de 300 não é pequena.
500, por exemplo, é uma nota comum em humanas, enquanto 800 já ultrapassa seu valor máximo! Bastam 50 pontos para eliminar um bom candidato de todas as vagas mais concorridas. Para que o método funcione, uma divergência bem menor que 300 deve ser utilizada para qualificar uma redação para terceira avaliação.
3. Este método reduz as chances de erro, mas não as elimina.
É por esse motivo que todas as universidades brasileiras permitem ao candidato recorrer de sua nota de redação. Não é tão raro que 3 corretores se enganem; ainda mais quando, como no ENEM, há centenas de milhares de redações a serem corrigidas. O recurso e o espelho das redações são absolutamente necessários para que a justiça seja garantida.
A lei prevê ao candidato direito de obter o espelho de sua redação!
Constituição Federal/1988 art 5º, parágrafos:
XIV - é assegurado a todos o acesso à informação e resguardado o sigilo da fonte, quando necessário ao exercício profissional;
XXXIII - todos têm direito a receber dos órgãos públicos informações de seu interesse particular, ou de interesse coletivo ou geral, que serão prestadas no prazo da lei, sob pena de responsabilidade, ressalvadas aquelas cujo sigilo seja imprescindível à segurança da sociedade e do Estado; (Regulamento)
XXXIV - são a todos assegurados, independentemente do pagamento de taxas:
a) o direito de petição aos Poderes Públicos em defesa de direitos ou contra ilegalidade ou abuso de poder;
b) a obtenção de certidões em repartições públicas, para defesa de direitos e esclarecimento de situações de interesse pessoal;
Uma ótima dissertação da questão pode ser encontrada no blog Tem que pôr título?
Neste link temos uma compilação de casos de injustiça.
4. Como esse problema pode ser resolvido?
O problema da formulação matemática pode ser resolvido utilizando a mesma metodologia para computar as 5 notas, ou, ao menos, ajustando a escala da nota de redação para coincidir com a das demais. Idealmente, uma redação regular deve valer 500; uma boa, 600; uma excelente, 700. A nota máxima deve ficar em torno de 800.
Para resolver o problema das correções, é necessário que o MEC reavalie seus métodos e se reestruture a fim de honrar a responsabilidade de corrigir todas as redações de uma nação com a qualidade que não apresentou até o momento. Além disso, o espelho das redações deve passar a ser divulgado - o que já é uma obrigação legal - e deve-se permitir ao candidato recorrer de sua nota.
Se não for possível adotar nenhuma destas soluções já para o SiSU 2012, é necessário que a redação seja desconsiderada deste processo seletivo, garantindo que a seleção seja feita baseada nas demais notas que, estas sim, tem êxito em medir a capacidade e proficiência do aluno.
5. Resumo.
Existem falhas fundamentais e estruturais que invalidam a atual utilização do ENEM pelo SiSU em seu processo seletivo. Os problemas são: 1. computar, indiscriminadamente, a nota de redação junto às outras 4 no cálculo da nota final, o que gera distorções expressivas na classificação final do processo seletivo (
veja o estudo); 2. a falta de critério e qualidade na correção da redação, tornando o ENEM uma verdadeira loteria (
leia sobre). É necessário reavaliar o sistema. Se isto não for possível já para o processo de seleção do SiSU 2012, as redações devem ser desconsideradas deste para que a seleção de vagas universitárias não seja afetada pelos erros apontados.
Fatos importantes.
25/12/2011: Enemurgente.com vai ao ar.
27/12/2011: Folha.com e outros jornais ajudam a divulgar movimento (
fonte).
29/12/2011: IG denuncia o problema (
fonte).
02/01/2012: MPF-CE entra na justiça e pede que MEC desconsidere a nota de redação do ENEM no SiSU (
fonte).
04/01/2012: Alunos espalhados pelo Brasil protestam pela causa, enquanto ex-avaliadores confirmam falta de estrutura (
fonte).
04/01/2012: Estudante entra na justiça e consegue revisão da nota de redação, de 0 para 880 (
fonte).
Comentários.
Apenas mais uma das muitas evidências da completa falta de critério na correção das redações.
Trecho da notícia: Sylvia afirmou que o estudante ficou satisfeito com a decisão porque agora poderá se participar do Sistema de Seleção Unificada (SiSU). "Só que nós ficamos muito preocupadas com o Enem e o Brasil em geral. O que aconteceu com essa prova? Foi trocada? Foi perdida? De onde sai esta mudança de uma redação anulada para nota 880 de no máximo mil, portanto, uma redação muito bem feita?" De acordo com a sócia do colégio, "pode haver outros brasileiros por aí angustiados com seus sonhos jogados fora, porque trabalharam fizeram boa redação e pode ter acontecido o mesmo com eles".
04/01/2012: Justiça
nega pedido para que a nota da redação do Enem fosse desconsiderada no SiSU (
fonte).
Comentários.
"É isso mesmo, amigos brasileiros. É uma situação bizarra e até irônica: nós, desde criança, aprendemos a decorar inúmeras fórmulas matemáticas e a utilizá-las da maneira correta. Nos convenceram que precisávamos disso para nosso futuro. Nos ensinaram, principalmente, que não podíamos errar. Fomos punidos por nossos erros. "Você sabe o peso de errar uma fórmula?" - nos perguntavam.
- Se um engenheiro erra a fórmula na construção de um prédio, o que acontece?
- O prédio cai.
- Se um biomédico utiliza a fórmula errada para calcular a farmacocinética de um medicamento vital, o que acontece?
- O paciente morre.
Fazia sentido. Não tinha como discordar.
Chega, então, o grande momento de testar nossos conhecimentos. A prova que leva uma vida de preparação, que define nossos futuros. Hora de mostrar que aprendemos a aplicar as tais fórmulas. E sem erro! Chega o tal vestibular.
Mas, quem diria!? O órgão responsável por realizar a prova erra na hora de aplicar a fórmula que calcula nossas notas! Impossível? Inacreditável? Não, é verdade: depois de tudo que disseram, eles erram na fórmula da nota final! Cabe, então, a pergunta: "se um país erra a fórmula na hora de preencher as vagas de suas universidades, o que acontece?"
A Justiça brasileira, é claro, parece não saber a resposta. Ou, talvez, o juiz simplesmente não seja muito intimo da matemática e, para ele, seja mais fácil ouvir quem tem poder: o grande Ministério da Educação, que mantém a posição de mentir até o final, jurando estar tudo certo, mesmo diante de todas as provas. A ele, uma mensagem: entendemos, mr. big MEC, que tens vergonha de assumir, diante do país inteiro, que cometestes um erro tão grave. Larga disso! Errar é humano. Nós compreenderemos um retratamento e aceitaremos um sincero pedido de desculpas. De coração. Vergonhosa, mesmo, é a sua atitude de fingir que está tudo certo, só para não admitir que errou, mesmo que isso custe um fragmento irrecuperável de nossa educação. Isso não é nem vergonhoso, sr. MEC. É deplorável. Nesse caso, aliás, não precisa nem ter vergonha de si. A gente tem vergonha de você."
05/01/2012: Foi divulgado estudo que comprova falhas graves na utilização do TRI pelo INEP!
Clique para vê-lo!
06/01/2012: Justiça dá a três alunos acesso à redação do ENEM (
fonte).
O texto do site foi atualizado com novas informações e explicações, incluindo um novo estudo, novos gráficos e até citação de artigos constitucionais. Confira!