Nos últimos anos várias universidades brasileiras, entre elas a UFMG e a UFRJ, divulgaram alguma medida do desempenho no vestibular das escolas de segundo grau - ou a nota média dos vestibulandos, classificados pela escola de segundo grau freqüentada ou a porcentagem de alunos de cada uma das escolas consideradas que foram aprovados no concurso. A forma de divulgação, com as escolas ordenadas pela nota média obtida por seus ex-alunos ou pela proporção de aprovados, revelava uma vontade subjacente de classificar as escolas. Rapidamente a imprensa publicou reportagens salientando as qualidades das escolas privadas, principalmente as confessionais, e criticando a qualidade das escolas públicas.

Sendo o vestibular classificatório e a competitividade diferente nos diversos cursos e não se podendo supor que o perfil das inscrições por opção de curso seja a mesma para todas as escolas, é evidente que este aspecto deve ser considerado na análise da eficiência das escolas. Neste sentido, a classificação pela nota média dos ex-alunos é superior à obtida pela porcentagem de alunos aprovados, uma vez que retira o efeito do curso escolhido pelo aluno.

O objetivo deste artigo é mostrar que mesmo a comparação das escolas pelas médias de seus ex-alunos é metodologia falha, sem sustentação estatística. Ao se comparar através de médias, presume-se que a clientela das diversas escolas são semelhantes, no que concerne às características relevantes para o processo educacional. Sob esta premissa, qualquer diferença observada no resultado final do aluno é devido à escola.

Sabe-se, entretanto, que o escore final do aluno é influenciado não somente pela escola mas também por características do aluno e do ambiente no qual ele está inserido e que estas características não são igualmente distribuídas nas diferentes escolas. Em particular, a comparação das médias não considera as diferenças nas condições socioeconômicas e na habilidade natural e motivação dos alunos das diversas escolas.

A discussão sobre o melhor método de comparar escolas realizou-se de forma acirrada na Inglaterra nos últimos anos, depois que o governo conservador estabeleceu como preceito legal a divulgação dos resultados dos alunos através de médias. Estas eram publicadas em forma de tabelas - as "league tables", que eram veiculadas pela imprensa nacional e local. Estas tabelas apresentavam as escolas secundárias da Inglaterra e Pais de Gales, ordenadas pelo rendimento médio de seus alunos em exame nacional. A principal justificativa oficial para esta política era informar os pais sobre as melhores escolas, de forma que eles tivessem subsídios para escolher a escola para seus filhos (Goldstein e Thomas, 1996).

A partir da necessidade de se analisar criticamente as "league tables", foram desenvolvidos modelos e metodologias alternativos, que, na medida que os dados comportam, são utilizados neste trabalho. A modelagem que se mostrou adequada está baseada na Teoria do Valor Agregado (Thomas e Mortimore, 1996; Goldstein e Thomas, 1996), através da utilização dos Modelos Hierárquicos (Bryk e Raudenbush, 1992).

Basicamente o que a Teoria do Valor Agregado procura é uma forma mais justa de comparação de escolas (Thomas e Mortimore, 1996), embora ainda sujeita a críticas. Este procedimento consiste em considerar o nível do aluno ao ingressar na escola e as características individuais que influenciam o desempenho do aluno.

Ao considerar o nível do aluno no ingresso, retira-se a influencia de processos anteriores e independentes da escola. O que deve ser observado na determinação da eficiência da escola é o que foi acrescentado ao aluno durante o período em que ele esteve naquele estabelecimento de ensino, isto é, entre a sua entrada e sua saída, e não o patamar alcançado ao final do processo. Ou seja, o foco da análise deve ser o progresso do estudante, dentro da instituição de ensino. É a este acréscimo de conhecimento observado no aluno que, muitas vezes, dá-se o nome de "Valor Agregado", embora este termo não tenha boa aceitação entre todos os estudiosos do assunto (Goldstein a Spiegelhalter, 1996).

A consideração das características individuais ou contextualização tem por objetivo tornar comparáveis as clientelas das diversas escolas. A não obtenção da comparabilidade leva a resultados errôneos: existem escolas que, apesar de acrescentarem muito a seus alunos, devido ao perfil de sua clientela, não conseguem se destacar no quadro das médias de desempenho. Em suma, uma forma mais justa de comparar as escolas é julgá-las pelo que acrescenta ao aluno padrão e não pelo resultado final médio do seu grupo de alunos.

Por outro lado, a utilização de Modelos Hierárquicos incorpora à análise a estrutura hierárquica dos dados. Na análise de desempenho escolar, isto se dá pela incorporação no modelo do reconhecimento que existe alguma fonte de variabilidade relacionada às escolas, uma vez que se reconhece que estas diferem em eficiência e, desta forma, alunos de uma mesma escola tendem a ser mais semelhantes entre si que alunos de escolas distintas. Por outro lado, existe variabilidade dentro da escola, uma vez que os alunos não têm todos o mesmo rendimento. Dito em outras palavras, modelos hierárquicos permitem a incorporação ao modelo de mais de um termo de erro. Ao incorporar ao modelo a variabilidade proveniente dos dois níveis é possível quantificar a contribuição de cada um deles para a variação total. Mais ainda, através da introdução de covariáveis específicas a cada um dos níveis é possível explicar grande parte da variação presente nos dados e definir políticas facilitadoras do processo ensino-aprendizagem. Ao se incluir no modelo uma covariável a nível de escola que tem efeito positivo no desempenho dos alunos, diminuí-se a variabilidade entre escolas e detecta-se um fator potencialmente causal do bom rendimento do aluno. Desta forma, é possível definir políticas administrativas e pedagógicas que visem a uma maior eficácia da rede de ensino.

A utilização dos Modelos Hierárquicos na análise do dados ingleses mostraram que diferentes modelos levam a diferentes classificações das escolas (Goldstein e Thomas, 1996). Mostraram ainda que a introdução de variáveis de desempenho do aluno em testes anteriores ( modelo baseado na Teoria do Valor Agregado) diminuía drasticamente a variabilidade dentro e entre as escolas, quando comparado com um modelo que não incluía esta informação( Goldestein e Thomas, 1996; Thomas e Mortimore, 1996). Concluí-se, então, pela imprecisão e inexatidão da tabela construída a partir dos dados não ajustados.

Para o Brasil ainda não é possível utilizar, na sua totalidade, a Teoria do Valor Agregado na comparação das escolas, por não existir a informação básica. Esta seria uma medida do conhecimento do aluno ao ingressar no nível no qual se deseja fazer a comparação. Assim, se desejamos comparar o desempenho das escolas no vestibular, que seria uma medida da eficiência da escola no nível médio, necessitaríamos de uma medida do aluno na entrada neste nível, ou seja, ao final do ensino fundamental.

É preciso enfatizar que o objetivo deste estudo é fazer uma comparação das escolas da grande BH que forneceram candidatos para o vestibular de 1997, através do desempenho destes alunos no concurso. Estudos muito mais interessantes, como o efeito das desigualdades sociais sobre o processo de ensino-aprendizagem no Brasil ou uma análise da estrutura das escolas sobre o desempenho de seus alunos, não são viáveis com os dados disponíveis. No entanto, este artigo pretende chamar atenção para os modelos estatísticos necessários para este tipo de estudo.

O vestibular da UFMG é realizado em duas etapas. A primeira etapa consiste de provas de múltipla escolha, que verificam o conhecimento do conteúdo básico do ensino fundamental e médio e é comum a todos os candidatos. A segunda etapa consiste de provas discursivas e é específica por curso. Somente uma parte dos candidatos, selecionada a partir dos resultados da primeira etapa, faz as provas da segunda etapa. Neste trabalho, somente o resultado na primeira etapa foi utilizado.

No vestibular da UFMG, em 1997, 45.994 candidatos concorreram a um dos 45 cursos que a universidade oferece. Deste total 3.365 (7,3%) não compareceram a nenhum dia das provas. Como objetivo deste trabalho é a crítica a uma metodologia de comparação de escolas, apenas os alunos que terminaram o segundo grau em 1996 e que compareceram a pelo menos um dia de prova foram considerados. As escolas representadas por 4 ou menos alunos não foram analisadas. Desta forma somente 163 escolas e um total 10.476 alunos foram considerados.

A limitação do estudo aos alunos que concluíram o segundo grau em 1996 tem duas razões principais. A primeira seria evitar o "efeito coorte" que poderia existir ao se considerar alunos que cursaram o nível médio em épocas distintas. Além disto, muitos alunos, depois de reprovados, matriculam-se em cursinhos pré vestibulares. O uso destes últimos candidatos na comparação das escolas confundiria o efeito da escola com o dos cursinhos.

Para se inscrever ao vestibular da UFMG, o candidato preenche junto com o requerimento de matrícula um questionário com informações demográficas e socioeconômico-culturais. Uma descrição detalhada do questionário foi feita em Soares e Fonseca (1998). As informações deste questionário foram utilizadas para fazer uma categorização socioeconômica dos alunos e a mensuração de alguns fatores explicativos do desempenho. Os fatores utilizados neste trabalho foram construídos a partir de itens do questionário que se mostraram relevantes para explicar a diferença entre as notas dos alunos e procuram medir quatro dimensões. Estes foram identificados como habilidade acadêmica do aluno (habilidade), qualidade do ambiente escolar freqüentado (escolar), preparação para o vestibular (preparo) e condições socioeconômica da família (posição).

As tabelas abaixo mostram que estes fatores devem ser utilizados em modelos explicativos do desempenho. Para estas tabelas foram utilizados os candidatos analisados neste trabalho. Maiores detalhes sobre a construção destes fatores e os resultados obtidos com todos os candidatos ver trabalho de Soares e Fonseca (1998)

Tabela 2.1 Situação dos candidatos discriminada pelo fator preparo

Como se pode ver na tabela 2.1 os candidatos com índice zero obtiveram, além de notas mais baixas, também um baixo índice de aprovação, comparados com os candidatos na situação oposta. A grande maioria dos candidatos pertencem ao grupo que se preparam bem para o vestibular (2 Características).

Tabela 2.2 Situação dos candidatos discriminada pelo fator escolar

A grande maioria (69%) dos candidatos são recém formados. Este grupo não é formado por alunos que freqüentaram escolas em condições menos favorecidas (zero característica). Candidatos que freqüentaram ambientes escolares onde é proporcionado melhor qualidade no ensino (3 características), obtiveram notas na 1ª etapa e taxas de aprovação superiores, comparadas tanto com os valores globais quanto com os valores de outros candidatos.

A mensuração correta do fator que retrata a habilidade acadêmica do candidato exige o conhecimento de resultados de testes antes do vestibular. No Brasil, esse dado não existe. Para este trabalho pudemos medir esse fator apenas de forma muito indireta através de varáveis no questionário socioeconômico-cultural.

Tabela 2.3 Situação dos candidatos discriminada pelo fator habilidade

O fator habilidade pode ter no máximo 4 pontos, e é sintetizado na tabela 2.3. As notas crescem exponencialmente à medida que aumenta a "habilidade" acadêmica do candidato, medida pelo número de características consideradas no fator. Os candidatos de baixa "habilidade" obtiveram, como era de se esperar, taxas de aprovação muito baixas e notas abaixo da nota média global. É importante ressaltar a enorme diferença nas taxas de aprovação e notas existente entre candidatos de baixa e alta habilidade. Isto, de certa forma, mostra que essa variável, apesar de sua deficiência estrutural, consegue discriminar os candidatos.

É medido através da soma entre as variáveis renda per capita familiar, ocupação do pai e escolaridade do pai. Todas estas variáveis são obtidas do questionário socioeconômico-cultural respondido pelos candidatos.

Este fator pode ser, com um pouco de esforço, considerado uma variável contínua variando de 4 até 18 pontos com média igual a 12 e desvio-padrão igual a 3,6 pontos.

Tabela 2.4 Tabela referente ao índice socioeconômico

As notas crescem linearmente com o aumento da posição socioeconômica dos candidatos. Candidatos com alta posição (acima de 15 pontos – em torno de 23% dos candidatos) obtiveram as notas e as taxas de aprovação bem acima dos valores totais.

Um modelo para análise do desempenho dos alunos deve considerar a estrutura hierárquica presente nos dados. Esta estrutura advém do fato que os alunos estão agrupados em escolas e, existindo efeito de escola, espera-se que alunos provenientes de uma mesma escola tenham desempenhos dependentes. Consequentemente, o modelo necessita incorporar explicitamente as diferenças entre escolas.

Com o objetivo de contextualizar e tornar comparáveis os resultados das diversas escolas, são introduzidas covariáveis específicas do aluno. A variável resposta - total de pontos na primeira etapa do vestibular - é modelada como uma combinação linear destas covariáveis e do nível da escola, representado por uma constante (intercepto) própria para cada escola. Desta forma, o modelo utilizado é um modelo hierárquico em dois níveis, sendo o nível inferior relativo ao aluno e o nível superior à escola.

Temos, então,

Substituindo (2) em (1):

onde,

Y_ij= total de pontos obtidos pelo i° aluno da jª escola,

i=1,2,....n_j , j=1,2,...,k onde k=número de escolas

X_lij= valor da covariável l para para o aluno i da escola j.

b _l=efeito da covariável l X_l sobre o total de pontos

b _0j= nota média da escola j

Além disto, u_j e e _ij são as componentes de erro, supostas independentes, com distribuição Normal com média 0 e variâncias

A comparação entre as escolas é feita através dos valores û_j , que representam os valores estimados do efeito da escola, ajustado pelas covariáveis presentes no modelo. A princípio, u_j poderia ser considerado um efeito fixo a ser estimado - o efeito da escola na nota do aluno. Desta forma, estimaríamos k parâmetros, representativos dos efeitos de escola na nota dos alunos. Entretanto, duas razões levam a considerá-lo como um componente aleatório. Do ponto de vista teórico, o grande número de escolas, que se reflete em um grande número de efeitos a serem estimados, levam a ineficiência do procedimento. Do ponto de vista da análise do problema, é interessante considerar o efeito de escola como aleatório, uma vez que esta opção nos propicia a oportunidade de avaliar a extensão da variabilidade entre escolas que é explicada pelos fatores incorporados no modelo.

Vários modelos podem ser ajustados aos dados dependendo de quais variáveis explicativas são incorporadas. No entanto, primeiramente, é importante ajustar um modelo que incorpora apenas a escola onde o aluno concluiu o segundo grau. Comparando variabilidade entre as escolas obtida deste modelo que não considera as características dos alunos com aquela obtida do modelo contendo as covariáveis tem-se o indicativo mais explícito da inadequação da comparação de médias na avaliação do desempenho das escolas.

ou, ,

A síntese do ajuste deste modelo é apresentada na Tabela 3.1.

Tabela 3.1: Resultado do Ajuste do Modelo Contendo apenas o

indicador de escola

Observe que a variância total fica divida em duas partes- uma devida a variação entre os alunos e outra devida a escola. O Coeficiente de Correlação Intra-Escolas fornece a fração da variação total observada nas notas que é explicada pela variação entre as médias das escolas. Desta forma, no primeiro modelo ajustado temos que, aproximadamente, 36% da variabilidade nas observações pode ser explicada pelas escolas.

Em um segundo momento, incluímos covariáveis específicas para os alunos, com o objetivo que alcançar comparabilidade. As covariáveis incluídas foram aquelas já discutidas anteriormente - habilidade, preparo, escolar e posição - acrescidas da covariável sexo. Considerou-se mais adequado tratar as três primeiras covariáveis - habilidade, preparo e escolar - como nominais e introduzi-las no modelo através de variáveis indicadoras. Como as covariáveis têm, respectivamente, cinco, três e dois níveis, foram criadas as variáveis indicadoras habil1, habil2, habil3 e habil4; preparo1 e preparo2 e escolar. A covariável sexo é, por sua própria natureza, indicadora. Atribuiu-se o valor 1 para o sexo feminino. A variável posição foi considerada contínua e incluída no modelo na forma de escore padronizado. A opção por esta forma de inclusão tem duas razões. Uma vez que posição, nível socioeconômico do aluno, não assume o valor 0, para dar significado claro ao intercepto b _o, é interessante que seja feito uma mudança de origem na covariável. Optou-se por centralizá-la em sua média geral. Assim, b _o representa a nota média do aluno que tem nível socioeconômico igual à media do grupo e as demais covariáveis iguais a zero. Para facilitar a interpretação do valor do coeficiente, optou-se por dividir pelo desvio-padrão.

O Modelo 2 se escreve como:

A Tabela 3.2 apresenta o resultado do ajuste do Modelo 2.

Tabela 3.2 Resultado do ajuste do Modelo 2 contendo o indicador

de escola e as covariáveis específicas por aluno

Embora seja razoável considerar que a dificuldade de classificação no curso de escolha do candidato pudesse influenciar o seu desempenho, a inclusão no modelo do número mínimo de pontos para classificação à segunda etapa, observado no ano anterior, não apresentou coeficiente significativamente diferente de zero e tampouco produziu modificações no modelo anterior. Por estas razões o resultado do ajuste não é apresentado aqui.

Uma observação importante relativa ao modelo, diz respeito às covariáveis incluídas no modelo. Uma vez que estão presentes somente covariáveis medidas a nível do aluno e não aquelas relativas a características institucionais - sejam estas a nível de composição de seus alunos, de recursos educacionais disponíveis ou de propostas pedagógicas - não é possível através desta análise avaliar políticas institucionais internas. O modelo permite apenas comparar o desempenho das escolas, ajusta pelo perfil de seus alunos. Em outras palavras, o modelo analisado serviria para guiar pais e alunos na escolha da escola. Não seria, entretanto, adequado para avaliação do sistema educacional com vistas a definição de propostas.

Comparando as tabelas 3.1 e 3.2 podemos observar que a inclusão das covariáveis diminuiu consideravelmente a variação total não explicada pelo modelo que passou de 180,417 para 125,833 - uma redução em torno de 30%. Esta redução, embora tenha ocorrido nos dois níveis, foi muito mais acentuada a nível da escola, tendo passado de 64,511 para 24,515 - uma redução de 62%, enquanto a nível do aluno a redução observada, de 115,906 para 101,318, foi da ordem de 13%. Conclui-se, então, que embora exista variação entre as escolas, esta não é tão expressiva como a comparação das médias não ajustadas parece indicar. A inclusão das covariáveis disponíveis que, certamente, não abrangem todos os aspectos que devem ser considerados no ajuste, diminuiu drasticamente a variação entre as escolas, o que resultou em uma redução do coeficiente de correlação intra-escolas de 0,358 para 0,195, ou seja, aproximadamente 55% do valor original.

Uma questão que é freqüentemente colocada na discussão da eficiência das escolas é o desempenho da escola pública. Sendo esta, diferentemente da privada, à princípio, acessível a todos os membros da sociedade, podendo assim desempenhar o papel de provedor da "igualdade de oportunidades" e sendo, além disto, mantida pela sociedade, torna-se alvo de especulações e críticas. Existe, atualmente, uma grande discussão sobre a real qualidade da escola pública, cujo desempenho é confrontado com o da escola particular.

Uma vez que é possível fazer a classificação das escolas segundo o caráter público/provado, foi ajustado o Modelo 3 que, além de incluir as covariáveis individuais presentes no Modelo 2, contém também a covariável indicadora particular, que assuem o valor 1 para as escolas particulares e 0 para as escolas públicas. A tabela 3.3 apresenta os resultados obtidos deste ajuste.

Tabela 3.3 Resultado do ajuste do Modelo 3 contendo o indicador de

Escola, as covariáveis específicas por aluno e o indicador

Embora a inclusão da covariável particular praticamente não tenha afetado os valores relativos à variabilidade não explicada pelo modelo e os coeficientes estimados para as demais covariáveis no modelo, seu coeficiente foi significativo, o que justifica a sua manutenção no modelo. Em vista disto concluímos que a variabilidade observada entre as escolas de segundo grau de Belo Horizonte não pode atribuída ao caráter público/privado das mesmas, mas os alunos advindos de escola particular têm, em média, 2,75 pontos a mais aqueles oriundos de escola pública.

A tabela abaixo apresenta os efeitos de cada escola segundo os modelos propostos. Considerando a média não ajustada – Modelo 1 - o efeito de escola é dado pela diferença entre a média observada para os alunos daquela escola e a média geral. Para os modelos 2 e 3, o efeito de escola é dado por û_j , como explicado anteriormente. As escolas encontram-se ordenadas pelo efeito estimado através da média não ajustada e o posto 1 é dado à escola de menor valor agregado. Considerando que o Modelo 3 é superior ao Modelo 2, como exposto discutido anteriormente, a análise será restrita a comparação do Modelo 3 com o Modelo 1.

Observa-se primeiramente que, quando se controla pelas características dos alunos e pelo administrativo, o efeito de escola é reduzido. O intervalo de variação que era [-11,24 ; 29,18] passa para [-10,55 ; 19,18] no modelo ajustado, com uma clara redução das diferenças.

Outro resultado importante é a mudança de posição das escolas. Escolas que trabalham com clientela de posição social mais baixa, mas que fazem um bom trabalho, tem o seu valor agregado aumentado. O oposto vale para escolas que trabalham com alunos de posição social mais alta. A tabela com as escolas e seus respectivos postos e efeitos estão em anexo no final do trabalho.

Para melhor visualização dos resultados da tabela em anexo, o gráfico 4.1 apresenta os postos atribuídos às escolas pelos dois modelos (Modelo 1 e 3). Se as classificações fossem exatamente equivalentes, todos os pontos estariam na diagonal principal do gráfico. Quanto maior o desvio em relação à diagonal, maior a discrepância no resultado obtido pelas duas análises. Observa-se que somente no canto superior esquerdo da figura há concordância entre as duas classificações. No restante da figura, observa-se discrepância entre as classificações.

Gráfico 4.1. Postos atribuídos às escolas pelos Modelos 1 e 3

Devido à incerteza relacionada ao efeito da escola, a comparação entre instituições não pode se basear em valores pontuais. A imprecisão da medida deve ser levada em conta e, portanto, devem ser construídos intervalos de confiança.

O gráfico 4.2 apresenta os intervalos de confiança para os efeitos de escola, segundo o Modelo 3. A grande maioria destes intervalos apresenta intercessão e, portanto, não se pode considerar que as escolas diferem quanto à eficiência. Embora seja possível definir grupos de escolas com valores agregados distintos, a maioria delas é classificada em um grande grupo, com eficácia inferior às demais.

Gráfico 4.2 Intervalos de confiança para os efeitos de escola

Uma comparação ideal entre estas escolas não pode ser feita somente com os dados do vestibular. Isto porque nem todos os alunos de todas as escolas se candidatam ao vestibular e não há nenhuma informação sobre as respectivas proporções de inscritos no vestibular da UFMG. Para uma comparação completamente não viciada seria necessário obter, concomitantemente, dados de desempenho de amostras aleatórias de alunos de todas as escolas de interesse. O vestibular não fornece estes dados.

Além desta questão há uma segunda fonte de vício que não pode ser controlada. Sabe-se que a variável com maior poder explicativo do desempenho de alunos é a sua habilidade inata. Esta é usualmente medida através de testes de desempenho anos antes do vestibular. Como não existe avaliação da escola de segundo grau, estes dados não existem.

Assim sendo nas classificações feitas acima, estamos ainda atribuindo à escola, diferenças que certamente são dos alunos. Ou seja, o valor acrescentado por cada escola é menor do que aquele apresentado. Isto deve acontecer de forma especial com os colégios considerados bons. Isto porque os bons alunos não só são atraídos por estes colégios, como os pais fazem um esforço extra para manter seu filho com potencial em um bom colégio.

Uma comparação perfeita entre estes dois sistemas não pode ser feita apenas com os dados do vestibular. Isto porque nem todos os alunos dos dois sistemas candidatam-se ao mesmo vestibular e não há nenhuma informação sobre respectivas proporções de inscrição no vestibular da UFMG. Para uma comparação não viciada, seria necessário obter, concomitantemente, dados de desempenho de amostras aleatórias de alunos dos dois sistemas. No entanto, no caso da UFMG a informação existente é que para as cidades da região metropolitana de B.H. a grande maioria dos alunos candidatam-se ao vestibular. Ou seja não se espera nenhum viés importante.

Os resultados dos modelos ajustados mostram que grande parte da variabilidade a nível de escola observada nos resultados dos alunos pode ser explicada pelos fatores introduzidos no modelo que se referem primordialmente ao aluno, mas que contêm também características da escola. Neste aspecto, a ordenação das escolas aqui obtida se mostra mais justa que aquela baseada simplesmente nas média dos resultados, uma vez que os fatores introduzidos no modelo se encontram fora do controle da escola.

Fica claro também que os dados existentes não permitem estudo completo do desempenho das escolas de segundo grau. O acesso dos alunos às diferentes escolas é determinado, primeiramente, pela questão socioeconômica. As escolas que mostraram melhor desempenho são escolas são aquelas, sabidamente, inacessíveis a grande maioria da população. Como a condição socioeconômica determina também o ambiente no qual o aluno está inserido e este, por sua vez, tem forte influencia no resultado acadêmico do aluno, há uma confusão de efeitos dificilmente desemaranháveis.

Uma limitação importante dos dados é a inexistência de informação de entrada. Muitas das escolas de Belo Horizonte selecionam seus alunos através de resultados de testes, quer no setor público quer no privado. Desta forma, na entrada, os alunos já são diferenciados. Aquelas escolas conhecidas ou tidas como eficientes, determinam o perfil do aluno que desejam ter e através de procedimento de seleção elaborado por cada uma delas, atingem seu objetivo.

Mesmo com boa informação de entrada, a comparação de escolas, como explicitado por Goldestein e Thomas (1996), tem problemas estruturais. Uma melhor utilização da Teoria do Valor Agregado pode ser feita como instrumento de triagem, para identificação de escolas para investigação através de estudos de caso. Esta combinação de metodologia quantitativa e qualitativa forneceria informações preciosas para a melhoria do sistema. As boas escolas poderiam ser imitadas.

Aliado a esta limitação existe o fato que a instituição na qual o aluno termina o nível médio não é, necessariamente, a instituição na qual ele cursou todo este nível. Ou seja, mesmo existindo a informação necessária para utilização da Teoria do Valor Agregado, existiria ainda a migração entre escolas, não disponível no bando de dados utilizado.

É importante mais uma vez ressaltar que a grande utilidade dos modelos hierárquicos não pode ser apreciada neste trabalho, pela limitação dos dados. A mera identificação das escolas que, após ajuste por fatores socioeconômicos apresentam melhor desempenho não deve ser objetivo final do trabalho. Deve-se procurar identificar as características das escolas que apresentam resultado melhor que o esperado, dada as características de seus alunos.

Goldstein, H. and Thomas, S. 1996: Using Examination Results as Indicators of School and College Performance. J. R. Statistic. Soc. A, 159, 149-163.

Thomas, S. and Mortimore, P. 1996: Comparison of value-added models for secondary-school effectiveness. Research Papers in Education 11(1), 5-23.

Bryk, A. S. and Raudenbush, S. W. 1992: Hierarchical Linear Models. Newbury Park: Sage.

Goldstein, H. and Spiegelhalter, D. J. 1996: League Tables and Their Limitations: Statistical Issues in Comparissons of Institutional Performace. J. R. Statistic. Soc. A, 159, Part 3, 385-443.

Soares, J. F. e Fonseca, J. A. 1998: Fatores Socioeconômicos e o Desempenho no Vestibular da UFMG-97 (Relatório), UFMG ,Belo Horizonte.