INCLUSÃO PELA QUALIDADE

que é o SAEB? - Breve histórico

O tema da avaliação educacional não é novo. Na verdade, foi e é uma constante na pauta de discussões de todos os segmentos envolvidos com a questão da qualidade da educação. Em meados dos anos 80, o processo de redemocratização do País se refletia no campo da educação, suscitando não só as antigas discussões sobre a universalização do acesso à escolarização, mas também novas temáticas, que acabaram se tornando o eixo em torno do qual os debates se concentravam.

Estas novas questões remetiam à qualidade e à eficiência das redes de ensino do País, já que a educação começava a ser pensada como um produto a ser assegurado pelo Estado. Até então havia o Censo que, mesmo precariamente, levantava informações quantitativas sobre o acesso à escolarização, mas em termos de qualidade, não havia produção de informações de maneira sistemática, válida, útil e generalizada. Além disto, se antes pesquisas eventuais sobre um ou outro aspecto qualitativo da educação em populações isoladas (e que nem sempre serviam como referencial para generalizações a outros segmentos de interesse) mostravam-se suficientes para a produção de informações, neste período tornava-se necessário fazer algo a mais. Foi neste contexto que o Sistema Nacional de Avaliação da Educação Básica - SAEB surgiu como instrumento para atender a tal demanda social por informações, e apesar de não ser o único instrumento de pesquisa e avaliação educacional desenvolvido nestes últimos 15 anos, é um dos mais amplos esforços empreendidos em nosso País no sentido de coletar, freqüente e sistematicamente, dados sobre a qualidade, eqüidade e eficiência do ensino oferecido pelas redes de ensino do Brasil.

Como o SAEB funciona? Como é feito o SAEB?

Criado em 1988, o SAEB é um Programa do Governo Brasileiro, desenvolvido pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP, na sua Diretoria de Avaliação da Educação Básica – DAEB.

É aplicado a cada dois anos, desde 1990, e em novembro de 2003 cumprirá o sétimo ciclo de sua aplicação.

Para alcançar seus objetivos, o SAEB utiliza várias metodologias que conferem validade e utilidade aos dados. Dentre as principais podem ser citadas:

u aplicação de instrumentos padronizados (testes e questionários);

u seleção de uma amostra probabilística dentro da população que se quer investigar;

u construção das provas com base em um referencial de ampla cobertura dos currículos nacionais da Educação Básica, as Matrizes de Referência;

u uso da Teoria de Resposta ao Item e de Escalas de Proficiência para análise dos resultados.

Quais os objetivos do SAEB?

A partir das informações do SAEB, o MEC e as Secretarias Estaduais e Municipais de Educação podem definir ações voltadas para a correção de distorções e debilidades identificadas e direcionar seus recursos técnicos e financeiros para áreas prioritárias, visando ao desenvolvimento do Sistema Educacional Brasileiro e à redução das desigualdades existentes nele. Desta forma, o SAEB tem como principal objetivo oferecer subsídios­ para a formulação, reformulação e monitoramento de políticas públicas, contribuindo, dessa maneira, para a ampliação da qualidade do ensino brasileiro. Na medida em que se amplia a utilização das informações do SAEB, também o público usuário das informações se modifica e aumenta, o que desencadeia uma série de reflexões e, em conseqüência delas, demandas por informações das mais distintas naturezas, que esbarram nos limites da metodologia utilizada e dos objetivos estabelecidos inicialmente para a pesquisa. Como exemplo, a impossibilidade de o SAEB gerar resultados por escolas, sua utilização por professores, diretores e pais de alunos - os atores mais diretos do processo educativo - fica limitada. Todavia, adaptações necessárias e possíveis têm sido feitas para que, cada vez mais, o SAEB esteja inserido no contexto das demandas sociais por informação e seja capaz de satisfazê-las da melhor forma possível.

As metodologias de inclusão pelo SAEB

Conforme já foi dito anteriormente, o SAEB, ao longo de sua trajetória, tem utilizado diferentes instrumentos de coleta e metodologias de análise de dados. Embora suas características gerais tenham permanecido, muitas alterações de cunho metodológico foram agregadas, a fim de conferir maior validade e utilidade às informações coletadas.

Em 1995, foram introduzidas várias modificações no sentido de aperfeiçoar técnica e metodologicamente as avaliações anteriormente realizadas. Neste ciclo do SAEB foram avaliadas séries terminais de ciclos: 4ª e 8ª séries do Ensino Fundamental e 3ª série do Ensino Médio. As escolas particulares, pela primeira vez, foram incluídas e passaram a fazer parte da amostra e, pela primeira vez também, a avaliação estendeu-se ao Ensino Médio.

As maiores modificações, entretanto, foram conseqüência da adoção da Teoria da Resposta ao Item (TRI), que descrevemos a seguir junto com as demais metodologias que caracterizam o SAEB, ora conferindo-lhe maiores possibilidades, ora restringindo o seu alcance.

As Matrizes de Referência - são o documento orientador da elaboração dos testes do Saeb. Elaboradas em 1996 e publicadas em 1997, as Matrizes foram construídas a partir de vários processos:

1. O primeiro constituiu-se em uma consulta nacional aos currículos propostos pelas Secretarias Estaduais de Educação e praticados nas escolas brasileiras de Ensino Fundamental e Médio, em busca do que havia de comum entre eles.

2. Em seguida, foram incorporadas as análises de professores das disciplinas a serem avaliadas e especialistas em teoria do conhecimento.

3. Foi feita uma opção teórica, segundo a qual se pressupõe que o aluno deve desenvolver determinadas competências cognitivas e habilidades no processo de construção do conhecimento.

Cabe ressaltar que, no processo de elaboração, foram levados em consideração os Parâmetros Curriculares Nacionais, o disposto na Lei de Diretrizes e Bases da Educação Nacional (LDBEN n. 9.394, de 9 de julho de 1996), bem como os conteúdos dos livros didáticos mais utilizados nas escolas públicas do País.

Assim, as Matrizes de Referência descrevem o que será avaliado em cada disciplina, enfocando as competências e habilidades esperadas do aluno (o que os alunos sabem e o quanto são capazes de utilizar o conhecimento adquirido em um determinado momento de sua escolarização).

As Matrizes são subdivididas em tópicos e estes, em partes menores, denominadas "descritores", cujos enunciados especificam o que cada questão elaborada a partir deles deve medir.

Cada descritor tanto dá origem a questões diversificadas, quanto permite a interpretação dos resultados alcançados pelos alunos ao responderem a tais questões. Tratando-se, portanto, do ponto de partida e de chegada da avaliação.

Decorrente destas análises, foi feita uma opção teórica, que é de natureza construtivista, pressupondo a existência de competências cognitivas1 e habilidades no processo desenvolvido pelo aluno ao construir seu conhecimento.

Assim, as Matrizes de Referência descrevem o conteúdo a ser avaliado em cada disciplina, enfocando as competências e habilidades esperadas do aluno (o que os alunos sabem e o quanto são capazes de utilizar o conhecimento adquirido) em um determinado momento de sua escolarização.

Os conteúdos de cada área a ser avaliada são subdivididos em partes menores, denominadas "descritores" isto é, unidades cujos conteúdos e habilidades enunciados descrevem o que as questões das provas do SAEB devem medir.

Cada descritor tanto dá origem a questões diversificadas sobre o mesmo conteúdo, quanto permite a interpretação dos resultados alcançados pelos alunos ao responderem a tais questões. Trata-se, portanto, do ponto de partida (e de chegada) da avaliação.

Em resumo, as Matrizes têm uma relação intrínseca de funcionalidade com os itens produzidos para o SAEB, tornando comparáveis os resultados dos diferentes ciclos de aplicação, conferindo maior propriedade, adequação e confiabilidade aos dados coletados e permitindo as análises finais dos resultados obtidos de acordo com os objetivos preestabelecidos.

Os Testes - os testes aplicados aos alunos são fundamentados nas Matrizes de Referência, a partir dos seus descritores, e são compostos por questões de múltipla escolha (denominadas itens), elaboradas por professores especialistas nas áreas avaliadas.

Depois de elaborados, os itens são submetidos: (i) a uma revisão de conteúdo e forma, que compreende uma certificação da qualidade dos aspectos teóricos, pedagógicos e lingüísticos e (ii) à validação empírica, que identifica as características do comportamento dos itens, por meio de técnicas estatísticas (TRI) e psicométricas, após sua aplicação em campo.

Os testes do SAEB contêm 169 itens para cada uma das séries e disciplinas avaliadas, a fim de cobrir todos os conteúdos e habilidades previstos nas Matrizes de Referência. Para permitir a aplicação dessa grande quantidade de itens, é utilizado o delineamento denominado "Blocos Incompletos Balanceados" (Balanced Incomplete Block) – BIB.

Esse delineamento permite que os 169 itens sejam divididos em subconjuntos menores chamados blocos. Cada bloco é composto por 13 itens, o que faz com que se tenha ao todo 13 blocos.

Estes 13 blocos são organizados em grupos de três em três, em diferentes combinações, sendo que cada bloco aparece 2 vezes na mesma posição. Cada combinação resulta em um caderno de prova, e todas as combinações em 26 cadernos diferentes. Desta forma, em cada caderno o aluno responde a três blocos, totalizando 39 questões.

Esta distribuição assegura que sejam superados fatores intervenientes na resposta aos itens, como o cansaço do aluno ou a falta de tempo para responder às questões que aparecem no fim da prova.

Os questionários – são instrumentos que coletam informações sobre o contexto social, econômico e cultural dos alunos, e ainda sobre sua escolarização, buscando apresentar indicações do efeito que alguns destes fatores têm sobre o desempenho.

Professores e diretores também são convidados a responder questionários que possibilitam a identificação de dados sobre a formação profissional, práticas pedagógicas, nível socioeconômico e cultural, estilos de liderança e formas de gestão. São coletadas, ainda, informações sobre o clima acadêmico da escola, clima disciplinar, recursos pedagógicos disponíveis, infra-estrutura e recursos humanos. Na mesma ocasião é preenchido, pelo aplicador dos testes, um questionário sobre as condições de infra-estrutura das escolas que participam da avaliação.

A identificação de fatores associados ao desempenho do aluno é feita, no âmbito do SAEB, com extrema cautela. Não é estabelecida uma relação direta, e de certo modo mecânica, entre diferentes variáveis para a determinação desses fatores. No caso do SAEB, utiliza-se o modelo multinível para a análise dos dados coletados, bem como o controle de algumas variáveis, como o nível socioeconômico dos alunos avaliados 2.

Diversos estudos são desenvolvidos com base nos dados coletados, permitindo que os resultados destes apontem para questões de grande interesse para os formuladores de políticas em educação.

A amostra - como a população a ser avaliada é muito extensa e diversificada, o SAEB é aplicado a uma amostra representativa deste universo. Além das estimativas para a população objeto da pesquisa, são produzidas estimativas para alguns estratos de interesse (grupos de alunos para os quais se pretende inferir resultados separados).

Os principais critérios para estratificação têm sido:

u Série em que o aluno está matriculado: 4ª e 8ª do Ensino Fundamental e 3ª do Ensino Médio, na modalidade regular;

u As Unidades da Federação (Estados): o SAEB produz estimativas para cada um dos 26 estados e DF;

u Dentro de cada UF, a dependência administrativa (rede): pública (estadual ou municipal) e particular;

u A localização da escola: se está sediada na capital ou no interior. No interior, se é urbana ou rural;

u O tamanho da escola, calculado pelo número de turmas que a escola mantém nas séries avaliadas.

Assim, para o processo de constituição da amostra, com base no cadastro do Censo Escolar, as escolas são separadas em estratos independentes, segundo os critérios acima listados. Dentro destes estratos, são sorteadas escolas e nelas turmas de alunos que farão os testes.

Em cada escola é sorteada, no mínimo, uma e no máximo duas turmas de uma mesma série a ser avaliada. Vale observar que numa mesma escola podem participar da aplicação turmas de séries e turnos diferentes, desde que haja turmas e alunos de mais de uma das séries consideradas de interesse do SAEB.

Os resultados obtidos pelos alunos destas turmas são generalizados para o estrato de escolas que representam. Posteriormente, as generalizações feitas para os estratos são também estendidas às redes das Unidades da Federação e do País como um todo.

Sendo assim, não são obtidos resultados que reflitam a eficiência de cada escola isoladamente, porque as turmas sorteadas, na maioria das vezes, não são quantitativa nem qualitativamente representativas da realidade daquela escola, mas apenas em conjunto com outras turmas "espelham" a eficiência do estrato que representam.

A Teoria de Resposta ao Item - A Teoria de Resposta ao Item (TRI) consiste de um sistema de medidas desenvolvido de forma a superar algumas deficiências do sistema clássico ou Teoria Clássica dos Testes (TCT).

Na Teoria Clássica, os dados coletados por meio de um conjunto de questões podem variar quando aplicados a uma outra população, o que prejudica a validade das informações obtidas. Por exemplo, no caso do SAEB, em que as avaliações acontecem em momentos diferentes e são aplicadas a populações distintas, não seria possível comparar os dados entre um e outro ciclo de avaliação, pois cada resultado valeria para cada aplicação isoladamente.

Outra limitação da Teoria Clássica é que os desempenhos apresentados pelos alunos dependem do teste utilizado. Estudantes que respondem a testes mais fáceis não podem ser comparados diretamente com estudantes que respondem a testes mais difíceis.

A TRI foi adotada justamente para superar tais limitações e conferir ao SAEB a possibilidade de fornecer resultados que fossem independentes da amostra utilizada e dos testes aplicados, permitindo comparabilidade entre anos e séries avaliadas.

Pelas análises estatísticas feitas com base na TRI, estima-se a proficiência dos estudantes pela probabilidade de acerto ao item. Além disso, permite estimar o poder de discriminação do item, ou seja, sua capacidade de diferenciar os alunos que já desenvolveram as competências requeridas, daqueles que ainda não as desenvolveram. Informa também: (i) o índice de dificuldade de cada questão, o que permite equilibrar as provas com questões de diferentes graus de dificuldade e (ii) a probabilidade de acerto ao acaso, que indica a chance de acerto do item sem o conhecimento e a construção da habilidade requerida (acerto pelo "chute").

Para garantir a comparabilidade entre uma aplicação e outra, mantêm-se alguns blocos de itens já aplicados em anos anteriores, chamados de itens comuns. Por sua vez, para garantir a comparabilidade do desempenho dos alunos entre as três séries avaliadas, aplicam-se blocos da 4ª série do Ensino Fundamental à 8ª série do Ensino Fundamental, bem como blocos da 8ª série do Ensino Fundamental à 3ª série do Ensino Médio.

Pela aplicação de blocos de itens comuns às três séries avaliadas, tornou-se possível comparar os resultados dos alunos numa escala única, dividida em níveis descritivos de um conjunto de conhecimentos e habilidades solicitados nas questões de prova.

Depois, distribuindo-se os alunos (de cada série) pelos itens que acertam, obtém-se a quantidade de alunos localizada em cada nível, sendo possível dizer o que os alunos de cada série sabem e são capazes de fazer, conforme o que foi estipulado nas matrizes e solicitado pelos itens.

NOTAS:

* Consultoras da Diretoria de Avaliação da Educação Básica do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep/MEC).

1 Pode-se entender por competências cognitivas as diferentes modalidades estruturais da inteligência que compreendem determinadas operações que o sujeito utiliza para estabelecer relações com e entre os objetos físicos, conceitos, situações, fenômenos e pessoas. As habilidades instrumentais referem-se especificamente ao plano do saber fazer e decorrem, diretamente, do nível estrutural das competências já adquiridas e que se transformam em habilidades. Isto é, a "capacidade de agir eficazmente em um determinado tipo de situação, apoiando-se em conhecimentos, mas sem se limitar a eles" (PERRENOUD, 1993).

2 O modelo multinível é aquele que permite a associação simultânea do desempenho a múltiplas variáveis, levando em conta os diversos níveis do sistema, tais como escola, turma e alunos, possibilitando a identificação dos mais importantes fatores relacionados ao desempenho.