( PDF ) Anais do Seminário Internacional de Avaliação Educacional (Rio de Janeiro, 1 a 3/12/1997)

Download PDF

ads:

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

ANAIS DO SEMINÁRIO INTERNACIONAL

DE AVALIAÇÃO EDUCACIONAL

Rio de Janeiro-RJ – 1 a 3 de dezembro de 1997

Coordenador: Alejandro Tiana

Professor Titular da Facultad de Educación da Universidad

Nacional de Educación a Distancia (UNED)/Espanha

MEC / INEP / Unesco

Brasília-DF – 1998

ads:

Livros Grátis

http://www.livrosgratis.com.br

Milhares de livros grátis para download.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

EDITOR

Jair Santana Moraes

TRADUÇÕES

Jonh Stephen Morris

REVISÃO

Jair Santana Moraes

José Adelmo Guimarães

José Alfredo Paiva Dezolt

Marluce Moreira Salgado

Rosa dos Anjos Oliveira

NORMALIZAÇÃO BIBLIOGRÁFICA

Regina Helena Azevedo de Mello

Rosa dos Anjos Oliveira

PROJETO GRÁFICO

Rodrigo Godinho A. da Silva

ARTE-FINAL

Márcia Terezinha dos Reis

TIRAGEM

500 exemplares

ENDEREÇO

INEP

MEC – Esplanada dos Ministérios, Bloco L, Anexos I e II, 4 Andar, Sala 416

CEP 70047-900 – Brasília-DF – Brasil

Fones: (061) 224-7092

(061) 224-1573

Fax: (061) 224-4167

http://www.inep.gov.br

E-mail: [email protected].br

Os conceitos e opiniões emitidos são de exclusiva responsabilidade dos seus autores.

Dados Internacionais de Catalogação na Fonte (CIP)

Seminário Internacional de Avaliação Educacional (1997 : Rio de Janeiro).

Anais do Seminário Internacional de Avaliação Educacional, 1 a 3 de dezembro

de 1997 / Coordenador: Alejandro Tiana. - Brasília : Instituto Nacional de Estudos e

Pesquisas Educacionais, 1998.

165 p. : il., tab.

1. Avaliação da educação. I. Tiana , Alejandro. II Ministério da Educação e do

Desporto. III. Instituto Nacional de Estudos e Pesquisas Educacionais. IV. Unesco.

V. Título.

CDU 371.26

Impresso no Brasil

ads:

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Apresentação ............................................................................................................................................. 5

Lista de Siglas ........................................................................................................................................... 7

Palestra Inaugural

Maria Helena Guimarães de Castro (Inep/Brasil) .......................................................................................... 9

Pronunciamento

Jorge Whertein (Unesco/Brasil) .................................................................................................................... 13

O Sistema de Avaliação Brasileiro

Maria Inês Pestana (Inep/Brasil)................................................................................................................... 15

Educação para Todos:

Acesso à Aprendizagem e Conquista do Conhecimento Útil

Robert Glaser (LRDC/EUA) .......................................................................................................................... 31

O Potencial dos Estudos Comparativos Internacionais

para o Controle da Qualidade da Educação

Tjeerd Plomp (IEA/Países Baixos) ............................................................................................................... 41

Os Indicadores Educacionais da OCDE:

Propósitos, Limites e Processos de Produção

Norberto Bottani (SER/ Suíça)...................................................................................................................... 53

Avaliação de Alunos e Aprendizagem para uma Sociedade em Mudança

Caroline Gipps (University of London/Inglaterra) ............................................................................................ 65

Abordagens de Valor Agregado para a Auto-Avaliação Escolar no Reino Unido

Sally Thomas (University of London/Inglaterra) ............................................................................................. 75

Avaliação por Diálogos:

uma Contribuição Possível para o Aprimoramento Escolar

David Nevo (Tel-Aviv University/Israel) ........................................................................................................... 89

Avaliação do Sistema Educativo:

As Estruturas Institucionais na França

Jacqueline Heritier (DEP/França).................................................................................................................. 99

Avaliação e Monitoramento dos Estabelecimentos Escolares

Claude Sauvageott e J. C. Emin (colaborador) (DEP/França) ....................................................................... 103

Arranjos Institucionais para Avaliação

Ernest R. House (University of Colorado/EUA) ............................................................................................. 113

Como Pode a Avaliação Contribuir para a Política Educacional?

Os Usos da Informação

Barry MacGaw (Acer/Austrália) .................................................................................................................... 119

SUMÁRIO

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Onze Dilemas com que se Defrontam os Estudos Internacionais:

Comentários para a Mesa

Juan Casassus (Orealc/Chile) ...................................................................................................................... 133

Estatísticas Educacionais na América Latina e no Caribe:

Resumo dos Resultados

Robert W. McMeekin (Orealc/Chile) ............................................................................................................. 139

O Projeto Institucional do Sistema Nacional de Avaliação Educacional

da Tailândia

Nongram Setapanich (NEC/Tailândia) ........................................................................................................... 145

O Papel dos Meios de Comunicação na Divulgação dos Resultados da Avaliação

Demócrito Rocha (Fundação Demócrito Rocha/Brasil) ................................................................................. 159

Documento de Trabalho: Seminário Internacional de Avaliação Educacional................................... 161

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

APRESENTAÇÃO

Na década de 90, especialmente nos últimos

quatro anos, a avaliação educacional assumiu um lugar

de grande destaque na agenda das políticas públicas

de educação no Brasil, acompanhando uma tendência

que já vinha sendo seguida por diferentes países desde

os anos 70. Hoje, existe sólido consenso entre os

gestores, educadores e especialistas sobre a relevân-

cia dos processos de avaliação para o balizamento das

reformas educacionais e, sobretudo, para o ajuste das

políticas voltadas para a melhoria da qualidade do ensi-

no. Nota-se, portanto, uma preocupação cada vez mai-

or com a construção de instrumentos adequados para

avaliar o desempenho dos sistemas de ensino, com foco

centrado na aprendizagem dos alunos e abertura sufi-

ciente para enquadrar as diferentes variáveis que

incidem sobre o rendimento escolar.

A convergência em torno da importância es-

tratégica deste tema para o desenvolvimento educaci-

onal reflete-se na sua escolha, definida por diferentes

fóruns, como área prioritária para a cooperação multi-

lateral em educação. Com o apoio de associações e

organismos internacionais, têm prosperado diversos pro-

jetos que promovem a avaliação da qualidade da edu-

cação numa perspectiva comparada. É o caso da pes-

quisa em andamento do Laboratório Latino-Americano

de Qualidade em Educação (Orealc/Unesco), que en-

volve 15 países, entre os quais o Brasil. Outra iniciativa

relevante é o Programa de Avaliação da Qualidade da

Educação, mantido pela Organização dos Estados

Ibero-Americanos (OEI). É preciso mencionar ainda,

por constituírem-se as principais referências internaci-

onais, o TIMSS (IEA) e o PISA 2000 (OECD), que está

sendo desenvolvido com a participação do Brasil.

Esta cooperação tende a se alargar, no âmbito

hemisférico, a partir da implementação do Plano de Ação

em Educação aprovado pela última reunião dos chefes

de Estado da Cúpula das Américas (Santiago, Chile,

1998). Por sugestão do Brasil, incorporou-se proposta

de desenvolvimento de um projeto interamericano de

avaliação educacional, com o objetivo de promover e for-

talecer os sistemas nacionais de avaliação, facilitando

o intercâmbio de experiências e a geração de padrões

que permitam comparar o desempenho dos alunos. O

governo brasileiro também estabeleceu recentemente

parcerias educacionais bilaterais com os EUA e a Ingla-

terra, privilegiando a avaliação como uma das áreas de

maior interesse para o estabelecimento de cooperação

técnica. A desenvoltura com que o Brasil tem assumido

estes compromissos, especialmente de participar de

pesquisa para comparação internacional dos resultados

da aprendizagem dos alunos, revela a disposição do

País de enfrentar o desafio de melhorar a qualidade do

seu sistema de ensino.

Observa-se, portanto, que a ênfase atribuída

pelo Ministério da Educação e do Desporto (MEC) ao

desenvolvimento de sistemas nacionais de avaliação

encontra importantes referenciais nas experiências de

diversos países. Os avanços obtidos nesta direção –

como a consolidação do Sistema Nacional de Avalia-

ção da Educação Básica (SAEB) e a implantação do

Exame Nacional de Cursos (ENC) e do Exame Nacio-

nal do Ensino Médio (ENEM) – qualificaram o Brasil para

uma participação mais ativa no debate internacional. Em-

bora sejam ainda bastante recentes, sobretudo quando

comparadas com a larga tradição de outros países, as

iniciativas brasileiras são inovadoras em vários aspec-

tos, tanto metodológicos quanto institucionais. Por isso,

já atraem a curiosidade de especialistas e organismos

internacionais, que reconhecem os passos importan-

tes dados nos últimos anos e apontam o Brasil como

referência na América Latina.

Foi neste contexto que o Instituto Nacional de

Estudos e Pesquisas Educacionais (INEP), o Bureau

International d'Education da Unesco e a representação

da Unesco no Brasil se aliaram para promover o Semi-

nário Internacional de Avaliação Educacional, realizado

no Rio de Janeiro (RJ), de 1º a 3 de dezembro de 1997.

Este evento – que reuniu dirigentes do MEC, secretári-

os estaduais e municipais de Educação, técnicos das

Secretarias Estaduais de Educação e conceituados es-

pecialistas de 10 países, inclusive do Brasil – , teve como

objetivo identificar e discutir os novos desafios e as ten-

dências da avaliação educacional. O debate, obviamen-

te, teve como pano de fundo a comparação entre as

experiências desenvolvidas pelo Brasil nos últimos anos

e as experiências realizadas por diversos países.

A pauta do evento privilegiou a reflexão sobre

as três questões das quais se ocupa o debate con-

temporâneo na área: O que e como avaliar? Como or-

ganizar institucionalmente um sistema de avaliação?

Como disseminar e utilizar as informações da avalia-

ção? Esta publicação – que reúne os

papers

dos 17

expositores convidados, os documentos apresentados

durante o seminário e as palestras proferidas na ses-

são de abertura – apresenta a abordagem dessas ques-

tões sob diferentes enfoques que contribuem para que

o debate possa avançar e, em última instância, orien-

tar o aperfeiçoamento dos sistemas de avaliação. Ao

tornar este documento acessível a um público mais

amplo, pretende-se suscitar novas linhas de análise e

de pesquisa que ofereçam respostas completas e con-

clusivas para as questões levantadas.

Por fim, merece um registro especial a indis-

pensável colaboração prestada pela Unesco, por meio

da sua representação no Brasil e do Bureau

International d'Education, na realização do Seminário

e na preparação desta obra.

Maria Helena Guimarães de Castro

Presidente do INEP

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

ACER – Australian Council for Educational Research

(Austrália)

ADEA – Associación para el Desarrollo de la

Educación Africana

AERA – American Educational Research Association

(Estados Unidos)

BID – Banco Interamericano de Desenvolvimento

CAT – Cognitive Abilities Test / NFER-NELSON

(Inglaterra)

CELADE – Centro Latinoamericano de Demografia

CEPAL – Comisión Económica para America Latina

y el Caribe

CINE – Clasificación Internacional Normativo de la

Educación

CIENES – Centro Interamericano de Enseñanza

Estadística [da OEA]

CSF – Curriculum and Standards Framework (Austrália)

DENI – Department of Education for Nothern Ireland

(Inglaterra)

DEP – Direction de l'Évaluation et de la Prospective

(França)

DfEE – Department of Education and Employment

(Inglaterra)

ENC – Exame Nacional de Cursos (Brasil)

ENEM – Exame Nacional do Ensino Médio (Brasil)

ERO – Education Review Office (Nova Zelândia)

ETS – Educational Testing Service (Estados Unidos)

FBI – Federal Bureau of Investigation (Estados Unidos)

GAT – General Achievement Test (Austrália)

GCSE – General Certification of Secondary

Education (Inglaterra)

GQT – Gestão da Qualidade Total (a sigla original,

em inglês, é TQM)

GTZ – Deutsch Gesellschaft für Technisch

Zusammenarbeit (Alemanha)

HMI – Her Majesty Inspectors (Inglaterra)

IEA – International Association for the Evaluation of

Educational Achievement

IGEN – Inspection Générale de l'Éducation National

(França)

IMD – International Institute for Management

Development

INEP – Instituto Nacional de Estudos e Pesquisas

Educacionais (Brasil)

INES – International Indicators Systems / OECD

IPES – Indicateurs de Pilotage des Établissementes

du Second Degré (França)

ISEIC – International School Effectiveness and

Improvement Center / Institute of Education /

University of London (Inglaterra)

ISEP – Improving Schools Effectiveness Project

(Inglaterra)

LISTA DE SIGLAS

ISO – International Standards Organization

LEA – Local Education Authorities (Inglaterra)

LRDC – Learning Research and Development Center/

University of Pittsburgh (Estados Unidos)

MEC – Ministério da Educação e Desporto (Brasil)

NAEP – National Assessment of Educational

Progress / National Center for Education Statistics

(Estados Unidos)

NAPS – National Assessment in Primary Schools

(Inglaterra)

NCES – National Center for Education Statistics

(Estados Unidos)

NCTM – National Council for the Teaching of

Mathematics (Estados Unidos)

NEC – National Education Comission (Tailândia)

NESIS – National Education Statistical Information

Systems (em espanhol: Sistemas Nacionales de

Información sobre la Educación) [ligados à Unesco]

NFER – National Foundation for Educational

Research (Inglaterra)

NSELS – National School English Literacy Survey

(Australia)

NSF – National Science Foundation (Estados

Unidos)

OCDE – Organização para a Cooperação e

Desenvolvimento Econômico (a sigla original é

OECD)

OECD – Organization for Economic Co-operation and

Development (a sigla traduzida para o português é

OCDE)

OECS – Organización de Estados Caribeños

Orientales

OFSTEAD – Office for Standards in Education

(Inglaterra)

ONEC – Office of the National Education

Commission (Tailândia)

ONPEC – Office of the National Primary Education

Comission (Tailândia)

OREALC – Oficina Regional da Unesco para la

Educación en America Latina y el Caribe

PIB – Produto interno bruto

PNUD – Programa das Nações Unidas para o

Desenvolvimento

PROAV – Programa de Apoio à Avaliação

Educacional (Brasil)

RSSI – Raising Schools Standards Initiative (Inglaterra)

SACMEQ – Southern Africa Consortium for

Monitoring Educational Quality

SAEB – Sistema Nacional de Avaliação da

Educação Básica (Brasil)

SCAA – School Curriculum and Assessment

Authority (Inglaterra)

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

SIEd – Sistema Integrado de Informações

Educacionais (Brasil)

SIMCE – Sistema de Medición de Calidad de la

Educación (Chile)

SIMS – Second International Mathematics Study

SIRI – Sistema de Información Regional / Unesco (Chile)

SITES – Information Technology in Education Study

SRED – Service de la Recherche en Éducation (Suíça)

TGAT – Task Group on Assessment and Testing

(Inglaterra)

TIMMS – Third International Mathematics and

Science Study

TQM – Total Quality Management (em português, a

sigla é GQT)

UNE – União Nacional de Estudantes (Brasil)

Unesco – Organização das Nações Unidas para a

Educação, a Ciência e a Cultura

WGES – Working Group on Education Statistics

[vinculado ao NESIS] / ADEA

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

PALESTRA INAUGURAL

Maria Helena Guimarães de Castro*

O Brasil atravessa um período de profundas

mudanças sociais, políticas e econômicas, que confi-

guram um novo modelo de desenvolvimento. No plano

político-institucional, o País avançou na consolidação

da democracia, superando instabilidades que marca-

ram o longo período de regime autoritário. No campo

econômico, vem aplicando desde 1994 um rigoroso

plano de estabilização monetária, com resultados no-

táveis no combate à inflação e com repercussões bas-

tante positivas sobre a distribuição de renda.

Graças a esse esforço do governo e da socie-

dade brasileira, o País vive um novo ambiente

institucional, com expectativas otimistas para o futuro.

A estabilidade da economia e o saneamento das finan-

ças públicas criam condições muito favoráveis para o

desenvolvimento das políticas sociais, especialmente

na área da educação, onde se verificaram os maiores

avanços nos últimos três anos.

Enfrentamos, nas últimas semanas, graves tur-

bulências na economia. Com a inexorável globalização

dos mercados financeiros, o Brasil se ressentiu dos

abalos provocados pela crise cambial que se espraiou

pelas economias emergentes do Sudeste Asiático. O

governo respondeu a essa ameaça com um duro ajus-

te fiscal, o que mostra que há firme determinação polí-

tica de defender as conquistas do Plano Real.

A crise atual ajudou a reforçar a convicção –

compartilhada hoje pelas lideranças políticas e por

amplos segmentos da opinião pública – que para tor-

nar definitivas essas conquistas, o Brasil precisa levar

adiante as reformas estruturais iniciadas pelo governo

Fernando Henrique Cardoso.

Consolidadas por meio de um conjunto de

emendas constitucionais, essas reformas buscam atin-

gir três metas estratégicas: em primeiro lugar, a mo-

dernização da economia, a fim de dotar o País de me-

lhores condições de competitividade no comércio in-

ternacional e torná-lo menos susceptível ao efeito de

crises externas; em segundo lugar, a reestruturação

do setor público, nas áreas administrativa, tributária e

fiscal; por último, a reorientação das políticas sociais,

visando ampliar sua cobertura e alcançar um novo per-

fil de eficiência e eqüidade.

Essas reformas implicam uma profunda

redefinição do papel do Estado, seguindo tendência

verificada em outros países e que reflete uma crise

estrutural do setor público. No entanto, há uma dife-

rença básica que deve ser considerada: enquanto na

Europa esta reforma foi desencadeada pela crise fiscal

do "Welfare State", no Brasil tem sido impulsionada

pelo esgotamento do modelo de desenvolvimento ba-

seado numa forte intervenção estatal na economia.

O que se pretende, portanto, é redirecionar a

atuação do Estado, reduzindo seu papel de produtor

de bens econômicos e ampliando suas funções na área

social, especialmente no provimento de serviços de

saúde e educação. Obviamente, essa remodelação do

Estado passa por adoção de medidas semelhantes em

todos os países, como a privatização de empresas

estatais, a desregulamentação da economia tendo por

escopo estimular os investimentos privados, a realiza-

ção de parcerias com o setor empresarial para amplia-

ção da oferta de serviços públicos e o fortalecimento

do papel regulador do Estado.

Portanto, com a atual reforma, sai de cena o

Estado-executor, assumindo seu lugar o Estado-regu-

lador e o Estado-avaliador. Essa mudança de paradigma

exige uma verdadeira reengenharia do setor público.

Trata-se da difícil tarefa de substituir controles buro-

cráticos por uma nova cultura gerencial, que incorpora

a política de avaliação como elemento estratégico da

gestão pública.

O atual governo promoveu importantes avan-

ços neste sentido, assumindo uma postura muito cla-

ra quanto à necessidade de desenvolver a prática

avaliativa no âmbito das políticas públicas. Na realida-

de, este esforço responde a uma exigência da própria

sociedade, cada vez mais ciosa e vigilante em relação

à aplicação dos recursos públicos.

A educação é, sem qualquer dúvida, a área

onde a política de avaliação vem merecendo maior ên-

fase. Este é um componente do processo de

descentralização das políticas de educação básica.

Sob a liderança do ministro Paulo Renato Sou-

za, o Ministério da Educação e do Desporto (MEC)

definiu como prioridade desenvolver e implantar siste-

mas de avaliação abrangendo todos os níveis de ensi-

no. A mesma prioridade foi dada à reestruturação e

modernização do sistema de estatísticas e indicado-

res educacionais.

Em 1994, quando estávamos elaborando o pro-

grama de governo para a área da educação do então

candidato Fernando Henrique Cardoso, os dados edu-

cacionais disponíveis mais recentes eram do Censo

*Maria Helena Guimarães de Castro, mestre em Ciência Política, pela Unicamp, é presidente do Instituto Nacional de Estudos e Pesquisas Educacionais (INEP)

desde fevereiro de 1997. O INEP é responsável pela realização dos censos: Escolar, do Professor e do Ensino Superior; pelo Exame Nacional de Cursos (o

"Provão" do Ensino Superior), pelo Exame Nacional do Ensino Médio (ENEM), e pelo Sistema Nacional de Avaliação da Educação Básica (SAEB).

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Escolar de 1989 e do Censo Populacional de 1991,

que não cobrem todos os aspectos relevantes. Portan-

to, enfrentamos no início do atual governo uma grave

dificuldade na hora de definir as ações mais urgentes

do MEC, pois estávamos trabalhando com dados ab-

solutamente desatualizados.

Nos últimos três anos, graças ao esforço lide-

rado pelo MEC, em parceria com as Secretarias Esta-

duais de Educação, esta situação foi completamente re-

vertida, a ponto de o Brasil ser apontado hoje como uma

referência para a América Latina na área da produção de

indicadores educacionais. Este reconhecimento é feito pela

própria Unesco, nossa parceira na realização deste Semi-

nário Internacional sobre Avaliação Educacional.

Com o desenvolvimento do Sistema Integrado

de Informações Educacionais (SIEd), o Censo Escolar

ganhou em agilidade e confiabilidade. Hoje, todos os

procedimentos já estão informatizados e em breve as

Secretarias Estaduais de Educação estarão ligadas

ao MEC, por meio de uma rede

on-line

, o que deverá

tornar o sistema ainda mais eficiente.

Na última sexta-feira, o ministro Paulo Renato

apresentou os resultados finais sobre matrícula do

Censo Escolar/1997. A divulgação dos resultados do

Censo no mesmo ano da sua realização é um fato iné-

dito, o que comprova os avanços alcançados nesta área.

Com a criação do Fundo de Manutenção e Desenvolvi-

mento do Ensino Fundamental e de Valorização do

Magistério, o Censo Escolar ganhou uma importância

ainda maior, pois será com base nos seus dados so-

bre matrícula que serão calculados os coeficientes para

a redistribuição dos recursos a partir do próximo mês

de janeiro.

Com a implementação de uma audaciosa po-

lítica de avaliação educacional e com a reestruturação

do sistema de estatísticas e indicadores educacionais,

o MEC oferece informações atualizadas para subsidiar

a formulação e o monitoramento das políticas do setor

em todos os níveis de governo. O próprio ministério

utiliza hoje os resultados do Censo Escolar e dos sis-

temas de avaliação como base para a formulação e

implementação dos seus principais programas.

Observa-se, portanto, uma situação bem dife-

rente daquela que existia há três anos. Mas, realiza-

mos apenas os primeiros passos na construção de

um modelo de indicadores educacionais que atenda

às reais necessidades do País. O importante, no en-

tanto, é a determinação de continuar avançando nesta

direção, aprendendo com as experiências de outros

países e este é o principal objetivo deste seminário.

Nossa experiência na área da avaliação edu-

cacional é bastante recente, embora o Brasil já reúna

um conjunto de iniciativas que podem ser comparadas

com o que vem sendo feito por países que têm maior

tradição nesta área.

Queremos destacar, rapidamente, as principais

ações concretizadas pelo Ministério da Educação neste

domínio nos últimos três anos. Certamente, essas

ações serão referidas de forma mais detalhada ao lon-

go dos debates que serão realizados nestes três dias

do nosso evento.

O Sistema Nacional de Avaliação da Educa-

ção Básica (SAEB), embora não tenha sido criado na

atual administração, passou por um processo de aper-

feiçoamento e consolidação. A primeira mudança que

merece registro foi a sua realização com regularidade,

a cada dois anos, o que é fundamental para efeito de

comparabilidade dos resultados e para o desenvolvi-

mento de uma cultura de avaliação junto aos sistemas

de ensino.

O SAEB abrange uma amostra probabilística

representativa dos 26 estados e do Distrito Federal,

sendo aplicado às escolas públicas e privadas de en-

sino fundamental e ensino médio. O sistema tem como

objetivos: aferir os conhecimentos e habilidades dos

alunos, mediante aplicação de testes, com a finalida-

de de avaliar a qualidade do ensino; verificar os fatores

contextuais e escolares que incidem na qualidade do

ensino – condições de infra-estrutura das unidades es-

colares; perfil do diretor e mecanismos de gestão es-

colar; perfil do professor e práticas pedagógicas

adotadas; características socioculturais e hábitos de

estudo dos alunos.

A análise dos resultados dos levantamentos

do SAEB permite acompanhar a evolução do desem-

penho dos sistemas de ensino e dos diversos fatores

incidentes na qualidade e na efetividade do ensino mi-

nistrado pelas escolas, possibilitando dessa forma a

definição de ações voltadas para a correção das defici-

ências identificadas. Um exemplo bem concreto e atu-

al de política subsidiada pelo resultado do SAEB é o

Programa de Aceleração de Aprendizagem, criado pelo

MEC para apoiar os sistemas estaduais e municipais

de ensino a multiplicar ações visando corrigir um dos

principais problemas do ensino fundamental, que é a

incidência de índices muito elevados de distorção ida-

de/série.

O SAEB mostrou que os alunos com essa

característica apresentam um desempenho inferior aos

alunos que freqüentam a série correspondente à sua

idade. Portanto, torna-se prioritário criar classes de

aceleração de aprendizagem para estes alunos. O

SAEB também ofereceu importantes subsídios para a

definição da política de formação de professores.

Com a aplicação do quarto ciclo do SAEB, no

último mês de outubro, este sistema se consolida como

o mais importante e abrangente instrumento de avalia-

ção da educação básica em todo o País.

Por último, cabe registrar que o INEP criou um

Banco Nacional de Itens, que forneceu as questões uti-

lizadas na elaboração das provas do SAEB deste ano.

Além de atender a essa necessidade, o Banco Nacio-

nal de Itens poderá fornecer às redes estaduais de ensi-

no que queiram implementar sistemas próprios de avali-

ação itens pré-testados e calibrados nacionalmente.

Portanto, esta iniciativa fortalece a política de avaliação

educacional, estimulando a implementação de sistemas

que permitam a comparabilidade dos resultados.

A principal inovação do MEC na área da avali-

ação educacional foi a instituição e implementação do

Exame Nacional de Cursos, para avaliar o ensino de

graduação oferecido pelas instituições de ensino su-

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

perior, públicas e privadas. Este exame, que a impren-

sa alcunhou de "Provão", integra um sistema

abrangente de avaliação do ensino superior, orientado

para a melhoria da qualidade dos cursos.

O "Provão" está sendo implementado gradual-

mente, tendo começado em 1996 com apenas três

cursos: Direito, Engenharia Civil e Administração. Este

ano, foram incorporados mais três cursos: Odontolo-

gia, Medicina Veterinária e Engenharia Química – e

em 1998 será avaliado um total de dez cursos. Entre-

tanto, desde que foi lançado, o programa repercutiu

intensamente, produzindo um debate que ganhou as

manchetes dos principais jornais e revistas.

O estabelecimento de uma sistema externo

de avaliação do ensino superior rompe com uma tradi-

ção credencialista e burocrática, na qual o papel exer-

cido pelo MEC se limitava ao credencimento das insti-

tuições e à autorização para a abertura de cursos. Isso

implica uma verdadeira mudança cultural, que não acon-

tece sem resistências. As reações mais fortes, obvia-

mente, são de natureza corporativa.

Quando o Exame Nacional de Cursos foi lan-

çado, no ano passado, assistimos a uma tentativa da

União Nacional dos Estudantes (UNE) - felizmente fra-

cassada – de mobilizar os alunos para promover um

boicote a esta iniciativa do Ministério da Educação. A

abstenção em todo o País foi inferior a 5%, o que com-

prova que a maioria absoluta dos estudantes compre-

endeu o verdadeiro objetivo do "Provão", não se dei-

xando levar pelo discurso maniqueísta da UNE.

O que surpreendeu foi a enorme aceitação do

"Provão" pelos formadores de opinião, o que se reflete

na própria cobertura amplamente favorável dedicada

pelos meios de comunicação. A dificuldade maior, que

começa a ser superada, foi convencer os diferentes

segmentos da comunidade universitária, sobre os ob-

jetivos do Exame Nacional de Cursos e da sua inser-

ção como um dos instrumentos que integram o Siste-

ma de Avaliação Institucional do Ensino Superior. Acre-

ditamos que este entendimento já é partilhado pela

maioria dos dirigentes, professores e alunos.

O terceiro programa avaliativo que o Ministério

da Educação está desenvolvendo aplica-se ao ensino

médio. A primeira experiência foi feita recentemente, no

último dia 5 de novembro, com a aplicação de um exa-

me para os concluintes do ensino médio em nove Esta-

dos brasileiros, abrangendo cerca de 660 mil alunos.

É importante notar que essa iniciativa foi con-

cretizada a partir de uma solicitação formal do Conse-

lho Nacional de Secretários de Educação, fórum que

reúne os secretários de educação dos 26 estados e do

Distrito Federal. A adesão ao exame foi voluntária, ten-

do sido muito expressiva a participação de nove siste-

mas estaduais de ensino, que respondem por cerca

de 70% dos concluintes do ensino médio.

Esta experiência foi apoiada com entusiasmo

pelo ministro da Educação, pois oferecerá importantes

indicativos para a implantação do Exame Nacional do

Ensino Médio (ENEM), a partir de 1998. Este exame

será facultativo para os alunos – ao contrário do

"Provão", que é obrigatório para os formandos do ensi-

no superior. Outra diferença básica é que este exame

vai avaliar o desempenho do aluno, enquanto o "Provão"

tem como objetivo avaliar os cursos.

O Exame Nacional do Ensino Médio vai criar

um parâmetro nacional, podendo ser adotado pelas

universidades como um dos requisitos para adoção de

sistema seletivo alternativo ao atual modelo dos con-

cursos vestibulares.

Por fim, o Brasil se abriu para a participação

em projetos de avaliação educacional comparada,

como o TIMMS, que será aplicado em 1998. Este ano,

participamos também do projeto de avaliação da Ofici-

na Regional da Unesco para la Educación en América

Latina y el Caribe (Orealc), envolvendo 15 países da

América Latina e do Caribe. Merece referência, ainda,

o convite feito ao Brasil para participar do projeto de

indicadores educacionais da OECD.

O Instituto Nacional de Estudos e Pesquisas

Educacionais (INEP), que temos a honra de presidir, é

responsável pela implementação de todos esses sis-

temas de avaliação e de estatísticas educacionais. Na

verdade, esta atribuição foi delegada ao INEP em feve-

reiro deste ano, como conseqüência da política de for-

talecimento institucional definida pelo Ministério da

Educação.

Esta mudança coincidiu com a comemoração

dos 60 anos do INEP, resgatando assim os ideais do

grande educador Anísio Teixeira, que presidiu a insti-

tuição na década de 50. Hoje, o INEP assume clara-

mente a missão de se especializar como instituto de

avaliação e informação educacional, exercendo, des-

sa forma, um papel estratégico para o desenvolvimen-

to do sistema educacional brasileiro.

Para desempenhar com competência suas

novas atribuições, o INEP tem envidado esforços para

ampliar o intercâmbio internacional, estabelecendo re-

lações com instituições similares de outros países. Da

mesma forma, buscamos ampliar o diálogo com as

universidades, estando em andamento um projeto para

estimular a criação de programas de pós-graduação

no âmbito da avaliação educacional.

A realização deste seminário, em parceria com

a Unesco, insere-se dentro desta perspectiva de cons-

truir referências para que o Brasil aprimore sua política

de avaliação educacional, incorporando os conhecimen-

tos e experiências de outros países. Este evento reú-

ne especialistas de 14 países, incluindo o Brasil. Cons-

titui-se, portanto, um fórum altamente qualificado, que

muito contribuirá para o avanço do debate sobre os

diferentes aspectos da avaliação educacional.

Em nome do ministro da Educação, Paulo

Renato Souza, a quem representamos neste ato, sau-

damos todos os participantes, agradecendo a disponi-

bilidade e o interesse manifestado em atender ao con-

vite do INEP e da Unesco.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

PRONUNCIAMENTO

Jorge Werthein*

Junto com nossos colegas e amigos do Mi-

nistério da Educação e do Desporto, assumimos a

tarefa, quase a missão, de montar este espaço que,

realmente esperamos, permita debater e trocar ex-

pectativas e experiências sobre um tema que, pela sua

significação atual, reveste-se hoje de enorme relevân-

cia: os novos desafios da avaliação educacional.

Como aponta o Documento de Trabalho que

serviu de base para a convocatória do seminário: "em

diversos foros internacionais foi salientado que o prin-

cipal desafio dos sistemas educacionais atuais não é

mais apenas proporcionar educação a todos os cida-

dãos, mas também assegurar que esta seja de quali-

dade".

Este é, realmente, o eixo central, o pano de

fundo que deverá orientar nossas preocupações e dis-

cussões ao longo dos três dias de trabalho: como con-

tribuir, desde o campo da avaliação, para a melhoria da

qualidade de nossos sistemas de ensino.

O tema da qualidade não é novo nem recente.

Podemos dizer que é uma questão sempre presente

na pauta de discussões dos educadores e gestores e

também uma enorme preocupação das famílias que

procuram esse ou aquele caminho para assegurar o

destino social de seus filhos. Mas, desde meados da

década de 80, observamos um fenômeno novo e signi-

ficativo: de questão "sempre presente", a qualidade

transforma-se em "eixo central". Destaca-se como

campo prioritário de intervenção e meta das diversas

reformas educacionais que vêm acontecendo no mun-

do todo.

Um indicador privilegiado desta nova

centralidade é o seu destaque, como eixo, na Declara-

ção Mundial de Educação para Todos, resultante da

Conferência de Jomtien, convocada pela Unesco, a

Unicef, o Programa das Nações Unidas para o Desen-

volvimento (PNUD) e o Banco Mundial. Ao definir as

grandes linhas estratégicas para a virada do século, a

Declaração estabelece, no seu artigo terceiro, que "a

prioridade mais urgente é melhorar a qualidade". Liga-

do a isto, a seguir, o artigo quarto estabelece a neces-

sidade de implementar sistemas de avaliação do de-

sempenho dos alunos.

Essa proximidade entre a qualidade e a avali-

ação educacional não é casual ou mero produto de

circunstâncias conjunturais. O próprio conceito de qua-

lidade, sob qualquer perspectiva teórica e qualquer que

seja o objeto de referência, leva implícito a noção de

julgamento, a idéia de ponderar a capacidade que o

objeto tem de satisfazer às nossas necessidades,

expectativas ou desejos. Deste modo, falar de qua-

lidade leva, de forma necessária e orgânica, a falar

de avaliação.

Mas, quando a questão da qualidade é circuns-

crita ao educacional, entram em julgamento não só

um campo substantivo e complexo da atividade huma-

na, mas também as necessidades que este campo

deveria satisfazer. Por um lado, as demandas da soci-

edade em seu conjunto, as demandas dos diversos

subsistemas sociais (o político, o econômico, o cultu-

ral, etc.), por outro lado as demandas dos agrupamen-

tos humanos que interagem na sociedade (família, co-

munidade, etc.) que exprimem demandas concretas

e, até, muitas vezes contraditórias. Estas demandas e

a forma de satisfazer às mesmas é o que se encontra

atualmente na berlinda, mas nos orientam na questão

do que avaliar.

O tema da avaliação educacional não é novo.

Longe disso, muito se tem falado, escrito e praticado

neste campo. Mas, a recente emergência da questão

da qualidade colocou a avaliação em um novo pata-

mar, do qual surgem novas configurações e desafios

que constituem os tópicos que deverão ser abordados

neste seminário.

Em primeiro lugar, hoje, quando falamos de

avaliação, estamos fazendo referência a algo bem dife-

rente do que significava a avaliação há 15 ou 20 anos

atrás. Nessa época, a avaliação estava imbricada com

os grandes nomes que atuavam no campo: Coleman,

Scriven, etc. Falávamos das grandes avaliações feitas

por grandes figuras. Mas eram avaliações que aconte-

ciam de forma esporádica, quando as circunstâncias e

as possibilidades o permitiam.

Hoje falamos das avaliações do SAEB, do

TIMMS, do SIMCE, do NAEP, sem levar muito em con-

ta que nossos mapas mentais mudaram. Nossas refe-

rências, hoje, são grandes sistemas de avaliação,

rotinizadas por atividades periódicas e recorrentes, sis-

temáticas, de caráter longitudinal e quase anônimas.

Passamos do esporádico e circunstancial da avalia-

ção à consolidação de grandes sistemas, com todos

os ganhos, mas também com as grandes dificulda-

des, que isto origina. A avaliação deixou de ter um

início – o projeto, um meio (a coleta e análise dos da-

dos) e um grande final: o relatório. Passou a ser uma

atividade permanente, periódica e cíclica, que gera ro-

tinas, manuais, problemas de divulgação e questões

*Jorge Werthein é o representante da Unesco no Brasil e o coordenador do Programa Unesco/Mercosul.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

metodológicas e técnicas bem específicas, que deve-

rão construir os temas de nosso debate.

Para acharmos exemplos paradigmáticos des-

tas transformações e da modernização da avaliação

educacional, não temos de ir muito longe; vamos

encontrá-los aqui mesmo, no Brasil, onde o Ministério

da Educação deu, em poucos anos, passos gigantes-

cos nesta direção. À longa tradição que já possuía a

avaliação dos cursos de pós-graduação, tradição com

mais de 20 anos de prestígio e experiência, soma-se

hoje uma série de processos e sistemas que cobrem,

praticamente, todos os níveis do ensino.

Temos, por exemplo, o Sistema Nacional de

Avaliação da Educação Básica (SAEB), uma sofistica-

da e complexa operação que, a cada dois anos, além

de testar alunos do ensino fundamental e médio nas

disciplinas básicas Português, Matemática e Ciênci-

as, levanta informações sobre o professor, o diretor da

escola, a própria escola, os hábitos de estudo e o uni-

verso sociocultural dos alunos, enfim, o nível e o con-

junto de possíveis determinantes, intra e extra-escola-

res, que incidem na qualidade do ensino ministrado.

Recentemente, foi também instituído o Exame

Nacional de Cursos (ENC), mais conhecido como o

Provão

que, mediante diversos mecanismos, incluindo

uma avaliação do desempenho dos egressos, pretende

aferir, de forma sistemática, a qualidade dos cursos de

graduação das universidades do País.

Ainda em fase experimental, mas contando já

com a ativa participação e parceria de diversos estados

do País, está sendo realizado este ano, pela primeira

vez, o Exame Nacional do Ensino Médio (ENEM), ini-

ciativa que pretende, num futuro bem próximo, avaliar,

de forma sistemática, a qualidade dos egressos do en-

sino médio do País.

Sem pretendermos ser exaustivos nesta enu-

meração, não poderíamos deixar de mencionar uma

iniciativa recente do Ministério da Educação nesta área,

iniciativa que, pelas suas possíveis conseqüências,

achamos de importância e relevância transcendentais

para os temas que nos preocupam. Decidido a encarar

de frente a questão da formação e desenvolvimento dos

recursos humanos para a área, acaba de ser instituído

um Programa de Apoio à Avaliação Educacional

(PROAV). É um ambicioso projeto, que inclui doutora-

do, pós-doutorado, implantação de cursos de mestrado

em avaliação educacional, laboratórios de medidas edu-

cacionais, cursos de especialização em temas espe-

cíficos relacionados com a metodologia e as técnicas

da moderna avaliação educacional. Enfim, um grande

programa de formação de recursos humanos para a

avaliação educacional.

Por último, queremos agradecer ao Ministério

da Educação e do Desporto nas figuras de seu titular,

o Dr. Paulo Renato Souza, e da Presidente do INEP,

Drª Maria Helena Guimarães de Castro, por todo o

esforço e apoio dado para a concretização deste

seminário.

Muito obrigado.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Pretendemos fazer um rápido histórico do de-

senvolvimento do Sistema Nacional de Avaliação da

Educação Básica – o SAEB.

Ao desenvolvermos o SAEB, iniciamos um

processo que tem começo, mas parece não ter fim. O

SAEB tem, portanto, as características de qualquer

processo: não está pronto; tão cedo não estará; tal-

vez, nunca esteja pronto e acabado. Por isso estamos

construindo um sistema de avaliação. E é sobre a his-

tória desta construção, algumas características mais

técnicas e as questões com que estamos nos depa-

rando nesse momento que pretendemos falar neste

seminário.

ntecedentes e breve histórico

Primeiramente, é necessário contextualizar o

momento do surgimento do SAEB.

A idéia de se montar um sistema de avaliação

da educação nacional surgiu, no Ministério da Educa-

ção, durante o período de redemocratização do País,

logo no início da Nova República, em meados de 1985/

1986, quando se discutia a questão da federação, da

redefinição dos papéis e das atribuições dos diversos

níveis de governo existentes no Brasil. Claro que estas

questões permanecem em discussão ainda hoje.

Aqui, vale fazer um parêntese sobre a distri-

buição de funções na área educacional, entre as esfe-

ras administrativas brasileiras.

Existem três instâncias de governo no Brasil:

os municípios, que são responsáveis basicamente pela

administração de escolas que oferecem educação pré-

escolar e fundamental; os estados, que além de admi-

nistrarem uma rede de escolas de Ensino Fundamen-

tal e Médio, têm um papel de supervisão do sistema

estadual de educação, isto é, supervisionam o funcio-

namento das demais redes de ensino (municipal, par-

ticular e federal); e a União, que, por intermédio do

Ministério da Educação e do Desporto (MEC), além de

gerenciar uma rede federal de ensino médio, muito

pequena, restrita a escolas técnicas e agrotécnicas,

tem como principais papéis a formulação das grandes

diretrizes para o sistema educacional e, destaca-

damente, a ação supletiva, em um País de grande di-

mensão territorial e de grandes desigualdades

socioeconômicas. A função supletiva, portanto, deve

ser cumprida no sentido da redução das desigualda-

des existentes no Brasil. Talvez esta seja uma das

funções mais importantes do MEC.

O sistema de avaliação surge, então, a partir

destas questões, quer dizer, em um momento de de-

mocratização do País, quando a sociedade, estados,

municípios e a própria União estão discutindo a

redefinição de seus papéis, a divisão de funções e atri-

buições e, também, o sentido da cooperação, da arti-

culação, da integração e da parceria entre as instânci-

as de governo.

Concretamente, o processo de democratização

do País refletia-se na educação, destacando a questão

da democratização do ensino, ressaltando neste caso,

dois aspectos: o primeiro relacionava-se ao acesso à

escola. Reconhecia-se que o País tinha feito um grande

esforço de construção de escolas e realmente tinha

ampliado bastante o número de pessoas que ingressa-

vam na escola. Porém, os resultados que estavam sen-

do gerados não eram, ou pelo menos havia uma impres-

são geral de que não pareciam ser o que se desejava.

Nada tinha sido medido, mas havia uma percepção muito

forte de que era preciso implementar a qualidade ou dar

mais qualidade ao sistema educacional. Agora, que qua-

lidade é esta? É isso que um sistema de avaliação tam-

bém tentaria examinar. Ficou claro, então, que um sis-

tema nacional de avaliação do sistema educacional po-

deria trazer informações úteis sobre o que está sendo

gerado no setor educacional, como, onde, quando e

quem é responsável pelo produto obtido.

Dessa forma, surgiu o Sistema Nacional de

Avaliação da Educação Básica (SAEB) como uma

atribuição do Ministério da Educação e do Desporto,

para coletar informações sobre a qualidade dos resul-

tados educacionais, sobre como, quando e quem tem

acesso ao ensino de qualidade.

aracterísticas do sistema

nacional de avaliação

O SAEB nasceu caracterizado por uma ne-

cessidade permanente de articulação e de construção

de consenso e acordos ou, pelo menos, de uma toma-

O SISTEMA DE

AVALIAÇÃO BRASILEIRO

Maria Inês Pestana*

* Maria Inês Gomes de Sá Pestana é diretora de Avaliação da Educação Básica, no INEP, e, desde 1995, é responsável pelo desenvolvimento do Sistema

Nacional de Avaliação da Educação Básica (SAEB).

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

da de decisão mais coletiva, pois o objeto do SAEB é

o sistema nacional de educação, que diz respeito a

toda a sociedade, além de ser gerenciado por várias

instâncias.

Também caracteriza este sistema de avalia-

ção o objetivo de monitorar as políticas voltadas para a

melhoria da qualidade, da eqüidade e da eficiência do

sistema educacional, problemas ainda hoje centrais,

no caso brasileiro.

Sendo assim, ele tem como intenção prover

informações para tomada de decisões, por isso desti-

na-se, no primeiro momento, aos gestores do sistema

educacional (ministro da Educação, os secretários

estaduais e municipais de Educação) procurando tra-

zer informações sobre a qualidade da educação; a eqüi-

dade, ou seja, como a qualidade está sendo alcançada

no espaço brasileiro; e a eficiência do sistema, ou seja,

há ou não maneiras melhores de se obter qualidade na

educação.

As características gerais do sistema de avali-

ação em termos de objetivos, estrutura e concepção

mantêm-se constantes. As mudanças que foram

efetuadas no sistema (iniciado em 1988) nesses qua-

se 10 anos são de cunho metodológico e operacional.

Do ponto de vista conceitual, o SAEB procura

articular diversos aspectos relacionados à educação,

tentando superar uma tendência muito forte à

compartimentalização da educação, bastante eviden-

te na política educacional e, conseqüentemente, no

investimento em educação.

Tradicionalmente, a ação governamental con-

cretiza-se em grandes programas ou projetos de in-

vestimentos educacionais: investe-se milhões em cons-

trução de escolas, outros milhões em capacitação de

professores, e ainda outros milhões em material didá-

tico, quase sempre sem nenhuma articulação entre

estas partes. Com base nessa visão focalizada, ao fi-

nal dos programas e projetos, sabia-se quantas esco-

las foram construídas, quantos professores foram ca-

pacitados e quantos livros didáticos foram impressos

e distribuídos, mas não se podia afirmar se qualitativa-

mente o sistema havia melhorado, nem qual tinha sido

a contribuição efetiva de cada uma das partes (a cons-

trução de escola, a capacitação de professores e o

material didático) para a melhoria do sistema.

O sistema de avaliação procurou trabalhar ar-

ticuladamente com esses diversos aspectos, de modo

a possibilitar a determinação não do componente que

de fato causou ou foi responsável pela melhoria do sis-

tema, mas sim da melhoria real da qualidade do siste-

ma, em primeiro lugar e, em seguida, do arranjo de

fatores que possibilitou tal melhoria, uma vez que difi-

cilmente um fator responde sozinho por qualquer mu-

dança no campo educacional.

Muito já foi dito aqui neste seminário sobre a

"caixa preta" que a escola esconde. O SAEB pretende

abrir esta caixa, descobrir o que acontece na escola,

principalmente na escola bem-sucedida.

O arcabouço do SAEB é resultado de uma

ampla discussão, onde se debateu a necessidade de

dar transparência ao sistema educacional, sendo im-

prescindível para isso responsabilizar os diversos agen-

tes do sistema educacional pelos produtos e resulta-

dos apresentados pelo sistema de ensino brasileiro.

Para efetivar estes objetivos, foi preciso incorporar a

idéia de produto do sistema educacional definindo tam-

bém o que seria este produto e, em seguida, determi-

nar que aspectos relacionados ao processo de obten-

ção do produto deveriam ser observados.

Como a base do sistema de avaliação é o de-

bate, o convencimento e o estabelecimento de acor-

dos, na realidade conseguiu-se, à época, o seguinte

consenso entre o Ministério da Educação e do Des-

porto e os secretários estaduais de educação: não só

era possível, como necessário, que os agentes do sis-

tema educacional e a sociedade passassem a olhar a

escola como uma prestadora de serviços e que estes

deveriam concretizar-se gerando resultados (um pro-

duto) que seria o desempenho do aluno.

É claro que o desempenho do aluno é bastan-

te abrangente, e o SAEB não é capaz, ainda, de medir

os vários aspectos nele contidos - principalmente ati-

tudes, aspectos afetivos e valores - que fazem parte do

fazer educacional, que são objetivos da escola. Mas o

desempenho do aluno, em termos de aprendizagem

de determinados conteúdos e de aquisição de deter-

minadas habilidades e competência, é passível de

medição. O SAEB começaria, então, medindo o de-

sempenho acadêmico dos alunos brasileiros. Com base

nos resultados obtidos, poder-se-ia fazer análises e

comparações e discutir se os resultados concretos

possuíam ou não qualidade, isto é, poder-se-ia avaliar.

Há hoje um grande debate sobre o fato da edu-

cação não acontecer no vazio, e sim a partir de condi-

ções iniciais da aprendizagem de um indivíduo, sendo

muito importante determinar o valor agregado aos indi-

víduos pela educação e pela escola.

Relaciona-se a essa discussão um outro pon-

to fundamental da concepção do SAEB.

No SAEB, parte-se do princípio que o desem-

penho do aluno sofre múltiplos condicionamentos, os

quais devem ser considerados pela avaliação. Para tanto

deve-se somar ao desempenho do aluno, pelo menos,

mais três dimensões, quais sejam: a determinação de

contextos em que acontecem o ensino e a aprendiza-

gem; a identificação de processos de ensino e apren-

dizagem e, por fim, o dimensionamento dos insumos

utilizados.

A inclusão destas dimensões é fundamental,

por exemplo, para determinar a eqüidade na oferta edu-

cacional. Quando os insumos estão bem distribuídos

e as escolas têm o mesmo padrão de infra-estrutura

ou um padrão semelhante, pode-se afirmar que a po-

pulação está tendo as mesmas oportunidades educa-

cionais. Indo além e examinando em que medida a

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

oferta de oportunidades semelhante gera resultados

diferenciados, e quais as possíveis razões da diferen-

ciação, poder-se-ia determinar até que ponto os bons

resultados educacionais estariam efetivamente sendo

democratizados, isto é, se pelo menos a maioria dos

alunos teria de fato garantido o direito à educação de

qualidade.

Para coletar informações sobre cada uma das

três dimensões abrangidas pelo sistema de avaliação,

foram desenvolvidos instrumentos e procedimentos

específicos.

A dimensão produto é examinada por meio da

aplicação de provas que medem o nível de competên-

cia e/ou habilidades que os alunos brasileiros apre-

sentam ou demonstram possuir.

As dimensões contexto, processo e insumos

são examinadas por meio da aplicação de questionári-

os aos professores (sobre a prática docente, o perfil

profissional e as condições de trabalho), aos diretores

(também sobre o perfil, a prática e as condições de

trabalho) e aos alunos (sobre nível socioeconômico e

hábitos de estudo). Além disto é feito um levantamen-

to sobre as condições das escolas (instalações, equi-

pamentos e materiais disponíveis).

As informações resultantes destes levantamen-

tos permitem fazer associações, correlações, análises

hierárquicas, estudos mais ou menos complexos so-

bre a realidade educacional brasileira.

O quadro a seguir apresenta o arcabouço do

SAEB.

Este é, portanto, o esquema básico da avalia-

ção, que pouco mudou desde que começou a ser de-

senvolvido.

Quanto à abrangência, o sistema caracteriza-

se pela participação de todas as 27 unidades da Fede-

ração, 2 mil escolas de todas as redes de ensino (fe-

deral, estadual, municipal e particular) e uma amostra

de alunos que está hoje em torno de 220 mil alunos, e

deve ficar, a partir de 1999, com cerca de 300 mil

alunos, 3 mil diretores e aproximadamente 20 mil

professores.

Enfoque Dimensão Indicador/Variável Instrumento

Acesso

Atendimento

•

Taxas de acesso

•

Taxas de escolarização

Questionários

ao Ensino

Básico

Eficiência

•

Taxas de produtividade

•

Taxas de transição

•

Taxas de eficiência interna

Censo Escolar do

SEEC/INEP/MEC

Produto

Desempenho do aluno, em

termos de:

•

aprendizagem de conteúdos

•

desenvolvimento de habilidade e

competências

•

Questões de provas

Qualidade,

Eficiência,

Eqüidade

do sistema

de ensino

básico

Contexto

Processo

•

Nível socioeconômico dos alunos.

•

Hábitos de estudo dos alunos

•

Perfil e condições de trabalho dos

docentes e dos diretores.

•

Tipo de escola.

•

Grau de autonomia da escola.

•

Matriz organizacional da escola.

•

Planejamento do ensino e da escola.

•

Projeto pedagógico.

•

Relação entre conteúdos

propostos/ensinados e conteúdos

ensinados/aprendidos.

•

Utilização do tempo pedagógico.

•

Estratégias e técnicas de ensino

utilizadas.

•

Questionários para:

•

alunos;

•

professores;

•

diretores.

Insumo

•

Infra-estrutura (adequação,

manutenção e conservação):

•

espaço físico e instalações;

•

equipamentos;

•

recursos e materiais didáticos.

•

Questionário sobre

condições da escola

•

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

O esquema amostral é de amostras

probabilísticas de alunos mais amostras relacionadas,

ou seja, os alunos que são selecionados para partici-

par do sistema de avaliação têm a mesma probabilida-

de de seleção, e têm seus professores e seus direto-

res automaticamente selecionados para responder aos

questionários. Com isso, estrutura-se uma base de da-

dos que permite as análises e estudos já mencionados.

Não foi fácil começar o sistema nacional de

avaliação utilizando-se provas únicas a serem aplica-

das em todo o território nacional. Na primeira avaliação

(ou primeiro ciclo do SAEB), houve a participação de

23 estados. Somente em 1995 todos os estados bra-

sileiros e todas as redes de ensino passaram a partici-

par, voluntariamente, do Sistema Nacional de Avalia-

ção da Educação Básica.

O sistema começou avaliando a 1ª, 3ª, 5ª e a

7ª séries do Ensino Fundamental com base em con-

teúdos mínimos comuns. Para defini-los, fazia-se um

levantamento dos currículos estaduais, os aspectos

comuns eram identificados (era considerado comum o

que aparecia em, pelo menos, 70% dos estados) e

após uma série de discussões e negociações com as

equipes técnicas dos estados eram definidos os con-

teúdos a serem avaliados por meio das provas. Os

demais instrumentos, isto é, questionários para direto-

res, professores e sobre a escola também eram discu-

tidos e incorporavam as sugestões das equipes esta-

duais. Esta negociação é um traço característico do

SAEB, e é por meio dela que o SAEB adquire

pertinência e legitimidade.

Nesta base foram então realizados os levanta-

mentos de dados nos ciclos de 1990 e 1993.

No entanto, em 1995, foi realizada uma avalia-

ção externa do próprio SAEB que trouxe à tona algu-

mas questões que ao serem respondidas implicaram

uma mudança metodológica no sistema de avaliação.

Uma primeira questão relacionava-se aos con-

teúdos mínimos comuns, que eram a referência das

provas. Na realidade, os conteúdos eram mínimos para

um ciclo de estudos e não para a série em que aplicá-

vamos as provas. Por exemplo: parte do conteúdo da

1ª série do Ensino Fundamental que era comum a to-

dos os estados poderia aparecer em cinco estados na

1ª série e em outros cinco na 2ª série, ou em outra

série. Neste caso era introduzido um viés que distorcia

os resultados da prova, já que os alunos estavam em

diferentes condições de aprendizagem: uns foram ex-

postos aos conteúdos, outros não.

Para superar esta dificuldade e também para

acompanhar uma tendência do desenvolvimento

curricular no caso brasileiro, passou-se a avaliar, en-

tão, as séries finais de ciclos. Os três ciclos avaliados

são os seguintes: as primeiras quatro séries do Ensi-

no Fundamental (1ª a 4ª), as outras quatro séries do

Ensino Fundamental (5ª a 8ª) e as três séries do Ensi-

no Médio ou secundário. Com esta alteração, passou-

se a examinar conteúdos que cobrem praticamente todo

o espectro curricular das propostas de Ensino Funda-

mental e Médio ou de Educação Básica no Brasil.

A segunda alteração metodológica realizada

em 1995 se deu na maneira como se media o desem-

penho do aluno. Nesse caso, a metodologia e as pro-

vas utilizadas até então tinham muitas limitações. Uti-

lizava-se provas clássicas de conteúdo, de 30 ques-

tões que, por exemplo, não podiam ser comparadas

no tempo e tampouco entre as diferentes séries. Por

isso iniciou-se o processo de elaboração e interpreta-

ção de escalas de proficiência, construídas com base

na Teoria de Resposta ao Item. Esta técnica permite

os dois tipos de comparação (no tempo e entre as sé-

ries), pois a unidade de análise passa a ser o item da

prova, e não mais a prova completa, nem o aluno.

O uso da Teoria de Resposta ao Item e das

Escalas de Proficiência associados a uma técnica de

balanceamento de conteúdos nas provas permitiu tam-

bém a superação de uma terceira dificuldade que era a

pequena amplitude de conhecimentos que uma prova

de 30 questões tem. O SAEB de 1995 já utilizou cerca

de 150 questões em cada uma das disciplinas avalia-

das. Embora cada aluno continue respondendo entre

30 e 35 questões, é possível avaliar o desempenho do

grupo de alunos em todas as 150 questões utiliza-

das, cobrindo, portanto, um espectro mais amplo

do currículo.

Até este momento o SAEB avaliou os alunos

em Matemática, Língua Portuguesa e Ciências; nesta

última, a partir de 1997. Em 1999, vamos introduzir

História e Geografia.

Um grande esforço tem sido feito para manter

a transparência da avaliação e torná-la amplamente

conhecida. Embora os instrumentos que examinam os

fatores associados ao desempenho sejam conhecidos

de todos, por questões técnicas, ainda não podemos

dar a conhecer as questões das provas.

Buscando minimizar esta impossibilidade, está

sendo realizado um trabalho bastante interessante, e

de certa maneira inovador, que é a elaboração da ma-

triz curricular de referência para avaliação.

Esta matriz é quase uma tabela de

especificação para a elaboração das questões das pro-

vas do SAEB.

Para elaborar essa matriz, o procedimento uti-

lizado foi o mesmo de quando foram definidos os con-

teúdos mínimos comuns. Novamente, buscou-se tudo

o que havia de comum nas propostas curriculares dos

estados para os três ciclos de ensino. Foram incorpo-

radas as propostas dos Parâmetros Curriculares Naci-

onais, elaboradas pelo Ministério da Educação e que

servem de referência para o País, e também foram con-

siderados os "estados da arte" de cada disciplina e os

níveis de desenvolvimento cognitivo associados aos

ciclos de ensino. Mais uma vez todo o material elabo-

rado foi encaminhado para críticas e sugestões das

equipes das secretarias de educação dos estados.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

A matriz de referência para a avaliação apre-

senta uma série de descritores do desempenho do alu-

no. Cada descritor é um cruzamento ou associação

entre conteúdos curriculares e operações mentais (com-

petências e habilidades). Nesse ponto reside a nossa

ousadia e a nossa dificuldade.

A matriz parece ser uma maneira de se con-

seguir superar a quase eterna divisão que há, em qua-

se toda proposta curricular, entre os objetivos

curriculares e a lista de conteúdos, pois concretiza,

em cada descritor, a articulação entre objetivo curricular

ou objetivo de desenvolvimento e o conteúdo. Segundo

diversos depoimentos de professores, a matriz de fato

conseguiu descrever, em cada descritor, o desempe-

nho desejado do aluno, ou seja, que operação mental

o aluno tem de realizar com cada conteúdo.

É claro que todo este trabalho está em perma-

nente processo de discussão, para que possa ser sem-

pre aperfeiçoado.

No momento, as matrizes de referência para a

avaliação devem cumprir dois objetivos: dar transpa-

rência à avaliação e diminuir um dos maiores riscos da

avaliação que é o da redução daquilo que é ensinado

somente ao que é avaliado. Por isso, o desenvolvimen-

to das matrizes associado à utilização de modelos da

teoria de respostas ao item para análise e construção

de escalas de desempenho permite que se faça uma

descrição bastante ampla daquilo que se espera que

seja desenvolvido e seja atingido, ou esteja sendo al-

cançado pelos alunos brasileiros.

Completando a descrição das matrizes, resta

dizer que ela organiza os descritores de desempenho

em tópicos, temas e assuntos (conteúdos) e opera-

ções mentais (competências e habilidades) distribuí-

dos em três ciclos (até a 4ª série do Ensino Funda-

mental, até a 8ª do Ensino Fundamental e até a 3ª

série do Ensino Médio) e três categorias: competênci-

as básicas, operacionais e globais, isto é, em cada

um dos ciclos aparecem as três categorias de compe-

tências.

Mais uma vez é importante destacar que a

matriz baseia-se no que consta das propostas

curriculares em vigor no Brasil.

Após realizar a coleta e análise dos dados, o

SAEB informa à sociedade os resultados mais gerais

e coloca à disposição de administradores, gestores,

professores, diretores de escolas, de alunos, de espe-

cialistas, uma série de informações que permitem um

olhar mais qualitativo sobre o sistema de ensino.

Em relação ao desempenho dos alunos são

fornecidos dois tipos de informação: primeiramente as

médias de proficiência, que é uma informação mais

geral sobre a capacidade do aluno, isto é, aquilo que

os alunos de cada uma das três séries avaliadas são

capazes de fazer. Esta informação baseia-se na es-

cala de proficiência construída para o País, que inter-

preta e sintetiza o desempenho dos alunos. Estas in-

formações podem ser obtidas desagregadas por região

e por estado, rede de ensino, localização, característi-

cas dos alunos, dos professores, diretores e das es-

colas; em segundo lugar, os resultados de aproveita-

mento médio do aluno, isto é, qual foi o comportamen-

to dos alunos em relação a cada um dos descritores

de desempenho que constam das Matrizes de Refe-

rência da Avaliação bem como ao seu conjunto, sen-

do, portanto, uma informação de cunho curricular bas-

tante detalhada.

Todos estes dados devem possibilitar análises

bem interessantes sobre o currículo aprendido no Bra-

sil e provocar discussões e aperfeiçoamentos nos cur-

rículos propostos.

Também estão disponíveis todas as demais

informações sobre variáveis associadas ao rendimento

escolar e de caracterização das escolas, alunos, pro-

fessores e diretores.

debate sobre o sistema nacional de

avaliação hoje

No estágio de desenvolvimento em que se en-

contra o SAEB, uma grande questão começa a ser

debatida: até aonde vai a real capacidade de um siste-

ma nacional de avaliação de informar sobre todos os

aspectos relacionados à educação e sobre a diversi-

dade e a singularidade das escolas?

Apesar de todo esforço até aqui realizado no

desenvolvimento do SAEB, da legitimidade que o sis-

tema possui, da parceria que foi estabelecida com os

sistemas de ensino, e embora a avaliação venha sen-

do progressivamente apropriada pelos sistemas de

ensino e o SAEB esteja tornando-se uma referência,

um sistema nacional de avaliação não responde, nem

poderia responder a todas as necessidades de infor-

mação, e também não tem capacidade de apreender

toda a diversidade e singularidade das escolas, por isso

tem de ser complementado.

A luz que o SAEB joga sobre o sistema de

ensino e as escolas não é suficiente, por exemplo,

para iluminar o que acontece dentro da sala de aula.

Neste e em outros aspectos, é preciso que os estados

e municípios e as escolas promovam a realização de

estudos e pesquisas que sustentem o desenvolvimen-

to de sistemáticas de avaliação capazes de informar

sobre questões mais específicas e singulares de um

estado, de um município e de uma escola. Estas ava-

liações poderiam ter um caráter complementar ao sis-

tema de avaliação nacional, tanto em termos de objeto

quanto em termos conceituais e metodológicos.

À medida que se amplia a utilização das infor-

mações do SAEB, ampliam-se os usuários da infor-

mação e, talvez por isso, surjam muitas questões para

as quais o SAEB não pode fornecer elementos. Esta

impossibilidade tem gerado críticas ao sistema de ava-

liação, sendo a principal delas a que vê como falha do

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

sistema o fato de não serem encaminhados resulta-

dos da avaliação às escolas e, em conseqüência dis-

so, as escolas fazerem pouco ou nenhum uso dos

dados da avaliação nacional.

Embora esta crítica tenha fundamento e seja

desejável devolver os resultados da avaliação para as

escolas, deve-se discutir alguns outros aspectos que

também compõem o quadro da avaliação nas escolas.

Primeiramente, como a avaliação não é um

fim em si mesma e sim um instrumento que deve ser

utilizado para corrigir rumos e pensar o futuro, parece

ser muito importante assegurar que juntamente com

as informações que a avaliação fornece sejam criados

e utilizados instrumentos que viabilizem a superação

dos problemas diagnosticados, ou a reafirmação das

medidas e práticas bem-sucedidas.

É preciso fazer a ponte entre a avaliação e a

ação. Ou seja, não basta informar ou iniciar um pro-

cesso de reflexão na escola sobre os problemas ou

deficiências pelos quais ela passa sem colocar à sua

disposição os recursos de que precisa para superar

suas dificuldades, pois nesse caso a avaliação tende

a exercer somente o papel cruel, inútil e vazio de tes-

temunha, e não de agente transformador e pró-ativo.

Serem informadas, portanto, é condição ne-

cessária mas não suficiente para que as escolas utili-

zem dados de avaliações. À informação deve-se so-

mar o conhecimento e a capacidade técnica para lidar

com a informação, a autonomia para decidir e os re-

cursos para implementar as decisões tomadas. Caso

estes três elementos não existam na escola, a infor-

mação da avaliação será abandonada, na melhor das

hipóteses.

Outra possibilidade mais pessimista é que a

avaliação, na medida em que as intervenções propos-

tas não sejam coerentes com o diagnóstico da avalia-

ção, isto é, na medida em que não tenha seus resulta-

dos incorporados na linha de atuação da escola e das

secretarias estaduais e municipais de educação, pas-

se a exercer um papel paralisante e desestruturador

da ação educacional, gerando mais impasses do que

soluções. A capacitação de professores pode ser exem-

plo deste tipo de situação. Caso a avaliação mostre

que há problemas de aprendizagem em determinados

conteúdos de matemática, seria desejável que fossem

oferecidas capacitações de professores relacionadas

a este aspecto, mas não, são oferecidas capacitações

em outras disciplinas ou em outros aspectos da mate-

mática, ficando evidente o desprezo aos resultados da

avaliação e a incoerência na ação educacional.

Por isso parece ser mais prudente que os re-

sultados da avaliação nacional cheguem às escolas

mediados pelos estados e municípios, que poderão

estabelecer os vínculos e a coerência entre o diagnós-

tico e suas linhas de ação.

Até aqui foi enfatizado o uso dos resultados

da avaliação pelas escolas e pelos sistemas de ensi-

no. No entanto, existe um outro usuário das informa-

ções da avaliação que deve ser destacado. Trata-se da

sociedade, que tem no sistema de avaliação um ins-

trumento de controle social de um serviço público. É

por meio do sistema de avaliação que a sociedade é

informada sobre os resultados obtidos pelos diferentes

sistemas de ensino, sobre as diferentes condições de

oferta de educação e sobre as diferenças e as desi-

gualdades educacionais que possam existir no País.

Nesse caso, a utilização de tais informações tem um

cunho eminentemente político, de fortalecimento do

jogo democrático, que é gerar pressão social tanto para

correção das distorções e superação dos problemas

quanto para preservação de conquistas e ganhos.

Considerando a descentralização, a

desconcentração e a autonomia da escola como ten-

dências irreversíveis do nosso sistema educacional, o

sistema nacional de avaliação reveste-se de fundamen-

tal importância para servir como referência a esse sis-

tema descentralizado e autônomo e reduzir o risco de

desarticulação e pulverização dos objetivos do siste-

ma educacional. Isto é, o SAEB, ao fornecer informa-

ções sobre os resultados que vêm sendo obtidos no

País, nas regiões, nos estados e nas escolas, permite

que a população avalie a escola que freqüenta, infor-

mando-se sobre a qualidade do ensino que lhe é

oferecido.

lguns resultados obtidos pelo SAEB

Dos resultados da avaliação realizada em

1995, aqui serão destacadas, de maneira muito breve,

somente a título de ilustração, apenas algumas das

principais evidências encontradas.

Primeiramente, mais uma vez os resultados

afirmam o caráter desigual da oferta educacional, tan-

to em termos da infra-estrutura escolar quanto dos re-

sultados do ensino. Essa segmentação pode ser ob-

servada tanto na heterogeneidade de instalações, ma-

teriais, equipamentos e condições de funcionamento

das escolas quanto nos diferenciais de desempenho

entre os alunos dos diferentes estados e regiões brasi-

leiros, conforme os Gráficos 1 a 6, em anexo.

De fato, somente a infra-estrutura básica das

escolas está universalizada, ou seja, a grande maioria

de alunos da quarta série do Ensino Fundamental é

atendida em escolas que possuem salas de aula, li-

vros e quadros-negros. Os demais recursos pedagógi-

cos (laboratórios, bibliotecas, quadras de esportes,

computadores, televisões, etc.) estão restritos a par-

celas de estudantes da 8ª série do Ensino Fundamen-

tal e da 3ª série do Ensino Médio. Esta situação suge-

re uma questão bastante significativa: se a expansão

quantitativa das séries finais do Ensino Fundamental e

do Ensino Médio, já em processo, acontecer com a

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

mesma intensidade e nos moldes da expansão que

ocorreu com as quatro primeiras séries do Ensino

Fundamental, haverá a mesma perda de qualidade

das condições estruturais e de funcionamento das

escolas?

Outro aspecto que merece destaque são os

diferenciais de desempenho dos alunos dos diferentes

estados e regiões e das diferentes séries (ver Gráficos

7 e 8 e Tabelas 1, 2 e 3, nos Anexos). A desigualdade

observada nos resultados do SAEB adquire grande pro-

porção quando comparamos o desempenho entre alu-

nos de 4ª e 8ª séries do Ensino Fundamental de al-

guns estados. É possível observar alguns casos onde

quase não há diferença entre a média alcançada por

alunos de 4ª série de alguns estados e alunos de 8ª

série de outros. Isto é, nesses casos, os alunos de 8ª

série após freqüentarem oito anos de escola demons-

traram um nível de desempenho semelhante àquele de

crianças que passaram apenas quatro anos na esco-

la. Isto é pura desigualdade. E não é somente um re-

flexo de desigualdades econômicas, a escola brasilei-

ra também está contribuindo para a formação de cida-

dãos de diferentes categorias.

Por fim, nos Gráficos 9 e 10 (ver Anexos) ob-

serva-se o caráter negativo da distorção idade-série no

desempenho do aluno. Mesmo que se admita que a

distorção idade-série é causada tanto pelo ingresso

tardio, quanto pela repetência e pela evasão, pode-se

questionar até que ponto a escola brasileira reforça esta

tendência ao não adequar suas estratégias de ensino

à real clientela que atende, quando não considera as

diferenças de idade dos alunos.

onsiderações Finais

O desenvolvimento de sistemas nacionais de

avaliação é um fenômeno bastante recente, e por isso

mesmo, pouco analisado em sua diversidade e limites.

De maneira geral, os sistemas nacionais de

avaliação apresentam-se como um instrumento de ges-

tão do sistema escolar. Um instrumento bastante

poderoso e arriscado, na medida em que sinalizam

padrões de aprendizagem que a escola básica deve

assumir como seu objetivo, e mostram se os ganhos

de qualidade do sistema educacional estão socialmen-

te bem distribuídos.

O caso brasileiro não é diferente. O SAEB tem

procurado ser um instrumento para a superação de uma

das falhas mais flagrantes do sistema educacional hoje,

qual seja: as escolas não têm clareza sobre onde de-

vem chegar e, muitas vezes, nem sabem de que ba-

ses estão partindo.

O caminho escolhido para identificação des-

tes objetivos foi o da negociação, da transparência e

do debate. Por isso o SAEB vem assegurando o cum-

primento dos seguintes princípios ou diretrizes no seu

processo de desenvolvimento técnico e institucional:

1) Visibilidade social: identificando e apresen-

tando para gestores, administradores, professores, pais

e alunos os resultados e produtos obtidos pelo siste-

ma de ensino.

2) Responsabilização: procurando identificar a

parcela de contribuição de cada segmento envolvido

na obtenção dos resultados do processo educacional,

o que induz ao comprometimento com a busca e a

implementação de ações corretivas e de aperfeiçoa-

mento.

3) Desenvolvimento de competência técnico-

científica: sendo fundamental a capacitação de recur-

sos humanos para o desenvolvimento e fortalecimento

da competência avaliativa nos sistemas educacionais.

4) Estabelecimento de parcerias: entre o Mi-

nistério da Educação, sistemas de ensino, universida-

des e instituições de pesquisa para o desenvolvimento

e execução dos projetos de avaliação.

5) Utilização dos resultados: para formulação,

reformulação de políticas, programas e projetos edu-

cacionais, de maneira a ampliar (e mesmo induzir, em

alguns momentos) a reflexão sobre questões da quali-

dade dos resultados e sobre a atuação de todos os

envolvidos no processo educacional (gestores, profes-

sores, pais, alunos e educadores).

Em síntese, o SAEB vem gradativamente tra-

zendo elementos que permitem identificar as significa-

tivas diferenças que existem entre o que a sociedade

espera como resultado do processo escolar, o que é

possível dele esperar e o que efetivamente dele resulta

em termos de desenvolvimento, nos alunos, de com-

petências básicas, capacidade de pensar e qualida-

des pessoais, isto é, a contribuição da escola para o

desenvolvimento da cidadania.

Este é o rumo e este tem sido o grande desafio.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

ANEXOS

Gráfico 1 – Percentagem de Alunos x Condições Físicas da Escola

4 Série do Ensino Fundamental – Brasil

35 35

100

Telhado Paredes Piso Portas e

Janelas

Banheiro Cozinha Inst.

Hidrául.

Inst.

Elétrica

Carteiras Mesas,

cadeiras,

armários

Área

Externa

Bom Regular Ruim

100

Telhado Paredes Piso Portas e

Janelas

Banheiro Cozinha Inst.

Hidrául.

Inst.

Elétrica

Carteiras Mesas,

cadeiras,

armários

Área

Externa

Bom Regular Ruim

Gráfico 2 – Percentagem de Alunos x Condições Físicas da Escola

8 Série do Ensino Fundamental – Brasil

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Gráfico 3 – Percentagem de Alunos x Condições Físicas da Escola

8 Série do Ensino Fundamental – Brasil

100

Telhado Paredes Piso Portas e

Janelas

Banheiro Cozinha Inst.

Hidrául.

Inst.

Elétrica

Carteiras Mesas,

cadeiras,

armários

Área

Externa

Bom Regular Ruim

Gráfico 4 – Percentagem de Alunos x Recursos Pedagógicos

– série de Ensino Fundamental Brasil

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Gráfico 6 – Percentagem de Alunos x Recursos Pedagógicos

– série do Ensino Médio Brasil

Bom Regular Ruim

Gráfico 5 – Percentagem de Alunos x Recursos Pedagógicos

– série de Ensino Fundamental Brasil

0 20 40 60 80 100 120

Bom Regular Ruim

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Gráfico 7 Matemática–

Proficiência Média Brasil e Regiões–

290

295

301

298

266

271

253

259

262

230

237

174

182181

188

153

145

150

225

300

Norte Nordeste Sudeste Sul Centro-Oeste Brasil

3 série

8 série

4 série

Gráfico 8: Português

Proficiência Média - Brasil e Regiões

série3

série8

série4

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Gráfico 9 Matemática - 3ª série Ensino Médio

−

Proficiência média segundo a idade dos alunos

225

250

275

300

325

350

=< 17 18 19 20 21 =>22

IDADE DO ALUNO

BRASIL

NORTE

NORDESTE

SUDESTE

SUL

C-OESTE

Gráfico 10 Português - 3ª série Ensino Médio

−

Proficiência média segundo a idade do aluno

225

250

275

300

325

350

=< 17 Anos 18 Anos 19 Anos 20 Anos 21 Anos =>22 Anos

IDADE DO ALUNO

BRASIL

NORTE

NORDESTE

SUDESTE

SUL

C-OESTE

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Tabela 1 – Distribui

ão de proficiências da 4ª série do Ensino Fundamental

Brasil, Regiões e Estados

Matemática

Leitura

5% 25% 50% Média 75% 95% 5% 25% 50% Média 75% 95%

73 129 170 174 212 269 72 136 178 177 217 271

54 109 147 145 185 238 63 117 161 154 198 250

59 117 158 153 201 264 62 124 166 160 208 264

92 149 190 188 231 283 86 152 193 187 231 284

98 150 188 181 222 271 84 151 193 181 231 281

89 145 181 182 220 273 91 150 188 185 223 275

60 112 153 150 189 241 52 118 158 152 194 245

46 94 132 129 167 216 61 105 145 147 186 237

80 123 158 156 192 239 67 123 163 159 198 240

77 125 157 157 190 241 76 130 167 162 201 246

51 112 148 140 184 237 57 126 168 154 203 254

33 85 128 127 168 232 25 89 135 134 184 249

51 113 149 147 184 233 49 111 152 151 193 243

41 98 140 141 181 237 34 91 138 139 183 240

71 125 167 172 219 293 71 134 179 176 225 299

57 116 156 151 198 259 77 134 173 163 214 263

59 117 162 155 204 260 53 123 167 157 205 265

41 101 150 148 198 264 56 117 161 160 209 271

60 117 160 153 205 262 57 125 167 159 206 261

41 91 138 137 181 246 45 105 152 150 197 257

67 126 160 162 202 254 76 133 173 171 209 257

68 121 156 156 194 250 62 133 175 167 213 261

110 166 207 195 243 289 88 159 200 185 238 288

77 129 162 166 199 257 80 131 168 169 206 261

84 139 179 181 224 280 91 150 190 187 226 281

96 150 189 189 229 283 85 153 193 189 229 282

99 155 196 190 233 278 82 162 203 189 238 283

106 154 189 188 223 258 91 145 187 179 223 268

91 140 175 170 209 260 79 143 181 175 220 279

89 145 180 179 217 268 93 149 185 183 219 267

71 123 162 157 198 259 62 118 162 153 197 247

98 151 187 191 226 277 103 155 192 192 226 276

107 157 191 191 226 276 119 170 202 203 237 288

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Tabela 2 – Distribui

ão de proficiências da 8ª série do Ensino Fundamental

Brasil, Regiões e Estados

Matemática

Leitura

5% 25% 50% Média 75% 95% 5% 25% 50% Média 75% 95%

172 216 247 253 279 324 163 217 249 252 279 319

167 206 233 237 260 298 158 208 237 238 264 304

159 199 229 230 263 311 142 197 232 227 264 306

192 233 264 262 293 336 186 234 263 262 291 330

195 236 263 259 290 327 192 235 261 257 289 325

184 225 255 253 283 328 178 226 255 252 283 322

168 207 233 234 261 300 154 207 236 234 261 294

162 197 222 223 249 282 158 199 225 224 251 288

170 209 237 236 265 301 154 209 236 233 262 303

172 212 235 235 261 294 158 206 237 234 266 298

176 215 244 249 273 314 182 222 252 253 278 312

162 200 226 224 252 288 160 205 234 230 259 297

157 194 224 222 252 287 140 191 227 218 255 293

150 188 215 215 242 282 131 184 221 216 252 287

158 199 229 228 257 291 138 195 226 224 255 292

159 203 233 235 269 316 149 204 236 234 268 310

156 196 230 232 270 321 143 195 236 232 271 312

164 207 236 236 271 308 154 203 235 233 268 304

158 196 228 230 262 314 141 192 228 227 261 306

150 187 216 217 252 300 131 182 218 215 252 296

168 208 237 240 268 316 155 206 237 236 266 308

163 203 233 231 263 310 138 200 235 226 266 309

199 239 267 265 297 341 190 236 265 260 293 332

179 220 250 249 278 318 164 215 245 245 274 317

192 233 264 257 293 330 187 236 264 259 292 330

190 233 263 263 293 332 189 235 265 264 291 329

190 231 260 254 291 331 187 233 259 254 287 326

199 234 257 256 282 314 190 230 254 253 280 310

203 242 269 265 294 327 198 239 267 263 293 328

180 220 248 246 272 310 168 220 249 247 276 317

175 216 245 245 272 307 171 216 245 243 271 308

180 217 248 248 280 328 178 223 252 250 281 323

204 246 274 275 304 342 200 244 270 269 295 334

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Tabela 3 – Distribuição de proficiências 3ª série do Ensino Médio

Brasil, Regiões e Estados

Matemática

Leitura

5% 25% 50% Média 75% 95% 5% 25% 50% Média 75% 95%

207 252 285 290 321 370 187 242 275 277 306 347

195 239 267 271 299 348 179 230 263 262 294 333

194 235 267 266 301 360 172 223 257 253 290 334

229 268 298 298 329 373 207 256 287 285 315 353

235 276 305 301 333 371 207 256 287 283 315 355

219 262 295 295 332 385 206 255 284 283 314 356

204 255 294 280 328 359 178 251 285 279 313 344

194 240 268 264 299 332 177 222 252 250 282 319

208 242 266 275 294 354 192 234 266 265 296 338

195 236 261 263 292 327 186 224 256 255 284 323

198 238 267 269 296 335 173 229 263 262 293 332

204 244 270 274 297 338 190 232 262 265 294 332

179 223 264 266 307 361 166 218 253 249 287 326

180 228 265 256 297 344 151 212 250 242 281 324

187 231 261 258 296 342 165 217 252 245 283 319

198 241 275 277 311 369 170 224 258 255 290 336

183 230 262 260 296 338 164 219 255 252 291 333

191 238 265 266 296 357 175 224 257 254 288 326

192 230 258 262 291 346 170 216 249 247 281 324

201 248 280 280 317 359 185 231 267 261 299 331

215 257 288 294 341 392 191 238 273 272 309 363

197 236 265 266 298 375 179 230 260 261 292 344

233 272 302 303 332 370 203 258 287 283 314 351

225 263 289 285 318 363 199 241 272 271 300 336

229 267 299 289 332 382 205 254 284 275 312 351

227 269 300 300 330 373 219 263 293 291 319 355

229 270 297 298 325 371 198 251 281 279 309 348

233 271 298 292 328 359 209 256 285 281 313 352

249 288 317 311 342 374 218 269 295 289 321 360

216 254 281 282 311 351 205 248 274 273 300 338

204 242 270 272 300 338 196 241 271 268 295 329

217 257 287 290 328 377 201 253 284 282 314 357

253 296 330 328 365 404 227 275 306 302 331 369

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

EDUCAÇÃO PARA

TODOS: ACESSO À

APRENDIZAGEM E CONQUISTA

DO CONHECIMENTO ÚTIL

Robert Glaser*

ntrodução

Todos nós sabemos que os indivíduos são edu-

cados de acordo com as condições culturais e econô-

micas que prevalecem no momento. Entretanto, as con-

dições do passado poderão permanecer em vigor, mal-

adaptadas e retardando o progresso, mesmo que a

cultura tenda à mudança. À medida que trabalhamos

para a avaliação e o aprimoramento dos nossos siste-

mas de educação, é necessário examinar as nossas

metas e as nossas realizações à luz do conhecimento

moderno; ao mesmo tempo, devemos identificar as res-

trições e os obstáculos que nos emperram, e que tor-

nam difícil a mudança.

Tendo em mente este tema da mudança, con-

sideraremos dois aspectos fundamentais de um siste-

ma de educação: como é determinado o acesso à opor-

tunidade da educação, e como são avaliados os resul-

tados da educação. Estas questões, acesso e realiza-

ção, refletem-se em: como os alunos são seleciona-

dos para a entrada na escola, como as suas habilida-

des de aprender são facilitadas, e como a qualidade

da aprendizagem, a competência alcançada e as me-

tas de educação são avaliadas.

A primeira função,

acesso à educação

, foi in-

fluenciada por práticas sociais que tentam identificar

aqueles que aparentam a habilidade, a aptidão ou a

classe social para aproveitarem a escolaridade num

sistema de educação. O acesso à instrução é admi-

nistrado através de testes e de outros procedimentos

de seleção, e do uso de métodos para a classificação

e a colocação diferenciada dos indivíduos (a teoria

psicométrica teve a sua expansão principalmente nes-

te contexto de utilização). Atualmente, enquanto tra-

balhamos para melhorar os nossos sistemas, deve-

mos nos perguntar se os métodos de seleção e de

classificação desenvolvidos são agora funcionais e

aceitáveis, para uma sociedade que deseja maximizar

as capacidades e as realizações da maior parte de

todos os cidadãos, que são o ponto focal de um siste-

ma de educação.

A segunda função,

avaliação do desempenho

e do produto da aprendizagem

, evoluiu, em muitos de

países, para testes de desempenho padronizados nos

quais o desempenho dos alunos é comparado a nor-

mas que proporcionam informação comparativa, mas

que não reconhecem os padrões de desempenho ne-

cessários. Além disso, o que freqüentemente se ava-

lia, é conveniente aos formatos estabelecidos de tes-

tes, e às formas de instrução baseadas em teorias

mais antigas da aprendizagem, em que a lembrança

da informação predomina, e em que os processos de

raciocínio e de solução de problemas, bem como o

uso eficaz do conhecimento, são menos evidentes. Para

que possa haver progresso e aprimoramento, os resul-

tados do ensino e o desempenho dos alunos precisam

ser avaliados de acordo com padrões de mentalidade

ativa, e com base em critérios de desempenho compe-

tentes, em vez de normas de grupo apenas.

cesso à educação

As práticas de seleção e colocação na escola

podem produzir efeitos variados. Alguns indivíduos são

promovidos ao nível seguinte da escolaridade como

resultado desses procedimentos, e com vantagens sig-

nificativas para eles mesmos e para a sociedade. Ou-

tros são excluídos e poderão ser dirigidos a uma ins-

trução menos avançada ou diluída, que pouco contri-

buirá para aumentar as suas oportunidades de educa-

ção. Superficialmente, o processo de seleção pode

aparentar que escolhe os melhores talentos; contudo,

existe a possibilidade de estar baseado em princípios

de aptidão e de inteligência, que desencadeiem um

ciclo de habilidade não desenvolvida. Um número de-

masiadamente alto de alunos poderá ser excluído de

determinadas experiências de educação,

*Robert Glaser, doutor em Psychological Measurement and Learning Theory (Indiana University), é diretor do Learning Research and Development Center, da

University of Pittsburgh (Estados Unidos). Autor e editor de extensa bibliografia (livros, artigos de periódico, coletâneas e relatórios técnicos), foi também editor

da revista

The New Educational Researcher.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

presumivelmente porque lhes faltam os atributos e os

antecedentes que sejam promissores do êxito na

aprendizagem; entretanto, é preciso termos consciên-

cia de que esses mesmos atributos poderiam ser apren-

didos, em ambientes apropriados de educação.

Freqüentemente, os indivíduos se vêem afastados de

experiências de aprendizagem legítimas, que poderi-

am desenvolver neles as capacidades de que necessi-

tam para virem a ser incluídos em um processo eficaz

de educação.

Freqüentemente, as experiências vividas pe-

los alunos que apresentam baixo desempenho não os

expuseram à informação e aos modos de cognição que

poderiam ser úteis para a aprendizagem escolar; por

outro lado, estes podem ser aprendidos se tais alunos

puderem exercitar esse conhecimento e essas habili-

dades em ambientes adequados. Os testes de avalia-

ção e outros critérios usados para determinar a pronti-

dão e a retenção poderão revelar um número despro-

porcional de crianças em situação de desvantagem,

como não estando prontas para as atividades regula-

res da escola, e dirigi-las a currículos mais leves que,

muito provavelmente, não promoverão nelas as habili-

dades de aprendizagem. Separar esses alunos da cor-

rente principal da educação, com freqüência, resultará

na sua exclusão de experiências educacionais fecun-

das, impedindo-os de usar capacidades de aprendiza-

gem onde poderiam exercitar o conhecimento e a ha-

bilidade que eles têm disponíveis para o aprimoramen-

to do seu rendimento educacional (Glaser, Silver, 1994;

Oakes, 1985, 1990; Oakes, Lipton, 1990; Shepard,

1991).

Para possibilitar o acesso à oportunidade da

educação, e para reduzir os aspectos de exclusão da

avaliação estudantil, as práticas do futuro deverão ser

projetadas para a investigação das possibilidades de

crescimento dos alunos. É preciso que a avaliação e a

instrução sejam mais integradas, além de baseadas

em padrões de desempenho. Dessa maneira, os pro-

fessores estarão mais capacitados a reconhecer e a

apoiar os pontos fortes de suas crianças, e a organizar

ambientes de aprendizagem que possam desenvolver

nelas as habilidades de aprender. Os alunos com bai-

xo desempenho deverão ser dirigidos a formas de edu-

cação que não restrinjam as suas oportunidades de

aprender e que desenvolvam capacidades de aprendi-

zagem.

Para maior clareza sobre a questão do aces-

so à educação, devemos repetir que o emprego de tes-

tes para a seleção e a colocação é uma prática impor-

tante em determinados momentos do desenvolvimento

de uma sociedade,

mas

o apoio exagerado neles po-

derá significar escrever as biografias dos indivíduos

antecipadamente, determinando as suas vidas e as

suas carreiras. Essa filosofia determinística precisa ser

suavizada e já não é mais a única opção. Agora, preci-

samos perguntar como o acesso à educação poderá

melhor contribuir para o crescimento dos alunos e para

o seu potencial. A condição (e o problema de pesquisa

e desenvolvimento para o futuro) é projetar uma socie-

dade educacional aberta à ajuda, que possa "ser

julgada em termos da sua habilidade de facilitar adap-

tações construtivas dos programas educacionais para

os indivíduos" (Thorndike, 1975), em que o conheci-

mento utilizável e socialmente reconhecido possa ser

realizado por todos os alunos, e em que altos níveis de

competência sejam atingidos por muitos. O objetivo é

incrementar o acesso à oportunidade de educação, de

forma que possam maximizar o bem-estar da pessoa

e da comunidade.

primorando o acesso à oportunidade

da educação

Para sermos, agora, mais específicos, discu-

tiremos várias áreas em que o uso e o desenvolvimen-

to das habilidades dos alunos para aprender possam

ser consideradas com o propósito de facilitar ambien-

tes de aprendizagem adaptativa. Focalizaremos três

pontos fortes, sobre os quais pode ser fundamentada

a educação na escola: 1) conhecimento baseado na

comunidade, 2) habilidades para auto-regulação, e 3)

convicções sobre esforço e habilidade predeterminada.

1) Conhecimento baseado na comunidade

A educação que é adaptável ao aluno pode

considerar os altos níveis de desempenho que resul-

tam das exigências de solução de problemas e racio-

cínio que os jovens enfrentam na sua vida quotidiana.

Fora do ambiente formal da escola, os indivíduos de-

senvolvem competências para solucionar problemas

quantitativos e verbais, que surgem nas atividades co-

munitárias. Isso ocorre com a necessidade de empre-

go precoce e com a participação como aprendiz em

uma atividade comercial ou profissional (Lave, 1988;

Rogoff, 1990). A participação nessas práticas sociais

é uma forma fundamental de aprendizagem, e é preci-

so considerar a sua importância para o plano pedagó-

gico que se quer implantar. Este conhecimento dispo-

nível pode ser relacionado ao conhecimento escolar,

de modo que os indivíduos adquiram confiança nas suas

próprias habilidades de aprender. A escola precisa iden-

tificar as estratégias que já foram absorvidas pelos alu-

nos durante a sua vida quotidiana e no trabalho que

podem transformar-se na base para a futura aprendiza-

gem. As formas de competência e de experiência

trazidas para a escola por muitos dos alunos são so-

fisticadas nos seus ambientes de utilização fora da

escola, e podem ser imediatamente menos aplicáveis

aos objetivos da escolaridade formal, mas geram co-

nhecimento e habilidades que podem tornar-se base

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

de real educação e treinamento (Carraher, Carraher,

Schliemann, 1985; Greeno, 1991; Rogoff, Lave, 1984;

Saxe, 1990). As habilidades de cooperação utilizadas

no trabalho junto com outros podem ser aplicadas às

relações escolares, para o trabalho com os compa-

nheiros e com os professores, para o êxito na escola

(Sternberg et al., 1995).

2) Habilidades para a auto-regulação

A aprendizagem e a instrução são influencia-

das pela habilidade dos indivíduos acompanharem e

regularem as próprias ações. À medida que o desen-

volvimento e a aprendizagem humana passaram a ser

vistos como o resultado da atividade construtiva, as-

sim como da memória, houve uma consciência mais

intensa das habilidades de auto-regulação emprega-

das por crianças e por adultos para o desempenho de

uma tarefa, ou para a solução de um problema. Essas

atividades reguladoras permitem que os alunos acom-

panhem e exercitem o controle sobre o seu desempe-

nho, à medida que vão desenvolvendo o seu trabalho

(Brown, 1978). Essas habilidades incluem estratégias

de controle, como: a previsão dos resultados dos es-

forços; o planejamento antecipado; a divisão apropria-

da do tempo; a explicação para si mesmo, a fim de

elaborar a aprendizagem e o entendimento; a identifi-

cação das falhas para entender e o uso do conheci-

mento adquirido anteriormente que seja relevante para

a situação. Os aprendizes podem usar essas habilida-

des de monitoramento à medida que forem necessári-

as, durante o desenrolar de uma tarefa nova, ou na

tentativa de compreender uma situação.

Os bons aprendizes usam freqüentemente

essas habilidades, mas muitos indivíduos precisam ser

ensinados a exercer essas capacidades. Assim, es-

sas habilidades de regulação e de monitoramento tor-

nam-se candidatas importantes para a avaliação das

habilidades para o sucesso escolar, transformando-se

também em práticas importantes que precisam ser

ensinadas na escola, para expandir a habilidade de

aprender.

3) Convicções sobre o esforço e sobre a habilidade

predeterminada

Em certas sociedades (por exemplo, a socie-

dade dos Estados Unidos), existe uma compreensão

muito forte da aptidão ou da habilidade predetermina-

da, como fator decisivo para o progresso e o desempe-

nho. Administradores escolares, professores e os pró-

prios alunos acreditam que nasceram com um certo

nível de habilidade, que determina os objetivos para os

quais deverão dirigir a sua atenção. Nos sistemas es-

colares associados a essa crença, alunos e professo-

res agem de acordo com programas alternativos, des-

tinados a serem os ideais para conseguir o melhor

desempenho de um aluno que tenha um nível deter-

minado de habilidade (Dweck, 1988; Dweck, Leggett,

1988; Resnick, 1995; Resnick, Nelson-LeGall, no prelo).

Em contraste com essa visão, estudos com-

parativos entre países e entre sociedades descreve-

ram padrões distintos de crenças em aptidão e habili-

dade, e as práticas escolares resultantes (Holloway,

1988; Peak, 1993; Stevenson, Lee, 1990). Determina-

dos ambientes escolares enfatizam muito os hábitos

de aprendizagem e os modos de interação com os

outros para aprimorar a aptidão para aprender. Os alu-

nos acreditam que desenvolver as habilidades que pos-

sam capacitá-los a melhorar a sua aprendizagem é

tão importante quanto demonstrar o que foi aprendido.

Os objetivos de aprendizagem têm a mesma importân-

cia que os objetivos de desempenho. O indivíduo não

apenas esforça-se para mostrar quão bem uma deter-

minada matéria foi aprendida, mas trata também de

desenvolver novas formas para aprimorar a sua própria

capacidade de aprender. Os alunos iniciam comporta-

mentos de aprendizagem, como o teste do seu próprio

entendimento, conscientes dos padrões para o seu

desempenho.

O acesso à educação melhoraria se os siste-

mas tradicionais, que valorizam excessivamente a ha-

bilidade predeterminada e a aptidão, se voltassem para

os ambientes educacionais que enfatizam a importân-

cia de realizar esforços para desenvolver a capacidade

de aprender. Os sistemas baseados em esforços po-

dem motivar a aprendizagem e restaurar nos jovens a

consciência de que eles podem apresentar contribui-

ções positivas e produtivas, para o seu próprio proces-

so de aprendizagem e para a sociedade.

Ressaltarei, mais uma vez, este ponto geral.

Muitos dos atuais sistemas de educação e seus mo-

dos de entrada na escola e na força de trabalho são

principalmente elaborados a partir da crença de que o

talento e a habilidade são, em grande parte, herdados

e fixos. Como resultado, as práticas educacionais são

destinadas a selecionar aqueles que possuam talento

para os currículos com altos níveis de exigência: evita-

se o currículo que envolva desafio para um número enor-

me de alunos, o que termina por confirmar as suas

próprias convicções de que não possuem talento para

o raciocínio avançado. Os alunos não tentam romper a

barreira das baixas expectativas, uma vez que eles

mesmos, assim como seus professores e seus pais,

aceitam o julgamento de que a sua habilidade é prede-

terminada e que não possuem o nível correto de apti-

dões. Não surpreende que o seu desempenho perma-

neça baixo e o sistema se torne auto-sustentável.

Por outro lado, para o futuro, não será neces-

sário prosseguir desta forma. A escolaridade e a pre-

paração para a vida e para o trabalho poderão ser

construídas com base em suposições alternativas de

que o esforço efetivamente cria a habilidade de apren-

der, e de que o desenvolvimento de estratégias de apren-

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

dizagem e as expectativas de esforço e de realização

podem gerar a habilidade. Um ambiente que estimule

o desenvolvimento de habilidades de aprendizagem e

propicie o esforço pessoal influenciará a natureza da

competência nos indivíduos. Não é questão, apenas,

de ser recompensado pelo trabalho perseverante, mas,

é o resultado do encadeamento de esforços voltados

para a aprendizagem e para padrões de desempenho,

de modo que, provavelmente, possam desenvolver não

apenas o conhecimento específico, mas também as

habilidades para aprender com eficiência.

esultados da educação

Considerei aqui, na verdade, apenas um dos

lados da equação, o acesso à educação – ou seja, os

pontos fortes e habilidades que as crianças e os jo-

vens trazem para a escola. Elas englobam competên-

cias que podem ser usadas e desenvolvidas para ga-

rantir uma educação mais eficaz. Examinaremos ago-

ra o lado do resultado da equação – os produtos ou os

resultados da escolaridade e da aprendizagem.

Para poder indicar possibilidades de progres-

so nesta área, devemos, mais uma vez, fazer referên-

cia ao peso da atual prática disfuncional. Para a avali-

ação dos resultados da educação, foi dada demasiada

ênfase às medidas "com referência a normas" do de-

sempenho educacional, onde, como já disse anterior-

mente, a eficácia da educação é julgada em termos da

posição de um indivíduo em relação ao desempenho

do grupo (Glaser, 1994). O aluno é julgado de acordo

com graduações em porcentagens, como estando no

percentil 25 ou 75, ou tantos pontos acima da média.

Índices desse tipo podem dar a informação de que uma

escola, uma comunidade, ou um estado podem estar

apresentando um desempenho relativamente melhor do

que outros, mas há uma quantidade menor de informa-

ções sobre a verdadeira natureza do desempenho ad-

quirido e sobre a qualidade das realizações conquista-

das. Para melhorar a educação, é necessário julgar o

sucesso da escola e o desempenho dos alunos em

relação àquilo que eles realmente sabem e podem fa-

zer, e em termos de padrões de desempenho.

Além disso, é possível avaliar até que ponto

os alunos conseguem ler palavras, efetuar operações

aritméticas, e recordar eventos históricos e literários.

Mas, nos tempos modernos, tudo isso já não é bas-

tante. Mais do que nunca, o nosso trabalho e a própria

sociedade exigem a capacidade de usar esse conhe-

cimento para o pensamento e para o raciocínio, e de

empregar o que sabemos dentro do contexto das infor-

mações que vão mudando. Precisamos ler para poder-

mos compreender, resolver procedimentos matemáti-

cos com entendimento e raciocinar com conhecimen-

to histórico e cívico, para vivermos, efetivamente, como

cidadãos nas sociedades em desenvolvimento. Em

geral, a avaliação dos resultados da educação deve

considerar não apenas o conteúdo do que é aprendido,

mas também as maneiras de usar essa informação, e

as formas de saber que proporcionem conhecimento

intelectual e poder criativo.

Devemos avaliar os tipos de aprendizagem que

contribuam para a competência individual e para o uso

da mentalidade humana. À medida que acontecem

mudanças no conhecimento dos alunos, precisamos

observar o desenvolvimento concomitante dos proces-

sos cognitivos envolvidos em solucionar problemas e

em pensar com aquilo que eles conhecem (Anderson,

1985). Devemos ir além do teste da mera memória, e

avaliar o poder das estruturas interligadas de conheci-

mento que representam significado, e que levam em

conta os níveis complexos de explicação e entendi-

mento. Os conceitos de estruturas coerentes e interli-

gadas de informação, e a natureza do conhecimento

organizado para o raciocínio devem dirigir os procedi-

mentos modernos de avaliação dos resultados da apren-

dizagem. Os nossos conceitos do passado, muitas

vezes, resultaram na testagem de informações frag-

mentadas, utilizando o formato de múltipla escolha,

que não estimula a inferência e o raciocínio com o que

sabemos. Agora, os educadores enfrentam o desafio

de desenvolver e avaliar o conhecimento interligado e

utilizável.

desenvolvimento da competência

como base para a avaliação

Podemos fazer referência a estudos que com-

param o desempenho de iniciantes e de indivíduos já

treinados em vários campos, para entendermos o que

se quer dizer com o desenvolvimento de conhecimento

organizado e interligado. Esses estudos descrevem

como o conhecimento e a habilidade são alterados à

medida que os indivíduos vão aprendendo e tornando-

se mais competentes nos domínios de várias matéri-

as, e à medida que vão ganhando experiência nas suas

áreas de trabalho (Chi, Glaser, Farr, 1988; Glaser, 1996).

A modificação nas características de desempenho

enquanto os indivíduos vão evoluindo da condição de

principiantes para a atividade já mais treinada, possibi-

lita uma estrutura para a avaliação de níveis de desem-

penho (e um enfoque para a instrução) (Glaser, Chi,

1988; Lane, Glaser, 1994). Permitam-me apresentar

cinco exemplos dessas características da evolução da

proficiência.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

1) Conhecimento integrado, coerente

A aprendizagem efetiva e a experiência desen-

volvem conexões significativas no conhecimento do

aluno. Tal integração e conectividade está intimamen-

te ligada à habilidade do indivíduo para compreender e

solucionar situações problemáticas, em comparação

com a memória mais fragmentada de um iniciante, com

trechos isolados de informação. O conhecimento inte-

grado permite que os alunos mais proficientes façam

inferências, pensem através de analogias com o que já

conhecem e dêem explicações significativas sobre o

seu próprio desempenho. A instrução de boa qualida-

de enfatiza o conhecimento organizado.

2) O estabelecimento de procedimentos e a capacida-

de de utilização do conhecimento

O desempenho competente está relacionado

a procedimentos para o uso do conhecimento. À medi-

da que vai acontecendo a aprendizagem, a informação

declarativa e os fatos de que temos conhecimento dei-

xam de ficar meramente armazenados na memória, e

passam a se relacionar às maneiras de usar essa in-

formação. A avaliação eficaz determina não apenas o

que se conhece, mas também como o que é conheci-

do deve ser empregado. Ainda que tanto os iniciantes

quanto os já mais treinados possam ser igualmente

competentes na lembrança de um princípio ou de uma

regra, os novatos reconhecem com menos freqüência

onde poderá ser aplicado esse conhecimento e como

implementá-lo. Nas avaliações típicas, é muito comum

haver uma natureza dissociada daquilo que medimos,

que não inclui o sentido de aplicação ativa do conheci-

mento de cada um.

3) Reconhecimento e representação de problemas

À medida que os alunos vão se tornando mais

competentes em uma determinada matéria, muda a

sua maneira de considerar problemas e situações, e

esta mudança pode também ser avaliada. Um exem-

plo freqüentemente citado vem de um estudo feito com

alunos durante a sua aprendizagem da física elemen-

tar. Ao serem expostos a problemas de movimento

(mecânica), os alunos iniciantes vão classificar o pro-

blema em termos de características óbvias de superfí-

cie como um problema que envolva um plano inclina-

do, ou que inclua uma roldana. Um aluno mais adian-

tado visualizaria a parte mais básica dos princípios

subjacentes, e diria: "Aí está um problema que envolve

a Concentração de Energia, ou as Leis de Newton".

Com base na forma como o problema é representado,

através da superfície ou através dos princípios

subjacentes, a solução é executada mais ou menos

segundo a forma avançada (Chi, Feltovich, Glaser,

1981).

4) Gerenciamento de informação

Avaliar a forma como as pessoas gerenciam a

informação deverá ser, cada vez mais, um problema

principal da nossa época. A quantidade de informação

disponível e em evolução forçará as nossas avaliações

de desempenho a enfatizarem a utilidade da aprendi-

zagem atual, para capacitar os alunos a usarem o seu

conhecimento para a aprendizagem futura. Os alunos

precisam atingir o conhecimento e a habilidade neces-

sários para trabalharem com grandes volumes de infor-

mação; por exemplo, necessitam aprender a examinar

uma variedade de perspectivas e a gerar conceitos de

organização para que possam empregar o que sabem

em situações novas. Basicamente, uma boa parte da

educação dos alunos precisa focalizar habilidades ge-

radoras, para a atualização do seu conhecimento. É

um problema difícil de avaliação, que precisará ser re-

solvido no futuro.

5) Integração de habilidades básicas com desempe-

nho avançado

As avaliações precisam medir se as habilida-

des fundamentais atingiram ou não uma eficiência que

permita o desenvolvimento de um nível mais alto de

desempenho coordenado. As avaliações desse tipo são

extremamente importantes para se relacionar as pri-

meiras habilidades de leitura à compreensão de pala-

vras e de histórias que tenham significado, e na

integração de operações quantitativas básicas com

procedimentos de solução de problemas matemáticos.

Essa forma de avaliação pode também ser feita em

etapas posteriores da educação, com aspectos

conceituais e relativos a procedimentos da álgebra avan-

çada e de cálculo, que são necessários na solução

eficiente de problemas complexos. (Isso poderá ser

um problema de menor importância quando houver dis-

ponibilidade da utilização de computadores para as

operações fundamentais; os alunos necessitarão de

menos prática nas habilidades básicas, embora preci-

sem ser ensinados a compreendê-las).

Os componentes gerais do desempenho profi-

ciente, como os cinco exemplos que acabamos de

descrever, diferenciam e contrastam os resultados de

aprendizagem de alunos bem e mal-sucedidos em

muitas áreas de conteúdo. Juntamente com o teor da

aprendizagem, esses componentes dão significado às

formas como o conhecimento é usado na atividade

cognitiva de nível superior, que determina a excelência

dos nossos alunos, a competência das nossas comu-

nidades e as expectativas de alunos e de pais.

adrões de aprendizagem e avaliação

Com esta aspiração geral de desempenho de

alto nível em mente, há muito trabalho em curso na

área do enunciado explícito e concreto de padrões para

o trabalho prático tanto de professores quanto de alu-

nos. Em muitos países, este é um empreendimento

patrocinado pelo governo, com a assistência de vários

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

grupos dedicados ao desenvolvimento de currículos e

organizações de professores, preocupados com os ní-

veis de desempenho nas áreas de Leitura e Lingua-

gem, Artes, Matemática, Ciência e Aprendizagem Apli-

cada ao Trabalho. Estes grupos estão publicando pro-

dutos específicos, que podem ser úteis para a reforma

da educação.

Nos Estados Unidos, um Sistema de Avalia-

ção de Novos Padrões, criado por um consórcio de

organizações profissionais e escolas (National Center

on Education and the Economy, University of Pittsburgh,

1997), considerou três componentes inter-relacionados

para um sistema de avaliação. Em várias das matérias

escolares, esses componentes são: 1) Conteúdo de

desempenho e descrições de processos: essas des-

crições especificam o que os alunos devem saber, ofe-

recendo exemplos como eles devem demonstrar o co-

nhecimento e as habilidades que tiverem adquirido. 2)

Amostras de trabalho e comentários: são as amostras

de trabalhos dos alunos que ilustram tipos de desem-

penho em situações padronizadas, acompanhadas por

comentários que apontam as relações entre os padrões

e as amostras de desempenho estudantil. 3) Exames

e portfólios de alunos: os padrões de desempenho são

apoiados por exames e por um sistema de pastas,

que complementam as provas; os portfólios contêm

evidência acumulada do desempenho de alunos, bem

como trabalhos ao longo de um período de tempo. As

provas e os trabalhos selecionados dos alunos são dis-

cutidos tendo em vista as descrições dos padrões de

desempenho.

Atualmente, em muitos países, existem ex-

celentes exemplos de padrões e de sugestões de prá-

ticas de avaliação que podem ser usadas como base

para o aprimoramento educacional. O segredo é a

implementação onde as comunidades e os sistemas

estaduais se associam a alunos, pais, professores,

sociedades dedicadas a currículos e ministérios de

educação, visando ao desenvolvimento de empreendi-

mentos que sejam cuidadosamente avaliados, e visan-

do à realização de metas estabelecidas. A coopera-

ção através de todo o sistema, as expectativas com-

partilhadas de alto nível e a própria avaliação são as

chaves para o sucesso.

scolaridade e comunidades para

a prendizagem e instrução

Se aceitarmos objetivos educacionais que es-

timulem o pensamento e o uso ativo do conhecimento,

então será preciso considerar as inovações nos ambi-

entes escolares e nas salas de aula que ajudem a pro-

duzir esses resultados. É necessário estender o ensi-

no e a natureza dos ambientes escolares em direções

que possam alcançar altos padrões para a maioria das

crianças e dos jovens, e que possam auxiliar muitos

professores na utilização de habilidades profissionais

para a realização desses objetivos. Precisamos expe-

rimentar formas de pedagogia que possam desempe-

nhar a tarefa e atualizar os melhores professores com

conhecimento moderno sobre a aprendizagem e a

cognição. A aprendizagem escolar e as experiências

educacionais, tanto na escola quanto fora dela, preci-

sarão destinar-se a alcançar as características do de-

sempenho competente como descrito, que permitem

habilidades de ordem superior no emprego do conheci-

mento adquirido (Bruer, 1993).

As modificações na natureza do ensino de-

vem ser consideradas, e cuidadosamente avaliadas.

Em particular, a pesquisa pedagógica sugere que, para

muitas situações de instrução, há a necessidade de

mudança de enfoque: do professor como transmissor

e relator de conhecimento, para o aprendiz como cons-

trutor e planejador da sua própria aprendizagem, sob a

orientação do currículo. Somos impelidos a considerar

que houve mudanças quando da aprendizagem passi-

va se passa para o desempenho ativo do aluno, que

adquire competência.

Com este objetivo, ambientes educacionais

foram projetados, tanto na escola elementar quanto em

outras onde os alunos aprendem como se fossem uma

comunidade. Trabalham juntos para compreender e

organizar a informação em uma determinada área do

conhecimento como parte do seu currículo. Durante

essa atividade, eles desenvolvem a capacidade para

esforços intelectuais conjuntos enquanto aprendem com

a ajuda do professor e ensinando uns aos outros. Os

alunos aprendem nesses grupos através de perguntas

e pesquisa, mais do que pelo que lhes é dito. São

estimulados à investigação de um tema científico,

como: a natureza de uma prova geométrica, as propri-

edades dos números, e as características dos diferen-

tes gêneros literários e da escrita em geral. Enquanto

vão pesquisando, fazem perguntas, testam o que es-

tão aprendendo, comparam-no com o conhecimento

do professor ou de outro especialista, e questionam os

detalhes desse conhecimento.

Como trabalham juntos, a aprendizagem é

muito intencional e dirigida. Os alunos têm o firme pro-

pósito de atingir padrões; adquirem formas de desem-

penho que podem exibir, e usam conhecimento e habi-

lidades que lhes permitem aprender a lição seguinte.

Essa aprendizagem intencional pode ser vista nas tro-

cas entre alunos em sala de aula, onde uns comentam

o que outros disseram, para, em seguida, testarem o

próprio raciocínio, afirmando: "Bem, o que eu acho

sobre este assunto é isso", chegando ao ponto de ex-

pressarem o que sabem. Nesse tipo de ambiente edu-

cacional, o que se torna evidente é o modo competen-

te de pensar das pessoas, nas várias disciplinas. Por

exemplo, os alunos não apenas aprendem os fatos de

história ou de biologia, mas aprendem, além disso, como

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

o historiador ou o biólogo pensam ao acumularem evi-

dências para chegar a conclusões e para propor expli-

cações.

Nesses ambientes de aprendizagem, fatos e

informações tornam-se parte dos dados de um esforço

de aprendizagem e de raciocínio. Os alunos podem

sentir-se ligados a eventos que estejam ocorrendo tan-

to no mundo quanto nas suas comunidades, utilizando

essa informação oriunda de eventos exteriores para o

que estiverem aprendendo. Por exemplo, podem em-

pregar o seu conhecimento nas áreas de Matemática

e Ciências para o estudo de ecossistemas, podendo

enviar essa informação (pela Internet) para uma comu-

nidade próxima, para maiores informações. Podem

empregar as suas habilidades de escrever para expli-

car a outros alunos e aos seus pais como eles inter-

pretam o que estão aprendendo. De uma forma geral,

os alunos, com a orientação do professor, podem ava-

liar a sua informação e as suas interpretações, ou ten-

tar encontrar evidências em outras fontes para apoiar

as próprias idéias.

Esses ambientes educacionais foram denomi-

nados "comunidades para a construção do conheci-

mento" (Brown, Campione, 1990, 1994; Scardamalia,

Bereiter, 1991, 1996). Os alunos participam na trans-

missão do conhecimento procurando, compartilhando

e adquirindo conhecimento entre eles mesmos com

uma quantidade de orientação cada vez menor. Essas

comunidades para a construção do conhecimento dis-

tinguem-se pelos esforços de transferir aos alunos os

processos que normalmente ficam sob o controle do

professor. Os alunos são ajudados a formular metas, a

dirigir a sua própria atividade de consulta, a monitorar

o seu entendimento e a utilizar os recursos que lhes

são oferecidos para planejar o seu próprio ambiente de

aquisição de conhecimento. Nesse ambiente

participativo de aprendizagem, professores e alunos

compartilham a experiência de que dispõem, ou assu-

mem a responsabilidade de descobrir e trazer para o

grupo o conhecimento de que precisam. Existe uma

comunidade de discurso no qual a aprendizagem atra-

vés da discussão construtiva, de conjecturas, de

questionamento, de crítica e apresentação de evidên-

cia é a coisa normal a ser feita, e não a exceção (Brown,

Campione, 1994; Campione, Brown, Jay, 1992).

importante conceito instrucional é que à medida que

os alunos progridem para níveis superiores de conhe-

cimento e de desempenho, tornam-se

também

cada

vez mais hábeis, como agentes ativos, em apoio à sua

própria aprendizagem e à aprendizagem dos outros.

As comunidades de construção de conhecimento, en-

quanto ambientes de aprendizagem, passam atualmen-

te por cuidadosa avaliação e estudo (Cognition and

Technology Group at Vanderblit, 1992, 1994).

integração da avaliação e da

instrução

No futuro, testes e ensino, avaliação e apren-

dizagem deverão ser eventos que se tornarão mais in-

tegralmente relacionados (Frederiksen, Collins, 1989).

À medida que for acontecendo o processo de aprendi-

zagem, haverá disponibilidade de evidências para a

avaliação das realizações e para o julgamento das eta-

pas seguintes da instrução. As características da ava-

liação, que são parte integrante da instrução, deverão

incluir, pelo menos, seis aspectos:

Acesso à oportunidade da educação

– Como

já tive a oportunidade de enfatizar, para limitar os as-

pectos de exclusão dos sistemas de educação, é ne-

cessário que a avaliação seja destinada a examinar as

possibilidades de crescimento dos alunos. Os progra-

mas de avaliação e de instrução deverão capacitar os

professores a reconhecer e apoiar os pontos mais for-

tes dos aprendizes, de maneira que possam chegar a

currículos com maior eficácia.

A exibição de competência

– O conheci-

mento e as habilidades deverão ser medidos de forma

que sejam abertamente mostrados os processos e os

produtos da aprendizagem. Os critérios de desempe-

nho através dos quais serão julgados os alunos serão

evidentes e claros, de forma que possam motivar e

direcionar a aprendizagem e o ensino.

Auto-avaliação

– A avaliação deverá impli-

car o ensino da auto-avaliação. Uma vez que a avalia-

ção e a instrução são intimamente relacionadas, as

situações instrucionais deverão fornecer estímulo e

prática, de forma que possam auxiliar os alunos a re-

fletirem sobre o seu desempenho. Essas ocasiões para

avaliação permitem aos alunos estabelecerem padrões

graduais através dos quais possam julgar as próprias

realizações, além de desenvolver a autodireção para

atingir níveis mais altos de desempenho.

Avaliação situada em termos sociais

– As

condições da avaliação podem exigir um desempenho

em um cenário social no qual os alunos contribuam

para uma tarefa e para dar assistência aos outros. Com

isso, há a vantagem de estimular os alunos a desen-

volver e a questionar as suas definições de competên-

cia; eles observam como os outros raciocinam, e rece-

bem

feedback

sobre os seus próprios esforços. Neste

Com o objetivo de facilitar uma comunidade de aprendizagem, foram projetados sistemas de computadores através dos quais as crianças podem interagir, com

os objetivos de construir, explorar e compartilhar o conhecimento. Sua atividade concentra-se em uma base de dados da comunidade, gerada pelos próprios

alunos, onde estes fazem comentários sobre as anotações uns dos outros, levantando questões, sugerindo fontes de informação e contribuindo com contra-

argumentos ou com estímulo (Scardamalia, Bereiter, 1991).

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

contexto, não apenas o desempenho poderá ser avali-

ado, mas

também

a facilidade com que um aluno re-

cebe e se adapta à ajuda e à orientação.

Eficácia da instrução

– As avaliações são

julgadas em termos da sua eficácia em informar os

professores no sentido de dedicarem tempo a determi-

nados conceitos e conteúdos, e a habilidades cognitivas

do currículo. Os produtos da avaliação poderão ser in-

terpretados em termos de como influenciam o ensino

e a instrução, e em termos da informação que forne-

cem para o desenvolvimento de atividades de sala de

aula que se relacionem às metas de aprendizagem.

Significado cognitivo

– As avaliações pro-

porcionam cobertura do conteúdo, mas não negligen-

ciam processos significativos de desempenho, como

o levantamento de perguntas, a representação e o pla-

nejamento de um problema antes da solução, e a pro-

posta de explicações conceituais para os procedimen-

tos de soluções. A construção de procedimentos de

avaliação exige a análise dos aspectos cognitivos de

uma atividade e a determinação de procedimentos re-

lacionados de pontuação que ofereçam evidência do

desempenho cognitivo envolvido.

omentários finais

As avaliações das habilidades de aprendiza-

gem e das realizações de alunos devem ser projetadas

e empregadas de forma que levem em consideração

os propósitos da sociedade moderna e do conhecimen-

to atual da aprendizagem humana. Reforma e aprimo-

ramento contínuo serão impossíveis se continuarmos

a carregar o peso de práticas que foram estabelecidas

para um tempo que já passou. Novas perspectivas são

oferecidas, hoje em dia, sobre a natureza do conheci-

mento e das habilidades trazidas para a aprendizagem,

e sobre a natureza do desempenho competente que

resulta da instrução. Sistemas inovadores, que inte-

grem o acesso à aprendizagem, à instrução e à avalia-

ção podem hoje determinar o projeto de ambientes

educacionais que apóiem e respeitem a habilidade

cognitiva humana, e que preparem as pessoas para

vidas dignas, para o trabalho competente e para o cres-

cimento social.

R eferências bibliográficas

ANDERSON, J. R.

Cognitive psychology and its

implications

. San Francisco : Freeman, 1985.

BROWN, A. L. Knowing when, where, and how to

remember : a problem of metacognition. In: GLASER,

R. (Ed.).

Advances in instructional psychology

Hillsdale, NJ: Erlbaum, 1978. v. 1. p. 77-165.

BROWN, A. L., CAMPIONE, J. C. Communities of

learning and thinking, or a context by another name.

In: KUHN, D. (Ed.).

Contributions to human

development

: development perspective on teaching

and learning thinking skills. Basel, Switzerland:

Karger, 1990. v. 21. p 108-126.

________. Guided discovery in a community of learners.

In: McGILY, K. (Ed.).

Classroom lessons

: integrating

cognitive theory and classroom practice. Cambridge,

MA: MIT Press/Bradford Books, 1994. p. 229-270.

BRUER, J.

Schools for thought

. Cambridge, MA: MIT

Press, 1993.

CAMPIONE, J. C., BROWN, A. L., JAY, M. Computers

in a community of learners. In: DeCORTE, E. et al.

(Ed.).

Computer-based learning environments and

problem solving

. Berlin: Springer-Verlag, 1992. v. 84.

p. 163-192.

CARRAHER, T. N., CARRAHER, D. W., SCHLIEMANN,

A. D. Mathematics in the street and in school.

British

Journal of Developmental Psychology

, v. 3, p. 21-

29, 1985.

CHI, M.T.H., GLASER, R., FARR, M. (Ed.).

The nature

of expertise

. Hillsdale, NJ : Erlbaum, 1988.

CHI, M. T. H., FELTOVICH, P., GLASER, R.

Categorization and representation of physics

problems by experts and novices.

Cognitive Science

v. 5, p. 121-152, 1981.

COGNITION AND TECHNOLOGY GROUP AT

VANDERBLIT. From visual word problems to learning

communities : changing conceptions of cognitive

research. In: McGILLY, K. (Ed.).

Classroom lessons

integrating cognitive theory and classroom practice.

Cambridge, MA: MIT Press/Bradford Books, 1994.

p. 157-200.

________. The Jasper experiment: an exploration of

issues in learning and instructional design.

Educational Tecnology Research and Development

v. 40, p. 65-80, 1992.

DWECK, C. W. Motivation. In: GLASER, R., LESGOLD,

A. (Ed.).

Handbook of psychology and education

Hillsdale, NJ : Erlbaum, 1988. p. 187-239.

DWECK, C. S., LEGGETT, E. L. A social-cognitive

approach to motivation and personality.

Psychological Review

, Washington, DC, v. 95, p. 258-

273, 1988.

FREDERIKSEN, J. R., COLLINS, A. A system's

approach to educational testing.

Educational

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Researcher

, Washington, DC, v. 18, n. 9, p. 27-32,

1989.

GLASER, R. Changing the agency for learning :

acquiring expert performance. In: ERICSSON, A.

(Ed.).

The road to excellence

: the acquisition of

expert performance in the arts and sciences, sports

and games. Mahwah, NJ : Erlbaum, 1996. p. 303-

311.

________. Criterion-referenced tests: Part I. Origins,

Part II. Unfinished Business.

Educational

measurement : issues and practice

, v. 13, n. 4, p.

9-30, 1994.

GLASER, R., CHI, M.T.H. Overview. In: CHI, M. T. H.,

GLASER, R., FARR, M. J. (Ed.).

The nature of

expertise

. Hillsdale, NJ: Erlbaum, 1988. p. xv-xxviii.

GLASER, R., SILVER, E. Assessment, testing and

instruction. In: DARLING-HAMMOND (Ed.).

Review

of research in education

. Washington, DC: American

Educational Research Association, 1994. v. 20. p.

393-419.

GREENO, J. Number sense as situated knowing in a

concept domain.

Journal for Research in

Mathematics Education

, Reston, VA, v. 22, p. 1-49,

1991.

HOLLOWAY, S. Concepts of ability and effort in Japan

and the U.S.

Review of Educational Research

Washington, DC, v. 58, p. 327-345, 1988.

LANE, S., GLASER, R. Assessment in the service of

learning. In: HUSEN, POSTLETHWAITE, T. N. (Ed.).

The international encyclopedia of education

. 2. ed.

Oxford/Leuven : Pergamon Press, 1994. p. 370-374.

LAVE, J.

Cognition in practice

: mind, mathematics and

culture in everyday life. Cambridge, England:

Cambridge University Press, 1988.

NATIONAL CENTER ON EDUCATION AND THE

ECONOMY, UNIVERSITY OF PITTSBURGH.

Performance standards

. Pittsburgh, PA: New

Standards, 1997. v. 1-3.

OAKES, J.

Keeping track

: how schools structures

inequality. New Haven, CT: Yale University Press,

1985.

________.

Multiplying inequalities

: the effects of race,

social class, and tracking on opportunities to learn

mathematics and science. Santa Monica, CA : Rand,

1990.

OAKES, J., LIPTON, M. Tracking and ability grouping:

a structural barrier to access and achievement. In:

GOODLAD, J., KEATING, P. (Ed.).

Access to

knowledge

: an agenda for our nation's schools. New

York : College Entrance Examination Board, 1990.

p. 187-204.

PEAK, L. Academic effort in international perspective.

In: TOMLINSON, T. (Ed.).

Motivating students to

learn

: overcoming barriers to high achievement.

Berkeley, CA: McCutchan Publishing, 1993. p. 41-

59.

RESNICK, L. B. From aptitude to effort : a new

foundation for our schools.

Daedalus

, v. 124, p. 55-

62, 1995.

RESNICK, L. B., NELSON-LeGALL, S. Socializing

intelligence. In: SMITH, L., TOMLINSON, P. (Ed.).

Piaget, Vygotsky and beyond

. Londres : Routledge.

267p. (no prelo)

ROGOFF, B.

Apprenticeship in thinking

: children's

guided participation in culture. New York: Oxford

University Press, 1990.

ROGOFF, B., LAVE, J. (Ed.).

Everyday cognition

: its

development in social context. Cambridge, MA:

Harvard University Press, 1984.

SAXE, G. B.

Culture and cognitive development

: studies

in mathematical understanding. Hillsdale, NJ :

Erlbaum, 1990.

SCARDAMALIA, M., BEREITER, C. Adaptation and

understanding: a case for new cultures of schooling.

In: VOSNIADOU, S., DeCORTE, E., GLASER, R.,

MANDL, H. (Ed.).

International perspectives on the

design of technology-supported learning

environments

. Mahwah, N.J.: Erlbaum, 1996. p. 149-

163.

________. Higher levels of agency for children in

knowledge building: a challenge for the design of

new knowledge media agency for children in

knowledge.

Journal of the Learning Sciences

Hillsdale, NJ, v. 1, p. 37-68, 1991.

SHEPARD, L. A. Negative policies for dealing with

diversity: when does assessment and diagnosis turn

into sorting and segregation? In: HIEBERT, E. H.

(Ed.).

Literacy for a diverse society

: perspectives,

practices and policies. New York: Teachers College

Press, 1991. p. 279-298

STERNBERG, R. J. et al. Testing common sense.

American Psychologist

, v. 50, n. 11, p. 912-926, 1995.

STEVENSON, H., LEE, S.

Contexts of achievement

a study of American, Chinese and Japanese children.

1990. Monografias da Sociedade de Pesquisa em

Desenvolvimento Infantil, 55. (1 & 2, Número de Série

221).

THORNDIKE, E. L. Mr. Binet's test 70 years later.

Educational Researcher

, Washington, DC, v. 4, p.

3-7, 1975.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

O POTENCIAL DOS

ESTUDOS COMPARATIVOS

INTERNACIONAIS PARA O

CONTROLE DE QUALIDADE

DA EDUCAÇÃO

Tjeerd Plomp*

ntrodução

O trabalho preparado para este seminário des-

creve o contexto para as principais metas do evento:

discussões e reflexões sobre o significado da avalia-

ção de um sistema de educação e a forma adequada

de realizá-la. Propõe políticas baseadas em informa-

ção, argumentando que "o aprimoramento qualitativo

na educação... só poderá fundamentar-se na informa-

ção rigorosa, comparada e bem equilibrada" (p. 1). A

avaliação é considerada "um instrumento de primeira

classe, a serviço de um novo estilo de política de edu-

cação, e na operação de sistemas educacionais" (p.

1). Outro aspecto importante é o de que o trabalho

defende a posição de que "uma das maneiras mais

eficientes de executar a reflexão (sobre a qualidade da

educação) está em comparar as nossas próprias idéi-

as e iniciativas às de outros países"(p. 1), e de que "a

adoção de uma perspectiva supranacional dá outra vi-

são das experiências locais, tornando possível analisá-

las a partir de pontos de vista novos" (p. 2).

De acordo com este contexto, o trabalho dis-

cute a importância de estudos comparativos internaci-

onais para avaliação e controle da qualidade dos siste-

mas de educação. Inicialmente, serão discutidos al-

guns dos resultados do

Third International Mathematics

and Science Study (TIMSS)

, que está, no momento,

sendo realizado sob os auspícios da Associação Inter-

nacional para Avaliação do Desempenho em Educa-

ção (IEA). Esses resultados serão utilizados para ilus-

trar a importância da missão da IEA, bem como os

tipos de comparações proporcionados por ela. O tipo

de estudo desenvolvido pela IEA pode envolver uma

variedade de funções para os responsáveis pela políti-

ca em educação e para os que praticam atividades

ligadas à educação, o que será ilustrado a partir de

alguns exemplos. Finalmente, alguns comentários de

conclusão indicarão alguns dos aspectos importantes

da participação de um país em estudos internacionais

de avaliação comparativa.

hird International Mathematics and

Science Study (TIMSS)

TIMSS

é o mais extenso e o mais ambicio-

so estudo do desempenho educacional comparativo

jamais realizado; seus testes de desempenho nas áre-

as de Matemática e de Ciências incluíram:

l 45 países;

l cinco séries (3ª, 4ª, 7ª, 8ª e o último ano da

escola secundária);

l mais de meio milhão de alunos;

l testes aplicados em mais de 30 idiomas

diferentes;

l mais de 15.000 escolas participantes;

l quase 1.000 questões dissertativas, que

geraram milhões de respostas dos alunos;

l avaliação de desempenho;

l questionários de alunos, professores e dire-

tores de escolas, contendo em torno de 1.500 questões;

l milhares de indivíduos, para a aplicação

dos testes e para o processamento dos dados.

TIMSS

foi conduzido com atenção dedicada

à qualidade, a cada um dos passos do caminho. Fo-

ram aplicados princípios rigorosos para a tradução dos

testes, sendo oferecidas numerosas sessões de trei-

namento, com respeito aos procedimentos emprega-

dos para a coleta de dados e para a pontuação, sendo

todas acompanhadas por observadores do controle de

qualidade. As amostras de alunos selecionados para

o teste foram examinadas de acordo com rigorosos

padrões, com o objetivo de evitar parcialidades e asse-

gurar a comparabilidade. Esse controle da qualidade

do estudo resultou na indicação daqueles países que

não atendiam a todos os critérios de qualidade nas

tabelas de apresentação dos resultados.

Os resultados de desempenho do

TIMSS

fo-

ram publicados pelo Centro Internacional de Estudos

da Universidade de Boston (EUA), e pode-se consultar

* Tjeerd Plomp, professor da Faculty of Educational Science and Technology, da University of Twente, em Enschede (Países Baixos), é, desde 1990, presidente

da International Association for the Evaluation of Educational Achievement (IEA). Na sua produção bibliográfica, destaca-se a

International Encyclopedia of

Educational Technology

(2.ed. Oxford : Elsevier, 1996), inclui-se a colaboração em diversas coletâneas, a co-edição de livros e anais de conferências, além

da publicação de artigos em periódicos, como:

Higher Education, Studies of Educational Evaluation, Computers in Education

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

a bibliografia, para a lista completa de publicações pro-

duzidas pelo estudo. Alguns desses estudos apare-

cem resumidos e discutidos, para ilustração da poten-

cial riqueza dos estudos internacionais de avaliações

comparativas.

A Tabela 1 contém os resultados dos testes

de desempenho para Matemática na 7ª e na 8ª séries

(Beaton et al., 1996a), enquanto que a Figura 1 apre-

senta as várias comparações para o desempenho em

Ciências de 8ª série (Beaton et al., 1996b).

8ª Série*

Cingapura

Coréia

Japão

Hong Kong

Bélgica (Fl)

República Checa

República Eslovaca

Suíça

Países Baixos

Eslovênia

Bulgária

Áustria

França

Hungria

Federação Russa

Austrália

Irlanda

Canadá

Bélgica (Fr)

Tailândia

Israel

Suécia

Alemanha

Nova Zelândia

Inglaterra

Noruega

Dinamarca

Estados Unidos

Escócia

Letônia (LSS)

Espanha

Islândia

Grécia

Romênia

Lituânia

Chipre

Portugal

República Islâmica do Irã

Kuwait

Colômbia

África do Sul

643

607

605

588

565

564

547

545

541

540

539

538

537

535

530

527

526

522

519

509

508

506

503

502

500

498

493

487

484

482

477

474

454

428

392

385

354

7ª Série*

Cingapura

Coréia

Japão

Hong Kong

Bélgica (Fl)

República Checa

Países Baixos

Bulgária

Áustria

República Eslovaca

Bélgica (Fr)

Suíça

Hungria

Federação Russa

Irlanda

Eslovênia

Austrália

Tailândia

Canadá

França

Alemanha

Suécia

Inglaterra

Estados Unidos

Nova Zelândia

Dinamarca

Escócia

Letônia (LSS)

Noruega

Islândia

Romênia

Espanha

Chipre

Grécia

Lituânia

Portugal

República Islâmica do Irã

Colômbia

África do Sul

601

577

571

564

558

523

516

514

509

508

507

506

502

501

500

498

495

494

492

484

477

476

472

465

463

462

461

459

454

448

446

440

428

423

401

369

348

Tabela 1 – Desempenho médio em Matemática

* Oitava e sétima séries na maior parte dos países.

A sigla LSS após Letônia indica escolas falando letão apenas.

Os países que aparecem em itálico não atenderam a uma ou mais diretrizes, referentes a taxas de participação nas amostragens, idade/série, especificações

ou procedimentos de amostragem em sala de aula. O relatório apresenta desvios-padrão estimados para toda a pesquisa.

Fonte:

Third International Mathematics and Science Study

(

TIMSS

), 1994-1995.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

País

Cingapura

República Checa

Japão

Coréia

Bulgária

Países Baixos

Eslovênia

Áustria

Hungria

Inglaterra

Bélgica

Austrália

República Eslovaca

Federação Russa

Irlanda

Suécia

Estados Unidos

Alemanha

Canadá

Noruega

Nova Zelândia

Tailândia

Israel

Hong Kong

Suiça

Escócia

Espanha

França

Grécia

Islândia

Romênia

Letônia

Portugal

Dinamarca

Lituânia

Bélgica (Francês)

República Islâmica do Irã

Chipre

Kuwait

Colômbia

África do Sul

Cingapura

República Checa

Japão

Coréia

Bulgária

Países Baixos

Eslovênia

Áustria

Hungria

Inglaterra

Bélgica

Austrália

República Eslovaca

Federação Russa

Irlanda

Suécia

Estados Unidos

Alemanha

Canadá

Noruega

Nova Zelândia

Tailândia

Israel

Hong Kong

Suiça

Escócia

Espanha

França

Grécia

Islândia

Romênia

Letônia

Portugal

Dinamarca

Lituânia

Bélgica (Francês)

República Islâmica do Irã

Chipre

Kuwait

Colômbia

África do Sul

Figura 1 – Comparação de desempenho em Ciências: última série (8ª série*)

Instruções para ler a Figura 1:Procure o país a ser comparado em termos de desempenho na coluna vertical,

comparando-o com os países relacionados na linha superior. Os símbolos indicarão se o desempenho médio do

país é significativamente mais baixo do que o outro país comparado, significativamente mais alto do que o outro, ou

se não há diferença estatística significativa entre os dois países.

*Oitava série na maior parte dos países. Ver Tabela 2, para maiores informações sobre as séries testadas em cada um dos países.

Estatisticamente significativo na 5ª série, ajustado para várias comparações.

Porque a cobertura está abaixo de 65%, a Letônia aparece com a sigla "LSS", indicando apenas as escolas de língua letã.

Os países representados em itálico não atenderam a uma ou mais diretrizes, referentes às taxas de participação na amostragem, especificações de idade/série,

ou salas de aula.

Procedimentos de amostragem: consultar Apêndice A, para maiores detalhes.

Fonte:

Third International Mathematics and Science Study

(TIMSS),

1994-1995.

Os países foram ordenados por desempenho médio, tanto na linha horizontal quanto na coluna.

●

▲

Desempenho médio significativamente

superior ao do país comparado.

Nenhuma diferença estatisticamente

significativa do país comparado.

Desempenho médio significativamente

inferior ao do país comparado.

▼

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

A Tabela 1 e a Figura 1 ilustram um dos obje-

tivos dos estudos internacionais de desempenho com-

parativo, que é especificamente fornecer aos respon-

sáveis pela política de educação e aos que trabalham

em educação

informações (indicadores) sobre a quali-

dade do seu sistema educacional, em relação a gru-

pos relevantes de referência de nações semelhantes.

Esta é a função de "espelho"

: os países têm a possibi-

lidade de determinar se gostam ou não do seu quadro

ou do seu perfil como país, quando comparados aos

outros.

A Tabela 1 apresenta apenas dados "de clas-

sificação", como, por exemplo, Matemática de 8ª sé-

rie, a Espanha aparecendo em 31° lugar e Portugal,

em 37° (de 41 países), e, para a 7ª série, a Espanha

em 32° e Portugal em 36°. A Figura 1 mostra maiores

informações para a área de ciências, em especial para

um determinado país, em relação a outros países que

não apresentam pontuações médias de desempenho

e que sejam significativamente inferiores ou superio-

res, ou que não têm pontuações estatisticamente sig-

nificativas.

Aplicando a abordagem da Figura 1 há, por

exemplo, os resultados relativos à Espanha, em um

exame geral dos países que apresentam em Matemá-

tica um desempenho significativamente melhor/pior, ou

ainda não estatisticamente diferente da Espanha (ver

Quadro 1).

Este tipo de dado fornece informações aos

responsáveis pela política na Espanha sobre o nível de

desempenho do seu país em relação a outros países

importantes de referência. Além disso, demonstra que

as tabelas de grupos, como a Tabela 1, geram um tipo

limitado de informação, podendo resultar em interpre-

tações enganosas, uma vez que não reflete nenhuma

informação estatística. A Figura 1, que reflete esse tipo

de informação, revela que não apenas em Ciências a

Espanha, na verdade, não apresenta um desempenho

melhor do que a Escócia, ou pior do que a Suíça, mas

mostra também que outros parceiros da União Euro-

péia, como é o caso da Irlanda, da Bélgica, dos Paí-

ses Baixos, da Alemanha e da Suécia, estão apresen-

tando um desempenho significativamente melhor.

Entretanto, informações em tabelas e figuras,

como as apresentadas, não ajudam os responsáveis

pela política, pelo desenvolvimento de currículos e aque-

les que trabalham na área de Educação a compreen-

derem

por que

o seu sistema de educação apresenta

Quadro 1 –

TIMSS

– Ciências: Espanha e outros países

Desempenho significativamente superior

Cingapura

Coréia

República Checa

Japão

Bulgária

Eslovênia

Bélgica (fl.)

Áustria

Hungria

Países Baixos

Inglaterra

República Eslovaca

Estados Unidos

Austrália

Alemanha

Canadá

Irlanda

Tailândia

Suécia

Nenhuma diferença significativamente diferente

Hong Kong

Federação Russa

Noruega

Suíça

Nova Zelândia

Escócia

Desempenho significativamente inferior

Islândia

Romênia

França

Grécia

Bélgica (fr.)

Dinamarca

Irã

Letônia (LSS)

Portugal

Chipre

Lituânia

Colômbia

África do Sul

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

o tipo de desempenho específico; por exemplo, por que

a Espanha mostra um desempenho pior do que muitos

de seus parceiros da Europa.

Tudo isso nos leva a um segundo objetivo dos

estudos internacionais de desempenho comparativo,

ou seja,

a algum nível de entendimento dos motivos

para as diferenças observadas nos desempenhos, en-

tre os sistemas de educação

Para esse segundo objetivo, é necessária a

informação sobre os processos de aprendizagem e

ensino, além de uma análise profunda dos resultados

de desempenho, de acordo com o contexto desses

dados primários. Os estudos comparativos da IEA es-

tão também obtendo os diferentes tipos de dados pri-

mários. No

TIMSS

, essa análise profunda ainda está

por ser feita. A International Association for the

Evaluation of Educational Achievement (IEA) conside-

ra esta uma importante tarefa dos próprios países par-

ticipantes, uma vez que são eles que estarão prepara-

dos para determinar as melhores questões para a pes-

quisa e a análise, que sejam relevantes para o seu

sistema de educação. Mais adiante, será apresentado

um exemplo da Suíça.

IEA: o que é, o que faz, sua missão, sua

história

TIMSS

está sendo desenvolvido sob os

auspícios da IEA, organização que realiza estudos

comparativos internacionais, nos quais se avalia o de-

sempenho em educação, de acordo com o contexto

de variáveis de processo e insumos. A missão da IEA é

contribuir para a melhoria de qualidade da educação,

através de seus estudos.

A IEA surgiu há 38 anos, como uma coopera-

tiva de institutos de pesquisa, que representam atual-

mente 55 sistemas de educação (ver, por exemplo,

Husen e Postlethwaite, para uma descrição resumida

da história da IEA). Vários países estão representados

hoje em dia na Assembléia-Geral da IEA, através das

pessoas responsáveis pelas políticas. Os coordena-

dores nacionais de pesquisa e os centros de estudos

da IEA são, com freqüência, alguns dos mais proemi-

nentes em seus países: alguns fazem parte de seus

respectivos Ministérios de Educação, e outros têm li-

gação com universidades, ou são centros independen-

tes de pesquisa. Pela sua própria natureza, a IEA pos-

sibilita uma rede de institutos e de indivíduos que, em

conjunto, representam grande experiência e capacida-

de intelectual; nesse sentido, passa a ser um local de

reunião para organizadores de política, educadores,

cientistas e pesquisadores.

Através dos anos, a IEA realizou vários estu-

dos de avaliação sobre

temas escolares básicos

. A

maior parte deles foi determinada pelos próprios currí-

culos, ou seja, foram desenvolvidas estruturas de tes-

tes para a avaliação de resultados educacionais, com

base na análise do currículo dos países participantes.

Todos esses estudos incluíram também instrumentos

para mensuração de variáveis de processos escolares

e de sala de aula, assim como variáveis primárias tan-

to de professores quanto de alunos. Como exemplos,

citamos os estudos nas áreas de Matemática e Ciên-

cias, habilidades em Leitura, Educação Cívica, e In-

glês e Francês como línguas estrangeiras.

Ao lado disso tudo, a IEA realiza também ou-

tros estudos, não baseados em currículos. Como exem-

plos, o

Pre-Primary Project and the Computers in

Education Study

, do qual está sendo preparado um

sucessor (o

Second Information Technology in

Education Study

Atualmente, há vários estudos em curso na IEA.

TIMSS

é o mais extenso já realizado, cujos

resultados são discutidos por este trabalho. Os resul-

tados da população número 3 (final da educação com-

pulsória) serão divulgados em fevereiro de 1998. A IEA

tem planos para repetir o

TIMSS

para a 8ª série em

1998, para o Hemisfério Sul, e em 1999 para o Hemis-

fério Norte. Os países que até agora não tiveram a opor-

tunidade de participar do

TIMSS

são bem-vindos ao

estudo.

Está em via de ser finalizada a primeira fase

do segundo

Civics Education Study

, o desenvolvimen-

to dos perfis dos países, cuja primeira parte, do ano de

1999, será dedicada à coleta de informações nos ní-

veis das escolas, professores e alunos.

Um outro estudo, em âmbito distinto, é o Pre-

Primary Project

, um estudo de políticas e práticas na

área de atenção infantil.

Foi iniciado no outono de 1997 um segundo

Information Technology in Education Study (SITES)

com um módulo de indicadores (uma pesquisa de ava-

liação escolar limitada, em novembro de 1998). Exis-

tem planos para dois outros módulos, especificamen-

te um módulo de estudos internacionais de casos com-

parativos sobre práticas inovadoras no uso da tecnologia

da informação e da comunicação, e (para o ano 2001)

uma pesquisa envolvendo escolas, professores e

alunos.

Como já foi mencionado, a IEA reconhece

dois

objetivos

nos estudos internacionais de desempenho

comparativo: 1) fornecer aos responsáveis por política

e aos profissionais em educação informações sobre a

qualidade da sua educação em relação a grupos de

referência relevantes, e 2) auxiliar no entendimento dos

motivos para as diferenças observadas entre os siste-

mas educacionais (o que atende às necessidades dos

organizadores da política, mas que é claramente tema

de interesse dos pesquisadores).

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Em linha com esses dois objetivos, a IEA tra-

ta de focalizar

dois tipos de comparações

em seus

estudos. A primeira, comparações internacionais dire-

tas sobre os efeitos da educação em termos de pontu-

ações (ou subpontuações) nos testes internacionais,

segundo a forma ilustrada em relação ao

TIMSS

, na

Tabela 1 e na Figura 1.

O segundo tipo de comparação refere-se à

verificação de até que ponto o currículo proposto de

um país ("aquilo que deveria ser ensinado em uma de-

terminada série") é implementado nas escolas, e al-

cançado pelos alunos. Esse tipo de comparação é

basicamente dirigido às análises nacionais dos resul-

tados de um país, ainda que essas análises possam

ser desenvolvidas de acordo com uma abordagem in-

ternacional comparativa.

Um estudo típico da IEA trabalha com níveis

de séries de três populações: educação elementar, iní-

cio e final da educação secundária.

A IEA foi fundada como cooperativa de pes-

quisa. No início, o seu interesse básico eram estudos

internacionais comparativos, a partir de uma perspec-

tiva de pesquisa. Na segunda metade da década de

80, a IEA começou a reconhecer o interesse cada vez

maior dos responsáveis pela determinação de políti-

cas nos indicadores de educação. Desde então, a IEA

assumiu como desafio atender também aos interes-

ses dessas pessoas, através de seus estudos. A in-

clusão dos indicadores de desempenho da IEA nas

publicações da OCDE ilustra o êxito da Associação

nesse esforço. A última edição da publicação

Education

at a Glance

, da OCDE (1996), apresenta um número

de indicadores baseados nos resultados do

TIMSS

Exemplos de publicações da IEA que examinam ques-

tões relevantes referentes à política são Postlethwaite,

Ross (1994) e Keeves (1996), sendo Kellaghan (1996)

outra fonte de relevo.

Nem todos os estudos deveriam incluir uma

extensão e um desenho tão abrangentes quanto o es-

tudo

TIMSS

. Entretanto, a IEA acredita firmemente que

a conceitualização desses estudos (que é resumida

na seção a seguir) permita a organização de estudos

que possam atender às necessidades tanto dos res-

ponsáveis pelas políticas quanto dos profissionais de

educação.

unções dos estudos da IEA

Como já foi mencionado anteriormente, a im-

portância dos estudos desenvolvidos pela IEA vai mui-

to além da pura realização de comparações diretas,

sob a forma de tabelas de grupos. As funções, a se-

guir, ilustram a importância dos estudos internacionais

de desempenho comparativo (e dos indicadores de

educação).

1) Descrição

Fornecer aos responsáveis pela determinação

das políticas e à comunidade da educação informa-

ções sobre a condição do "seu" sistema de educação,

em um contexto de comparação internacional: muitos

já consideram essa atividade como já sendo interes-

sante. Muitos dos responsáveis pelas políticas reco-

nhecem atualmente que esse tipo de informação é um

bom ponto de partida para a geração de questões para

análise em maior profundidade (função "de espelho").

A nossa discussão dos resultados apresentados como

exemplos na Tabela 1 e na Figura 1 ilustra isso.

O amplo interesse demonstrado em todo o

mundo pelos resultados do

TIMSS

ilustra a importân-

cia dessa função.

2) Comparação com uma referência (benchmarking)

Esta função é melhor ilustrada através de um

exemplo. No estudo

TIMSS

, alguns países da Ásia, e,

na Europa, a parte flamenga da Bélgica e a República

Checa apresentam as pontuações mais altas nos tes-

tes de Matemática. Caso outro país se mostrasse in-

teressado no aprimoramento da sua própria educação

na área de Matemática, poderia analisar o seu "pró-

prio" caso em comparação com os países da Ásia e/

ou da Europa, considerando muitas variáveis, relacio-

nadas a aspectos curriculares da Matemática e da

educação científica (incluindo materiais curriculares),

abordagens pedagógicas e processos de instrução,

variáveis escolares, preparação de base e treinamento

de professores (e treinamento no trabalho), etc. Possi-

velmente, essas análises poderão resultar em propos-

tas de mudanças, ainda que não devam ser esperadas

respostas fáceis. No caso desses países, uma ques-

tão importante em um próximo estudo da IEA seria

verificar se o seu desempenho teria se aproximado

daquele dos países de referência escolhidos.

3) Controle de qualidade da educação

O controle está um passo a frente da atividade

benchmarking

: a avaliação regular dos processos

educacionais em diferentes níveis do sistema de edu-

cação, com o propósito de gerar a mudança, no mo-

mento e onde quer que seja necessário ("tomada de

decisões informada"). Essa função é um exemplo do

controle do currículo baseado na avaliação (mas, no

caso dos estudos da IEA, com base na avaliação ba-

seada no currículo). Para ela, são necessários

dados

de tendência

, ou seja, um ciclo de avaliações feitas de

forma regular naquelas matérias que estejam sendo

controladas (como é o caso do ciclo de estudos da

IEA e da OCDE nas áreas de Matemática, Ciências e

Habilidades de Leitura). Por esse motivo, a IEA foi so-

licitada a repetir o estudo

TIMSS

para a população de

8ª série, em 1999.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

4) Entendimento dos motivos para as diferenças ob-

servadas

É possível que os responsáveis pela política

desejem compreender as diferenças entre sistemas de

educação, ou mesmo as que possam existir dentro

deles, do ponto de vista da determinação de políticas

nacionais

(esta função deve ser diferenciada da pes-

quisa nacional).

Esta função, mais uma vez, está um passo a

frente da mera coleta de dados, com o objetivo de acom-

panhamento: em última análise, atende às necessida-

des dos responsáveis pela determinação de políticas,

além de ser nitidamente também do interesse dos pes-

quisadores. Um bom exemplo é a análise feita nos

Estados Unidos dos dados do

Second International

Mathematics Study (SIMS)

, da IEA, que resultou numa

monografia. O currículo com desempenho insuficiente

(McKnight et al., 1989), como exemplo do TIMSS, será

discutido mais adiante. Mais uma vez, nenhum estudo

propõe respostas fáceis com respeito a que medidas

devem ser tomadas, para o aprimoramento da educa-

ção em um país. Por outro lado, este tipo de pesquisa

poderá levar a decisões quanto a políticas, sobre mu-

danças na educação ("tomada de decisões informa-

da"), ou sobre iniciativas como a dos EUA, em que o

National Council for the Teaching of Mathematics (NCTM)

desenvolveu os bem conhecidos padrões para o ensi-

no da Matemática.

5) Pesquisa nacional

Esta função refere-se à pesquisa exploratória

e/ou em profundidade das bases de dados da IEA.

Muitos exemplos podem ser encontrados nos volumes

da IEA, e aqui mencionamos apenas dois outros.

Postlethwaite e Ross (1994) desenvolveram uma pes-

quisa exploratória da base de dados da IEA, com rela-

ção à Proficiência em Leitura (dados coletados entre

1990 e 1991), em um esforço para encontrar indicado-

res que pudessem discriminar entre as escolas mais

e menos eficazes (na área de Leitura).

O segundo exemplo é a monografia de Keeves

(1996),

The world of school learning: selected key

findings from 35 years of IEA research

, em que o autor

discute, com base em todos os estudos da IEA de-

senvolvidos até 1994, dez conclusões principais, com

sugestões de implicações para o planejamento educa-

cional.

ue dados coletar: algumas

considerações práticas e teóricas

A questão de quais os tipos de dados devem

ser coletados em um estudo de avaliação comparativa

internacional não pode receber qualquer resposta que

não inclua ambigüidades. O tema certamente não é

trivial, quando se percebe que na maior parte dos estu-

dos da IEA há a participação de mais de 20 países, e

TIMSS

, de mais de 40. Muitos participantes even-

tualmente terão diferenças nas funções ou mesmo nas

metas que desejam alcançar através do estudo. Al-

guns, talvez, desejam enfatizar apenas a descrição ao

redor de um pequeno número de indicadores, enquan-

to que a intenção de outros poderá ser trabalhar com

um número maior de variáveis (ligadas a desempenho),

para terem a possibilidade de analisar adequadamente

as informações sobre o seu país. Além disso, em con-

sonância com a sua missão, a IEA não deseja criar

oportunidades para a condução de uma análise nacio-

nal, com o intuito de expandir o entendimento sobre o

funcionamento dos sistemas educacionais em todos

os níveis. Ainda existe um dilema entre o que é dese-

jável e o que é viável: eventualmente, os pesquisado-

res desejarão coletar um número máximo de dados,

para terem a possibilidade de realizar análises secun-

dárias em profundidade de uma base de dados rica,

enquanto que as possibilidades em geral restritas para

a coleta de dados nas escolas, bem como os orça-

mentos limitados, impõem limitações severas sobre a

extensão da coleta de dados. Assim sendo, nesses

tipos de estudos, é necessário encontrar um meio-ter-

mo, entre os interesses de todos os países participan-

tes. A IEA, portanto, está-se esforçando para determi-

nar um tipo de projeto e instrumentos que sejam tão

"igualmente injustos" quanto for possível para todos os

países participantes.

Ao lado de tudo isso, para um estudo eficaz e

eficiente, é preciso haver uma estrutura conceitual bem

elaborada, que considere os aspectos a serem focali-

zados no estudo. Praticamente todas as funções men-

cionadas acima precisam de medidas para o desem-

penho educacional, além de outros resultados da edu-

cação, e em três níveis do sistema de educação:

Quadro 2 – Níveis do sistema de educação

Avaliação Nível do sistema

do que os alunos aprendem

micro

do que e como ensinam as escolas e os professores

meso

de quais os valores da comunidade ( o que os alunos devem aprender)

macro

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Os estudos da IEA focalizam os três níveis,

distinguindo três facetas do currículo:

l O currículo

pretendido

: aquilo que deve ser

ensinado e aprendido, que pode ser medido através da

análise de documentos, como programas oficiais, des-

crições de cursos, livros-texto;

l O currículo

implementado

: o que está ver-

dadeiramente sendo ensinado, ou ocorrendo nas es-

colas e nas salas de aula – conteúdo, carga horária,

estratégias institucionais, etc.–, que pode ser medido

através de questionários (ou observações);

l O currículo

atingido

: aquilo que os alunos

atingem ou aprendem, em termos de habilidades

cognitivas, atitudes, etc., que pode ser medido através

de testes.

No modelo conceitual do estudo

TIMSS

, por

exemplo, as variáveis que exercem influência sobre a

educação são vistas como "situadas em uma série de

contextos embutidos, a partir do mais global e avan-

çando para o mais pessoal", segundo a forma ilustra-

da na Figura 2 (Robitaille, 1993, p. 26-27).

Figura 2 – A estrutura conceitual para o

TIMSS

(Robitaille, 1993)

Currículo

Atingido

(Aluno)

Antecedentes Pessoais

Currículo

Implementado

(Sala de Aula)

Comunidade Local

Currículo

Pretendido

(Sistema)

Sociedade em Geral

Para maiores informações sobre a abordagem

conceitual da IEA, consultar, por exemplo, Robitaille e

Garden (1992), e Plomp (1992).

Em um estudo típico da IEA, é necessário re-

alizar uma série de atividades, para coletar e fornecer

dados e indicadores de boa qualidade, como análise

de currículos, desenvolvimento de instrumentos (inclu-

indo testes-piloto, tradução, etc.), amostragem, pro-

dução de instrumentos, coleta de dados, depuração e

elaboração de arquivos, controle de qualidade entre os

países participantes de cada componente, análise de

dados, elaboração de relatórios.

ue dados devem ser coletados: alguns

exemplos

Entre as considerações tanto práticas quanto

teóricas já discutidas, as questões de quais os dados

que devem ser coletados em estudos nacionais e in-

ternacionais de avaliação podem ainda ser respondi-

das de várias maneiras. Mais uma vez, as respostas

dependem das funções, bem como das questões de

pesquisa a serem focalizadas pelo estudo. Por cima

disso tudo, os países participantes eventualmente de-

sejarão empregar um estudo internacional comparati-

vo para encontrar também respostas para algumas

questões nacionais. Destarte, a questão de "que da-

dos" tem de ser respondida em separado, para cada

um dos estudos. Apresentaremos aqui alguns exem-

plos típicos para estudos da IEA.

a) Dados de quais populações-alvo?

A escolha da(s) população(ões)-alvo é nitida-

mente um reflexo das questões de interesse (para po-

líticas ou para pesquisa). Por exemplo, como parte do

seu ciclo de coleta de dados de desempenho, a OCDE

deverá concentrar-se em dados de jovens de 15-16 anos

de idade, de forma poder fornecer aos responsáveis

pela política um perfil básico do desempenho dos alu-

nos no final (ou próximo) do período de escola compul-

sória.

Por outro lado, no estudo

TIMSS

da IEA, fo-

ram coletados dados (entre outros) relativos às 3ª e 4ª

séries (população 1), às 7ª e 8ª séries (população 2) e

no último ano da escola secundária (população 3), o

que permite uma série de comparações. Em primeiro

lugar, pode ser medida a evolução entre duas séries

adjacentes. Entretanto, incluindo itens comuns nos

testes para as duas populações, pode ser medida tam-

bém a evolução em Matemática e em Ciências, da 4ª

série (escola primária) à 8ª (fase inicial da escola se-

cundária). No

TIMSS

, podem também ser feitas com-

parações entre as populações 2 e 3. Ainda, as popula-

ções-alvo da IEA permitem o acompanhamento da qua-

lidade da educação durante o período de escola com-

pulsória.

b) Medidas múltiplas de avaliação

No estudo

TIMSS

/IEAs, foram coletados da-

dos de desempenho de duas maneiras. Os testes de

desempenho, aplicados a todos os alunos participan-

tes do estudo, consistiam de questões dissertativas e

de múltipla escolha. Além disso, uma subamostra de

alunos das populações 1 e 2 realizou uma série de

tarefas para a avaliação de desempenho, nas áreas de

Matemática e de Ciências. A avaliação de desempe-

nho, que foi a mesma para as duas populações, foi

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

administrada em forma de "circo", devendo o aluno re-

alizar entre três e cinco tarefas. Os resultados apare-

cem em Harmon et al. (1997). A Tabela 2 apresenta

alguns dos resultados das avaliações de desempenho,

em combinação com os resultados de desempenho

tirados da Figura 1 e da Tabela 1, para os países que

participaram com relação à 8ª série, tanto nos testes de

desempenho quanto nas avaliações de desempenho.

A tabela ilustra a função "de espelho" desses

dados descritivos, que podem levar a questões impor-

tantes para os responsáveis pela determinação de po-

líticas e para os profissionais de educação de vários

países.

Vários países apresentam pontuações seme-

lhantes para todas as medidas de avaliação: Cingapura

entre os mais altos e de forma constante, e, por exem-

plo, Espanha, Portugal e Colômbia, abaixo da média

internacional, de modo também consistente.

Podem ser observados aspectos interessan-

tes, por exemplo, nos Países Baixos e na República

Checa. Os dois países apresentam pontuações nos

testes de desempenho em Matemática e em Ciências

muito acima da média internacional, mas apenas pró-

ximas à média internacional, quando se referem a ta-

refas de desempenho. Caso se valorize a capacidade

dos alunos de resolver problemas e tarefas de desempe-

nho, então a satisfação desses dois países, com

as suas altas pontuações nos testes de desempe-

nho, não deverá ofuscar as preocupações que deverão

ter com os seus resultados medianos nas tarefas

de desempenho.

Alguns outros países apresentam um dos re-

sultados desviando-se de um padrão. Por exemplo, a

Suíça apresenta resultados muito bons em tarefas de

desempenho e em desempenho em Matemática, mas

medianos na área de Ciências.

Os exemplos apresentados ilustram o fato de

que a análise dos resultados descritivos, em múltiplas

medidas de avaliação, permite que os países determi-

nem os aspectos que deverão merecer análises mais

detalhadas ou em maior profundidade e/ou discussões

sobre a ênfase e o enfoque do currículo.

c) Dados primários

Sempre são coletados dados primários, como

parte dos estudos da IEA (ver Figura 2). São essas as

informações que permitem a atenção sobre questões

de pesquisa, com relação a que fatores possam estar

contribuindo para a educação de boa qualidade. Um

outro motivo para a coleta de tais dados é o fato de que

permite que os países busquem os fatores

determinantes dos resultados nacionais num contexto

internacional.

Matemática Ciências

Teste de

Desempenho

(pontos na escala)

Tarefas de desempenho

média – (%)

Teste de

desempenho

(pontos na escala)

Tarefas de desempenho

média – (%)

Cingapura

Rep. Checa

Suíça

Baixos

Eslovênia

Austrália

Canadá

Suécia

Zelândia

Inglaterra

Noruega

EUA

Escócia

Espanha

Romênia

Chipre

Portugal

Irã

Colômbia

Média Int.

643

564

545

541

530

527

519

508

506

503

502

498

487

482

474

454

428

385

513

Cingapura

Suíça

Austrália

Romênia

Suécia

Noruega

Inglaterra

Eslovênia

Rep. Checa

Canadá

N.Zelândia

P.B aixos

Escócia

Irã

EUA

Espanha

Portugal

Chipre

Colômbia

Média Int.

Cingapura

Rep. Checa

P.B aixos

Eslovênia

Inglaterra

Austrália

Suécia

EUA

Canadá

Noruega

N.Zelândia

Suíça

Escócia

Espanha

Romênia

Portugal

Irã

Chipre

Colômbia

Média Int.

607

574

560

552

545

535

534

531

527

525

522

517

486

480

470

463

411

516

Cingapura

Inglaterra

Suíça

Escócia

Suécia

Austrália

Rep. Checa

Canadá

Noruega

N.Zelândia

P.B aixos

Eslovênia

Romênia

EUA

Espanha

Irã

Chipre

Portugal

Colômbia

Média Int.

Fontes: Beaton et al. (1996a, b), Harmon et al. (1997).

Tabela 2 –

TIMSS

para a 8ª Série: Pontua

ões de realiza

ão e desempenho para Matemática e Ciências

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

No estudo de Proficiência em Leitura da IEA,

Postlethwaite e Ross (1994) concluíram que um gran-

de número de variáveis primárias estava influenciando

o desempenho em leitura, que, por sua vez, foram clas-

sificados em várias categorias, basicamente indicado-

res de:

l atividades dos alunos em casa;

l contexto escolar;

l características da escola;

l recursos da escola;

l iniciativas da escola;

l administração e desenvolvimento da escola;

l características dos professores;

l condições das salas de aula, das ativida-

des dos professores;

l métodos de ensino.

Postlethwaite e Ross (1994) analisaram es-

ses indicadores por todo o país à luz da questão do

que faz com que uma escola seja eficaz em leitura.

Constataram que para aumentar o desempenho dos

alunos na leitura, seria necessária a promoção da lei-

tura voluntária, fora do ambiente da escola, em especi-

al durante os anos de escola primária; além disso, as

escolas deveriam dispor de bibliotecas nas salas de

aula e/ou nas escolas, devendo os professores

enfatizarem a leitura para compreensão.

De uma forma geral, as experiências acumu-

ladas, obtidas através dos estudos da IEA, em combi-

nação com as questões a serem discutidas em um

estudo, determinaram, em grande parte, que dados

primários deveriam ser obtidos das escolas, dos pro-

fessores e dos alunos.

d) Necessidade de avaliação nacional

Os estudos comparativos internacionais podem

ser usados por um país para o estudo da sua própria

prática educacional, em um contexto de comparação

internacional. No caso da Suíça, Moser (1997) anali-

sou em Matemática, no

TIMSS

, a intensidade da influ-

ência das práticas instrucionais (instrução orientada

às crianças, em lugar de orientada às matérias) e das

variáveis de instrução (autonomia dos alunos, em au-

las orientadas às crianças, em comparação com o

comportamento baseado em tarefas, em aulas orien-

tadas às matérias) sobre os resultados de aprendiza-

gem, não apenas em termos do desempenho em Ma-

temática, mas também da atividade interna, da ativida-

de individual e do interesse pela Matemática. Ele con-

cluiu que as práticas e as variáveis de instrução não

exercem efeito significativo sobre o desempenho em

Matemática, mas muito sobre outros resultados da

aprendizagem. Com base nos melhores resultados

verificados no Japão (um país que coloca grande ênfa-

se sobre as práticas de instrução sobre as matérias

individuais, e sobre o comportamento baseado em ta-

refas), o autor conclui, ainda, que as práticas de instru-

ção da Suíça podem ser melhoradas nesses aspectos.

Um outro exemplo de análise nacional da Su-

íça relaciona-se a nossa conclusão anterior, de que no

TIMSS

a Suíça está alcançando resultados relativa-

mente bons nas tarefas de desempenho e no desem-

penho em Matemática, mas medianos em Ciências.

Ramseier (1997) analisou as possíveis causas para

esse fato, concluindo que pode ser explicado através

da discrepância entre o currículo suíço em Ciências

(prioridades de ensino) e a parte de Ciências do teste

internacional de desempenho.

A maioria dos estudos internacionais compa-

rativos permite um número limitado de questões nacio-

nais ("opção nacional"). O exemplo da Suíça ilustra

até que ponto é importante que os países participan-

tes de um estudo comparativo internacional conside-

rem antecipadamente as questões nacionais (políticas

e/ou de pesquisa) que desejam examinar através des-

ses estudos; além disso, que características peculia-

res do sistema nacional precisam ser incluídas nos

questionários relativos à situação primária, para permi-

tir análises nacionais relevantes.

bservações finais

Considerando-se a discussão e os reflexos do

significado da avaliação de um sistema educacional e

os meios adequados para realizá-la, os comentários a

seguir são relevantes para o envolvimento do Brasil e,

de uma maneira mais geral, da região latino-america-

na em práticas de avaliação internacional.

Em primeiro lugar, a importância da participa-

ção de estudos comparativos internacionais aumenta

para um país, quando países importantes de referên-

cia participam também. Por esse motivo, um estudo

como é o caso do

TIMSS

é extremamente relevante

para a União Européia, para a América do Norte e para

alguns países da Ásia. Para incrementar a importân-

cia dos estudos da IEA para a América Latina como

região, é preciso promover o envolvimento de um nú-

mero maior de países. O fato de que recentemente o

Brasil e o Chile se juntaram à IEA é, na verdade, um

sinal promissor, e a importância da participação des-

ses países na versão de 1998/1999 do

TIMSS

será

intensificada a partir de quando um número maior de

países da região passar a participar do estudo.

Os estudos do tipo dos da IEA são comple-

xos, dos pontos de vista tanto logísticos como

metodológicos. Uma característica importante dos es-

tudos da IEA é o treinamento dos coordenadores naci-

onais de pesquisa. Esse é um componente essencial

do estudo, uma vez que muitos coordenadores apa-

rentam não estarem tão familiarizados com a

metodologia e, principalmente, com as características

específicas dos estudos comparativos internacionais.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Um outro benefício da participação nesses estudos,

ainda que não bem tangível, é o desenvolvimento de

uma rede de pesquisadores e de especialistas (nas

áreas, por exemplo, de Amostragem, Psicometria,

Desenvolvimento de testes, Análises de dados, etc.),

que pode ser de ajuda quando os países desejam de-

senvolver os seus próprios estudos de avaliação e de

exame nacional.

Um aspecto importante, mas que

freqüentemente não recebe a devida atenção, é a pos-

sibilidade de sintonizar as avaliações nacionais de acor-

do com as internacionais. A ligação bem feita dos dois

não apenas aumentará os benefícios que poderão re-

verter para o país a partir dos investimentos em estu-

dos de avaliação, mas será também custo eficiente.

Um outro aspecto relacionado aos custos re-

fere-se à questão de quais dados devem ser coletados.

Como já foi ilustrado através dos exemplos dados, são

os aspectos ligados à política e à pesquisa que deter-

minarão principalmente quais os dados a serem reco-

lhidos. Por outro lado, quando entram em cena fatores

relativos a custos, e a partir do momento em que a

influência sobre que dados receberão atenção (ou não

receberão) fica demasiada, corre-se o risco de limitar

a utilidade dos dados coletados. Se a IEA tivesse ape-

nas coletado durante o TIMSS dados referentes a de-

sempenho (que na verdade dão lugar a indicadores in-

teressantes, como os que aparecem na Tabela 1 e na

Figura 1), mas nenhuma informação sobre as escolas,

sobre os professores e sobre os alunos, um país como

a Suíça jamais teria tido a possibilidade de realizar

análises nacionais em meio a um contexto internacio-

nal, e teria perdido a oportunidade única de focalizar

algumas questões nacionais importantes. Com freqüên-

cia, basta um mínimo aumento de custos para que se

chegue à diferença entre a obtenção apenas de dados

referentes a desempenho ou de um conjunto muito mais

rico de dados, que permita análises mais profundas de

aspectos importantes.

eferências bibliográficas

BEATON, A. E. et al. Mathematics achievement in the

middle school years. In: INTERNATIONAL

ASSOCIATION FOR THE EVALUATION OF

EDUCATIONAL ACHIEVEMENT.

Third International

Mathematics and Science Study

. Chestnut Hill, MA

: Center for the Study of Testing, Evaluation and

Educational Policy, Boston College, 1996a.

________. Science achievement in the middle school

years. In: INTERNATIONAL ASSOCIATION FOR

THE EVALUATION OF EDUCATIONAL

ACHIEVEMENT.

Third International Mathematics

and Science Study

. Chestnut Hill, MA : Center for

the Study of Testing, Evaluation and Educational

Policy, Boston College, 1996b.

HARMON, M. et al. Performance assessment. In:

INTERNATIONAL ASSOCIATION FOR THE

EVALUATION OF EDUCATIONAL ACHIEVEMENT.

Third International Mathematics and Science Study

Chestnut Hill, MA : Center for the Study of Testing,

Evaluation and Educational Policy, Boston College,

1997.

HUSÉN, T., POSTLETHWAITE, T. N. A brief history of

the International Association for the Evaluation of

Educational Achievement (IEA).

Assessment in

Education

, Abingdon, v. 3, n. 2, p. 129-141, 1996.

KEEVES, J.

The world of school learning

: selected

findings from 35 years of IEA. Amsterdam : IEA,

1996.

KELLAGHAN, Thomas. IEA studies and educational

policy.

Assessment in Education

, Abingdon, v. 3, n.

2, p. 143-160, 1996.

MARTIN, M. O. et al. Science achievement in the

primary school years. In: INTERNATIONAL

ASSOCIATION FOR THE EVALUATION OF

EDUCATIONAL ACHIEVEMENT.

Third International

Mathematics and Science Study

. Chestnut Hill, MA

: Center for the Study of Testing, Evaluation and

Educational Policy, Boston College, 1997.

McKNIGHT, C. C. et al.

The underachieving curriculum

: assessing U.S. school mathematics from an

international perspective. Champaign, IL : Stipes,

1989.

MOSER, U. P.

Swiss analysis of the TIMSS data

. Chi-

cago, IL, 1997. Trabalho apresentado na Conferên-

cia Anual da American Educational Research

Association (AERA).

MULLIS, I. V. S. et al. Mathematics achievement in the

primary school years. In: INTERNATIONAL

ASSOCIATION FOR THE EVALUATION OF

EDUCATIONAL ACHIEVEMENT.

Third International

Mathematics and Science Study

. Chestnut Hill, MA

: Center for the Study of Testing, Evaluation and

Educational Policy, Boston College, 1997.

OECD.

Education at a glance

: OECD indicators. 4.

ed. Paris : OECD/CERI, 1996.

PLOMP, Tjeerd. Conceptualizing a comparative

educational research framework.

Prospects

, v. 22,

n. 3, p. 278-288, 1992.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

POSTLETHWAITE, T. N., ROSS, K.

Effective schools

in reading

: implications for educational planners.

Amsterdam: IEA, 1994.

RAMSEIER, E.

Task characteristics and task difficulty

: analysis of typical features in the Swiss performance

in TIMSS. Frankfurt, 1997. Trabalho apresentado na

Conferência Européia sobre Pesquisa Educacional.

ROBITAILLE, D. F. (Ed.).

Curriculum frameworks for

mathematics and science

. Vancouver : Pacific

Educational Press, 1993. (TIMSS monograph, 1).

ROBITAILLE, D. F., GARDEN, R. (Ed.).

The IEA study

of mathematics II

: contexts and outcomes of school

mathematics. Oxford : Pergamon Press, 1989.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

OS INDICADORES

DE EDUCAÇÃO DA OCDE:

PROPÓSITOS, LIMITES E

PROCESSO DE PRODUÇÃO*

Norberto Bottani**

*Ao preparar este trabalho, utilizei partes de vários documentos internos não publicados da OCDE, produzidos como parte do projeto dessa instituição,

"International Indicators Systems" (INES), que chefiei de 1988 a 1995. Agradeço, especificamente, a Donald Hirsch e a François Orivel pelos trabalhos que eles

prepararam para a última Assembléia Geral do Projeto do INES, realizada em Lahti (Finlândia), em junho de 1995.

**Norberto Bottani chefiou vários setores da Organization for Economic Co-operation and Development (OECD), entre os quais o (International Indicators of

Education Systems (INES)/ CERI Project, e, desde 1997, é diretor da Unit for Educational Research, do Cantão de Genebra (Suíça). Foi editor dos relatórios

e livros da OCDE sobre Educação Infantil, Educação Multicultural e Indicadores Educacionais publicados entre 1976 e 1996. Juntamente com I. Delfau, foi o

co-editor do fascículo especial do periódico

International Journal of Educational Research

, v. 14, n.4, sobre indicadores da qualidade dos sistemas educacionais

numa perspectiva internacional, em 1990.

bjetivos do conjunto de indicadores

de educação da OCDE

A metodologia que utiliza indicadores de edu-

cação é hoje amplamente adotada para a avaliação

dos sistemas nacionais de educação. Há possibilida-

de de geração de centenas de indicadores, ainda que

não haja sentido em produzir tantos deles. Não é a

abundância de informações e de medidas que produzi-

rá um melhor conhecimento. Ainda mais, um conjunto

grande de indicadores é muito difícil de ser gerenciado.

Desde 1991, os países da Organization for Economic

Co-operation and Development (OCDE) vêm tentando

gerar um conjunto restrito de indicadores em educa-

ção, além de identificar aqueles que sejam centrais

para o fornecimento de informação essencial sobre os

sistemas de educação. Apesar desses esforços, o

conjunto de indicadores em educação da OCDE não

apresentou grande evolução. O número de indicadores

incluídos no conjunto permaneceu estável, em torno

de 50. É realmente difícil identificar os critérios para a

seleção de indicadores: essa operação exige uma es-

trutura conceitual que espelhe os propósitos da avalia-

ção e dos sistemas de educação.

estrutura conceitual do conjunto de

indicadores em educação da OCDE

O esquema em torno do qual se organiza o

conjunto de indicadores em educação da OCDE foi de-

senvolvido através de várias etapas. A insatisfação com

os modelos de organização que prevaleciam na déca-

da de 80, com ênfase sobre as causalidades e a falta

de capacidade de interpretação reclamava a adoção

de uma estrutura de organização que fosse flexível. A

estrutura conceitual do International Indicators Systems

(INES) é organizada em torno de uma abordagem com-

binada, utilizando bases tanto conceituais quanto prag-

máticas, e incorporando preocupações relativas às

políticas.

Os parâmetros conceituais e teóricos que ex-

plicam as opções que influenciaram a construção dos

conjuntos de indicadores foram descritos em duas pu-

blicações: The OCDE International Education Indicators.

A framework for Analysis (1992) e Making Education

Count. Developing and Using International Indicators

(1994).

A ambição da OCDE, ao propor um conjunto

de indicadores internacionais em educação, era cobrir

uma ampla gama de serviços educacionais, ampliar

os horizontes além do mundo do ambiente escolar for-

mal, incluindo dados sobre a educação privada – for-

mas tanto comerciais quanto sem fins lucrativos – ,

sobre as atividades de treinamento executadas nas em-

presas, sobre as compras domésticas de bens e servi-

ços de educação, sobre pesquisa e desenvolvimento

em educação, e sobre os profissionais ligados à edu-

cação, e não meramente os professores.

O quadro conceitual que levou à seleção dos

indicadores assumiu, assim, uma função crucial na

implementação de uma estratégia de informação de-

senhada para estabelecer os fundamentos para deci-

sões políticas e para uma gestão firme com base nas

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

quais deveriam desenvolver-se as atividades de obten-

ção de dados e de iniciativas de informação. Como foi

corretamente indicado pelo Sr. Orivel, em sua análise

dos primeiros três conjuntos de indicadores em edu-

cação da OCDE, os fatores que influem no desempe-

nho dos alunos são extremamente numerosos, e o seu

impacto varia, dependendo da presença ou não de ain-

da outros fatores. Ainda mais, alguns fatores são

maleáveis, ou seja, podem ser modificados através da

intervenção externa, enquanto que outros não podem

ser mudados, ou a própria sociedade se recusa a fazê-

lo. Por exemplo, o tamanho das turmas, ou a duração

do período de treinamento dos professores podem ser

mudados; as aptidões naturais, o ambiente familiar ou

geográfico, a aceitação dos pares não podem ser mo-

dificados. É virtualmente impossível medir todos aque-

les fatores que poderiam representar um impacto. Por

esse motivo, apesar da importância do trabalho de pes-

quisa em educação, não há consenso sobre que fato-

res exercem maior influência sobre o desempenho dos

alunos. São extremamente raros os resultados que

apresentam um alto grau de consistência. Assim sen-

do, quando se escolhem indicadores que tenham a

capacidade para rápida e corretamente informar aos

usuários dos sistemas de educação sobre os desem-

penhos em educação e alertá-los quanto ao estado da

educação, é preciso fazer algumas opções. Estas op-

ções não são nem simples, nem neutras.

A OCDE utiliza macrodados para a constru-

ção de seus indicadores em educação. A natureza dos

dados utilizados ajuda a executar uma primeira sele-

ção entre os distintos fatores a serem mantidos. Ainda

assim, os indicadores agregados da OCDE são, via de

regra, muito gerais para permitirem uma análise deta-

lhada das relações entre os recursos investidos e os

resultados obtidos. Entretanto, sua utilidade reside em

outro fato: eles ajudam a levantar certos aspectos rele-

vantes, no nível macroeconômico. Isso foi demonstra-

do pelo Sr. Orivel, ao examinar o caso de um dos indi-

cadores compostos mais bem conhecidos, os gastos

em educação comparados ao PIB. Desde 1975, vem-

se verificando uma certa convergência entre os res-

ponsáveis pelas decisões, no sentido de destinar, de

forma significativa, mais ou menos uma média seme-

lhante do PIB à educação – em torno de 6%. "A varia-

ção desse indicador pouco a pouco foi-se estreitando.

Os países que destinavam mais do que 6% do PIB

tenderam a estabilizar, ou a reduzir esse valor, enquanto

que aqueles que destinavam menos do que 4% do seu

PIB à educação passaram a tratar de chegar ao valor

médio de 5% ou 5,5%". O Sr. Orivel afirma que "essa

tendência, em direção a um certo nível de convergên-

cia, provavelmente não é nenhuma coincidência, ainda

que não haja declarações explícitas dos responsáveis

pelas decisões sobre esse ponto. Por outro lado,

sentimo-nos tentados a propor uma hipótese, quanto à

falta de critérios formais sólidos, sobre os quais as

autoridades públicas possam estabelecer um nível es-

pecífico de comprometimento para com a educação,

estimula os responsáveis pelas decisões a não desti-

narem significativamente mais ou menos do que a

média." E o Sr. Orivel prossegue, acrescentando que

"é esse o tipo de argumento freqüentemente utilizado

na tomada de decisões públicas sobre o financiamen-

to de pesquisa e desenvolvimento e em defesa nacio-

nal, com base na lógica de que, quando os parceiros

fazem mais, os países precisam acompanhá-los, para

não ficarem para trás, ou para reduzirem a probabilida-

de de virem a tomar o rumo errado".

O Sr. Orivel conclui, afirmando que "em várias

áreas da política educacional, os fatores sobre os quais

se baseiam as decisões em educação são mal defini-

dos ou contraditórios, e pode ser útil para que se deva

tomar as decisões e examinar o que outros países

comparáveis estão fazendo, quer seja porque a grande

maioria dos países tenha optado por uma determinada

solução, ou porque um país que tenha escolhido uma

abordagem original esteja aparentemente obtendo re-

sultados favoráveis". A competição internacional e a

comparação entre os países chamaram intensamente

a atenção para os indicadores, e assumiram importân-

cia capital para o desenvolvimento de um conjunto in-

ternacional de indicadores em educação.

Por esse motivo, a OCDE decidiu adotar, no

início do trabalho com os indicadores, uma estrutura

conceitual extremamente simples, que era uma varia-

ção relativamente esparsa de um modelo de entrada e

saída. Esse modelo foi, e é, muito adequado para a

geração de informações úteis para a platéia dos círcu-

los políticos. Virtualmente, todos os esforços para a

concepção de indicadores em educação utilizaram um

modelo de entrada/saída, ou processado. Para a pro-

dução de variáveis relevantes para a política, que pos-

sam ser resumidas de modo claro e sucinto, e ser apre-

sentadas e consideradas, não era preciso adotar um

modelo complexo e orientado para a pesquisa. Assim,

a OCDE recorreu a uma estrutura tripartite de organi-

zação dos indicadores, que gerava informações sobre

os resultados da educação, quanto às características

primárias dos sistemas escolares e às situações soci-

ais e econômicas de cada país, nas quais operam os

sistemas de educação.

Propositalmente, os indicadores não eram or-

ganizados de acordo com um "modelo". Um modelo

implicaria conexões sofisticadas e causais entre os

indicadores; não é razoável supor que as variáveis re-

presentadas por esses indicadores pudessem funcio-

nar dessas maneiras. Desde o início do trabalho do

INES, sempre houve firme consenso acerca do fato de

que a organização e a seleção dos dados não eram

compatíveis com um modelo causal. Esse conceito

era considerado como muito pouco produtivo, conside-

rando-se a falta de representatividade de relações ge-

ralmente aceitas na educação.

Mas, para que possa ser útil e prática, a es-

trutura de organização deve ser simples, global e

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

parcimoniosa. A estrutura de um conjunto internacio-

nal de indicadores em educação não pode pretender

representar todas as relações entre os elementos do

sistema, e, ainda assim poder ser trabalhada. Enquanto

isso, o conjunto precisa ser fiel, até certo ponto, à com-

plexidade dos sistemas de educação.

O objetivo da estrutura não era oferecer um

outro modelo abrangente de educação, mas sim gerar

uma forma de colocar os indicadores em contexto, além

das relações existentes entre eles. Ainda que a estru-

tura não tenha a intenção de construir ligações de uma

natureza causal, certamente ajuda a pôr em perspecti-

va algumas das interações que ocorrem no funciona-

mento dos sistemas educacionais.

Por esses motivos, a OCDE adotou uma abor-

dagem pragmático-conceitual na organização dos in-

dicadores. Existem várias modalidades de organizar

indicadores. Podem ser organizados conceitualmente,

refletindo um modelo ativo do sistema que tencionam

descrever. Podem ser organizados pragmaticamente,

como as bitolas em um sistema ferroviário, para infor-

mar um conjunto de decisões específicas e práticas

de planejamento, como a contratação de pessoal onde

seja necessário a destinação de espaços, ou o exame

de problemas específicos de desempenho. Podem ser

organizados em volta de aspectos políticos, como eqüi-

dade, aquisição de aprendizagem, contribuição para a

produtividade econômica, e assim por diante. O con-

junto da OCDE é uma abordagem combinada, que uti-

liza bases tanto pragmáticas quanto conceituais, in-

corporando ao mesmo tempo preocupações de natu-

reza política. Uma abordagem dessa natureza parecia

ser a forma mais apropriada para a organização de

dados comparativos internacionais sobre educação, por

vários motivos.

Em primeiro lugar, esses indicadores serviri-

am menos para objetivos estreitos e imediatos de

gerenciamento, e mais para uma análise global de ten-

dências gerais e diferenças entre os países. Em se-

gundo lugar, as questões mais importantes para vários

países deveriam variar até certo ponto, o que impediria

uma orientação a essas mesmas questões. Em ter-

ceiro lugar, o conjunto englobaria tradições intelectu-

ais diferentes dos países-membros da OCDE, estando

o seu ponto forte na sinergia das abordagens combina-

das. Finalmente, emergiu uma visão conceitual e sis-

temática da educação, que perece ter conquistado

aceitação e validade gerais.

Essa natureza mista assumiu implicações

importantes com respeito aos tipos de indicadores que

terminaram por ser sugeridos. Tivesse a abordagem

sido estritamente conceitual, os indicadores teriam sido

concebidos para o fornecimento de informações sobre

os principais elementos determinados pela lógica ou

pela pesquisa, como sendo componentes básicos de

um modelo pleno e ativo do sistema educacional. Em

uma abordagem puramente pragmática, esses indica-

dores que a experiência e as prioridades políticas su-

gerem como sendo de interesse poderiam ter apareci-

do em uma lista eclética. Em vez disso, e como resul-

tado da base mista, alguns dos indicadores termina-

ram sendo selecionados porque eram de uma nature-

za ao mesmo tempo lógica e empírica, enquanto ou-

tros eram práticos e sensíveis a políticas em sua ori-

entação.

Imaginou-se que, ao adotar uma abordagem

combinada, causar-se-ia um equilíbrio embutido entre

a estabilidade e a flexibilidade, em um conjunto de in-

dicadores que teria evoluído com o tempo. A referência

a um modelo conceitual para o desenho de um conjun-

to de indicadores teria muito provavelmente criado um

produto relativamente rígido, que arriscaria uma falta

de sintonia com as preocupações da atualidade. Ain-

da, muito tempo seria dedicado para chegar a um con-

senso sobre o modelo, sem que fosse gerada qualquer

informação de utilidade, e sem aprimoramento na es-

tratégia de coleta de dados. Uma abordagem ligada a

questões políticas muito provavelmente teria tido con-

seqüências semelhantes, do ponto de vista operacional

(é preciso lembrar que havia amplo consenso sobre a

falta de validade dos dados obtidos até ali), e teria ori-

ginado conjuntos de indicadores muito voláteis, à me-

dida que fossem evoluindo as prioridades.

As áreas incluídas no conjunto de indicadores

englobam informações importantes, que podem ser

exibidas sobre os sistemas educacionais das nações:

as condições de seus desempenhos, suas caracterís-

ticas e aspectos, além das condições sob as quais

operam. Em relação aos propósitos analíticos, essa

estrutura representa a educação como sendo um pro-

cesso de vários componentes. É importante observar

que muitos dos elementos educacionais da estrutura

interagem de uma forma bastante complexa. Em ter-

mos estatísticos, a estrutura de organização não pre-

tende ser um simples modelo de regressão. Muitos de

seus elementos são paralelos uns aos outros,

recursivos, e operam em vários níveis: no nível do país

como um todo, no nível da escola, e no nível das unida-

des de organização no meio dos dois.

Na estrutura, as condições demográficas e

econômicas são vistas como fatores de fundo, que

determinam o trabalho a ser desempenhado pelas es-

colas, e que estabelecem os recursos disponíveis para

o financiamento dos programas escolares. Os siste-

mas mais ricos conseguem apoiar programas mais

elaborados. Ao mesmo tempo, níveis inferiores de edu-

cação no passado, ou níveis mais altos de pobreza

hoje, fazem parte da tarefa de oferecer educação de

qualidade em muitos países.

Os programas e os processos educacionais

são vistos como as variáveis de entrada, que determi-

nam o sucesso do programa escolar. Representam as

características com base nas quais podem variar os

programas de educação em vários países, e que po-

dem explicar, ou pelo menos serem associados aos

resultados da educação.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Os resultados são considerados em parte

como reflexos das condições gerais, em seus aspec-

tos social, econômico e histórico, que afetam a educa-

ção de cada país, e também em parte como reflexos

dos efeitos das políticas, dos programas, das práticas

e das decisões na área de educação, e que constitu-

em a escola em cada um dos países.

É imperativo sempre manter em mente a natu-

reza repetitiva e de vários níveis dessa estrutura. Em

primeiro lugar, a repetitividade. Entre muitos dos indi-

cadores constantes da estrutura, as relações podem

acontecer em muitas direções de uma só vez. Por

exemplo, as atitudes de alunos e do pessoal escolar

poderiam melhorar à medida que melhorassem os re-

sultados. O apoio público poderá aumentar como re-

sultado de um maior êxito dos programas. Simples

melhorias na taxa de término dos cursos secundários

levariam à melhora também da situação de educação

da população geral de um país. Os recursos disponí-

veis deverão relacionar-se em parte, ainda que não in-

teiramente, aos recursos despendidos. Esses são al-

guns dos exemplos de algumas das interações e cír-

culos de retroalimentação que poderão existir na es-

trutura. Além disso, eles ilustram e explicam por que

foi adotada uma estrutura geral, em oposição à tentati-

va de determinar o entendimento de todas essas inter-

relações.

Em segundo lugar, a característica estrutural

com vários níveis: em cada um dos elementos, a varia-

bilidade no sistema pode ser tão importante quanto a

variabilidade entre os países. Isso deverá afetar a inter-

pretação, uma vez que, com certeza, as comparações

globais entre os países poderão tornar-se irrelevantes,

caso existam grandes disparidades entre as escolas,

ou entre as províncias de um país. Ainda assim, as

disparidades são significativas, enquanto podem refle-

tir problemas sistemáticos, tais como serviços diferen-

tes, ou distribuição desigual de recursos, que devem

ser solucionados.

Como já foi anteriormente afirmado, o objetivo

principal dos indicadores em educação não é a expli-

cação da educação como um processo, ou a verifica-

ção de relações de causa e efeito dentro do sistema.

Se isso for verdadeiro, então, como, e com que tipo de

objetivo seriam utilizados indicadores, e principalmen-

te indicadores internacionais, como é o caso dos da

OCDE? A melhor resposta é que eles constituem in-

formação parcial e preliminar sobre o funcionamento

de um sistema de educação. Devem levar a pesquisas

mais detalhadas, ou a consideração do motivo pelo

qual o sistema funciona do jeito em que funciona, o

que virá a exigir informação e análise adicionais.

A estrutura conceitual e organizacional adota-

da até então em 1991 funcionava mais ou menos: pos-

sibilitava um quadro para a produção de quatro conjun-

tos de indicadores, mas não era apropriada para esti-

mular a produção de novos indicadores, nem comple-

xos nem profundos. Os países-membros haviam soli-

citado que a informação fosse utilizada de forma mais

sintética e mais analítica, indicando que a escolha dos

indicadores deveria ser menos determinada pela dis-

ponibilidade dos dados, e mais pela estrutura conceitual

e política. Em outras palavras, a abordagem prática e

empírica foi considerada como tendo tido mais influên-

cia sobre a construção dos quatro primeiros conjuntos

de indicadores do que na abordagem conceitual e polí-

tica. A estrutura existente é antiquada: não é eficaz

para guiar e para controlar o desenvolvimento de indi-

cadores, nem possibilita apoio analítico para a inter-

pretação dos dados. As mudanças adotadas na apre-

sentação do quarto conjunto demonstram claramente

a necessidade de uma nova estrutura, e de revisão da

original.

imites do conjunto de indicadores em

educação da OCDE

Analisando o conjunto de indicadores até ago-

ra publicado, parece que a área

contexto da educação

é a que mais mudou ao longo das quatro edições de

Education at glace

. Houve uma expansão de cinco para

13 indicadores, e uma redução para quatro na edição

de 1996, a modificação de maior significado foi a intro-

dução na terceira edição dos resultados de uma pes-

quisa comum de opinião e expectativas públicas relati-

vas aos sistemas nacionais de educação (OCDE,

1995b; INES, 1995). De qualquer forma, é preciso lem-

brar que os indicadores referentes a atitudes e a ex-

pectativas não deverão ser gerados todos os anos, uma

vez que a OCDE não dispõe dos recursos para a

implementação de uma pesquisa anual de opinião.

Assim, pode-se esperar uma grande variabilidade nos

indicadores referentes a essa área para os próximos

anos.

Nas primeiras edições do conjunto de indica-

dores da OCDE, existem dois subgrupos comuns de

indicadores na área em questão, ou seja, indicadores

demográficos e indicadores econômicos. Essas duas

seções são bastante pobres: fornecem apenas infor-

mação de caráter muito geral, em sua maior parte

dirigida ao desempenho da população em termos de

educação, diferenças relacionadas a gênero, educa-

ção e participação na força de trabalho e renda nacio-

nal

per capita

. Esses dados demonstram a proporção

da riqueza do país devotada à educação, e possibilita

um primeiro e interessante quadro sobre a relação en-

tre a classificação pelo investimento total em educa-

ção e a classificação pelo PIB

per capita

. Alguns paí-

ses, como a Finlândia e o Canadá, gastam considera-

velmente mais do que países que têm um PIB mais

alto

per capita

, como é o caso dos Estados Unidos.

Em particular, é interessante observar que alguns dos

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

países menos ricos, como a Irlanda e a Espanha, gas-

tam uma porcentagem maior do seu PIB

per capita

para alcançar o mesmo nível de investimento em edu-

cação do que alguns dos países mais prósperos, como

a Holanda, o Japão, a Alemanha e a França. Se consi-

derarmos que esses países precisam também investir

uma porcentagem maior em outras áreas básicas, e

que os países menos prósperos precisam educar o

maior número de alunos, uma vez que o tamanho da

população jovem nesses países é maior do que em

outros lugares (por exemplo, a população entre 5 e 29

anos de idade representa a metade da população da

Turquia, e menos de um terço da população da Alema-

nha), temos aqui uma primeira e interessante base de

referência para a avaliação das políticas de educação.

Os indicadores referentes ao contexto de edu-

cação produzidos pela OCDE jamais incluíram qual-

quer indicador sobre a produtividade dos países, sen-

do a produtividade definida como o produto interno bru-

to por indivíduo empregado. Em outras palavras, a pro-

dutividade é uma medida da capacidade produtiva mé-

dia dos empregados de um país. Os países com níveis

mais elevados de produtividade têm maior capacidade

econômica, a partir da qual podem investir em infra-

estrutura socioeconômica, aprimorar a educação, e

elevar o padrão de vida de seus cidadãos. Entre 1961 e

1991, os Estados Unidos experimentaram o mais bai-

xo aumento anual médio em produtividade entre os

países do G-7 (1,05%). O Japão alcançou os mais al-

tos ganhos em produtividade entre os países remanes-

centes, com um aumento anual médio de 4,8% (NCES,

1996).

O problema mais frágil e não resolvido nesta

seção é a falta de dados nas áreas de saúde, habita-

ção e estatísticas culturais e sociais. Esse tipo de in-

formação é crucial para que seja possível uma melhor

visão do contexto educacional e das condições de fun-

cionamento dos sistemas de educação.

A área de custos, recursos e processos esco-

lares

é a mais estável e a mais desenvolvida. O núme-

ro de indicadores aqui varia de 21 a 26, que foi o máxi-

mo alcançado em 1995, quando a OCDE calculou dois

indicadores em pesquisa e desenvolvimento, que de-

sapareceram na edição de 1996, além de vários indi-

cadores referentes a recursos humanos, que desapa-

receram na edição sucessiva.

A fortíssima seção financeira foi reorganizada

de modo substancial entre 1992 e 1996. Graças ao

trabalho desenvolvido para aprimorar, em termos de

comparabilidade, a qualidade das definições e a medi-

ção de recursos financeiros, foram reconsideradas as

categorias de despesas. Foi feita uma distinção clara

entre despesas ou custos de educação e fontes de

recursos para a educação. A implementação de novos

questionários para a obtenção de dados de natureza

financeira, com as suas respectivas definições e ins-

truções, permitiu a determinação de categorias explí-

citas de pagamentos de transferência e subsídios. A

mudança tornou possível rastrear os fluxos de recur-

sos destinados à educação desde as suas fontes ini-

ciais até os usuários finais, e calcular tanto as distri-

buições iniciais (antes da transferência) quanto finais

(depois da transferência) dos recursos para a educa-

ção por fonte.

Ainda, os novos instrumentos separam os gas-

tos realizados por instituições de educação, ou os diri-

gidos a elas, dos subsídios aos alunos. Essa distin-

ção torna-se especialmente relevante no nível da edu-

cação de terceiro grau. O total dos recursos emprega-

dos em subsidiar os custos de vida dos alunos é, na

verdade, bastante impressionante, mas não é possí-

vel, no momento, obter números adequados ou até

mesmo estimativas aceitáveis, uma vez que as fontes

de recursos são múltiplas, não apenas em termos dos

níveis do governo, mas em termos dos tipos de admi-

nistração. Na França, por exemplo, uma estimativa em

1995 era que o valor total de auxílio financeiro para

despesas de subsistência de alunos (subsídios para

hospedagem e outras despesas de manutenção) era

de aproximadamente de 24 bilhões de francos. Ainda

que a exclusão desses recursos do cálculo dos indi-

cadores permita evitar maiores distorções do próprio

cálculo, não é uma solução aceitável. No caso de al-

guns países, as bolsas para alunos e outros subsídios

representam parte importante dos seus orçamentos

para educação, e não podem ser simplesmente igno-

rados. Os valores reais das despesas com educação

são, portanto, subestimados, e a classificação dos

países, em termos de despesas com educação, pode-

ria mudar drasticamente se fosse incluído o total dos

subsídios canalizados para os alunos.

Finalmente, como resultado do esforço para

reduzir o número de indicadores identificando ao mes-

mo tempo aqueles absolutamente necessários, a edi-

ção de 1996 de

Education at a Glace

chegou a simpli-

ficar ainda mais a apresentação de indicadores sobre

custos, publicando nada mais do que cinco indicado-

res de natureza financeira.

A seção de

indicadores sobre participação

compreendeu seis indicadores na primeira edição, sete

nas duas edições seguintes, e cinco na edição de 1996.

Nessa última edição, desapareceram dois indicadores:

o referente às características da transição da educa-

ção de segundo grau para a de terceiro – ainda que os

dados fossem incluídos nos indicadores sobre a parti-

cipação na educação – e o indicador sobre acesso à

educação de terceiro grau.

Os indicadores nessa seção vêm sendo aper-

feiçoados e melhorados de modo constante. Um exem-

plo é o indicador sobre a participação na educação

formal, em relação à população de 5 a 29 anos de ida-

de, que fornece, pela primeira vez, informação sobre o

porcentual da população jovem que freqüenta a educa-

ção formal, em tempo integral. Na terceira e na quarta

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

edições de

Education at a Glace

, o indicador inclui

uma tabela sobre a expectativa média de escolarida-

de, que dá informação sobre a duração hipotética dos

anos de escola para uma criança de 5 anos. A expec-

tativa média é em torno de 14 ou 15 anos. É mais curta

– 13 anos ou menos – nos países orientais e na Tur-

quia, sendo mais longa – 15,5 anos ou mais – na Bél-

gica, Dinamarca, França, Alemanha e Holanda. É inte-

ressante perceber que um aluno de 5 anos de idade

em um desses países tem uma média de 15 anos de

escola à sua frente. O aluno não sairá do sistema for-

mal de educação antes de atingir os 20 anos de idade.

A expectativa de escolaridade aumentou nos anos mais

recentes praticamente em todos os países em que havia

dados disponíveis. O aumento desde 1985 excede mais

de um ano em muitos países, e nos países nórdicos o

aumento foi de mais de 18 meses. A maior duração da

escolaridade é um outro fator que contribui para a ele-

vação observada nas taxas de matrícula ao longo das

últimas décadas.

Duas outras novas abordagens desenvolvidas

na edição de 1995 são o cálculo da proporção de alu-

nos matriculados em segundos programas de educa-

ção dos últimos anos da educação secundária e o cál-

culo do indicador sobre a transição da educação infan-

til para a educação primária para alunos de 4 a 7 anos

de idade. Entretanto, o indicador realmente novo nesta

seção é o que se refere à matrícula de adultos em

cursos de educação e treinamento continuados, rela-

cionados à atividade profissional, o que anuncia evolu-

ções futuras na área de indicadores relativos à educa-

ção de adultos e indicadores de aprendizagem no cur-

so de toda a vida.

seção de indicadores relativos a "pessoal"

foi substancialmente enriquecida entre a segunda e a

terceira edições, graças à implementação de uma pes-

quisa entre professores que não foi repetida nos anos

subseqüentes. Como resultado, esta seção – como a

seção relativa ao contexto da educação – fica bastan-

te instável através do tempo. Em 1996, não foi possível

calcular alguns dos indicadores muito interessantes

relativos aos professores, publicados em 1995. O con-

junto de indicadores em educação da OCDE continua

deixando muito a desejar nesta área. A sua limitação

mais séria é a exclusão de dados sobre o pessoal

empregado na educação de terceiro grau. Dois indica-

dores não foram modificados em todas as edições: o

indicador sobre o pessoal empregado em educação e

o que reflete a proporção entre alunos e o corpo docente.

A seção mais original e inovadora dedicada ao

ambiente escolar e aos processos da escola/sala de

aula foi incluída pela primeira vez na edição de 1995,

tendo sido ampliada na edição de 1996, com um au-

mento no número de indicadores de 7 para 10. Apesar

dessa evolução tão significativa, esta seção ainda não

está plenamente consolidada, uma vez que são bas-

tante erráticas as fontes de dados que podem ser utili-

zadas pela OCDE para o cálculo de indicadores sobre

a natureza, a eficácia e a qualidade dos processos

educacionais e das escolas. Devido à natureza diversa

e complexa das atividades desenvolvidas nas escolas,

muitas dessas questões não são facilmente resolvi-

das, como os resultados relativos a matrículas, gastos

ou exames. Mesmo assim, um determinado número

de características nacionais, regionais, da escola e da

sala de aula, pode ser avaliado através da utilização de

informações relatadas pelos indivíduos envolvidos, ou

retirados de enunciados de políticas. A eficácia da fre-

qüência à escola não aparece refletida apenas nas va-

riáveis curriculares, mas também no ambiente de ins-

trução oferecido pelas escolas, e na importância atri-

buída à educação fora da escola. A tentativa feita em

1995 de usar dados do IEA gerados pelos questionári-

os de informações primárias do Estudo de Letramento

em Leitura, para o cálculo de indicadores sobre práti-

cas escolares não foi muito bem-sucedida. Os dados

do International Association for the Evaluation of

Educational Achievement (IEA) foram coletados para

servirem como auxílio à interpretação à pontuação ob-

tida pelos alunos na leitura, não sendo apropriados para

a construção de indicadores gerais sobre as práticas

escolares. Apenas os indicadores relativos ao número

de horas de instrução e ao agrupamento entre as tur-

mas foram calculados usando-se dados do IEA, oriun-

dos do Estudo de Letramento em Leitura. Para a ob-

tenção de informação adequada sobre o pessoal, tem-

po de ensino, salários dos professores, currículos e

processos escolares, a OCDE foi forçada a criar e a

implementar uma pesquisa específica, focalizando pro-

fessores e escolas. A informação foi obtida através de

uma pesquisa internacional entre as escolas adminis-

tradas durante o ano letivo de 1995/1996. Baseada

numa amostra de probabilidade de aproximadamente

400 escolas primárias por país, selecionadas com pro-

babilidades proporcionais ao seu porte, permitiu apre-

sentar em 1996 sete indicadores de processos relaci-

onados à educação primária. As escolas primárias fo-

ram definidas através da estrutura institucional nacio-

nal do sistema de educação, independentemente das

idades e séries dos alunos matriculados. O raciocínio

por trás dessa opção era que uma vez que se dispu-

sesse de informações que correspondessem às reais

situações das escolas, afastar-se-ia quaisquer perdas

em termos de possibilidades de comparações interna-

cionais, devidas a diferenças nas idades e nas séries.

Os resultados foram ponderados através do número de

alunos matriculados. Esses sete indicadores exa-

minam:

l a estabilidade dos profissionais de edu-

cação (como indicador substituto da con-

sistência na educação);

l a liderança escolar (com enfoque especial

sobre o papel desempenhado pela lideran-

ça educacional em comparação com a li-

derança administrativa);

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

l a cooperação entre o pessoal das escolas,

e entre diretores e o pessoal;

l os procedimentos de monitoramento e ava-

liação para garantir a extensão até que pos-

sam ter sido alcançadas metas e intenções;

l as formas de encarar a variação no desem-

penho dos alunos nas escolas, e como as

escolas respondem às diferentes necessi-

dades dos alunos;

l a orientação para o desempenho das políti-

cas escolares (em relação ao ambiente e

ao monitoramento de padrões, tanto no ní-

vel do aluno quanto da própria escola); e

l o ponto até o qual os pais são informados

sobre os vários assuntos ligados à escola,

em especial sobre o desempenho de seus

filhos, bem como o ponto até o qual os pais

se vêem envolvidos na instrução, ou contri-

buem diretamente na tomada de decisões

nas escolas.

Esses indicadores ilustram as diferenças na

prática educacional, que podem ser influenciadas pe-

las políticas de educação. Podem atuar não só como

"modelos" mas também como exemplos de "boas prá-

ticas", e são um elemento importante no discernimento

quanto ao desempenho das escolas. Devem ser inter-

pretados à luz do contexto nacional da educação.

seção dos indicadores relativos aos resulta-

dos da educação

é tanto aquela que menos mudou,

em termos do número de indicadores (10, 10 e 12,

respectivamente), quanto a que mais sofreu mudan-

ças, em termos do teor dos indicadores. Nas quatro

edições, existem três subgrupos comuns, ou seja, in-

dicadores de resultados dos alunos, indicadores de

resultados do sistema, e resultados do mercado de

trabalho. O subgrupo mais instável é o que se refere a

resultados dos alunos. Esses indicadores foram modi-

ficados em todas as edições, visando utilizar os me-

lhores dados gerados por duas fontes não-governamen-

tais: a IEA e o Educational Testing Service (ETS). Os

indicadores são enfocados no desempenho de mate-

mática, ciências e leitura. Às vezes, o cálculo se refe-

re à população de crianças de 9 anos de idade, mas

em geral focaliza os de 14 anos. É evidente que a OCDE

não conseguiu encontrar os dados apropriados para a

produção de um conjunto estável de indicadores, que

fornecessem as informações esperadas pela opinião

pública, pelos usuários dos sistemas de educação e

pelos formuladores de políticas. Na terceira edição de

Education at a Glace

, a OCDE foi forçada a usar, pela

segunda vez, dados oriundos da pesquisa de

Letramento em Leitura da IEA, realizada em 1991. Na

segunda edição, os dados de Letramento em Leitura

foram usados para calcular três indicadores padroni-

zados sobre o desempenho dos alunos: comparações

múltiplas, distribuição da pontuação dos alunos, e den-

tro e entre as variações escolares. Na terceira edição,

foi usado o mesmo conjunto de dados, para o cálculo

de um indicador do progresso na leitura entre as ida-

des de 9 e 14 anos. Os questionários de informações

primárias da pesquisa da IEA foram usados para o

cálculo de um segundo indicador sobre a quantidade

de leitura, baseado na freqüência da leitura, e de acor-

do com informações fornecidas por jovens de 14 anos.

Apesar do interesse desses indicadores, e do raciocí-

nio usado para calculá-los, a impressão que fica é que

esses dados foram inventados, para evitar deixar es-

paços vazios no subgrupo referente ao desempenho

dos alunos. Dois outros subgrupos dessa mesma área

– indicadores de resultados do sistema e resultados

educacionais no nível do mercado de trabalho – são

mais estáveis, uma vez que as fontes dos dados são

regulares: no caso dos indicadores de resultados do

sistema, os dados vêm de questionários conjuntos da

UOE, diretamente gerenciados pela OCDE; no caso

dos indicadores dos resultados do mercado de traba-

lho, as fontes são as Pesquisas da Força de Trabalho.

A vantagem da capacidade de controlar as fontes de

dados, ou de ter acesso a dados produzidos com re-

gularidade e muito bem definidos, está fora de ques-

tão. Caso a OCDE deseje produzir indicadores que

sejam relevantes para as políticas e indicadores

atualizados sobre o desempenho dos alunos, será ne-

cessário reconsiderar a estratégia dos dados nessa

área.

processo de produção

O desafio da tarefa de construir um conjunto

de indicadores em educação da OCDE obrigou os pa-

íses-membros e a Secretaria da OCDE a inovarem os

métodos de trabalho e a implementarem uma nova for-

ma de cooperação internacional. As principais carac-

terísticas da metodologia implementada para a cons-

trução de uma rede internacional de fornecedores e

usuários de dados e para a geração de um conjunto

consensual de indicadores internacionais sobre a edu-

cação foram as seguintes:

–

feedback

constante entre os países e a Se-

cretaria da OCDE;

– avaliação periódica do progresso do traba-

lho;

– engajamento coletivo, na identificação de pre-

ocupações comuns e na preparação de fer-

ramentas também comuns;

– informação constante de todos os atores (ge-

radores de dados, produtores de dados e ou-

tras pessoas envolvidas) sobre os objetivos,

as tarefas e as prioridades a serem

alcançadas.

Considerando a hostilidade de muitos indiví-

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

duos que trabalhavam em educação e dos principais

decisores da política contra o desenvolvimento de indi-

cadores em educação quando foi iniciada a atividade,

em 1988, foi necessário inventar um novo estilo de co-

operação entre os países-membros, para que fosse

possível a criação de confiança mútua e consenso en-

tre os participantes.

O desenvolvimento de um conjunto de indica-

dores no nível internacional é uma operação complexa

e de muitas etapas. São muitos os atores envolvidos,

com vários graus de responsabilidade. Além disso, a

obtenção de dados em educação não é um processo

fácil: alguns são relativamente simples, outros conso-

mem muitos recursos, alguns podem ser vistos como

indefensáveis do ponto de vista ético. Assim sendo, é

essencial encontrar o ponto de concordância entre os

geradores de dados e os fornecedores sobre:

– a relevância conceitual e política dos dados

a serem obtidos;

– a forma adequada de medir eventos

indicativos, características ou desempe-

nhos em educação;

– as convenções para a coleta de dados;

– os procedimentos para publicação e relatos; e

– os recursos financeiros disponíveis para co-

brir os custos da obtenção e do

processamento dos dados.

Quatro motivos principais contribuem para ex-

plicar a importância desses componentes.

O envolvimento de muitos atores

, dissemina-

dos sobre várias administrações, e engajados em dife-

rentes funções: pesquisadores nas várias disciplinas;

planejadores de políticas; administradores; estatísticos,

etc. Todos estes interlocutores pertencem a uma vari-

edade de culturas, percebem os problemas de modos

diferentes, usam linguagens distintas e têm diferentes

tipos de treinamento de base científica. Uma coopera-

ção efetiva entre eles não pode ser concebida sem pro-

vidências organizacionais comuns, sem o desenvolvi-

mento de uma linguagem comum, e sem um conjunto

de ferramentas comuns.

A peculiaridade dos aspectos ligados à edu-

cação

. A educação é um terreno extremamente sensí-

vel: diz respeito à própria sobrevivência de cada uma

das comunidades, ao bem-estar de um país, à capaci-

dade da nação de gerar conhecimento, de entender o

seu contexto histórico e político, e de produzir e trans-

mitir uma imagem da sua identidade. Assim, a infor-

mação relativa à natureza e aos procedimentos da edu-

cação é peculiar, altamente política, e culturalmente

protegida. A construção de um conjunto internacional

de dados comparativos sobre a educação modifica as

perspectivas tradicionais sobre a singularidade dos sis-

temas locais, regionais ou nacionais de educação. Os

países-membros hesitam em concordar com o

desmantelamento dessas crenças e em cooperar aber-

tamente para a construção de uma representação

transnacional da educação, que invariavelmente de-

monstra a homogeneidade do desenvolvimento da edu-

cação e o peso relativo dos contextos nacional e local.

Este processo pode ser imaginado apenas com base

na confiança forte e mútua entre os fornecedores, ge-

radores e analistas dos dados.

A natureza do trabalho

, que implica o inter-

câmbio de

informação e de comunicação

: ao coletar

os dados, a OCDE manipula informações estatísticas,

informações que envolvem milhares de indivíduos, suas

ocupações, suas instituições, sua renda, etc. Não é

possível fazer desenvolver esse tipo de trabalho sem

uma forte legitimidade, que pode tão-somente ser deri-

vada de uma preocupação comum e de uma concor-

dância sobre as regras do respeito à confidencialidade

e à privacidade.

As implicações políticas do trabalho

: a gera-

ção de um conjunto internacional de indicadores em

educação não significa pura e simplesmente trabalho

estatístico, ou trabalho de pesquisa, mas essencial-

mente uma tarefa política, que diz respeito não a um

número limitado de especialistas, mas a um grande

número de decisores e usuários. Por isso, o programa

estatístico internacional em educação não pode ser

gerenciado por um número restrito de profissionais em

estatística. As decisões fundamentais sobre o progra-

ma de coleta, processamento e publicação de dados

devem ser tomadas de forma coletiva, por todas as

categorias de atores envolvidos com a implementação

de uma estratégia democrática de informação em edu-

cação.

Esses quatro motivos constituem o raciocínio

para a implementação de formas novas de cooperação

no domínio da estatística e dos indicadores em educa-

ção. Para alcançar essa meta, a OCDE implementou

um sistema em rede. Considerando a utilidade da rede

para a operacionalização da confiança mútua e para a

geração de um consenso entre os distintos atores, os

países-membros da OCDE concordaram já em 1988

em implementar um novo processo de trabalho, base-

ado na Rede.

Uma rede, no caso do projeto do INES, é uma

estrutura flexível e relativamente informal, que recruta

os seus membros em caráter voluntário, sem elos rígi-

dos demais com as estruturas de poder e de decisões.

Foram criadas redes para o desenvolvimento e prepa-

ração de aglomerados de indicadores identificados como

sendo relevantes pelos países-membros. Um país lí-

der assume a responsabilidade pela organização da

atividade. A abordagem em rede provou ser extrema-

mente eficaz, representando uma forma poderosa de

mobilizar especialistas, e para gerar indicadores em

áreas escassamente exploradas pelos estatísticos de

educação, como o desempenho dos alunos, rumos no

mercado de trabalho de acordo com o nível de educa-

ção, qualificação dos profissionais de educação, ex-

pectativas da opinião pública em relação à educação,

e os centros de tomada de decisões nos vários níveis.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

A idéia de criação de uma rede ficou recente-

mente em moda na vida profissional dos setores tanto

público quanto privado. Entretanto, caso os objetivos

da rede sejam mal definidos, poderão carecer de dire-

ção, de comprometimento da parte de seus membros

e de impacto. No caso das redes do INES, em con-

traste, foi estabelecido o objetivo tangível de produzir

indicadores utilizáveis em suas respectivas áreas. Ainda

que esse objetivo tenha sido por vezes pouco claro,

foram desenvolvidos métodos firmes de trabalho, na

tentativa de se chegar a eles.

O processo de criação da Rede do INES vale

a pena ser examinado, como sendo uma metodologia

inovadora, que alcançou uma série de pontos que difi-

cilmente seriam alcançados através de outros méto-

dos. Vários aspectos distintivos merecem ser consi-

derados, com respeito a evoluções futuras tanto no ní-

vel nacional quanto internacional:

– O uso da rede para o desenvolvimento de de-

finições padronizadas para a comparação en-

tre dados obtidos nacionalmente. As redes

conseguiram chegar a soluções para proble-

mas há muito existentes com respeito à

comparabilidade, como, por exemplo, nas

áreas de gastos em educação e proporção

entre professores e alunos.

– O uso da rede para a identificação de áreas

estratégicas em que sejam necessários no-

vos dados. Ainda que se tenha levado mais

tempo para dominar essa atividade, a rede

gerou instrumentos internacionais para a co-

leta de dados, cuja relevância acordada en-

tre os países participantes é refletida no seu

comprometimento em coletar as informações

necessárias.

– O gerenciamento de um grande número de

participantes no processo de desenvolvimen-

to. O alto nível de envolvimento é parcialmen-

te sustentado pela natureza semi-autônoma

da rede, e pelo diálogo que gera entre os seus

membros, independentemente da Secretaria

internacional. A rede mostra-se eficaz não

apenas em termos da produção de indicado-

res, mas também em termos de entendimento

internacional entre os participantes.

– O mecanismo da "criação das redes", que

envolveu não apenas reuniões regulares de

trabalho, mas também um

feedback

cons-

tante entre os participantes da rede e entre a

própria rede e a Secretaria internacional.

As redes são parecidas com clubes. Um gru-

po de indivíduos que se encontre com regularidade, e

que adquira um senso de "identidade de grupo" faz

com que seja mais fácil trabalharem juntos do que com

estranhos. Com isso, tornam-se mais eficazes, ainda

que, potencialmente possam ser levados a tomar deci-

sões de interesse do clube, prestando atenção insufi-

ciente aos interesses e prioridades mais amplos.

No centro das atividades de uma rede estão

as reuniões regulares, como um grupo. Estas reuni-

ões acontecem duas vezes por ano, estendendo-se

em geral por dois ou três dias. Um aspecto importante

das reuniões da rede é a sua diferença, em termos de

estilo, da maior parte das reuniões internacionais com

representação de vários países. Em vez de assumirem

um comportamento de "delegados", meramente expon-

do as opiniões de cada país, os membros tendem a

trabalhar em cooperação, em direção a metas comuns.

A tarefa freqüentemente elusiva de definir e coletar in-

dicadores que possam ser internacionalmente compa-

rados no campo educacional é vista como um inter-

câmbio intenso de idéias (através de

brainstorming

), e

não como uma postura diplomática. O estilo informal

que foi desenvolvido é reforçado pelas reuniões de na-

tureza social e pela discussão que se desenvolve fora

das sessões da rede, entre um conjunto relativamente

estável de membros. Esse método pragmático e pro-

dutivo de trabalho nem sempre esteve presente em to-

das as redes, e muito depende da personalidade de

quem a preside, e do estabelecimento progressivo de

familiaridade e de confiança entre os membros, à me-

dida que se conhecem melhor.

É questionável imaginar que a rede tivesse

desenvolvido esse espírito de equipe, limitando-se nada

mais que a encontros bianuais. Entretanto, a natureza

de suas tarefas que, com freqüência, exigiam um es-

forço "interativo" ao explorar uma variedade de formas

de definir e de gerar indicadores, exige uma comunica-

ção contínua, à medida que as propostas circulam e

recebem comentários. O principal resultado desse pro-

cesso intenso de

feedback

produziu um sentimento

único de propriedade, e é raro chegar a um resultado

semelhante, no nível internacional, quando os grupos

em geral têm uma ligação bastante solta.

Em resumo, o processo de rede constituiu uma

característica principal e inovadora do Projeto INES, e

assumiu importância crucial para as evoluções do pró-

prio INES. A rede é a melhor maneira de:

l obter informação freqüente, senão imediata,

sobre as metas básicas, para criar a cons-

tância de propósito durante todo o decorrer

do projeto;

l gerar

feedback

freqüente, para chegar a ob-

jetivos de longo prazo, quando o esforço e

o sentido de propósito poderiam tender a

perder o ímpeto;

l investir recursos, tempo disponível e ener-

gia para o aprimoramento contínuo do tra-

balho;

l sustentar o esforço coletivo e construir um

senso de comunidade e de propriedade,

além de um alto nível de confiança mútua

entre todos os atores engajados no processo;

l estimular o esforço coletivo e a cooperação;

l criar uma organização dirigida à informação

e ao propósito;

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

l produzir uma "organização de aprendi-

zagem"; e

l estimular um intenso controle crítico dos

dados, resultados e informes, além de uma

vontade bem definida de fornecer dados de

caráter nacional, de qualidade sempre me-

lhorada.

onclusão

Em resumo, há cinco princípios cruciais que

orientaram a OCDE na preparação da sua coleção de

indicadores em educação:

1) Prioridade dada à determinação de políti-

cas: o desenvolvimento de um sistema de in-

dicadores feito por estatísticos deve respon-

der às necessidades de política. Os profissio-

nais de estatística não estão em posição de

determinar o que o público precisa saber. Não

deve haver qualquer conflito entre a comunida-

de científica e os responsáveis pelas políticas

sobre a determinação e a divulgação dos indi-

cadores relevantes.

2) Comparabilidade entre indicadores: a OCDE

dedicou todo o esforço na produção de infor-

mação que pudesse ser comparada, de modo

que os países pudessem compreender a situ-

ação do seu sistema de educação, com a pers-

pectiva dos outros países-membros. A possi-

bilidade de comparação foi o fator de diferença

que levou a operação da OCDE ao êxito.

3) Comunicação: os indicadores são utiliza-

dos para a comunicação entre os formuladores

de política e a opinião pública. A regra doura-

da da comunicação é a clareza. Por conse-

guinte, os indicadores precisam ser, ao mes-

mo tempo, claros e simples, sem serem su-

perficiais. Para isso, é preciso haver um nú-

mero limitado de indicadores. O debate atual

na OCDE é a redução do núcleo principal de

indicadores dos 40 a 50 de hoje para 20. No

ano passado, foram produzidos dois conjun-

tos de indicadores: um conjunto técnico, para

os estatísticos, e um conjunto reduzido, de 20

indicadores, para os responsáveis pelas políti-

cas e para os jornalistas.

4) Credibilidade estatística (confiabilidade): pre-

cisão estatística, confiabilidade ou relevância

não devem ser fatores suficientes que venham

dificultar a divulgação dos indicadores. É me-

lhor divulgar aproximações do que não publi-

car nada.

5) Responsabilidade: os que trabalham na área

de educação precisam ser responsáveis pe-

los resultados do setor, da forma medida pe-

los indicadores. Por sua vez, precisam ter uma

voz na avaliação de se os recursos recebidos

correspondem às exigências propostas pelos

que estabelecem as políticas.

São esses os princípios essenciais que orien-

taram o trabalho da OCDE, e graças aos quais che-

gou-se ao sucesso, em especial na frente política, como

demonstrado pela grande atenção dedicada pelos meios

de comunicação ao conjunto de indicadores em edu-

cação da OCDE. Hoje, as conclusões da OCDE são

discutidas pelos congressos. O trabalho da OCDE

demonstra que a escolha dos indicadores corretos e

da população certa pode representar um enorme im-

pacto sobre o sistema de educação, além de contri-

buir para o aprimoramento da sua qualidade de uma

extremidade a outra.

eferências bibliográficas

INES.

Public expectations of the final stage of

compulsory education

: technical report Network D.

Edinburgh : The Scottish Office of Education

Department, 1995.

NCES.

Education indicators

: an international

perspective. Washington, DC : US Office of

Educational Research and Improvement, 1996.

OECD.

Education at a Glance

: OECD indicators. Pa-

ris, 1992a.

_______.

The OECD international education indicators

a framework for analysis. Paris, 1992b.

_______.

Education at a glance

: OECD indicators.

Paris, 1993.

_______.

Making education count

: developing and using

international indicators. Paris, 1994.

_______.

Education at a glance

: OECD indicators.

Paris, 1995.

_______.

Education at a glance

: OECD indicators.

Paris, 1996a.

_______.

Education at a glance

: analysis. Paris, 1996b.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

– Condições Ditadas pelo Histórico Demográfico e

Econômico

l Características demográficas e

socioeconômicas da população

l Recursos financeiros disponíveis

l Apoio público

l Grupos de alunos especiais

– Recursos e Processos Educacionais

l Recursos financeiros

l Despesas com educação

l Fontes de recursos educacionais

l Participação em educação

l Recursos humanos (funcionários de educação)

l Processos escolares

l Conteúdo instrucional

l Características do processo decisório

l Funcionamento & organização da

escola

– Resultados Educacionais

l Resultados alcançados pelo alunos

l Resultados em disciplinas especí-

ficas

l Alfabetização adulta

l Desenvolvimento pessoal

l Resultados alcançados pelo sistema

l Alunos formados em cada nível de

educação

l Resultados alcançados no mercado de

trabalho

l Desemprego e educação

l Educação e renda

l Situação após a conclusão do

processo educativo

l Satisfação dos alunos com as escolas

Ciclo de

Feedback

Recursividade

ANEXOS

REDES INES

1ª Fase (1988-1989)

Rede 1

Fluxos de alunos

(AUS)

Rede 2

Resultados de

alunos (EUA)

Rede 3

Ecologia de

escolas

(FR)

Rede 4

Financiamento de

educação

(OST)

Rede 5

Atitudes

e expectativas

(NET)

2ª Fase (1989-1991)

TG 1 Matrículas (Secr. OCDE) TG 2 Financiamento de Educa

ão (Secr. OCDE)

Rede A

Resultados alcançados

pelos alunos

(EUA)

Rede B

Destino no mercado de

trabalho

(SUE)

Rede C

Ecologia de escolas

(FR)

Rede D

Atitudes e Expectativas

(NL)

3ª Fase (1992-1996)

Coordenadores Nacionais

(Secr. OCDE)

Rede A

Resultados

Alcançados pelos

Alunos

(EUA)

Rede B

Destino no

Mercado de

Trabalho

(SUE)

Rede C

Processos

Escolares

(NET)

Rede D

Atitudes e

Expectativas

(RU)

OS INDICADORES EDUCACIONAIS DA OCDE

Estrutura conceitual

Condições ditadas pelo histórico

demográfico e econômico

Recursos e processos

educacionais

Resultados educacionais

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

O 4º CONJUNTO DE INDICADORES

EDUCACIONAIS DA OCDE (1966)

Capítulo 1: Contexto demográfico, social e econômico

da educação

l C1: Resultados educacionais alcançados pela

população adulta

l C2: Diferenças de gênero nos resultados al-

cançados pela população adulta

l C3: As dimensões relativas da população jovem

l C11: Taxas de participação da força de traba-

lho por nível de resultados educacionais

alcançados

Capítulo 2: Custos da educação e recursos humanos

e financeiros

l F1: Despesas educacionais em relação ao

Produto Interno Bruto

l F3: Despesas em serviços educacionais por

aluno

l F3-R: Disparidades inter-regionais em despe-

sas em serviços educacionais por alu-

l F5: Despesas educacionais por categoria de

recursos

l F12: Recursos públicos por nível de governo

l F13: Proporção de despesas públicas em edu-

cação

l P31: Funcionários empregados na educação

l P32: Proporção de alunos em relação ao cor-

po docente

Capítulo 3: Acesso à educação, participação e

progressão

l P1: Participação em educação formal

l P2: Participação por parte de crianças

pequenas

l P3: Participação em educação ao final da

educação obrigatória e posteriormente

l P6: Participação em educação do terceiro

grau

l P8: Educação continuada orientada ao

emprego e treinamento para a força de

trabalho adulta

Capítulo 4: Ambiente escolar e processos na escola/

sala de aula

l P11: Tempo total de instrução pretendido

para os alunos nas primeiras séries

do nível secundário

l P33: Tempo de ensino

l P35: Salários determinados por lei para

professores das escolas primárias

públicas e das primeiras séries das

escolas secundárias públicas

l P22(A): Estabilidade do corpo docente no ní-

vel primário

l P22(B): Liderança escolar no nível primário

l P22(C): Cooperação com a equipe de apoio

l P22(D): Monitoramento e avaliação no nível

primário

l P22(F): Orientação de resultados alcançados

no nível primário

l P22(G): Envolvimento dos pais nas escolas no

nível primário

Capítulo 5: Resultados de graduação em instituições

educacionais

l R11: Alunos formados nas últimas séries do

nível secundário

l R12: Alunos formados no terceiro grau

l R14: Qualificações terciárias por campo de

estudo

l R15: Fornecimento de um alto nível de habili-

dades em campos relacionados com a

ciência

Capítulo 6: Resultados alcançados pelos alunos e

alfabetização adulta

l R6: Resultados alcançados pelo alunos em

matemática e ciência

l R7: Diferenças entre alunos nos resultados

alcançados em matemática e ciência

l R9: Diferenças de resultados alcançados por

duas séries em matemática e ciência

l R10: Diferenças de gênero em matemática e

ciência

l R30: Alfabetização e a população adulta

l R31: Alfabetização de adultos por nível de re-

sultados educacionais

l R32: Habilidades de alfabetização de pesso-

as mais jovens em comparação com as

mais idosas

l R33: Alfabetização de adultos por gênero.

Capítulo 7: Resultados alcançados pela educação no

mercado de trabalho

l R21(A):Desemprego e educação

l R21(B):Desemprego entre jovens e a educação

l R22: Educação e renda gerada por emprego

l R24: Taxas de desemprego das pessoas

que abandonam o sistema educacional

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

AVALIAÇÃO DE

ALUNOS E APRENDIZAGEM PARA

UMA SOCIEDADE EM MUDANÇA

Caroline Gipps*

esumo

Este trabalho examina as funções tradicionais

da avaliação e as atuais demandas por avaliação, para

acomodar os sistemas de educação às mudanças eco-

nômicas globais. O seu argumento é que no próximo

milênio, e com a revolução da informação, será impor-

tante promover habilidades de uma natureza superior e

boas estratégias de aprendizagem para uma grande

parte dos nossos alunos. O trabalho prossegue, con-

siderando a natureza dos programas de avaliação de

alta qualidade, de acordo com as relações críticas en-

tre testes, ensino e aprendizagem principais. Apresen-

tará ainda evidências do impacto do programa nacio-

nal de avaliação sobre o ensino na Inglaterra.

ntrodução

Eu mesma já argumentei em outras ocasiões

que está em curso uma mudança de paradigma na

área da avaliação: a passagem de um modelo de tes-

tes e de exames difíceis (quando se aplicam provas as

mais difíceis possíveis, dando ao candidato o mínimo

de orientação, sendo o número de fracassos a prova

de qualidade) para um outro modelo de avaliação, em

que tentamos proporcionar a todos os candidatos uma

verdadeira oportunidade de demonstrar o que sabem,

o que entendem e o que podem fazer (oferecendo mais

orientação, compartilhando critérios com os alunos, e

propondo tarefas que estejam de acordo com a vida

real, ou com o que é feito em sala de aula). Ocorre

uma mudança de paradigma, ou uma "revolução cien-

*Caroline Gipps foi professora de Educação e decano de Pesquisa, do Instituto de Educação, da University of London, antes de iniciar sua carreira na área de

pesquisa. Sua pesquisa atual é na área de Estratégias de Ensino, Avaliação e Retroalimentação dos Professores de 2ª a 6ª séries. Publicou vários trabalhos

sobre políticas e práticas na avaliação, e foi presidente da British Educational Research Association (BERA), em 1993. Seu livro

A Fair Test? Assessment,

Achievement and Equity

(

Um Teste Justo? Avaliação, Realização e Igualdade

), escrito em conjunto com Patricia Murphy, recebeu o prêmio da SCSE de melhor

livro de Educação publicado em 1994. A terceira edição de

Assessment: a Teacher's Guide to the Issues

, escrito com Gordon Stobart, acaba de sair.

tífica" quando o paradigma antigo deixa de ser capaz

de lidar com um problema pendente.

Hoje em dia, a avaliação é necessária para a

realização de toda uma variedade de objetivos: apoiar

o ensino e a aprendizagem, fornecer informações so-

bre os alunos, professores e escolas, atuar como dis-

positivo de certificação e seleção, como procedimento

de responsabilização, e para orientar o currículo e o

próprio ensino. As novas formas, e o leque de objetivos

da avaliação significam que o modelo tradicional, que

fundamenta a teoria da avaliação, já não é mais ade-

quado.

A mudança é causada em parte por este dile-

ma: existe um número cada vez maior de demandas

por um sistema de testes que funcione em nível nacio-

nal (por toda uma série de motivos, aos que chegarei

mais adiante) e que possa possibilitar meios de com-

paração, enquanto que ao mesmo tempo o nosso en-

tendimento da cognição e da aprendizagem nos indica

que necessitamos da avaliação para uma determina-

ção mais direta dos processos que desejamos desen-

volver, incluindo habilidades de ordem superior, o que

torna mais difícil chegar a esses meios de compara-

ção. Entretanto, a questão não é apenas o nosso de-

sejo de ir além dos testes tradicionais e da sua

tecnologia, mas o fato de que a mudança envolve um

conjunto muito mais profundo de transformações, que

levam à mudança de paradigma: as nossas concep-

ções subjacentes da aprendizagem, da avaliação e do

que conta como sendo realizações são hoje radical-

mente diferentes daquelas que estão nas bases do

modelo tradicional de avaliação (Gipps, 1994).

A mensagem deste trabalho é que a avaliação

é uma parte importante da educação, e que, sempre

que possível, deve ser de um tipo adequado, e usado

para a expansão da boa qualidade da aprendizagem.

Tudo isso não quer dizer que os testes e exames pa-

dronizados tradicionais não tenham mais lugar na polí-

tica de avaliação, mas sim que precisamos projetar

programas de avaliação que tenham um impacto posi-

tivo sobre o ensino e sobre a aprendizagem.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

unções da avaliação

Tradicionalmente, exames extremamente con-

ceituados foram utilizados para selecionar, separar e

classificar. Um exemplo são os exames de admissão

ao Serviço Público, instituídos na Inglaterra em 1855,

para identificar possíveis membros do funcionalismo

público sem aceitar um processo paternalista. Aque-

les primeiros exames eram usados para identificar com-

petência, e para qualificar para admissão a determina-

das profissões ou universidades. Com eles, surgiram

dois "efeitos colaterais": um, o desenvolvimento da

noção de um currículo, ou de um programa, e o outro,

o fato de que o uso de provas teóricas e escritas para

admissão a profissões ou instituições de grande

status

dava à própria técnica de avaliação um

status

elevado

semelhante – que ainda mantém (Broadfoot, 1996).

Os meus colegas sociólogos, notadamente

Tricia Broadfoot, descrevem a avaliação como um dis-

positivo usado nas sociedades desenvolvidas, decor-

rente do fornecimento da educação de massa como

mecanismo de controle social; como base racional,

além de justificável, para a designação de "funções

sociais desigualmente desejáveis", uma vez que os

indivíduos deviam demonstrar competência através de

um procedimento de certificação baseado na competi-

ção. O uso de um procedimento justificável e a noção

da competição, na qual os indivíduos concorrem em

bases aparentemente iguais, permitem que aqueles que

não têm sucesso aceitem o seu próprio fracasso. Os

testes de QI eram um meio de controle social "sem

igual, mostrando à maioria destinada ao fracasso que

este era o resultado da sua própria inadequação inata"

(Broadfoot, 1979, p.44).

Os sistemas nacionais sempre precisarão

acompanhar os níveis de desempenho, com fins de

planejamento e demonstração. Por outro lado, surgiu

recentemente uma nova função para a avaliação. A

avaliação vem sendo empregada por todo o mundo

desenvolvido para "sintonizar" os sistemas de educa-

ção, em resposta às mudanças globais. A economia

gera a retórica: os desenvolvimentos tecnológicos exi-

gem trabalhadores melhor educados, com mais

discernimento e mais flexíveis por todo o mercado de

trabalho, para fortalecer a base tecnológica do país e

para promover um espírito empreendedor e de iniciati-

va. A aparente falta de adequação do produto das es-

colas às necessidades do mercado de trabalho no

Reino Unido da década de 80, como demonstrado pelo

número de formandos não qualificados das escolas e

pela quantidade de jovens desempregados, sugere que

a educação se teria afastado do "mundo real" do traba-

lho, e o resultado foi o esforço em tentar reagregar a

educação à economia (Neave, 1988). Por outro lado, o

modelo de escolaridade que se está desenvolvendo na

Inglaterra e no País de Gales, como resultado, é um

modelo de limites tradicionais de matérias, um modelo

de ensino de "transmissão" dentro de salas de aula

formais, de testes e exames que cada vez mais se

tornam formais do tipo lápis e papel, um modelo de

exames feitos em uma só vez.

Na verdade, o que nós precisamos, para pre-

parar os jovens para o próximo milênio, é ensinar a

todos

eles não apenas as habilidades básicas, mas

também as habilidades de ordem mais superior, de

resolução de problemas, raciocínio crítico e avaliação;

é necessário também ensiná-los a como tornar-se

aprendizes eficazes, conscientes e no controle do seu

próprio processo de aprendizagem, uma vez que a re-

volução da informação do conhecimento, juntamente

com as mudanças nas carreiras e nas formas de tra-

balho regular previstas para o próximo século exigem

que nós todos continuemos a aprender além da escola.

valiação e aprendizagem

Os teóricos da avaliação tradicionalmente não

falaram sobre a aprendizagem. Entretanto, existe uma

relação crítica entre o que é testado, e como é testa-

do, com o que é ensinado, e como os alunos apren-

dem. Para estimular o ensino e o desenvolvimento de

habilidades de ordem superior, processos de raciocí-

nio e resolução de problemas, precisamos empregar a

avaliação que reflita esses processos diretamente.

Os testes padronizados de desempenho tes-

tam as habilidades dos alunos em recordar e em apli-

car os fatos aprendidos rotineiramente: até mesmo itens

destinados à avaliação de atividades de mais alto nível

com freqüência não exigem mais do que a capacidade

de lembrar da fórmula apropriada, e de fazer substitui-

ções, para chegar à resposta certa. Os alunos que

concebem o conhecimento como uma coletânea de

fatos empregarão estratégias de aprendizagem super-

ficial, que visem à memorização bem-sucedida. A

aprendizagem mais profunda, nos "bons" aprendizes,

por outro lado, envolve o pensamento sobre o significa-

do daquilo que está sendo aprendido (Entwistle, 1992).

(Embora me venha à mente que Bertrand Russel disse

que "a maior parte das pessoas prefere morrer a pen-

sar, e a maioria delas faz exatamente isso"). Esta no-

ção de aprendizagem profunda, ou com um objetivo,

tem claras implicações com respeito ao currículo e à

pedagogia, mas também para a avaliação.

O ensino tradicional para provas e exames com

freqüência estimula a aprendizagem mecânica. E apren-

der mecanicamente, que basicamente é uma atividade

passiva, leva à aprendizagem rasa, ou superficial: o

aprendiz domina fatos que ele/ela possa lembrar, na

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

situação de prova. Os alunos tornaram-se bastante efi-

cientes nessa forma de memorização, mas os fatos

aprendidos dessa maneira podem ser rapidamente

perdidos/esquecidos. A informação que deve ser retida

precisa ou ser entendida – "interagir com" e ser asso-

ciada a mapas conceituais no cérebro – ou ser usada

repetidamente após ser aprendida. A aprendizagem

superficial permitirá que os alunos manipulem fórmu-

las ou que trabalhem através de exercícios detalha-

dos, ainda que não compreendam os princípios funda-

mentais. Isso quer dizer que os alunos terão dificulda-

des em usar esses fatos/conceitos em circunstâncias

ou contextos outros, limitando assim o valor da sua

aprendizagem.

A aprendizagem profunda, por outro lado, en-

volve não apenas entender, mas também a intenção de

entender o material, além de exigir uma abordagem

ativa à aprendizagem. Por aprendizagem ativa, não

quero dizer que os alunos tenham que ser vistos como

estando fisicamente ocupados, ou "descobrindo" coi-

sas, mas que devem estar pensando ativamente sozi-

nhos, interagindo com o material. Espera-se que o pro-

fessor ensine, mas a aprendizagem só pode ocorrer

nos alunos.

Evidentemente, a aprendizagem mecânica é

importante para alguns objetivos: existem algumas

coisas que são provavelmente mais eficientes quando

aprendidas de forma automática, como identidades

numéricas, ortografia, tabuadas. Essas são habilida-

des que nos são mais úteis quando tiverem sido prati-

cadas o suficiente para tornarem-se automáticas. Além

disso, são freqüentemente requisitadas na vida quoti-

diana, e não são facilmente esquecidas. De modo se-

melhante, não há tempo para os alunos abordarem toda

a aprendizagem de forma profunda. Daí a noção de

"aprendizagem estratégica", que envolve uma combi-

nação conscienciosa de aprendizagem superficial e

profunda.

valiação para apoiar a aprendizagem

Para estimular e apoiar uma combinação de

abordagens à aprendizagem, precisamos empregar

uma variedade de abordagens da avaliação:

l Os testes de múltipla escolha, ou de res-

postas curtas, são uma forma rápida e efi-

ciente de testar a lembrança de fatos sim-

ples, como, por exemplo, identidades nu-

méricas, vocabulário de uma língua estran-

geira, e habilidades básicas, como multi-

plicação e ortografia. A menos que os itens

sejam elaborados com cuidado, serão me-

nos eficazes na avaliação do entendimento

de conceitos e princípios.

l Respostas dissertativas, tarefas práticas e

projetos, quer sejam parte de uma prova ou

de um exame com hora marcada ou parte

do próprio trabalho do curso, ou ainda,parte

da avaliação de sala de aula de todos os

dias, são mais capazes de avaliar o enten-

dimento e de estimular um nível mais pro-

fundo de aprendizagem. O que é mais im-

portante, se o objetivo é a avaliação do en-

tendimento, são os métodos que envolvam

o aprendiz na aplicação do seu conheci-

mento e na ligação deste com contextos

reais. A avaliação não pode ocorrer testan-

do a lembrança de peças isoladas e

Quadro 1 – Abordagens da aprendizagem

Abordagem de aprendizagem profunda

Intenção de desenvolver entendimento pessoal.

Abordagem de aprendizagem rasa ou superficial

Intenção de ser capaz de reproduzir o conteúdo,

na medida do necessário.

Interação ativa com o conteúdo, principalmente

relacionando idéias novas a conhecimento e

experiência anteriores.

Aceitação passiva de idéias e da informação.

Ligação entre as idéias, usando princípios de

integração.

Falta de reconhecimento de princípios ou padrões

de orientação.

Relação de evidências a conclusões. Enfoque da aprendizagem às necessidades de

avaliação.

Fonte:

After Entwistle

, 1992; Mordon, Salzo, 1984).

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

descontextualizadas de informação, que

afastem o ensino e a própria aprendizagem

do entendimento, focalizando a

memorização da informação necessária ao

sucesso da avaliação.

l Para um progresso eficaz na aprendiza-

gem, é preciso sintonizar as tarefas a um

nível adequado de dificuldade. Para que o

professor possa ter conhecimento da situ-

ação do aluno no seu nível de progresso, é

importante a observação informal, o

questionamento e as tarefas de avaliação

em bases regulares; essa chamada "avali-

ação de professores" tem as principais ca-

racterísticas da informalidade e da regulari-

dade, de forma que as avaliações são fei-

tas através do tempo e de contextos, para

que possa ser construído um quadro mais

completo do que o que é possível construir

mediante um teste ou um exame feito de

uma só vez.

Habilidades de ordem superior, como é o caso

da análise, da interpretação, da crítica, da síntese, da

aplicação de conhecimento e habilidade e tarefas no-

vas, da construção de um argumento convincente, etc.,

são atividades complexas, que de uma forma geral não

podem ser avaliadas de modos simples, que exijam

puramente marcar as respostas certas, ou classifica-

ções mecânicas. Parte do nosso desafio para o novo

milênio será ensinar essas habilidades de ordem su-

perior a um número muito maior de alunos do que o

fizemos no passado. A avaliação do significado e do

entendimento é portanto crucial no desenvolvimento de

tais habilidades.

Assim sendo, para estimular e apoiar a apren-

dizagem estratégica, e para desenvolver aprendizes

eficazes, é necessário dispormos de toda uma varie-

dade de abordagens de avaliação, adequadas a deter-

minados objetivos de aprendizagem:

l testes, tanto formais quanto informais, para

avaliar a lembrança de fatos, e a aquisição

de habilidades básicas.

l tarefas e exames mais complexos e deta-

lhados, que possam avaliar o entendimen-

to e a aplicação.

l avaliação informal e contínua de professo-

res, baseada na observação, questio-

namento e em tarefas rotineiras de avalia-

ção de aprendizagem em sala de aula.

Em resumo, é preciso testarmos o significa-

do, e avaliarmos o entendimento; não devemos temer

avaliar habilidades complexas no contexto, ou em ce-

nários autênticos; as avaliações de boa qualidade mo-

delam as verdadeiras atividades de aprendizagem com

que desejamos que os nossos alunos se vejam envol-

vidos, e que sejam ensinadas pelos professores.

valiação numa sociedade em mudança

Então, o que sabemos sobre as boas práticas

na avaliação, que nos possa ajudar a projetar a avalia-

ção para o futuro?

Existem alguns princípios gerais: em vez de

dirigir a atenção para a classificação e para a compa-

ração em relação a alguma noção de desempenho

"médio" – um conceito profundamente limitante – , pre-

cisamos apoiar um tipo de abordagem em que sejam

estabelecidos padrões de desempenho bem definidos,

para a avaliação de alunos; esses padrões e proces-

sos de avaliação são transmitidos aos alunos (progres-

sivamente, à medida que forem ficando mais velhos).

A avaliação que gradua e classifica os alunos uns em

relação a outros deve ser deixada para o mais tarde

possível no sistema educacional; não deve ser este o

modelo utilizado nos primeiros estágios, principalmen-

te antes dos 11 anos de idade. Os alunos devem ser

estimulados a acompanhar e a refletir sobre o seu pró-

prio trabalho/desempenho (com a ajuda positiva e cons-

trutiva dos professores). A retroalimentação dada aos

alunos, que é um fator crucial no processo de avalia-

ção, deve enfatizar o domínio e o progresso.

A publicação de informação sobre testes no

nível da escola e da sala de aula distorce o processo

educacional e estimula a "burla" de vários tipos; nem

professores nem alunos conseguem evitar isso - ficam

presos em uma armadilha. E, com essa situação, quem

assume a responsabilidade, se os professores não

ensinarem coisas que não forem ser testadas? Nas

situações em que forem inevitáveis os testes externos

de grande importância, o emprego da avaliação basea-

da no desempenho, juntamente com a avaliação de

professores, deverá suavizar os piores efeitos sobre o

ensino; por outro lado, até mesmo isso, se a sua im-

portância for grande demais, promoverá excessivamente

as atividades avaliadas e implicará o risco de

estreitamento do currículo. Quando testes e exames

muito importantes levam ao fracasso uma grande pro-

porção dos alunos, aparecem problemas de auto-esti-

ma e motivação entre os alunos com pontuação baixa,

o que significa risco concomitante de evasão escolar.

A avaliação, de acordo com padrões claros, em um

programa discreto, com retroalimentação construtiva e

um enfoque sobre o próprio desempenho do indivíduo e

não sobre a comparação com outros, tem maior pro-

babilidade de manter o envolvimento dos alunos, reten-

do-os no sistema.

A avaliação de boa qualidade exige tempo e

precisa assim usar tarefas de boa qualidade, de forma

a evitar que os alunos terminem por desperdiçar o seu

tempo: é indispensável que as tarefas estejam ancora-

das em matérias importantes e relevantes, e a natureza

e o modo dessas tarefas precisam estar baseados na-

quilo que conhecemos da avaliação envolvente e justa.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

No caso da avaliação com objetivos de sele-

ção e de certificação, é improvável que seja reduzida a

sua grande importância, e por esse motivo são particu-

larmente cruciais o estilo e o conteúdo das tarefas de

avaliação: precisamos projetar uma avaliação de res-

ponsabilidade que gere informação de boa qualidade

sobre o desempenho dos alunos, sem distorcer a boa

prática de ensino. Além disso, precisamos lembrar aos

responsáveis pelo estabelecimento das políticas a sua

responsabilidade pela avaliação das conseqüências

educacionais e sociais da utilização de testes em to-

dos os níveis.

Existem alguns aspectos já conhecidos so-

bre a avaliação que deverão ajudar-nos a orientar a pró-

pria avaliação em um futuro previsível. Mas, o que dizer

da avaliação para o futuro que não podemos prever?

Não será possível descrever a avaliação para

o milênio, senão quando conseguirmos descrever a

própria educação para esse mesmo período. Estamos

apenas começando a ter uma visão da educação, no

mundo pós-moderno. Todos concordam que a

globalização econômica, a visão da cultura como

commodity

, e a compressão do tempo e do espaço,

que acompanham a revolução da informação, deverá

implicar transformações radicais na educação (Kenway,

1992; Green, 1994), mas há menos unanimidade so-

bre o que tudo isso poderia significar, por exemplo, em

termos de currículos. É imperioso considerarmos a

natureza da educação para o milênio, em relação à

revolução do conhecimento e da informação: o conhe-

cimento é um dos fatores mais importantes de

competitividade, no futuro de qualquer sociedade. Vi-

vemos em um mundo de informações instantâneas, e

de 24 horas de continuidade (Dalin, Rust, 1996, p. 33),

ou ainda, podemos considerar que a informação esta-

rá a apenas seis segundos de distância.

Isso quer dizer que:

l os alunos ver-se-ão bombardeados com in-

formação, e os professores precisarão

ajudá-los a organizar, conceitualizar e se-

lecionar, em meio a essa impressionante

oferta;

l aprender a aprender tornar-se-á uma meta

fundamental do currículo;

l a noção do livro-texto terá que ser reconsi-

derada (...dando "aos alunos conhecimen-

to e visões gerais básicas, e auxiliando-os

na exploração das muitas facetas de um

campo" ) (Dalin, Rust, 1996, p. 146);

l a sala de aula do futuro deverá extrapolar

as suas quatro paredes, à medida que os

alunos saírem, para ter acesso à informa-

ção e à experiência, enquanto que a infor-

mação do mundo exterior será trazida para

a sala de aula;

l a mudança de papel do professor será ine-

vitável, devido a outras mudanças. Diferen-

tes estruturas organizacionais, com a for-

mação de grupos maiores para determina-

dos objetivos, acompanhadas pelo empre-

go de assistentes de ensino, alunos traba-

lhando juntos e usando sistemas de recu-

peração de informações em rede e através

de computadores, tudo parece provável.

O grande educador Jerome Bruner (1996, p.

20), escrevendo sobre o futuro, argumenta que nós pre-

cisamos passar de uma concepção empobrecida do

ensino, "... em que um professor único, presumi-

velmente onisciente, explicitamente diz ou mostra a

aprendizes presumivelmente ignorantes alguma coisa

sobre a qual eles supostamente nada sabem". Em vez

disso, Bruner fala do desenvolvimento de uma sala de

aula como uma comunidade "de aprendizes mútuos,

com o professor orquestrando as atividades.

Observa-

se que, ao contrário do que preconiza a crítica tradici-

onal, essas subcomunidades não reduzem o papel do

professor, ou a sua 'autoridade'

. Na verdade, o profes-

sor assume a função adicional de estimular outros a

compartilhá-la. Da mesma forma que o narrador onis-

ciente desapareceu da ficção moderna, o professor

onisciente deverá desaparecer também da sala de aula

do futuro " (p. 21-22, grifos da autora).

Como será então que deveremos conceber a

avaliação, na sala de aula do futuro? Não esperamos,

com as crianças sentadas em frente a fileiras de com-

putadores, preenchendo séries intermináveis de folhas

de trabalhos. A má prática pedagógica não irá transfor-

mar-se em boa prática pedagógica simplesmente se

for traduzida de lápis e papel para disco e tela. Nem

pela adoção de testes de múltipla escolha, corrigidos

por uma máquina. O processo é rápido e eficiente, mas

significa que, com certeza, os alunos não precisam ter

a capacidade para escrever nada. Não posso evitar de

pensar que, no próximo milênio, vamos ainda desejar

que os nossos jovens saibam ler e escrever, ainda que

seja através de um teclado.

Várias questões continuam a aparecer, nas

discussões sobre o futuro: a ênfase do local, em vez

do global (Kenway, 1992; Harrison, Bailey, Dewar,

1996), do subjetivo, em vez do objetivo (Lincoln, 1992),

a aceitação como válidas de toda uma variedade de

metodologias (Lather, 1992; Griffiths, 1992), e a função

desempenhada pela tecnologia.

Como relacionar essas questões à avaliação?

1. o local, em vez do global: é preciso subli-

nhar o papel do professor, de forma que a

avaliação possa ser fundamentada em um

contexto "local", apoiando o profissio-

nalismo do professor, e a flexibilidade da

abordagem (mantendo ao mesmo tempo o

rigor, subordinando-a a padrões nacionais

e sujeitando-a a moderação externa).

2. o subjetivo em vez do objetivo: na minha

visão, isso quer dizer colocar o aprendiz no

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

centro da avaliação, e espero que tudo o

que eu disse tenha enfatizado exatamente

isso. Entretanto, envolve também uma

redefinição das relações de poder na avali-

ação, e o envolvimento do aprendiz mais

como um parceiro. Não quer dizer que os

professores abram mão do controle – quer

dizer que os aprendizes assumam a res-

ponsabilidade pelo seu desempenho, e

acompanhem a própria aprendizagem. É o

que denominamos auto-aprendizagem e

metacognição. Temos consciência de que

ambos esses aspectos são vitais para a

aprendizagem eficaz e de que ninguém é

jovem demais para começar.

3. aceitação como válidas de toda uma varie-

dade de metodologias: já argumentei que a

boa prática exige que utilizemos toda uma

série de estratégias de avaliação, de modo

que todos os aprendizes tenham uma opor-

tunidade de apresentar um bom desempe-

nho, além de uma variedade de estratégias

pedagógicas (que incluem um leque de

materiais e de conteúdo, estilos de ensino

e disposições de sala de aula) para distin-

tos grupos de alunos e para matérias dife-

rentes (Murphy, Gipps, 1996). A diversida-

de entre os alunos, tanto como indivíduos

como aprendizes, fundamenta a proposta

de estratégias pedagógicas e de uma vari-

edade de avaliações. Tudo o que conhece-

mos sobre as diferenças entre os aprendi-

zes, de qualquer maneira desafia os siste-

mas tradicionais de educação, que supõem

podem aprender da mesma maneira, e que

realmente o fazem (Gardner, 1991).

onclusões sobre a avaliação nacional

na Inglaterra

Agora, gostaria de ilustrar o impacto de dife-

rentes tipos de programas de avaliação sobre o ensi-

no. Na Inglaterra e no País de Gales, é feita a avalia-

ção de todas as crianças entre 7 e 11 anos de idade,

nas escolas primárias. Os alunos são avaliados atra-

vés de testes padronizados e das avaliações dos pró-

prios professores, nas áreas de Leitura e Escrita, Ma-

temática e Ciências. Esse programa de avaliação existe

desde 1991, e tivemos a felicidade de ter podido reali-

zar uma avaliação dele durante seis anos, focalizando

em primeiro lugar o programa de avaliação para crian-

ças de sete anos de idade (na 2ª série, final do Estágio

Principal 1), e para crianças de 11 anos de idade (na 6ª

série, final do Estágio Principal 2).

programa nacional de avaliação

A Lei de Educação de 1988 determinou um

currículo nacional e introduziu a avaliação nacional. O

programa de avaliação nacional é um acompanhamen-

to crucial em relação ao currículo nacional, uma vez

que era através do programa de avaliação que deviam

ser levantados os padrões. O primeiro estágio de de-

senvolvimento do currículo nacional e do programa de

avaliação foi a criação do Task Group on Assessment

and Testing (TGAT). O relatório produzido por esse grupo

(Grã-Bretanha, 1988b) propôs as bases para a estrutu-

ra do currículo que deveria ser apoiado por todos os

indivíduos. Os indivíduos são divididos em um número

de metas de realização, que são articuladas em uma

série de oito níveis. A série de níveis tem o objetivo de

permitir uma progressão: a maior parte dos alunos de

mais de 7 anos de idade estará no nível dois do siste-

ma, enquanto que a maior parte dos alunos de mais de

11 anos estará no nível quatro, e assim por diante. As

metas de realização foram articuladas em cada um

dos níveis, através de uma série de critérios, ou enun-

ciados de realização, que formavam a estrutura básica

de um sistema de avaliação baseado em critérios. (Os

muitos enunciados de realização foram hoje em dia

modificados, para descrições em menor número e em

um nível mais amplo). A Secretaria de Estado aceitou

em 1988 as recomendações do TGAT, no sentido de

que os alunos deveriam ser avaliados por seus profes-

sores (Avaliação de Professores ou AP), com objeti-

vos formativos e diagnósticos, dos 5 aos 16 anos de

idade, sendo utilizadas tarefas padronizadas de avalia-

ção (TPAs) nacionalmente, para moderação das avali-

ações dos professores aos 7, 11 e 14 anos de idade,

quando seriam então formalmente informadas, com

propósito somativo. As TPAs de 7 e 11 anos seriam

avaliações de desempenho, relacionadas a temas es-

tendidos, e assemelhar-se-iam à boa prática de sala

de aula, ainda que pudessem incorporar testes formais

em áreas específicas.

Entretanto, uma grande quantidade de mudan-

ças de ministros, políticas e de pessoal nos órgãos

dedicados a currículos e a avaliações significou que o

modelo de avaliação nacional implementado hoje em

dia seja diferente em uma variedade de aspectos do

que foi recomendado pelo TGAT (Black, 1993; Gipps

et al., 1992; Daugherty, 1995). As tarefas padroniza-

das de avaliação transformaram-se em testes nacio-

nais formais, restritos aos alunos de 11 anos de idade,

e nas áreas de Matemática, Língua Inglesa e Ciênci-

as. A avaliação no Estágio Principal 1 é hoje limitada à

Língua Inglesa e à Matemática, embora Ciências tives-

se sido incluída até 1993. A intenção dos testes é o

fornecimento de informações confiáveis de avaliação

para cada um dos alunos, tendo assim ficado mais

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

professores; além disso, os professores tinham que

fazer a sua própria avaliação (APs), por todo o currícu-

lo principal, antes da aplicação das TPAs. Foram ob-

servados níveis cada vez maiores de discussões e

companheirismo nas nossas escolas, nas primeiras

etapas da implementação: de professores de outros

grupos etários, apoiando professores de segunda sé-

rie que, aparentemente, pareciam estar tendo que en-

frentar uma tarefa gigantesca, e entre professores de

segunda série durante todo o estudo, para a negocia-

ção de significados para os enunciados de realização

e para a padronização dos julgamentos. O envolvimento

dos diretores, em apoio ao corpo docente, significou

que havia um sentimento de "estar no mesmo barco",

o que também ajudou a desenvolver formas de trabalho

em companhia uns dos outros. O esforço de ajuda

mútua com as TPAs, a moderação delas e das avalia-

ções dos professores fizeram com que os professores

saíssem das salas de aula, levando-os ao contato de

trabalho uns com os outros.

Um tema que primeiro nos chamou a atenção

em 1991 (Gipps et al., 1992) foi o maior

profissionalismo entre professores de segunda série;

foi uma observação feita em um terço das nossas es-

colas, envolvendo professores de segunda série res-

ponsáveis pelo treinamento em avaliação e pelo de-

senvolvimento de políticas. Em 1994, cinco dos onze

diretores de escolas primárias que haviam sobrado do

estudo original (tendo continuado pelo segundo está-

gio da nossa pesquisa, focalizando o Estágio Principal

2) ressaltaram a contribuição dos professores de se-

gunda série para a avaliação no Estágio 2.

Somente no segundo ano da avaliação nacio-

nal, o governo conseguiu demonstrar a elevação dos

padrões: o então secretário de Estado de Educação,

John Patten, concedeu uma entrevista coletiva de im-

prensa no final do ano de 1992, divulgando a subida

dos padrões, uma vez que a percentagem da popula-

ção de alunos de 7 anos de idade que havia alcançado

níveis mais altos havia subido em leitura, ortografia e

matemática (Resultados das "Crianças de 7 Anos"

demonstram elevação de padrões, comunicado à im-

prensa, DfEE, 21 de dezembro de 1992). Patten consi-

derou isso como sendo a evidência de que o currículo

nacional estava "funcionando". Com base no nosso

estudo, concluiríamos que essa elevação nos padrões

seria devida ao fato de que os professores estariam

ensinando com mais ênfase o que era pedido nas TPAs:

pontuação, ortografia, caligrafia e aritmética mental. Foi

dada mais atenção à parte "básica", e isso ficou reve-

lado nos melhores níveis de desempenho das crian-

ças. A experiência com a aplicação dos TPAs auxiliou

também os professores a compreenderem os critérios

de avaliação, ou os enunciados de realização, de for-

ma que pudessem ensinar de uma maneira mais dirigida

nos anos posteriores. Evidentemente, considerando-

se as mudanças no currículo e nas tarefas de avalia-

abrangentes, em lugar de examinar estreitas camadas

do currículo, para moderar a avaliação dos professores

no nível da sala de aula. A partir de 1996, os testes

dos 11 anos serão utilizados como base das "tabelas

de ligas" das escolas primárias, ainda que não exis-

tam tabelas do gênero para pontuações de crianças

de 7 anos de idade. Muito pouca ênfase ou recursos

foram investidos na avaliação de professores (AP), que

permanecem, assim, sem maiores esclarecimentos

com relação aos métodos. A avaliação dos professo-

res é entregue aos pais juntamente com os resultados

de testes nacionais, porém os professores podem pro-

por a elaboração de suas avaliações, até depois do

recebimento do resultado desses testes, e não há re-

quisitos para a moderação dos padrões.

projeto de pesquisa

O projeto "National Assessement in Primary

Schools: An Evaluation" (NAPS) foi financiado em duas

fases na Universidade de Londres (Instituto de Educa-

ção e King's College), pelo Conselho de Pesquisa Eco-

nômica e Social (números de referência dos recursos

R000232192 e R000234438). A primeira fase (1990-

93) referia-se à introdução da avaliação nacional no

Estágio Principal 1 (7 anos) (Gipps et al., 1995); a

segunda fase prosseguiu para o Estágio Principal 2

(11 anos), mas com uma atividade reduzida de acom-

panhamento continuado do Estágio Principal 1

(Brown et al., 1996).

O projeto era dirigido a escolas em quatro Ór-

gãos Locais de Educação da Inglaterra (Local Education

Authorities – LEAs), que, por sua vez, foram selecio-

nados como sendo tão representativos nacionalmente

quanto possível. Foram selecionadas oito escolas ale-

atoriamente, através de amostragem estratificada em

cada LEA, dando um total de 32 escolas. Entre os

métodos de obtenção de dados, incluíam-se observa-

ção em sala de aula, entrevistas e questionários.

Outros pesquisadores realizaram estudos do

tipo pesquisa, com tamanhos maiores de amostras; o

objetivo do nosso estudo foi examinar com maior pro-

fundidade a prática dos professores e suas opiniões.

onclusões

Estágio Principal 1 (avaliação de alunos de 7 anos)

A avaliação do Estágio Principal 1 começou

em 1991. Nesse estágio, as TPAs eram tarefas base-

adas em desempenho, conduzidas e pontuadas pelos

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

ção em cada um dos três anos, juntamente com a

falta de confiabilidade dos resultados (Shorrocks et al.,

1992), essas modificações nos padrões de desempe-

nho devem ser tratadas com cautela.

O que os nossos professores da Avaliação

Nacional nas Escolas Primárias estavam fazendo, de

uma forma geral, não era dirigir diretamente o ensino

aos itens específicos do teste (embora as crianças

exercitassem aritmética mental "rápida", para conse-

guirem resolver as adições durante a prova em cinco

segundos), mas ensinar áreas do currículo, de forma

que as suas crianças fizessem avaliações nesses tó-

picos. A diferença entre a situação que estamos ob-

servando ultimamente e a da maior parte dos outros

países, em que se observa o ensino dirigido aos tes-

tes, é que na Inglaterra e no País de Gales nós temos

um currículo imposto, bem como testes também im-

postos. Assim sendo, há alguma coisa a mais, além

dos itens do teste, para receber a atenção dos profes-

sores. Além disso, as tarefas de avaliação foram modi-

ficadas todos os anos, e verificou-se uma evolução do

programa de enunciados de realização incluídos nos

testes, de modo que não seja fácil para os professores

estreitarem demais as suas atividades, ao prepararem

os alunos para o teste.

O que foi muito claramente revelado pelo nos-

so estudo é a mudança na prática de avaliação entre

os professores de crianças (respeitadas as variações

individuais), passando de uma abordagem intuitiva para

outra, baseada em evidências e em registros escritos.

Além disso, fica claro que a grande parte dos nossos

professores ficou mais informada sobre o processo de

avaliação, em vez de serem meros técnicos, operando

de acordo com um sistema imposto. Por outro lado, o

que foi mais significativo, em nossa opinião, foram as

mudanças na prática de sala de aula.

Foram relatados por mais da metade dos nos-

sos professores-chefes um cuidado maior no planeja-

mento, a observação mais cuidadosa das crianças, além

de um entendimento mais detalhado do progresso in-

dividual como tendo influência no ensino. As TPAs atu-

aram como dispositivo de treinamento, e a moderação

em grupo ajudou a derrubar as barreiras. Tudo isso

surgiu, entretanto, não pelo fato de ter que ser aplica-

do um teste externo padronizado (como aconteceu com

os professores de 6ª série e com os testes do Estágio

Principal 2, em 1994), mas por causa das exigências

da Avaliação do Professor e das atividades do tipo de-

sempenho dos TPAs. Foram essas exigências que,

juntamente com as especificações do currículo (ainda

que detalhadas demais), tinham levado, segundo a

opinião dos diretores, a um aprimoramento no planeja-

mento, ensino e avaliação das turmas de 2ª série. A

intenção aqui não é menosprezar os problemas do pro-

grama de avaliação, uma vez que houve muitos (sobre-

carga, critérios de avaliação demais, ainda que inade-

quados, baixos níveis de treinamento, principalmente

para a Avaliação de Professores, falta de confiabilidade

nos resultados, etc.); o propósito é ressaltar o aspecto

de que, caso queiramos elevar os reais padrões de

ensino e a avaliação formativa (que, por sua vez, apóia

tanto o ensino quanto a aprendizagem), precisamos

de mais do que testes externos tradicionais que nos

sejam impostos.

Estágio Principal 2 (avaliação de crianças de 11 anos

de idade)

Os testes do Estágio Principal 2 estão em uma

etapa mais anterior de introdução: começaram seria-

mente em 1995. Na sua maioria, as avaliações são

testes padronizados e não tarefas de avaliação. Estão

planejadas as tabelas de ligas para este ano, e portan-

to, pode-se prever um impacto bastante rotineiro dos

professores ensinando com os testes em vista.

Esse impacto pode ser diretamente observa-

do das maneiras a seguir. Em 1995, as escolas que

haviam estado envolvidas desde 1993 na elaboração

de testes piloto do Estágio Principal 2 relataram que,

como resultado, tinham modificado as suas formas de

organização:

l quatorze haviam mudado do tipo de ensino

de habilidades combinadas, para algum

tipo de cenário;

l oito haviam abandonado o trabalho com tó-

picos, através de todo o currículo, passan-

do a uma forma de ensino mais baseada

em assuntos;

l quatro haviam passado a oferecer um en-

sino mais dirigido a toda a classe;

l quatorze diretores de escolas haviam in-

troduzido testes regulares e formais por

todo o Estágio Principal;

l os testes haviam também significado um

impacto no ensino; por exemplo, um

enfoque maior sobre a leitura e a escrita, e

a apresentação da Matemática de forma

que as crianças tivessem maior probabili-

dade de bom desempenho nas provas;

l além disso tudo, todos os professores ti-

nham feito alguma coisa para preparar os

seus alunos para os testes, como, por

exemplo, revisões de ciências, aplicação

de provas passadas em Matemática, testes

com horas marcadas em língua inglesa.

Entretanto, foi também constatado que os pro-

fessores, em muitos casos, haviam modificado o seu

estilo de ensinar. Entrevistamos detalhadamente 29

professores do Estágio Principal 2, discutindo a sua

abordagem ao ensino em 1995. Quinze dos vinte e nove

relataram modos de ensino diferentes, de acordo com

as várias e distintas circunstâncias. Descreveram quan-

do se haviam tornado basicamente "transmissores" de

conhecimento, quando estimulavam as crianças a des-

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

cobrirem sozinhas, e quando sentiam que estavam

"construindo juntos a aprendizagem". Tudo seria ainda

modificado de acordo com:

- o ensino de diferentes matérias;

- o ensino de crianças diferentes;

- o ensino de distintos grupos etários;

- o uso de formas diferentes de organização

de alunos;

- o espírito da escola.

Nenhum dos professores endossou a pura

abordagem de "transmissão" ao ensino; de modo se-

melhante, poucos a rejeitaram diretamente. Limitaram

esta abordagem a determinados propósitos.

O fato de que a metade dos nossos entrevis-

tados defendeu a abordagem mista ao ensino é inte-

ressante, quando consideramos os comentários mais

gerais dos nossos professores, sobre o efeito do currí-

culo nacional em relação à prática de ensino adotada

por eles. Ainda que nenhum dos professores acredi-

tasse que as crianças aprendessem unicamente a partir

da transmissão de fatos, um quarto deles afirmou sen-

tir-se pressionado a optar mais por essa atitude, devi-

do à quantidade de trabalho a ser coberta pelo Currícu-

lo Nacional, ou, em alguns casos, pelos próprios tes-

tes. Afirmaram também a impossibilidade de utilizar

as idéias das próprias crianças, como pontos de parti-

da para o trabalho, e lastimaram isso. Alguns de seus

comentários foram:

Considerando o modelo "o professor transmi-

te informação às crianças, e é assim que acon-

tece o aprendizado" – acho que foi assim que

praticamente me senti pressionado a agir, devi-

do ao peso do currículo.

(...)

"o professor transmitindo informação para as

crianças" – acho que este tornou-se muito mais

enfatizado com o Currículo Nacional, simples-

mente por causa do volume de conteúdo que

temos que ensinar.

(...)

O que eu acho, e o que o governo acha são

duas coisas completamente diferentes. Se eu

penso em como estava ensinando há cinco

anos atrás, e como estou ensinando agora.

Sempre houve participação minha, mas prova-

velmente cada vez mais hoje, porque há tanta

coisa a ser coberta.

O efeito sobre as habilidades de avaliação dos

professores de Estágio Principal 2 foi menos marcante

até agora, do que o foi para os professores de Estágio

Principal 1. Isso se deve, na nossa opinião, aos requi-

sitos limitados para a Avaliação de Professores e à

natureza padronizada dos testes. Entretanto, por cau-

sa da alta visibilidade, houve um efeito maior sobre a

sua organização e sobre a sua prática de ensino, para

poderem alcançar altos resultados.

Através dos dois Estágios Principais, pode-

mos notar muito claramente um efeito de direção do

ensino às necessidades dos testes; uma vez que o

currículo é amplo, e que são necessárias habilidades

de avaliação do "processo" para a Avaliação de Pro-

fessores, este efeito não vem sendo, até agora, parti-

cularmente negativo ou limitante. Embora muitos pro-

fessores lamentem a perda de autonomia, o Currículo

Nacional e o programa de Avaliação serviram para apro-

ximar as práticas nas escolas, o que poderá ser dese-

jável, em termos de um sistema nacional.

As diferenças no programa de avaliação entre

os dois estágios principais oferecem uma interessante

comparação, em relação ao impacto. No Estágio Prin-

cipal 1, a combinação da avaliação de professores

moderada e da avaliação de desempenho tem um efei-

to amplo sobre a prática dos professores, incluindo uma

maior ênfase no ensino do "básico". No Estágio Princi-

pal 2, a combinação de testes padronizados, tabelas

de ligas e uma redução de importância da avaliação do

professor levaram à preparação para os testes, à ativi-

dade de revisão e a uma modalidade mais "didática"

de ensino.

As conclusões com relação às opiniões dos

professores sobre a avaliação e às mudanças na práti-

ca na fase primária são importantes não apenas na

Inglaterra, mas também para outros países que este-

jam contemplando a introdução de um sistema nacio-

nal de testes. O recente boicote acontecido na Ingla-

terra demonstra os problemas da introdução de um sis-

tema sem o apoio dos professores em geral. Parece

que na Inglaterra, o modelo atual de testes externos

abrangentes e de uma avaliação do professor separa-

da é agora considerado como amplamente aceito pe-

los professores. Por outro lado, a maioria dos profes-

sores preferiria em vez de dois resultados separados,

algum tipo de combinação da avaliação do professor

com os resultados dos testes nacionais, para que seja

dado um valor único mais válido para cada matéria.

Dentro das circunstâncias inglesas, parece que vale a

pena avançar nessa direção, como sendo a que terá

mais impacto positivo no ensino e na aprendizagem,

mantendo ao mesmo tempo a amplitude do currículo.

R eferências bibliográficas

BLACK, P. The shifting scenery of the National

Curriculum. In: CHITTY, C., SIMON, B. (Ed.).

Education answers back

: critical responses to

government policy. London : Lawrence and Wishart,

1993. 181p.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

BROADFOOT, P.

Assessment, schools and society

London : Methuen, 1979.

BROADFOOT, P.

Education, assessment and society

: a sociological analysis. Buckingham : Open

University Press, 1996.

BROWN, M. et al.

The validity of national testing at

age 11

: the teacher's view. Apresentado ao periódi-

co Assessment in Education em 1996.

BRUNER, J.

The culture of education.

Cambridge, MA

: Harvard University Press, 1996.

DALIN, P., RUST, V. D.

Towards schooling for the

twenty-first century

. London : Cassell, 1996.

DAUGHERTY, R.

National curriculum assessment

: a

review of policy 1987-1994. London : Falmer, 1995.

202p.

ENTWISTLE, N.

The impact of teaching in learning

outcomes in higher education

. Sheffield : Sheffield

CVCP Staff Development Unit, 1992.

GARDNER, H.

The unschooled mind

: how children

think and how schools should teach. London :

Fontana Press, 1991.

GIPPS, C.

Beyond testing

: towards a theory of

educational assessment. London : Falmer, 1994.

GIPPS, C., MURPHY, P.

A fair test

? assessment,

achievement and equity. Milton Keynes : Open

University Press, 1994.

GIPPS, C. et al.

Intuition or Evidence

? teachers and

national assessment of seven year olds. Buckingham

: Open University Press, 1995.

GIPPS, C. V. et al. National assessment at seven :

some emerging themes. In: GIPPS, C. V. (Ed.).

Developing assessment for the national curriculum

London : ULIE/Kogan Page, 1992.

GREAT-BRITAIN. Department of Education and

Science.

The national curriculum 5-16

: a consultation

document. London : DES, 1988a.

________.

National curriculum

: task group on

assessment and testing: a report. London : DES,

1988b.

GREEN, A. Postmodernism and state education.

Journal of Education Policy

, v. 9, n. 1, p. 67-83, 1994.

GRIFFITHS, M.

Making a diference

: feminism,

postmodernism and the methodology of educational

research. Trabalho apresentado durante a Economic

and Social Research Council Conference, Liverpool,

1992.

HARRISON, C., BAILEY, M., DEWAR, A.

Responsive

reading assessments

: is postmodern assessment

of reading possible? Paradigms in Reading

Assessment. Routledge, 1996. No prelo.

KENWAY, J.

Marketing education in the post-modern

age

. Trabalho apresentado durante a American

Educational Research Association (AERA)

Conference, San Francisco, 1992.

LATHER, P. Critical frames in education research:

feminist and poststructural perspectives.

Theory into

Practice

, v. 31, n. 2, p. 2-13, 1992.

LINCOLN, Y. S.

Emergent paradigms and policy

conundra

: problems in exercise and use. Trabalho

apresentado durante a Economic and Social

Research Council Conference, Liverpool, 1992.

MURPHY, P., GIPPS, C.

Equity in the classroom

towards efective pedagogy for girls and boys. London

: Falmer, 1996.

NEAVE, G. Education and social policy : demise of an

ethic or change in values?

Oxford Review of

Education

, v. 14, n. 3, p. 273-283, 1988.

NUTTALL, D. The validity of assessments.

European

Journal of Psychology of Education

, v. 11, n. 2, p.

108-118, 1987.

SCHOOLS EXAMINATIONS AND ASSESSMENT

COUNCIL.

National curriculum assessment at key

stage 3

: a review of the 1991 pilots, with implications

for 1992. EMU/SEAC, 1991.

SHORROCKS, D. et al.

ENCA 1 Project Report

. London

: SEAC, 1992.

WOOD, R. The agenda for educational measurement.

In: NUTTALL, D. L. (Ed.).

Assessing educational

achievement

. London : Falmer, 1986.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

ABORDAGENS DE

VALOR AGREGADO PARA A

AUTO-AVALIAÇÃO ESCOLAR

NO REINO UNIDO

Sally Thomas*

ntrodução

Nos últimos 25 anos, muitos trabalhos de

pesquisa foram desenvolvidos sobre as influências da

escola. Os primeiros trabalhos de Coleman, Jencks e

outros (Coleman et al., 1966; Jencks et al., 1972)

concluíram que as características familiares e do

ambiente exercem impacto mais importante sobre o

desempenho dos alunos do que as de cada escola.

Por outro lado, pesquisas subseqüentes (Rutter et al.,

1979; Mortimore et al., 1988; Goldstein et al., 1993;

Sammons et al., 1997) demonstraram não só que as

escolas tipicamente recebem contribuições variáveis

dos alunos, mas também que os resultados da atividade

escolar não são completamente determinados pelas

suas contribuições. Por exemplo, Thomas e Mortimore

em 1996 relataram que de 70% a 75% da variação

escolar do desempenho entre alunos de 16 anos de

idade na General Certification of Secondary Education

(GCSE) podem ser explicados por medidas de

contribuição dos próprios alunos. Entretanto, o que é

também importante, a variação remanescente entre

as escolas, que permanece inexplicada – de 25% a

30% – incorpora os impactos de cada uma das escolas

(bem como de outros fatores externos) dos alunos.

A questão de formas apropriadas e válidas

para a descrição do desempenho das escolas tem

uma importância crucial. São poucos os que não

concordam com o fato de que há uma grande

variedade de metas importantes na freqüência

escolar, como a intensificação das atitudes positivas

dos alunos em relação à aprendizagem e ao

comportamento, o estímulo de valores comunitários

e aspirações vocacionais, juntamente à promoção

do desempenho acadêmico. Por outro lado, o

alcance deste estudo, é em sua maior parte,

limitado ao aspecto do desempenho da escola,

medido através de resultados de exames e de

testes. Mais recentemente, as tendências da

política governamental na Inglaterra vêm dirigindo

a atenção aos resultados brutos de exames

escolares, sem levar em consideração o contexto

da escola ou do corpo discente. Entretanto,

muitos profissionais da educação, bem como

vários pesquisadores acadêmicos vêm defendendo

enfaticamente o argumento de que, isoladamente,

os dados relativos aos resultados brutos de

exames escolares – como aqueles publicados

pelo Department for Education and Employment

(DfEE) – serão sempre uma medida extremamente

inadequada de desempenho, além de serem

potencialmente enganosos, se não acom-panhados de

conhecimento sobre o contexto da escola em questão

(McPherson, 1992; National Commission on

Education, 1993). Por exemplo, o já falecido Desmond

Nuttall (1990) argumentava que

...a justiça natural exige que as

escolas sejam responsabilizadas tão

simplesmente por aqueles aspectos que

possam ser influenciados por elas (para o

bem ou para o mal), e não por diferenças

preexistentes entre os seus corpos de

alunos. (p. 25)

Os resultados brutos são a resposta

apropriada à indagação sobre "Como foi o

*Sally Mary Thomas, doutora em Psicologia, é conferencista e pesquisadora sênior do Instituto de Educação, da University of London. Participou da pesquisa

do ESRC:

Optimal multilevel models of school effectiveness

. É membro do International School Effectiveness and Improvement Center e do conselho editorial

British Educational Research Journal.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

desempenho da minha filha, ou do meu filho?",

mas não a quaisquer perguntas sobre o

desempenho da própria escola. Não podem ser

considerados como respostas sobre a eficácia da

aprendizagem ou do ensino em cada sala de aula

ou em cada escola. Não podem ser indicadores

sobre se a escola apresenta o tipo de desem-

penho que deveria.

O objetivo deste estudo é possibilitar uma

visão geral e alguns exemplos daquilo que é

comumente denominado medidas de valor

agregado da eficácia da escola no Reino Unido.

Em contraste com os resultados brutos dos

testes, as medidas de valor agregado determinam

o ponto de partida para uma maneira de avaliar o

desempenho escolar que leva em consideração

os fatores referentes ao corpo discente, que ficam

fora do controle da escola, mas que exercem

significativo impacto sobre o desempenho dos

alunos. Além disso, trataremos de demonstrar

como as medidas mais detalhadas de valor

agregado podem também ser empregadas para o

exame das variações

internas

na eficácia de uma

escola, nos níveis de sala de aula, das várias

matérias e dos departamentos.

dificuldade com as tabelas de

desempenho

Os responsáveis pelas políticas do

governo e os pesquisadores acadêmicos (Nuttall

et al., 1989; Dearing, 1993) já enfatizaram os

riscos de utilizar as tabelas de desempenho

baseadas apenas em resultados brutos. Aquelas

escolas que tiverem um grupo de alunos com alto

desempenho tenderão a apresentar bons

resultados apenas por esse motivo. Nem aquela

escola que apresente um alto desempenho inicial,

nem a outra, inicialmente com baixo desempenho

receberá qualquer apoio oriundo da publicação das

tabelas brutas de desempenho. No caso da

primeira, passará despercebida a necessidade de

aprimoramento; na última, poderá acontecer uma

desmoralização intensa do pessoal, sem que haja

qualquer culpa sua. De uma maneira crucial, os

indicadores de eficácia de valor agregado revelam

se algumas escolas estão apresentando um

desempenho significativamente melhor ou pior do

que outras, tendo levado em consideração aqueles

fatores que dizem respeito ao corpo discente.

Este aspecto foi firmemente ilustrado na

publicação pelo jornal

The Guardian

dos

resultados tanto brutos quanto de valor agregado

de exames de nível A, em 1992 e 1993 (Thomas

et al., 1992), conforme Tabela 1.

Na Tabela 1, de um total de 402 instituições

para maiores de 16 anos, seis foram classificadas en-

tre os 25% superiores (Grupo A) das pontuações bru-

tas de nível A; entretanto, ao serem considerados fato-

res contextuais e de desempenho anterior no GCSE,

suas pontuações de valor agregado caíram para os 25%

inferiores (Grupo C). De uma forma geral, praticamente

uma em cada quatro instituições teve as suas classifi-

cações com base nos resultados brutos modificadas,

quando foram considerados os resultados com valor

agregado.

Portanto, para que seja possível avaliar o de-

sempenho de uma escola em particular, é preciso con-

siderar toda uma variedade de informações, além dos

resultados brutos dos testes ou dos exames. Uma das

fontes importantes são os dados sobre o valor acres-

centado pela escola ao progresso de cada um dos alu-

nos.

A avaliação do "valor agregado" em termos de

educação com o qual uma escola contribui para o de-

sempenho do aluno tem vários objetivos:

l oferece uma forma mais justa e mais sig-

nificativa de apresentação dos resultados

dos exames escolares;

l é uma ferramenta que gera dados tanto de-

talhados quanto resumidos, que podem ser

analisados pela escola, como parte da sua

auto-avaliação;

l pode ser utilizada para examinar as ten-

dências no desempenho de valor agregado

ao longo do tempo, em relação às iniciati-

vas para o aprimoramento escolar;

l gera medidas de desempenho que podem

ser comparadas a outros tipos de informa-

ções disponíveis nas escolas, como opini-

ões de grupos-chave, obtidas através de

questionários entregues a professores, pais

e alunos; e

l pode oferecer orientação adicional para o

acompanhamento e para o estabelecimento

de metas para alunos específicos ou para

grupos determinados de alunos (como

meninos ou meninas, ou determinados gru-

pos étnicos).

Assim sendo, o conceito de "valor agregado"

é tanto um indicador da eficácia de uma escola quanto

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

uma "ferramenta" a ser utilizada por diretores e pelo

seu pessoal, para a análise da intensidade da efetiva

elevação do desempenho dos alunos. Como argumen-

taremos a seguir, entretanto, nada disso é uma vara de

condão: existem verdadeiras limitações, que precisam

ser bem compreendidas.

que significa valor agregado

A expressão "valor agregado" é uma medida

do progresso médio dos alunos ao longo de um deter-

minado período de tempo (em geral, do ingresso na

escola até os exames públicos, no caso das escolas

secundárias, e ao longo de determinados anos, no caso

das escolas primárias), e em comparação com outras

escolas dentro da mesma amostragem. Compara os

resultados depois de fazer os ajustes relativos aos

desempenhos variáveis do corpo discente, e reflete o

estímulo relativo exercido pela escola sobre o nível

anterior de desempenho de um aluno, em comparação

com alunos semelhantes de outras escolas. Conse-

qüentemente, é preciso dispor de informações bási-

cas precisas sobre o desempenho anterior dos alu-

nos, para que seja possível calcular o componente de

valor agregado (Mortimore et al., 1994; Thomas et al.,

1995). O Gráfico 1 mostra um exemplo simples de dados

agregados ao nível da escola, para ilustração do com-

ponente de valor agregado. Cada ponto representa uma

escola. Uma pontuação positiva de valor agregado (por

exemplo, residual) indica que a escola poderá estar

apresentando um desempenho acima das expectati-

vas. Uma pontuação negativa de valor agregado revela

que a escola pode estar apresentando um desempe-

nho abaixo da expectativa. Entretanto, é preciso que

haja informações sobre o intervalo de confiança de 95%,

para que seja possível avaliar se o desempenho de va-

lor de uma determinada escola pode ter ocorrido por

acaso. Em outras palavras, é vital o intervalo de confi-

ança, para a determinação de se o desempenho de

uma escola – acima ou abaixo das expectativas – é

estatisticamente significativo

(ver Gráfico 2).

Gráfico 1 – Exemplo de valor agregado

Além disso, é necessário que haja informa-

ções sobre a incerteza estatística das medidas de de-

sempenho, quando estiverem sendo comparadas es-

colas diferentes. O exemplo do Gráfico 2 mostra que

há uma superposição dos intervalos de confiança de

95% da maior parte das escolas, o que impossibilita

distinções mais sutis entre elas. A questão da incerte-

za estatística gera uma restrição muito importante na

interpretação dos dados comparativos. Essencialmen-

te, os intervalos de confiança refletem a falta de preci-

são inerente nos cálculos de quaisquer medidas nu-

méricas, como é o caso do valor agregado, até mesmo

os das pontuações brutas. Além disso, ao estabele-

cermos comparações entre escolas, o tamanho apro-

priado do intervalo de confiança muda de acordo com o

número de escolas que estiverem sendo comparadas

(Goldstein, Healy, 1995).

115

110105

10095

Valor A

ado Ne

ativo

Valor Agregado Positivo

Pontuação Total do GCSE

Teste de Leitura de Londres

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

-5

-10

-15

Identidade da Escola

Pontuação GCSE de Valor Agregado

Gráfico 2 – Intervalos de Confiança de 95%

Pontuação GCSE de Valor Agregado

Identidade da Escola

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

ma estrutura nacional de valor agregado

Um aspecto importante é que o governo acei-

tou atualmente a importância das medidas de valor agre-

gado, e a School Curriculum and Assessment Authority

(SCAA) publicou as recomendações transitórias para

uma estrutura nacional de valor agregado (SCAA, 1994;

Fitz-Gibbon, 1995). Entretanto, a principal dificuldade

envolvida na introdução de uma estrutura nacional de

valor agregado está na falta de avaliações padroniza-

das confiáveis para a medição do desempenho dos alu-

nos antes de sua admissão na escola. Não existem

avaliações nacionais dos alunos admitidos à escola

primária, e as avaliações nacionais de currículos para

os Estágios Principais de 1 a 3 poderão não estabele-

cer um nível suficiente de diferenças entre os alunos,

ou poderão não ser suficientemente confiáveis para a

finalidade de medição do valor agregado. São neces-

sárias medidas confiáveis e sutilmente diferenciadas,

para que seja possível descrever com precisão o ponto

de partida dos alunos. Por outro lado, caso a intenção

seja implementar qualquer modificação nas avaliações

nacionais de currículos, precisarão ser mantidos os

benefícios das avaliações de professores e de tarefas

padronizadas em relação à qualidade do ensino e da

aprendizagem, havendo ao mesmo tempo a

complementação através de outras avaliações, que

possam ser empregadas para medir o valor agregado.

Os novos avanços de hoje incluem o requisito de as

Local Education Authorities (LEAs) implementarem um

sistema reconhecido de testes básicos para crianças

de 5 anos de idade (SCAA, 1996). Algumas LEAs,

como as de Surrey e de Hampshire, já empregaram

avaliações básicas para medir a eficácia das escolas

nos períodos pré-escolares (Sammons, Smees, 1997).

desenvolvimento de medidas de valor

agregado

O desenvolvimento de medidas de valor agre-

gado como indicadores da eficácia escolar foi gerado a

partir de uma variedade de fontes:

l Das necessidades da pesquisa acadêmica

Muitos estudos sobre a eficácia escolar, em

especial os realizados antes de meados da década de

80, foram dificultados pelo número limitado de técni-

cas estatísticas disponíveis (Scheerens, 1992), além

de não terem acesso aos métodos de análise recente-

mente desenvolvidos, sofisticados e hoje amplamente

preferidos, a modelagem de vários níveis (Goldstein,

1987; Paterson, Goldstein, 1991; Goldstein, 1995).

l Das necessidades das LEAs

Os requisitos da Lei de Educação de 1980, e

do Decreto de 1991 (das escolas), seção 16, no senti-

do de as escolas publicarem os seus resultados "bru-

tos" dos exames públicos, vieram a colocar uma ênfa-

se muitas vezes maior sobre a busca por medidas mais

justas e mais precisas do desempenho escolar, o que

levou à coleta cada vez mais disseminada e sistemáti-

ca de dados sobre os alunos pelas autoridades locais

de educação, incluindo informações sobre resultados

de avaliações e exames dos alunos, juntamente com

outras características, tanto referentes aos alunos quan-

to às escolas (Hill, 1994, 1997).

l Das necessidades das escolas em particular

Além disso, as escolas individualmente pas-

saram também a encarar as questões relativas ao de-

sempenho e à eficácia escolares como um aspecto do

seu próprio controle e avaliação internos, além das ins-

peções externas, como as realizadas pelo órgão local

de educação, em nível nacional, pelo Office for

Standards in Education (OFSTED) e pelo DfEE (DfEE,

1996). Vários projetos, como os que foram criados pela

University of Durham e pela National Foundation for

Educational Research vieram auxiliar as escolas, atra-

vés da proposta de medidas de valor agregado (Hill, 1997).

Pesquisadores acadêmicos, LEAs e escolas

empregaram uma grande variedade de distintos proce-

dimentos para a medição dos efeitos das escolas, uti-

lizando fatores relativos aos antecedentes dos alunos

(como condição socioeconômica) ou dados sobre o

seu desempenho anterior, ou ambos, bem como dife-

rentes níveis de sofisticação na análise (como, por

exemplo, o emprego de dados individuais no nível dos

alunos, ou dados agregados mais brutos, no nível da

escola) (Gray et al., 1990; Thomas et al., 1993a, b;

Thomas et al., 1994; Hill, 1994, 1997). Entretanto, a

pesquisa mais recente vem demonstrando que o de-

sempenho anterior dos alunos é o indicador e o fator

de previsão mais confiável e mais importante para o

seu desempenho posterior, explicando até 59% da va-

riação total dos resultados acadêmicos dos alunos, e,

conseqüentemente, até 76% da variação do desempe-

nho entre escolas (Thomas, Smees, 1997).

Um aspecto importante gira em torno de que

metodologia de valor agregado deverá ser empregada

na inexistência de dados de desempenho anterior (quer

se considere o nível nacional ou local). Na ausência de

dados anteriores de desempenho, foram às vezes utili-

zadas informações socioeconômicas e outras carac-

terísticas dos alunos (como, por exemplo, fluência no

idioma inglês, gênero, idade, nível de educação dos

pais, elegibilidade para refeições escolares gratuitas),

como medidas aproximadas do desempenho anterior.

Um exemplo dessa abordagem é descrito no

relatório do OFSTED (Sammons et al., 1994), que pro-

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

põe um procedimento intermediário para a avaliação

do desempenho escolar, na ausência de dados de de-

sempenho disponíveis em nível nacional, na data de

admissão às escolas secundárias. Entretanto, é ne-

cessário ressaltar o fato de que a pesquisa tem de-

monstrado que sempre que existem dados de desem-

penho do corpo discente disponíveis, a inclusão de in-

formações de caráter socioeconômico no cálculo das

medidas de valor agregado acrescenta pouco para a

explicação das diferenças reveladas entre as escolas

(Thomas, Mortimore, 1996). Mesmo assim, continua

sendo útil, como método para "ajuste" das medidas de

valor agregado, e faz diferença para as estimativas ob-

tidas para algumas poucas escolas específicas. Tudo

isso assume importância especial no caso daquelas

escolas que atendam a um corpo de alunos que apre-

sente uma tendência qualquer, em direção a determi-

nados grupos (por exemplo, meninos, ou alunos oriun-

dos de famílias de baixa renda). É necessário também

sublinhar o fato de que a presença de dados de de-

sempenho estudantil de boa qualidade relativos a cada

aluno é crucial, uma vez que sem eles fica impossível

a análise válida de valor agregado. Dessa forma, dispor

meramente de dados socioeconômicos ou de dados

agregados ao nível da escola é na maior parte das ve-

zes inadequado.

écnicas estatísticas e metodologia para

a medição do valor agregado

É importante empregar as técnicas estatísti-

cas e a metodologia apropriadas para a medição do

valor agregado como indicador da efetividade da esco-

la. A seção a seguir descreve várias abordagens e as-

pectos relacionados a essa metodologia. Os aspectos

levantados não são exclusivos, ainda que visem esti-

mular mais pesquisas e o desenvolvimento de medi-

das de valor agregado.

ados detalhados ao nível do aluno e

modelagem de vários níveis

O processo de calcular o efeito que uma es-

cola possa exercer sobre o progresso de um determi-

nado aluno é bastante difícil. Quanto mais informação

for possível obter sobre cada aluno, cada subgrupo de

alunos e sobre todos os alunos de uma escola, bem

como de todas as escolas pertencentes a uma LEA,

mais confiável e mais informativa deverá provavelmente

ser qualquer análise subseqüente. A análise de regres-

são múltipla é a técnica estatística que permite que

essa análise ocorra, enquanto que a modelagem de

vários níveis é um desenvolvimento mais recente des-

sa técnica.

Um dos principais desafios para os pesquisa-

dores foi o desenvolvimento de modelos que permitam

que a análise estatística isole o efeito da experiência

na escola sobre os resultados de cada aluno (o de-

sempenho alcançado pelo aluno), e o ponto até o qual

as características do corpo de alunos (aquelas coisas

com as quais os alunos chegam à escola – o nível de

desempenho que já tenham alcançado, seus antece-

dentes socioeconômicos) afetam os seus resultados.

A modelagem de vários níveis é hoje amplamente re-

conhecida como a ferramenta mais precisa e mais fle-

xível para a avaliação da natureza hierárquica dos da-

dos de desempenho dos alunos, principalmente quan-

do o objetivo for explicar a complexidade da eficácia da

escola (Goldstein, 1987, 1995).

iferentes modelos para separar e

medir os efeitos

Thomas e Mortimore (1996) compararam cin-

co modelos alternativos para a determinação da me-

lhor abordagem de valor agregado. O melhor modelo

incluía o controle relativo a toda uma variedade de fato-

res relativos a cada um dos corpos discentes no cál-

culo das medidas de valor agregado:

→ desempenhos anteriores dos alunos em tes-

tes de habilidades cognitivas verbais, quan-

titativas e não verbais;

→ gênero;

→ idade;

→ etnicidade;

→ mobilidade;

→ elegibilidade para refeições escolares gra-

tuitas.

Entretanto, como já foi observado anteriormen-

te, o nível de desempenho que um determinado aluno

possui quando é admitido a uma escola é o compo-

nente principal nas análises válidas de valor agregado.

ontinuidade dos efeitos da escola

primária

Outros trabalhos de pesquisa na área de valor

agregado focalizaram a questão da continuidade dos

efeitos da escola primária no nível secundário

(Sammons et al., 1995; Goldstein, Sammons, 1997).

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Os primeiros resultados indicam um impacto duradou-

ro da efetividade da escola primária sobre o progresso

dos alunos durante a escola secundária. Em outras

palavras, os alunos de escolas primárias em que o

ensino e a aprendizagem eram eficazes parecem con-

tinuar a apresentar um progresso melhor na escola

secundária do que aqueles oriundos de escolas primá-

rias menos eficazes. Conseqüentemente, os novos

avanços na metodologia de cálculo das medidas de

valor agregado poderão ter que considerar explicitamen-

te as escolas anteriores freqüentadas pelos alunos.

lunos que trocam de escolas

Este último aspecto é também diretamente

relevante, quando se considera a ocorrência bastante

freqüente de alunos que trocam de escola

no decorrer

de uma etapa educacional. Hill e Goldstein recente-

mente levantaram que esse aspecto envolve implica-

ções importantes para a precisão das medidas de

efetividade das escolas, que se relacionem com um

período no tempo em que muitos alunos tenham saído

da escola, e muitos tenham sido admitidos (Hill,

Goldstein, a ser publicado). São necessários mais

estudos, para que seja possível determinar como essa

questão pode ser encarada, em uma estrutura nacio-

nal de valor agregado.

stabilidade através do tempo e

variações internas na eficácia da escola

As estatísticas gerais do desempenho dos alu-

nos não podem gerar uma representação precisa da

efetividade de uma escola em elevar e em manter o

desempenho de todos os seus alunos, ou da capaci-

dade que tem de sustentar os seus padrões através do

tempo. A disponibilidade e a análise de dados referen-

tes a cada aluno são essenciais para o exame dos

vários aspectos da eficácia da escola. Algumas esco-

las, que podem parecer eficazes, em termos da medi-

da geral de valor agregado, poderão não mostrar-se

tão eficazes em termos de cada um dos departamen-

tos, ou para os distintos grupos de alunos, ou ainda

através dos diferentes períodos de tempo.

Como exemplo, utilizaremos os resultados de

um estudo realizado com 94 escolas secundárias da

cidade de Londres (Thomas et al., 1997a, 1997b). Este

projeto focalizou três aspectos do desempenho no

GCSE das escolas:

i) estabilidade dos resultados ao longo de três

anos (1990-1992);

ii) consistência entre várias matérias, e

iii) efeitos diferenciais para os vários grupos

de alunos, como os que apresentavam altos e baixos

desempenhos.

Foi empregada uma abordagem de valor agre-

gado, controlando para determinados antecedentes dos

alunos medidas de desempenho anterior no momento

da transferência para a escola secundária: gênero, ida-

de, grupo étnico e baixa renda. Foram pesquisadas

sete medidas distintas de desempenho escolar: pon-

tuação total no GCSE e pontuações em Inglês, Litera-

tura Inglesa, Matemática, Ciências, Francês e Histó-

ria. A partir desse estudo, chegou-se às seguintes evi-

dências:

Estabilidade ao longo do tempo

A evidência no período dos três anos (1990-

1992) demonstrou que os efeitos das escolas sobre a

pontuação total no GCSE foram mais estáveis (com

as correlações de ano para ano variando de 0,82 a 0,85

– a relação perfeita sendo expressa em termos de 1)

do que no caso das matérias específicas. Aí, os resul-

tados referentes a Francês revelaram-se os menos es-

táveis, enquanto que os de História, os mais estáveis

para o período dos três anos. Essas correlações são

ligeiramente mais baixas do que as do estudo seme-

lhante, realizado por Gray e colaboradores, examinan-

do a pontuação total do GCSE apenas (Gray et al.,

1995; 1996), ainda que isto possa ser explicado pela

influência especial da mobilidade de professores e de

alunos nas escolas da cidade.

Apesar das evidências de uma grande estabi-

lidade em algumas áreas, as correlações indicam que

existe ao mesmo tempo um grau substancial de mu-

dança ao longo do tempo no que tange aos resultados

nas várias matérias, sublinhando a necessidade de

exame dos resultados de mais de um dos anos, bem

como das tendências expressas nos resultados du-

rante um período mínimo de três anos. É importante

enfatizar que a melhoria "real" (ou piora) no desempe-

nho seja resultado, talvez, de mudanças nas práticas

ou políticas de educação somente poderá ser

identificada através do estudo das mudanças de longo

prazo nos resultados, ao longo do tempo (idem).

Consistência entre várias matérias

As evidências referentes à consistência entre

os resultados dos vários departamentos e os resulta-

dos gerais das escolas (levando em consideração os

três anos de dados) varia de

bastante acentuada

, em

alguns casos, a

bastante tênue

, em outros. No caso

de uma proporção importante das escolas (por exem-

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

plo, praticamente um terço em 1991), foram reveladas

diferenças significativas entre os departamentos, em

termos de eficácia, que não teriam sido ressaltadas

caso tivessem sido usadas apenas as pontuações to-

tais do GCSE. Essas conclusões estão de acordo com

pesquisa anterior, que examinou uma variedade mais

limitada de resultados (Goldstein, 1993), e que sugere

enfaticamente a necessidade de examinar em detalhe

o desempenho da escola – não apenas em termos de

desempenho total no GCSE, mas também no nível das

várias matérias – para identificar os departamentos de

maior eficácia. Tymms e colaboradores desenvolveram

um trabalho semelhante no nível primário, como parte

do projeto nacional de valor agregado da SCAA (Tymms,

Henderson, 1995). Entretanto, uma limitação ao exa-

minar cada uma das matérias individuais é o fato de

que, às vezes, o número de alunos que faz um deter-

minado exame é muito pequeno (particularmente no

nível A), e assim a incerteza estatística da pontuação

de valor agregado pode ser relativamente grande. De

qualquer maneira, o impacto dessa limitação deverá

naturalmente ir decrescendo, à medida que aumentar

o número de registros com o passar do tempo, e à

medida que os tamanhos das amostragens forem fi-

cando maiores.

Efeitos diferenciais para os vários grupos de alunos

O estudo focalizou também o aspecto impor-

tante se algumas escolas poderão ser mais eficazes

para um determinado grupo de alunos. A análise do

valor agregado revelou que algumas escolas obtiveram

resultados de valor agregado que eram diferentes para

os vários grupos de alunos. As conclusões foram es-

pecialmente marcantes para os alunos classificados

através de medidas de desempenho anterior e através

de grupos étnicos. Além disso, foram encontrados efei-

tos diferenciais significativos entre meninas em com-

paração com meninos, e para os alunos oriundos de

famílias de baixa renda, em comparação com os ou-

tros.

Entretanto, os resultados sugeriram também

que todos os alunos das escolas e dos departamentos

que eram eficazes para o aluno médio tinham probabi-

lidade de apresentar um desempenho relativamente bom

no GCSE, ainda que determinados grupos (como os

dos alunos não elegíveis para receberem refeições es-

colares gratuitas) tinham a probabilidade de apresen-

tar desempenho especialmente bom. Em contraste,

todos os alunos das escolas e dos departamentos que

apresentavam um nível mais baixo de eficiência para o

aluno médio tinham a probabilidade de apresentar um

desempenho fraco, embora grupos específicos (como

os alunos de origem asiática) apresentassem a proba-

bilidade de um desempenho não tão fraco. Mais uma

vez, essas conclusões ressaltam a utilidade das téc-

nicas de valor agregado para permitir uma análise mais

sensível dos dados, além de garantir que possam ser

reconhecidos os baixos desempenhos de grupos es-

pecíficos de alunos.

Foi desenvolvido um estudo semelhante com

escolas primárias (Sammons et al., 1993; Thomas,

1995), e em instituições para alunos maiores de 16

anos (Goldstein, Thomas, 1996; O'Donoghue et al.,

1997), indicando que as variações internas em termos

de eficácia precisam ser acompanhadas em todas as

etapas da educação obrigatória. De uma forma geral,

essa evidência sugere fortemente que as escolas pre-

cisam monitorar e avaliar o seu desempenho utilizan-

do uma variedade de diferentes medidas de valor agre-

gado para os grupos específicos de alunos, para cada

um dos departamentos, para diferentes turmas de alu-

nos e diferentes pontos no tempo (e, sempre que pos-

sível, também para distintos grupos de anos dentro da

escola).

esultados de valor agregado como

instrumento para a auto-avaliação

das

escolas

Já enfatizamos a necessidade de as escolas

analisarem os dados de uma forma mais sensível e

mais detalhada, em uma variedade de níveis: dos alu-

nos, dos vários grupos de alunos, subgrupos, o nível

das matérias, toda a escola e todas as escolas de

uma LEA. O que é também importante, é que as esco-

las precisam colaborar com outras escolas, nos níveis

local, regional e nacional, para que possam dispor de

dados comparativos para as análises de valor agrega-

do. Vários projetos da LEA estão em desenvolvimento

atualmente, e um relatório recente da UK's National

Foundation for Educational Research apresenta maio-

res detalhes (Hill, 1994, 1997).

Entretanto, a coleta e a análise de dados tan-

to quantitativos quanto qualitativos será essencial, se

as escolas quiserem transformar-se em instituições de

"auto-avaliação".

... os indicadores não dão o diagnóstico, nem

prescrevem a correção – pura e simplesmente

sugerem a necessidade de ação (Nuttall,

1990).

Os dados de valor agregado auxiliam a auto-

avaliação da escola, levantando aspectos sobre as

mudanças e/ou a consistência dos resultados ao lon-

go do tempo, sublinhando as diferenças entre os de-

partamentos de uma escola quando comparados a todo

o valor agregado da escola, e permitindo que as esco-

las se comparem a outras escolas (dentro dos limites

da incerteza estatística).

O Quadro 1 resume os diferentes aspectos e

as diferentes abordagens a serem considerados na inter-

pretação de resultados de valor agregado.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

anos (por exemplo, 1993-1996). Foram fornecidas, além

disso, pontuações adicionais para cada um dos resul-

tados relativos aos alunos de desempenho superior,

inferior ou médio, na data de admissão à escola. As-

sim, as escolas puderam utilizar essa informação para

dirigir a sua atenção a determinados alunos, grupos de

alunos ou departamentos. Além disso, os consultores

da LEA de Lancashire forneceram informações adicio-

nais às escolas, oferecendo também apoio e desen-

volvimento no emprego dos resultados de valor agrega-

do para a auto-avaliação escolar (Scanlon, 1996).

As novas evoluções do projeto de valor agre-

gado de Lancashire incluem a obtenção de informa-

ções sobre comportamento para todos os alunos da

9a série (14 anos de idade) e da 11a (16 anos) durante

os semestres de primavera de 1996 e 1997. Utilizam

instrumentos inicialmente planejados para o Improving

School Effectiveness Project (ISEP) (MacBeath,

Mortimore, 1994; Thomas et al., 1997). As conclusões

de 70 escolas participantes, resumidas na Tabela 3,

sugerem que em alguns casos, os comportamentos

dos alunos (representados por cinco escalas de com-

portamentos: cultura do aluno, auto-eficácia,

engajamento com a escola, comportamento e apoio

do professor) variam entre as escolas de modo subs-

tancial. Essa informação é usada confidencialmente

pelas escolas, para avaliação do seu próprio impacto

sobre a experiência do aluno na escola. Em outras

palavras, os comportamentos relatados dos alunos são

empregados como resultados importantes em si mes-

mos, além dos resultados dos exames do GCSE.

Tanto o ISEP quanto o projeto de Lancashire

visam aumentar a variedade de resultados e de medi-

das de valor agregado usados para avaliar a eficácia da

escola, para refletir mais plenamente os objetivos es-

colares. Além disso, os diretores de escolas de

Considerar a importância dos limites de confiança ao fazer comparações entre escolas - se houver superposição

dos intervalos de confiança de duas escolas específicas, não haverá diferença significativa entre o seu desem-

penho (ver, por exemplo, o Gráfico 1).

Manter em mente as limitações da metodologia no caso da sua escola. Até que ponto são relevantes para os

resultados da sua escola os aspectos de: erro de medição, inexistência de dados, precisão de dados e a

natureza retrospectiva dos dados?

Rastrear as mudanças nos resultados ao longo do tempo, para examinar os verdadeiros aprimoramentos e/ou

as flutuações aleatórias no desempenho.

Examinar a eficácia dos departamentos e/ou dos professores, em comparação com as medidas resumidas de

eficácia escolar (por exemplo, desempenho total no GCSE para o aluno médio) e as suas implicações para as

políticas relativas a toda a escola.

Examinar a eficácia diferencial para os diferentes grupos de alunos (por exemplo, meninos/meninas, alunos

com alto/baixo desempenho), bem como as implicações para a igualdade de oportunidades.

Empregar uma maior variedade de medidas de valor agregado, de forma a refletir mais plenamente as metas da

freqüência escolar (por exemplo, utilizando aspectos vocacionais e de atitudes dos alunos bem como resulta-

dos acadêmicos).

Quadro 1 – Abordagens na interpretação de resultados de valor agregado

para estimular a auto-avaliação de escolas e professores

m exemplo de uma análise de valor

agregado para auxiliar na

auto-avaliação da escola secundária

Em 1992, foi iniciado um projeto pela LEA de

Lancashire que visava desenvolver tanto quanto fosse

possível as medidas mais precisas, mais apropriadas

e mais justas para a efetividade da escola secundária.

Os resultados deveriam ser devolvidos às escolas, de

forma confidencial, para ajudar na auto-avaliação indi-

vidual. O projeto ainda prossegue, e desde 1993 no-

venta e oito escolas secundárias de Lancashire têm

estado envolvidas na coleta de dados detalhados so-

bre todos os alunos. O método de análise utiliza as

técnicas de modelagem de vários níveis, para o cálcu-

lo de toda uma variedade de diferentes medidas de va-

lor agregado (Thomas, Mortimore, 1996).

É usado o desempenho dos alunos na data de

admissão à escola para a análise do GCSE, incluindo

três medidas diferentes de desempenho anterior (pon-

tuações NFERCAT nas áreas verbais, quantitativas e

não-verbais). É também incluída uma grande variedade

de fatores relativos aos antecedentes dos alunos –

como gênero, grupos étnicos e mobilidade – que ficam

fora do controle da escola, na análise de vários níveis

dos resultados dos alunos. As principais conclusões

do estudo incluem a revelação de que em 1993 um

quarto das 79 escolas subiram ou caíram em 20 ou

mais casas quando os seus resultados de valor agre-

gado foram comparados com as pontuações brutas

médias. Mais da metade oscilou em 10 ou mais ca-

sas. Como se vê na Tabela 2, o projeto foi estendido a

cada ano, e em 1996, foram dadas 40 medidas de va-

lor agregado diferentes a cada escola, incorporando

cinco resultados diferentes do GCSE (total, melhores

5, Inglês, Matemática e Ciências), relativos ao ano em

curso (1996) ou aos resultados combinados de três

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Lancashire preencheram um questionário referente às

características e aos processos de sua escola, junta-

mente com as suas próprias opiniões sobre as esco-

las eficazes de uma maneira geral. A intenção é que

esse tipo de informação possa auxiliar as escolas em

relacionar as tendências que ocorram com o passar

do tempo a medidas de valor agregado, no contexto,

nas metas e nas estratégias individuais para aprimora-

mento de cada escola.

Tabela 2 – Projeto de valor agregado da LEA de Lancashire:

Medidas de resultados dos alunos empregadas ao longo de cinco anos

(1993 1997)

Pontuações de valor

–GCSE do

agregado

1993

Pontuações de valor

agregado

do GCSE - 1994

Pontuações de valor

agregado

do GCSE - 1995

Pontuações de valor

agregado

do GCSE – 1997/1998

Pontuação total (por

faixas de 1 a 3)

Inglês

Matemática

Pontuação total (por

faixas de 1 a 3)

Inglês (por

faixas de 1 a 3)

Matemática (por

faixas de 1 a 3)

Ciências (por

faixas de 1 a 3)

Pontuação total (por

faixas de 1 a 3)

Pontuação total

de 3 anos (por

faixas de 1 a 3)

Inglês (por

faixas de 1 a 3)

Matemática (por

faixas de 1 a 3)

Ciências (por

faixas de 1 a 3)

Pontuação total (por

faixas de 1 a 3)

Pontuação total

de 3 anos (por

faixas de 1 a 3)

Inglês (por

faixas de 1 a 3)

3 anos de Inglês (por

faixas de 1 a 3)

Matemática (por

faixas de 1 a 3)

3 anos de Matemática

(por faixas de 1 a 3)

Ciências (por

faixas de 1 a 3)

3 anos de Ciências

(por faixas de 1 a 3)

Melhores 5 (por

faixas de 1 a 3)

Melhores 5 durante

3 anos (por

faixas de 1 a 3)

Escalas de

comportamento

dos alunos

Engajamento

com a escola

Auto-eficácia

Comportamento

Apoio de Professores

Notas:

– GCSE (General Certificate of Secondary Education) - exame realizado aos 16 anos.

– Faixas de 1 a 3 = As pontuações de valor agregado são calculadas em separado,

para os alunos classificados em três grupos (os aproximadamente 25% superiores

- 1; os 50% médios - 2; os 25% inferiores - 3), em termos de desempenho anterior

(aos 11 anos de idade) nos Testes de Habilidades Cognitivas do NFER.

– 3 anos = pontuação de valor agregado, calculada utilizando-se três turmas do

GCSE, incluindo a turma atual do GCSE (por exemplo, 1996), e duas turmas

anteriores (por exemplo, 1994 e 1995).

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

assando da medição da eficácia da

escola ao aprimoramento escolar

A tarefa de ligar as medidas de efetividade da

escola ao aprimoramento escolar começa com a pre-

missa de que a análise é o início, e não o fim do pro-

cesso. O monitoramento em si mesmo não melhora o

desempenho, nem leva a distinções ou a comparações

definitivas. Portanto, é importante que as informações

sobre a efetividade da escola, do departamento e da

sala de aula sejam constantemente comparadas à

política e à prática do momento. Por exemplo, algu-

mas escolas secundárias de Lancashire utilizaram

pontuações com valor agregado separadas para as

matérias, para que os alunos com desempenhos me-

lhores e piores refletissem e avaliassem os seus siste-

Tabela 3 – Escalas do questionário referente ao comportamento

dos alunos de Lancashire

Pontuação

Média

Desvio

Padrão*

Escala 1: Engajamento com a escola

Item 1: Eu sempre gosto da escola [0,17].

Item 3: Sempre me dou bem com os professores [0,27].

Item 5: Os professores são sempre justos [0,33].

Item 6: O trabalho escolar é sempre interessante [0,19].

Item 31: Os professores são quase sempre simpáticos com os alunos [0,20].

2,85

Escala 2: Cultura dos alunos

Item 2: Sempre me dou bem com os outros da mesma série que eu [0,34].

Item 20: Nunca me sinto deixado de fora [0,38].

Item 33: Ninguém abusa de mim [0,17].

Item 36: Acho fácil fazer amigos [0,28].

3,28

Escala 3: Auto-eficácia

Item 26: Meu trabalho de aula é muito bom [0,51].

Item 28: Acho que sou muito inteligente [0,17].

Item 29: Todos os meus professores acham bom o meu trabalho em sala de aula [0,37].

2,93

Escala 4: Comportamento

Item 3: Sempre me dou bem com os professores [0,07].

Item 37: Como você descreveria o seu comportamento em aula? Bom [0,40].

Bomcomportamento?

seu o descreveriam professores os que acha você Como 38: Item

[0,56].

3,25

Escala 5: Apoio dos professores

Item 8: Os professores sempre me ajudam a entender o meu dever [0,19].

Item 11: Os professores sempre me dizem que eu tenho capacidade [0,25].

Item 14: Os professores sempre me dizem como está o meu desempenho [0,31].

Item 16: Os professores sempre me elogiam quando eu trabalho bem [0,29].

Item 31: Os professores são quase sempre simpáticos com os alunos [0,14].

2,87

0,08

0,07

0,08

0,10

0,12

Notas:

*Em todas as escolas.

- Os pesos do LISREL aparecem entre colchetes.

- LISREL (Linear Structural Equation Model for Latent Variables) (Joreskog,

K.G., Sorbom, D., 1989).

- Variação da Escala: 1 (=categoria da resposta mais negativa) a 4 (=cate-

goria da resposta mais positiva, que aparece na tabela).

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

mas quanto ao GCSE. Além disso, as escolas da Ir-

landa do Norte envolvidas pela DENI – originalmente,

Raising School Standards Initiative (RSSI) – têm a in-

tenção de empregar as medidas de valor agregado, bem

como outros tipos de evidência, para avaliar o impacto

de determinadas estratégias de aprimoramento

(Thomas, 1996).

As evoluções futuras na pesquisa de valor agre-

gado provavelmente deverão basear-se nas conclusões

atuais, que investigam as relações entre as medidas

de desempenho escolar e as

condições

que parecem

aumentar ou dificultar a eficácia da escola nos diferen-

tes tipos de contextos escolares. Esta abordagem exige

o uso de dados tanto qualitativos quanto quantitativos.

Por exemplo, a pesquisa realizada por Sammons e

colaboradores (Sammons et al., 1997) empregou a

metodologia de valor agregado para avaliar o desempe-

nho da escola, mas combinando-a a informações ge-

radas por entrevistas e por questionários, para investi-

gação dos fatores e dos processos relacionados a uma

maior eficácia dos departamentos ou da escola.

Por outro lado, é preciso dedicar mais aten-

ção à questão crucial de quais iniciativas ou estratégi-

as para o aprimoramento escolar representam

alavan-

cas

bem-sucedidas para o melhor desempenho esco-

lar ao longo do tempo. Um aspecto específico relacio-

na-se à variedade de estratégias que poderão ter su-

cesso nos vários tipos de contextos, como é o caso

das áreas de alta ou baixa desvantagem

socioeconômica. O Improving School Effectiveness

Project (MacBeath, Mortimore, 1994) está no momen-

to examinando esses aspectos, e as conclusões do

projeto deverão gerar informações importantes com

relação à implementação e ao impacto de determina-

das estratégias para melhorar a escola.

C onclusões

Este estudo focalizou, principalmente, o de-

sempenho das escolas, em termos dos resultados dos

exames e dos testes. Isoladamente, esses resultados

são insuficientes para julgamentos adequados sobre o

desempenho escolar. Outros resultados relativos aos

alunos, como freqüência, capacidade para aprendiza-

gem independente, atitudes em relação à escola e à

aprendizagem, comportamento e autoconceito são tam-

bém importantes. A pesquisa na área de efetividade da

escola visa examinar toda uma variedade de resulta-

dos educacionais, e o Junior School Project (Mortimore

et al., 1988), o Lancashire Project (Thomas, Mortimore,

1996) e o Improving School Effectiveness Project na

Escócia (MacBeath, Mortimore, 1994) são exemplos

dessa abordagem, que envolve a obtenção de dados

referentes a atitudes de alunos, pais e professores,

além de resultados acadêmicos. Mesmo assim, o prin-

cipal indicador de desempenho das escolas continua

a ser o seu sucesso em garantir que o máximo núme-

ro possível de alunos alcance o seu potencial acadê-

mico pleno.

Portanto, o monitoramento das variações in-

ternas de desempenho em um ano e ao longo dos anos

deverá ser estimulado, para facilitar uma análise dos

padrões para os diferentes grupos de alunos e aos ní-

veis dos departamentos, das matérias e das salas de

aula, bem como no nível geral, para que se possa ob-

servar como esses padrões podem mudar com o pas-

sar do tempo. Os resultados de pesquisas em que as

escolas são agrupadas em categorias de efetividade

rigidamente definidas demonstram que são poucas as

escolas que apresentam um desempenho tanto con-

sistente através das várias matérias quanto com esta-

bilidade através do tempo (Thomas et al., 1997). Es-

sas conclusões têm importância tanto prática quanto

teórica. O desempenho da escola que varia muito atra-

vés do tempo, ou entre os departamentos nas escolas

secundárias, tem implicações para as políticas esco-

lares integrais, e poderá representar evidência impor-

tante do impacto das iniciativas de aprimoramento es-

colar. O desempenho escolar que varia muito para os

distintos grupos de alunos (como meninos e meninas)

tem implicações para as questões de oportunidades

iguais e direitos dos alunos. De modo semelhante, as

diferenças significativas entre as diferentes matérias

no nível primário (Sammons, Smees, 1997) têm impli-

cações importantes para a efetividade dos professores

através de todas as matérias constantes do currículo

nacional.

eferências bibliográficas

COLEMAN, J. S. et al.

Equality of educational

opportunity

. Washington : US Government Printing

Office, 1966.

DEARING, R.

The National Curriculum and its

assessment

: interim report, July 1993. London :

National Curriculum Council, School Examination

Assessment Council, 1993.

DfEE.

Setting targets to raise standards

: a survey of

good practice. London : Department for Education

and Employment, 1996.

FITZ-GIBBON, C. T.

National Value Added Project

general report - issues to be considered in the design

of a National Value Added System. London : School

Curriculum and Assessment Authority, 1995.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

GOLDSTEIN, H. Assessment and accountability.

Education

, v. 183, n. 3, p. 33-34, 1995.

GOLDSTEIN, H.

Multilevel models in educational and

social research

. London : Charles Griffin, New York

: Oxford University Press, 1987.

_______.

Multilevel statistical models

. 2. ed. London :

Auckland, Sydney : Edward Arnold, 1995. (Kendall's

library of statistics, 3)

GOLDSTEIN, H. et al. A multilevel analysis of school

examination results.

Oxford Review of Education

, v.

19, n. 4, p. 425-433, 1993.

GOLDSTEIN, H., HEALY, M. The graphical presentation

of a collection of means.

Journal of the Royal

Statistical Society

, v. 581, n.1, p. 173-177, 1995.

GOLDSTEIN, H., THOMAS, S. Using examination

results as indicators of school and college

performance.

Journal of the Royal Statistical

Society

, v. 159, n.1, p. 149-163, 1996.

GOLDSTEIN, H., SAMMONS, P. The influence of

secondary and junior schools on sixteen year

examination performance : a cross-classified

multilevel analysis.

School Effectiveness & School

Improvement

, v. 8, n. 2, p. 219-230, 1997.

GRAY, J. et al. A multilevel analysis of school

improvement : changes in schools' performance over

time.

School Effectiveness & School Improvement

v. 6, n. 2, p. 97-114, 1995.

GRAY, J., JESSON, D., SIME, N. Estimating

differences in the examination performance of

secondary schools in six LEAs : a multilevel

approach to school effectiveness.

Oxford Review of

Education

, v. 16, n. 2, p. 137-158, 1990.

GRAY, J., GOLDSTEIN, H., JESSON, D. Changes and

improvements in schools effectiveness : trends over

five years.

Research Papers in Education

, v. 11, n.

1, p. 35-51, 1996.

HILL, N.

Value added analysis

: current practice in lo-

cal educational authorities. Slough : National

Foundation for Educational Research in England and

Wales, Education Management Information

Exchange, 1994.

_______.

Value added and school performance

: recent

LEA initiatives. Slough : National Foundation for

Educational Research in England and Wales,

Education Management Information Exchange,

1997.

HILL, P., GOLDSTEIN, H. Multilevel modelling of

educational data with cross-classification and

missing identification for units.

Journal of

Educational and Behavioural Statistics

. (1997, a ser

publicado)

JENCKS, C. S. et al.

Inequality

: a reasssessment of

the effect of family and schooling in America. New

York : Basic Books, 1972.

JORESKOG, K.G., SORBOM, D.

LISREL 7

: user's

reference guide. Chicago : SPSS, 1989.

MacBEATH, J., MORTIMORE, P.

Improving school

effectiveness

: a scottish approach. [s.n.t]. Traba-

lho apresentado na 20ª conferência anual da British

Educational Research Association, Oxford, setem-

bro, 1994.

McPHERSON, A. Measuring added value in schools.

In: NATIONAL COMMISSION ON EDUCATION.

Briefing

n. 1. London, 1992.

MORTIMORE, P. et al.

School matters

: the junior years.

Wells : Open Books, 1988.

MORTIMORE, P., SAMMONS, P., THOMAS, S. School

effectiveness and valued added measures.

Assessment in Education: Principles, Policy &

Practice

, v. 1, n. 3, p. 315-332, 1994.

NATIONAL COMMISSION ON EDUCATION.

Learning

to succeed

. London : Heinemann, 1993.

NUTTALL, D.

Differences in examination performance

RS1277/90

: 25. London : Research and Statistics

Branch, ILEA, 1990.

NUTTALL, D. et al. Differential school effectiveness.

International Journal of Educational Research

, v. 13,

n. 7, p. 769-776, 1989. Número especial :

Developments in School Effectiveness Research,

capítulo 6.

O'DONOGHUE, C. et al. 1996

DfEE study of value

added for 16-18 year olds in England

. London :

HMSO, 1997.

PATERSON, L., GOLDSTEIN, H. New statistical

methods of analysing social structures : an

introduction to multilevel models.

British Educational

Research Journal

, v. 17, n. 4, p. 387-393, 1991.

RUTTER, M., et al.

Fifteen thousand hours

: secondary

schools and their effects on children. London : Open

Books, 1979.

SAMMONS, P. et al.

Assessing school effectiveness

developing measures to put school performance in

context. London : OFSTED, 1994.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

SAMMONS, P. et al. Continuity of school effects : a

longitudinal analysis of primary and secondary

school effects on GCSE performance.

School

Effectiveness & School Improvement

, v. 6, n. 4, p.

285-307, 1996.

SAMMONS, P., NUTTALL, D., CUTTANCE, P.

Differential school effectiveness : results from a

reanalysis of the Inner London Education Authority's

Junior School Project Data.

British Educational

Research Journal

, v.19, n.4, 381-405, 1993.

SAMMONS, P., THOMAS, S., MORTIMORE, P.

Forging

links

: effective schools and effective departments.

London : Paul Chapman, 1997.

SAMMONS, P., SMEES, R.

Surrey LEA baseline

screening

. London : Institute of Education, 1997.

SCANLON, N.

Lancashire LEA Value Added Project

Preston : Lancashire LEA, 1996.

SCHEERENS, J.

Effective schooling

: research, theory

and practice. London : Cassell, 1992.

SCHOOL CURRICULUM AND ASSESSMENT

AUTHORITY.

Baseline assessment draft proposals

Londres : SCAA, 1996.

______.

Value added performance indicators for

schools

. London : SCAA, 1994.

THOMAS, S. Considering primary school effectiveness

: an analysis of 1992 Key Stage 1 results.

The

Curriculum Journal

, v. 6, n. 3, p. 279-295, 1995.

_______.

Research proposal for DENI RSSI Value

Added Project

. London : Institute of Education, 1996.

THOMAS, S. et al. Stability and consistency in

secondary schools' effects on students' GCSE

outcomes over 3 years.

School Effectiveness &

School Improvement

, v. 8, n. 2, p. 169-197, 1997a.

THOMAS, S. et al. Differential secondary school

effectiveness: examining the size, extent and

consistency of school and departmental effects on

GCSE outcomes for different groups of students over

three years.

British Educational Research Journal

v. 23, n. 4, p. 451-469, 1997b.

THOMAS, S., NUTTALL, D., GOLDSTEIN, H. The

Guardian survey (of A-level examination results).

The

Guardian

, 20 Oct. 1992.

_________. The Guardian survey (of A-level examination

results).

The Guardian

, 30 Nov. 1993.

________.

Report on analysis of 1991 examination

results

. London : Association of Metropolitan

Authorities, 1993.

THOMAS, S., PAN, H., GOLDSTEIN, H. R

eport on

analysis of 1992 examination results

. London :

Association of Metropolitan Authorities, 1993.

THOMAS, S., SAMMONS, P., MORTIMORE, P.

Determining what "adds value" to student

achievement.

Educational Leadership Internationa

v. 52, n. 6, p. 19-22, 1995.

THOMAS, S., MORTIMORE, P. Comparison of value

added models for secondary school effectiveness.

Research Papers in Education

, v. 11, n. 1, p. 5-33,

1996.

THOMAS, S., SMEES, R.

Dimensions of school

effectiveness

. [s.n.t.]. Trabalho apresentado duran-

te o 10th International Congress for School

Effectiveness and Improvement, 1997, Memphis,

Tennessee.

THOMAS, S., SMEES, R., McCALL, J.

Room for

improvement

: an analysis of ISEP primary baseline

measures. Trabalho apresentado no simpósio Critical

Issues in School Effectiveness Research, durante o

10th International Congress for School Effectiveness

and Improvement, 1997, Memphis, Tennessee.

TYMMS, P., HENDERSON, B. The

Value Added

National Project technical report

: primary. London :

School Curriculum and Assessment Authority, 1995.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

AVALIAÇÃO POR

DIÁLOGOS: UMA CONTRIBUIÇÃO

POSSÍVEL PARA O

APRIMORAMENTO ESCOLAR

David Nevo*

Extensas reformas ou inovações educacionais,

até mesmo aquelas que defendem abordagens de bai-

xo para cima, foram, em geral, iniciadas nos níveis es-

tadual ou nacional, como iniciativa de partidos políti-

cos, órgãos nacionais de educação, pesquisadores ou

estudiosos do mundo acadêmico. Entretanto, os re-

sultados dessas iniciativas ainda não foram vistos no

nível da escola. Observando tentativas de inovação edu-

cacional no mundo todo, parece claro que, se alguma

coisa significativa de todo acontecer, não será no Mi-

nistério de Educação, nem na universidade: será na

escola, e na sala de aula. Pode ser que as reformas

sejam concebidas por aqueles responsáveis pela cria-

ção da política, e planejadas nos Ministérios de Edu-

cação, por especialistas e por administradores, mas

elas têm de ser implementadas nas escolas por pro-

fessores e por diretores de escolas. Mudar a educa-

ção é mudar a escola, e a avaliação utilizada para o

aprimoramento de um sistema educacional não pode-

rá ter eficácia sem que seja transportada, em sua ca-

pacidade e potencial plenos, às instalações da es-

cola. Se a intenção for utilizar a avaliação para me-

lhorar a educação, ela terá de ser trabalhada no ní-

vel da escola.

A avaliação sempre esteve dentro da escola,

em especial dentro de suas salas de aula, mas numa

capacidade extremamente limitada. A avaliação já es-

tava lá até mesmo antes que os administradores de

educação começassem a empregá-la para a tomada

de decisões, e para o controle ou a fiscalização de

suas operações, no âmbito do sistema educacional.

Entretanto, a avaliação na escola era, em geral, limita-

da à avaliação dos alunos, sendo executada através

de testes, notas e boletins de desempenho. A noção

de uma avaliação sistemática da própria instrução e

dos professores, a avaliação de programas e projetos,

ou da escola como um todo, só chegou às instalações

da escola muito recentemente, e ainda está longe de

tornar-se prática comum, inclusive nos sistemas mais

avançados de educação. Até mesmo aquelas escolas

que tenham adotado abordagens inovadoras à avalia-

ção de alunos, como avaliação de desempenho,

portfólios ou exposições, não necessariamente esten-

dem a sua percepção de avaliação para além do âmbi-

to da avaliação de alunos.

Por outro lado, não é apenas a escola que tem

uma percepção limitada da avaliação. Durante muitos

anos, essa era também a percepção geral da avalia-

ção na educação (Nevo, 1983, 1995). A avaliação edu-

cacional era em geral equacionada à avaliação de

alu-

nos

, e as palavras "avaliação" e "medição" eram em

grande parte percebidas como sinônimas. Até mea-

dos da década de 60, a maior parte dos livros com

títulos como

Avaliação Educacional, Medição e Avali-

ação na Educação

, etc., discutia principalmente (na

maioria dos casos, somente) a avaliação de alunos,

preocupando-se com a criação, a confiabilidade e a

validade de testes, a pontuação e a comparação de

vantagens e de problemas dos vários tipos de aspec-

tos desses testes. A mudança surgiu no final da déca-

da de 60, e principalmente nos Estados Unidos, quan-

do foram sugeridos os conceitos de

avaliação curricular

avaliação programática

, no contexto de materiais re-

cém-desenvolvidos para currículos e de projetos em

grande escala dirigidos a alunos em situações de des-

vantagem social (Scriven, 1967; Stake, 1967;

Stufflebeam et al., 1971).

Foram desenvolvidas percepções novas de

avaliação, definindo a própria avaliação de uma forma

que pudesse ser estabelecida a distinção entre o que

é "avaliação" e o que é "medição", e estendendo o

âmbito da avaliação para além da avaliação de alunos,

com a introdução da avaliação de programas e de cur-

rículos, seguida posteriormente pela avaliação de pro-

fessores (Millman, 1981; Millman, Darling-Hammond,

1990). Foram sugeridas funções novas, que deveriam

ser servidas pela avaliação, como a tomada de deci-

sões e o aprimoramento, além da classificação e do

credenciamento. A própria metodologia de avaliação

foi desenvolvida, combinando-se métodos de pesquisa

quantitativos e qualitativos, e suplementando-os com

outros métodos, como procedimentos judiciais (Wolf,

*Davi Nevo, doutor em Avaliação Educacional, é professor da School of Education, na Tel-Aviv University. Autor de extensa bibliografia, foi editor do periódico

Studies in Educational Evaluation

, de 1984 a 1994, e também colaborador da

International Encyclopedia of Educational Technology

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

1979) e crítica de arte (Eisner, 1979). A avaliação da

educação começou também a estabelecer a sua iden-

tidade profissional, através do desenvolvimento de pro-

gramas universitários para o treinamento de avaliado-

res profissionais, nos níveis de mestrado e doutorado,

e do estabelecimento de padrões acordados para o

controle da qualidade da avaliação (

Joint Committee

1981, 1988, 1994).

Entretanto, tudo isso ocorreu – no espírito e

na prática – bem longe do prédio da escola. Os espe-

cialistas em avaliação mostravam-se preocupados com

problemas conceituais relacionados à avaliação de pro-

gramas e de projetos, e não com aspectos do interes-

se de professores e de diretores de escolas, e exerci-

am as suas profissões através de projetos de larga

escala, nos níveis nacional e estadual. Nos Estados

Unidos da América – o berço da moderna avaliação e o

país que dispõe da maior indústria de testes do mundo

– a avaliação forneceu as bases conceituais e as solu-

ções metodológicas para o movimento de

responsabilização. Apoiou-se a idéia de propor neces-

sidades de avaliação como forma de controlar as es-

colas, e ajudou-se a criar a ilusão de que a instrução

pode ser determinada através de testes. Os avaliado-

res em educação vêm-se mostrando mais interessa-

dos no trabalho com os administradores e no atendi-

mento das necessidades de informação dos respon-

sáveis pelas políticas, do que na ajuda aos professo-

res a aprimorar os métodos de avaliação que vêm sen-

do usados há décadas, ou no fornecimento a pais e a

alunos do tipo de informação de que eles precisam,

como "clientes da avaliação".

Felizmente, algumas coisas começaram a ser

modificadas na última década. Vários países estão no

processo de reforma de seus sistemas de educação,

de maneira que visam dar às escolas locais mais po-

deres, sem necessariamente eliminar padrões e requi-

sitos nacionais. Podem ser encontrados exemplos na

Grã-Bretanha, na Nova Zelândia, na Espanha e na No-

ruega. Até mesmo nos Estados Unidos, onde o distri-

to escolar continua sendo o coração do sistema edu-

cacional, ressurgiu o interesse no nível da escola. Con-

ceitos do tipo

gestão baseada na escola

escolas

aceleradas

estão atraindo mais atenção. O programa

America 2000,

do presidente Bush, e, subseqüente-

mente, do presidente Clinton, atribui grande importân-

cia ao aumento de poder das escolas e das comunida-

des locais, estabelecendo ao mesmo tempo padrões

nacionais que devem ser atingidos por todas as esco-

las. Parece que chegou a hora de levar para os prédios

das próprias escolas alguns dos recursos conceituais

e metodológicos que foram acumulados pelos avalia-

dores de programas ao longo dos últimos 30 anos, e

de utilizá-los para o benefício dos alunos, dos profes-

sores e dos diretores de escolas.

Usar a avaliação no nível da escola implica uma

abordagem baseada na escola, aproveitando as con-

cepções atuais de avaliação educacional, e determi-

nando orientações práticas para essa aplicação. As-

sim sendo, na parte seguinte deste trabalho, apresen-

tarei um número de princípios gerais de avaliação, apli-

cados na minha abordagem da avaliação escolar. E,

com base no meu trabalho com muitas escolas, no

desenvolvimento das suas capacidades de avaliação,

demonstrarei em seguida como essa abordagem pode

ser implementada de modo realista, no nível da esco-

la. Este trabalho será concluído com a sugestão de

que um discurso de mudança poderá ser necessário

na avaliação educacional, para fazê-la passar de um

discurso de descrição e de julgamento para um discur-

so de diálogo.

rincípios de avaliação para a avaliação

escolar

Com base no nosso entendimento atual do

conceito de avaliação educacional, e de sua aplicação

nas várias escolas no mundo todo, gostaríamos de

apresentar aqui os seguintes princípios de avaliação,

na nossa abordagem à avaliação baseada na escola.

1. Os alunos e suas realizações não devem ser os

únicos objetos da avaliação escolar.

Como já mencionamos, existe uma tendência

a equacionar a avaliação escolar aos testes e a avalia-

ções de alunos. O que nós sugerimos é que qualquer

entidade dentro da escola é um objeto potencial de

avaliação, contanto que exista alguma necessidade

justificada de descrever a sua natureza, e/ou de avali-

ar o seu mérito. Objetos típicos de avaliação escolar

poderão ser programas, projetos, materiais de instru-

ção, professores e pessoal da escola, alunos e a pró-

pria escola como um todo.

2. Os resultados ou impactos não devem ser o único

fator a ser examinado durante a avaliação de um pro-

grama, projeto, ou de qualquer outro objeto de avalia-

ção dentro da escola.

Isso não quer dizer que os resultados e os

impactos não sejam importantes, mas uma descrição

1 Para uma apresentação mais detalhada dessa abordagem e de seus princípios subjacentes, ver Nevo (1995).

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

inteligente de um objeto educacional e um julgamento

justo de seu mérito não podem ficar limitados ao âmbi-

to estreito de medidas de resultados, como, por exem-

plo, pontuações em testes. Para representar a

abrangência completa de um objeto educacional, a

avaliação precisa ser dirigida a, pelo menos, quatro

tipos de informações, com relação à qualidade do ob-

jeto. Esses quatro tipos de informações estão relacio-

nados às metas do objeto, às suas estratégias e aos

seus planos, ao seu processo de implementação e aos

seus resultados e impactos.

3. A avaliação escolar tem de atender tanto à função

formativa da avaliação quanto à somativa, proporcio-

nando informações para o planejamento e para o apri-

moramento, mas também para a seleção, certificação

e responsabilização.

O conceito de "avaliação formativa" enfatiza a

importância da avaliação, como sendo construtiva e

útil, ainda que em determinados casos tenha sido usa-

do como desculpa não justificada para fugir das exi-

gências de responsabilidade, sugerindo que a avalia-

ção formativa é uma alternativa para a avaliação

somativa. Não há dúvidas de que a avaliação deve ser

construtiva para a pedagogia e para a administração

dentro da escola, mas deve também auxiliar a escola

na demonstração do seu mérito para as autoridades

da área de educação, para os pais, e para o público

em geral. A tendência de evitar a avaliação somativa é

especialmente perturbadora quando ocorre em esco-

las inovadoras ou experimentais, que utilizam a avalia-

ção formativa para melhorar a sua operação, mas que

parecem esquecer que deveriam ter também a avalia-

ção somativa, para demonstrar o seu mérito como al-

ternativa viável às escolas convencionais.

4. As necessidades internas de avaliação de uma es-

cola podem ser melhor atendidas através de uma equi-

pe de professores e de outros educadores, para quem

a avaliação é apenas parte da definição de suas ocu-

pações, apoiada por treinamento adequado e assis-

tência técnica externa.

A equipe de avaliação escolar é composta por

professores e outros educadores (por exemplo,

orientadores escolares), cujo treinamento profissional

não é na área de avaliação, e para quem a avaliação

representa apenas uma pequena parte da descrição

de suas funções. O ponto forte de tal equipe de avalia-

ção reside na sua formação pedagógica e educacio-

nal, sua familiaridade com os contextos social e edu-

cacional da escola, e no fato de que não representa

qualquer tipo de ameaça ao corpo docente e à admi-

nistração da escola. O seu ponto fraco mais importan-

te é a sua falta de habilidades e experiência de avalia-

ção, ainda que isso possa ser corrigido por treinamen-

to apropriado e por assistência técnica. Claramente, a

minha preferência é por uma equipe de professores com

o apoio de assistência técnica de um avaliador em tem-

po integral ou parcial, cuja única responsabilidade seja

a realização da avaliação interna da escola.

5. A avaliação baseada na escola deve ser fundamen-

tada em uma combinação de avaliações internas e

externas, mas a avaliação interna é uma precondição

para a avaliação externa que tenha utilidade.

Na minha concepção, a avaliação baseada na

escola não é um sinônimo da avaliação interna nem

um antônimo da avaliação externa, mas sim uma com-

binação de ambas. As várias funções da avaliação den-

tro da escola podem e devem ser atendidas por avalia-

ções tanto internas quanto externas. Entretanto, a exis-

tência da avaliação interna dentro da escola é um pré-

requisito para qualquer tipo de emprego construtivo da

avaliação externa. Obviamente, os avaliadores internos

executam melhor a função de avaliação formativa, e os

avaliadores externos, a de avaliação somativa. Mas uma

escola que não disponha de um mecanismo interno de

auto-avaliação terá dificuldades para desenvolver atitu-

des positivas em relação à avaliação, e lhe faltará a

autoconfiança necessária para um diálogo construtivo

entre a escola e a avaliação externa. Nesses casos, a

avaliação se transforma em fonte de acusações e ati-

tudes defensivas, em vez de servir como base para o

diálogo entre os responsáveis internos e externos pela

tomada de decisões.

processo de desenvolvimento de um

sistema de avaliação baseado na escola

É necessário que existam várias condições,

para que seja possível um contexto organizacional no

qual a avaliação baseada na escola possa florescer e

crescer. Essas condições deverão ser desenvolvidas

de forma gradual e de uma maneira coordenada, com-

binando os recursos disponíveis na escola a recursos

adicionais, a serem levantados fora do ambiente esco-

lar. A avaliação escolar não é um processo que deixe

de envolver custos, nem é uma tarefa que não implique

esforços, mas é viável, e a nossa experiência no traba-

lho com escolas em vários países, no desenvolvimento

e na manutenção da avaliação escolar, indica que pode

ser feito, se houver vontade de que ocorra.

São necessários três elementos para se orga-

nizar uma avaliação que tenha a escola em mente:

consciência, treinamento e recursos organizacionais

O desenvolvimento de uma avaliação baseada na es-

cola é tipicamente uma atividade de baixo para cima,

como tantas outras atividades centradas na escola (por

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

exemplo, gestão), e seria interessante se fosse inicia-

da lá mesmo. Na verdade, é isso o que ocorre com

algumas escolas, e o mesmo provavelmente poderia

acontecer com outras, principalmente no caso de sis-

temas descentralizados de educação. Entretanto,

essa, infelizmente, poderá ser uma expectativa não

realista em muitos sistemas de educação, principal-

mente aqueles que tenham longas tradições de cen-

tralização e burocratização. Nesses casos, a escola

terá de ser estimulada a iniciar o desenvolvimento da

avaliação baseada na escola, e terá de receber os re-

cursos que forem necessários para mantê-la, possivel-

mente dentro da tendência mais geral de atribuição de

maiores poderes à própria escola.

O processo de desenvolvimento de um con-

texto organizacional que possa levar às condições

mencionadas acima, levando ao desenvolvimento de

um sistema de avaliação baseado na escola, consiste

de quatro etapas principais: 1) treinamento básico, 2)

criação de equipes de avaliação escolar, 3)

institucionalização da avaliação, e 4) criação de um

diálogo entre a avaliação interna e externa.

Fase I: Treinamento básico

O processo de desenvolvimento de uma avali-

ação baseada na escola inicia-se com um

workshop

regional como parte do próprio serviço, oferecido a pro-

fessores e diretores de escolas interessadas. O

workshop

deve oferecer de 50 a 80 horas de treina-

mento básico, nas áreas de avaliação de programas,

criação de testes, procedimentos para obtenção de

dados, e análise desses dados. Pode ser realizado

em bases semanais ou bissemanais, ou sob a forma

de um seminário de uma semana, durante o período

de férias, com a suplementação de várias reuniões

mensais.

A idéia do

workshop

envolve dois objetivos prin-

cipais. O primeiro é ajudar as escolas a conhecerem

melhor a natureza da avaliação baseada na escola, de

forma que possam tomar uma decisão informada com

respeito ao desenvolvimento do processo de avaliação

nas suas escolas. Para este fim, é importante que di-

retores, ou ao menos os seus assistentes, participem

workshop

. Além disso, é importante que, durante o

workshop

, os participantes façam apresentações for-

mais ou informais nas suas escolas, compartilhando

questões que tenham sido discutidas durante o

workshop

, para expandir os círculos daqueles que co-

nhecem a idéia da avaliação baseada na escola, como,

por exemplo, aqueles que deverão participar no pro-

cesso de tomada de decisões sobre a introdução da

avaliação nas suas escolas.

O segundo objetivo do

workshop

é o ensino da

"linguagem" da avaliação, de modo que aqueles que

irão desempenhar um papel ativo na avaliação possam

compreender as suas vantagens potenciais, para as

necessidades específicas de suas escolas. Não de-

vem ser criadas expectativas no sentido de que, du-

rante o

workshop

, diretores e professores possam

"aprender a como fazer avaliações", conseguindo vol-

tar para as suas escolas e começar a trabalhar, sem

assistência posterior. É extremamente difícil aprender

a realizar uma avaliação, sem realmente ter a experi-

ência de fazê-lo. Portanto, eles deverão aprender a

desenvolver a avaliação apenas na fase seguinte, quando

efetivamente realizarem a avaliação nas suas escolas,

com a assistência de seus instrutores externos de ava-

liação.

Fase II: Criação de uma equipe de avaliação da escola

As escolas que resolverem prosseguir com o

desenvolvimento da sua avaliação deverão criar equi-

pes internas de avaliação, que consistam de três ou

quatro professores, ao menos alguns dos quais tenham

participado dos

workshops

de treinamento básico. A

decisão de criar uma equipe de avaliação interna é em

geral tomada mais para o final da primeira fase.

A equipe consistirá de professores e de ou-

tros educadores (por exemplo, orientadores escolares),

que sejam liberados em parte de suas atividades, para

o trabalho na avaliação. A regra geral é que os mem-

bros da equipe deverão ser liberados em torno de qua-

tro a seis horas por semana, e o coordenador da equi-

pe, em torno de seis a oito horas por semana. Os pro-

fessores devem trabalhar na equipe durante um perío-

do de dois a três anos, sendo determinado um siste-

ma de rodízio ao longo dos anos, de modo que um ou

dois membros sejam substituídos a cada ano. Com o

passar do tempo, todos os professores deverão ter a

oportunidade de participar da equipe de avaliação da

escola.

Criada a equipe de avaliação, é preciso esco-

lher o primeiro objeto da avaliação, que poderá ser um

projeto da escola, um programa de instrução, ou algu-

ma área de atividade dentro da escola, como desenvol-

vimento de pessoal, ou envolvimento de pais. Este será

o objeto sobre o qual a escola deverá praticar a sua

capacidade de avaliação interna, e a equipe de avalia-

ção aprenderá efetivamente como executar essa ativi-

dade. Um instrutor externo de avaliação trabalhará em

cooperação estreita com a equipe da escola, nos seus

problemas específicos de organizar a avaliação, deter-

minar ou desenvolver os instrumentos adequados para

esse fim, obter dados e analisá-los, e elaborar relatóri-

os sobre as conclusões da avaliação.

Fase III: Institucionalização da avaliação

Depois que a escola tiver passado por várias

avaliações de vários objetos escolares, realizadas pela

sua equipe interna de avaliação, e após ter sido consi-

derada a utilidade dessas avaliações, bem como a sua

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

importância para as atividades administrativas e peda-

gógicas da escola, chega o momento de

institucionalizar a avaliação escolar. A equipe interna

de avaliação já terá se tornado um componente perma-

nente da estrutura da escola, recebendo recursos de

forma contínua, depois da fase experimental. É preci-

so tomar providências para oferecer à equipe assistên-

cia técnica, que normalmente será muito menos inten-

siva do que a assistência dada na fase anterior, e

fornecida de acordo com as solicitações da própria

equipe. A equipe prosseguirá com o processo de ava-

liação de um ou dois projetos ou atividades escolares

todos os anos, de acordo com as necessidades da

escola. Os resultados de todas as avaliações serão

acumulados e organizados em uma base de dados da

escola, juntamente com outras informações fornecidas

à escola, como pontuação em testes, resultados de

pesquisas, ou resultados de avaliações externas que

sejam relevantes para a escola. A base de dados da

escola deverá ser organizada de maneira que possa

ser de utilidade para professores e administradores

escolares durante o seu trabalho quotidiano, servindo

ao mesmo tempo de base para o desenvolvimento de

um portfólio escolar, que inclua dados sobre a qualida-

de geral da própria escola. É este portfólio que irá auxi-

liar a escola a demonstrar a sua qualidade quando for

necessário, servindo como base de diálogo com a ava-

liação externa.

Fase IV: Estabelecimento do diálogo com a avaliação

externa

Durante a última fase de desenvolvimento, que

poderá ser implementada em paralelo com a terceira

fase, a escola deverá estar pronta para a avaliação

externa, a ser realizada por um órgão nacional ou regi-

onal de educação. A avaliação externa deverá ser obri-

gatória em todas as escolas, quer tenham ou não de-

cidido criar uma equipe de avaliação interna. Por outro

lado, as escolas que decidirem desenvolver equipes

internas de avaliação deverão receber um prazo de um

ou dois anos, para o início da avaliação externa, de

forma a permitir que a capacidade de avaliação interna

da escola se torne operacional.

Entretanto, as escolas não devem simples-

mente aprender a como encarar as avaliações exter-

nas obrigatórias: devem também encomendar avalia-

ções externas, realizadas por avaliadores profissionais,

grupos de pais, ou equipes de professores de outras

escolas. As avaliações externas iniciadas pela própria

escola poderão focalizar a avaliação de objetos de in-

teresse especial para a escola, ou a própria escola

como um todo. Isso estenderia o âmbito do diálogo

entre a avaliação interna e externa, que é, na verdade,

o cerne da nossa abordagem da avaliação baseada na

escola.

M udando o discurso da avaliação

O discurso tradicional da avaliação é coercivo

por natureza, devido ao poder atribuído ao avaliador,

como portador do conhecimento, ou da informação, e

como juiz da qualidade. Esse tipo de discurso cria uma

relação entre o avaliador e o avaliado, ou cliente da

avaliação, que poderia ser semelhante ao que Freire

(1970) costuma chamar de relação "bancária". De acor-

do com aquele grande educador brasileiro, a relação

bancária é uma atividade assimétrica de duas partes,

que inclui um "depositante" e um "depositário". Aplica-

do à educação, o aluno é o depositário, e o professor o

depositante. O depositante possui todo o conhecimento

e a sabedoria; o depositário é vazio e ignorante. É fun-

ção do professor (depositante) depositar o seu conhe-

cimento e a sua sabedoria na mente do aluno (deposi-

tário). A função do aluno é absorver e digerir todos os

depósitos. Essa abordagem, de acordo com Freire, é

a fonte da

opressão

na educação. Para interromper

essa opressão, a educação tem de ser baseada em

diálogo

, e não em um processo de atividade

bancária.

Um processo semelhante ao processo bancá-

rio de Freire pode ser observado na avaliação. Quando

o avaliador fornece informações ao responsável pela

tomada de decisões ou ao cliente sobre os objetos

que avaliou, ele é o fornecedor, o depositante e o clien-

te, o depositário. O avaliador tem uma variedade de

"boas respostas" para as perguntas que ele espera

que sejam relevantes para os seus clientes, e que,

portanto, serão úteis para eles. A relação entre o ava-

liador e a sua platéia é até mesmo mais assimétrica

quando o avaliador não apenas informa ao cliente o

que está ocorrendo, mas também qual é a situação,

ou o que será melhor de uma forma geral, ou para ele,

especificamente.

Assim como os alunos, que não aprendem

grande coisa através de um processo freiriano de "ati-

vidade bancária", em que os professores simplesmen-

te tentam depositar conhecimento nas suas cabeças,

os educadores não irão aprender muito dos avaliado-

res cujo objetivo seja depositar em suas mentes des-

crições prontas da realidade e julgamentos quanto ao

seu valor. E, assim como os alunos, que não ficam

motivados para usar o que aprendem através dessa

forma de ensinamento, os educadores não se motivam

a usar a avaliação que seja apresentada a eles através

de um discurso coercivo de uma só via, da descrição

e/ou do julgamento. Destarte, o diálogo na avaliação é

necessário por dois motivos. Em primeiro lugar, para

possibilitar um processo melhor de aprendizagem para

entender a realidade, e, em segundo lugar, para au-

mentar a motivação para usar o que foi aprendido. O

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

diálogo pode tornar a avaliação mais criteriosa,

incrementando a sua utilização.

A educação é um empreendimento extrema-

mente complexo, e a avaliação é uma profissão extre-

mamente jovem. Para entenderem as complexidades

da educação com os meios limitados de avaliação, os

avaliadores em educação precisam ser mais modes-

tos nas promessas que fazem, com respeito à sua

habilidade de explicar melhor os "verdadeiros proble-

mas" da educação, e da sua capacidade de determi-

nar a qualidade da sua prática. Além disso, precisam

ser mais flexíveis na sua prontidão para colaborar com

aqueles que estiverem sendo submetidos à avaliação

e com outros avaliadores, em um esforço conjunto para

compreender os aspectos importantes da prática edu-

cacional e tentar melhorá-la. A avaliação deve ser a

base para diálogo, e não a origem de descrições

assertivas unilaterais e de julgamentos autoritários, e

os avaliadores devem desejar tornar-se participantes

construtivos nos diálogos educacionais, em vez de

geradores de informação inquestionável ou árbitros

autoritários.

O diálogo no processo de avaliação é também

necessário para incrementar as possibilidades de que

venha a ser usada algum dia. A pesquisa no emprego

da avaliação já demonstrou que ela tem maior probabi-

lidade de ser usada por seus clientes nas ocasiões

em que eles sejam envolvidos na sua própria iniciação,

e quando são mantidos informados sobre o seu pro-

gresso, através da interação com os avaliadores du-

rante todo o transcurso do processo de avaliação. Um

diálogo contínuo entre os avaliadores e as suas platéi-

as poderá ser extremamente construtivo no desenvol-

vimento de atitudes positivas em relação à avaliação,

originando maior receptividade para as suas conclusões.

Os indivíduos submetidos ao processo de ava-

liação sentir-se-ão menos ameaçados pelas conclu-

sões da avaliação externa, e por isso mesmo adotarão

atitudes menos defensivas em relação a elas, se dis-

puserem das suas próprias conclusões, que possam

respaldar, complementar, contradizer ou colocar em

disputa as conclusões externas. Quando alguém que

vai ser avaliado não dispuser de nada que é seu quan-

do lhe forem apresentadas conclusões negativas de

uma avaliação externa, tudo o que poderá fazer será

defender-se, tratando de desacreditar as conclusões

de avaliação, ou oferecendo desculpas para o seu pró-

prio fracasso. As duas reações – descrédito da avalia-

ção ou defesa do fracasso – não são comportamentos

muito construtivos, que possam levar ao aprimoramen-

to. Um diálogo, que incorpore perspectivas distintas,

baseado em vários conjuntos de conclusões, poderá

ser uma maneira mais útil de entender os problemas

educacionais, e de utilizar a avaliação para lidar com

eles. Para fazer da avaliação um instrumento mais

criterioso e mais útil para a escola, é preciso progredir-

mos para um discurso mais dialogal de avaliação, em

lugar de um discurso descritivo ou cheio de julgamen-

tos. Alguns princípios específicos devem ser seguidos,

para criar bases sólidas para o diálogo. Isso modifica-

ria a perspectiva da avaliação, e deveria ser expresso

em várias das atividades de avaliação escolar, como,

por exemplo, a avaliação de alunos, avaliação de pro-

fessores, de programas e a avaliação da escola em

sua totalidade.

Em primeiro lugar, a relação entre o avaliador

e as suas platéias tem de ser uma

relação de duas

mãos

. Deve ser uma relação em que haja um fluxo de

informações em duas direções, e um processo duplo

de aprendizagem mútua. As duas partes envolvidas no

diálogo não necessariamente serão iguais, mas existe

simetria na suposição de que ambas têm alguma coi-

sa a aprender da outra, e alguma coisa a ensinar uma

à outra. É um processo em que, no começo, ninguém

sabe

tudo

, mas em que as duas partes sabem

alguma

coisa

, e em que, à medida que se engajam no diálogo,

vêm a saber mais e mais.

Com respeito à avaliação de alunos, a suposi-

ção seria a de que não é apenas o professor que co-

nhece o valor de um aluno: o próprio aluno tem tam-

bém algo a dizer sobre a qualidade do seu trabalho, e,

para que seja determinada qual é realmente a sua con-

dição, essas duas fontes de informação devem ser

combinadas. Para avaliar o aluno, professor e aluno

têm de "comparar anotações" e intercambiar informa-

ções e interpretações mútuas da informação disponí-

vel. Um exemplo desse processo de duas mãos pode

ser visto em alguns dos novos

métodos alternativos de

avaliação

, como o método do

portfólio

e da

exposição

em que a contribuição do aluno, assim como as suas

reflexões, são componentes importantes da sua avali-

ação. Ainda, o processo de duas vias pode ser obser-

vado também quando, em paralelo à avaliação do alu-

no, a escola trata também de obter classificações do

mesmo aluno para a avaliação de professores. Isso

reflete a suposição de que o aluno tem algo a desco-

brir sobre a sua aprendizagem a partir do seu profes-

sor, e que o professor pode ficar sabendo alguma coi-

sa sobre a sua atividade de ensino a partir dos seus

alunos.

Ao combinarmos as avaliações externa e in-

terna para avaliar a escola como um todo, com o obje-

tivo de responsabilização ou de aprimoramento esco-

lar, supomos que não exista uma única forma objetiva

de avaliar a qualidade da escola. A chamada verdade

sobre a qualidade da escola não é prerrogativa de um

avaliador externo, nem da própria escola, que atesta

pela sua qualidade. Mesmo que exista uma verdade

única sobre a escola, estará em algum nível intermedi-

ário, e portanto somente poderá ser revelada através

de um diálogo entre as duas partes,

as duas recolhen-

do dados e interpretando-os

Em segundo lugar, é indispensável que haja

respeito e confiança mútuos

entre as partes. As duas

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

têm de acreditar que haja um interesse genuíno de cada

uma delas em compreender o que está em jogo, e que

pode representar contribuição significativa para tal en-

tendimento. Um sistema educacional que adota uma

concepção burocrática de ensino, definindo as funções

de seus professores como implementadores de um

currículo prescrito por administradores e especialistas,

não confia que os professores possam entender o en-

sino, nem confia que eles possam ser qualificados para

avaliar a sua qualidade. Tal sistema provavelmente bus-

cará um programa de responsabilização baseado em

avaliação externa, ou empregará supervisores nacio-

nais, cujo trabalho seja avaliar e supervisionar as ativi-

dades dos professores. Um sistema de educação com

uma concepção mais profissional do ensino esperará

que os seus professores planejem, desenhem e avali-

em o seu trabalho, tratando de alcançar metas

identificadas e de atender a padrões definidos de ex-

celência. Um sistema assim perceberá os professores

como profissionais, que estão interessados em com-

preender os problemas da sua profissão, em manter

os seus padrões e em garantir a sua qualidade. Esses

professores são percebidos como parceiros confiáveis

para a avaliação de professores, e como profissionais

respeitáveis, cuja avaliação será melhor servida pelos

portfólios dos professores do que pelas pontuações

padronizadas dos testes de seus alunos. Em um sis-

tema de educação como esse, a avaliação de profes-

sores poderá basear-se num diálogo entre professores

de avaliação externa e de auto-avaliação interna.

Em terceiro lugar, é preciso que os avaliado-

res sejam modestos,

reconhecendo as suas limitações

dentro do domínio do que há de mais avançado, em

termos de avaliação educacional. Alguns avaliadores

tendem a fazer promessas sem garantias, a partir das

descrições objetivas e avaliações imparciais de seus

clientes, que esperam obter através de seus podero-

sos instrumentos e metodologia de avaliação. Essas

promessas extrapolam em muito as capacidades dos

atuais métodos de avaliação, e são, em geral, expres-

são de "orgulho profissional" exagerado, ficando no li-

miar da arrogância e das afirmativas enganosas. Às

vezes, essa arrogância é racionalizada por uma ideo-

logia de isolamento, que leva o avaliador a preservar a

sua objetividade afastando-se tanto quanto possível de

seus clientes e dos indivíduos a serem avaliados, para

evitar parcialidades e envolvimento.

Em quarto lugar, a avaliação tem de ser

perce-

bida como um processo

, e não como uma atividade

isolada. A menos que a intenção seja trabalhar com

aspectos triviais, a avaliação é um processo complexo

de tratar de compreender questões também comple-

xas. Às vezes, usam-se figuras para explicar coisas.

Outras vezes, criam-se descrições e representações

extensas, para chegar ao quadro real. É um processo

que envolve a apresentação de conclusões, a sua aná-

lise, a sua discussão com grupos pertinentes, compa-

ração com outras conclusões, obtenção de informa-

ções adicionais, produção de mais conclusões,

enfrentamento de complexidades agregadas, e assim

por diante... Se for assim que a avaliação é percebida,

então o diálogo será uma parte integrante do seu pro-

cesso, quando são confrontadas várias perspectivas e

várias conclusões, na tentativa sempre presente de

expandir o entendimento. Talvez seja este o verdadeiro

processo. Mas, se a intenção é o trabalho com proble-

mas simples, que possam ser tratados através de ava-

liações simples e isoladas, por que nos importaríamos

com o diálogo? Por que nos importaríamos com qual-

quer coisa?

Em quinto lugar, a avaliação deve ser

justa

, e

tem de ser justa para as duas partes envolvidas no

diálogo. A avaliação precisa ser justa de uma varieda-

de de maneiras. Em primeiro lugar, tem de ser

conduzida de acordo com preceitos legais, éticos, e

com a devida atenção ao bem-estar daqueles que esti-

verem associados à avaliação, ou que possam ser afe-

tados pelas suas conseqüências. Não se pode espe-

rar que os professores que sentirem que estão sendo

avaliados pelos diretores ou pelos pais de uma forma

injusta participem em um diálogo sincero com respeito

a essa avaliação.

Para que a avaliação possa ser justa, os dois

lados precisam determinar com clareza o propósito da

avaliação e seus benefícios esperados, qual deverá ser

o seu preço, e quem arcará com os custos, e não ape-

nas aqui os custos financeiros. Não seria realista es-

perar que uma escola entre em um diálogo com uma

avaliação externa, ainda que voluntariamente escolhi-

da pela própria escola, se a uma determinada altura

chegar à conclusão de que está sendo explorada, por

motivos que não atendem às necessidades diretas. Isso

pode ocorrer quando a escola acreditar que uma certa

avaliação serve principalmente aos interesses da pes-

quisa do avaliador, e às necessidades de informações

do sistema de educação, em vez de ser útil à escola.

Em sexto lugar, é preciso que a avaliação seja

relevante

às questões que estiverem em jogo. Um diá-

logo, qualquer diálogo, é uma tarefa que exige muito,

que necessita de abertura, autoconfiança e muita ener-

gia da parte dos participantes. A tendência das pesso-

as é evitar o diálogo, se ele não estiver relacionado às

questões que forem efetivamente importantes para elas.

Se a avaliação tratar principalmente de aspectos trivi-

ais, ou se estiver preocupada com sofisticação

metodológica, e não com aspectos de substância, o

pessoal da escola perderá o interesse na própria avali-

ação, e evitará participar de qualquer diálogo. A ten-

dência de alguns avaliadores, de confundir os seus cli-

entes com sofisticação metodológica, quando não con-

seguem encantá-los com as suas conclusões, é uma

tentativa ingênua de tratar de dar à avaliação uma boa

aparência, quando realmente não a tem. Esses esfor-

ços conseguirão apenas aumentar a alienação do pes-

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

soal da escola em face da avaliação, além de prejudi-

car a sua reputação.

Em sétimo lugar, as duas partes deverão ser

responsáveis pelas conseqüências

da avaliação. Se a

intenção for desenvolver um diálogo entre as avaliações

externa e interna, é indispensável que exista um senti-

mento de responsabilidade conjunta pelas conseqüên-

cias. Se a avaliação externa de uma escola for

conduzida por uma organização nacional ou regional,

e se quisermos instalar um diálogo entre a escola e

aquela organização sobre a qualidade da escola, a

escola não poderá ser abandonada, para encarar os

resultados da avaliação. A organização de avaliação

deverá comprometer-se com uma parceria plena, no

desenvolvimento de soluções para os problemas que

vierem a ser revelados através da avaliação. A motiva-

ção para a escola, de engajar-se em diálogo sério para

o aprimoramento escolar, será muito pouca, se a so-

brecarga de melhorar ficar apenas sobre os seus pró-

prios ombros. Abandonar assim a escola, para soluci-

onar os problemas encontrados, não apenas limita as

possibilidades de encontrar as soluções apropriadas,

mas implica também o fato de que a escola será cul-

pada por aqueles problemas. E acusações, em vez de

estimular a solução de problemas e as ações constru-

tivas, levam a atitudes defensivas e a contra-acusa-

ções. Infelizmente, exigências exageradas pela

responsabilização e a utilização da opção dos pais

como forma de remediar problemas da escola são, na

verdade, exemplos dessa tendência dos sistemas de

educação, de

não

compartilhar com as suas escolas a

responsabilidade de enfrentar as conseqüências da

avaliação escolar.

C onclusão

A avaliação pode ter um papel importante no

aprimoramento da educação, e pode ser realizada den-

tro do contexto da escola, mas, para torná-la possível,

é necessário mudar a sua natureza, e não pura e sim-

plesmente de uma maneira técnica. Até agora, a rela-

ção entre um avaliador e um cliente foi concebida como

uma relação essencialmente assimétrica. Essa

assimetria vai contra os princípios de um diálogo cons-

trutivo, e a distinção que pressupõe, entre o avaliador e

o cliente, terá de ser reconsiderada. A distinção foi

proposta por avaliadores proeminentes, com a boa in-

tenção de desenvolver abordagens da avaliação orien-

tadas ao cliente, enfatizando a importância de atender

às necessidades de informação de clientes identifica-

dos, e não aos interesses de pesquisa de avaliadores

individuais.

Entretanto, essa distinção entre avaliadores e

clientes enfatizava também a distinção entre aqueles

que sabem e aqueles que devem receber o conheci-

mento; entre aqueles que tratam de obter informação

sistemática e aqueles que pensam de forma intuitiva;

entre aqueles que descobrem o que está errado e aque-

les que têm de corrigir; entre aqueles que têm a auto-

ridade do conhecimento e aqueles que têm a autorida-

de da ação. Talvez o que seja necessário agora seja

reduzir essa distinção, para criar uma base de diálogo

entre as duas partes. Quiçá a regra deva ser a de que

ninguém deve ter a autoridade para avaliar, se não es-

tiver pronto para compartilhar a responsabilidade pelas

conseqüências da avaliação. E não se deve esperar

que ninguém use a avaliação, se não estiver

fazendo

avaliação. Os avaliadores precisam estar prontos para

aprender com os seus clientes e com as suas platéi-

as, e não apenas para ensiná-los. E os clientes deve-

rão não apenas ser recipientes da informação, mas

também coletores e fornecedores dessa informação.

Provavelmente, a escola jamais será um bom

cliente da avaliação, a menos que comece a

fazer

avaliação, tornando-se um parceiro igual no diálogo para

o aprimoramento escolar. É preciso que as escolas

tenham a avaliação em mente, se a intenção for fazer

com que a avaliação tenha qualquer papel significativo

para melhorar a educação. Mas as escolas são forma-

das por alunos, professores e por administradores, e

somente eles poderão fazer dela uma escola que te-

nha a avaliação em mente. Alunos, professores e ad-

ministradores escolares devem transformar-se em par-

ticipantes ativos dos diálogos de avaliação, em vez de

continuarem sendo recipientes passivos das descrições

e dos julgamentos oriundos das avaliações. É preciso

que eles parem de reclamar da má qualidade da avali-

ação, e que comecem a realizá-la de uma maneira

melhor.

R eferências bibliográficas

EISNER, E. W.

The educational imagination

. New York

: MacMillan, 1979.

FREIRE, P.

Pedagogy of the oppressed

. New York :

Continuum, 1970.

GUBA, E. G., LINCOLN, Y. S.

Effective evaluation

. San

Francisco, CA : Jossey-Bass, 1981.

________.

Fourth generation evaluation

. Newbury Park,

CA: Sage, 1989.

JOINT COMMITTEE ON STANDARDS FOR

EDUCATIONAL EVALUATION.

The personnel

evaluation standards

. Newbury Park, CA : Sage,

1988.

JOINT COMMITTEE ON STANDARDS FOR

EDUCATIONAL EVALUATION.

The program

evaluation standards

. 2. ed. Thousand Oaks, CA:

Sage, 1994.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

________.

Standards for evaluations of educational

programs, projects and materials

. New York :

McGraw-Hill, 1981.

MILLMAN, J. (Ed.).

Handbook of teacher evaluation

Beverly Hills, CA : Sage, 1981.

MILLMAN, J., DARLING-HAMMOND, L. (Ed.).

The new

handbook of teacher evaluation

: assessing

elementary and secondary school teachers.

Newbury Park, CA : Sage, 1990.

NEVO, D.

School-based evaluation

: a dialogue for

school improvement. Oxford : Pergamon, 1995.

________. The conceptualization of educational

evaluation: an analytical review of the literature.

Review of Educational Research

, Washington, DC,

v. 53, n. 1, p. 117-128, 1983.

SCRIVEN, M.

The methodology of evaluation

. Chica-

go: Rand McNally, 1967. (AERA Monograph Series

on Curriculum Evaluation, n. 1)

STAKE, R. E. The countenance of educational

evaluation.

Teachers College Record

, New York, v.

68, p. 523-540, 1967.

STUFFLEBEAM, D. L. et al.

Educational evaluation

and decision making

. Itasca, IL : Peacock, 1971.

WOLF, R. L. The use of judicial evaluation methods in

the formation of educational policy.

Education

Evaluation and Policy Analysis

, Washington, DC, v.

1, p. 19-28, 1979.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

AVALIAÇÃO DO

SISTEMA EDUCATIVO: AS

ESTRUTURAS INSTITUCIONAIS

NA FRANÇA

Jacqueline Heritier*

Na França, a avaliação do sistema educativo é,

doravante, uma obrigação fixada pela Lei de Orienta-

ção da Educação, de 10 de julho de 1989. A nova impor-

tância concedida à avaliação foi reforçada pela elabora-

ção do Plano de Modernização do Serviço Público da

Educação Nacional. Estes dois textos servem de refe-

rência para identificar os atores institucionais responsá-

veis pela avaliação do sistema educacional na França.**

Dois motivos explicam as necessidades de ava-

liação:

– a pressão externa: a educação exige,

hoje, um investimento financeiro considerável.

Na França, 7,4% do PIB, ou seja, 578 milhões

de francos são destinados à educação, o que

representa 9.900 francos por habitante. A opi-

nião pública tem, portanto, o direito de exigir a

apresentação de resultados, que são medidos

por meio da avaliação;

– a pressão interna: a avaliação contribui

para o aperfeiçoamento do sistema educacional

pela verificação da implementação dos objetivos

nacionais. Em um sistema desconcentrado, no

qual os atores locais são cada vez mais autôno-

mos, a avaliação corresponde a uma preocupa-

ção de regulação: a desconcentração e a

descentralização implicam uma adaptação lo-

cal dos objetivos nacionais. A grande diversida-

de das ações não deve levar a resultados desi-

guais. Por isso, é imperativo avaliar esses resul-

tados de forma a assegurar a coerência nacional.

Na França, diferentes atores institucionais inter-

vêm na avaliação do sistema educativo.

O s atores no âmbito nacional

a) Inspeção Geral

A Lei de Orientação, de 10 de julho de 1989,

atribuiu uma posição central à Inspeção Geral no dis-

positivo da avaliação do sistema educativo. As mis-

sões de Inspection Générale de l'Education Nationale

(IGEN) foram, então, definidas em coerência com os

dispositivos da Lei de Orientação. Doravante, o contro-

le da atividade individual dos professores passa para

segundo plano, em benefício da avaliação global da

política educacional. A cada ano um programa de tra-

balho determina as áreas nas quais a avaliação deverá

ser feita. Os resultados desse trabalho serão objeto de

um relatório anual, publicado de forma a torná-lo aces-

sível a todos. A definição de uma missão global de ava-

liação necessita, igualmente, que o trabalho seja reali-

zado por equipe interdisciplinar. Assim, o acompanha-

mento da avaliação da renovação pedagógica dos es-

tabelecimentos de ensino médio exige que seja consi-

derado o conjunto das disciplinas ensinadas na escola

bem como os aspectos relativos à organização geral

do estabelecimento.

A Inspeção Geral desempenha um papel essen-

cial na definição das avaliações acadêmicas, já que

estabelece, com o reitor, o programa de trabalho das

equipes territoriais de inspeção.

Enfim, a Inspeção Geral exerce função primordi-

al nas avaliações institucionais representadas pelos

concursos e exames, tanto na definição dos temas

quanto na constituição dos júris e nas modalidades de

atribuição de notas.

b) Direção de Avaliação e de Prospectiva (DEP)

Esta Direção é responsável, de um lado, pela

organização, pela coleta e pelo tratamento do conjun-

to dos dados estatísticos do Ministério e, por outro

lado, pela formulação e implantação da avaliação do

sistema educativo. O conhecimento estatístico é, de

fato, condição indispensável para a implementação da

avaliação. A DEP é, juntamente com a Inspeção Geral,

o segundo ator central na avaliação do sistema

educativo.

*Direction de l'Évaluation et de la Prospective (DEP)/França.

**A autora refere-se ao seu artigo e ao artigo do professor Claude Sauvageot, intitulado "Avaliação e Monitoramento dos Estabelecimentos Escolares", também

neste volume. Os dois artigos são complementares, devendo o artigo da professora Heritier ser considerado a primeira parte, e o do professor Sauvageot a

segunda parte, de um mesmo trabalho (N.E.).

100

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Foi no final da década de 70 que a avaliação

ganhou destaque no âmbito do Ministério, com a cria-

ção do Serviço de Estatística. Em 1987, esse serviço

tornou-se uma direção independente, com sua deno-

minação atual. O programa de trabalho da DEP ilustra

a extensão e a diversidade de suas áreas de atuação.

A cada ano, seu programa de trabalho é elaborado,

levando em consideração três fatores:

– a continuidade dos trabalhos em andamento;

– as demandas de outras direções da adminis-

tração central;

– a preocupação de provocar determinadas re-

flexões ou de desencadear novas operações,

a fim de fornecer instrumentos pertinentes

para o debate público sobre a escola ou para

o monitoramento do sistema.

No que se refere à avaliação, pode-se distinguir

dois tipos de trabalho:

– os que visam melhorar o conhecimento do sis-

tema;

– os que se propõem a promover, em todos os

níveis do sistema, a avaliação.

Na primeira categoria, encontram-se os estudos

dos quais a própria DEP é a executora ou que ela

subcontrata a outros organismos (por exemplo, com-

parações temporais: certificados de estudos.... ou in-

ternacionais).

Na segunda categoria, encontram-se todos os

instrumentos elaborados pela DEP e divulgados para

uso dos diversos atores do sistema que deles se utili-

zam (avaliações das turmas de CE 2, 6

, 2

do ensino

fundamental, banco de dados, indicadores para

monitoramento dos estabelecimentos escolares).

Para cumprir essa dupla missão, a DEP man-

tém relações de trabalho e de intercâmbio com profes-

sores, diretores de estabelecimentos de ensino e ins-

petores. Determinados estudos são feitos em colabo-

ração com a Inspeção Geral ou com organismos de

pesquisa.

Os procedimentos da Inspeção Geral e da DEP

são, portanto, complementares. A Inspeção Geral, ali-

ás, participa ativamente na maioria dos grupos de tra-

balho da DEP e, em numerosos casos, é estabelecida,

desde a fase da formulação, uma real comple-

mentaridade dos enfoques.

c) O ministro e seu secretariado

O ministro desempenha papel decisivo na defi-

nição da política educativa. Exerce, igualmente, fun-

ção determinante na avaliação:

–- no início do processo, decide o que deverá

ser avaliado e determina sua execução à Ins-

peção Geral e à DEP (política dos ZEPs, zo-

nas experimentais, violência...);

– no final, o ministro é o único juiz dos desdo-

bramentos que devem ser ao término de uma

avaliação.

O s atores acadêmicos e departamentais

A Academia e o Departamento são os primeiros

escalões da desconcentração do Ministério da Educa-

ção Nacional. São, também, os territórios de interven-

ção dos Inspetores Pedagógicos Regionais (IPR-IA) e

dos Inspetores da Educação Nacional (IEN).

a) O papel dos inspetores

Os IPR-IAs e os IENs têm a vocação de partici-

par da avaliação global das políticas ou dos organis-

mos: avaliação do funcionamento dos estabelecimen-

tos, de determinada política...

É uma demanda sistemática que se inscreve em

um programa de trabalho anual, formulada em conjun-

to pelo reitor e por seu correspondente na Inspeção

Geral.

b) O papel dos reitores

Alguns reitores implantaram estruturas de avali-

ação no organograma da reitoria. Isso revela a vontade

de dispor de um instrumento que permita dialogar com

o Ministério e com as coletividades territoriais. Esse

encaminhamento deve ser mantido; a desconcentração

e a descentralização da gestão do sistema educativo

necessita de regulação das iniciativas locais pela ava-

liação.

s atores locais

São aqueles que trabalham no seio do estabele-

cimento de ensino: professores, quadro da direção/ad-

ministrativo, pessoal de educação.

a) Os professores

Desempenham um papel fundamental na avalia-

ção: dentro da sala de aula, para controlar a progres-

são da aprendizagem; quando das provas, para validar

esse aprendizado.

Os professores são os responsáveis pela articu-

lação da avaliação e da orientação em um processo

evolutivo discutido com o aluno. São levados a motivar

o aluno (e seus pais) na auto-avaliação de seu aprendi-

zado em relação a seu projeto ou a suas aspirações

profissionais. Além da função de avaliação dos alunos,

101

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

a Lei de Orientação de 10 de julho de 1989 determina

que a equipe educativa do estabelecimento elabore

um projeto educativo e a respectiva modalidade de

avaliação.

b) Os diretores de estabelecimentos de ensino

A atual regulamentação confere aos diretores um

papel essencial no processo de orientação dos alunos

já que a decisão final é de sua competência. Por con-

seguinte, participam da implantação e da harmonização

dos procedimentos de avaliação.

c) Outros atores locais

Há cerca de vinte anos, assiste-se, no âmbito

do sistema educativo, a uma evolução que pode ser

resumida pelo termo "abertura à escola". Baseia-se na

idéia de que a escola não pode, sozinha, atingir todos

os objetivos educativos e que é necessário associar

parceiros à sua ação: alunos, pais, médicos escola-

res, representantes das coletividades territoriais, repre-

sentantes do mundo econômico.

Trata-se de um movimento em curso no qual a

avaliação deveria, em um prazo determinado, ocupar

um lugar cada vez mais importante.

Os atores da avaliação do sistema educativo fo-

ram, portanto, agrupados em três grandes categorias

de acordo com seu nível de intervenção: nacional, aca-

dêmico e local. Essas categorias correspondem aos

três níveis territoriais e hierárquicos: o ministério, a rei-

toria e o estabelecimento escolar. Mas essas instânci-

as não são de mesma natureza: o ministério e a reito-

ria são entidades administrativas. Nelas avalia-se, mas

não se ensina. Na realidade, o local central do sistema

educativo é o estabelecimento escolar, no qual coexis-

tem administração e ensino.

A política educativa pode ser decidida fora do

estabelecimento escolar (o que é amplamente o caso

no sistema francês), mas em última instância ela é

implementada no estabelecimento escolar. Portanto,

é nele também que ela é avaliada. O estabelecimento

escolar é, por conseguinte, o local para o qual conver-

gem todas as avaliações. Quaisquer que sejam as ava-

liações, é sempre o ato de ensinar que é avaliado.

102

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

103

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

A VALIAÇÃO E

MONITORAMENTO DOS

ESTABELECIMENTOS

ESCOLARES

Claude Sauvageot

J. C. Emin

(colaborador)

s Indicadores de Monitoramento dos

Estabelecimentos de Ensino Médio

(IPES)

A Direção de Avaliação e de Prospectiva do

Ministério da Educação Nacional concluiu a implanta-

ção de um dispositivo de indicadores destinados a to-

dos os estabelecimentos escolares de ensino médio:

colégios, liceus de educação geral e tecnológica e li-

ceus profissionalizantes. Todos recebem esse dispo-

sitivo no início do ano, desde 1996. Isso se tornou pos-

sível graças à ampla utilização do potencial dos novos

sistemas de informação e de transmissão dos dados

implantados, nesses últimos anos, em benefício dos

estabelecimentos de ensino médio.

Esse dispositivo pretende responder a duas

exigências significativas: a primeira, de ordem

institucional, que torna a elaboração e a avaliação dos

projetos-escola uma necessidade legal; a segunda,

corresponde a uma demanda social cada vez mais ur-

gente e exigente quanto aos resultados e à eficiência

dos estabelecimentos escolares, o que é testemunhado

pelo sucesso alcançado pela imprensa na publicação

dos resultados do

baccalauréat

"escola por escola", de

numerosas listas de laureados e da classificação por

estabelecimento, procurando ser apresentado de maneira

sólida.

O fato de mobilizar importantes meios para sa-

tisfazer essa dupla exigência institucional e social pode

hoje parecer natural, mas é resultado de uma evolução

progressiva que acompanhou o reconhecimento das

diversidades locais pelas instituições e terminou por

legitimar o estabelecimento escolar como entidade

específica de educação, tendo um efeito próprio, o que,

no sistema educativo francês, é relativamente recente.

Aliás, o quadro conceitual que subentende a implanta-

ção desses instrumentos é diverso daquele que con-

duziu, na década de 70, à elaboração e à implantação

das linhas de orientação dos estabelecimentos secun-

dários: arriscando ser caricatural, poder-se-ia dizer que

esses trabalhos foram inspirados pela busca da renta-

bilidade dos estabelecimentos escolares, enquanto os

dispositivos atuais são fundamentados na intenção de

apreciar sua eficácia educativa global.

Serviço prestado aos estabelecimentos

de ensino

Um dos elementos do diagnóstico apresenta-

do, tanto pelos inspetores gerais quanto pelos outros

observadores, sobre a situação dos estabelecimentos

de ensino e seus responsáveis em matéria de instru-

mentos de monitoramento, era a dificuldade que tinham

em encontrar indicadores pertinentes e sua falta de

savoir-faire

para concebê-los de maneira relativamente

econômica; pode-se acrescentar que quando os esta-

belecimentos de ensino puderam e souberam elaborar

indicadores pertinentes, raramente esse esforço con-

seguiu manter-se, sendo diversos os motivos: cansa-

ço ou impossibilidade de coletar todos os anos os da-

dos necessários, problemas de formatação desses

dados, ou, simplesmente, mudança na equipe de dire-

ção do estabelecimento.

Adotou-se, então, o partido de apoiar os esta-

belecimentos escolares, primeiramente, fornecendo-

lhes uma base de indicadores totalmente calculados a

partir de informações recolhidas nos sistemas de infor-

mação e de gestão nacionais, em seguida, harmoni-

zando esses indicadores de referências nacionais e

acadêmicas que lhes permitissem situar-se em rela-

ção aos demais estabelecimentos e, por fim, dando-

lhes meios para calcular, acompanhar e armazenar na

memória os indicadores específicos que desejassem

elaborar para serem avaliados e regulamentarem seu

projeto. Tudo isso foi possível apenas porque os siste-

mas de informação e de gestão da educação nacional

– principalmente no ensino médio – evoluíram, consi-

deravelmente, a partir do início da década de 90.

*Direction de l'Évaluation et de la Prospective (DEP)/França.

104

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Até 1992, o Sistema de Informação era es-

sencialmente fundamentado em "questionários", res-

pondidos manualmente pelos estabelecimentos esco-

lares que, geralmente, não dispunham de equipamen-

tos de informática. O tratamento estatístico era efetua-

do em pesados computadores, geralmente em nível

nacional. Os serviços acadêmicos dispunham, igual-

mente, de computadores de capacidade limitada, mas

não havia ligação entre os meios de tratamento dos

níveis nacional e regional. Além disso, o sistema de

enquête

era diferente do sistema de gestão dos esta-

belecimentos escolares, o que complicava e tornava

ainda mais pesado o trabalho dos diretores de estabe-

lecimentos escolares e era fonte de erros na coleta de

dados.

Um grande esforço de construção e de implan-

tação de novos sistemas de informação foi realizado

desde então. Cerca de 7 mil colégios e liceus públicos

beneficiaram-se progressivamente de instrumentos

informatizados para a gestão dos alunos e professo-

res; foram, ao mesmo tempo, equipados com

microcomputadores e, enfim, com um sistema

telemático que colocou os estabelecimentos escola-

res em contato com as academias e estas com a ad-

ministração central.

Dois elementos do novo sistema de informa-

ção são especialmente solicitados para construir os

indicadores fornecidos pelos estabelecimentos de en-

sino: o aplicativo

"Scolarité"

que faz o recenseamento

e acompanha, durante toda a escolaridade do ensino

secundário público, os 4,8 milhões de alunos dos co-

légios e dos liceus públicos e permite "geri-los" de modo

completo e coerente, nos planos pedagógico, educativo,

administrativo e financeiro; os aplicativos

"Emplois-

Postes-Personnels"

que integram, de maneira total, a

gestão dos estabelecimentos secundários e seus em-

pregos.

Esses dois elementos são os mais solicita-

dos para o cálculo dos indicadores, mas esse cálculo

utiliza igualmente aplicativos que permitem gerir os

exames e concursos, os que admitem coletar e tratar,

por estabelecimento, os resultados dos alunos nas

avaliações nacionais na admissão na classe de 6

(1º

ano do ensino básico) e no 1º ano do ensino médio,

bem como os dados referentes à inserção dos alunos

no término do sistema educativo. O conjunto desses

dados permite o cálculo de indicadores relativos a cada

estabelecimento, cujos responsáveis consultam facil-

mente nos computadores disponíveis.

Trata-se do primeiro retorno de informa-

ções ordenadas que beneficiam os estabelecimentos

a partir dos dados que eles mesmos forneceram aos

diferentes sistemas de informação e de gestão. É or-

ganizado segundo dois princípios políticos essenciais.

Os princípios

2.1. Um instrumento que deve servir, simultanea-

mente, à avaliação interna e à avaliação externa

O nome dado ao dispositivo – "Indicadores para

o Monitoramento dos Estabelecimentos Secundários"

– enfatiza, em primeiro lugar, a avaliação interna da

escola. É um instrumento destinado ao diretor do es-

tabelecimento e à sua equipe, um instrumento de di-

agnóstico da situação e do funcionamento do estabe-

lecimento, de avaliação da política que está sendo

conduzida e de seus resultados, de regulação e de

acompanhamento de seu projeto. Mas, deve também

ser um instrumento de prestação de contas de suas

atividades e de seus resultados; a noção de prestação

de contas deve, aqui, ser tomada no sentido amplo do

termo. Os colégios e os liceus são unidades do servi-

ço público da Educação Nacional e como tais devem,

evidentemente, "prestar contas" de sua tutela, certa-

mente, mas também, de forma mais ampla, à coletivi-

dade. Uma parte dos indicadores propostos aos liceus,

aqueles relativos ao seu desempenho, estabelecidos

a partir dos resultados do

baccalauréat

são, aliás, ob-

jeto de publicação desde as provas realizadas em 1993.

2.2. Instrumento que associa uma base de indica-

dores-padrão e indicadores específicos para cada

estabelecimento

Encontramos aqui, sob outra forma, a

dualidade evocada acima: deve-se dispor, para cada

estabelecimento – e cada estabelecimento deve dis-

por – de indicadores correspondentes ao que é consi-

derado indispensável de ser levado em conta no plano

metodológico e, também, no plano político, para avali-

ar – e para que o próprio estabelecimento avalie – seu

funcionamento, seus resultados e seu desempenho.

Propõe-se-lhe, então – em certa medida é obrigado a

utilizar – uma base-padrão de indicadores que consti-

tui um compromisso entre tudo que é considerado de-

sejável de ser apreciado para avaliar, o mais completa-

mente possível, o funcionamento e o desempenho do

estabelecimento e, o que parece efetivamente razoá-

vel de ser feito, no estado atual das informações dispo-

níveis, com um custo aceitável. Trata-se assim de pro-

por, preferencialmente, elementos padronizados de

105

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

avaliação dos próprios estabelecimentos, em vez de

elementos de avaliação de seus projetos, que são di-

versos e específicos.

Mas importa que cada estabelecimento pos-

sa também, paralelamente, descrever e avaliar aspec-

tos particulares de seu projeto, de seu funcionamento

ou de seus resultados; que possa dotar-se de indicado-

res específicos, sob a condição, claro, de dispor das

informações necessárias ou de estar organizado para

coletá-las. De fato, é normal, em um contexto no qual a

lei convida os estabelecimentos a "definir as modalida-

des particulares de implementação dos programas e dos

objetivos nacionais", que a avaliação e a regulamenta-

ção dessas modalidades particulares sejam facilitadas.

O dispositivo oferece-lhes essa possibilidade.

3 A bateria-padrão de indicadores

Para dar uma idéia, serão tomados, como

exemplo, os liceus de educação geral e técnica, fican-

do entendido que cada tipo de estabelecimento de en-

sino médio (colégios, liceus profissionalizantes e liceus

de educação geral e técnica) dispõe de uma bateria

que, a partir de um tronco comum, leva em considera-

ção o que é específico a cada um. Essas baterias de

indicadores foram construídas recorrendo-se amplamen-

te à experiência e às necessidades dos usuários, utili-

zando-se, ao mesmo tempo, como pano de fundo, os

trabalhos de pesquisa sobre a escola eficaz.

Quadro 1 – IPES: Indicadores-padrão para os liceus

Indicadores referentes à população acolhida

– Características dos alunos presentes no início do ano letivo: sexo, média de idade, categoria

socioprofissional, proporção de alunos atrasados, proporção de alunos estrangeiros, proporção de repetentes;

– Características dos alunos admitidos no liceu no início do ano letivo: sexo, idade, proporção de repetentes,

proporção de procedentes de escolas particulares;

– Escola de origem dos alunos que ingressam no liceu no início do ano letivo.

Indicadores de recursos e de meios

– Meios horários;

– Características dos professores;

– Efetivos de alunos por opção.

Indicadores de resultados

– Taxa de êxito no

baccalauréat

por série;

– Taxa de acesso ao

baccalauréat

;

– Proporção de alunos detentores do

baccalauréat

entre os alunos concluintes do ensino médio;

– Destino dos alunos que concluem o liceu.

Indicadores de funcionamento

– Futuro dos alunos ao término do 1º ano do ensino médio;

– Proporção de horas de aula efetivamente assegurada ao aluno;

– Tamanho das divisões; importância dos serviços ligados ao ensino;

– Importância dos serviços ligados à vida escolar;

– Movimento do corpo docente;

– Acidentes no estabelecimento escolar;

– Estatuto dos alunos.

Indicadores ambientais

– Intensidade das relações com o meio ambiente econômico;

– Dados socioeconômicos por zona de emprego.

106

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Em numerosos casos, foi necessário recorrer

ao que se poderia chamar de "a regra do compromis-

so" entre o desejo de construir um indicador que des-

se conta do modo mais preciso e completo possível de

um fenômeno e a preocupação de utilizar da melhor

maneira os dispositivos de informação e de gestão

existentes e de não multiplicar os registros de novos

dados de informação, a respeito dos quais os estabe-

lecimentos de ensino são – com justa razão – particu-

larmente reticentes. Em seguida, houve o cuidado de

limitar-se a cerca de vinte indicadores o que, às vezes,

implicou resistir à tentação de levar tudo em conside-

ração, para limitar-se apenas a algumas linhas mes-

tras que os estabelecimentos poderiam, como vimos

anteriormente, completar em função de suas necessi-

dades e de suas prioridades específicas. A esses indi-

cadores são associados, como mencionado, referên-

cias nacionais, acadêmicas e até departamentais, que

permitem aos estabelecimentos se situarem em rela-

ção aos outros.

Empreenderam-se esforços, nessa tarefa, para

respeitar dois princípios: de um lado, fornecer um con-

junto de indicadores que se integrassem em uma re-

presentação formalizada em um modelo de ação e de

organização dos estabelecimentos escolares e, de

outro lado, apresentar os indicadores que dessem con-

ta, além dos resultados de um estabelecimento de

ensino, de seu desempenho efetivo, de seu "valor acres-

cido".

A representação formalizada é completamen-

te clássica; considera-se que um estabelecimento de

ensino é uma organização que, em um dado meio e

devido a determinado tipo de funcionamento, mobiliza

recursos para que os alunos que recebem e que pos-

suem determinado número de características saiam

com características de nível superior. Caso a bateria

de indicadores propostos não meça o conjunto dos ele-

mentos desse modelo (por exemplo: não inclua o indi-

cador que dê conta do "clima" do estabelecimento de

ensino, o qual se sabe ser um elemento importante de

sua eficiência), inclui, entretanto, pelo menos um indi-

cador para cada um desses aspectos (cf. Quadro 1).

Sua concepção é, como indicado acima, dife-

rente daquela que havia presidido à elaboração e à

implantação das linhas de orientação dos estabeleci-

mentos escolares, no final da década de 70. Essas

linhas de orientação eram, em ampla medida, conce-

bidas com base no modelo dos instrumentos utiliza-

dos pelas empresas industriais e procuravam fornecer

aos estabelecimentos escolares os meios para apre-

ciarem o mais corretamente possível os recursos colo-

cados à sua disposição (horas de ensino, meios finan-

ceiros, instalações) e o uso que lhes foi dado e para

relacioná-los com as atividades que exerciam. O

enfoque era, então, essencialmente dirigido à gestão

favorável dos recursos (de eficiência) bem mais do que

a uma ótica de eficácia em relação aos objetivos do

sistema educativo.

O dispositivo atual, ao contrário, esforça-se em

dar aos estabelecimentos escolares meios para apre-

ciarem suas características de funcionamento e, con-

siderando o contexto no qual se situam, para pro-

porem hipóteses quanto à eficiência de suas ações,

quanto ao modo como suas características interagem

umas com as outras, em uma palavra, quanto à políti-

ca que conduzem. A partir dos dados que lhes são

propostos pelos indicadores, cabe aos estabelecimen-

tos escolares determinar seus pontos fortes, pontos

fracos e elaborar seu projeto. Nessa ótica é, evidente-

mente, essencial que os estabelecimentos disponham

de uma visão tão correta quanto possível dos resulta-

dos que atingem, relativamente aos objetivos que lhes

foram fixados, como unidades do serviço público naci-

onal de educação.

Extrapolar a apreciação dos resultados

para avaliar o "valor acrescentado" dos

estabelecimentos: os indicadores de

desempenho

Trata-se de uma das principais contribuições

desse dispositivo. É tão importante que, como sabe-

mos, os resultados das escolas de ensino médio no

baccalauréat,

a cada ano, são objeto de publicação

pela imprensa e, isso, sob forma de listas dos laurea-

dos ou da classificação considerada como capaz de

dar conta dos méritos e das qualidades comparadas

dos estabelecimentos escolares.

A opção escolhida pela DEP é contrária a de

uma lista de premiados baseada em um único indica-

dor capaz de dar conta, sozinho, de todo o desempe-

nho de um estabelecimento. Tem duas características

indissociáveis: inicialmente, apresenta vários indicado-

res para cada escola (três são publicados), insistindo

no fato de que eles devem ser examinados simultane-

amente, porque cada um tem um interesse particular,

sublinhando aspectos diferentes e complementares dos

desempenhos dos estabelecimentos de ensino. Em

seguida, propõe, para cada um entre eles, uma apreci-

ação relativa à ação própria de cada escola, eliminan-

do, tanto quanto possível, a influência de fatores sobre

os quais a eficiência do estabelecimento não teria in-

fluência como, por exemplo, o maior ou menor grande

atraso escolar que possam ter os alunos recebidos.

4.1. Vários indicadores complementares para apre-

ciar os resultados de um estabelecimento escolar

taxa de êxito no baccalauréat

é o mais tradi-

cional indicador, o mais conhecido do grande público –

e sobretudo o mais fácil de ser estabelecido – que re-

laciona o número de alunos da escola, aprovados no

baccalauréat

em 1994, com o número de alunos pre-

107

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

sentes na primeira prova. É fonte de orgulho para um

estabelecimento escolar selecionar entre os alunos que

querem cursar a 1ª série do ensino médio e, em segui-

da, selecionar entre os alunos de 1ª e 2ª séries do

ensino médio, aqueles que considera aptos a obter o

baccalauréat

e deixar que os outros liceus recebam

aqueles alunos cujas possibilidades de sucesso con-

sidera fracas. Ao contrário, a taxa de aprovação de um

estabelecimento em que a quantidade de alunos de 3º

ano, detentores do

baccalauréat

, é numerosa – não da

primeira vez, mas após uma ou várias reprovações –

será menos favorável, embora uma proporção impor-

tante desses alunos tenha-se "bacharelado" ao deixar

o liceu.

Se esse indicador é totalmente insuficiente

para dar conta da eficiência do conjunto de um liceu,

ele não pode ser negligenciado, sendo que tem a van-

tagem de poder ser estabelecido facilmente e de poder

ser apresentado para cada seção do

baccalauréat

taxa de acesso dos alunos do 1º ano do

ensino médio ao baccalauréat

avalia, para um aluno

desta série, a probabilidade de obter o

baccalauréat

ao término de uma escolaridade inteiramente realiza-

da no liceu, qualquer que seja o número de anos ne-

cessários para isto. Essa taxa não é estabelecida a

partir de um conjunto real de alunos, mas resulta do

cálculo efetuado sobre um conjunto instantâneo (cf.

anexo 1). Contrariamente ao precedente, esse indica-

dor se interessa, portanto, pelo conjunto da escolari-

dade no liceu. Considera no crédito deste apenas os

alunos que têm possibilidade de nele efetuar uma es-

colaridade completa, coroada de sucesso, mesmo se

essa escolaridade inclui uma ou várias repetências; ao

contrário, os alunos que tiveram de deixar o liceu, seja

porque este liceu não oferecia a seção que o aluno

desejava estudar, seja porque foram direcionados a uma

determinada seção visando eliminá-los, ou, simples-

mente, porque mudaram de domicílio, são considera-

dos, do ponto de vista do indicador, como alunos que o

liceu não soube (ou não pôde) conduzir ao

baccalauréat

mesmo se, no final das contas, o aluno obteve esse

diploma em outro estabelecimento escolar.

Esse indicador é, portanto, muito mais perti-

nente do que a taxa de êxito no

baccalauréat

para ava-

liar a eficácia global de um liceu em relação ao objetivo

essencial do sistema educativo francês, que é o de

levar até o nível do

baccalauréat

, seguido do diploma,

uma parte importante dos jovens. Pode, entretanto, ser

afetado por fatores sobre os quais o liceu tem pouco

ou nenhum controle e que não dependem, propriamen-

te, de sua eficiência; nesse sentido, um liceu que ofe-

rece todas as seções do

baccalauréat

e que é relati-

vamente isolado – e, no resto dispõe das mesmas coi-

sas – tem mais trunfos para manter seus alunos até o

3º ano do ensino médio (e até a obtenção de um

baccalauréat

) do que um liceu que numerosos alunos

deixam durante o ciclo porque não oferece a seção

que desejam ou porque está situado em uma zona onde

a concorrência de outros estabelecimentos é muito

forte.

A proporção de "bachalerados" entre os alu-

nos que terminam o ensino

médio indica, entre todos

os alunos que deixaram o estabelecimento em um

determinado ano, independente do motivo, aqueles que

o deixaram, de posse do certificado. O índice pode ser

aplicado em dois momentos: quando se refere aos alu-

nos de qualquer nível (1º, 2º e 3º anos do ensino mé-

dio) que deixam o liceu, identifica, como o precedente,

o conjunto da escolaridade no estabelecimento, mas

de um modo diferente, já que avalia as possibilidades

de um aluno de 2º ano deixar o liceu como titular do

baccalauréat

, independentemente do número de anos

que nele passou. Quando se refere apenas aos alunos

que terminam o 3º ano, avalia as possibilidades que

um aluno, inscrito no 3º ano, tem de deixar o liceu

tendo o diploma do

baccalauréat

, até mesmo repetin-

do o 3º ano no estabelecimento; fornece, então, uma

informação particularmente útil (que os indicadores pre-

cedentes não permitiam localizar tão exatamente), di-

ferenciando os liceus que, por quererem privilegiar as

taxas de êxito, mostram-se reticentes diante da

repetência de 3º ano e aqueles que, ao contrário, con-

cedem uma ou mesmo várias novas oportunidades aos

alunos que não obtêm o

baccalauréat

na primeira ten-

tativa.

4.2. A apreciação do "valor acrescentado" pelos

liceus

As três taxas apresentadas acima constitu-

em dados brutos que não informam sobre a questão

fundamental: como avaliar a própria ação do liceu, o

que "acrescentou" ao nível inicial dos alunos que rece-

beu. Em outras palavras, caso um liceu apresente um

valor alto para um indicador, isto é devido ao fato de ter

recebido bons alunos, dotados de bons métodos de

trabalho, que puderam obter o

baccalauréat

sem es-

forço particular de sua parte, ou então, deve-se ao fato

de que soube desenvolver nos alunos, talvez menos

dotados, no início, os conhecimentos e as capacida-

des que lhes permitiram ter êxito?

Para avaliar esse valor acrescido, cuida-se de

eliminar a incidência de fatores de êxito escolar exteri-

ores ao liceu para isolar o que é devido à sua própria

ação. Para isso, busca-se, considerando os fatores

externos de êxito escolar, o que poderia (ou deveria)

ter sido, em média, a situação dos alunos do liceu em

relação ao êxito ou ao acesso ao

baccalauréat

a fim

de verificar sua situação efetiva, que é mais ou menos

favorável relativamente à situação de referência.

4.2.1. As taxas esperadas

108

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Na falta de poder dispor, imediatamente, de

uma medida do que poderia ser, com segurança, o

melhor indicador de previsão do resultado dos alunos

baccalauréat

, de seu nível de escolaridade no início

do 2º grau ou do nível de preparação para o ensino de

2º ciclo, foram selecionados dois fatores externos prin-

cipais, disponíveis no sistema de informação da Edu-

cação Nacional, que constituem, igualmente, excelen-

tes indicadores de previsão de êxito ou de acesso ao

exame: a idade e a origem socioprofissional dos alu-

nos. O cruzamento desses dois dados fornecem, de

fato, uma boa aproximação das possibilidades de aces-

so e de êxito ao

baccalauréat

de um aluno: enquanto,

para o conjunto dos alunos que freqüentam os liceus

de ensino geral e técnico públicos e privados com con-

tratos, a taxa média de êxito no

baccalauréat

ficou em

75,8% na sessão de 1996, essa mesma taxa de êxito

é relativamente contrastada, caso se considere a ida-

de e a categoria socioprofissional dos alunos (cf. Tabe-

la 1). O fato de dispor dessas características

sociodemográficas para o conjunto dos alunos dos li-

ceus permite calcular, para cada estabelecimento, a

taxa de êxito e as taxas de acesso "esperadas", ou

seja, o valor esperado para essas taxas caso, em

média, todos os alunos do liceu tivessem a mesma

escolaridade e o mesmo sucesso no

baccalauréat

que o aluno médio comparável – isto é, de mesma ida-

de e origem socioprofissional – do conjunto dos liceus

(cf. Anexo 2).

Tabela 1 –

Baccalauréat

geral e técnico – Sessão de 1996

Taxa nacional de êxito segundo a idade e a origem socioprofissional dos alunos dos estabelecimentos

públicos e privados sob contrato (França metropolitana + departamentos de além-mar)

A taxa de aprovação esperada de um liceu no

baccalauréat

é, então, a taxa de êxito que seria a sua,

caso seus alunos conhecessem o mesmo êxito no

baccalauréat

que o conjunto dos candidatos de mes-

ma idade e da mesma origem socioprofissional de to-

dos os liceus. Utiliza-se o mesmo raciocínio para cal-

cular a taxa de acesso esperada dos alunos de 2º ano

baccalauréat

De fato, duas taxas de aprovação esperada e

duas taxas de acesso esperado são apresentadas para

cada estabelecimento de ensino. Uma é calculada to-

mando por base o conjunto dos alunos da Academia

onde o estabelecimento de ensino encontra-se situa-

do; a outra, tem por base o conjunto dos alunos da

França. De fato, as diferentes academias apresentam,

bem como os estabelecimentos de ensino, taxas de

aprovação e de acesso ao

baccalauréat

sensivelmen-

te diferentes, e levar em consideração apenas as ta-

xas esperadas calculadas em base nacional discrimi-

naria, às vezes, muito pouco os estabelecimentos de

uma mesma academia.

4.2.2. Apreciação relativa do valor acrescentado

segundo diversos pontos de vista

Dispõe-se, assim, por comparação entre as ta-

xas esperadas e as taxas brutas, de um enfoque rela-

tivo do valor acrescentado de um liceu: se, para um

indicador, a variação entre a taxa bruta e a taxa espe-

rada é positiva, cabe pensar que, do ponto de vista

avaliado por esse indicador, o liceu trouxe aos alunos

que recebeu mais do que teriam recebido caso tives-

sem freqüentado um estabelecimento mediano, o que

é um índice de boa eficiência relativa. Caso a variação

seja negativa, ter-se-á suposição inversa. Com certe-

za, a variação não pode ter o mesmo sinal caso se

trate de taxa esperada em uma base acadêmica ou de

taxa esperada em uma base nacional. Encontrar-se-á,

no Encarte nº 1, uma ilustração desse procedimento.

Assim, o indicador pertinente em matéria de

aprovação no

baccalauréat

é, não a taxa bruta de apro-

vação, nem as taxas esperadas, mas a variação entre

a taxa bruta e as taxas de aprovação esperadas. Uma

Idade em 31/12/1996

+e Anos 20 Anos 19 – e Anos 18

68,9%75,3% 90,3% favorável Muito

67,8%72,4% 85,6% Favorável

Categoria

67,7%71,9% 84,0% Média

Socioprofissional

64,7%70,3% 81,4% Desfavorável

Pais dos

66,9%72,5% 86,3% Total

109

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

variação positiva em uma determinada série permite

pensar que as terceiras séries desse ano tiveram boa

eficiência, pelo menos se todos os alunos estiveram

efetivamente presentes no baccalauréat.

Encarte nº 1

No gráfico abaixo, estão representadas, a título de

exemplo, as taxas brutas de acesso e a esperada de to-

dos os liceus de uma Academia. A primeira bissetriz ilus-

tra a situação de igualdade entre as duas taxas. Cada

ponto representa um estabelecimento de ensino. Se um

ponto está acima dessa primeira bissetriz, significa, en-

tão, que o liceu permitiu a um número de alunos maior

que o esperado aceder ao

baccalauréat

, em relação à

população escolar acolhida. Se estiver abaixo, estará em

situação inversa.

Pode-se, sobretudo, ler as disparidades de de-

sempenho entre estabelecimentos. Em uma horizontal,

na qual figuram todos os estabelecimentos com a mes-

ma taxa esperada, vê-se claramente que esses estabe-

lecimentos podem ter valores acrescentados sensivel-

mente diferentes. É nesse estágio que transparece o in-

teresse deste tipo de análise. Por exemplo, o estabeleci-

mento A, cuja taxa bruta é de 55%, tem elevado desempe-

nho em termos de acesso ao

baccalauréat

. Não é esse o

caso do estabelecimento B, embora a taxa bruta de aces-

so seja, entretanto, de mais de 70%.

Da mesma forma, o indicador pertinente, no

que se refere ao acesso do 1º ano do 2º grau ao

baccalauréat

, é a variação entre a taxa de acesso bru-

ta e as taxas de acesso esperadas. Uma variação po-

sitiva permite pensar que o liceu possui boa eficiência

global, já que leva ao

baccalauréat

mais alunos do 1º

ano do que o esperado, considerando as característi-

cas externas desses alunos.

No que se refere ao terceiro indicador, a pro-

porção de

"bacharelados"

entre os alunos que termi-

nam o liceu não é associada a um valor esperado;

contenta-se em confrontá-lo com duas médias: essa

mesma proporção para o conjunto dos liceus da Aca-

demia, de um lado; para toda a França, por outro lado.

Não caberia, certamente, tirar, apenas da confronta-

ção dessas médias, conclusões sobre a eficiência do

estabelecimento. Mas ela completa as apreciações

apresentadas pelos dois primeiros indicadores.

Na verdade, a apreciação combinada dos dife-

rentes indicadores apresentados é que permite dar todo

o sentido ao dispositivo. Encontrar-se-á, no Encarte nº

2, um exemplo da análise do desempenho e da situação

de um liceu, elaborada a partir desses dados.

Gráfico 1 – Taxa de acesso bruta e taxa de acesso esperada dos liceus da Academia de Lille

Taxa de acesso bruta

Taxa de acesso esperada

9080

110

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Encarte nº 2

Três indicadores de um liceu e um exemplo de interpretação

1 – Taxa de aprovação no

Baccalauréat

por série

Taxa A B C D E F* F8 F** G H Total

Bruta 86 69 83 91 56 77 67 76

Esperada (base acadêmica) 76 68 83 84 71 72 69 75

Esperada (base França) 77 68 85 78 73 69 69 74

Presentes 135 121 123 85 34 57 197 752

*Menos F8, F 11 e F 12

**F 11 e F 12

2 – Taxa de acesso do 1º ano do ensino médio ao

Baccalauréat

Taxa

Bruta Esperada (base acad.) Esperada (base França)

Efetivo do 1ºano

71 65 63 do 2º grau 681

3 – Proporção de

bacharelados

entre os alunos no término

P/estabelecimento P/academia P/França

1º, 2º, 3º do

ensino médio 78 67 70

3º ano do

ensino médio 94 91 88

Na análise dos resultados do

baccalauréat

(indi-

cador nº 1), esse liceu aparece como médio. De fato, três

alunos, entre quatro que se apresentaram para o exame,

obtiveram o diploma. Se levarmos em consideração as

origens sociais e a idade dos alunos, as terceiras séries

desse liceu apresentam resultados próximos do que era

esperado (75% da taxa esperada em base acadêmica,

74% da taxa esperada base França). 0 exame de cada

série permite matizar essa interpretação global. As séries

13, C e G apresentam taxas medianas e exibem resulta-

dos próximos do que se podia esperar delas. As séries

com os melhores desempenhos são as A, D e F, com

uma contribuição, em termos de valor acrescido, mais

significativo para a série A. A menos eficaz é a série E, que

apresenta uma taxa de aprovação bruta fraca (56%), com-

parada com as taxas esperadas de 71% e de 73%. É

necessário, entretanto, relativizar essas últimas taxas,

estabelecidas com base em apenas 34 alunos.

Analisando as taxas de acesso (indicador nº 2) e

as proporções de

"bacharelados"

entre os alunos

concluintes do ensino médio (indicador nº 3), pode-se

melhor delinear a situação desse liceu. Um aluno do 1º

ano geral e técnico desse estabelecimento tem 71% de

possibilidade de obter o

baccalauréat

nesse mesmo li-

ceu. Considerando-se a estrutura social e a separação

dos alunos por idade, podia-se esperar que essa proba-

bilidade fosse de 65%, em referência à Academia, ou de

63% em relação ao conjunto nacional. Com uma taxa de

aprovação média, mas com uma taxa de acesso elevada,

pode-se supor que esse liceu pratique políticas de

repetência ou de reorientação eficazes entre as séries

que oferece. Esse liceu mantém grande parte de seus

alunos até que eles sejam diplomados, mesmo se, para

isso, for necessário um quarto ou até um quinto ano de

estudo no estabelecimento. Outros liceus teriam, talvez,

reorientado seus alunos para outros estabelecimentos

de ensino.

Essa hipótese é confirmada pela análise da pro-

porção de

"bachalerados"

entre os alunos que concluí-

ram o ensino médio. De fato, quase todos os alunos de 3º

ano (94%) deixam o liceu com o

baccalauréat

. Se nos

interessarmos em todos os que deixam o liceu, essa pro-

porção cai para 78%, o que é bem superior às médias

acadêmica (67%) e nacional (71%). Isso confirma bem a

idéia de que se deixa esse liceu, mais do que os outros,

após ter obtido o

baccalauréat

em qualquer das opções

propostas.

111

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

A nexos

ANEXO 1

TAXA DE ACESSO DO 1º ANO DO ENSINO MÉDIO

BACCALAURÉAT

A taxa de acesso do 1º ano ao

baccalauréat

para um liceu, é o produto das taxas de acesso do 1º

ao 2º ano, do 2º ao 3º ano e do 3º ao

baccalauréat

calculadas para este estabelecimento de ensino em

um ano determinado.

O cálculo dessas taxas não se fundamenta na

observação de um conjunto real de alunos de 1º ano,

mas sobre o que se convencionou denominar de con-

junto instantâneo. Essas taxas descrevem melhor, em

um dado momento, o que ocorre em um estabeleci-

mento, do que aquelas baseadas em conjunto reais.

De fato, nesse último caso, seríamos obrigados a es-

perar que o conjunto de alunos tenha deixado o liceu

(4 ou 5 anos, pelo menos).

A taxa de acesso de um nível a outro traz, para

a população dos alunos de um estabelecimento dei-

xando o nível inicial, a população daqueles que têm

acesso ao nível superior no mesmo estabelecimento.

A fórmula é a seguinte, por exemplo, para o ano

1992-1993:

ESL

Taxa de acesso de um nível a outro = x 100

EI - ERL

Com:

EI = alunos inscritos no nível inicial em setembro de

1992;

ERL = alunos do estabelecimento que repetiram o ní-

vel inicial no liceu em setembro.

Para o cálculo das taxas de acesso do 1º ao 2º ano e

do 2º ao 3º ano:

ESL = alunos do estabelecimento que passaram para

o nível superior no liceu em setembro de 1993.

Para o cálculo da taxa de acesso do 3º para o

baccalauréa

ESL = alunos do estabelecimento que tenham obtido

baccalauréat

em junho ou em setembro de 1993.

ANEXO 2

TAXAS ESPERADAS

Se a taxa bruta de aprovação no

baccalauréat

calculada simplesmente – trata-se da relação entre o

número de

"bachalerados"

e o número de candidatos

presentes na primeira prova –- o cálculo da taxa de

aprovação esperada é mais complexa.

Taxa de aprovação esperada

Para calcular a taxa de aprovação esperada,

agrupam-se os alunos do liceu que se apresentaram

baccalauréat

em doze subpopulações obtidas com-

binando-se três categorias de idade (i) e quatro agru-

pamentos de origem social (j). A taxa de aprovação

esperada no

baccalauréat

é obtida aplicando-se aos

efetivos de cada uma das 12 subpopulações (n, j) as

taxas brutas de aprovação (t, j) do conjunto dos alunos

de mesma idade e da mesma categoria

socioprofissional constatados na população de refe-

rência (todos os alunos escolarizados nos estabeleci-

mentos públicos ou privados sob contrato da Acade-

mia – base acadêmica – ou da França – base França).

ΣΣ ni, j x ti, j

i j

Taxa de aprovação esperada =

ΣΣ ni, j

i j

Os agrupamentos por idade (i) correspondem aos

alunos:

– sem atraso escolar;

– com um ano de atraso escolar;

– com mais de um ano de atraso escolar, isto é,

aos alunos tendo 18 anos e menos; 19 ou 20

anos e mais, no ano do

baccalauréat

Os agrupamentos por profissão e por categorias

sociais (i) são feitos em quatro categorias elaboradas,

levando em conta os resultados dos estudos sobre a

aprovação escolar dos alunos em função de sua ori-

gem social:

– categoria denominada "muito favorecida", com-

preendendo os diretores, as profissões inte-

lectuais superiores e todos os professores;

– categoria denominada "favorecida", compreen-

dendo os chefes administrativos;

– categoria denominada "média", agrupando agri-

cultores proprietários, artesãos, comerciantes,

chefes de empresas, empregados;

– categoria denominada "desfavorecida", reunin-

do os operários e os inativos.

Taxa de acesso esperada

Para calcular a taxa de acesso esperada, de

acesso de um nível a outro, agrupam-se os alunos do

nível inicial em doze subpopulações obtidas combinan-

do-se as mesmas três categorias de idade (i) e os

mesmos quatro agrupamentos de origem social (j) que

foram utilizados para o cálculo das taxas de aprovação

esperadas. Em seguida, aplica-se aos efetivos das doze

subpopulações do nível inicial (n, j) as taxas brutas de

acesso (ta, j) do conjunto dos alunos de mesma idade

112

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

e de mesma categoria socioprofissional, calculadas

sobre a população de referência (todos os alunos, de

um mesmo nível, qualquer que seja o estabelecimento

público onde são escolarizados, contabilizados em ní-

vel acadêmico – base acadêmica – ou nacional – base

França).

A fórmula é a seguinte:

ΣΣ ni, j x tai, j

i j

Taxa de aprovação esperada =

ΣΣ ni, j

i j

113

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

ARRANJOS INSTITUCIONAIS

PARA AVALIAÇÃO

Ernest R. House*

Quais serão os melhores arranjos institucionais

para a realização de avaliações? Para responder a esta

pergunta, é preciso, em primeiro lugar, considerar o

motivo que nos leva à avaliação profissional. A avalia-

ção, como instituição de informação para as decisões

públicas, surgiu apenas durante a última terça parte

do século XX, em primeiro lugar, e de maneira mais

disseminada, nas sociedades capitalistas avançadas.

O capitalismo avançado – altamente valoriza-

do pela sua eficácia em aprimorar os padrões de vida –

é também um processo extremamente desestabilizador.

Enormes massas de pessoas migram para longe de

suas casas e de suas famílias, em busca de trabalho

em cidades estranhas, afastando-se de seus amigos,

de suas associações tradicionais, e até mesmo de seus

idiomas maternos. Quando todos os empreendimen-

tos humanos se vêem sujeitos a padrões de produtivi-

dade e de eficiência, sobra pouco espaço para o que é

tradicional ou característico de qualquer comunidade.

Por outro lado, foram as formas tradicionais de autori-

dade - a Igreja, a comunidade e a família – que deram

apoio à legitimidade dos governos.

Com as bases tradicionais de apoio fragilizadas

pela mobilidade tanto do capital quanto da mão-de-obra,

e com as rápidas modificações na tecnologia e nos

estilos de vida, é necessário que os governos encon-

trem outras fontes de legitimização para as suas ações,

além das tradicionais. Existe toda uma variedade de

fontes de legitimidade, mas, o que é mais importante,

os governos precisam demonstrar que têm capacida-

de para sustentar a melhora material de suas socieda-

des, ou seja, de aumentar a prosperidade material de

suas populações. Poucos regimes conseguem sobre-

viver sem oferecer essa grandeza material. Assim sen-

do, os governos nessas sociedades tratam de criar as

condições econômicas que possam facilitar os empre-

endimentos capitalistas.

Outra fonte de legitimidade é a instituição da

ciência profissional, que assumiu parte da autoridade

uma vez investida na religião. A avaliação profissional,

através da sua identificação com a ciência, dá legitimi-

dade às ações do governo, avaliando seus programas

e políticas, em relação ao seu valor social. Quando o

presidente Lyndon Johnson deu partida em seus con-

troversos programas da "Great Society" nos Estados

Unidos, nos anos 60, garantiu sua aprovação no

Legislativo simplesmente assegurando ao Congresso

que aqueles programas seriam avaliados. Em grande

escala, a avaliação foi iniciada nos Estados Unidos

em torno do ano de 1967.

É preciso notar que

não

estou afirmando que

a avaliação seja puramente cosmética, ou que seja

realizada

apenas

tendo em vistas a legitimidade. Ao

contrário, a avaliação efetivamente serve para determi-

nar a eficácia de programas, políticas e do pessoal.

Informa as ações do governo e educa a opinião públi-

ca. Também não estou sugerindo que exista nenhum

elemento de insinceridade nesses esforços. Entretan-

to, sem a função legitimizadora oferecida pela avalia-

ção a um público cético, outras fontes de informação

seriam adotadas em seu lugar, como o emprego de

especialistas. A avaliação científica tem a vantagem

da credibilidade pública de suas conclusões.

redibilidade

Para gerar essa credibilidade, é preciso que a

avaliação seja vista como independente nas suas con-

clusões, e como sendo justa até certo ponto. Caso

seja considerada como indevidamente parcial, perderá

a sua credibilidade. A falta de credibilidade é o proble-

ma das comissões do governo, em que cidadãos proe-

minentes chegam às conclusões que o governo dese-

ja. Freqüentemente, as pessoas não confiam nessas

comissões, porque elas não são independentes, e por-

que não têm credibilidade científica. Refletem a orien-

tação do governo.

*Ernest R. House é professor da School of Education na University of Colorado, desde 1985. Dentre a sua produção bibliográfia, destacam-se as duas últimas

obras:

Professional evaluation: social impact and political consequences

(1993) e

Productivity in Education: policies, markets and teacher assets

(1998). Realizou

estudos sobre avaliação para várias instituições: National Education Association, Ford Foundation, OECD, Federal Coordinating Council for Science,

Engineering and Technology in Washington.

114

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Para que sejam consideradas como acreditá-

veis, as avaliações deverão ser baseadas em duas prá-

ticas principais. Uma delas é o emprego de uma

metodologia científica objetiva, como já sugeri, e a ou-

tra prática relaciona-se aos avaliadores, que deverão

ser politicamente

independentes

dos programas e das

políticas sob avaliação. Em meio à comunidade de ava-

liação profissional, perdura um debate constante so-

bre a eficácia das várias metodologias de avaliação, e

essas discussões variam desde as melhores formas

de obtenção de dados como apresentar as conclusões.

Freqüentemente, esses debates têm um cunho alta-

mente técnico, ainda que, apesar disso, não sejam

menos ferrenhamente contestados.

A maior parte dos julgamentos sobre as

metodologias adequadas encontra-se nas mãos da

comunidade profissional, e não no governo. O empre-

endimento da avaliação profissional, assim como o

empreendimento médico profissional, depende de um

mercado livre de idéias, para forjar as suas

metodologias. O governo influencia indiretamente a

metodologia, a partir do momento em que aprova que

métodos deverão ser utilizados nos estudos patrocina-

dos por ele, ainda que raramente se envolva diretamente

nos debates metodológicos.

Por exemplo, em um estudo de cinco anos da

principal agência de avaliação da National Science

Foundation (NSF), constatei que os órgãos do governo

tendem a aprovar as metodologias tradicionais para os

estudos, como pesquisas e visitas de campo, que se-

jam bem compreendidas e aceitas tanto por avaliado-

res quanto por não avaliadores. Há menos probabilida-

de de as agências do governo aprovarem o financia-

mento de metodologias novas, de que as pessoas dis-

cordem. E esse conservadorismo metodológico faz

sentido, se a legitimidade dos estudos for uma preocu-

pação importante.

A segunda das estratégias principais para a

garantia da legitimidade é a localização dos avaliado-

res em lugar que seja resguardado da interferência

política. Não se deseja que as conclusões da avalia-

ção sejam modificadas por aqueles cujos programas

estejam sendo avaliados. Se a agência de avaliação

estiver localizada em local protegido daqueles que fo-

rem ser submetidos à avaliação, haverá menos oportu-

nidade de interferência com os estudos. Assim, a agên-

cia de avaliação da NSF está localizada na sua própria

divisão, tendo o seu diretor

status

igual ao dos direto-

res das divisões de programas. Eventualmente, a agên-

cia de avaliação é localizada dentro de uma agência

superior da organização. Por exemplo, o Federal Bureau

of Investigation (FBI) tem a sua agência de investiga-

ção localizada no escritório do diretor assistente des-

sa instituição.

Por outro lado, há um preço a ser pago por

esse tipo de independência política. Quando a agência

de avaliação é afastada dos programas, existe menos

comunicação entre os avaliadores e o pessoal dedica-

do aos programas. Esta separação reduz a possibili-

dade de as conclusões da avaliação serem utilizadas

por aqueles que trabalham nos programas. Uma das

principais preocupações dos avaliadores da NSF é

convencer o pessoal dos programas a empregar as

conclusões da avaliação. Para estimular o uso das

conclusões, é necessário engajar o pessoal envolvido

no programa desde cedo no projeto do estudo, para

que o aceitem. Mas a separação das agências não

encoraja esse tipo de cooperação.

Uma outra forma de estimular o uso das con-

clusões da avaliação é construir de maneira ativa uma

cultura de avaliação, dentro das próprias agências do

governo. Isso pode ser feito através da organização de

seminários para o pessoal envolvido no programa, atra-

vés de reuniões individuais com ele, e, principalmente,

ajudando o pessoal do programa a entender e a partici-

par no planejamento da avaliação e na implementação

de suas conclusões. Entretanto, a criação de uma

cultura de avaliação em uma agência é um processo

que leva muito tempo; somente poucas agências em

Washington foram bem-sucedidas nessa tarefa. O

desenvolvimento de uma cultura de avaliação continua

sendo uma tarefa a ser considerada, e não uma tarefa

realizada (House, Haug, Norris, 1996).

Além de ser científica e independente, a avali-

ação deve também ser vista como sendo justa. Com

isso, quero dizer que os interesses e os pontos de

vista relevantes devem ser representados na avaliação.

Uma avaliação terá pouca credibilidade aos olhos do

público em geral se representar apenas os interesses

e os pontos de vista do governo. É preciso que a avali-

ação represente os interesses de todos aqueles que

sejam afetados de modo significativo pelo programa

(às vezes mencionados como "partes interessadas").

Atualmente, um dos debates mais controversos na

comunidade de avaliação diz respeito a que interesses

deveriam ser representados.

T endências recentes

Esses foram os avanços das últimas poucas

décadas. E as outras tendências? Uma tendência po-

derosa foi a de os governos reduzirem o seu tamanho.

Essa redução de tamanho faz parte de uma teoria eco-

nômica (da escola de economia de Chicago), que afir-

ma que os governos devem limitar os seus gastos, de

forma que haja mais dinheiro disponível para o setor

privado, que, presumivelmente, pode usar os recursos

de maneira mais eficaz, para gerar mais riqueza. Além

disso, de acordo com essa teoria, os governos devem

desregulamentar o setor privado.

115

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Ainda, os próprios governos devem ser mais

parecidos com empresas, mais empreendedores

(Osborne, Gaebler, 1992). Devem planejar e avaliar os

serviços públicos, mas os próprios serviços públicos

devem ser prestados pelo setor privado, em vez de por

agências do governo. O governo deve planejar as suas

atividades, em vez de produzi-las. Por vezes, o conjunto

dessas políticas é chamado de "nova gestão pública".

Essas políticas resultaram em redução dos

recursos do governo e levaram a uma outra função para

a avaliação. Os governos desejam efetuar grandes cor-

tes de orçamento, querendo também que esses cor-

tes sejam vistos como legítimos. Em especial, foi este

o caso na Europa, onde a recente onda de avaliação

foi intimamente associada aos escritórios de contabi-

listas e de orçamento. O governo Thatcher, na Grã-

Bretanha, foi talvez o primeiro a utilizar a avaliação pri-

mariamente como instrumento para o corte de custos,

mas vários outros governos fizeram a mesma coisa,

incluindo os governos social-democratas nos países

nórdicos (Henkel, 1991).

Tudo isso resultou em modificações na pró-

pria comunidade profissional de avaliação. Enquanto

as primeiras comunidades de avaliação, nos Estados

Unidos, eram basicamente formadas por funcionários

do governo dedicados à pesquisa social, na Europa,

contabilistas, economistas e especialistas em orça-

mento tornaram-se mais freqüentes. Os critérios de

eficiência tornaram-se tão importantes quanto os crité-

rios de eficácia , para a avaliação de programas.

Um outro resultado foi que os próprios servi-

ços de avaliação passaram a ser terceirizados, ou con-

tratados externamente. Com o intuito de reduzir o seu

tamanho, as agências do governo vêm terceirizando

muitos serviços do governo junto ao setor privado. Ta-

refas uma vez realizadas pelos órgãos do governo es-

tão hoje sendo executadas por empresas privadas. A

nova gestão pública sustenta que essas empresas pri-

vadas têm a capacidade para executar esses serviços

de modo mais eficiente. E, de fato, ao reduzir seus

quadros, os órgãos do governo com freqüência não dis-

põem de pessoal suficiente para executar internamen-

te as tarefas.

As avaliações são também cada vez mais

terceirizadas. Por exemplo, na já mencionada agência

da NSF, nada mais do que três especialistas em avali-

ação administram em torno de 20 milhões de dólares

em estudos. Virtualmente todos os estudos de avalia-

ção são contratados de firmas privadas. O pessoal da

NSF simplesmente não poderia realizar a tarefa, mes-

mo que o desejasse. Políticas semelhantes foram

adotadas na Austrália, na Nova Zelândia, na Grã-

Bretanha e na Holanda (Boston et al., 1996).

Esse movimento de terceirização resultou no

desenvolvimento de mercados especializados de avali-

ação. Empresas com e sem fins lucrativos realizam

estudos para o governo. Entretanto, vale a pena obser-

var que o mercado de avaliação desenvolvido

não

tem

as características de um mercado neoclássico. Em

um mercado neoclássico, existem muitos comprado-

res e vendedores de bens e de serviços. Se os com-

pradores não gostam de um produto, podem voltar-se

para outros vendedores do produto. Se os vendedores

não gostam do preço oferecido pelo seu produto, en-

contram compradores que ofereçam um preço melhor.

Assim, as relações de mercado são impessoais, e não

de pessoal. E, presumivelmente, o mercado é mantido

em equilíbrio a um alto nível de eficiência, através des-

se balanço de compradores e vendedores impessoais.

Entretanto, o mercado de avaliação que vai se

desenvolvendo não é assim, ao menos não em Wa-

shington. Por exemplo, apenas quatro empresas reali-

zam toda a atividade de avaliação da NSF. O pessoal

dessas empresas desenvolve relacionamentos pesso-

ais estreitos com o pessoal da NSF. Afinal de contas,

os funcionários da NSF precisam dispor de conclusões

de avaliação para exibir ao Congresso, e necessitam

de contratados confiáveis para fornecer as avaliações

a tempo. Por outro lado, as quatro empresas contrata-

das tornam-se dependentes dos recursos da NSF, que

respondem por uma parte significativa de seus orça-

mentos.

Assim, em lugar de relacionamentos impes-

soais de muitos compradores e de muitos vendedores,

o mercado passa a ser caracterizado por relações bi-

laterais pessoais, cara a cara. As vantagens dos mer-

cados – custos baixos, alta qualidade – não necessa-

riamente se aplicam a esses mercados. Os serviços

adquiridos podem realmente custar mais, e a qualida-

de do produto pode ou não ser um problema, depen-

dendo da competência dos contratados.

É isso que os economistas chamam de "mer-

cado imperfeito", e, para fazer com que esse mercado

funcione, é preciso que o governo tome determinadas

providências. O órgão do governo deve ter a capacida-

de para definir exatamente o que deseja, independen-

temente de seus contratados, as empresas responsá-

veis pela execução da avaliação. O órgão deve ser ca-

paz de determinar quais são os bons contratados, de

controlar de perto os produtos e de diferenciar as ava-

liações boas das más (House, 1997). Essas tarefas

exigem a inclusão de alguma maneira de atividades de

fiscalização na organização.

A contratação da avaliação de terceiras par-

tes levanta também aspectos relativos ao controle das

conclusões da avaliação. Na Grã-Bretanha, principal-

mente os governos Thatcher e Major propuseram con-

tratos de avaliação que atribuem um controle conside-

rável sobre as conclusões de avaliação a patrocinado-

res do governo das próprias avaliações (Norris, 1995).

Em alguns casos, as conclusões foram suprimidas ou

modificadas, e foram negadas aos avaliadores oportu-

nidades de tornar públicas as suas conclusões.

Ainda que esse controle não pareça ser um

problema importante em todos os países, é fácil compre-

116

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

ender que a prática disseminada da supressão das

conclusões pelo governo terminaria por negar a

credibilidade das avaliações como um todo, do ponto

de vista do público. Os avaliadores gerariam relatórios

em que ninguém acreditaria. A longo prazo, essas prá-

ticas seriam autodestrutivas para o governo, uma vez

que levariam à contaminação de uma fonte de legitimi-

dade do próprio governo. Mas, evidentemente, o gover-

no é conhecido por ter optado por práticas não inteli-

gentes no passado, e por ter garantido vantagens a

curto prazo a custos de longo prazo.

Assim, em resumo, a avaliação é o produto

das interações do governo, da comunidade de avalia-

ção profissional e do mercado econômico. As interações

entre esses três setores da sociedade moderna – ou

seja, o Estado, a sociedade civil e a economia – são

complexas, mutuamente dependentes, e às vezes

conflitantes. Mas é essa a estrutura das economias

capitalistas avançadas.

D esafios futuros

Quais são os futuros desafios a serem consi-

derados por essas organizações institucionais de ava-

liação? Em primeiro lugar, existe o problema potencial

da interferência política, como já foi levantado. Nitida-

mente, a avaliação tem funções políticas, e é politica-

mente útil, mas, para desempenhar adequadamente a

sua função de legitimização para o governo, não pode

ter os seus processos politizados. Perderá toda a sua

credibilidade. Ter credibilidade significa ter a capacida-

de para publicar conclusões negativas. Que cidadão,

onde quer que pudesse estar, acreditaria que as ações

do governo são sempre positivas?

Em segundo lugar, existe o problema econô-

mico dos mercados especializados de avaliação. Co-

nexões estreitas entre os governos e as empresas re-

sultam em relacionamentos bilaterais próximos, o que

pode terminar por afetar a qualidade e a credibilidade

do trabalho. Será que as empresas que forem tão de-

pendentes das agências do governo gerarão relatórios

favoráveis aos programas dessas mesmas agências?

Há sinais disso nas avaliações da NSF. Em uma ex-

tensa avaliação, com visibilidade nacional, os avalia-

dores mostraram-se relutantes em criticar a política do

governo, embora os avaliadores da NSF argumentem

que este não é um problema muito disseminado.

Evidentemente, é fácil ver que as empresas

contratadas imaginem que, ao produzirem relatórios

negativos, terão menos probabilidade de receberem

contratos futuros da agência. Ironicamente, neste caso,

o que os funcionários das agências desejam ver são

as conclusões negativas, de forma que possam saber

onde e como cortar alguns dos programas. É impor-

tante saber como a terceirização das avaliações e o

desenvolvimento de um mercado de avaliação afetam

as próprias avaliações, mas não dispomos de um en-

tendimento sobre esse fenômeno.

Em terceiro lugar, estão as questões

metodológicas, que incluem a acomodação das

metodologias ideais de avaliação aos aspectos políti-

cos. Buscam-se métodos que sejam possíveis de se-

rem apoiados, do ponto de vista político, e que sejam

profissionalmente aceitáveis – o que nem sempre é

fácil de achar. E é possível imaginar de que forma es-

sas questões poderiam interagir. Por exemplo, em qual-

quer operação burocrática, o fluxo de informações atra-

vés dos níveis técnico, administrativo e institucional é

problemático (Wilson, 1989).

Os funcionários técnicos fazem o trabalho, ao

passo que os próprios especialistas em avaliação fis-

calizam os contratos e operam os programas. Admi-

nistradores, em geral diretores de divisões ou de de-

partamentos, preocupam-se com os produtos finais, e

podem ter apenas um conhecimento superficial das

empresas que estejam realizando o trabalho. Os che-

fes institucionais, no topo da organização, lidam com

legisladores, com o público e com outras forças políti-

cas, para obterem recursos para a sua agência. Pos-

suem consciência nada mais do que vaga sobre o tra-

balho que está sendo desenvolvido. A comunicação

entre esses níveis pode ser disfuncional.

O desastre do ônibus espacial Challenger,

causado por um anel de vedação, é um exemplo im-

pressionante, quando os funcionários técnicos (os en-

genheiros) desaconselharam o lançamento da nave,

devido ao tempo frio. A empresa contratada, a Morton

Thiokol Corporation, tinha conhecimento de que os

anéis de vedação, que selam os tanques de combustí-

vel, poderiam apresentar mau funcionamento no inver-

no. Os altos administradores da National Aeronautics

and Space Administration (NASA) foram informados

do perigo, mas jamais compreenderam plenamente a

probabilidade de falha do anel de vedação. Estavam a

tal ponto preocupados com as conseqüências políti-

cas de não lançar o ônibus espacial, que o desastre

aconteceu: o ônibus foi lançado e explodiu. Conside-

rando-se que cada um dos níveis da organização esta-

va preocupado com um aspecto distinto, as probabili-

dades de falhas na comunicação eram altas.

A mesma coisa pode ser dita da avaliação

dentro do governo. Por exemplo, os legisladores exi-

gem informação "de impacto", uma necessidade trans-

mitida aos especialistas em avaliação através da ca-

deia de comando. Os especialistas em avaliação e as

empresas contratadas determinam o que é tecnica-

mente viável de ser feito sob aquelas circunstâncias,

ou seja, que tipos de informações poderão ser obtidas.

Entretanto, aquilo que o Congresso quer dizer com "in-

formação de impacto" e o que pode ser produzido são

117

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

duas coisas diferentes. Pode-se encontrar muitas fa-

lhas de entendimento à frente.

Em quarto lugar, há uma questão prática, so-

bre de quem serão os interesses e pontos de vista a

serem incluídos na avaliação, de forma que ela seja

considerada como tendo sido justa e imparcial. É in-

dispensável que as avaliações tenham aparência de

serem justas e imparciais, para terem credibilidade.

Ser imparcial significa incluir os interesses de todas

as partes relevantes na avaliação, incluindo aquelas

que tenham poder de voz. Não somente deverão ser

representados na avaliação os interesses dos ricos e

dos poderosos: com isso, focalizam-se questões de

justiça social na avaliação.

Já discuti esses aspectos em um livro de 1980,

mas deverei entrar em maiores detalhes em um outro

livro, ainda não terminado (House, 1980). Em poucas

palavras, o meu argumento é que a avaliação deve ser

democrática, dialogal e deliberativa. Deve ser demo-

crática, no sentido de que inclua os interesses e os

pontos de vista de todas as partes interessadas. Deve

ser dialogal, em termos de que precisa estabelecer

um diálogo com as partes interessadas, de forma que

a avaliação possa representar autenticamente os inte-

resses dessas partes. E a avaliação precisa ser

deliberativa, para que possa dar às partes interessa-

das a oportunidade de deixar claros os seus verdadei-

ros interesses, de modo que se consiga chegar a deci-

sões bem tomadas. Em termos gerais, a avaliação

deverá servir para informar uma democracia deliberativa.

C onclusão

Em resumo, e com respeito às providências

para a realização de avaliações, elas precisam ser in-

dependentes a ponto de ter a capacidade de chegar a

conclusões que sejam imparciais. Devem ser vistas

como sendo críveis, se quiserem atingir essa função.

Sua imparcialidade advirá da utilização da metodologia

científica apropriada, e da proteção contra a interferên-

cia política. Dentro do governo, as agências de avalia-

ção deverão ser localizadas em órgãos independen-

tes, posicionados próximos aos responsáveis pela to-

mada de decisões, mas não no mesmo escritório dos

programas a serem avaliados. Os métodos científicos,

que evitem quaisquer formas de parcialidades, devem

ser oriundos da comunidade profissional de avaliação.

Cada vez mais, as avaliações vêm sendo pa-

trocinadas por órgãos de governos, sendo realizadas

através de contratos firmados com empresas particu-

lares, a ponto de vir desenvolvendo-se um mercado

especializado para serviços de avaliação. Essas em-

presas contratadas precisam ser vistas como compe-

tentes, do ponto de vista profissional, e as agências

dos governos devem tomar determinadas providências

para que esses arranjos possam funcionar, incluindo

tanto a fiscalização da qualidade das avaliações pro-

duzidas, quanto a capacidade dos próprios contrata-

dos para a avaliação.

Finalmente, estou consciente de que muitas

pessoas imaginarão que seja ingênuo falar da inde-

pendência política dos avaliadores dos governos, que

os funcionários do governo sempre tratarão de interferir

nas avaliações e de influenciar as conclusões, para a

sua própria vantagem. E, é claro, muitos funcionários

de governos farão isso. Por outro lado, a outra consi-

deração significativa é a relativa fragilidade dos gover-

nos nos Estados capitalistas avançados. Nessas so-

ciedades, os governos necessitam de legitimidade, uma

vez que as decisões econômicas críticas foram colo-

cadas além do seu alcance. Os governos precisam de

amigos, que possam dar apoio à sua legitimidade, ain-

da que esses amigos sejam justos e imparciais.

R eferências bibliográficas

BOSTON, J. et al.

Public management

: the New

Zealand Model. Oxford, England : Oxford University

Press, 1996.

HENKEL, M.

Government, evaluation and change

. Lon-

dres : Jessica Kingsley Publishers, 1991.

HOUSE, E. R.

Evaluación, poder y ética

. Madrid :

Morata, 1994.

________. Evaluation in the government marketplace.

Evaluation practice

, v. 18, n. 1, p. 37-48, 1997.

________.

Evaluating with validity

. Beverly Hills, CA :

Sage Publications, 1980.

HOUSE, E. R., HAUG, C., NORRIS, N. Producing

evaluations in large bureaucracies.

Evaluation

, v. 2,

n. 2, p. 135-150, 1996.

NORRIS, N. Contracts, control, and evaluation. J

ournal

of Education Policy

, v. 10, n. 3, p. 271-285, 1995.

OSBORNE, D., GAEBLER, T.

Reinventing government

Reading, MA : Addison-Wesley, 1992.

WILSON, J. Q.

Bureaucracy

. New York : Basic Books,

1989.

118

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

119

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

COMO PODE A AVALIAÇÃO

CONTRIBUIR PARA A POLÍTICA EDUCACIONAL?

OS USOS DA INFORMAÇÃO

Barry MacGaw*

A política de educação é formulada e

implementada nos níveis do sistema e da escola.

Mesmo naqueles casos em que o sistema impõe

severas restrições ao que as escolas fazem, sempre

existe lá algum grau de discernimento sobre a forma

específica das políticas e sobre como podem ser

implementadas.

Alguns sistemas altamente descentralizados,

como é o caso dos Estados Unidos da América e da

Inglaterra e do País de Gales, estão tratando de

desenvolver políticas nacionais mais fortes, para

determinar uma estrutura para as políticas escolares.

Outros sistemas tradicionalmente centralizados estão

no processo de devolver muito mais responsabilidade

pelas decisões sobre políticas e práticas à escola, ainda

que possam criar algum tipo de estrutura de

responsabilidades, de forma que fique claro para as

escolas sobre quais aspectos elas devem consultar

as autoridades centrais sobre suas políticas, programas

e desempenho.

uso da informação no nível do sistema

Existem várias maneiras através das quais os

sistemas de educação podem avaliar as suas

operações, no nível do próprio sistema.

Uma das maneiras é a análise externa. O

Departamento de Educação Escolar de Nova Gales do

Sul, Austrália, adotou essa abordagem durante vários

anos, reunindo um pequeno grupo de renomados

educadores da Inglaterra e dos Estados Unidos que se

encontravam todos os anos para analisar e escrever

relatórios sobre algum aspecto do sistema. A vantagem

que pode advir de um painel de grandes especialistas

depende do saber e da condição dos que fazem parte

dele, da abrangência das questões que examinam, e

da adequação da informação sobre a qual se baseiam

os seus julgamentos.

Uma estratégia alternativa é aquela em que o

sistema estabelece alguns métodos de rotina para a

avaliação do seu próprio desempenho, obtendo e

analisando uma variedade de dados sobre o

desempenho do sistema.

adoção de um enfoque sobre os

resultados

Durante as décadas de 60 e 70, vários países

desenvolvidos buscaram formas de expandir os

recursos para financiamento de seus sistemas de

educação, enquanto se acomodavam em primeiro lugar

com o aumento da população, e em seguida com a

maior participação, além dos anos de freqüência

obrigatória à escola.

Já na década de 80, foram sendo levantadas

dúvidas sobre as vantagens geradas pelo crescente

volume de recursos dirigidos. Como foi constatado pelo

Comitê de Avaliação da Qualidade da Educação da

Austrália (1985), pouca informação havia sido obtida

sobre a eficácia dos programas introduzidos com o novo

fluxo de financiamento, não havendo assim nenhuma

explicação bem-fundada sobre os benefícios. Quase

uma década mais tarde, a ausência de evidências sobre

vantagens passou a ser interpretada como a presença

de evidências para a ausência delas. Ainda mais, o

argumento era o de que se os recursos podiam ser

aumentados sem que houvesse benefícios, podiam

também ser reduzidos sem detrimentos (Comissão

Victoriana de Auditoria, 1993).

A ausência de dados sobre os efeitos dos novos

programas e de outras reformas não serviu muito bem

*Barry McGaw é diretor do Conselho Australiano de Pesquisa Educacional (ACER). Foi o autor do estudo de caso australiano para o projeto da Organização para

a Cooperação e Desenvolvimento Econômico (OCDE) sobre a definição de padrões na educação. Em 1996-1997, o relatório final da sua análise sobre o

certificado da High School em Nova Gales do Sul foi a base para o informe oficial do governo, divulgado em agosto de 1997.

120

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

aos que haviam proposto aquelas iniciativas. Por outro

lado, muitos deles permaneciam relutantes em apoiar

a implementação de qualquer programa explícito de

monitoramento, argumentando que as medidas

provavelmente empregadas seriam limitadas demais

para que pudessem refletir toda a variedade de suas

metas educacionais.

Observava-se a tendência de afastar o enfoque

dos insumos, ainda que, em um primeiro momento,

apenas para medidas intermediárias, como a

participação. A participação mais intensa tornou-se em

si mesma uma meta. Para as subpopulações em

situações de desvantagem, o objetivo passou a ser a

redução das diferenças entre a população como um

todo e a subpopulação em questão, em termos de taxa

de participação além dos anos de educação obrigatória.

Cada vez mais, o enfoque foi transferido da

participação para os resultados. Na Austrália, por

exemplo, um relatório nacional sobre a educação de

australianos aborígenes (Departamento de Emprego,

Educação e Treinamento, 1988) baseou as suas

recomendações para o desenvolvimento e

implementação de políticas em torno de quatro tópicos:

l envolvimento dos povos aborígenes e do

Estreito de Torres no processo de tomada de decisões

no campo da educação;

l igualdade de acesso aos serviços de

educação;

l igualdade na participação na educação; e

l resultados educacionais apropriados e iguais.

Estes tópicos refletem a mudança de enfoque,

mais geralmente do acesso e da participação para os

resultados. Acesso e participação são meios, e não

fins. São condições necessárias para o desempenho,

mas não o garantem, e realmente não são a certeza

de resultados com igualdade.

A própria maneira de expressar os resultados

foi também sujeita a mudanças. O debate sobre os

objetivos comportamentais nas décadas de 60 e 70

era um argumento sobre o nível de especificidade

apropriado no enunciado de resultados esperados em

um currículo. Os objetivos comportamentais eram

enfatizados, com base no fato de que o seu uso

determinava aquilo que os professores deveriam

esperar, de uma forma que tornaria óbvia a realização

do objetivo, uma vez que a evidência poderia ser

observada no comportamento do aluno. Os críticos

argumentavam não só que havia outros objetivos

importantes, além do comportamento, mas também

que a divisão dos objetivos em partes menores e

possíveis de serem observadas desagregaria a

aprendizagem a tal ponto que o quadro do todo seria

perdido em suas partes.

A tendência atual, em direção a especificações

de resultados, envolve até certo ponto esse risco de

desagregação, ainda que a abordagem seja distinta

em aspectos importantes. O mais significativo deles é

que existe uma abordagem mais integrada à

conceitualização dos resultados. As seqüências de

resultados através dos anos sucessivos de freqüência

escolar são especificadas de forma clara, para

descrever o desenvolvimento esperado na

aprendizagem de um aluno em um determinado tema.

Esta abordagem foi adotada na estrutura de currículo

nacional na Austrália, na especificação de estágios

principais na Inglaterra e no País de Gales, e em vários

enunciados sobre padrões nos Estados Unidos.

Na abordagem australiana, por exemplo, o

currículo foi dividido em oito principais áreas de

aprendizagem, para cada uma das quais foram

desenvolvidas seqüências de resultados previstos, ao

longo de várias linhas.

Na área de Língua Inglesa, há três linhas:

l expressão oral e compreensão oral;

l leitura e visualização e

l escrita.

Em Estudos da Sociedade e do Meio Ambiente,

há seis linhas:

l pesquisa, comunicação e participação;

l tempo, continuidade e mudança;

l lugar e espaço;

l cultura;

l recursos e

l sistemas naturais e sociais.

No caso dos Estudos da Sociedade e do Meio

Ambiente, a primeira linha trabalha com os principais

processos empregados em todos os estudos nesta

área, enquanto que os outros cinco identificam os

conceitos principais a serem aprendidos.

Há, em curso, um debate sobre o lugar ocupado

pelo conteúdo entre o aspecto dos resultados, mas

está claro que eles apenas especificam a estrutura do

conhecimento, das habilidades, das atitudes e dos

valores a serem aprendidos. Os enunciados dos

resultados não incluem um currículo, através do qual

pudessem ser adquiridos conhecimento, habilidades,

atitudes e valores. O desenvolvimento do currículo é

uma tarefa separada, a receber informações da

estrutura dos resultados.

os resultados aos modelos a serem

seguidos

A especificação dos resultados da educação

envolve a determinação de algo, com respeito às

expectativas da aprendizagem. É um passo importante

em direção ao estabelecimento de padrões, mas poderá

jamais chegar lá.

Os resultados especificados na estrutura do

currículo nacional da Austrália, por exemplo, definem

uma seqüência de resultados que se espera sejam

alcançados pelos alunos durante os seus primeiros dez

121

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

anos de freqüência escolar. Esses resultados são

agrupados em oito níveis, bastante amplos, não

havendo especificação quanto ao nível da seqüência

de resultados que os alunos deveriam alcançar em cada

uma das etapas da escola. O nível 8 foi inicialmente

concebido como o nível que os alunos deveriam

alcançar na 11ª e na 12ª séries. Por causa do currículo

altamente estruturado existente nos estados para essas

séries, com as avaliações associadas, abrangendo a

totalidade dos estados, o que se revelou foi a extrema

dificuldade em desenvolver um enunciado comum de

resultados para um Nível 8 projetado para cobrir essas

séries. Ao fim, o Nível 8 foi mantido, para descrever os

resultados que os melhores alunos poderiam alcançar,

antes do final da 10ª série.

A falta de ligação direta entre o nível de série e

o nível do resultado foi bastante proposital. Na verdade,

a intenção era deixar claro que, em qualquer que fosse

a série, a expectativa era que os alunos estivessem

trabalhando em uma variedade considerável de níveis.

Os alunos na Austrália avançam através das várias

séries por idade, e não através do progresso efetuado,

ao chegar a resultados específicos. Não seria razoável

supor que todos os alunos de uma série estejam em

uma determinada etapa da sua aprendizagem, e a

escola e o currículo de aula devem levar esse fato em

consideração.

Alguns dos sistemas dos estados desde então

ligaram os onze anos, do Jardim de Infância à 10ª série

a oito níveis da seqüência de resultados. O Estado de

Victoria cancelou o Nível 8 e ligou sete níveis aos

primeiros onze anos, até a 10ª série. A Introdução

dessas ligações foi em parte uma resposta a uma

necessidade percebida, no sentido de que os

professores recebessem diretrizes mais claras daquilo

que, de uma forma geral, deveriam esperar dos seus

alunos. Além disso, foi uma tentativa de estabelecer

as expectativas sobre a velocidade em que, em geral,

se espera que os alunos aprendam o conteúdo coberto

pelo currículo escolar.

Cada vez mais estão sendo descritos objetivos

explícitos dessa natureza, como modelos a serem

observados, em termos de desempenho. O que ainda

não ficou claro é como exatamente esses modelos

deverão ser estabelecidos. Os padrões passados de

desempenho dos alunos de diferentes séries poderão

servir como uma base. Uma outra seria a comparação

com níveis de desempenho esperados nas séries

correspondentes em outros sistemas, incluindo os de

outros países.

Conceitos de modelos a serem seguidos

A noção da determinação de modelos a serem

seguidos (

benchmarking

) veio dos setores empresarial

e industrial. Ali, a discussão gira em geral em torno da

comparação com um modelo de "melhor prática", até

mesmo "melhor prática em nível mundial". A prática de

benchmarking

enfatiza o processo, e não os resultados.

Não é que os resultados sejam irrelevantes. Até certo

ponto, eles não são ambíguos, e possibilitam critérios

claros de acordo com os quais é possível julgar o

processo.

O critério dos resultados não precisa ter um

caráter financeiro, ainda que seja financeira, em última

análise, a medida do desempenho de uma empresa da

área empresarial ou industrial. Um departamento de

aquisição dentro de uma fábrica, por exemplo, pode

ser comparado contra departamentos de aquisição de

organizações semelhantes, ou com o componente de

aquisição de uma organização especializada, que pura

e simplesmente compra e vende. As características

dos processos de aquisição da companhia externa

poderiam ser introduzidas na empresa, usando a

primeira como modelo. Os aprimoramentos de

desempenho poderiam ser testados, através do uso

de indicadores explícitos de desempenho, como

transações por membro do pessoal em alguma unidade

de tempo, ou custo por transação.

Nos casos em que os resultados sejam mais

ambíguos, como na prestação de serviços de natureza

humana ou social, o enfoque do processo de

benchmarking

tende a ser concentrado nos resultados,

e não mais no processo. São realizadas comparações

com outras organizações em termos de medidas dos

resultados. A melhor prática é definida em termos de

resultados, pelo menos durante as primeiras etapas.

É fácil encontrar exemplos na prática médica.

No caso de saúde pública, são usados como

indicadores as taxas de mortalidade e morbidade.

Evidentemente, o quadro obtido poderá ser bastante

complexo. Caso caia a taxa de mortalidade infantil,

bem poderá haver um crescimento da taxa de

morbidade entre as crianças, já que terão sobrevivido

aquelas portadoras de algum tipo de incapacidade. À

medida que declinam as taxas de mortalidade devidas

a um tipo de enfermidade, poderão elevar-se outras,

devido a outras doenças, mas com a idade média de

morte mais alta do que era antes. Aqueles que não

morrem devido à causa anterior, poderão viver durante

mais tempo, mas ficarão mais propensos à morte em

conseqüência da segunda causa. Outros indicadores

referem-se à duração média da hospitalização para os

pacientes que recebam tratamento para uma

determinada condição, taxa de retorno de pacientes

com alta, e assim por diante.

Benchmarking em educação

Na educação, a discussão mais atual do

processo de

benchmarking

concentra-se nos

resultados. Os modelos a serem copiados são

tipicamente definidos como níveis de desempenho que

devem ser esperados de todos os alunos com o mesmo

estágio de escolaridade. Os estados australianos que

ligaram as suas séries escolares a níveis na estrutura

do currículo nacional podem argumentar que os

122

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

resultados no nível ligado a uma determinada série

representam o modelo para aquela série, determinando

o que deve, pelo menos, ser esperado dos alunos

daquela série.

Por outro lado, as coisas não são tão diretas

quanto parecem, uma vez que existem 11 séries (do

Jardim de Infância à 10ª série), e oito níveis de

resultados. As ligações definidas no Estado de Victoria

aparecem na Tabela 1.

Tabela 1 – Ligação entre o nível de resultados e

as séries em Victoria, Austrália

A adaptação feita em Victoria da estrutura do

currículo nacional, como sendo a sua Estrutura

Curricular (CSF), claramente vai além da especificação

das seqüências nas quais podem ser alcançados os

resultados, e passa a ser uma proposta de intenções

sobre quando se espera que esses resultados sejam

efetivamente alcançados.

O documento referente a cada área principal

de aprendizagem explica às escolas que essas ligações

entre as séries escolares e os níveis constantes do

CSF são feitas:

para possibilitar diretrizes claras para as escolas sobre

o tempo e a progressão do currículo e dos padrões. A

Diretoria reconhece que não há ritmos iguais no

processo de aprendizagem das crianças. O CSF oferece

descrições sobre os anos de freqüência escolar

necessários para a cobertura dos elementos mais

importantes das principais áreas de aprendizagem...

Ao desenvolver os padrões, a Diretoria descreve

padrões esperados em determinados níveis. Os padrões

não representam simplesmente descrições

informadas de desempenhos do momento, mas

relacionam-se especificamente às aspirações do

enfoque curricular

(Board of Studies

, 1995, p. 4).

No nível nacional, na Austrália, há um projeto

atual que está sendo dirigido pela Associação de

Currículo, para a determinação de modelos a serem

seguidos referentes ao desempenho dos alunos no

campo de letramento e conhecimento numérico para a

3ª e a 5ª séries, sendo distribuídas as minutas das

descrições, para comentários.

Os sistemas de exames públicos nos estados

e territórios da Austrália, ao final da 12ª série, são uma

avaliação do desempenho dos alunos nas matérias que

eles tenham optado por estudar. Durante muitos anos,

os sistemas operaram sem distinção de "aprovado/

reprovado". Os alunos são solicitados a terminar um

determinado número e padrão de cursos, para a

obtenção de um certificado em que aparecem os

resultados por matéria. Em alguns casos, aparecem

notas na escala de 0 a 100, mas 50 não é a nota "para

passar", uma vez que uma proporção fixa de candidatos

em geral recebe notas abaixo de 50.

Em Nova Gales do Sul, o governo adotou uma

abordagem de referência a padrões para a avaliação e

informação sobre o desempenho dos alunos, da forma

recomendada por uma análise do Certificado de Higher

School (McGaw, 1997), mas acrescentou um requisito,

de que as bancas do exame determinem um nível

mínimo de aceitação de desempenho que receberá nota

50 (ministro da Educação e do Treinamento de Nova

Gales do Sul, 1997). Não vai haver requisito para que

uma determinada proporção de alunos tenha nota abaixo

de 50. O fato de os alunos receberem notas acima ou

abaixo vai depender de que tenham alcançado o padrão

exigido, ou o modelo. Ainda está para ser definido o

ponto até o qual os modelos serão comparáveis entre

as matérias.

F ontes e formas de dados

Quando o enfoque no nível do sistema era

concentrado nos insumos, eram usados vários

indicadores sobre a qualidade desses resultados, para

avaliação do sistema como um todo. O nível de

despesas por aluno era o mais óbvio e o mais

freqüentemente usado. Uma importante análise da

escola realizada no início da década de 70 revelou o

investimento australiano em educação escolar como

baixo, quando comparado a outros países da OCDE, e

variável quando eram examinados os sistemas dentro

do país (Comitê Interino, 1973). O comitê de análise

desenvolveu um índice de utilização de recursos, como

meta para o aumento nos investimentos que tinha de

ser alcançada até o final da década de 70 em todos os

sistemas, com apoio financeiro do governo federal. A

meta foi alcançada.

Outros indicadores referentes a insumos, que

refletiam em grande parte a forma de direção dos

recursos financeiros, concentrava-se no número e no

Nível de

resultado

Série

Nível 1

Nível 2

Nível 3

Nível 4

Nível 5

Nível 6

Nível 7

Final da Série Preparatória

Final da 2

série

Final da 4

série

Final da 6

série

Final da 8

série

Final da 10

série

Extensão para os que passam do Nível 6

123

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

nível de treinamento dos professores, número e tipo de

pessoal auxiliar, oportunidades de desenvolvimento

profissional para os professores, e assim por diante.

A atenção passou a ser canalizada para os

alunos, à medida que se passou cada vez mais a olhar,

na década de 80, as taxas crescentes de participação

além dos anos de freqüência obrigatória à escola, ou

seja, após a 10ª série. Esse era visto como um objetivo

desejável, ainda que não fosse um indicador direto dos

resultados. Como indicado anteriormente, na discussão

sobre a educação de aborígenes, a participação é uma

condição necessária, mas não suficiente, para o

desempenho.

Os dados sobre desempenho dos alunos falam

mais diretamente sobre a possibilidade de um sistema

de educação estar capacitando os alunos a alcançarem

os resultados estabelecidos como metas de

aprendizagem. Todos os sistemas de educação

australianos dispõem hoje em dia de algum tipo de

processo para a coleta anual de dados, através do qual

se acompanham os níveis de desempenho dos alunos.

A maior parte deles examina o desempenho na 3a série,

em especial para avaliar se os alunos desenvolveram

as habilidades básicas nas áreas de letramento e

conhecimento numérico que serão pré-requisitos para

outras formas de aprendizagem, e na 5a série. Outros,

acompanham também o desempenho durante as

primeiras séries da escola secundária.

A maior parte dos sistemas, hoje, avalia todo

o grupo de alunos, para fornecer relatórios aos pais.

Com esse volume de avaliações para receberem notas

e para a geração de relatórios, utilizam-se formas muito

limitadas de dados. As respostas dos alunos precisam

ser corrigidas por máquinas, o que limita as formas,

ainda que não completamente, à múltipla escolha.

Durante os primeiros anos, e ainda hoje na

parte ocidental da Austrália, o acompanhamento incluía

apenas uma amostra representativa de alunos, e não

toda a população estudantil. Com um volume mais

restrito de respostas a serem pontuadas e incluídas

em relatórios, ficou aberta a possibilidade de questões

mais complexas e respostas abertas. A Figura 1 mostra

um exemplo do acompanhamento do desempenho dos

alunos em Ciências, no Estado de Victoria.

Figura 1 – Material de estímulo para avaliação dos conceitos de Ciências dos alunos

124

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

A questão, que aparece na Figura 1, é uma

dentre várias, que pediam uma resposta dissertativa,

que revelasse alguma coisa da idéia que o aluno tinha

sobre a matéria. Nesse item, as respostas foram

classificadas de acordo com as categorias ordenadas

que aparecem na Tabela 2.

Tabela 2 – Categorias das respostas dadas por

alunos à questão sobre condensação

Usando um modelo de créditos parciais da

teoria de item-resposta, é possível calibrar a localização

dos limites entre as categorias de respostas a uma

questão desse tipo. A escala possui propriedades de

intervalos e valores numéricos que podem ser atribuídos

a ela, para indicar as unidades da escala. A escolha

dos valores numéricos é arbitrária, assim como o é a

escolha dos valores das escalas Fahrenheit e Celsius,

para a temperatura. Os resultados da calibração

aparecem na Figura 2.

condensação quando o ar resfria

da atmosfera – sem indicação de mecanismo

condensação – sem mencionar a atmosfera

líquido fora da jarra vem de dentro

líquido passou pelos lados da jarra

respostas impossíveis de interpretar

Figura 2 – Calibração dos limites para o item sobre

condensação

A partir daí e de outras questões, que

focalizavam o conceito da estrutura da matéria, foi

possível calibrar a estrutura da escala da matéria, que

aparece na Figura 3. O item sobre condensação

envolvia apenas uma mudança física, mas alguns dos

outros, que tinham a ver com o processo de cozimento,

envolviam mudanças químicas, e assim pode levar os

alunos cujo modelo da matéria ia além da teoria das

partículas para a idéia da recombinação das partículas

de modos diferentes, à medida que as substâncias vão

sendo formadas em uma reação química.

noção de reações químicas

modelo da matéria em partículas

conhece processo não facilmente

observáveis

identifica apenas os componentes

observados

observações e definições simples

exemplos ou "mágica" como explicação

Figura 3 – Escala da estrutura da matéria

Usando uma amostra relativamente grande de

alunos, a equipe de pesquisa responsável por essa

avaliação da aprendizagem dos alunos conseguiu,

através de um teste com papel e caneta, efetuar uma

investigação detalhada do entendimento conceitual dos

alunos na área de Ciências, do tipo usado por

professores de Ciências, com o uso de técnicas muito

mais intensas de entrevistas (Adams, Doig, Rosier,

1991). O instrumento de avaliação foi posteriormente

publicado em separado, sob o título

Tapping Students'

Science Beliefs

(Adams, Doig, Rosier, 1992).

I nterpretação dos dados

O amplo acompanhamento do desempenho de

alunos em um sistema de educação pode ser um

instrumento bastante desastroso, a menos que receba

cuidadosa atenção às interpretações que precisarão

ser feitas com os dados obtidos. Por sua vez, isso

exigirá que sejam levadas em consideração as platéias

a que se destinam tanto os próprios dados quanto as

interpretações deles.

Público para as interpretações

O acompanhamento no nível do sistema é, em

geral, justificado como uma forma de satisfazer as

necessidades de responsabilização para com o público.

Neste caso, a platéia é o público em geral. Para que

essa necessidade seja bem satisfeita, tudo dependerá

do nível de abertura e acessibilidade do relatório sobre

o desempenho geral dos alunos do sistema.

Outros que podem ter um interesse legítimo

no acompanhamento no nível do sistema são altas

autoridades do próprio sistema; neste caso, o

Categoria de resposta

Pontos

condensação quando o ar resfria

da atmosfera – sem indica

ão de mecanismo

condensação – sem mencionar a atmosfera

líquido fora da jarra vem de dentro

líquido passou pelos lados da jarra

respostas impossíveis de interpretar

125

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

acompanhamento deverá informá-los sobre o impacto

geral de suas políticas.

Nos casos em que o acompanhamento é

realizado com a verificação de toda a população de

alunos, cada escola e os próprios pais poderão obter

informações sobre respectivamente um determinado

aluno, ou uma determinada escola, dentro do contexto

do padrão geral dos resultados.

Dados no nível do sistema

Ainda que os dados relativos à participação

não constituam uma medida do resultado, eles são

significativos para questões de eqüidade, e são

importantes em qualquer avaliação da política de

educação. As diferentes taxas de participação por

gênero, por condição socioeconômica, localização (área

rural ou urbana) todas poderão sinalizar a necessidade

de iniciativas de natureza política, para a redução das

desigualdades.

Além disso, os efeitos podem ser mais sutis.

Não é simplesmente uma questão de se os alunos

estão participando, mas também em quê. Por exemplo,

em Nova Gales do Sul, o estudo da Língua Inglesa é

oferecido através de quatro diferentes cursos, da 11ª à

12ª série, sendo organizados hierarquicamente por nível

de exigência intelectual. Ou seja, os cursos

determinam diferentes tipos de expectativas para os

alunos, e presume-se que o número de matrículas reflita

os níveis de desempenho anterior dos alunos. A análise

recente do Certificado de Higher School de Nova Gales

do Sul revelou que as expectativas eram diferenciadas

por classe social, bem como por desempenho anterior

(McGaw, 1997, p. 44).

Isso pode ser comprovado através da

comparação do número de matrículas nos cursos na

11ª e 12ª séries, de alunos com desempenho

igualmente bom em Língua Inglesa, na avaliação em

nível estadual realizada no final da 10a série, e que

freqüentavam escolas secundárias não-seletivas do

governo, mas que tinham distinção em termos de

geografia - um grupo dos subúrbios de classe

socioeconômica mais baixa de Sydney, e o outro da

área de nível socioeconômico de médio para alto da

Zona Norte de Sydney. A Tabela 3 mostra os detalhes.

Entre os alunos representados como os 10%

superiores em Língua Inglesa da 10a série, os da parte

mais ao sul de Sydney têm probabilidade maior do que

os da parte Norte da cidade de serem matriculados no

segundo curso em Língua Inglesa com menor nível de

exigência durante a 11ª e 12ª séries, e menos probabi-

lidade de serem matriculados em qualquer um dos dois

cursos com maior nível de exigência. Verifica-se um

padrão semelhante com relação aos alunos dos 30%

superiores em Língua Inglesa da 10ª série; a exceção

é que, para esse grupo mais amplo, há uma maior pro-

babilidade de os alunos da Região Sudoeste optarem

por um curso com menor nível de exigência, na mes-

ma matéria.

A verdade é que os alunos viam-se limitados

pela variedade de cursos oferecidos nas suas escolas.

A estrutura de cursos altamente diferenciada em Lín-

gua Inglesa (assim como em outras matérias) em Nova

Gales do Sul visava oferecer cursos que fossem apro-

priados para os alunos com diferentes níveis de de-

sempenho anterior. De fato, a diferenciação dos cur-

sos é mapeada de acordo com a diferenciação social.

Os alunos da Zona Sudoeste de Sydney, como apare-

ce na Tabela 3, não são diferentes dos da Zona Norte,

em termos de desempenho anterior em Língua Ingle-

sa; a única diferença acontece em termos de geografia

e condição socioeconômica.

A interpretação dos dados de desempenho no

nível do sistema não é um processo direto. Os resulta-

dos podem fornecer informações sobre o nível e sobre

a abrangência dos desempenhos dos alunos, além de

comparações através de séries, caso sejam examina-

das mais séries, e caso os testes sejam interligados e

calibrados de acordo com uma escala comum. A ques-

tão de se o nível de desempenho é satisfatório ou não

geralmente aparece como aspecto principal em qual-

quer discussão pública sobre a educação.

Tabela 3 – Percenta

ens de alunos de escolas não-seletivas do

overno, matriculados

em vários cursos de Língua Inglesa durante a 12 série

superiores 30%

Inglês da 10 série em

com

acordo

de 1994,

estadualavaliação

emsuperiores 10%

Inglês da 10 série em

com acordo de 1994,

estadual

avaliação

SO de

Sydney

N de

Sydney

SO de

Sydney

N de

Sydney

Inglês de 12 série em 1996 M F M F M F M F

Dois cursos com maior exigência

Segundo curso com menos exigência

Curso com menor exigência

126

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Caso exista um enunciado claro sobre os ní-

veis esperados de desempenho, estes podem servir

como modelo a ser seguido, e de acordo com o qual

podem ser julgados os níveis reais de desempenho.

Evidentemente, uma outra possibilidade é que seja le-

vantada a questão de se as expectativas estão deter-

minadas no nível correto ou não.

O acompanhamento repetido através do tem-

po pode fornecer evidência de qualquer mudança nos

padrões de desempenho, contanto que os testes

efetuados durante os vários anos estejam interligados,

e possam ser calibrados de acordo com uma escala

que seja comum. Caso os materiais de teste não se-

jam firmes, a ligação entre os testes aplicados nos

vários anos poderá ser estabelecida, não através da

utilização repetida do mesmo conteúdo, mas através

do desenvolvimento de um teste composto com mate-

riais dos testes aplicados nos vários anos, além de

seu emprego com alunos que sejam comparáveis en-

tre si, pertencentes a um outro sistema.

Uma recente pesquisa nacional de habilida-

des de letramento, entre alunos de escolas primárias,

na Austrália, é uma boa ilustração para esse aspecto.

Esta pesquisa investigou os níveis de letramento entre

alunos de 3ª e 5ª séries, nos cinco aspectos do

letramento determinados na estrutura do currículo na-

cional, ou seja, escrita, leitura, visualização, expres-

são oral e escuta.

A pesquisa determinou a extensão dos níveis

de desempenho dos alunos, e os mapeou de acordo

com os níveis de resultados na estrutura do currículo

nacional (Comitê Administrativo para o Exame de Alfa-

betização de Inglês da Escola Nacional – NSELS,

1997). As percentagens dos alunos nos vários níveis

das quatro dimensões de letramento avaliados apare-

cem na Tabela 4.

Estes resultados possibilitam um nível básico

(1996) de desempenho com os quais é possível

comparar os níveis de desempenho de alunos similares,

em anos posteriores. Além disso, a pesquisa gerou

informações sobre os níveis de desempenho dos

subgrupos. As meninas apresentam um nível de

desempenho mais alto do que os meninos em todos

os aspectos relacionados a letramento, com a diferença

maior aparecendo na escrita e a menor na visualização.

Os alunos de condição socioeconômica mais alta têm

desempenho melhor do que os de condição mais baixa,

e a diferença entre os gêneros fica maior a favor das

meninas cujos pais têm ocupação manual, não

capacitada.

O ministro das Escolas da Commonwealth, da

Educação Vocacional e do Treinamento queria uma

comparação mais precisa, com um modelo a ser

seguido claramente definido, mais do que possibilitava

esse mapeamento de níveis de desempenho. O Comitê

Administrativo solicitou aos pesquisadores Masters e

Forster, do Conselho Australiano de Pesquisa

Educacional, que tentassem localizar, nas suas cinco

escalas do NSELS os pontos divisórios que pudessem

corresponder a propostas de modelos a serem seguidos

para o projeto nacional sob a administração da

Associação de Currículo.

Essa tentativa limitou-se às áreas de leitura e

escrita, uma vez que eram esses os dois aspectos

referentes a letramento para os quais as propostas de

modelos estavam mais avançadas. Ao final, constatou-

se que não era possível passar da proposta dos modelos

a serem seguidos para a determinação de sua

localização correspondente nas escalas de leitura e

escrita do Exame de Letramento de Inglês da Escola

Nacional (NSELS), sendo assim a tarefa desenvolvida

do ponto de vista oposto. Pediu-se que os

pesquisadores dos modelos determinassem se cada

uma das tarefas das avaliações de escrita e leitura do

NSELS correspondiam a desempenhos adequados ou

menos do que adequados nas áreas de leitura e escrita,

no caso de alunos de 3ª ou 5ª séries. As suas

conclusões foram então combinadas, para determinar

as notas para aprovação nos testes da pesquisa. O

percentual de alunos que ficaram acima ou abaixo das

notas de aprovação definidas pelos pesquisadores

aparece na Tabela 5. Esses resultados foram

publicados em um outro relatório (Masters, Forster,

1997).

ªª ªª ªª ª ª ª ª

127

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Esses resultados transformaram-se então em

base para um acirrado e substancial debate público.

Os informes dos meios de comunicação o descreviam

como a revelação de uma crise de letramento nas es-

colas. Embora todas as provas disponíveis mostras-

sem que não tinha havido queda nos padrões de

letramento, esses resultados foram não apenas inter-

pretados como tendo sido baixos, mas como sendo

mais baixos do que no passado, ou com certeza mais

baixos do que os críticos conseguiam recordar, em

termos de quais seriam esses padrões no tempo da

sua própria freqüência à escola.

Os resultados refletem os níveis de desempe-

nho dos alunos em relação aos níveis em que foram

determinados os modelos a serem seguidos. A ques-

tão sobre se esses modelos estariam em um nível alto

demais ou baixo demais pode ser encarada através do

exame dos tipos de desempenho em leitura e escrita

que ficam logo acima e logo abaixo do modelo. Caso

os desempenhos abaixo dos modelos estabelecidos

fossem considerados como satisfatórios para os alu-

nos da série relevante, o modelo poderia ser reduzido.

Comparações internacionais

Uma outra maneira de formar uma opinião so-

bre se os níveis de desempenho eram ou não

satisfatórios seria através do uso de dados comparati-

vos oriundos de um outro sistema, ou de um outro país.

Third International Mathematics and Science Study

(

TIMSS

) possibilitou comparações entre os sistemas

de educação dos estados e territórios australianos, bem

como entre a Austrália e outros países.

As comparações internacionais possibilitadas

pelo

TIMSS

foram de uma maneira geral encorajadoras

para a Austrália. A Tabela 6 mostra os resultados. Havia

países com desempenhos superiores aos da Austrá-

lia, mas, ainda assim, os alunos australianos mostra-

ram um bom desempenho nas comparações internaci-

onais. Nenhum país de língua inglesa ou da Europa

Ocidental aparecia à nossa frente. Enquanto isso nos

permitia algum nível de satisfação, não devia ser razão

para atitude de complacência. Um dos estados, o de

Western Australia (Austrália Ocidental), atingiu níveis

de desempenho comparáveis ao país de mais alto de-

sempenho, que foi Cingapura.

Enquanto isso permitia algum nível de satisfa-

ção para os australianos, não devia ser razão para ati-

tude de complacência. Nitidamente, existem padrões

mais altos sendo atingidos em outros locais, e é preci-

so encarar a questão sobre se esses padrões mais

altos devem também ser esperados na Austrália. Isso

traz à mesa a possibilidade de tentar chegar à melhor

prática internacional, não em termos de processos,

mas sim de resultados, ainda que o aspecto de pro-

cessos tenha também que ser examinado.

o acompanhamento do desempenho à

mudança de políticas

A intenção agora é empregar de forma produti-

va os resultados do acompanhamento, passando da

avaliação à ação.

Tabela 5 – Percentual de alunos que alcan

am os padrões esperados

em letramento

Escrita Leitura

Nível de desempenho 3 série 5 série 3 série 5 série

Alcança o padrão

Não alcança o padrão

ªªªª

128

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Da avaliação à ação

É necessário que seja desenvolvida uma aná-

lise mais detalhada do que a mera comparação e ins-

peção dos dados médios de caráter geral, para que as

informações geradas pelos programas de acompanha-

mento possam ter utilidade como base de avaliação.

Essas análises detalhadas do desempenho

dos alunos australianos no

TIMSS

, em comparação

com os de outros países, que apresentaram um de-

sempenho melhor, em especial Cingapura, o Japão e a

Coréia indicam as deficiências na Austrália na área de

Matemática. Eventualmente, a Austrália poderia ter

imaginado que os seus alunos apresentariam um de-

sempenho pior nas tarefas ligadas a cálculos matemá-

ticos, uma vez que essa área recebe menor ênfase

nos currículos australianos, e os alunos apresentam

um desempenho mais baixo aí. Por outro lado, a Aus-

trália poderia ter pensado que os seus alunos apresen-

tariam melhor desempenho nas atividades relaciona-

das à solução de problemas, o que não aconteceu:

eles às vezes apresentam bom desempenho, mas

freqüentemente aparecem significativamente abaixo,

também nesse tipo de tarefa (Stacey, no prelo).

A análise dos dados relativos às

subpopulações poderá também indicar as áreas em

que é também necessário algum nível de ação. É sem-

pre importante verificar o que esses dados têm a dizer,

em termos de aspectos ligados à eqüidade nos resul-

tados. Os grupos em situação de desvantagem podem

ser identificados, podendo receber uma quantidade

adicional de recursos, ou até mesmo programas espe-

ciais.

O Estado de Nova Gales do Sul utilizou, a uma

determinada altura, os seus resultados no Teste de

Habilidades Básicas na área de letramento para a 3a

série, para a identificação daquelas escolas que apre-

sentavam um número significativo de alunos com mau

desempenho, para encaminhar professores

especializados em letramento precoce para as esco-

las que tivessem revelado as maiores necessidades.

Da ação à avaliação

Esses tipos de análises de dados, vindos do

acompanhamento do sistema, poderiam então levar a

considerações de reforma curricular, para resolver defi-

ciências quando fossem consideradas como sérias.

Quaisquer que fossem as iniciativas

curriculares introduzidas dessa forma deveriam ser ava-

liadas com bastante seriedade, sem serem

implementadas simplesmente pela confiança cega no

sucesso. A longo prazo, é preciso que apareçam as

vantagens nos níveis de desempenho, a partir do acom-

panhamento do sistema. A curto prazo, à medida que

forem sendo implementadas e desenvolvidas as inicia-

tivas, é preciso que seja empregado todo o arsenal do

avaliador formativo, para a instalação de uma base para

modificação e aprimoramento do programa.

O acompanhamento amplo de um sistema é

um instrumento inadequado demais para poder ser a

medida através da qual poderão ser formadas ou avali-

adas iniciativas curriculares específicas.

O uso da informação no nível da instituição

Os dados que vêm do nível do sistema pode-

rão produzir também informações no nível da institui-

ção, principalmente se for testada toda a população de

alunos. Por outro lado, a interpretação dos dados do

nível da instituição não é fácil, uma vez que é o resulta-

do não apenas do que a instituição faz, mas também

das características dos alunos que fazem parte da ins-

tituição. Isso quer dizer que as instituições devem tra-

tar de enxergar além das comparações com outras ins-

tituições, ainda que dêem atenção a elas, para chega-

rem a uma análise interna mais detalhada de si mes-

mas e da sua comunidade.

strutura de responsabilidades no nível

do sistema

O sistema de avaliação no nível do sistema

mais elaborado da Austrália é o que foi implementado

em Victoria, juntamente com um programa que visava

ao retorno substancial das responsabilidades às esco-

las, com respeito a muitas decisões relativas a aspec-

tos curriculares, dos professores e do pessoal, que

pertenciam antes ao domínio da autoridade central. A

autoridade central transferiu a responsabilidade para

as escolas, mas impôs ao mesmo tempo uma estrutu-

ra de responsabilidades, de acordo com a qual as es-

colas devem informar tanto as suas próprias comuni-

dades quanto também a própria autoridade central.

De acordo com essa estrutura de responsabi-

lidades, as escolas desenvolvem uma declaração de

missão de obrigações, em consulta com a sua comu-

nidade, apresentam relatório anual à comunidade e à

autoridade central, expondo o desempenho e o pro-

gresso em relação aos planos estratégicos contidos

na declaração de missão, e realizam uma análise

trianual com a ajuda de uma equipe externa, para exa-

me e revisão da declaração de missão para o triênio

seguinte.

Esse programa vem sendo progressivamente

introduzido em todas as escolas do governo, desde

1993, quando foi iniciado com um pequeno grupo de

129

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

escolas voluntárias. Em torno de 300 escolas junta-

ram-se ao programa em 1994, mais 500 em 1995, e as

últimas 400 no meio do ano de 1995.

A estrutura de responsabilidades baseia-se em

cinco princípios: foco sobre o cliente, orientação para

o desempenho, propriedade e transparência locais,

integração de todas as partes do planejamento, políti-

ca e atividades operacionais da escola, e, ainda as-

sim, um conjunto comum de requisitos para todas as

escolas, com relação à obtenção e à publicação dos

dados.

F ontes e formas de dados

A estrutura de responsabilidades permite que

as escolas desenvolvam as suas próprias prioridades

e os seus próprios planos, de acordo com as políticas

e programas gerais do sistema, além de acompanha-

rem o desempenho em relação ao programa escolar

local, que resulta das suas prioridades e de seus pla-

nos.

O processo de obtenção e avaliação de dados

das escolas baseia-se:

l na aprendizagem do aluno, usando:

– o desempenho dos alunos demonstrado em

testes aplicados em todo o estado e, no

caso das escolas secundárias, nos exames

do Certificado Victoriano de Educação e ou-

tras avaliações, para a 12ª série;

– no julgamento dos professores sobre os de-

sempenhos dos alunos em relação à Currí-

culo e Estrutura de Padrões.

l no currículo, usando:

– as designações de cargas horárias para as

oito áreas curriculares;

– a participação por gênero nas matérias da

escola secundária, quando os alunos têm

a possibilidade de opção;

– as opiniões dos pais sobre a qualidade do

currículo.

l no ambiente da escola, usando:

– a freqüência escolar;

– o número de acidentes entre os alunos;

– as opiniões dos pais sobre o ambiente da

escola.

l na responsabilidade, usando:

– dados sobre as matrículas dos alunos, prin-

cipalmente mudanças através do tempo;

– no caso das escolas secundárias, destino

dos alunos que deixam a escola;

– percepções dos pais sobre o valor dos rela-

tórios de desempenho de seus filhos.

l na administração, usando:

– opiniões do pessoal, sobre a qualidade da

administração da escola;

– extensão do desenvolvimento profissional

entre os membros do pessoal;

– faltas do pessoal.

l nos recursos, usando:

– demonstrativo dos resultados financeiros

anuais;

– total de receitas e despesas da escola.

Para estabelecerem as suas metas, as esco-

las precisam levar em consideração o acesso e a eqüi-

dade para os alunos de famílias que não falam inglês,

os que são portadores de incapacidades e os alunos

aborígenes.

As escolas recebem orientação do Escritório

de Avaliação do Departamento de Educação sobre

como implementar a estrutura de responsabilidades,

incluindo como obter e analisar os dados relevantes.

Entre os documentos fornecidos pelo Escritório, inclu-

em-se:

Developing a School Charter, School Annual

Report Guidelines, School Organisational Health Survey

para a pesquisa com o pessoal, e

Parent Opinion

Questionnaire e Monitoring Parent Opinion: User Guide

como documento associado.

I nterpretações dos dados

Público das interpretações

Há duas espécies principais de público a quem

se destinam os relatórios anuais das escolas e os re-

latórios trianuais de análise. Uma é a comunidade das

escolas. A outra, o Escritório de Avaliação, que exami-

na os relatórios, combinando também dados de relató-

rios de todas as escolas, para gerar um relatório para

todo o sistema.

Metas institucionais como critérios

Um dos enfoques principais na interpretação

dos dados oriundos das análises são as próprias me-

tas da escola, definidas na sua declaração de missão.

Se a declaração de missão de uma escola estabelece

o letramento como prioridade, por exemplo, esse as-

pecto terá peso maior na avaliação que a escola faz do

seu progresso, e nos seus relatórios para a comunida-

de e para o Escritório de Avaliação.

130

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Comparações entre instituições

O Escritório de Avaliação utiliza os dados com-

binados das escolas, quer sejam todas as escolas, ou

amostras representativas entre elas, para determinar

as distribuições como as escolas possam comparar-

se. São descritas como modelos, mas são, evidente-

mente, nada mais do que representações do desem-

penho do momento entre as escolas.

Não se pede que as escolas façam compara-

ções entre si mesmas e todas as escolas, mas com

"escolas semelhantes". Esse agrupamento de "esco-

las semelhantes" baseia-se na proporção de alunos

de uma escola que usa um idioma que não seja o in-

glês em casa, e na proporção de alunos considerados

como em "situação de risco". Os alunos "em situação

de risco" são considerados como aqueles que rece-

bem subsídio do governo para os pais de baixa renda.

Estimativas de "valor agregado"

No momento, não se está tratando de estimar

o valor agregado para as escolas primárias ou secun-

dárias. A possibilidade de ser introduzido esse tipo de

abordagem vai aumentando agora, quando está sendo

incluída nos programas de testes toda a população de

alunos há já alguns anos. Existem hoje grupos de alu-

nos que passam por escolas em alguns sistemas, para

quem há avaliações de desempenho em várias séries.

Com esses dados, é possível usar uma medida anteri-

or de desempenho para isolar do desempenho subse-

qüente aqueles aspectos não acrescentados pelas

escolas com o passar dos anos, para poder calcular a

influência da escola. Por outro lado, os procedimentos

não são diretos, uma vez que a medição do valor agre-

gado é um residual, que tem tipicamente baixo nível de

confiabilidade. Qualquer tipo de residual, até mesmo

simples diferenças entre duas medidas, é muito me-

nos confiável do que as medidas a partir das quais é

calculado.

No caso do final da escola secundária, com

as avaliações da 12ª série, foi calculado o valor agre-

gado na Austrália. Nos dois casos, a abordagem ado-

tada tem falha conceitual da mesma maneira. A medi-

da dos efeitos não relacionados com a escola, nos

dois casos, é um teste geral de habilidades desenvol-

vidas aplicado aos alunos já quase no fim da 12ª série.

No caso do Estado de Western Australia a principal

utilidade do teste é determinar uma escala de resulta-

dos de exames nas diferentes matérias, e expressá-

los em uma escala comum.

No caso de Victoria, o que existe é um Teste

de Avanço Geral (GAT), destinado a revelar as avalia-

ções com base na escola que possam estar anormal-

mente altas (ou baixas), para submetê-las à análise.

Quando as avaliações de uma escola e os resultados

para os mesmos alunos no GAT estiverem suficiente-

mente fora de linha, são enviados à escola avaliadores

independentes, para revisão do trabalho dos alunos

anteriormente avaliado pela própria escola. Se a avali-

ação da escola for mais alta do que o esperado, pas-

sada esta nova avaliação, o processo de estimativa do

valor agregado rotulará então a discrepância, como

evidência de valor agregado, e não como evidência de

uma elevação artificial das avaliações da escola.

Caso essa prática fique padronizada, haverá

um incentivo para as escolas tentarem baixar o de-

sempenho de seus alunos no GAT, para criar uma dis-

crepância entre esses resultados e os da avaliação da

escola, de uma forma que não pudesse ser anulada

através de uma revisão das avaliações feitas pela es-

cola. Uma outra reação seria tentar inflacionar sufici-

entemente as avaliações da escola, para receber algu-

ma vantagem da estimativa de valor agregado, ainda

que não o suficiente para causar análise externa.

O problema tanto com a abordagem da

Western Australia (hoje abandonada) quanto com a de

Victoria é que elas usam uma avaliação atual de de-

sempenho de 12ª série como substituto para o desem-

penho no momento de admissão às 11ª e 12ª Séries,

ou, o que é pior, como substituto para "inteligência".

C onclusão

Existem grandes volumes de dados e muitas

outras informações potencialmente disponíveis para as

escolas e os sistemas escolares poderem avaliar o

desempenho, e para modificar a política e a prática.

Sempre existe o risco de coleta de dados desorgani-

zada, o que cria mais informação do que é possível

usar de forma sensata. Com freqüência, sabemos mais

do que entendemos. A escolha cuidadosa dos dados

a serem usados e a análise e interpretação apropria-

das podem transformar a informação em entendimen-

to, e, quem sabe, finalmente em sabedoria.

R eferências bibliográficas

ADAMS, R., DOIG, B., ROSIER, M.

Science

achievement in Victorian schools

: 1990. Hawthorn,

Vic. : Australian Council for Educational Research,

1991.

_____.

Tapping students' science beliefs

. Hawthorn, Vic.

: Australian Council for Educational Research, 1992.

131

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

AUSTRALIA. Department of Employment, Education

and Trainig.

Report of the Aboriginal Education Policy

Task Force

. Canberra : Australian Government

Publishing Service, 1988.

AUSTRALIA. New South Wales Minister for Education

and Training.

Securing their future

: New South Wales

Government's reforms for the Higher School

Certificate. Sidney : NSW Gouvernment, 1997.

AUSTRALIA. Quality of Education Review Committee.

Quality of education in Australia

. Canberra :

Australian Government Publishing Service, 1985.

AUSTRALIA. Victorian Commission of Audit.

Report of

the Victorian Comission of Audit

. Melbourne, 1993.

BOARD OF STUDIES.

English

- curriculum and

standards framework. Carlton : Victoria, 1995.

INTERIM COMMITEE FOR THE AUSTRALIAN

SCHOOLS COMMISSION.

Schools in Australia

Canberra : Australian Government Publishing

Service, 1973. Presidente do comitê: Professor P.

H. Karmel.

MANAGEMENT COMMITTEE FOR THE NATIONAL

SCHOOL ENGLISH LITERACY SURVEY.

Mapping

literacy achievement

: results of the 1996 National

School English Literacy Survey. Canberra :

Department of Employment, Education, Training and

Youth Affairs, 1997.

MASTERS, G. N., FORSTER, M.

Literacy standards

in Australia

. Canberra: Commonwealth of Australia,

1997.

McGAW, B.

Shaping their future

: recommendations

for reform of the Higher School Certificate. Sydney :

Department of Training and Education Co-ordination,

1997.

STACEY, K. Insights for mathematics. In: LOKAN, J.,

GREENWOOD, L. (Ed.).

Raising Australian

standards in mathematics and science

: insights

from the Third International Mathematics and Science

Study. Melbourne : Australian Council for Educational

Rese

132

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

133

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

ONZE DILEMAS COM QUE SE

DEFRONTAM OS ESTUDOS INTERNACIONAIS:

COMENTÁRIOS PARA A MESA*

Juan Casassus**

ossibilidades e limitações dos estudos

internacionais de avaliação

Em primeiro lugar, gostaríamos de agradecer

aos organizadores a amabilidade do convite para parti-

cipar deste importante seminário internacional sobre

avaliação educacional.

É uma honra podermos comentar a apresen-

tação do professor Plomp, da International Association

for the Evaluation of Educational Achievement (IEA).

Com sua palestra, todos aprendemos muito sobre o

IEA e os estudos auspiciados por este organismo. É

realmente digno de admiração o trabalho iniciado por

Bloom e Husen, e continuado por destacados pesqui-

sadores durante 38 anos de trabalho pioneiro realizado

no campo da avaliação.

O documento de trabalho deste seminário

constitui o marco geral de nossas observações. Em

especial reconhecemo-nos na visão ali contida sobre a

reflexão comparada como método de progresso e apre-

ciamos o convite para participar da construção de uma

agenda aberta para o futuro.

A palestra que acabamos de escutar do pro-

fessor Plomp reflete a experiência acumulada nos es-

tudos auspiciados pelo IEA. Gostaríamos de aventurar

que as qualidades por ele atribuídas aos estudos inter-

nacionais do IEA são também extensivas ao conjunto

dos estudos comparativos internacionais. Entre eles

se encontram não somente os auspiciados pelo IEA,

mas também os de outras entidades como: Organization

for Economic Co-operation and Development (OECD),

Internacional Assessment of Educational Progress

(IAEP), Educational Testing Service (ETS) ou Unesco,

particularmente os do Southern Africa Consortium for

Monitoring Educational Quality (SACMEQ), do progra-

ma de monitoramento de Educação para Todos e do

Laboratório Latino-Americano de Avaliação da Quali-

dade da Educação.

*As expressões aqui apresentadas são de responsabilidade do autor e não comprometem nem a Unesco nem o Laboratório Latino-Americano de Avaliação da

Qualidade da Educação. O autor aproveita a oportunidade para agradecer a Eduardo Cabezón, Sandra Cusato e Juan Carlos Palafox pelos comentários feitos

à versão preliminar deste texto.

**Juan Casassus é funcionário da Unesco desde 1977, e desde 1988 é especialista regional em políticas, planejamento e gestão da educação da Orealc. É autor

e co-autor de várias publicações sobre administração da educação e qualidade da educação. Coordena o Laboratório Latinoamericano de Evaluación de la

Calidad de la Educación, com sede em Santiago do Chile, e realiza freqüentes missões de assessoria aos países que participam desse projeto.

Laboratório Latino-Americano de

Avaliação da Qualidade da Educação

Para situá-los no contexto a partir do qual for-

mulamos nossos comentários, permitam-nos expres-

sar brevemente que, diferentemente do IEA, o Labora-

tório Latino-Americano é uma rede intergovernamental,

que agrupa o conjunto de sistemas de medição e de

avaliação dos sistemas de Educação da América Lati-

na e do Caribe. Desta rede (com exceção do Uruguai)

participam todos os países de fala portuguesa e espa-

nhola da região. Criada em 1994, no México, sua coor-

denação foi confiada ao Escritório Regional da Unesco

em Santiago do Chile, e o Laboratório conta com o

apoio financeiro dos países-membros, da Unesco, da

Fundação Ford e do Banco Interamericano de Desen-

volvimento (BID), entre outros.

Entretanto, apesar de ser uma rede

intergovernamental, suas ações não estão distantes

das preocupações do IEA. O Laboratório desenvolve

um programa que contém quatro linhas de ação orien-

tadas no sentido de apoiar a formulação e gestão de

políticas educacionais:

a) estudos comparativos internacionais (como

o levantamento de informações do estudo

internacional nos países-membros, conclu-

ído no dia 28 de novembro);

b) geração de padrões (

standards

) regionais;

c) fortalecimento institucional dos países-mem-

bros por meio de formação, assistência téc-

nica, disponibilidade de bases de dados e

bancos de itens;

d) desenvolvimento de um programa de pes-

quisa e experimentação no âmbito da ava-

liação e as variáveis associadas ao rendimento

escolar.

134

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

O professor Plomp deu ênfase às possibilida-

des abertas pelos estudos internacionais. Concorda-

mos com os pontos de vista por ele expostos. Efetiva-

mente, cremos que este tipo de estudo tem múltiplas

possibilidades e, apenas com o propósito de reforçar o

que já foi mencionado, permitimo-nos repeti-las. Os

estudos internacionais:

a) produzem descrições comparativas que fun-

cionam como um espelho onde cada país

possa "ver" a si mesmo de uma maneira

diferente, ao olhar-se em comparação com

outros;

b) estabelecem referências em matérias es-

pecíficas;

c) facilitam o monitoramento ou o acompanha-

mento dos processos em diferentes níveis

do sistema mediante a constituição de sé-

ries históricas;

d) produzem informações que permitem inter-

pretar as diferenças observadas entre os

sistemas educacionais;

e) facilitam os estudos de diferenças e de

recorrências entre países.

A estes elementos já mencionados, podería-

mos acrescentar outros, próprios das redes

conversacionais, como o Laboratório, tais como:

f) facilitar os processos de integração

supranacional (M. H. Guimarães de Castro

e M. I. Pestana, 1996);

g) dar origem aos processos de formação, aos

processos de implementação;

h) avançar por meio de acordos, em face de

sua vinculação com a política educacional;

i) melhorar as possibilidades de financiamen-

to dos sistemas por seu impacto e sua

vinculação com os meios de comunicação

de massa.

Em resumo, estes estudos, graças às suas

contribuições em termos de informação e análise, abrem

possibilidades, tanto no plano da política educacional,

como no da gestão dos sistemas, da pesquisa e da

comunicação social.

O s dilemas

Entretanto, em vez de nos concentrarmos nas

qualidades e possibilidades dos estudos internacionais,

gostaríamos de aceitar a orientação do documento de

trabalho, em seu convite à reflexão e à criação de agen-

das abertas para o futuro.

Considerando que na América Latina todos os

países já têm ou já instalaram sistemas de medição e

de avaliação, podemos afirmar que a etapa de

sensibilização acerca da importância da avaliação já

terminou. Portanto, entramos em outra etapa, que se

deve caracterizar por uma maior reflexão acerca da

medição e da avaliação no contexto regional, com o

propósito de melhor orientar seu impulso atual.

Para isso gostaríamos de sugerir um

conjunto

de dilemas expressados como opções

, surgidos du-

rante o Estudo Internacional que o Laboratório Latino-

Americano realizou em 1997, e na observação da ex-

periência de outros estudos semelhantes.

Queremos enfatizar que falamos de dilemas e

de opções. Não estamos falando de antípodas ou con-

tradições. Cada um destes dilemas e suas opções

podem ser interpretados como os extremos de um

contínuo, e não são necessariamente discretos entre si.

Ao falarmos de dilemas, estamos nos referin-

do a um conjunto de perguntas, tensões e, conseqüen-

temente, de suas opções, que emergem e demandam

ponderação e decisões.

Na realidade, alguns destes dilemas estão in-

terligados, de maneira que a postura que se adote a

respeito de uma opção poderia, em honra da coerên-

cia intelectual, levar logicamente a uma postura simi-

lar a respeito de outra opção. Entretanto, vistos em

conjunto, embora estes dilemas ou opções possam

refletir um estilo ou sensibilidade, não cremos que pos-

sam constituir-se, neste momento, como modelos pu-

ros nos quais cada um possa identificar-se de maneira

consistente com um conjunto, em oposição a outro.

Por enquanto, acreditamos que a mensagem

é que eles devem ser considerados ou confrontados, a

fim de que os estudos internacionais possam ser mais

férteis em seus propósitos.

Os estudos do Laboratório têm um propósito

investigativo. Mas não se trata de uma investigação do

tipo fundamental, como poderiam ser os estudos em

universidades ou outros centros acadêmicos. Trata-se

de estudos destinados a apoiar e facilitar a formulação

e a implementação da política educacional dos paí-

ses-membros.

Correndo o risco de simplificar algo complexo,

mas consciente de que o contexto deste seminário

não permite ir além de seu mero enunciado, postula-

mos os seguintes dilemas, que se apresentam como

opções, para facilitar uma visão de conjunto:

1. Avaliação do sistema e/ou avaliação do

aluno;

2. A relação entre teoria, medição, interpreta-

ção e política educacional;

3. Objetivos de políticas e/ou objetivos dos

itens dos estudos;

4. A dimensão lógico-matemática como prog-

nóstico das finalidades do sistema;

5. Perspectiva psicométrica e/ou perspectiva

edumétrica;

6. Perspectiva linear e/ou perspectiva

sistêmica;

135

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

7. Avaliação do homogêneo e/ou avaliação

do diverso;

8. Objetivos das disciplinas e/ou objetivos

transversais (holísticos);

9. Objetivos dominantes (únicos) e/ou objeti-

vos alternativos;

10. Conhecimento e/ou competências e habi-

lidades;

11. Globalidade e/ou enfoque local.

1. Avaliação do sistema (prestação de contas –

accountability) e/ou avaliação do aluno

Esta é uma distinção (e uma decisão penden-

te) que, por ser evidente, nem sempre se esclarece. A

avaliação que os organismos realizam, como o Labo-

ratório ou o IEA, ou mesmo os sistemas nacionais de

medição, é a avaliação dos sistemas educacionais e

não a avaliação dos alunos.

É compreensível que neste plano, por várias

razões, exista uma certa confusão. Uma delas é a his-

tória, pois a avaliação começou como uma avaliação

dos alunos em classe, por parte dos professores. Ou-

tra é que a ênfase atual sobre a aprendizagem – no

discurso da "avaliação da aprendizagem" – tende a

manter uma ambigüidade em relação ao objeto da ava-

liação. Embora sejam os alunos os que respondem a

provas e questionários, na realidade não são os alunos

que são avaliados: o que se avalia é o rendimento do

sistema, por meio das respostas dos alunos. Então,

as interrogações dos estudos deveriam consistente-

mente orientar-se, não às pessoas que são os alu-

nos, mas ao sistema no qual estão inseridos estes

alunos.

Dentro desta perspectiva, as comparações são

referentes aos sistemas e não a populações. Se levar-

mos em conta que estamos avaliando sistemas em

função de populações, teremos uma variedade de ti-

pos de estudos como aspectos da vinculação dos sis-

temas em relação às populações.

2. Teoria, medição, interpretação e política educacional

Como mencionado anteriormente, o fato de

haver medição e avaliação parece estar quase univer-

salmente aceito. O dilema não se encontra aí, mas a

partir desse ponto. São muitos os estudos que foram

desenvolvidos recentemente. Jamais, na história da

educação, foram acumuladas – com metodologias cada

vez mais sofisticadas e de maneira mais sistemática –

tantas informações relativas ao funcionamento dos sis-

temas e aos usuários dos mesmos. Entretanto, muito

embora as bases empíricas continuem crescendo em

tamanho, sofisticação e complexidade, parece que a

vinculação entre elas e o planejamento e a

implementação da política educacional encontra-se

interrompido.

A teoria, a interpretação e a formulação de

políticas encontram-se atrasadas em relação ao de-

senvolvimento das bases empíricas, a ponto de se po-

der dizer que a falta de desenvolvimento teórico faz

com que a vinculação entre dado ou indicador e medi-

da de políticas seja inexistente ou incoerente.

Para exemplificar este ponto, consideremos

algumas das medidas de política mais favorecidas atu-

almente quando se quer melhorar a qualidade da edu-

cação. São elas: a redução das jornadas nas escolas,

o aumento do gasto público e a redução do número de

alunos por professor.

Se nos apoiarmos, por exemplo, nos resulta-

dos do estudo

TIMSS

, podemos ver que Cingapura,

primeira no

ranking

TIMSS

sob diferentes perspec-

tivas, mantém uma alta porcentagem de seus alunos

em escolas com dupla ou tripla jornada; ou que, ape-

sar de ter um gasto público muito inferior ao dos paí-

ses europeus e outros asiáticos comparáveis, tem um

alto lugar no ranking de leitura (Postlewhaite, Ross

1996).

A Coréia, uma das primeiras do

ranking

estudo

TIMSS

, tende a manter um elevado número de

alunos por professor (Delanoi, 1997).

Quer isto dizer que se deva aumentar as jor-

nadas, baixar o gasto público, ou aumentar o número

de alunos por professor? Não é esta necessariamente

a conclusão. A conclusão é que os dados devem ser

analisados e interpretados de maneira excepcionalmen-

te cuidadosa antes que se convertam em políticas a

serem adotadas pelos vários países. Vendo por um

prisma ligeiramente diferente, Ken Ross (1997) anali-

sou a questão sob o nome de "falácia ecológica". A

questão deste dilema está em que, entre o aumento

das bases empíricas, a crescente complexidade das

mesmas e as medidas de política, gerou-se um vazio

teórico e interpretativo, que é necessário preencher.

3. A orientação da política e/ou a orientação dos itens

dos estudos (correspondência entre a política e os itens)

A orientação das políticas educacionais está

em plena mudança e diversificação. Passamos de uma

situação de reprodução do passado e construção da

nação a uma grande diversidade de orientações, que

vinculam a educação a temas como o trabalho, os pro-

blemas sociais, a situação ambiental, a criatividade, o

desenvolvimento pessoal, as preocupações locais, a

globalização. Ou, com um olhar mais limitado, ao inte-

rior dos objetivos das disciplinas, ela é vinculada, por

exemplo, à identificação, à definição e à profundidade

do tratamento dos temas ambientais nos programas

de ciências.

Neste contexto de mudança das orientações

de política – mudança que aumenta à medida que sobe

136

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

de grau o nível escolar em que se aplica a medição – é

difícil manter a correspondência e as prioridades entre

os itens selecionados e as orientações das políticas.

A situação se torna mais complexa quando pretende-

mos medir e comparar um mesmo sistema em dois

momentos de tempo diferentes, pois é bem conhecido

o provérbio que diz que, "se você quiser medir a mu-

dança, não mude a vara (o instrumento) com que

mede", o que implica que os itens não devam ser mu-

dados.

4. A dimensão lógico-matemática como preditora de

êxito do sistema

Presenciamos atualmente uma situação na

qual há uma tendência de privilegiar a dimensão lógi-

co-matemática, por diversos motivos. Por um lado,

aparece como elemento discriminador quando se quer

selecionar por competências para a produção; igual-

mente, quando se pensa nas competências para o

desenvolvimento científico e tecnológico. Por outro lado,

aparece como a linguagem privilegiada na corrente

curricular que favorece o enfoque da resolução de pro-

blemas.

Aqui, porém, novamente nos encontramos com

o dilema de que os objetivos dos sistemas educacio-

nais se abrem constantemente a outras dimensões,

nas quais as competências exigidas são de ordem

muito diferente da lógica matemática. Estas compe-

tências, para sermos sensíveis ao que foi sugerido por

outros autores como H. Garner, H. Maturana, ou

Goleman, encontram-se enraizadas em outros planos,

como o cinestésico, o emocional, o espacial, o

interpessoal, o intrapessoal ou o comunicacional.

A dominação exercida pela dimensão lógico-

matemática apresenta um dilema que, se não for re-

solvido, pode ter efeitos empobrecedores e

discriminatórios, justamente contrários aos previstos

na política educacional de um país.

5. Perspectiva psicométrica e perspectiva edumétrica

Num passado recente, a medição (em especi-

al os modelos com referência à norma) foi o principal

procedimento para aferir (

assess

) os resultados de ren-

dimento na maioria dos sistemas nacionais e interna-

cionais de avaliação. As idéias de Bloom e de Schriver

sobre o papel formativo da avaliação e, também, os

avanços recentes no plano da psicologia cognitiva

(Garner, Steinberg) têm sido confrontados pela ênfase

objetiva e discriminatória (seletiva) da avaliação vista

pela perspectiva psicométrica.

De fato, podemos observar que está se de-

senvolvendo atualmente uma tendência, na medição e

na avaliação, que busca meios para modificar o papel

dos procedimentos das provas buscando utilizá-los não

mais somente como elementos de discriminação mas,

também, como instrumentos de retroalimentação para

fins educacionais. Um exemplo disso é a difusão de

fac-símiles de provas e a difusão de itens pela Internet,

o que tem por objetivo aumentar o caudal informativo e

reduzir a dimensão surpresa/segredo na aplicação das

provas.

Em outro plano, o desenvolvimento de mode-

los orientados para a referência a critério, como os

modelos tipo Rasch, Lisrel ou os da Teoria de Respos-

ta ao Item, facilita a articulação psicométrica e

edumétrica, bem como a articulação de referências a

norma e critério.

6. Perspectiva linear e perspectiva sistêmica

Os paradigmas atuais da pesquisa científica,

nos âmbitos sociais e biológicos, apontam para a pers-

pectiva de variáveis multivariadas ou fatores não relaci-

onados de maneira causal ou linear com seus efeitos.

Este tipo de relação de fatores foi denominada articu-

lação "sistêmica", contrastando com a mais tradicio-

nal relação causal das ciências naturais.

Por outro lado, a medição, na perspectiva da

psicologia, tem buscado relações lineares a partir das

quais se possam predizer condutas sociais. A teoria

da medição, ao ser aplicada à educação, foi fortemen-

te influenciada por esta perspectiva linear de prognós-

tico. Entretanto, à medida que avançamos com uma

visão cada vez mais complexa dos processos educa-

cionais, mais necessário se torna poder distinguir as

pesquisas orientadas para a busca de relações cau-

sais e lineares, daquelas que se orientam rumo a uma

visão analógica ou sistêmica capaz de incorporar dife-

rentes configurações, como as ecológicas, as sociais

e as culturais. Damos especial ênfase às culturais,

pois elas têm um enorme potencial para complicar as

relações causais e lineares.

7. A avaliação do homogêneo e a avaliação do diverso

Até agora, a avaliação de diversos sistemas

era realizada mediante a aplicação de provas que con-

tinham itens comuns. Para comparar, avalia-se o que

há em comum. O mesmo ocorre com os sistemas

nacionais, que têm a preocupação de avaliar o que

existe de comum em seus países.

Entretanto, mais uma vez nos encontramos

com um movimento nas políticas educacionais que vai

em sentido contrário. A orientação predominante nas

reformas curriculares atuais consiste em que o espa-

ço local esteja cada vez mais representado. Igualmen-

te, os países com populações indígenas estão

institucionalizando a multi(inter)culturalidade e as ati-

137

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

vidades bilíngües na educação. Este fato, porém, difi-

cilmente é captado pelos sistemas de avaliação.

Para fazer frente a este dilema, o de poder dar

conta do diverso nos sistemas de avaliação centrados

no homogêneo, particularmente nos contextos de

multi(inter)culturalidade, o Laboratório Latino-America-

no criou um grupo de trabalho com os países interes-

sados.

8. Objetivos das disciplinas e objetivos transversais

(holísticos)

Os estudos internacionais de caráter avaliativo

até agora focalizaram principalmente os rendimentos

nas disciplinas (Matemática, Ciências, Linguagem,

Leitura, etc.) em detrimento dos objetivos de caráter

transversal. Entretanto, uma das tendências prioritárias

no atual desenvolvimento curricular, numa região como

a América Latina, é o desenvolvimento de objetivos e

competências de tipo transversal, distribuídos ao lon-

go das diferentes disciplinas.

A preocupação com o valorativo, as dimensões

culturais particulares, a auto-estima, o desenvolvimen-

to da democracia, ou ainda preocupações com a edu-

cação preventiva em relação a situações sociais como

a Aids, ou o abuso de drogas, ou o meio ambiente são

as novas orientações temáticas que animam as mu-

danças curriculares atuais.

Para enfrentar este tipo de dilema, o Laborató-

rio, igual ao que ocorreu com o dilema anterior, criou

grupos de trabalho para refletir sobre as implicações e

mudanças metodológicas necessárias para enfocar a

avaliação dos temas transversais.

9. Objetivos únicos (dominantes) ou objetivos alternativos

em nível supranacional

De certa maneira, este dilema está

correlacionado ao anterior. Ao medir os resultados de

diferentes sistemas educacionais com os mesmos

itens, tendemos a outorgar uma influência e um peso

muito grandes a esses itens. Por seu intermédio é

exercida grande pressão, quando chega a hora de to-

mar decisões quanto aos conteúdos curriculares que

devem ser ensinados nos diferentes sistemas educa-

cionais. A seleção de itens nos estudos internacionais

não só tende a sacralizá-los mas, como conseqüência

lógica, sacraliza também os métodos de ensino dos

países que têm os melhores resultados nessas maté-

rias. Esta possibilidade entra em tensão com o desen-

volvimento de opções surgidas de outros contextos que

não tiveram tanto êxito nos estudos internacionais, mas

que correspondem a lógicas nacionais particulares.

Isso, porém, não ocorre apenas em relação

às orientações gerais de política. Até mesmo em con-

textos bem delimitados, como o do ensino de Mate-

mática, além dos especialistas em Matemática ou em

ensino de Matemática, são numerosos os grupos cha-

mados para manifestar sua opinião – muitas vezes con-

trária – sobre o assunto, como, por exemplo, as asso-

ciações de pais num país como os Estados Unidos,

onde se encontra a liderança exercida pelo National

Council of Teachers of Mathematics (NCTM) do movi-

mento de

standards

em Matemática.

10. Conhecimentos e/ou competências e habilidades

Este dilema talvez seja o mais trabalhado e

conhecido. Outras das tendências claras na educação

em nível mundial referem-se à mudança generalizada

na ênfase curricular, partindo dos conteúdos conceituais

enciclopédicos, rumo ao desenvolvimento de matérias

com conteúdos mais vinculados a atividades ou apli-

cações práticas. Este processo se orienta, então, não

a acumular dados e conhecimentos enciclopédicos nos

alunos, mas sim a desenvolver competências e habili-

dades sobre um número menor de conhecimentos.

Este processo, porém, é obstaculizado pelo

exercício avaliativo. Esta dificuldade torna-se evidente

na observação de, pelo menos, duas tendências per-

sistentes. A primeira pode ser situada em nível do pró-

prio ensino, porquanto a identidade e fortaleza dos do-

centes decorre do domínio dos conhecimentos das

matérias que eles possuem e pelas quais são respon-

sáveis. Entretanto, além de ser fonte de identidade, o

poder dos docentes na sociedade e na cultura escolar

advém de se manter vigente o valor desse domínio.

A segunda dificuldade é própria do campo da

avaliação. Ao observar as práticas dos sistemas de

avaliação podemos notar que foi gerado o que pode-

mos denominar uma "cultura avaliativa". Esta cultura

está assentada sobre um conjunto de práticas de ava-

liação. No

ethos

avaliativo situam-se em lugar privilegi-

ado, ou de domínio geral, as provas de múltipla esco-

lha, cujo uso põe em destaque a dimensão de

memorização do processo educacional. (Notemos que

neste plano, a cultura avaliativa complementa bem a

cultura docente). Face ao impacto da avaliação sobre

a orientação dos processos educacionais em classe,

enquanto não se puderem realizar outras práticas

avaliativas – a um custo razoável – esta prática predo-

minante atua em detrimento da transformação

curricular.

11. Globalização e/ou enfoque local

Os estudos internacionais se dão bem com a

globalidade. Entretanto, vemos também que existe um

movimento mundial para o desenvolvimento local da

educação e para a adaptação dos conteúdos a essas

138

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

realidades. Embora isto tenha sido indicado com fre-

qüência como um problema, em termos teóricos não

deveria haver contradição.

Na prática, a ação e o trabalho humano são

sempre locais. O que varia não é a localização da ação,

e sim o seu alcance. O tema está, não no locus, mas

no alcance, que é variável de acordo com vários

parâmetros, sendo que o menor deles não é o uso da

Internet nas escolas.

O dilema, em nossa opinião, não está no

locus

e sim nos conteúdos da globalização e da natureza da

competitividade. Quer dizer, por um lado, o dilema está

no que vai ser posto nos conteúdos da globalização,

no sentido de saber se vão ser caracterizados predo-

minantemente como processos pertencentes ao âm-

bito econômico e financeiro, e, conseqüentemente, com

um caráter reducionista e dominante, ou, pelo contrá-

rio, se terão uma dimensão holística, diversificadora e

flexível.

Por outro lado, há a questão da natureza da

competitividade, se ela é interpretada como uma ativi-

dade dinamizadora pelo seu conteúdo de rivalidade, de

depredação e de negação dos outros, ou se será situ-

ada no plano da cooperação e da complementação.

Do ponto de vista educacional, o tipo de inter-

pretação ou a construção conceitual que se faça da

globalização e da natureza da competitividade terá

certamente um grande impacto sobre a geração dos

novos programas curriculares. Quanto à metodologia

da relação entre o enfoque global e o local, considera-

mos que um marco conceitual desenvolvido pelo IEA,

que estabelece a associação entre currículo intentado

e o macro; entre currículo implementado e o meso e

entre currículo conseguido e o micro, apresenta uma

pista que pode ser fértil para avançar na análise deste

dilema.

onclusão

A avaliação conseguiu situar-se em um lugar

estratégico na criação e implementação das políticas

educacionais. Conseguiu tal coisa por vários motivos,

o mais importante dos quais talvez tenha sido o de

poder tornar visível algo que até agora havia sido invisí-

vel, a saber, um resultado do processo educativo, per-

mitindo gerar um novo tipo de política educacional

centrada precisamente nesse resultado.

Concluindo, gostaríamos de destacar que nos

encontramos em um momento privilegiado quanto às

possibilidades dos estudos internacionais e sua utili-

dade para os sistemas nacionais, tanto pelas novas

oportunidades de reflexão e de investigação que de-

vem salvaguardar os níveis de complexidade dos pro-

cessos educacionais e ao mesmo tempo, quanto man-

ter um nível de comunicabilidade necessário com os

níveis de responsabilidade política, os meios de comu-

nicação de massa.

Cremos que, finalmente, um lugar privilegiado,

que esteja em condições de cumprir os requisitos de

complexidade e de comunicabilidade são as redes

conversacionais do tipo do Laboratório Latino-Ameri-

cano de Avaliação da Qualidade da Educação, que

permitem os intercâmbios entre responsáveis de sis-

temas com o propósito de avançar comparativamente,

identificando sucessos, mas também, compartindo, em

confiança, as vicissitudes e o que se deve evitar nesta

nova etapa.

139

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

ESTATÍSTICAS EDUCAIONAIS

NA AMÉRICA LATINA E NO CARIBE:

RESUMO DOS RESULTADOS

R. W. McMeekin*

Um estudo financiado pela Fundação Ford e

executado pela Oficina Regional da Unesco para la

Educación en América Latina y el Caribe (Orealc)

examinou o estado em que se encontram as

estatísticas educacionais na região. Resumimos a

seguir os pontos principais apurados.

O estado das estatísticas educacionais na

América Latina e no Caribe melhorou visivelmente nos

últimos anos, mas ainda subsistem sérios problemas.

Os países estão conseguindo proporcionar

estatísticas educacionais com muito mais sucesso que

até uma década atrás. Receberam bastante assistência

externa para melhorar suas estatísticas educacionais,

seus indicadores e sistemas de informação para a

administração (embora isso tenha sido menos eficiente

do que se esperava). A tecnologia disponível através

dessa assistência foi de grande ajuda e as estatísticas

são hoje mais oportunas e acessíveis, podem ser

analisadas com maior facilidade e contêm menos erros.

Entretanto, não existe uma compilação de

conhecimentos consensuais a respeito do que constitui

um bom sistema de estatísticas educacionais, nem

uma equipe de consultores especializados aos quais

as agências e os países pudessem recorrer.

Foram encontradas práticas inovadoras em

vários países: por exemplo, o novo sistema de

informação sobre a Educação no Brasil, o poderoso

sistema de mapas escolares do Paraguai, os

experimentos efetuados em Mendoza com registros

individuais dos estudantes e o extenso conjunto de

indicadores de eficiência dos fluxos de alunos na

Nicarágua. Existe também uma consciência crescente

sobre a importância das estatísticas, dos indicadores

e dos sistemas de informação para a administração.

Alguns grupos sub-regionais, como o Mercosul e a

Organización de Estados Caribeños Orientales (OECS),

estão tomando a iniciativa de estabelecer estatísticas

e sistemas de indicadores comparáveis, e os países

do Convênio Andrés Bello já manifestaram interesse

na questão.

É possível identificar três grupos principais de

países, em termos do grau de desenvolvimento e

*Oficina Regional da Unesco para la Educación en América Latina y el Caribe (Orealc)/Chile.

sofisticação de suas estatísticas educacionais. Embora

os limites entre eles não sejam nítidos, existem três

grupos bastante claros de países, cada um com

necessidades distintas:

– Países grandes e sofisticados (com

freqüência, países federais) que contam com sistemas

de estatísticas educacionais bem desenvolvidos

(embora alguns destes somente tenham feito

mudanças importantes recentemente): Argentina,

Brasil, Chile e México, dentro da amostra de países

estudados;

– Países pobres que estão bastante atrasados; e

– Um grande grupo "intermediário" no qual se

observam importantes melhoras, mas em que ainda

existem problemas sérios: Equador, Jamaica, Paraguai,

Uruguai e outros.

Há diversos tipos de problemas que afetam os

sistemas de estatísticas educacionais: técnicos,

institucionais e outros.

P roblemas técnicos

– Em muitos países há uma carência de dados-

chave, por exemplo, com respeito à matrícula por série

e por idade dos alunos. Também existe uma medição

ou estimativa inadequada de variáveis como a

repetência.

– Existem problemas conceituais (espe-

cialmente em relação à medição de fluxos de alunos e

sua eficiência).

– Com freqüência, existe uma discrepância

entre os períodos de tempo a que se referem a matrícula,

o gasto e a população por grupo etário.

– Observa-se uma falta de definições e

terminologias claras e consistentes. Existe a

necessidade de se elaborar um glossário por consenso

dos termos de estatística educacional. Há também

sérias fraquezas em categorias completas de

140

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

estatística, tais como os dados financeiros ou as

informações sobre o aproveitamento dos estudantes,

que serão discutidos mais adiante.

P roblemas institucionais

– O distanciamento das unidades de estatística

educacional das outras fontes de informação e do local

de tomada de decisões; a falta de contato com outras

entidades para obter dados para indicadores; as

pessoas responsáveis pela adoção de decisões não

fazem uso de estatísticas educacionais porque não

existe uma cultura de basear as decisões sobre dados

e análises. A necessidade de indicadores educacionais

somente está sendo reconhecida recentemente. Existe

a tendência de que certos temas especiais, como

custos e finanças setoriais, sejam tratados por

especialistas que não fazem parte do sistema de

estatísticas educacionais habitual.

– A utilização de estatísticas e indicadores

educacionais é muito débil. Até mesmo quando isso

possa ser devido, em parte, à insuficiente qualidade

das estatísticas disponíveis (o que faz com que as

pessoas responsáveis por adotar decisões não façam

uso delas), também existe uma subutilização de

informações que já estão disponíveis.

– A descentralização dos sistemas edu-

cacionais, não apenas nos sistemas federais como

também em países que estão descentralizando ou

desconcentrando a administração de seu sistema, pode

complicar o processo de coletar, analisar e utilizar as

estatísticas educacionais (mas também pode

proporcionar valiosas oportunidades para mudar as

velhas práticas e melhorar a utilidade das estatísticas

educacionais na gestão do setor).

– Não existe nenhum foro para o intercâmbio

de informações entre os países em relação a

estatísticas e indicadores educacionais (exceto em

casos especiais como a OCDE e o Mercosul).

– Falta de liderança regional: o Sistema de

Información Regional (Siri) da Unesco/Santiago fez

alguns avanços em termos de coletar e publicar dados

analisados em nível regional, mas não conta com os

recursos necessários para proporcionar assistência

técnica ou orientação para estabelecer normas e

práticas sólidas. Nenhuma outra instituição assumiu

um papel de liderança.

O utros problemas e questões

– Existe a necessidade de se contar com um

conjunto sólido e consensual de categorias de

estatísticas e indicadores. Este estudo propõe um

conjunto de oito categorias: 1. Contexto; 2. Estudantes

e participação; 3. Docentes e demais pessoal; 4.

Escolas e insumos não-docentes; 5. Eficiência interna

(repetência, transição, taxas de sobrevivência); 6.

Eficiência externa (taxas de ingresso e emprego por

nível educacional obtido e taxas de rendimento

econômico); 7. Custos e finanças do setor; e 8.

Aproveitamento dos estudantes medido em termos de

resultados do aprendizado.

– Há importantes categorias de estatísticas e

indicadores que são especialmente fracas ou, em

alguns casos, estão totalmente ausentes das

estatísticas educacionais "usuais". Foram

encontradas insuficiências-chave em: a) indicadores de

eficiência interna, especialmente em torno da

repetência; b) indicadores de "eficiência externa" ou

resultados no mercado de trabalho; c) indicadores de

custos e finanças do setor; d) indicadores de qualidade

e aprendizagem dos estudantes.

– Fazendo um corte por todas as categorias,

existem grandes debilidades nas áreas da educação

pré-primária e praticamente em toda informação

referente ao nível universitário.

– É importante fazer distinção entre: 1. o

planejamento de indicadores e sistemas de informação

para uso nacional em seqüência a reformas e

melhoramento da gestão, e 2. a criação de indicadores

para fins de comparações internacionais. É possível

que possam sobrepor-se, mas são essencialmente

diferentes.

papel da assistência internacional para

melhorar as estatísticas educacionais

Como já foi mencionado, tem havido muitos

projetos ou componentes de projetos que propuseram

melhorar as estatísticas educacionais, os indicadores

e os sistemas de informação para a administração.

Praticamente todos os países, na amostra de 14 países

estudados, receberam alguma assistência para este

fim. Isto aumentou consideravelmente a disponibilidade

de tecnologia, mas não proporcionou uma orientação

eficaz sobre o desenvolvimento de estatísticas,

indicadores ou sistemas de informação plenamente

adequados.

Este estudo surgiu em função de uma pesquisa

da coordenação da assistência à educação, onde se

apurou que tem havido uma notável falta de coordenação

entre as organizações internacionais sobre questões

relacionadas com as estatísticas educacionais em nível

regional.

Os países vêem as organizações inter-

nacionais como entidades que solicitam informações,

com freqüência, de maneira duplicada ou baseada em

conceitos e definições diferentes.

Os esforços para proporcionar orientação e

assistência em nível regional ou sub-regional têm sido

até agora de utilidade limitada: a reunião da Unesco

em Quito, em janeiro de 1995, e o recente encontro

141

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

regional sobre custos e finanças do setor em

Montevidéu, em março de 1997, mostraram que existia

uma ampla brecha entre as recomendações oferecidas

e as necessidades concretas dos países participantes.

Também há falta de comunicação e

coordenação entre os especialistas de organismos

internacionais e a sua própria percepção das

necessidades e realidades, de um lado, e as

necessidades tal como são percebidas pelos

especialistas dos países, de outro.

O Centro Interamericano de Enseñanza

Estadística (Cienes), da Organização dos Estados

Americanos, tem um mandato para dar capacitação,

mas atualmente não conta com capacidade técnica

sobre o tema das estatísticas educacionais. Ao que

parece, o Cienes não disporá de orçamento para 1998.

O Celade desenvolveu um modelo que vincula

dados censitários e educacionais, a fim de fornecer

uma base para o planejamento físico e o mapeamento

escolar. Isto precisa ser difundido de maneira mais

ampla.

Existe no Cepal uma unidade que trabalha com

pesquisas domiciliares, que está interessada em

utilizar variáveis educacionais das pesquisas para

produzir indicadores úteis.

O grupo de pequenos países que formam a

Organización de Estados Caribeños Orientales tem

trabalhado em conjunto para desenvolver um sistema

comum de estatísticas e indicadores educacionais. O

organismo, além de assistência bilateral GTZ, tem

proporcionado assistência modesta, mas importante.

Em geral, tem havido uma profusão de

atividades destinadas a melhorar as estatísticas

educacionais, respaldadas ao menos parcialmente por

doadores internacionais. Entretanto, tem faltado

coerência a estas múltiplas atividades e elas não

promoveram um acordo em nível regional sobre

assuntos-chave, nem tampouco a criação de

estatísticas e indicadores compatíveis.

spectos apurados sobre as experiências

realizadas em outras regiões

Ainda não há acordo em nível mundial no que

se refere a um sistema de classificação da Educação.

A Clasificación Internacional Normativa de la Educación

(Cine), da Unesco, tem sido criticada por não incorporar

definições claras e operacionais. Uma versão revisada

da Cine será apresentada à Conferência-Geral da

Unesco, em outubro/novembro de 1997.

O sistema de indicadores da OCDE foi

evoluindo durante cerca de dez anos e é hoje um

sistema altamente desenvolvido. Reflete os interesses

e as necessidades de seus países-membros. Teria de

ser adaptado para ser transformado num sistema que

possa ser adotado satisfatoriamente pelos países da

América Latina e do Caribe. Grande parte de seu

trabalho (e de sua forma de trabalhar) poderia ser

utilizado de maneira progressiva na América Latina e

no Caribe, de acordo com o nível de desenvolvimento e

sofisticação de suas estatísticas educacionais,

especialmente em áreas como os indicadores de

custos e finanças do setor. Países como Espanha,

Portugal e México conseguiram cumprir as exigências

do sistema OCDE.

Na região africana, a Associação para o

Desenvolvimento da Educação Africana (Adea) e seu

Grupo de Trabalho sobre Estatísticas Educacionais

(WGES) deram ênfase ao desenvolvimento de

capacidades nacionais. Um programa para fortalecer

os Sistemas Nacionales de Información Estadística

sobre la Educación (Nesis) permitiu que os países

participassem da análise de módulos-padrão, com a

finalidade de promover a criação de sistemas

compatíveis. Foi desenvolvido um "Perfil" tipo de

estatísticas e indicadores educacionais para os países

da região. O modelo de desenvolvimento de

capacidades da Adea/WGES/Nesis poderia ser

utilizado no grupo de países da América Latina e do

Caribe cujos sistemas de estatísticas educacionais são

menos desenvolvidos.

onjunto de indicadores sugeridos

Sobre a base do que apurou, sobre o estado

das estatísticas e os indicadores educacionais nos

países da região da América Latina e do Caribe e os

modelos de sistemas de indicadores educacionais,

tanto dentro como fora da região, o estudo propõe uma

lista de indicadores potenciais. Não há dados

disponíveis para completar a totalidade destes

indicadores em todos os países de forma imediata;

entretanto, a juízo do autor, muitos países estão em

condições de fornecer os dados necessários e seria

viável implementar o sistema na maioria dos países da

região dentro de um prazo razoável.

A lista que se segue é apresentada como um

ponto de partida, sugerido para estabelecer um conjunto

comum de indicadores para a América Latina e o

Caribe, reconhecendo-se que pode haver opiniões

distintas e que alguns observadores poderão

recomendar mudanças na lista. Uma discussão mais

completa dos indicadores sugeridos para a comparação

internacional básica encontra-se no corpo do informe.

1. Contexto

– População, taxa média de crescimento da

população e população escolar (entre 5 e 24 anos de

idade, ou a maior aproximação possível que for viável)

142

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

como porcentagem da população total.

– Produto interno bruto

per capita

e taxa anual

média de crescimento do PIB

per capita

durante os

últimos cinco anos ou mais.

– Taxas de analfabetismo, total e por gênero,

na população de 15 anos de idade e mais (com

indicações por país sobre os critérios de analfabetismo

que foram aplicados).

– Média de anos de escolaridade alcançada,

entre a população de 15 e mais anos de idade, em

total e por gênero, estrutura do sistema educacional e

idade oficial de início da educação escolar.

2. Alunos e participação

– Taxas brutas de matrícula por nível, inclusive

terciário, por gênero (e por região urbana/rural, se

possível).

– Taxas líquidas de matrícula por nível, por

gênero (e por região urbana/rural, se possível).

– Taxas de transição entre os níveis primário e

o secundário inferior e entre o secundário inferior e o

superior (Cite 1 a 2 e Cite 2 a 3).

– Taxa de transição entre os níveis secundário

(Cite 3) e o terciário.

3. Pessoal: docentes, diretores de escola e outros

– Total de docentes e porcentagem dos que

ensinam em escolas públicas e privadas e em áreas

urbanas e rurais.

– Total de docentes em aula e relação entre

docentes em aula e o total do pessoal. Porcentagem

de docentes que cumprem as normas nacionais para

o ensino total, público e privado, e urbano e rural.

– Razão entre alunos e o total de docentes

por nível de ensino (excluído o terciário), total, público

e privado, urbano e rural.

– Média de remuneração de docentes (medida

em algum ponto acordado, como, por exemplo, depois

de dez anos de experiência, incluindo remuneração

básica e complementos) como porcentagem do PIB

per capita.

4. Escolas e insumos não-docentes

Estabelecimentos

– Número e porcentagem de estabelecimentos

por nível de ensino, por fonte de financiamento e por

localização urbana/rural.

– Porcentagem de estabelecimentos de nível

primário em escolas de turnos múltiplos.

Insumos

– Duração do ano escolar em horas, horas

curriculares dedicadas ao idioma nacional, à

matemática, às ciências naturais e sociais.

– Número médio de livros de texto à disposição

de cada aluno, em escolas públicas e privadas, em

zonas urbanas e rurais.

5. Eficiência interna

– Taxas de repetência, por nível de ensino.

– Taxas de evasão escolar, por nível de ensino.

6. Eficiência externa

– Média do ingresso de pessoas empregadas

segundo o nível de educação, por gênero;

– Taxas de emprego dentro da força de

trabalho, segundo o nível de educação alcançado, por

gênero;

– Taxas de rendimento econômico, social e

privado por níveis educacionais principais (separando

a educação vocacional/técnica da educação secundária

geral, se possível), por gênero.

7. Custos e finanças do setor educacional

– Gastos totais, públicos e privados em

Educação como porcentagem do PIB;

– Gastos públicos em Educação, como

porcentagem do gasto público total;

– Gastos por nível de ensino e por fonte de

financiamento público, privado e misto;

– Gastos públicos por aluno por ano (somente

gastos correntes; gastos correntes e de capital) por

nível de ensino;

– Gastos correntes e de capital.

8. Resultados da educação: aprendizagem dos

estudantes

Porcentagem de alunos que atingem o nível

de aprovação exigido nas provas de idioma nacional:

ao final, ou perto do final do ciclo primário e ao final do

ciclo secundário "básico" ou inferior, por gênero.

Porcentagem de alunos que atingem o nível

de aprovação nas provas de matemática: ao final, ou

perto do final do ciclo primário e ao final do ciclo

secundário "básico" ou inferior, por gênero.

143

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

onclusões e recomendações

Duas comunicações recentes são de grande

importância para o futuro das estatísticas e indicadores

educacionais na América Latina e no Caribe. Primeiro,

o diretor-geral da Unesco anunciou a criação de um

novo Instituto Internacional de Estatísticas da Unesco.

Segundo, a Unesco e a OCDE estão colaborando no

apoio a um programa piloto cuja finalidade é estabelecer

as bases de um sistema de "Indicadores Educacionais

Mundiais". Vários países da América Latina e do Caribe

serão convidados para participar, neste sistema.

Estas iniciativas parecem pressagiar: 1. um

interesse crescente no fortalecimento das estatísticas

e indicadores educacionais em nível mundial; 2. a

adoção, pela Unesco, de um papel de maior liderança

no assunto; e, 3. a formação de um consenso a respeito

do sistema de indicadores desenvolvido pelo Projeto

Ines da OCDE, com referência ao conteúdo e às

especificações técnicas de um sistema de indicadores

comum.

Embora estas iniciativas sejam muito positivas,

os esforços para melhorar as estatísticas e indicadores

educacionais na América Latina e no Caribe vão

continuar enfrentando uma série de desafios. O

exercício de um papel de liderança por parte do novo

Instituto de Estatística vai exigir um delicado equilíbrio

entre a firmeza, de um lado, e uma cuidadosa

diplomacia, de outro.

O Projeto Piloto para a Criação de Indicadores

Educacionais Mundiais proporcionará uma base muito

necessária para o consenso sobre o conteúdo de um

sistema de indicadores, além de uma valiosa

compilação de trabalho técnico e conceitual

desenvolvido durante um período de dez anos e com

grande custo, pelos países da OCDE. Cabe formular

várias observações:

– Seria conveniente envolver os países (e os

Escritórios Regionais da Unesco) em decisões sobre

o projeto desde suas etapas iniciais. As primeiras

comunicações indicam que isto já está sendo

encaminhado.

– Mesmo com vários dos países mais

adiantados da região participando do projeto piloto, os

demais países ficariam sem uma base para o consenso

em um momento crítico. Seria conveniente divulgar

informações sobre o projeto piloto a um grupo mais

amplo de países; para a América Latina e o Caribe,

esta tarefa poderia recair logicamente sobre o escritório

da Unesco/Santiago.

– Os países da região do Mercosul (que inclui

alguns dos países mais adiantados da América Latina)

já deram início a um esforço para criar um sistema

comum de indicadores para a sub-região. Isto deve ser

respeitado e apoiado. Esforços semelhantes de outros

grupos sub-regionais de países também devem receber

encorajamento e apoio.

– Qualquer que seja o projeto de um sistema

mundial de indicadores a que se chegue, é provável

que continuem existindo estatísticas e indicadores

adicionais de que os países da América Latina e do

Caribe necessitem para guiar suas políticas e os planos

para o setor. Estes poderiam agregar-se ao modelo

básico e levar à criação de um Perfil Estatístico da

Educação na América Latina e no Caribe, que reflita as

necessidades, as prioridades e o nível de

desenvolvimento dos países da região.

– Alguns dos países escolhidos para o Projeto

Piloto poderão ter dificuldades para cumprir as normas

da OCDE com referência à confiabilidade e precisão

dos dados e o controle de qualidade, como também

para proporcionar os dados exigidos para os indicadores

de custos e finanças, os resultados do mercado de

trabalho e os rendimentos cognitivos. Isto será ainda

mais difícil para os países que se encontram nos grupos

menos adiantados e desenvolvidos.

– Os esforços para ajudar os países a melhorar

seus sistemas nacionais com a finalidade de permitir

que participem dos sistemas de Indicadores

Educacionais Mundiais trarão a necessidade de

fortalecer as capacidades, o que por sua vez vai exigir

recursos. Estes esforços serão mais eficazes à medida

que existir um conjunto consensual de informações que

os guie, como parece ser a perspectiva. A assistência

externa, tanto das principais instituições de assistência

financeira – multilaterais e bilaterais – como da Oficina

Regional para la Educación da Unesco será um

elemento essencial.

R eferências bibliográficas

BEST Universities of Asia (The).

Asiaweek

, Hong Kong,

v. 23, n. 20, 1997.

CHAMPY, James.

Reengineering management

. New

York : Harper Collins, 1995.

DEWEY, J.

Democracy and education

. New York :

MacMillan, 1916.

GREAT BRITAIN. Office for Standards in Education.

OFSTED and the new school's inspection system

Disponível na Internet (http://www.coi.gov.uk/coi/

depts/depts.htm).

INTERNATIONAL INSTITUTE FOR MANAGEMENT

DEVELOPMENT.

World competitiveness yearbook

1997. Disponível na Internet (http:/www.imdch/wcy/

over.hum).

144

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

INTERNATIONAL LABOUR ORGANIZATION.

Yearbook

of labour statistics 1996

. Genéve, 1997.

KARMEL, Peter. Desirable outcome: Australian

education policy in the nineties, William Walker

oration, 3 July 1995.

Journal of Higher Education

Policy and Management

, v. 18, n. 1, 1996.

NANANUKUL, Surasak et. al.

QC manual

: basic

principle of working quality in Japan and Thailand.

Cópia mimeografada.

NONGMAK, Chamrat.

Private school accreditation

development guideline to promote the role of private

schools. Bangkok, 1995.

OFFICE OF THE NATIONAL EDUCATION

COMMISSION.

Educational investment in Thailand

Bangkok, 1997.

OFFICE OF THE NATIONAL PRIMARY EDUCATION

COMMISSION.

A manual for the use of standard

criteria in primary schools

. Bangkok, 1995.

OFFICE OF THE NATIONAL PRIVATE SCHOOL

COMMISSION.

A manual to evaluate private school

quality

. Ed. rev. Bangkok, 1996.

______.

Guidelines for development and quality

assurance

. Bangkok, 1997.

ROSS, Kenneth N. Research and policy : a complex

mix.

IIEP Newsletter

, v. 15, n. 1, Jan./Mar. 1997.

SIRITRANGSRI, Pinsuda.

A study on educational reform

in New Zealand

: a paper presented to ONEC.

Bangkok, 1997.

SRISUCHAI, Setasak.

Application of strategic

management and TQM in large enterprises

Bangkok, 1992.

THAILAND. Ministry of Education.

Department of

vocational education and ISSO 9000

. Bangkok,

1996.

THAILAND. Ministry of Industry.

Standards of industrial

products ISO

: 1994. Bangkok, 1996.

UNESCO.

Statistical yearbook 1995

. Lanham, MD :

Brenan, 1996.

WORLD Education League : Who's top?

The

Economist

, 29 Mar. 1997.

145

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

O PROJETO INSTITUCIONAL DO

SISTEMA NACIONAL DE AVALIAÇÃO

EDUCACIONAL DA TAILÂNDIA

Nongram Setapanich*

I ntrodução

Este trabalho deverá apresentar um projeto

institucional de um sistema nacional de avaliação, uti-

lizando a Tailândia como caso proposto, para iluminar

a questão. Será dada informação sobre antecedentes

e sobre a condição da educação tailandesa, bem como

sobre os problemas da avaliação em educação, para

ilustrar as tendências em direção ao desenvolvimento

de um sistema de avaliação. Além disso, serão apre-

sentados conceitos e práticas de avaliação em outros

setores e nos países desenvolvidos, em sua aplicação

na Tailândia.

I nformação geral: antecedentes

A Tailândia está localizada no coração do con-

tinente do Sudeste da Ásia, com uma população de 60

milhões de habitantes (dados de 1996), que vive em

um clima quente e bastante úmido. Ainda que a maio-

ria da população seja tailandesa, o país tem uma vari-

edade de grupos minoritários, entre os quais, os mais

numerosos são os chineses. Em termos de religião, a

maioria da população tailandesa é formada de budistas.

Em 1996, 57,3% da população geral participa-

vam da força de trabalho, enquanto que 18,8% eram

formados de indivíduos com mais de 13 anos de idade,

que não participavam da força de trabalho. Os 23,9%

restantes tinham ainda menos de 13 anos. Entre a

população empregada, 50,4% trabalhavam no setor

agrícola; 13,9%, na indústria; 12,7%, no comércio;

11,7%, no setor de serviços; 6,2%, em construção e

3,6%, no setor de transportes.

*Nongram Setapanich, doutora em Educação Comparada, é secretária-geral adjunta da ONEC, onde anteriormente desempenhou o cargo de diretora do

Education System Developmet Office. Publicou artigos em periódicos e relatórios sobre avaliação da educação, onde se destacam as seguintes obras:

Evaluation System of National Quality and Standards

(1997) e

An Evaluation of the Sixth National Education Development Plan: a policy paper

(1994).

Com relação ao desempenho econômico, po-

líticas macroeconômicas prudentes apoiaram um rápi-

do crescimento econômico e a estabilidade dos pre-

ços na Tailândia durante a última década. Entretanto,

a partir do início de 1997, o país passou a experimen-

tar uma crise econômica, devida a líderes políticos in-

competentes, políticas e desempenhos econômicos

inadequados dentro do país, bem como ataques exter-

nos à moeda e intensa concorrência.

Esta crise contribuiu também para a má quali-

dade, como resultado da educação inadequada do povo

tailandês, que será descrita neste trabalho.

ntecedentes em educação: educação

como fator crucial para o

desenvolvimento de um país

A educação é vista como fator primordial para

o desenvolvimento econômico e social na Tailândia,

assim como um mecanismo importante para o desen-

volvimento das qualidades humanas ao seu potencial

pleno. Esta visão é consistente com a visão comum

em todo o mundo, em meio à corrente da globalização,

em que a competição econômica é extremamente acir-

rada. Para vencer na concorrência do mundo de hoje,

são extremamente necessários o conhecimento e o

cérebro dos indivíduos, adquiridos através da educa-

ção e da aprendizagem.

A educação, como fator para o desenvolvimen-

to de bons seres humanos, é também considerada

como aspecto de fortalecimento da democracia, de

construção de famílias e comunidades sólidas, e de

contribuição para a proteção do ambiente, que deverá

resultar em desenvolvimento sustentável e em uma

sociedade em paz.

Por conseguinte, a tendência de desenvolvi-

mento na Tailândia é a de promoção da educação e de

aprendizagem contínua por toda a vida. Esta tendên-

146

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

cia fica claramente refletida nos oito planos, o Plano

Nacional Econômico e o Plano de Desenvolvimento

Social, além do Plano Nacional de Desenvolvimento

Educacional, cujos maiores objetivos incluem o forne-

cimento de "educação para todos" de boa qualidade,

através da mobilização "de tudo para a educação",

assim como a expansão da educação tailandesa, for-

talecendo os potenciais individuais e nacionais para

autoconfiança e estabilização econômica na economia

global.

istema educacional e administração na

Tailândia

De acordo com o Esquema Nacional de Edu-

cação de 1992, o sistema educacional tailandês cobre

tanto a educação em sistemas relacionados à escola

quanto o processo de aprendizagem constante, duran-

te todo o período da vida dos indivíduos.

A educação dentro do sistema relacionado com

a escola é fornecida por instituições educacionais, que

se caracterizam por um sistema de classes e séries,

utilizando currículos específicos para distintos níveis e

tipos de educação. O sistema escolar divide-se em

quatro níveis: educação pré-escolar, de um a três anos

de idade, educação primária, durante seis anos, edu-

cação secundária, dividida entre três anos iniciais e

três anos de escola secundária superior, e educação

superior, que cobre de quatro a seis anos, para o grau

de bacharel, e dois anos para os graus de mestrado e

doutorado.

O processo de aprendizagem contínua, ao lon-

go de toda a vida, diz respeito à auto-aprendizagem a

partir de várias fontes de conhecimento e ambientes,

relacionados a formas de vida que existam naturalmente

ou modificadas, para expansão da própria aprendiza-

gem. Não apenas esse processo de aprendizagem

complementa a educação formal, mas corrige também

a dependência excessiva da educação formal, ofere-

cendo oportunidades para educação constante, atra-

vés da aprendizagem em comunidade e da utilização

das tecnologias de informação e dos meios de comu-

nicação de massa.

Os programas de educação não formal são

também cruciais para o desenvolvimento de uma soci-

edade da aprendizagem, tanto em termos do sistema

relacionado à escola, utilizando currículos equivalen-

tes aos da educação formal, quanto o sistema infor-

mal, ou de auto-aprendizagem, a partir de uma varie-

dade de fontes de aprendizagem.

Em termos administrativos, há muitos minis-

térios e agências que fornecem educação. Os princi-

pais ministérios, com responsabilidade direta pela edu-

cação, são o Ministério da Educação, que fornece pra-

ticamente todos os níveis e tipos de educação para o

grupo maior de aprendizes; o Ministério de Assuntos

Universitários, responsável principalmente pela educa-

ção superior; e o Ministério do Interior, responsável pelas

escolas municipais, bem como pelas de Muang Pattaya

e as da área metropolitana de Bangcoc, que oferecem

educação básica do jardim de infância até o nível se-

cundário inferior. Além disso, há seis outros ministéri-

os que oferecem educação, especificamente para aten-

der às necessidades de suas especialidades, enquan-

to que o Escritório da Comissão Nacional de Educa-

ção é a entidade responsável pela formulação e pelo

planejamento da política educacional geral.

No nível de departamentos, existem aproxima-

damente 54 departamentos que fornecem educação,

para um total de 50 mil escolas ou mais. Como conse-

qüência do número muito grande de agências e insti-

tuições que fornecem educação, é inevitável a variação

da qualidade educacional e de seus padrões; assim, é

obviamente necessária uma avaliação da qualidade da

educação, para a obtenção dos padrões exigidos.

ducação na Tailândia, em comparação

com outros países da Ásia

Como já foi mencionado anteriormente, a edu-

cação é vista como instrumento crucial para o desen-

volvimento dos recursos humanos, considerados mui-

to importantes para todos os outros aspectos do de-

senvolvimento, bem como para o fortalecimento da

competitividade da Tailândia em relação a outros paí-

ses, em meio à corrente da globalização. A evidência

empírica demonstra de forma consistente que os po-

vos dos países mais desenvolvidos são melhor educa-

dos do que os dos menos desenvolvidos. Portanto, a

comparação da educação entre uma variedade de paí-

ses deverá possibilitar um quadro sobre a condição

da educação tailandesa, em meio a este mundo com-

petitivo.

O nível de educação do total da população pode

melhor refletir a qualidade do povo tailandês. Constata-

se que a média de anos de educação da população da

Tailândia, em comparação com os países vizinhos da

Ásia, é menor do que na Malásia, em Cingapura, na

Coréia e no Japão (ver Gráfico 1).

147

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

O mesmo é verdadeiro para o número de anos de educação da força de trabalho tailandesa, que fica

também atrás do indicador correspondente de outros países (ver Gráfico 2).

Com relação à mão-de-obra nos campos de ciência e tecnologia, constata-se que o número de cientistas e

de engenheiros por 1.000 habitantes é relativamente pequeno na Tailândia (ver Gráfico 3).

Gráfico 1 – Anos de escolaridade da população

Gráfico 2 – Educação da força de trabalho

Gráfico 3 – Número de cientistas e engenheiros por 1.000

148

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Em termos de qualidade, o

Terceiro Estudo Internacional em Matemática e Ciências

, realizado pela

International Association for the Evaluation of the Educational Achievement (IEA), demonstrou que as pontuações de

desempenho dos alunos tailandeses são inferiores aos de outros países da Ásia, que participaram do estudo da

IEA, que incluem Cingapura, Japão, Coréia do Sul e Hongcong (ver Gráfico 4).

Ainda, a classificação das 50 universidades da Ásia, realizada pela

Asiaweek

, apesar de alguns problemas

quanto a sistemas de medição e indicadores, revelou que as universidades tailandesas ficaram no grupo inferior, em

comparação a outras universidades da Ásia (ver Gráfico 5).

A condição inferior da educação na Tailândia,

tanto em termos quantitativos quanto qualitativos, deve

representar alguma contribuição para o nível inferior de

competitividade do país na economia global. Como se

pode observar, no

Anuário sobre Competitividade Mun-

dial

, publicado pelo International Institute for

Management Development (IMD), que realiza a classi-

ficação de 46 países de todo o mundo quanto à

competitividade, utilizando dados e opiniões de líderes

do setor empresarial de várioss países, a Tailândia foi

classificada abaixo de outros países em 1997, em ter-

mos de recursos humanos, ciências e tecnologia, infra-

estrutura e administração. Além disso, a crise econô-

mica deste ano e a prevalência dos governos fracos no

país mostram uma evidência da baixa qualidade da

população tailandesa, como resultado da má educa-

ção.

Portanto, é preciso melhorar e atualizar a edu-

cação na Tailândia, e para isto não bastará apenas

oferecer uma educação superior e mais extensa. São

também extremamente necessárias melhorias de qua-

lidade, e essas melhorias não poderão ser realizadas

sem uma avaliação adequada, para revelar as falhas

existentes, que precisam ser revistas e aprimoradas.

Gráfico 4 – Pontuações de desempenho em Matemática e Ciências

2120 24 4 3 3 4 2 1

TailândiaHongcong Japão

Coréia Cingapura

450

500

550

600

650

■

Ciência

■

Matemática

643

607

565

605

571

599

522

525

Gráfico 5 – Classificação de Universidade da

Asiaweek

100

Tailândia

Coréia

Malásia

Cingapura

Hongcong Japão

21.63

47.63

61.40

64.25

72.01

77.38

87.52

149

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

sistema de avaliação educacional na

Tailândia

Uma avaliação educacional sistemática é algo

quase inexistente na Tailândia. Até o momento, não

existe uma agência nacional que seja responsável pela

avaliação da qualidade e dos padrões da educação.

Cada agência meramente realiza e desenvolve a sua

própria avaliação e os seus próprios métodos, sem

continuidade adequada, confiabilidade ou eficiência, e

algumas delas são descritas neste trabalho.

O Office of the National Primary Education

(ONPEC) é responsável por mais de 40 mil escolas,

subordinadas ao Ministério da Educação, usadas para

avaliação da qualidade e dos padrões escolares, atra-

vés de vários Escritórios Nacionais Provinciais Primá-

rios, para selecionar e premiar (em termos de admira-

ção) as escolas de melhor desempenho nas suas pro-

víncias. Os critérios de seleção cobrem os desempe-

nhos das escolas nas áreas de administração geral,

aspectos acadêmicos, controle do corpo discente,

serviços escolares e relações escola-comunidade.

Entretanto, faltou um acompanhamento para verifica-

ção do bom entendimento dos critérios pelas escolas

desde o ano de 1995, quando este método de avalia-

ção foi empregado, para finalmente ser descontinuado,

devido à fragilidade e à falta de validade do resultado

da seleção. O ONPEC atualmente está analisando e

melhorando os critérios padronizados para o seu pró-

prio sistema.

O Bangkok Metropolitan Educational Office é

responsável por 400 escolas, subordinadas ao Minis-

tério do Interior, e desenvolveu critérios padronizados

para a auto-avaliação das escolas, e que deveriam ser

apresentados ao Escritório. Os critérios de avaliação

incluem insumos, processos e indicadores de resulta-

dos. Estes critérios são também utilizados para avali-

ação das escolas pelos supervisores educacionais.

Constatou-se uma enorme variação entre os resulta-

dos obtidos a partir da auto-avaliação da escola e das

avaliações realizadas por supervisores. Os casos de

desempenho positivo jamais deixam de ser informa-

dos pelas escolas, uma vez que a idéia é a de que

quaisquer relatórios negativos poderiam prejudicá-las.

Por outro lado, esses relatórios escolares não estão

de acordo com a realidade, de forma expressa pelos

supervisores; assim sendo, o Escritório está atualmente

em fase de revisão e reconsideração dos critérios e

dos métodos de avaliação. Apesar disso, observa-se

que as atividades de avaliação são bastante inadequa-

das, sendo de uma forma geral ignoradas pelo pessoal

envolvido.

O Department of Secondary Education (subor-

dinado ao Ministério da Educação) executa avaliações

para selecionar e premiar escolas com base nos seus

próprios critérios, utilizando o mesmo método que o

do ONPEC. A avaliação é realizada principalmente pela

autoridade provincial, sob o controle do Departamento,

que, por sua vez, não realiza nenhuma atividade de

acompanhamento ou de verificação, dada a sua condi-

ção de problemas com falta de pessoal qualificado e

ausência das habilidades adequadas para avaliação.

Nas escolas, verifica-se a falta de apoios, incluindo-se

aí apoio financeiro e interesse da parte dos administra-

dores centrais e dos professores-chefes, em relação à

avaliação escolar.

O Office of the National Private Education

Commission (subordinada ao Ministério de Educação)

lançou um projeto para credenciamento de escolas

particulares. O projeto foi desenvolvido através da cria-

ção de critérios padronizados para auto-avaliação nas

escolas, antes da realização da inspeção de

credenciamento. Os indicadores incluídos nos critéri-

os consistem daqueles relacionados à filosofia e políti-

ca escolares, ensino e aprendizagem, atividades estu-

dantis, administração de pessoal, administração finan-

ceira, relações com as comunidades, edifícios e insta-

lações, além da eficácia da escola. O resultado foi a

participação e o credenciamento de apenas 14 esco-

las particulares através deste projeto.

Em 1986, Office of the National Private

Education Commission fez uma revisão dos critérios

de credenciamento, e implementou um novo procedi-

mento para credenciamento em 1987. Três etapas fo-

ram envolvidas nesse procedimento, com a seleção e

verificação de 300 escolas. Entre as etapas, incluem-

se: 1) estabelecimento pela diretoria da escola da sua

missão, para obtenção do acordo para desenvolvimen-

to futuro; 2) implementação e fornecimento de apoio,

para chegar aos objetivos acordados, de acordo com a

missão da escola; 3) preparação de um relatório de

progresso.

Os componentes incluídos na missão da es-

cola são: a) perfil da escola, contendo informações

sobre sua história e suas características, como tama-

nho, número de professores, alunos e edifícios, filoso-

fia e currículo escolares; b) função central da escola,

como desenvolvimento e aplicação de currículos,

gerenciamento e administração, utilização de recursos,

controle e avaliação; c) plano estratégico para aprimo-

ramento escolar e regras ou diretrizes escolares para

práticas de alunos e de professores.

O relatório de progresso deverá ser preparado

de modo a expressar os resultados da implementação,

de acordo com a missão da escola. Além disso, serão

informadas auditorias internas, referentes à qualidade

da escola, aspectos financeiros e administrativos. O

grupo de auditoria inclui pessoal da escola nomeado

para isso, além de um auditor profissional.

O Office of the National Private Education

Comission fornecerá também, sempre que solicitado

pela escola, auditoria externa.

150

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Atualmente, o processo de garantia de quali-

dade na escola particular encontra-se na fase de revi-

são dos critérios de avaliação que, com freqüência, é

realizada como resultado de remanejamento do secre-

tário-geral, o que desta forma contribui para uma ga-

rantia da qualidade escolar que não tem consistência.

O Departament of Vocational Education (su-

bordinado ao Ministério de Educação) avalia universi-

dades, com a finalidade de selecionar e premiar as

que mais se distingam, empregando os seus próprios

critérios, quanto a padrões. A principal tarefa do depar-

tamento hoje é desenvolver a garantia de qualidade nas

universidades vocacionais, aplicando as normas da

International Standards Organization (ISO 9000) ao sis-

tema educacional. Esse desenvolvimento ocorreu atra-

vés de um projeto piloto implementado em uma das

universidades vocacionais: o corpo docente foi treina-

do para obter conhecimento e entendimento sobre

como aplicar a ISO 9000 para o desenvolvimento da

educação vocacional. A implementação deste projeto

vem-se revelando como sendo bastante satisfatória, e

o departamento tem intenção de estendê-lo a outras

universidades.

Além disso, o departamento avalia também os

projetos implementados de acordo com o Plano

Qüinqüenal de Desenvolvimento da Educação Nacio-

nal, ainda que as amostras em estudo sejam ainda

muito pequenas, e existam problemas, devido à

inadequação de pessoal, orçamento e apoio adminis-

trativo.

O Officce of Rajabhat Institute Council (subor-

dinado ao Ministério da Educação), responsável pelas

instituições dedicadas ao treinamento de professores,

raramente executa avaliações significativas, limitando-

se ao acompanhamento da implementação dos proje-

tos e do emprego do orçamento. Não são realizadas

de modo consistente quaisquer avaliações diretas do

treinamento de professores; apenas pesquisas ocasi-

onais foram realizadas, sobre aspectos como a quali-

dade do trabalho dos funcionários das Rajabhat Teacher

Training Institutions, além do acompanhamento da con-

dição de emprego dos formados. O conselho enfrenta

também os mesmos problemas que os outros depar-

tamentos, como o fato da falta de pessoal de avaliação

e outros meios de apoio.

Apesar do problema, Rajabhat percebeu a ne-

cessidade de garantia de qualidade, e apoiou o treina-

mento do seu pessoal, ministrado por especialistas

estrangeiros nas áreas de Gestão da Qualidade Total

e ISO 9000. Com base nos conceitos e nas práticas

desses métodos, foram ressaltados fatores que afe-

tam a qualidade da educação através de um processo

brainstorming

realizado entre as instituições

Rajabhat, como estrutura para o desenvolvimento da

qualidade. Esses fatores incluem a filosofia das insti-

tuições Rajabhat, currículo, pessoal, corpo discente,

instrução, atividades estudantis, recursos de aprendiza-

gem, administração, finanças, pessoal administrativo,

edificações e instalações, pesquisa, avaliação e ela-

boração de relatórios.

As Ratchamankhala Technological Institutions

(subordinadas ao Ministério de Educação) não dispõem

de atividades específicas para monitorização e avalia-

ção. Até agora, só foram acompanhados projetos e a

situação de emprego dos formados. A avaliação da

qualidade recebe apoio e promoção insuficientes.

Apesar de tudo o que foi mencionado, a ga-

rantia da qualidade vem atingindo um nível de atenção

crescente, sendo este aspecto cada vez mais popular

entre os órgãos dedicados à educação. Assim, um pla-

no com vistas à introdução da ISO 9000 deverá come-

çar a ser implementado nessas instituições, para

enfatizar o desenvolvimento e a qualidade da educação.

O Ministério de Assuntos Universitários, res-

ponsável pela educação superior, costumava acompa-

nhar projetos implementados pelas várias universida-

des sob o seu controle; este acompanhamento não

funciona bem, devido à cooperação inadequada entre

as universidades, no que se refere ao fornecimento das

informações solicitadas ao ministério. Ainda, o minis-

tério carece de pessoal e de orçamento para a avalia-

ção, o que gera o atraso e a inadequação da atividade.

Entretanto, foram empreendidos esforços para

o desenvolvimento da qualidade, através de

credenciamento institucional e profissional sem avalia-

ção suficiente. Com a tendência da globalização, a

avaliação de qualidade e a garantia de qualidade vêm-

se tornando cada vez mais exigidas. Destarte, existe

a preocupação para formular e implementar a política

de controle da qualidade e da garantia da qualidade

entre várias universidades.

O ministério propôs três componentes para a

garantia da qualidade, que incluem:

controle da quali-

dade interna

, focalizando vários fatores, que afetam a

qualidade dos formandos;

auditoria externa de qualida-

, realizada pelo comitê nomeado pelo ministério; e

avaliação da qualidade

, como mecanismo para audito-

ria de qualidade, centrado na eficácia e na eficiência

do controle da qualidade interna de cada universidade.

O Office of the National Education Commission

(ONEC) é um órgão de planejamento e de política, além

de realizar pesquisas e avaliações, para orientação do

ministério em aspectos educacionais. Como órgão

central, este escritório executa a coordenação com

todas as outras agências ligadas à educação, para

implementação do Plano Nacional de Desenvolvimen-

to da Educação. Durante o processo, e após a

implementação do Plano, é preciso que sejam realiza-

das avaliações formativas e somativas, para a suges-

tão de recomendações quanto a políticas, para revisão

do Plano e para prosseguir com a formulação de políti-

cas para o Plano subseqüente. As questões incluídas

na avaliação referem-se principalmente à igual-

dade, qualidade e eficiência. De forma geral, a ava-

liação é realizada utilizando o processo que apare-

ce no Gráfico 6.

151

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Como está representado no Gráfico 6, o ONEC

envia questionários a vários ministérios e departamen-

tos responsáveis pelo fornecimento da educação. Es-

tes questionários são, então, encaminhados aos es-

critórios provinciais e subprovinciais de cada departa-

mento, antes de chegarem às escolas, que são res-

ponsáveis pela obtenção de dados e por enviar os ques-

tionários preenchidos de volta ao ONEC, através de

uma variedade de canais. As informações constantes

dos questionários são então examinadas e analisadas

de forma a gerarem um quadro geral do desenvolvimento

da educação no país.

Além disso, o ONEC executa também algu-

mas avaliações específicas de projetos focalizando

questões importantes de política, que são principal-

mente avaliações externas, como as já mencionadas

anteriormente. Portanto, é raro serem empregadas ava-

liações internas nas escolas e nas instituições de edu-

cação. Na verdade, este tipo de avaliação externa ten-

de a criar conflitos entre as instituições de educação,

quando os seus resultados se revelam como sendo

negativos. Além disso, a ausência de avaliações inter-

nas não estimula a coleta de dados pelas escolas,

uma vez que esses dados não são usados para o seu

próprio benefício. Assim, ficam sem saber por que de-

vem obter dados para os outros.

Em resumo

, as avaliações na área de educa-

ção são realizadas de uma forma dispersa e rara, en-

tre as várias agências: algumas delas não efetuaram

nenhuma avaliação em 3 ou 4 anos. Ainda mais, não

há muita consciência do que sejam a essência e os

pontos fortes da avaliação. As conclusões de avalia-

ções negativas, ainda que verdadeiras, não são acei-

tas, e verifica-se insuficiência de apoio para a avalia-

ção, tanto em termos de orçamento quanto de pesso-

al. Junte-se a isso o fato de que a maior parte das

avaliações é conduzida externamente por órgãos cen-

trais, enquanto que as avaliações internas e a utiliza-

ção dos dados raramente acontecem no nível das es-

colas, o que contribui para a ineficiência das melhorias

da qualidade. Por conseguinte, é realmente necessá-

rio, na Tailândia, o desenvolvimento de um processo

sistemático de avaliação.

rojeto desenvolvido do sistema de

avaliação educacional

Para o desenvolvimento de um sistema mais

organizado de avaliação educacional, foi realizada uma

análise dos conceitos e práticas de avaliação em ou-

tros setores e outros países, segundo a forma apre-

sentada abaixo.

valiação de qualidade nos setores

empresarial e industrial

No setor empresarial e privado, o fato de que a

avaliação é uma etapa crucial no processo de

gerenciamento é bem aceito, como aparece no Gráfi-

co 7. Para um desempenho bem-sucedido, é preciso

serem estabelecidos uma meta clara e um plano para

avançar em direção a esta meta. Em seguida, vem a

implementação do plano. Durante esta fase, é preciso

que sejam realizadas atividades de monitorização e de

avaliação, para verificar se o plano está sendo real-

mente seguido, e se a meta está sendo atingida. Caso

não seja este o caso, os problemas e os obstáculos

surgidos deverão ser investigados e eliminados, ou

então a meta terá de ser ajustada, para conformar-se

com a verdadeira realidade e para avançar em direção

a melhores aprimoramentos.

Gráfico 6 – Processo de avaliação do desenvolvimento geral da educação na Tailândia

enviar questionários

devolver questionários preenchidos

ONEC

Ministérios

Departamentos

Escritórios

Provinciais

Escritórios

Subprovinciais

Escolas

Avaliação externa de um

desenvolvimento geral,

realizada pelos órgãos

centrais

Ausência de avaliação interna

152

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

No setor industrial, o controle da qualidade

através da avaliação foi incluído no processo de produ-

ção desde a Segunda Guerra Mundial. No início, era

realizada uma amostragem aleatória dos produtos, para

a verificação de que a qualidade estava atendendo aos

parâmetros exigidos. Posteriormente, verificou-se um

desenvolvimento extraordinário na avaliação e no con-

trole da qualidade.

O controle da qualidade de Deming

represen-

ta uma inovação nas últimas décadas. Em vez de fo-

calizar os produtos finais, dá-se mais atenção ao pro-

cesso de produção e à gestão. Acredita-se que um

bom controle do processo gere produtos de boa quali-

dade, e que a avaliação seja um aspecto-chave para o

controle da qualidade no processo de gestão. De acor-

do com Deming, a avaliação contínua e consistente

deverá contribuir para o controle da qualidade e para a

garantia da qualidade.

O conceito de Deming sobre o controle da qua-

lidade não foi muito bem aceito nos Estados Unidos,

mas foi aplicado, com sucesso, no Japão. Este con-

ceito de controle da qualidade foi modificado para

ges-

tão da qualidade total

(TQM) nas empresas japone-

sas, levando cada trabalhador a exercer uma função

no aprimoramento da sua vida profissional, para a pro-

dução de bens que possam levar à satisfação dos cli-

entes. A aplicação de TQM representou uma contribui-

ção crucial para a promoção dos produtos japoneses,

desde os menos populares aos mais procurados no

mercado internacional.

O conceito de

reengenharia, de Hammer e

Champy

, fornece um outro modelo de aprimoramentos

de qualidade. Este processo de reengenharia exige um

novo pensar sobre as principais tarefas numa empre-

sa; o redesenho do processo de trabalho, para torná-lo

mais curto e mais eficaz; introdução de novos instru-

mentos, para empregar a tecnologia mais moderna e

mais eficaz no processo de trabalho; e o retreinamento,

para equipar o pessoal com conhecimentos e habilida-

des para o trabalho no sistema renovado. No processo

Gráfico 7 – Avaliação como etapa necessária no processo de gestão

Metas e

Objetivos

Necessários

Resultado

Produto

Planejar

Implementar

Avaliar

de reengenharia, é também muito exigida uma avalia-

ção constante.

Ao longo dos últimos anos, vem-se verificando

uma intensa concorrência na economia global, o que

torna o controle da qualidade com vistas à obtenção

de padrões comuns crucial para o desenvolvimento in-

dustrial. A Inglaterra é líder no estabelecimento des-

ses padrões, para a garantia da qualidade padrão de-

sejada. Esse tipo de prática foi estendido para outros

países, em especial os da Comunidade Européia. Or-

ganizações industriais de vários países reuniram-se

para a criação de uma organização chamada ISO, para

o desenvolvimento de padrões de qualidade que pro-

movam o comércio internacional. Estes padrões torna-

ram-se objeto de acordo e prática internacionais no

comércio por todo o mundo. Para vender produtos in-

dustriais no mercado mundial, é preciso atender às

normas ISO.

Em conclusão

, o crescimento industrial exce-

de outros setores, como resultado do controle da qua-

lidade e dos padrões através da avaliação, que é inclu-

ída como parte integrante do processo de gestão. Na

realização das avaliações, as empresas precisam con-

siderar as suas metas e os seus objetivos, os vários

problemas e erros surgidos, e comparar o seu desem-

penho ao de outras empresas rivais. Além disso, a ava-

liação tem o poder de ressaltar as empresas e o pes-

soal com bom desempenho de outros não tão capa-

zes. Essa discriminação, se utilizada de forma ade-

quada, incentivando os melhores e os mais capazes,

tornar-se-á motivação para desempenhos melhores e

mais eficazes. Além do mais, a avaliação gera exce-

lentes lições e um processo de aprendizagem contí-

nuo, a partir do sucesso e do fracasso, que é benéfico

para maiores desenvolvimentos e melhorias.

Com base na avaliação de qualidade executa-

da no setor industrial, há dois tipos de avaliação que

vêm do controle da qualidade: 1) avaliação interna den-

tro das empresas, para alcançar as metas propostas,

e 2) avaliação externa, como garantia para a qualidade

153

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

padrão. Ademais, são relatados os resultados da ava-

liação para o público, como fator de proteção do con-

sumidor.

valiação da qualidade da educação nos

países desenvolvidos

Examinando-se a literatura, verifica-se que a

avaliação educacional, em busca da garantia da quali-

dade e de melhorias de qualidade, recebe grande ênfa-

se em alguns dos principais países desenvolvidos,

como os Estados Unidos, a Austrália, a Nova Zelândia

e a Inglaterra.

Nos Estados Unidos

, já foram realizadas ten-

tativas de solucionar a crise da educação, que é um

fator impeditivo para a sua competitividade com outros

países desenvolvidos. Essas tentativas são expressas

pela promulgação de "Metas 2000: Lei da Educação

na América", para a preparação de todos os america-

nos para a entrada no novo milênio através da melhoria

da educação americana, para se equiparar a padrões

de nível mundial.

Para chegar às metas 2000, foram indicados

dois órgãos para acompanhar a implementação de

acordo com as metas: O Painel Nacional de Metas de

Educação, responsável pela orientação do Presidente

e do Congresso em questões ligadas à educação, e o

Conselho Nacional de Padrões de Educação e Apri-

moramento, responsável pelo estabelecimento e pela

monitorização de padrões e critérios de educação, bem

como pela aprovação dos critérios desenvolvidos vo-

luntariamente por cada um dos Estados.

O credenciamento americano de qualidade é

mais nítido no nível da educação superior, tendo sido

estabelecido pelas Associações Regionais de

Credenciamento Institucional, e pelas Agências Naci-

onais de Credenciamento Institucional e Especializa-

do. O processo de credenciamento é feito em colabo-

ração entre a associação de credenciamento e a insti-

tuição, na determinação de critérios padronizados. A

instituição precisa solicitar o credenciamento à asso-

ciação; tendo sido aceita a solicitação, a instituição

precisa efetuar auto-avaliações de maneira consisten-

te, para acompanhar e verificar se executou as fun-

ções de acordo com os planos institucionais, para o

atendimento dos objetivos necessários. A avaliação

tem a participação de todas as pessoas envolvidas,

entre corpo docente, pessoal administrativo, pessoal

de apoio e corpo discente.

O relatório da auto-avaliação é enviado à as-

sociação de credenciamento, que por sua vez deverá

visitar e avaliar a instituição. Normalmente, o resultado

do credenciamento terá validade de cinco a dez anos.

Entretanto, a associação de credenciamento poderá

inspecionar a instituição a qualquer momento e sem

notificação prévia, para garantir que ela continue efici-

ente, e que efetivamente atenda à qualidade padrão.

Enquanto isso, as próprias associações de

credenciamento são também avaliadas por órgãos tanto

públicos quanto privados. O órgão não-público que avalia

as associações de credenciamento é a Comissão de

Reconhecimento de Credenciamento Pós-Secundário,

para a manutenção da variedade e da qualidade. No

caso do órgão público, os governos federal e estaduais

observam as associações de credenciamento, para

verificar o adequado desempenho de suas funções, com

qualidade confiável, e de acordo com critérios padroni-

zados estabelecidos.

Na Austrália

, que se beneficia em muito da

educação, uma vez que esta pode ser considerada in-

clusive como um de seus principais produtos de ex-

portação, a qualidade da educação é bastante reco-

nhecida por muitos dos países da Ásia. Esta qualida-

de é obtida através de avaliações consistentes de re-

sultados e de produtos, medidas em termos de de-

sempenho acadêmico e da qualidade de trabalho dos

indivíduos formados pelo sistema. As avaliações são

efetuadas em caráter regular, sendo os resultados di-

vulgados, com a finalidade de prestação de contas jun-

to ao público. Ainda, os resultados da avaliação são

usados para sugerir recomendações referentes à polí-

tica educacional, para aprimoramentos e desenvolvi-

mentos futuros.

No caso da Nova Zelândia

, verificou-se uma

reforma bastante clara, passando o país de um tipo de

administração centralizada da educação para a

descentralização. Como resultado desta reforma, a

política formulada pela Autoridade Central pode ser

traduzida diretamente e implementada pelas escolas

e pela comunidade, sem que seja necessário passar

através de uma linha administrativa longa e cheia de

percalços, como era feito no passado.

Em meio ao processo de reforma, foram

efetuadas avaliações de verificação e de equilíbrio, e

tanto as avaliações internas quanto as externas fica-

ram integradas no processo de reforma. A avaliação

interna inclui dois níveis, o nível da escola e o nível

ministerial. No nível da escola, além da verificação

mútua, entre diretores, professores e alunos, a direto-

ria escolar tem a função de avaliar a própria escola. No

nível ministerial, o Ministério da Educação é responsá-

vel pela avaliação dos desempenhos das escolas de

modo geral, de acordo com as Diretrizes Nacionais de

Educação.

No caso da avaliação externa, um Education

Review Office (ERO), que é um órgão autônomo fora

da esfera de controle do ministério, avalia as escolas,

verificando se desempenharam ou não os seus deve-

res, da forma expressa na missão da escola e nas

Diretrizes Nacionais de Educação.

Na Inglaterra

, foi criado um Office for Standards

in Education (OFSTED), chefiado pelo inspetor-chefe

de Sua Majestade e o seu pessoal (Her Majesty

Inspectors ou HMI), para acompanhar a qualidade e os

padrões de qualidade. Como órgão autônomo, inde-

154

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

pendente do Ministério da Educação, este escritório

tem a possibilidade de executar as suas funções sem

parcialidades e preconceitos.

O estabelecimento do OFSTED introduziu um

sistema novo de inspeção escolar e modificou as fun-

ções dos HMI, de fornecedores diretos de inspeção

escolar para o desenvolvimento de padrões nacionais

de educação e apoio a inspetores privados indepen-

dentes para desempenharem essa função para todas

as escolas, de acordo com um ciclo de quatro anos.

Estes inspetores privados têm de ser treinados e

registrados, para serem qualificados para inspeção

escolar, contratada através de licitações. O resultado

da inspeção é informado ao OFSTED e à escola e à

comunidade, com a finalidade de prestação de contas

e de dar informações de volta ao sistema, para o de-

senvolvimento de melhorias. Quando são encontrados

problemas sérios como resultado da inspeção escolar,

o OFSTED aplica medidas especiais na escola, que,

por sua vez, fica responsável pela formulação e pela

implementação de um plano operacional para melho-

ramentos. Durante a fase de implementação do plano,

a escola e a comunidade executa avaliação e

monitorização internas, enquanto que a inspeção ex-

terna é realizada pelo OFSTED, para verificar se a es-

cola melhorou de acordo com o plano.

Aparentemente, o novo sistema de inspeção

está funcionando muito bem. As conclusões da inspe-

ção são aceitáveis, e são consideradas benéficas para

as escolas e partes relacionadas a ela, aprimorando a

qualidade da educação.

Em conclusão

, a prática na área de melhorias

de qualidade atingidas através da avaliação da qualida-

de e do padrão da educação nos países mencionados

acima baseia-se em conceitos relacionados ao valor

pelo investimento, prestação de contas, liberdade aca-

dêmica, administração descentralizada e participação

de todos os envolvidos durante todo o processo de pla-

nejamento e monitorização e avaliação, tanto internas

quanto externas, com método transparente de verifica-

ção e equilíbrio, com base no qual os órgãos de avali-

ação são também avaliados por outros beneficiários.

Esses conceitos e prática de avaliação têm impactos

significativos sobre o planejamento, orçamento e ad-

ministração, em relação a metas necessárias relacio-

nadas a melhoramentos e eficiência na área de quali-

dade.

sistema de avaliação educacional

proposto na Tailândia

A partir da análise realizada acima, verifica-se

que a educação assume um papel crucial na constru-

ção do futuro de uma nação. Por isso, vários países

vêm empreendendo os maiores esforços para fornecer

educação para o desenvolvimento de recursos huma-

nos, que possam contribuir para o desenvolvimento

nacional. Tudo isso é também verdadeiro na Tailândia,

que precisa efetivamente desenvolver a qualidade de

sua população e os seus potenciais, para expandir a

competitividade do país em relação a outros países, e

em todos os aspectos do desenvolvimento.

Apesar de todos os esforços, o sistema edu-

cacional na Tailândia não dispõe de um órgão principal,

que seja responsável pela avaliação, pela qualidade na-

cional da educação e dos seus padrões. Verifica-se tam-

bém que o sistema de avaliação existente é inadequa-

do, tanto em termos de qualidade quanto de quantidade,

o que gera

feedback

igualmente não apropriado para o

desenvolvimento nacional da educação.

Por isso, é preciso que seja desenvolvido uma

estrutura sistemática de avaliação, com base no con-

ceito e na prática analisada em outros setores e em

outros países, para que possam ser solucionados os

problemas existentes, assim como para que seja pos-

sível adquirir um mecanismo para aprimoramento e

desenvolvimento educacionais.

É necessário desenvolver diretrizes e padrões

nacionais de educação, em todos os níveis, sendo in-

dispensável executar-se uma avaliação de qualidade,

para garantir que essas diretrizes e padrões sejam aten-

didos. Tudo isto deverá partir de esforços de colabora-

ção, empreendidos entre os vários órgãos relaciona-

dos, que, como órgãos implementadores, incluindo

vários ministérios e departamentos responsáveis pela

educação e por instituições de educação, devem to-

mar parte no desenvolvimento de padrões, bem como

na implementação e na avaliação de seu próprio de-

sempenho de acordo com eles. O órgão diretamente

responsável pelo desenvolvimento de padrões e diretri-

zes, bem como pela garantia da qualidade baseada

em níveis acordados, deverá ter caráter central e autô-

nomo, fora da linha de controle dos órgãos de

implementação. Este órgão deverá promover e apoiar

a avaliação interna nas instituições de educação atra-

vés de vários canais, como, por exemplo, o forneci-

mento de treinamento e de financiamento parcial para

esta atividade. No caso da avaliação externa, será ofe-

recido apoio ao setor privado bem como às associa-

ções acadêmicas e profissionais, para a inspeção e a

avaliação das instituições de educação.

Os inspetores privados deverão ser treinados

e registrados como inspetores qualificados, para esta-

rem aptos para a avaliação de escolas de educação

pré-universitária, como é o caso dos inspetores inde-

pendentes registrados na Inglaterra. A inspeção esco-

lar será realizada através de licitações efetuadas entre

inspetores privados registrados, que deverão estudar

antecedentes sobre a escola e preparar planos de ins-

peção antes de procederem à inspeção das escolas.

Os relatórios de inspeção resultantes deverão ser apre-

sentados ao órgão central responsável, às escolas e

155

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

comunidades envolvidas, para que seja dado

feedback

para maiores aprimoramentos e desenvolvimentos pos-

teriores de política.

No caso da educação superior, será oferecido

apoio às associações acadêmicas e profissionais, para

credenciamento de instituições de educação superior,

como o que acontece nos EUA.

Ainda deverá ser empregado um método de

verificação e equilíbrio que seja transparente; este

método poderá ser desenvolvido, dando-se a possibili-

dade às instituições inspecionadas de apresentarem

suas queixas e reclamações ao órgão central, encar-

regado da qualidade e dos padrões de educação, que

deverá verificar os desempenhos de inspeção dos ins-

petores registrados e das associações de inspeção.

Serão também realizadas avaliações ocasionais, por

órgãos independentes contratados, para verificação da

qualidade e da eficácia de todas as partes envolvidas

na inspeção educacional.

Com base no conceito acima, será criado um

Instituto Nacional para a Avaliação da Qualidade e dos

Padrões de Educação no ONEC, que será preparado

para se tornar órgão independente, posteriormente.

Esta instituição será responsável pelo novo sistema

de avaliação.

Instituto Nacional para a Avaliação da

Qualidade e dos Padrões de Educação

Este instituto deverá desenvolver e promover o

sistema de avaliação educacional, de acordo com a

política recentemente proposta e aprovada pelo Gabi-

nete de Ministros. Esta política abrange:

O sistema de avaliação educacional,

que in-

cluirá:

Avaliação Interna

nas escolas e nas insti-

tuições de educação, aplicando o processo de avalia-

ção orientado para a administração, e utilizado na Ges-

tão da Qualidade Total ou nas normas ISO 9000.

Avaliação Externa

, executada pelo Institu-

to, aplicando o modelo OFSTED para a inspeção es-

colar executada por inspetores registrados privados

para a educação pré-universitária, e o modelo dos EUA,

para o credenciamento das instituições de educação

superior, por associações acadêmicas e profissionais.

A estrutura organizacional.

O instituto traba-

lhará de acordo com a orientação da Comissão Nacio-

nal de Educação, havendo nele dez grupos de traba-

lho, como aparece no Gráfico 8.

Gráfico 8 – Estrutura organizacional

do Instituto Nacional para Avaliação da Qualidade e dos Padrões de Educação

O Instituto

1. Desenvolvimento de

Padrões

2. Inspetor

Registrado

3. Pré-Primário 4. Primário

5. Secundário 6. Treinamento

Vocacional

7. Instituição

Privada

8. Educação

Superior

9. Outros

Órgãos

10. Administração

156

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

O Grupo de Trabalho sobre Padrões

será res-

ponsável pelo desenvolvimento de pesquisa, para o de-

senvolvimento de Padrões Nacionais de Educação que

possam ser comparados aos padrões de nível mundial.

O Grupo de Trabalho sobre Inspetores

Registrados

será responsável por selecionar, desen-

volver e registrar inspetores independentes privados qua-

lificados, bem como por supervisionar se as inspeções

executadas pelos inspetores atendem à qualidade e

aos padrões exigidos.

Os Grupos de Trabalho 3 a 9

serão responsá-

veis pela promoção de avaliação interna nos vários ní-

veis de instituições e órgãos de educação.

O Grupo de Administração

será responsável

pela administração geral, em apoio a todas as ativida-

des descritas acima.

Processo de Implementação

. A implementação

deverá incluir as etapas abaixo (Gráfico 9):

Gráfico 9 – Etapas do processo de implementação

Pesquisa para o desen-

volvimento dos Padrões

Nacionais de Educação

Apresentação da política de Padrões

Nacionais de Educação à Comissão

Nacional de Educação

Aprovação dos Padrões

Nacionais de Educação

Avaliação interna

Avaliação externa

As etapas para a

avaliação interna

executadas pelas instituições e órgãos de educação poderão incluir o

seguinte (Gráfico 10):

Gráfico 10 – Etapas da avaliação interna

1. Preparação da

avaliação interna

2. Comparação com

a ISO 9000/GQT

3. Projeto de contro-

le de qualidade

4. Preparação dos

documentos

necessários

5. Preparação

de manuais de

qualidade

6. Implementação

7. Monitorização e

avaliação

8. Aprimoramento/

ajuste da

implementação/

documentos

9. Solicitação de

avaliação externa

157

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

No caso da

avaliação externa

, serão as seguintes etapas (Gráfico 11):

Gráfico 11 – Etapas da avaliação externa

1. Estabelecimento de

critérios de avaliação

2. Desenvolvimento e

seleção de avaliadores

externos

3. Determinação de

contratos para

avaliação externa

4. Execução da

avaliação

5. Preparação do

relatório

6. Apresentação à Comissão

Nacional de Educação,

Gabinete e ao Congresso

C onclusão

Sendo a educação uma das chaves para o de-

senvolvimento da qualidade humana, considerada como

primordial para o desenvolvimento nacional e para a

competitividade mundial, é de suma importância a ge-

ração de educação de qualidade. Desta forma, a ga-

rantia da qualidade e a avaliação tornaram-se uma ques-

tão crucial no fornecimento de educação de boa quali-

dade aos povos de vários países. A avaliação não deve

ser limitada a testes e medições, como era o conceito

do passado, mas é uma parte significativa do

gerenciamento. Este tipo de avaliação deverá incluir

tanto a avaliação externa quanto interna, sendo execu-

tada por todas as instituições e órgãos de educação,

como parte integrante do processo de gestão, para

chegar às metas e objetivos exigidos. Outrossim, de-

verá ser bem-vinda a participação no processo de to-

das as partes envolvidas, sendo os resultados da ava-

liação informados e verificados pelo público, com fins

de prestação de contas. Ainda, as conclusões deriva-

das da avaliação deverão ser utilizadas para sugerir

aprimoramentos de qualidade e maiores recomenda-

ções para o desenvolvimento educacional. Este siste-

ma de avaliação deverá ser desenvolvido por um órgão

que seja independente e autônomo, para permitir flexi-

bilidade, eficácia e avaliação imparcial. Todas essas

práticas tornarão a avaliação educacional mais signifi-

cativa, contando com o valor pelo investimento, a pres-

tação de contas, a liberdade acadêmica, a administra-

ção descentralizada e a participação, para chegar a

obter impactos significativos sobre o planejamento, a

elaboração de orçamentos e a administração, com vis-

tas a uma melhor qualidade e eficiência da educação.

R eferências bibliográficas

BEST universities of Asia (The).

Asiaweek

, Hong Kong,

v. 23, n. 20, 1997.

CHAMPY, James.

Reengineering management

. New

York : Harper Collins, 1995.

DEWEY, J.

Democracy and education

. New York :

MacMillan, 1916. 434p.

GREAT BRITAIN. Office for Standards in Education.

OFSTED and the new school's inspection system

Disponível na Internet (http://www.coi.gov.uk/coi/

depts/depts.htm).

INTERNATIONAL INSTITUTE FOR MANAGEMENT

DEVELOPMENT.

World competitiveness yearbook,

1997

. Disponível na Internet (http://www.imdch/wcy/

over.hum).

INTERNATIONAL LABOUR ORGANIZATION.

Yearbook

of labour statistics

1995. Genéve, 1996.

KARMEL, Peter. Desirable outcome - australian

education policy in the nineties, William Walker

oration, 3 July 1995.

Journal of Higher Education

Policy and Management

, v. 18, n. 1, 1996.

NANANUKUL, Surasak et al.

QC manual

: basic

principle of working quality in Japan and Thailand.

Cópia mimeografada.

158

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

NONGMAK, Chamrat.

Private school accreditation

development guideline to promote the role of private

schools. Bangkok, 1995.

OFFICE OF THE NATIONAL EDUCATION

COMMISSION.

Educational investment in Thailand

Bangkok, 1997.

OFFICE OF THE NATIONAL PRIMARY EDUCATION

COMMISSION.

A manual for the use of standard

criteria in primary schools

. Bangkok, 1995.

OFFICE OF THE NATIONAL PRIVATE SCHOOL

COMMISSION.

A manual to evaluate private school

quality

. Ed. rev. Bangkok, 1996.

________.

Guidelines for development and quality

assurance

. Bangkok, 1997.

ROSS, Kenneth N. Research and policy : a complex

mix.

IIEP Newsletter

, v. 15, n. 1, Jan./Mar. 1997.

SIRITRANGSRI, Pinsuda.

A study on education reform

in New Zealand

: a paper presented to ONEC.

Bangkok, 1997.

SRISUCHAI, Setasak.

Application of strategic

management and TQM in large enterprises

Bangkok, 1992.

THAILAND. Ministry of Education.

Department of

Vocational Education and ISO 9000

. Bangkok, 1996.

THAILAND. Ministry of Industry.

Standards of Industri-

al Products ISO

: 1994. Bangkok, 1996.

UNESCO.

Statistical Yearbook 1995

. Lanham, MD:

Brenan, 1996.

WORLD Education League : Who´s Top? T

Economist

, 29 de março de 1997.

159

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

O PAPEL DOS MEIOS DE

COMUNICAÇÃO NA DIVULGAÇÃO DOS

RESULTADOS DA AVALIAÇÃO

Demócrito Rocha Dummar*

Minha primeira observação passa pelo regis-

tro de que não sou um professor. Sou um jornalista de

batente, sem especialização nas digressões sobre o

tema deste Seminário. Minha presença ao lado de es-

pecialistas confirma a intenção multidisciplinar dos

seus organizadores, um dos caminhos para a demo-

cratização da avaliação no País.

Hoje, pela manhã, fiz uma pergunta ao Dr.

House, consagrado conhecedor internacional do tema

e presença imprescindível ao sucesso da presente ini-

ciativa. Confesso que já imaginava o resultado da res-

posta e a fiz, de certa forma, para pautar o teor inicial

de minhas colocações: "Dr. House, há dificuldade de

difusão das avaliações dos resultados educacionais?

Para essa dificuldade quem contribui mais, os especi-

alistas ou os meios de comunicação generalistas?"

"Os meios de comunicação", respondeu ele, "distorcem

e comprometem os nossos trabalhos. É o que

comumente mais acontece."

Eu já esperava que ele fizesse essa crítica aos

meios. Como comunicadores da imprensa leiga (não

confundir com imprensa especializada), somos cons-

cientes dos crescentes desafios temáticos no âmbito

do conhecimento especializado ou científico e de nos-

sas proporcionais falibilidades. A partir delas, no en-

tanto, é que tentamos ampliar o nosso "círculo de pau-

tas" e assuntos, para atender às exigências de um

público de interesses cada vez mais diversificados. Não

imaginava, confesso, que especialistas não se inseris-

sem como co-autores de um mesmo drama.

Gostaria de abordar a partir de agora três as-

pectos que justificariam essa dificuldade de comuni-

cação.

A primeira, passa pelas observações do edu-

cador Howard Gardner em seu livro

Anatomia das Li-

deranças

, no qual ele afirma que há dois tipos de líde-

res em nossa sociedade:

os líderes generalistas

, que

têm discursos para as grandes audiências e que

potencializam, modernamente, com fluência, seus pon-

tos de vista através dos meios de comunicação im-

pressos e eletrônicos, e os

líderes de domínios do co-

nhecimento

, que têm discursos circunscritos a audi-

*Jornalista, presidente do jornal

O Povo

e da Fundação Demócrito Rocha, de Fortaleza-CE.

ências mais restritas, a audiências de especialistas.

Essa interlocução de especialistas é complexa, quan-

do diante da imprensa não especializada. Utilizando

linguagem acadêmica, hermética, esses profissionais

não são preparados para sintetizar conceitos, a fim de

atenderem a audiências maiores, nos noticiários de

televisão, por exemplo. Continuam falando no ritmo que

o fazem com seus interlocutores tradicionais. Eis a

primeira grande dificuldade.

A segunda dificuldade está no fato de as lide-

ranças acadêmicas não motivarem os jornais a abri-

rem novas pautas para atender às suas especialida-

des. A conferencista que me antecedeu colocou a

questão da Aids, quando a maioria dos jornais brasilei-

ros cuidou bem do assunto, recentemente. Seria méri-

to dessas lideranças acadêmicas? Creio que não. Esse

mérito cabe mais a própria sociedade, que está mais

atenta à questão da Aids. Eu trago um exemplo para

os senhores de como

O Povo

, que se edita no Nordes-

te, cuidou do assunto por ocasião do Dia Mundial de

Combate à Aids: primeira página com uma enorme ilus-

tração, o suplemento "Ciência & Saúde", o caderno

feminino "Delas", além da capa do suplemento de cul-

tura e variedades "Vida & Arte", todos em coro. Não há

um talento especial dos jornalistas, tampouco Fortale-

za tem uma incidência da doença em níveis superiores

a outras capitais brasileiras. Acredito que os jornalis-

tas estão envolvidos nessa problemática tanto quanto

os especialistas, pois a Aids ultrapassou o círculo res-

trito destes. Por que o mesmo não ocorre com outras

enfermidades que atingem um universo bem maior de

pessoas, como é o caso dos pacientes portadores de

alzheimer

? Ou por que grande destaque não é dado a

certas especialidades na área de educação? Ou ain-

da, por que os especialistas desse setor admitem tra-

fegar exclusivamente em torno das questões de matrí-

culas, de repetência, de salários, de exames vestibu-

lares e meia dúzia a mais de temas batidos? Eis uma

dificuldade e um desafio que atinge a todos: como po-

deríamos sensibilizar um jornal como

O Globo

, voltado

para grandes audiências, a tratar permanentemente a

avaliação na educação, na intensidade que o assunto

requer?

160

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Há, também, uma terceira dificuldade que foi

bem expressa pelo Dr. Barry MacGaw, quando demons-

trou sua experiência na Austrália. Mesmo sendo um

país com tradição em avaliação educacional, persiste

uma tensão latente entre as pessoas e as instituições

que patrocinam as pesquisas e a divulgação dos resul-

tados. Como superar a dificuldade no relacionamento,

quando setores de comunicação social dos governos

não têm interesse em divulgar amplamente as defici-

ências registradas pelos avaliadores? Como proteger

essa informação e fazê-la chegar aos jornais, criando-

se uma tradição de difusão, quando, em certos mo-

mentos, os próprios financiadores preferem

subdimensioná-las, quando não, desqualificá-las, por

desatenderem aos seus índices de eficiência diante

da opinião pública? Se circunstâncias como essas

ocorrem na Austrália, como superá-las em países

menos aculturados para a transparência dessa mis-

são? E como superá-las, se as políticas de comunica-

ção social do setor público vão ficando restritas aos

comerciais de 30 segundos na TV, seja no Brasil ou

em países mais desenvolvidos? Peço perdão por fazer

tantas indagações. Entretanto, se uma das funções

básicas do jornalista é perguntar, isso me redime par-

cialmente.

Aproveitando os minutos que me restam, se-

ria oportuno repassar-lhes um rápido panorama sob o

prisma dos veículos de comunicação impressa. Esses

veículos estão muito conscientes de suas novas mis-

sões. A questão do papel ou do fim do papel na era

digital, bem como a globalização da comunicação,

contribuiu para que editores desenvolvessem novos for-

matos de linguagem e estudassem a busca de novos

desafios. É o caso da "Universidade Aberta do Nordes-

te", um projeto de educação a distância por meio de

jornais, gerado a partir do Ceará, há mais de uma dé-

cada. Em parceria com as universidades públicas, fo-

ram desenvolvidos 43 cursos de extensão. A última

experiência, através do curso "Marketing para Todos",

teve 17 mil alunos inscritos. Isso demonstra uma nova

aptidão aberta dos jornais, aliada a uma necessidade

de capacitação da sociedade, na qual o cidadão tem

de estar bem informado e mais preparado para as no-

vas relações de trabalho e de vida.

Outra coisa também interessante – e isso aí

faz parte da questão da globalização: de qualquer pon-

to do País, produtores de conhecimento podem atuar

em nível nacional, como será o caso da

Gazeta Mer-

cantil

, que veiculará esse mesmo curso para seus mi-

lhares de leitores do eixo Rio-São Paulo. Este relato

foi apenas para sinalizar que os jornais brasileiros es-

tão maduros para vivências na área da educação. Uma

aproximação precisa ser feita. Os professores especi-

alistas em avaliação precisam tornar-se líderes do pro-

cesso de comunicação e conquistar espaços nas pá-

ginas de opinião dos jornais brasileiros. Sou um leitor

assíduo da professora Teresa Penafirme, mediante uma

publicação especializada da Fundação Cesgranrio. A

professora é uma jornalista nata e um exemplo na arte

da boa comunicação, à altura dos melhores textos bra-

sileiros. Falo na professora Teresa, mas me dirijo a

todos os mestres que têm a missão de democratizar a

avaliação educacional no Brasil. É preciso tirar esse

assunto dos círculos de especialistas e levá-los a to-

dos os pais, alunos, amigos da educação, diretores e

professores das escolas públicas e particulares. Avali-

ar é preciso.

161

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

S EMINÁRIO INTERNACIONAL

DE AVALIAÇÃO EDUCACIONAL:

DOCUMENTO DE TRABALHO

m debate internacional, partindo de uma

perspectiva brasileira

A exemplo do que ocorre num crescente nú-

mero de países, o Ministério da Educação e do Des-

porto do Brasil (MEC) incluiu entre seus objetivos

prioritários para os próximos anos a melhoria de quali-

dade da educação. Os desafios científicos,

tecnológicos e econômicos que experimentam nossas

sociedades, a forte demanda social que reclama uma

educação mais ampla e completa, a necessidade de

utilizar mais adequadamente possível os recursos, es-

cassos por natureza, e a pressão em favor de um de-

senvolvimento sustentável e eqüitativo convertem esse

objetivo numa exigência incontestável à qual os pode-

res públicos devem dar resposta. Em diversos foros

internacionais, foi salientado que o principal desafio dos

sistemas educacionais contemporâneos não é mais

apenas proporcionar educação a todos os cidadãos,

mas, também, assegurar que esta seja de qualidade.

Entre os fatores que podem contribuir para a

melhoria qualitativa da educação, a avaliação do siste-

ma educacional e de seus componentes ocupa um lu-

gar de destaque. Na realidade, a adoção de medidas

voltadas para a melhoria da atividade educacional so-

mente pode assentar-se sobre uma informação rigoro-

sa, contrastada e equilibrada. A avaliação permite ob-

ter e difundir essa informação, convertendo-se assim

num poderoso instrumento de conhecimento, de valo-

rização e, em última instância, de mudança. Não é de

estranhar que, neste contexto, tenha-se chegado a afir-

mar que ela constitui um recurso de primeira ordem a

serviço de um novo estilo de fazer política e de condu-

ção dos sistemas educacionais.

Em concordância com essas premissas, o Mi-

nistério brasileiro vem desenvolvendo já há alguns anos

uma série de programas de avaliação, que compreen-

dem diversos níveis educacionais, como a Educação

Básica, as universidades e os cursos de graduação e

pós-graduação. As iniciativas empreendidas até o mo-

mento permitiram articular uma linha de trabalho pro-

missora, constituir novas equipes de profissionais e

adquirir uma valiosa experiência acerca das possibili-

dades e limitações do uso da avaliação no âmbito edu-

cacional.

Entretanto, apesar dos avanços alcançados

neste terreno, a rápida evolução por que passa a ativi-

dade da avaliação na atualidade obriga as autoridades

educacionais a explorar novas vias de atuação, a refle-

tir sobre as experiências realizadas e a extrair, a partir

delas, suas próprias conclusões. Um dos procedimen-

tos mais frutíferos para levar a cabo essa reflexão con-

siste precisamente em contrastar as próprias idéias e

iniciativas com as de outros países. O debate interna-

cional proporciona uma oportunidade inigualável para

aumentar nosso conhecimento acerca da maneira de

resolver os problemas que encontramos no âmbito na-

cional e como melhorar nossa prática.

No momento de empreender esta tarefa com-

parativa, a participação dos organismos internacionais

é especialmente valiosa. Adotar uma perspectiva

supranacional permite lançar uma luz diferente sobre

as experiências locais e analisá-las partindo de novos

pontos de vista. Talvez seja neste tipo de exercício que

melhor se aprecie a contribuição que estes organis-

mos podem dar ao conhecimento e à melhoria da ativi-

dade educacional em diversos contextos nacionais.

A Oficina Internacional de Educación da

Unesco tem sempre dedicado boa parte de seus esfor-

ços à promoção do debate internacional sobre os as-

suntos educacionais, fomentando a compreensão en-

tre os países e tentando tirar o maior proveito possível

da comparação entre situações diferentes. Sendo esse

seu principal objetivo, colabora habitualmente na orga-

nização de atividades com importância internacional e

comparativa, oferecendo para isso sua experiência,

suas redes de especialistas e seus canais de comuni-

cação. Neste caso concreto, respondeu favoravelmen-

te à solicitação feita pelas autoridades educacionais

brasileiras para organizar um encontro que permita

analisar e comparar as experiências desenvolvidas por

diversos países no âmbito da avaliação educacional.

De acordo com os motivos e intenções expos-

tos, o Seminário Internacional de Avaliação Educacio-

nal, que será realizado no Rio de Janeiro em dezembro

de 1997, tem por objetivo explorar e analisar os novos

desafios e as tendências que se vislumbram nesse

âmbito, permitindo às autoridades brasileiras confron-

tar sua experiência com a de outros países. Assim,

trata-se de estabelecer um debate internacional con-

tando com a participação de destacados especialistas

procedentes de diversos países e regiões mundiais,

mas sem perder de vista a perspectiva especificamen-

te brasileira, a serviço da qual foi concebido o encon-

tro. O grau de êxito da reunião deverá ser estimado à

162

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

medida que o debate internacional contribua para o

enriquecimento da experiência desenvolvida nestes úl-

timos anos no Brasil.

ma reflexão sobre as novas tendências

da avaliação educacional

Como foi mencionado acima, as instituições

organizadoras do Seminário querem propiciar uma re-

flexão sobre as principais tendências que se notam

hoje em dia quando se trata de avaliar a atividade edu-

cacional. Falar de novas tendências supõe realizar uma

exploração do passado recente e uma análise da situ-

ação atual, com os olhos no futuro. Este exercício é

especialmente necessário quando nos defrontamos

com um campo em plena fase de renovação.

Na realidade, embora a avaliação propriamen-

te dita conte com uma longa tradição, que remonta às

origens históricas da psicometria e da pedagogia ex-

perimental, durante as duas últimas décadas, regis-

trou um processo rápido e decidido de expansão, sen-

do produzidas mudanças importantes no modo como

é concebida, nos métodos que utiliza e na maneira

como se organiza institucionalmente. Como conseqü-

ência deste conjunto de transformações, passou por

uma completa renovação, a tal ponto que a avaliação

educacional atual apenas se assemelha à atividade de-

senvolvida sob essa denominação no início dos anos 70.

Um dos aspectos em que melhor se aprecia a

mudança produzida na tarefa de avaliar é a sua utiliza-

ção sistemática para obter informações válidas acerca

dos diferentes setores da educação, e não apenas do

aprendizado conseguido, pelos alunos. De acordo com

uma imagem sugestiva freqüentemente utilizada, é

como se sua expansão tivesse sido produzida medi-

ante a colonização progressiva de campos vizinhos.

Tendo começado pela preocupação com o aprendiza-

do dos alunos, a atenção foi se deslocando para os

professores, o currículo, os programas de intervenção,

os centros e a própria administração da educação. Em

resumo, pode-se dizer que, hoje em dia, o conjunto do

sistema educacional é objeto da avaliação.

Logicamente, essa ampliação do foco de aten-

ção e sua aplicação às novas realidades obrigou a re-

considerar em profundidade os conceitos e as catego-

rias teóricas utilizadas, a revisar os métodos e os pro-

cedimentos habitualmente aplicados, a procurar os

modelos institucionais e organizacionais mais adequa-

dos para cumprir suas novas funções e a explorar os

mecanismos mais eficazes para difundir e utilizar a

informação obtida. Neste campo, como em tantos ou-

tros, não existem normas universais consagradas pela

tradição, mas apenas tendências mais ou menos

promissoras, de cuja análise deverão ser extraídos os

critérios aplicáveis em cada caso concreto.

De acordo com estas premissas, a reflexão

que o Seminário quer promover sobre o significado de

se avaliar um sistema educacional e os meios mais

apropriados para levar a cabo tal tarefa deve basear-se

na identificação dos principais desafios com que atual-

mente se defronta e no estudo das tendências que se

vislumbram no panorama internacional. A partir da apre-

sentação de idéias e experiências pelos vários exposi-

tores convidados de diversos países, a parte central da

reunião consiste precisamente no debate, no contras-

te de opiniões e na reflexão compartilhada entre todos

os participantes, com a intenção de se chegar a com-

preender melhor as características que esta tarefa cer-

tamente complexa apresenta no momento atual e ex-

trair-se algumas orientações para a prática.

Entre os possíveis temas que um encontro com

estas características poderia abordar, foram selecio-

nados três de especial relevância nas circunstâncias

atuais. Cada um deles abarca um âmbito de reflexão

com significado próprio e com importantes implicações

para o planejamento, a organização e o funcionamento

dos sistemas nacionais de avaliação educacional. Mais

que um repertório de soluções, esses temas constitu-

em uma fonte de perguntas e de questões abertas, às

quais será necessário responder no futuro próximo.

a) O que e como avaliar

O primeiro dos temas que serão abordados

pelo Seminário refere-se aos conteúdos e métodos da

avaliação ou, dito de outro modo, às questões de "o

que" e "como" avaliar. Sem pretender esgotar nem tra-

tar de maneira exaustiva um assunto que se caracteri-

za por sua amplitude, foram selecionados alguns dos

âmbitos e enfoques metodológicos que mais preocu-

pam atualmente os especialistas e as autoridades edu-

cacionais.

Em primeiro lugar, o seminário dedicará aten-

ção à avaliação dos resultados educacionais. Embora

a aferição do rendimento escolar, realizada geralmente

através da análise dos resultados acadêmicos dos alu-

nos, tenha sido objeto de permanente preocupação,

as circunstâncias atuais obrigam-nos a revisar nossos

pressupostos tradicionais. Por um lado, os avanços

da psicologia e da pedagogia obrigam-nos a reconsi-

derar o que entendemos por resultados educacionais,

prestando atenção ao desenvolvimento de capacida-

des de várias ordens (atitudes, habilidades não-

cognitivas, valores). Por outro lado, a exigência demo-

crática de justiça e eqüidade na aferição obriga-nos a

levar em consideração as condições iniciais dos alu-

nos e das escolas, e não somente seus resultados

finais.

De acordo com essas novas colocações, o

seminário pretende contribuir para a reflexão acerca

163

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

dos seguintes pontos: que capacidades devem ser

objeto de avaliação; como se pode combinar a aferição

dos resultados acadêmicos com a de outras dimen-

sões educacionais não estritamente cognitivas; com

que procedimentos contamos para realizar essa tare-

fa; que implicações tem a pesquisa psicopedagógica

recente sobre a avaliação dos resultados da educa-

ção. Igualmente se propõe debater: como devem ser

consideradas as condições iniciais dos alunos e das

escolas, na aferição de seus resultados; que sentido

tem a introdução do conceito de

valor agregado

na ava-

liação; que possibilidades oferece e com que modelos

contamos para aplicá-lo na prática.

Em segundo lugar, as pesquisas recentes so-

bre os fatores que contribuem para a melhoria da qua-

lidade da educação coincidem em conceder um papel

central à escola. Se bem que não se possa menospre-

zar o efeito produzido pelas políticas nacionais ou lo-

cais adotadas, a melhoria qualitativa se dirime, em úl-

tima análise, em cada instituição educacional. Vem

daí a crescente importância que se atribui à avaliação

dos centros educacionais como instrumento de melhoria

da educação. Em consonância com esta premissa, o

seminário pretende abordar diversas questões acerca

das funções específicas da avaliação das escolas: quais

são elas, que papel desempenham na avaliação do sis-

tema educacional, como podem e devem ser

complementadas as iniciativas avaliadoras de caráter

interno e externo, ou qual é o papel das autoridades

educacionais e das próprias escolas na avaliação

institucional.

Em terceiro lugar, é preciso reconhecer a im-

portância que estão adquirindo alguns métodos e ins-

trumentos, na hora de avaliar os sistemas educacio-

nais. Entre todos eles, vale a pena nos determos es-

pecialmente em dois, pelo interesse que despertam e

a expansão que registram no momento atual: o primei-

ro consiste na comparação internacional dos resulta-

dos da educação, tarefa da qual participam diversas

organizações e associações internacionais e que já

tem dado lugar à realização de um número crescente

de estudos nos últimos anos; o segundo consiste na

utilização de indicadores da educação, entendidos como

uma ferramenta capaz de proporcionar informações

significativas e coerentes que permitem aferir o estado

e a situação dos sistemas educacionais.

Como contribuição para a reflexão internacio-

nal acerca destes assuntos, o seminário pretende de-

bater as possibilidades e as limitações da compara-

ção internacional dos resultados da educação, as con-

dições que devem ser atendidas pelos estudos empre-

endidos para assegurar uma comparação justa, o inte-

resse que pode ter para os países a participação nes-

sas iniciativas e como podem ser combinadas as agen-

das nacionais e internacionais de avaliação. Por outro

lado, o seminário quer também estimular o debate so-

bre as possibilidades e limitações dos indicadores edu-

cacionais, as condições que devem ser cumpridas, o

uso que se pode e deve fazer dos mesmos, ou como e

em que medida podem contribuir para o conhecimento

e a melhoria da educação.

b) Como organizar institucionalmente um sistema de

avaliação

O segundo tema a ser abordado pelo seminá-

rio refere-se aos diversos modelos institucionais exis-

tentes e aos critérios adotados em diferentes contex-

tos nacionais para organizar e operacionalizar siste-

mas de avaliação educacional. Também neste bloco

de questões foram selecionados alguns aspectos de

especial relevância, com o propósito de focalizar a dis-

cussão em torno deles.

Um primeiro objeto de reflexão consiste no tipo

de dependência institucional mantida pelos órgãos res-

ponsáveis pela avaliação em relação às autoridades

políticas e às administrações educacionais. Enquanto

alguns países adotam a forma de agências ministeri-

ais, com um ou outro tipo de dependência orgânica em

relação ao governo, em outros, esses órgãos possu-

em maior autonomia institucional, seja porque depen-

dem do poder legislativo, seja por estarem situados

fora do poder político. A adoção de um ou outro mode-

lo varia em função do contexto e das tradições de cada

país, bem como da força e da autonomia das associa-

ções profissionais. O modelo institucional escolhido

também condiciona bastante o grau de independência

com que atuam os avaliadores no desempenho de suas

atividades.

Partindo desta perspectiva, o seminário se pro-

põe a debater as vantagens e os inconvenientes que

oferecem os principais modelos institucionais em fun-

ção de seu contexto particular; como o necessário

suporte político pode ser combinado à avaliação com

efetiva independência dos órgãos responsáveis pela

mesma; que papel desempenham os poderes políti-

cos, as administrações educacionais, os principais

interessados e os próprios avaliadores na definição dos

objetivos da avaliação e ainda perante quem os órgãos

de avaliação devem responder pelo seu trabalho.

Um segundo objeto de reflexão diz respeito às

implicações que têm os processos de descentralização

atualmente em implantação sobre a organização e o

funcionamento dos organismos de avaliação. Embora

o termo

descentralização

se refira a realidades muito

diversas, não há dúvida de que os processos a ele as-

sociados obrigam-nos a reconsiderar as maneiras tra-

dicionais de administração e condução dos sistemas

educacionais. Em tais circunstâncias, a avaliação pas-

sa a ter maior importância, embora também tenha que

adaptar suas características institucionais às novas

atribuições de competências em matéria educacional.

Dentro deste ponto de vista, o seminário pre-

tende estimular a reflexão sobre a forma de

164

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

compatibilizar-se a avaliação do conjunto do sistema

educacional como um todo com a atribuição de com-

petências existente no mesmo, a influência do modelo

de organização política do Estado sobre a dependên-

cia institucional do sistema de avaliação e, ainda, quem

pode tomar quais decisões com relação às atividades

a serem desenvolvidas.

c) Como utilizar as informações da avaliação

O terceiro dos temas selecionados para

estruturar o seminário refere-se ao tratamento e usos

da informação proporcionada pela avaliação. Embora a

concepção estritamente utilitária, que deixa os resul-

tados da avaliação ao serviço imediato da tomada de

decisões, venha dando lugar a outra mais abrangente,

que admite a existência de vias indiretas de influência,

a relação existente entre a avaliação e a construção

de políticas continua a ser objeto de um interesse muito

grande. A correta difusão dos resultados da avaliação

preocupa mais do que nunca os patrocinadores da ava-

liação, bem como os próprios avaliadores. A busca de

novos modos para a divulgação das informações rece-

be crescente atenção, tanto por razões de exigência

democrática como por uma questão de simples eficá-

cia. O papel dos intermediários da informação, que

põem os avaliadores e os patrocinadores da avaliação

em contato com seus públicos, é revalorizado por aque-

les que acreditam estar realizando um trabalho impor-

tante ao traduzir os resultados da avaliação em conhe-

cimento utilizável. Em suma, os fluxos de informação

associados à atividade avaliadora, os usos que se fa-

zem da mesma e o impacto que pode ter sobre a polí-

tica e a prática educacional aparecem reiteradamente

na agenda atual da avaliação.

Por outro lado, a utilização da avaliação edu-

cacional nos países em desenvolvimento suscita algu-

mas questões específicas que vale a pena considerar.

Com o desejo de contribuir para um debate necessário

sobre o papel mais adequado, a viabilidade e a utilida-

de da atividade da avaliação nesse contexto particular,

o seminário abordará algumas reflexões sobre o senti-

do da avaliação nesse contexto concreto, o papel que

deve desempenhar em relação à satisfação das ne-

cessidades urgentes de escolarização básica, o lugar

que deve ocupar no seio das estratégias de melhoria

do ensino, que subsídio pode trazer especificamente

para os países em desenvolvimento e como deve ser

concebida a fim de contribuir para esse objetivo

socioeconômico.

Um simples seminário não pode aspirar resol-

ver tantos assuntos, de tanta transcendência, mas pode

contribuir para esclarecer alguns deles mediante uma

reflexão compartilhada. As principais questões que o

seminário pretende abordar neste sentido são: o que a

avaliação pode proporcionar à política educacional e o

que esta pode razoavelmente esperar daquela; que

mecanismos formais e informais podem ser utilizados

para difundir eficazmente os resultados da avaliação;

que papel podem desempenhar nesse trabalho os in-

termediários da informação; quem são os que podem

atuar como tais intermediários e quais são os princi-

pais usos da avaliação no processo de construção de

políticas educacionais e na melhoria da prática escolar.

ma agenda de trabalho aberta para o

futuro

Como facilmente se pode verificar, os temas

selecionados para estruturar o seminário constituem

apenas uma pequena amostra dos desafios e das ten-

dências que hoje enfrenta a avaliação educacional.

Embora os organizadores tenham tentado escolher al-

gumas questões de especial relevância, não tiveram a

pretensão de esgotar o repertório de perguntas ainda

sem resposta. Neste, como em outros campos, é ne-

cessário continuar desenvolvendo um trabalho de en-

saio, reflexão e debate, o único capaz de proporcionar

respostas para as numerosas questões levantadas.

Para levar a cabo esta tarefa, as iniciativas em-

preendidas pelas autoridades nacionais podem e de-

vem ser complementadas estreitamente com as que

são realizadas pelos organismos internacionais. A

agenda de trabalho aberta para o futuro é ampla e não

faz sentido abordá-la em direções divergentes. É ne-

cessário explorar as possibilidades oferecidas pelo in-

tercâmbio de experiências e pela cooperação, que sem-

pre dão resultados mais frutíferos que o isolamento.

Afinal de contas, os países que decidiram esti-

mular a avaliação educacional enfrentam problemas se-

melhantes.

De acordo com estes pressupostos, um dos

resultados do seminário, embora não seja o principal,

consistirá em ir perfilando de maneira mais precisa as

possíveis ações de cooperação internacional que po-

dem ser integradas numa agenda de trabalho para o

futuro. Como linhas gerais dessa agenda, que deverão

ir se concretizando progressivamente, destacam-se

três tipos de ações de especial importância nas cir-

cunstâncias atuais.

Em primeiro lugar, é necessário estimular pro-

gramas conjuntos de pesquisa no âmbito da avaliação

educacional. Embora em alguns países sejam desen-

volvidos importantes projetos de pesquisa, a supera-

ção das fronteiras nacionais permite adotar novas pers-

pectivas e explorar soluções diferentes. A experiência

incentivada neste sentido nos últimos anos pela União

Européia é um exemplo de como a constituição de

redes de pesquisadores em avaliação pode contribuir

poderosamente para a criação e divulgação do conhe-

165

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

cimento neste campo. Num outro ponto de vista, os

projetos internacionais de avaliação, como os patroci-

nados pela IEA, a OCDE ou OREALC-Unesco, propor-

cionam uma ocasião inestimável para serem explora-

dos novos enfoques e métodos aplicáveis a diversas

realidades e contextos nacionais. O seminário pode

contribuir para identificar algumas linhas de pesquisa

que convenha reforçar ou incluir nas agendas nacio-

nais e internacionais dos próximos anos.

Em segundo lugar, é necessário continuar in-

centivando o intercâmbio e a cooperação neste cam-

po. A implantação de sistemas nacionais de avaliação

da educação é uma experiência ainda recente para

muitos países, e sobre ela é imprescindível que todos

continuem aprendendo. Pelas características próprias

deste âmbito de atuação, os ensinamentos terão de

ser freqüentemente buscados além das fronteiras na-

cionais, mediante o contraste, a comparação, a trans-

ferência crítica e controlada de conhecimentos. Encon-

tros como este seminário constituem uma ocasião pri-

vilegiada para reunir os responsáveis e os especialis-

tas envolvidos no desenvolvimento destes novos siste-

mas, com o objetivo de refletir em conjunto sobre os

problemas que devem ser resolvidos e esboçar algu-

mas soluções para os mesmos. Em alguns casos, a

realização de reuniões de caráter regional pode contri-

buir para reforçar experiências ainda incipientes, medi-

ante a adoção de programas conjuntos de atuação.

Em terceiro lugar, é necessário continuar me-

lhorando a formação dos profissionais que trabalham

neste campo. A situação atual deixa claro que exis-

tem setores reduzidos de especialistas altamente qua-

lificados, mas que ainda faltam técnicos em número

suficiente e que sejam bem formados para enfrentar as

crescentes demandas de avaliação. Ademais, convém

reexaminar o componente relativo à avaliação dentro

dos programas de formação inicial e continuada do pro-

fessorado. Quando tanto se fala da necessidade de

promover uma

cultura da avaliação

, torna-se pertinen-

te perguntar quais devem ser os conteúdos formativos

que se orientam nessa direção. Visto que a experiên-

cia e o saber em matéria de avaliação estão espalha-

dos internacionalmente, a cooperação internacional é

muito conveniente. Por esse motivo, a agenda de tra-

balho do futuro deve reservar um espaço para as tare-

fas de formação.

Por último, convém reservar também um lugar

específico nesta agenda do futuro para dar respostas

às necessidades específicas dos países em desenvol-

vimento. Tanto no que se refere à geração e difusão de

conhecimento como às atividades de intercâmbio e

cooperação internacional e às tarefas de formação, este

grupo de países deve ocupar um papel relevante, se

não quisermos que fiquem marginalizados das novas

tendências que se vêm observando nos países desen-

volvidos. Sem que isso suponha, de alguma forma, uma

assimilação mimética ou a criação de uma nova de-

pendência, é necessário contribuir para gerar naque-

les países os elementos de reflexão, as competências

profissionais e os modos de organização que permi-

tam extrair o máximo de valor possível da avaliação,

mediante uma adaptação inteligente a suas priorida-

des, suas agendas e suas necessidades. As decisões,

que os organismos internacionais venham a tomar para

continuar trabalhando neste campo nos próximos anos,

deverão levar em conta esta situação específica e

integrá-la a seus respectivos planos de ação.

Muito embora esta formulação de intenções

possa parecer demasiado ambiciosa, convém voltar a

insistir no realismo que deve presidir a realização do

seminário. Os desafios enfrentados pelos sistemas

educacionais no âmbito da avaliação exigem um tra-

balho cooperativo e gradual, que só pode ser desenvol-

vido mediante passos sucessivos. Este seminário quer

contribuir para esse avanço geral, ainda que seja reali-

zando apenas uma modesta contribuição.

Rio de Janeiro, dezembro de 1997.

Livros Grátis
( http://www.livrosgratis.com.br )
 
Milhares de Livros para Download:
 
Baixar livros de Administração
Baixar livros de Agronomia
Baixar livros de Arquitetura
Baixar livros de Artes
Baixar livros de Astronomia
Baixar livros de Biologia Geral
Baixar livros de Ciência da Computação
Baixar livros de Ciência da Informação
Baixar livros de Ciência Política
Baixar livros de Ciências da Saúde
Baixar livros de Comunicação
Baixar livros do Conselho Nacional de Educação - CNE
Baixar livros de Defesa civil
Baixar livros de Direito
Baixar livros de Direitos humanos
Baixar livros de Economia
Baixar livros de Economia Doméstica
Baixar livros de Educação
Baixar livros de Educação - Trânsito
Baixar livros de Educação Física
Baixar livros de Engenharia Aeroespacial
Baixar livros de Farmácia
Baixar livros de Filosofia
Baixar livros de Física
Baixar livros de Geociências
Baixar livros de Geografia
Baixar livros de História
Baixar livros de Línguas

Baixar livros de Literatura
Baixar livros de Literatura de Cordel
Baixar livros de Literatura Infantil
Baixar livros de Matemática
Baixar livros de Medicina
Baixar livros de Medicina Veterinária
Baixar livros de Meio Ambiente
Baixar livros de Meteorologia
Baixar Monografias e TCC
Baixar livros Multidisciplinar
Baixar livros de Música
Baixar livros de Psicologia
Baixar livros de Química
Baixar livros de Saúde Coletiva
Baixar livros de Serviço Social
Baixar livros de Sociologia
Baixar livros de Teologia
Baixar livros de Trabalho
Baixar livros de Turismo
 
 