Carol Weiss

Assunto: Avaliação no Séc. XXI (Evaluation in the 21st Century)
Entrevista com Carol H. Weiss
http://www.hfrp.org | Vol. IV, n. 2, 1998

A avaliadora, educadora e autora Carol Weiss partilha seus pensamentos sobre o que o novo século pode significar para o campo da avaliação, o treinamento dos avaliadores, e a conexão entre avaliação e formulação de políticas.

Ao longo dos anos, o campo da avaliação mudou, em resposta à crescente aquisição de conhecimentos e competências, bem como alterações em programas e políticas. À medida que avançamos no século XXI, o campo de avaliação vai continuar a enfrentar novos desafios, bem como novas oportunidades. Carol Weiss discute alguns dos seus pontos de vista sobre a avaliação no próximo século. Uma avaliadora de destaque, a Dra. Weiss é professora de educação na Universidade de Harvard e publicou 11 livros, o mais recente dos quais é Evaluation: Methods of Studying Programs and Policies (Avaliação: Métodos de Estudo das Políticas e Programas seria em português). Embora observando que "os cientistas sociais não fazem um bom trabalho de prever", a Dra. Weiss concordou em partilhar alguns dos seus pensamentos e observações com o periódico The Evaluation Exchage, da Harvard Family Research Project (entrevista original disponível em HFRP.org).

Que desafios você acha que enfrentaremos no campo da avaliação no século XXI?

Um dos nossos maiores desafios é que os nossos métodos não estão de fato nas questões que buscamos responder. Queremos saber não só quais são os resultados de um programa, mas também porque os resultados aparecem ou deixam de aparecer. Quando lidamos com programas baseados na comunidade, onde muitos grupos de atores colaboram, planejam e implementam as atividades, os nossos métodos não são suficientes para compreender os processos e resultados. Abordagens baseadas na comunidade, muitas vezes têm múltiplas dimensões (saúde, educação, capacitação profissional, transporte, etc.) Muitos delas são oportunistas, no sentido de que tratam os problemas da comunidade que quer tornar-se passível de intervenção que as circunstâncias o permitam. Os programas utilizam um conjunto de estratégias e chegam a uma matriz de deslocamento dos beneficiários. Nestas condições, a avaliação não tem as ferramentas apropriadas e técnicas para entender plenamente o que está acontecendo.

A avaliação baseada na teoria é uma abordagem promissora. Mas tentar usar a avaliação baseada na teoria é difícil quando os programas não têm qualquer teoria explícita ou mesmo implícita, quando os programas são amorfos, ou quando mudam significativamente ao longo do tempo. Fundações e governos exercerão pressão sobre os avaliadores, para desenvolver novas formas de avaliação desses programas complexos multi-setoriais, e a necessidade de responder às perguntas mais difíceis nos forçará a desenvolver novas abordagens.

Uma das questões que persistentemente surge em uma discussão de métodos de avaliação é a utilidade do delineamento experimental. Algumas pessoas têm sido muito prontas para rejeitar projetos de atribuição aleatória. Eu reconheço que em muitos casos o delineamento experimental não é exequível. Mas os grupos de comparação são frequentemente possíveis, e algumas comparações são normalmente melhores do que nada.

Conceitos de design experimental, como "ameaças à validade", precisam ser levados a sério. Mosteller e Tukey identificaram quatro fatores necessários para estabelecer um nexo de causalidade. Primeiro, tem de haver capacidade de resposta do resultado, em outras palavras, o resultado tem que seguir a intervenção. Em segundo lugar, você tem que eliminar alternativas plausíveis que poderiam explicar os resultados. Terceiro, é preciso identificar os mecanismos que levam aos resultados. Finalmente, você tem de replicar os resultados. Note-se que os autores não discutem projeto de atribuição aleatória como a única maneira de estabelecer que o programa foi a causa dos resultados observados. Elas estabelecem os requisitos lógicos para o estabelecimento de nexo de causalidade. Essa última etapa, a replicação, é importante. Uma avaliação não vai resolver um problema. Pelo contrário, precisamos ter múltiplas avaliações do mesmo tipo de programa, utilizando diferentes técnicas. Se convergirem as diferentes avaliações sobre o mesmo resultado, temos evidências bastante fortes de que sabemos do sucesso desse tipo de programa. Eu acho que esta é uma forma que a avaliação deve seguir. Podemos fazer isso com o trabalho qualitativo e quantitativo, podemos fazê-lo com programas de pequenos e grandes programas. Mas é preciso muita capacidade de avaliação.

Outra direção em que a avaliação está se movendo é para maior valorização da necessidade de compreender um programa e como ele funciona. Os avaliadores são usados ​​para a passagem de um campo para outro, avaliando um programa de pré-escola um dia e prevenção da delinquência no seguinte e um programa de nutrição num terceiro. Eles confiam em seus métodos. Mas para fazer um trabalho de primeira classe, precisam se tornar esclarecidos sobre os mecanismos de mudança nos diferentes domínios. Esse conhecimento pode vir de especializar-se em um único perído de tempo necessário para adquirir um conhecimento profundo das formas pelas quais as intervenções que produzam efeitos e as condições em que os esforços são mais prováveis ​​de aparecer. Se os avaliadores passam de um campo para outro, eles precisam ter certeza de que ganharam conhecimento, tanto quanto possível, quer de outros membros da equipe, consultores, leitores ou profissionais do programa. Os avaliadores não podem depender exclusivamente dos seus conhecimentos em metodologia de pesquisa por muito tempo. Eles têm que entender o campo do programa.

A outra peça que falta é do lado do programa. Os atores precisam estar muito mais conscientes de teoria e pesquisa. Os programas têm que ser planejados de forma mais sistemática, com especial atenção aos elementos de prova, e não apenas com base na intuição irrefletida. Eu não quero menosprezar a sabedoria prática. Os atores (praticantes) aprendem muito com a experiência, e profissionais experientes estão maravilhosamente bem informados. Mas eles têm que analisar os seus conhecimentos, seus pressupostos e suas crenças sobre o porquê de um programa deve ser feito em uma determinada maneira e como ele está seguindo para atingir os resultados desejados. Eles precisam olhar para a evidência da investigação, bem como as experiências de outros programas. Há provavelmente mais de uma tradição de planejamento racional nos programas de saúde pública do que em áreas como educação, justiça criminal, ou trabalho social. Esses campos precisam de apropriação. Perdemos um grande conhecimento sobre programação eficaz porque os médicos e planejadores de programas não têm examinado sistematicamente as suas experiências e as provas ou trouxeram o conhecimento para o desenvolvimento de novos programas.

O que você acha que isso implica para os avaliadores e os outros como são educados/treinados?

Muito poucos lugares oferecem formação integral para os avaliadores. A maioria dos departamentos da universidade oferece um ou dois cursos em avaliação para ir junto com os cursos de métodos de pesquisa e estatística. Se for esse o caso, deve haver mais oportunidades para atividades de estágio supervisionado. Eu acho que o apprenticeship é a melhor maneira de aprender. A maioria de nós teve alguma educação e, em seguida, saiu para o mundo do trabalho. Se nós tivemos sorte o suficiente para trabalhar com pessoas boas em nosso trabalho inicial, nós aprendemos muito.

Os praticantes também precisam de um entendimento básico de avaliação, o que eu poderia chamar de "apreciação de avaliação." Eles precisam entender que a avaliação é sobre todos, o que é preciso para fazer um bom trabalho, como reconhecer um bom trabalho quando o vêem, o que deve procurar, eo que fazer com os resultados da avaliação.

Como isso trás implicações, é preciso treinar mais do que os avaliadores. Faculdades e universidades devem formar pessoas que serão solicitados por avaliações, contratados por avaliações, revisar as avaliações, e aplicarem resultados do trabalho para os problemas organizacionais. A utilização dos resultados da avaliação é uma questão obviamente importante. Nós podemos exigir muito dos avaliadores no que se refere ao fornecimento de relatórios de avaliação úteis, mas têm de ser informados e dispostos "usuários" do outro lado. Os avaliadores, naturalmente, têm uma grande responsabilidade. Eles têm de abordar as questões corretas, eles têm de fornecer um estudo de qualidade, eles têm que se comunicar bem, e eles têm que comunicar aos diversos públicos. Mas tem de haver receptividade no lado da recepção. Aqueles em posições de programas e políticas que querem saber o que a avaliação pode dizer a eles e como ele pode ajudá-los a fazer um trabalho melhor e fazer as políticas e práticas mais eficazes. E eles têm que ter a vontade de fazê-lo.

Influenciar e educar a mídia e os políticos são outros desafios. Em minha pesquisa, descobri que a forma de políticas federais tendem a ouvir sobre a pesquisa não é através de revistas ou livros, mas através do New York Times e Newsweek. Isso significa que a investigação tem de ser notícia. A atenção dos repórteres será despertada por um dos vários motivos: é sobre um tema que atrai muitos leitores, ele contradiz pressupostos consolidados ou do senso-comum, é contra-intuitivo, ou que seja de interesse humano. Os avaliadores precisam aprender a apresentar as suas conclusões de forma que atendam aos critérios jornalísticos. Hoje em dia, os policymakers (responsáveis pelas diretrizes políticas ou formuladores de políticas nos EUA) tendem a ser bem-educados, e muitos têm familiaridade com as ciências sociais. Eu acho que eles têm uma maior compreensão da avaliação que as gerações anteriores. Mas eles, assim como os jornalistas, precisam ter a evidência de forma convincente do que lhes é comunicado. Nós também temos que prestar mais atenção às formas de tornar visíveis os resultados da avaliação, além das palavras na página, no papel. Com todas as maravilhas da informática e da World Wide Web, devemos ser capazes de pensar em maneiras das mensagens de avaliações serem divulgadas.

O que você acha que isso implica para a forma como a avaliação pode contribuir melhor para a formulação de políticas?
Em primeiro lugar, precisamos ser avaliadores muito bons. Os avaliadores não deverão realizar um estudo, se as condições para a boa avaliação não estiverem lá. A avaliação leva tempo, recursos e competências. Os avaliadores não devem tomar os estudos, quando eles sabem que não podem fazer um bom trabalho. Reconheço que isto é fácil para mim dizer aqui sentada em uma universidade. Mas os avaliadores não têm de ser passivos em condições de aceitar o que o patrocinador define. Eles podem argumentar, explicar que o tempo é muito curto, os dados necessários estiverem disponíveis, comparações adequadas estejam ausentes, o dinheiro é insuficiente para o tamanho da tarefa, ou o que os problemas podem ser. Não é fácil de fazer. Os avaliadores querem o contrato. Mas acredito que muitos patrocinadores, incluindo os patrocinadores do governo, às vezes (embora nem sempre) estão dispostos a ouvir bons argumentos que o que eles estão pedindo não vai levar a um estudo credível. Eles podem estar dispostos a alterar o pedido, se eles perceberem que o tipo de estudo que estão pedindo produzirá prova convincente e será facilmente desacreditado por quem não gosta da maneira como os resultados saem. Isso não quer dizer que a maioria dos avaliadores não fazem um bom trabalho. A maioria deles fazem, e muitos deles fazem um trabalho muito bom. Mas o campo está manchado pela sucata, pelo lixo.

A grande questão é melhorar a influência da avaliação sobre a política. Para se ter uma forte influência, as avaliações precisam ser bem concebidas e realizadas. E tem que haver um acúmulo de evidências. Não devemos pensar na avaliação como um conjunto de estudos de um tiro. Nós devemos pensar nisso como um esforço contínuo. Em algumas áreas, como treinamento de trabalho, tem havido uma acumulação de consciência da prova desde 1960. Os autores coletados e resultados resumidos criticamente, e eles têm tirado conclusões sobre o tipo de programação que funcione bem. Em algumas áreas não fizemos este tipo de opiniões críticas para ajudar a informar as práticas e políticas. Os avaliadores devem se ver como parte de um empreendimento em curso para desenvolver conhecimento para a ação.

Várias coisas podem ser feitas para desenvolver esse estoque de conhecimento. Meta-análise tem sido extremamente útil para reunir os dados quantitativos e análise de tamanhos de efeito, e nós precisamos fazer mais do que isso. Podemos aproveitar este um passo adiante e criar grupos que, sistematicamente, olhem todas as provas que tem acumulado sobre os mecanismos de mudança de campos de prática em particular e as condições ambientais que favorecem o sucesso. Lee Cronbach uma vez sugeriu a formação de Comissões de Estudo de Problemas Sociais para dar uma olhada em curso a tais questões sociais como a gravidez adolescente ou o abandono escolar. Tais grupos de estudo de todas as provas que se torna disponível em seu tema e, periodicamente, resumem o que aprenderam e o que ainda precisa ser conhecido. Se as pessoas desses grupos eram respeitadas e tinham acesso aos políticos e da mídia, suas palavras podem ter peso considerável. Esse trabalho nos ajudaria a resolver nossas maiores preocupações como a sociedade se move para o próximo século.

por Karen Horsch, Research Associate, HFRP (Pesquisadora Adjunta, HFRP)tradução livre por Alexandre R. Soares

Where facts are few, experts are many. (Gannon) |
Se os fatos são poucos, os especialistas são muitos.

Comentários

Postagens mais visitadas deste blog

Mapa Conceitual

IDEB 2

Horário Escolar