Seção 4 Seleção De Um Design Apropriado Para A Avaliação

Capítulo 37 Seções

Por que você deve escolher um projeto para sua avaliação?

Quando você deve fazê-lo?

Quem deve ser envolvido na escolha de um projeto?

Como você escolhe um projeto apropriado para sua avaliação?

Quando você ouve a palavra "experimento", pode chamar imagens de pessoas em longos casacos de laboratório brancos olhando através de microscópios. Na realidade, um experimento é apenas tentar algo para ver como ou por quê ou se ele funciona. Pode ser tão simples como colocar uma especiaria diferente em seu prato favorito, ou tão complexo quanto desenvolver e testar um esforço abrangente para melhorar os resultados de saúde infantil em uma cidade ou estado.

Acadêmicos e outros pesquisadores em saúde pública e as ciências sociais realizam experiências para entender como os ambientes afetam o comportamento e os resultados, de modo que suas experiências geralmente envolvem pessoas e aspectos do meio ambiente. Um novo programa comunitário ou intervenção é também um experimento que uma organização governamental ou comunitária realiza para encontrar uma maneira melhor de abordar um problema comunitário. Geralmente começa com uma suposição sobre o que funcionará - às vezes chamada de teoria da mudança - mas essa suposição não é garantia. Como qualquer experimento, um programa ou intervenção deve ser avaliado para ver se ele funciona e em que condições.

Nesta seção, examinaremos algumas das maneiras como você pode estruturar uma avaliação para examinar se seu programa está funcionando e explorar como escolher a que melhor atende às suas necessidades. Estes arranjos para descoberta são conhecidos como desenhos experimentais (ou de avaliação).

O que queremos dizer com um desenho para a avaliação?

Cada avaliação é essencialmente um projeto de pesquisa ou descoberta. Sua pesquisa pode ser sobre como determinar se seu programa ou esforço é efetivo em geral, quais partes dele estão funcionando bem e quais precisam ser ajustadas, ou se alguns participantes respondem a certos métodos ou condições de maneira diferente dos outros. Se os seus resultados são para ser confiável, você tem que dar a avaliação de uma estrutura que vai dizer o que você quer saber. Essa estrutura - o arranjo da descoberta - é o projeto da avaliação.

O design depende do tipo de perguntas que a sua avaliação pretende responder.

Algumas das perguntas mais comuns de avaliação (pesquisa):

Um determinado programa ou intervenção - seja um programa instrucional ou motivacional, melhorando o acesso e as oportunidades, ou uma mudança de política - causa uma mudança específica no comportamento dos participantes ou outros, em condições físicas ou sociais, resultados de saúde ou desenvolvimento ou outros indicadores De sucesso?

Que componente (s) e elemento (s) do programa ou intervenção foram responsáveis ​​pela mudança?

Quais são os efeitos não intencionais de uma intervenção e como eles influenciaram os resultados?

Se você tentar um novo método ou atividade, o que acontece?

O programa que funcionou em outro contexto, ou aquele que você lê em um jornal profissional, funciona em sua comunidade, ou com sua população, ou com o seu problema?

Se você quiser respostas confiáveis ​​a perguntas de avaliação como essas, você precisa perguntar-lhes de uma forma que lhe mostre se você realmente obteve resultados e se esses resultados foram de fato devido às suas ações ou às circunstâncias que você criou ou a outros fatores . Em outras palavras, você tem que criar um projeto para sua pesquisa - ou avaliação - para dar respostas claras para suas perguntas. Discutiremos como fazer isso mais adiante na seção.

Por que você deve escolher um projeto para sua avaliação?

Uma avaliação pode parecer simples: se você pode ver o progresso em direção ao seu objetivo no final do período de avaliação, você está fazendo OK; Se você não pode, você precisa mudar. Infelizmente, não é assim tão simples. Primeiro, como você mede o progresso? Em segundo lugar, se parece não haver nenhuns, como você sabe o que você deve mudar a fim aumentar sua eficácia? Em terceiro lugar, se há progresso, como você sabe que foi causado por (ou contribuiu) para o seu programa, e não por outra coisa? E finalmente, mesmo se você estiver indo bem, como você vai decidir o que você poderia fazer melhor, e quais elementos do seu programa pode ser alterado ou eliminado sem afetar o sucesso? Um bom projeto para sua avaliação irá ajudá-lo a responder a perguntas importantes como estas.

Algumas razões específicas para gastar o tempo para projetar sua avaliação cuidadosamente incluem:

Portanto, sua avaliação será confiável. Um bom design vai lhe dar resultados precisos. Se você projetar sua avaliação bem, você pode confiar nela para dizer se você realmente está tendo um efeito e por quê. Entender o seu programa nessa medida torna mais fácil alcançar e manter o sucesso.

Para que você possa identificar as áreas que você precisa para trabalhar, bem como aqueles que são bem sucedidos. Um bom projeto pode ajudá-lo a entender exatamente onde os pontos fortes e fracos do seu programa ou intervenção são e dar-lhe pistas sobre como eles podem ser reforçados ou alterados para o maior impacto.

Portanto, seus resultados são credíveis. Se sua avaliação é projetada corretamente, outros tomarão seus resultados seriamente. Se uma avaliação bem projetada mostra que seu programa é eficaz, você é muito mais provável ser capaz de convencer os outros a usar métodos semelhantes e convencer os financiadores de que sua organização é um bom investimento.

Assim, você pode identificar fatores não relacionados com o que você está fazendo que têm um efeito - positivo ou negativo - sobre seus resultados e sobre a vida dos participantes. Histórias dos participantes, eventos cruciais locais ou nacionais, a passagem do tempo, crises pessoais e muitos outros fatores podem influenciar o resultado de um programa ou intervenção para melhor ou pior. Um bom projeto de avaliação pode ajudá-lo a identificá-los e corrigi-los se puder, ou conceber métodos para lidar com eles ou incorporá-los.

Assim, você pode identificar conseqüências não desejadas (tanto positivas quanto negativas) e corretas para elas. Um bom projeto pode mostrar-lhe tudo o que resultou do seu programa ou intervenção, não apenas o que você esperava. Se você entender que seu trabalho tem conseqüências negativas e positivas, ou que tem mais e / ou conseqüências positivas diferentes do que você antecipou, você pode ajustar adequadamente.

Então você terá um plano coerente e organizando a estrutura para sua avaliação. Será muito mais fácil conduzir sua avaliação se tiver um design apropriado. Você vai saber melhor o que você precisa fazer para obter as informações que você precisa. Gastar o tempo para escolher e organizar um projeto de avaliação vai pagar no tempo que você salvar mais tarde e na qualidade da informação que você recebe.

Quando você deve escolher um projeto para sua avaliação?

Uma vez que você determinou suas perguntas da avaliação e coletou e organizou toda a informação que você puder sobre a edição e as maneiras de aproximá-la, a etapa seguinte está escolhendo um projeto para a avaliação. Idealmente, tudo isso ocorre no início do processo de elaboração de um programa ou intervenção. Sua avaliação deve ser parte integrante do seu programa, e seu planejamento deve, portanto, ser parte integrante do planejamento do programa.

Esse é o ideal; Agora vamos falar sobre a realidade. Se você está lendo isso, as chances são, provavelmente, pelo menos 50-50 que você está conectado a uma agência governamental com falta de financiamento ou a uma organização comunitária ou não-governamental, e que você está planejando uma avaliação de um programa ou Intervenção que tem sido executado por algum tempo - meses ou mesmo anos.

Mesmo que isso seja verdade, as mesmas diretrizes se aplicam. Escolha suas perguntas, colete informações, escolha um projeto e, em seguida, siga as etapas apresentadas neste capítulo. A avaliação é importante o suficiente para que você realmente não esteja realizando nada, tomando atalhos no planejamento. Se o seu programa tem um ciclo, então provavelmente faz sentido começar a sua avaliação no início dela - o início de um ano ou uma fase do programa, onde todos os participantes estão começando no mesmo lugar, ou desde o início de seu envolvimento.

Se isso não for possível - se o seu programa tiver uma política de admissão contínua, ou fornecer um serviço sempre que as pessoas precisarem - e os participantes estão em pontos diferentes, que às vezes podem apresentar problemas de pesquisa. Você pode querer avaliar os efeitos do programa somente com novos participantes, ou com outro grupo específico. Por outro lado, se o seu programa opera sem um determinado começo e fim, você pode obter a melhor imagem de sua eficácia, avaliando-a como ela é, começando sempre que estiver pronto. Seja qual for o caso, o seu design deve seguir a sua recolha de informação e síntese.

Quem deve ser envolvido na escolha de um projeto?

Se você é um usuário comum da Caixa de Ferramentas e, particularmente, se estiver lendo este capítulo, você sabe que a equipe da Caixa de Ferramentas geralmente recomenda um processo participativo - envolvendo parceiros de pesquisa e da comunidade, incluindo todos aqueles com interesse ou São afetados com o programa no planejamento e na implementação. Escolher um projeto para avaliação apresenta uma espécie de exceção a esta política, uma vez que os parceiros científicos ou de avaliação podem ter uma compreensão muito mais clara do que é necessário para conduzir a pesquisa e dos fatores que podem interferir com ela.

Como veremos na seção "Como fazer" desta seção, há uma série de considerações que devem ser levadas em consideração para obter informações precisas que realmente lhe dizem o que você quer saber. Estudantes de pós-graduação geralmente tomam cursos para obter o conhecimento que precisam para realizar pesquisas bem, e até mesmo alguns pesquisadores veteranos têm dificuldade em criar um projeto de pesquisa apropriado. Isso não significa que um grupo comunitário não pode aprender a fazê-lo, mas sim que o tempo que eles teriam que gastar na aquisição de conhecimento de fundo pode ser muito grande. Assim, faz mais sentido atribuir essa tarefa (ou pelo menos sua coordenação) a um grupo individual ou pequeno com experiência em pesquisa e projeto de avaliação. Essa pessoa não só pode ajudá-lo a escolher entre os possíveis projetos, mas explicar o que cada projeto implica, no tempo, recursos e habilidades necessárias, para que você possa julgar a sua adequação e viabilidade para o seu contexto.

Como você escolhe um projeto para sua avaliação?

Como você decide se o tipo de projeto de pesquisa servirá melhor os propósitos de sua avaliação?

A resposta a esta questão envolve uma análise de quatro áreas:

A natureza das perguntas de pesquisa que você está tentando responder

Os desafios para a pesquisa, e as maneiras como eles podem ser resolvidos ou reduzidos

Os tipos de projetos de pesquisa que são geralmente utilizados, eo que cada projeto implica

A possibilidade de adaptar um determinado projeto de pesquisa ao seu programa ou situação - o que a estrutura do seu programa irá apoiar, o que os participantes irão consentir e quais são seus recursos e restrições de tempo

Começaremos esta parte da seção com um exame das preocupações que os projetos de pesquisa devem abordar, passamos a considerar alguns projetos comuns e como eles abordam essas preocupações e terminam com algumas diretrizes para a escolha de um projeto que será possível Implementar e dar-lhe as informações que você precisa sobre o seu programa.

Nota . Nesta parte da seção, estamos considerando a avaliação como um projeto de pesquisa. Como resultado, usaremos o termo "pesquisa" em muitos lugares onde poderíamos ter dito facilmente, para os propósitos desta seção, "avaliação". A pesquisa é mais geral, e alguns usuários desta seção podem ser mais Investigação em geral do que a avaliação em particular.

As preocupações dos projetos de pesquisa devem

A consideração mais importante na concepção de um projeto de pesquisa - exceto talvez pelo valor da própria pesquisa - é se o seu arranjo lhe fornecerá informações válidas. Se você não projetar e montar seu projeto de pesquisa corretamente, suas descobertas não lhe darão informações que sejam precisas e provavelmente sejam válidas para outras situações. No caso de uma avaliação, isso significa que você não terá uma base para ajustar o que você faz para fortalecê-lo e melhorá-lo.

Aqui está um exemplo exagerado que ilustra este ponto. Se você tomou as alturas das crianças aos seis anos de idade, então alimentou-os grandes quantidades de um alimento específico por três anos - diga cenouras - e mediu-los novamente no final do período, você provavelmente achar que a maioria deles eram consideravelmente mais alto nove Anos do que às seis. Você pode concluir que estava comendo cenouras que fez as crianças mais altas porque o seu projeto de pesquisa não lhe deu nenhuma base para comparar o crescimento dessas crianças com o de outras crianças.

Existem dois tipos de ameaças à validade de um trabalho de pesquisa. Eles são geralmente referidos como ameaças à validade interna (se a intervenção produziu a mudança) e ameaças à validade externa (se os resultados são susceptíveis de se aplicar a outras pessoas e situações).

Ameaças à validade interna

Estas são ameaças (ou explicações alternativas) à sua afirmação de que o que você fez causou mudanças na direção que você estava buscando. Eles são geralmente colocados por fatores operando ao mesmo tempo que o seu programa ou intervenção que pode ter um efeito sobre o problema que você está tentando resolver. Se você não tem uma maneira de separar seus efeitos daqueles de seu programa, você não pode dizer se as mudanças observadas foram causadas por seu trabalho, ou por um ou mais destes outros fatores. Validade porque eles são internos para o estudo - eles têm a ver com se a sua intervenção - e não outra coisa - explicou a diferença.

Existem vários tipos de ameaças à validade interna:

História. As histórias pessoais de ambos os participantes - seus antecedentes, culturas, experiências, educação, etc. - e os eventos externos que ocorrem durante o período de pesquisa - um desastre, uma eleição, um conflito na comunidade, uma nova lei - podem influenciar ou não Mudança nos resultados que você está preocupado com.

Maturação. Isso se refere aos processos naturais físicos, psicológicos e sociais que ocorrem com o passar do tempo. O crescimento das crianças com cenoura no exemplo acima é um resultado da maturação, por exemplo, como pode ser um declínio no comportamento de risco como alguém passou da adolescência para a idade adulta, o desenvolvimento de artrite em pessoas mais velhas, ou os participantes ficando cansados ​​durante Aprendizagem para o final do dia.

Os efeitos do teste ou da observação nos participantes. O mero fato da existência de um programa, ou de sua participação nela, pode afetar o comportamento ou atitudes dos participantes, assim como a experiência de ser testado, filmado ou observado ou medido.

Alterações na medição. Um instrumento - um manguito de pressão arterial ou uma escala, por exemplo - pode mudar ao longo do tempo, ou diferentes podem não dar os mesmos resultados. Da mesma forma, os observadores - aqueles que recolhem informações - podem mudar seus padrões ao longo do tempo, ou dois ou mais observadores podem discordar das observações.

Regressão para a média. Este é um termo estatístico que se refere ao fato de que, ao longo do tempo, as pontuações muito altas e muito baixas em uma medida (um teste, por exemplo) muitas vezes tendem a retroceder em direção à média para o grupo. Se você iniciar um programa com participantes que, por definição, têm níveis muito baixos ou altos de tudo o que você está medindo - habilidade de leitura, exposição à violência doméstica, comportamento particular em relação a pessoas de outras raças ou origens, etc. Até mais perto da média ao longo do período de avaliação, mesmo sem qualquer programa.

A seleção dos participantes. Aqueles que escolhem participantes podem inclinar sua seleção para um grupo particular que é mais ou menos provável de mudar do que um corte transversal da população da qual o grupo foi selecionado. (Um bom exemplo é o dos programas de treinamento de emprego que são pagos de acordo com o número de pessoas que colocam em empregos. Eles são mais propensos a selecionar os participantes que já têm todas ou a maioria das habilidades que precisam para se tornarem empregados, e negligenciar aqueles Que têm menos habilidades e que, portanto, mais precisam do serviço.) A seleção pode desempenhar um papel quando os participantes escolhem se inscrever em um programa (auto-seleção), já que aqueles que decidem participar provavelmente já estão motivados para fazer mudanças. Também pode ser uma questão de acaso: os membros de um grupo particular podem, simplesmente por coincidência, compartilhar uma característica que irá definir seus resultados em suas medidas para além da norma da população que você está desenhando.

A seleção também pode ser um problema quando dois grupos que estão sendo comparados são escolhidos por padrões diferentes. Discutiremos isso mais adiante quando tratarmos com grupos de controle ou de comparação.

A perda de dados ou participantes. Se muito pouca informação é coletada sobre os participantes, ou se muitos abandonam bem antes do período de pesquisa é longo, os resultados podem ser baseados em dados muito pouco para ser confiável. Isso também ocorre quando dois grupos estão sendo comparados. Se suas perdas de dados ou participantes são significativamente diferentes, compará-los pode não mais lhe dar informações válidas.

A natureza da mudança. Muitas vezes, a mudança não é constante e uniforme. Ele pode envolver saltos para a frente e saltos para trás antes que ele chegue a um lugar estável - se ele nunca faz. (Pense em observar o desempenho de uma equipe de esportes na metade da temporada, não importa qual seja o seu recorde naquele momento, você não saberá o quão bem ele vai terminar até a temporada acabar.) Suas medições podem acontecer também Curto um período ou vêm nos momentos errados para seguir o curso verdadeiro da mudança ou da falta da mudança que está ocorrendo.

Uma combinação dos efeitos de dois ou mais destes. Dois ou mais desses fatores podem se combinar para produzir ou impedir as mudanças que seu programa pretende produzir. Um currículo de estudo de línguas que é testado apenas em alunos que já falam duas ou mais línguas, encontra problemas com a história de ambos os participantes - todos os alunos têm experiência em outras línguas - e seleção - você escolheu alunos que são muito Provavelmente terá sucesso na aprendizagem de línguas.

Ameaças à validade externa

Estes são fatores que afetam sua capacidade de aplicar os resultados de sua pesquisa em outras circunstâncias - para aumentar as chances de que seu programa e seus resultados possam ser reproduzidos em outros lugares ou com outras populações. Se, por exemplo, você oferecer classes parentais apenas para mães solteiras, você não pode assumir, não importa quão bem sucedido eles parecem ser, que as mesmas classes vão funcionar bem com os homens.

As ameaças à validade externa (ou generalização) podem ser o resultado de interações de outros fatores com o programa ou intervenção em si, ou podem ser devidas a condições particulares do programa.

Interacção de ensaios ou recolha de dados e do programa ou intervenção. Um teste ou observação inicial pode alterar a forma como os participantes reagem ao programa, fazendo uma diferença nos resultados finais. Uma vez que você não pode assumir que outro grupo terá a mesma reação ou alcançar resultados finais semelhantes como resultado, a validade externa ou generalizabilidade dos resultados torna-se questionável.

Interacção dos procedimentos de selecção e do programa ou intervenção. Se os participantes selecionados ou auto-selecionados são particularmente sensíveis aos métodos ou finalidade do programa, não pode ser assumido como eficaz com os participantes que são menos sensíveis ou prontos para o programa.

Os pais que foram ameaçados pelo governo com a perda de seus filhos devido a abuso de crianças podem ser mais receptivos a técnicas de aprendizagem para melhorar sua paternidade, por exemplo, do que pais que não estão sob tal pressão.

Os efeitos dos arranjos de pesquisa. Os participantes podem mudar o comportamento como resultado de serem observados, ou podem reagir a indivíduos particulares de maneiras que seriam improváveis ​​de reagir aos outros.

Um exemplo clássico é o de um famoso pesquisador de babuínos, Irven DeVore, que depois de anos de observação de grupos de babuínos, percebeu que se comportaram de forma diferente quando ele estava lá do que quando ele não estava. Embora sua intenção fosse observar seu comportamento natural, sua própria presença constituía uma intervenção, tornando o comportamento dos babuínos que observava diferente do de uma trupe que não era observada.

A interferência de múltiplos tratamentos ou intervenções. Os efeitos de um determinado programa podem ser alterados quando os participantes são expostos a ele de antemão em um contexto diferente, ou são expostos a outro antes ou ao mesmo tempo como o que está sendo avaliado. Isso pode ocorrer quando os participantes estão recebendo serviços de diferentes fontes ou sendo tratados simultaneamente por dois ou mais problemas de saúde ou outras condições.

Dada a variedade de programas comunitários existentes, há muitas possibilidades aqui. Adultos podem ser membros de uma classe de conclusão do ensino médio enquanto participam de um programa de recuperação de abuso de substâncias. Um diabético pode ser tratado com um novo medicamento, enquanto ao mesmo tempo participar de um programa de nutrição e atividade física para lidar com a obesidade. Às vezes, a seqüência de tratamentos ou serviços em um único programa pode ter o mesmo efeito, com um influenciando como os participantes respondem aos que se seguem, mesmo que cada tratamento está sendo avaliado separadamente.

Projetos comuns de pesquisa

Muitos livros foram escritos sobre o tema do projeto de pesquisa. Enquanto eles contêm muito material para resumir aqui, existem alguns projetos básicos que podemos introduzir. As diferenças importantes entre eles descem para quantas medições você vai tomar, quando você vai levá-los, e quantos grupos de que tipo estará envolvido.

As avaliações de programas geralmente procuram as respostas a três perguntas básicas:

Houve alguma mudança - no comportamento dos participantes ou outros, em condições físicas ou sociais, ou em resultados ou indicadores de sucesso - durante o período de avaliação?

A mudança ocorreu - ou a falta de mudança - causada por seu programa, intervenção ou esforço?

O que, no seu programa ou fora dela, realmente causou ou impediu a mudança?

Como discutimos, mudanças e melhorias nos resultados podem ter sido causadas por alguma ou toda a sua intervenção, ou por fatores externos. A história dos participantes ou da comunidade poderia ter sido crucial. Os participantes podem ter mudado como resultado de simplesmente ficar mais velho e mais maduro ou mais experiente no mundo - muitas vezes um problema ao trabalhar com crianças ou adolescentes. Fatores ambientais - eventos, mudança de política, ou condições na vida dos participantes - muitas vezes podem facilitar ou prevenir a mudança também. Compreender exatamente de onde a mudança veio ou onde as barreiras à mudança residem, dá-lhe a oportunidade de ajustar seu programa para aproveitar ou combater esses fatores.

Se tudo o que você tinha a fazer era medir qualquer comportamento ou condição que você queria influenciar no início e no final da avaliação, a escolha de um projeto seria uma tarefa fácil. Infelizmente, não é assim tão simples - há essas ameaças desagradáveis ​​à validade com que se preocupar. Nós temos que mantê-los na mente enquanto nós olhamos alguns projetos comuns da pesquisa.

Os projetos de pesquisa, em geral, diferem em uma ou em ambas as duas maneiras: o número eo momento das medições que eles usam; E se eles olham para grupos únicos ou múltiplos. Nós vamos olhar para projetos de um único grupo, em seguida, vá para vários grupos.

Antes de ir mais longe, é útil ter uma compreensão de alguns termos de pesquisa básica que vamos usar em nossa discussão.

Os pesquisadores costumam se referir à sua primeira medição ou observação - as que você toma antes de iniciar o programa ou a intervenção - como medida de linha de base ou observação de linha de base. Porque estabelece uma linha de base - um nível conhecido - ao qual você compara futuras medições ou observações.

Alguns outros termos de pesquisa importantes:

Variáveis ​​independentes são o próprio programa e / ou os métodos ou condições que o pesquisador - neste caso, você - quer avaliar. Eles são chamados de variáveis ​​porque eles podem mudar - você pode ter escolhido (e ainda pode escolher) outros métodos. Eles são independentes porque a sua existência não depende se algo mais ocorre: você os escolheu e eles permanecerão consistentes ao longo do período de avaliação.

Variáveis ​​dependentes são o que pode ou não mudar como resultado da presença da (s) variável (s) independente (s). Em uma avaliação, seu programa ou intervenção é a variável independente. (Se você está avaliando um número de diferentes métodos ou condições, cada um deles é uma variável independente.) O que você está tentando mudar é a variável dependente. (Se você está apontando a mudança em mais de um comportamento ou resultado, cada tipo de mudança é uma variável dependente diferente.) Eles são chamados variáveis ​​dependentes porque as mudanças neles dependem da ação da variável independente. ou alguma outra coisa.

As medidas são apenas isso - medições das variáveis ​​dependentes. Eles geralmente se referem a procedimentos que têm resultados que podem ser traduzidos em números, e podem assumir a forma de avaliações comunitárias, observações, pesquisas, entrevistas ou testes. Eles também podem contar incidentes ou medir a quantidade da variável dependente (número ou porcentagem de crianças com sobrepeso ou obesidade, crimes violentos por 100.000 habitantes, etc.)

As observações podem envolver medições, ou simplesmente registrar o que acontece em circunstâncias específicas: as formas como as pessoas usam um espaço, os tipos de interações que as crianças têm em sala de aula, o caráter das interações durante uma avaliação. Por conveniência, os pesquisadores costumam usar "observação" para se referir a qualquer tipo de medição e usaremos a mesma convenção aqui.

Desenho pré e pós-monocultivo

O desenho mais simples também é provavelmente o menos preciso e desejável: a pré (antes) e pós (após) a medição ou observação. Isso consiste em simplesmente medir o que você está interessado em um grupo - a taxa de mortalidade infantil, desemprego, poluição da água - aplicando a sua intervenção para esse grupo ou comunidade e, em seguida, observando novamente. Este tipo de projeto assume que uma diferença nas duas observações irá dizer-lhe se houve uma mudança ao longo do período entre eles, e também assume que qualquer mudança positiva foi causada pela intervenção.

Na maioria dos casos, um design pré-post não vai dizer muito, porque realmente não abordar qualquer das preocupações de investigação que discutimos. Ela não explica a influência de outros fatores sobre a variável dependente e não diz nada sobre as tendências de mudança ou o progresso da mudança durante o período de avaliação - somente onde os participantes estavam no início e onde estavam o fim. Ele pode ajudá-lo a determinar se certos tipos de coisas aconteceram - se houve uma redução no nível de escolaridade ou a quantidade de poluição ambiental em um rio, por exemplo -, mas não vai dizer o porquê. Apesar de suas limitações, tomar medidas antes e depois da intervenção é muito melhor do que nenhuma medida.

Mesmo olhando para algo como aparentemente simples de medir pré e pós como pressão arterial (em um programa de prevenção de doenças cardíacas) é questionável. A pressão arterial pode ser menor na observação final do que no inicial, mas isso não diz nada sobre o quanto ele pode ter ido para cima e para baixo no meio. Se as leituras foram tomadas por pessoas diferentes, a mudança pode ser devido em parte às diferenças em sua habilidade, ou para relaxado cada foi capaz de fazer os participantes se sentem. A familiaridade com o programa também poderia ter reduzido a pressão arterial de muitos participantes desde a pré - para a pós-mensuração, assim como algum outro fator que não fosse especificamente parte da variável independente sendo avaliada.

Design de séries temporais interrompidas com um único grupo (séries temporais simples)

Uma série temporal interrompida usou medidas repetidas antes e depois da implementação tardia da variável independente (por exemplo, o programa, etc.) para ajudar a excluir outras explicações. Esse projeto relativamente forte - com comparações dentro do grupo - aborda a maioria das ameaças à validade interna.

A forma mais simples desse projeto é fazer observações repetidas, implementar o programa ou a intervenção e observar várias vezes durante o período de avaliação, inclusive no final. Este método é uma grande melhoria em relação ao pré e pós-projeto, pois acompanha a tendência de mudança e, portanto, pode ajudar a ver se foi realmente a variável independente que causou qualquer mudança. Também pode ajudar a identificar a influência de fatores externos, como quando a variável dependente mostra mudanças significativas antes da implementação da intervenção.

Outra possibilidade para este projeto é implementar mais de uma variável independente, ou tentando duas ou mais, uma após a outra (muitas vezes com uma pausa entre), ou adicionando cada uma àquilo que veio antes. Isso dá uma imagem não só da Progresso da mudança, mas pode mostrar muito claramente o que causa a mudança. Isso dá um avaliador a oportunidade não só para ajustar o programa, mas para eliminar elementos que não têm nenhum efeito.

Há uma série de variações no tema da série de tempo interrompido, incluindo variando os tempos de observação; Implementar a variável independente repetidamente; E implementar uma variável independente, em seguida, outra, em seguida, ambos juntos para avaliar a sua interação.

Em qualquer variedade de séries temporais interrompidas, é importante saber o que você está procurando. Em uma avaliação de um programa de controle de acidentes fatais no Reino Unido que se concentrou em reduzir a condução em estado de embriaguez, as mensurações mensais pareciam mostrar apenas um pequeno declínio em acidentes fatais. Quando as estatísticas para fins de semana, quando havia mais probabilidade de ser motoristas bêbados na estrada, foram separados, no entanto, eles mostraram que a taxa de fatalidade no fim de semana caiu drasticamente com a implementação do programa, e ficou baixa depois disso. Se os pesquisadores não percebessem que isso poderia ser o caso, o programa poderia ter sido interrompido, ea taxa de acidentes de fim de semana não teria sido reduzida.

Design de séries temporais interrompidas com múltiplos grupos (séries de base / séries temporais múltiplas)

Isto tem as mesmas possibilidades que o desenho da série de tempo único, com o enrugamento adicionado de usar medidas repetidas com um ou mais outros grupos (chamadas múltiplas linhas de base). Usando múltiplas linhas de base (grupos), a validade externa ou a generalidade dos achados é melhorada - podemos ver se os efeitos ocorrem com diferentes grupos ou sob diferentes condições.

Esse projeto de múltiplas séries temporais - tipicamente a introdução escalonada da intervenção com diferentes grupos ou comunidades - dá ao pesquisador mais oportunidades:

Você pode tentar um método ou programa com dois ou mais grupos do mesmo

You can try a particular method or program with different populations, to see if it’s effective with others

You can vary the timing or intensity of an intervention with different groups

You can test different interventions at the same time

You can try the same two or more interventions with each of two groups, but reverse their order to see if sequencing it makes any difference

Again, there are more variations possible here.

Control group design

A common way to evaluate the effects of an independent variable is to use a control group. This group is usually similar to the participant group, but either receives no intervention at all, or receives a different intervention with the same goal as that offered to the participant group. A control group design is usually the most difficult to set up – you have to find appropriate groups, observe both on a regular basis, etc. – but is generally considered to be the most reliable.

The term control group comes from the attempt to control outside and other influences on the dependent variable. If everything about the two groups except their exposure to the program being evaluated averages out to be the same, then any differences in results must be due to that exposure. The term comparison group is more modest; it typically offers a community watched for similar levels of the problem/goal and relevant characteristics of the community or population (e. g. education, poverty).

The gold standard here is the randomized control group, one that is selected totally at random, either from among the population the program or intervention is concerned with – those at risk for heart disease, unemployed males, young parents – or, if appropriate, the population at large. A random group eliminates the problems of selection we discussed above, as well as issues that might arise from differences in culture, race, or other factors.

A control group that’s carefully chosen will have the same characteristics as the intervention group (the focus of the evaluation). If, for instance, the two groups come from the same pool of people with a particular health condition, and are chosen at random either to be treated in the conventional way or to try a new approach, it can be assumed that – since they were chosen at random from the same population – both groups will be subject, on average, to the same outside influences, and will have the same diversity of backgrounds. Thus, if there is a significant difference in their results, it is fairly safe to assume that the difference comes from the independent variable – the type of intervention, and not something else.

The difficulty for governmental and community-based organizations is to find or create a randomized control group. If the program has a long waiting list, it may be able to create a control by selecting those to first receive the intervention at random. That in itself creates problems, in that people often drop off waiting lists out of frustration or other reasons. Being included in the evaluation may help to keep them, on the other hand, by giving them a closer connection to the program and making them feel valued.

An ESOL (English as a Second or Other Language) program in Boston with a three-year waiting list addressed the problem by offering those on the waiting list a different option. They received videotapes to use at home, along with biweekly tutoring by advanced students and graduates of the program. Thus, they became a comparison group with a somewhat different intervention that, as expected, was less effective than the program itself, but was more effective than none, and kept them on the waiting list. It also gave them a head start once they got into the classes, with many starting at a middle rather than at a beginning level.

When there’s no waiting list or similar group to draw from, community organizations often end up using a comparison group - one composed of participants in another place or program and whose members’ characteristics, backgrounds, and experience may or may not be similar to those of the participant group. That circumstance can raise some of the same problems related to selection seen when there is no control group. If the only potential comparisons involve very different groups, it may be better to use a design, such as an interrupted time series design that doesn’t involve a control group at all, where the comparison is within (not between) groups.

Groups may look similar, but may differ in an important way. Two groups of participants in a substance abuse intervention program, for instance, may have similar histories, but if one program is voluntary and the other is not, the results aren’t likely to be comparable. One group will probably be more motivated and less resentful than the other, and composed of people who already know they have a potential problem. The motivation and determination of their participants, rather than the effectiveness of the two programs, may influence the amount of change observed.

This issue may come up in a single-group design as well. A program that may, on average, seem to be relatively ineffective may prove, on close inspection, to be quite effective with certain participants – those of a specific educational background, for instance, or with particular life experiences. Looking at results with this in mind can be an important part of an evaluation, and give you valuable and usable information.

Choosing a design

This section’s discussion of research designs is in no way complete. It’s meant to provide an introduction to what’s available. There are literally thousands of books and articles written on this topic, and you’ll probably want more information. There are a number of statistical methods that can compensate for less-than-perfect designs, for instance: few community groups have the resources to assemble a randomized control group, or to implement two or more similar programs to see which works better.

Given this, the material that follows is meant only as broad guidelines. We don’t attempt to be specific about what kind of design you need in what circumstances, but only try to suggest some things to think about in different situations. Help is available from a number of directions: Much can be found on the Internet (see the “Resources” part of this section for a few sites); there are numerous books and articles (the classic text on research design is also cited in “Resources”); and universities are a great resource, both through their libraries and through faculty and graduate students who might be interested in what you’re doing, and be willing to help with your evaluation. Use any and all of these to find what will work best for you. Funders may also be willing either to provide technical assistance for evaluations, or to include money in your grant or contract specifically to pay for a professional evaluation.

Your goal in evaluating your effort is to get the most reliable and accurate information possible, given your evaluation questions, the nature of your program, what your participants will consent to, your time constraints, and your resources. The important thing here is not to set up a perfect research study, but to design your evaluation to get real information, and to be able to separate the effects of external factors from the effects of your program. So how do you go about choosing the best design that will be workable for you? The steps are in the first sentence of this paragraph.

Consider your evaluation questions

What do you need to know? If the intent of your evaluation is simply to see whether something specific happened, it’s possible that a simple pre-post design will do. If, as is more likely, you want to know both whether change has occurred, and if it has, whether it has in fact been caused by your program, you’ll need a design that helps to screen out the effects of external influences and participants’ backgrounds.

For many community programs, a control or comparison group is helpful, but not absolutely necessary. Think carefully about the frequency and timing of your observations and the amount of different kinds of information you can collect. With repeated measures, you can get you quite an accurate picture of the effectiveness of your program from a simple time series design. Single group interrupted time series designs, which are often the most workable for small organizations, can give you a very reliable evaluation if they’re structured well. That generally means obtaining multiple baseline observations (enough to set a trend) before the program begins; observing often and documenting your observations carefully (often with both quantitative – expressed in numbers – and qualitative – expressed in records of incidents and of what participants did and said – data); and including during intervention and follow-up observations to see whether effects are maintained.

In many of these situations, a multiple-group interrupted time series design is quite possible, but of a “naturally-occurring” experiment. If your program includes two or more groups or classes, each working toward the same goals, you have the opportunity to stagger the introduction of the intervention across the groups. This comparison with (and across) groups allows you to screen out such factors as the facilitator’s ability and community influences (assuming all participants come from the same general population.) You could also try different methods or time sequences, to see which works best.

In some cases, the real question is not whether your method or program works, but whether it works better than other methods or programs you could be using. Teaching a skill – for instance, employment training, parenting, diabetes management, conflict resolution – often falls into this category. Here, you need a comparison of some sort. While evaluations of some of these – medical treatment, for example – may require a control group, others can be compared to data from the field, to published results of other programs, or, by using community-level indicators, from measurements in other communities.

There are community programs where the bottom line is very simple. If you’re working to control water pollution, your main concern may be the amount of pollution coming out of effluent pipes, or the amount found in the river. Your only measure of success may be keeping pollution below a certain level, which means that regular monitoring of water quality is the only evaluation you need. There are probably relatively few community programs where evaluation is this easy – you might, for instance, want to know which of your pollution-control activities is most effective – but if yours is one, a simple design may be all you need.

Consider the nature of your program

What does your program look like, and what is it meant to do? Does it work with participants in groups, or individually, for instance? Does it run in cycles – classes or workshops that begin and end on certain dates, or a time-limited program that participants go through only once? Or can participants enter whenever they are ready and stay until they reach their goals? How much of the work of the program is dependent on staff, and how much do participants do on their own? How important is the program context – the way staff, participants, and others treat one another, the general philosophy of the program, the physical setting, the organizational culture? (The culture of an organization consists of accepted and traditional ways of doing things, patterns of relationships, how people dress, how they act toward and communicate with one another, etc.)

If you work with participants in groups, a multiple-group design – either interrupted time series or control group – might be easier to use. If you work with participants individually, perhaps a simple time series or a single group design would be appropriate.

If your program is time-limited – either one-time-only, or with sessions that follow one another – you’ll want a design that fits into the schedule, and that can give you reliable results in the time you have. One possibility is to use a multiple group design, with groups following one another session by session. The program for each group might be adjusted, based on the results for the group before, so that you could test new ideas each session.

If your program has no clear beginning and end, you’re more likely to need a single group design that considers participants individually, or by the level of their baseline performance. You may also have to compensate for the fact that participants may be entering the program at different levels, or with different goals.

A proverb says that you never step in the same river twice, because the water that flows past a fixed point is always changing. The same is true of most community programs. Someone coming into a program at a particular time may have a totally different experience than a similar person entering at a different time, even though the operation of the program is the same for both. A particular participant may encourage everyone around her, and create an overwhelmingly positive atmosphere different from that experienced by participants who enter the program after she has left, for example. It’s very difficult to control for this kind of difference over time, but it’s important to be aware that it can, and often does, exist, and may affect the results of a program evaluation.

If the organizational or program context and culture are important, then you’ll probably want to compare your results with participants to those in a control group in a similar situation where those factors are different, or are ignored.

There is, of course, a huge range of possibilities here: nearly any design can be adapted to nearly any situation in the right circumstances. This material is meant only to give you a sense of how to start thinking about the issue of design for an evaluation.

Consider what your participants (and staff) will consent to

In addition to the effect that it might have on the results of your evaluation, you might find that a lot of observation can raise protests from participants who feel their privacy is threatened, or from already-overworked staff members who see adding evaluation to their job as just another burden. You may be able to overcome these obstacles, or you may have to compromise – fewer or different kinds of observations, a less intrusive design – in order to be able to conduct the evaluation at all.

There are other reasons that participants might object to observation, or at least intense observation. Potential for embarrassment, a desire for secrecy (to keep their participation in the program from family members or others), even self-protection (in the case of domestic violence, for instance) can contribute to unwillingness to be a participant in the evaluation. Staff members may have some of the same concerns.

There are ways to deal with these issues, but there’s no guarantee that they’ll work. One is to inform participants at the beginning about exactly what you’re hoping to do, listen to their objections, and meet with them (more than once, if necessary) to come up with a satisfactory approach. Staff members are less likely to complain if they’re involved in planning the evaluation, and thus have some say over the frequency and nature of observations. The same is true for participants. Treating everyone’s concerns seriously and including them in the planning process can go a long way toward assuring cooperation.

Consider your time constraints

As we mentioned above, the important thing here is to choose a design that will give you reasonably reliable information. In general, your design doesn’t have to be perfect, but it does have to be good enough to give you a reasonably good indication that changes are actually taking place, and that they are the result of your program. Just how precise you can be is at least partially controlled by the limits on your time placed by funding, program considerations, and other factors.

Time constraints may also be imposed. Some of the most common:

Program structure . An evaluation may make the most sense if it’s conducted to correspond with a regular program cycle.

Funding . If you are funded only for a pilot project, for example, you’ll have to conduct your evaluation within the time span of the funding, and soon enough to show that your program is successful enough to be refunded. A time schedule for evaluation may be part of your grant or contract, especially if the funder is paying for it.

Participants’ schedules . A rural education program may need to stop for several months a year to allow participants to plant and tend crops, for instance.

The seriousness of the issue A delay in understanding whether a violence prevention program is effective may cost lives.

The availability of professional evaluators . Perhaps the evaluation team can only work during a particular time frame.

Consider your resources

Strategic planners often advise that groups and organizations consider resources last: otherwise they’ll reject many good ideas because they’re too expensive or difficult, rather than trying to find ways to make them work with the resources at hand. Resources include not only money, but also space, materials and equipment, personnel, and skills and expertise. Often, one of these can substitute for another: a staff person with experience in research can take the place of money that would be used to pay a consultant, for example. A partnership with a nearby university could get you not only expertise, but perhaps needed equipment as well.

The lesson here is to begin by determining the best design possible for your purposes, without regard to resources. You may have to settle for somewhat less, but if you start by aiming for what you want, you’re likely to get a lot closer to it than if you assume you can’t possibly get it.

Em suma

The way you design your evaluation research will have a lot to do with how accurate and reliable your results are, and how well you can use them to improve your program or intervention. The design should be one that best addresses key threats to internal validity (whether the intervention caused the change) and external validity (the ability to generalize your results to other situations, communities, and populations).

Common research designs – such as interrupted time series or control group designs – can be adapted to various situations, and combined in various ways to create a design that is both appropriate and feasible for your program. It may be necessary to seek help from a consultant, a university partner, or simply someone with research experience to help identify a design that fits your needs.

A good design will address your evaluation questions, and take into consideration the nature of your program, what program participants and staff will agree to, your time constraints, and the resources you have available for evaluation. It often makes sense to consider resources last, so that you won’t reject good ideas because they seem too expensive or difficult. Once you’ve chosen a design, you can often find a way around a lack of resources to make it a reality.