Autores: Rogério Renato Silva e Daniel Brandão
Palavras chave: avaliação, programas sociais, projetos sociais, perguntas avaliativas, indicadores, métodos e técnicas de investigação da realidade.
I. Introdução
Este ensaio reúne algumas reflexões que temos feito ao longo dos últimos meses de trabalho, tendo em vista o importante conjunto de práticas e discussões com as quais nos envolvemos neste período. Sua elaboração só foi possível em razão das avaliações pelas quais fomos responsáveis, como na primeira edição do Projeto Garagem Digital (Fundação Abrinq, HP Brasil, Meninos do Morumbi e Cidade Escola Aprendiz), no Programa Formare (Fundação Iochpe), do Programa Grêmio em Forma (Instituto Sou da Paz), na Rede Corrente Viva (Núcleo Maturi), no Programa de Apoio a Projetos de Atendimentos a Crianças e Jovens na Grande São Paulo 4a edição (Vitae), no Programa Cidadão 21 Arte (Instituto Ayrton Senna), no Prêmio Empreendedor Social (Ashoka e McKinsey) e da 5a edição no Programa de Apoio a Projetos de Atendimentos a Crianças e Jovens na Grande São Paulo (Vitae), estes dois últimos ainda em curso, além de nosso papel de animadores da Rede Brasileira de Monitoramento e Avaliação (ReBraMA), nossa iniciativa de criação do Grupo de Estudos em Avaliação no âmbito do Instituto Fonte, e do processo de planejamento e posicionamento estratégico vivido pelo Instituto neste momento. Desde já agradecemos a estas experiências as idéias que aqui apresentamos e esperamos que este texto contribua com a aprendizagem de todos os interessados no campo da avaliação.
Queremos olhar a avaliação por meio de um exercício metafórico que possa nos ajudar a aproximar as pessoas do tema e a desmitificar alguns dos receios que ainda acompanham o pensamento sobre avaliação. Ainda que nossa intenção não seja de aprofundar a compreensão do simbolismo associado a cada um dos quatro elementos em questão, queremos sim provocar os leitores a sentirem-se mais próximos ao objeto do que normalmente estão. Temos a pretensão de que a leitura de algumas passagens do texto os estimule a se posicionar em relação à avaliação, seja por concordar com nossas reflexões, seja por discordar delas, apresentando novas idéias.
O exercício metafórico que propomos se inicia ao caracterizarmos a avaliação de programas sociais segundo algumas propriedades dos elementos da natureza. Esta classificação é a seguinte: (I) a constante busca por atribuir sentido aos processos avaliativos, à qual, por sua natureza reflexiva e abstrata, atribuímos o elemento ar; (II) os esforços em desenvolver formas metodológicas adequadas para a investigação da realidade em cada processo avaliativo, aos quais, em razão de sua natureza científica, concreta e ferramental, atribuímos o elemento terra; (III) a preocupação em conduzir processos avaliativos pautados em princípios éticos, à qual, em razão de sua natureza transparente, sua capacidade de lubrificar as relações e de cuidar para que os processos sejam “limpos”, atribuímos o elemento água e (IV) a necessidade de construir capacidade avaliativa na sociedade brasileira, à qual, em razão de sua natureza multiplicadora, combustível, geradora de conhecimentos e práticas, atribuímos o elemento fogo.
Estamos procurando contribuir para o desenvolvimento social de nosso país através dos indivíduos, grupos, movimentos e organizações com os quais trabalhamos. Nesta busca nos defrontamos com um grande desafio: entender o papel da avaliação no processo de desenvolvimento de uma organização. Neste sentido, compreendemos que a avaliação é um processo de aprendizagem que pode apoiar pessoas, organizações e grupos sociais a fazer escolhas mais consistentes em relação aos rumos de suas iniciativas. A avaliação oferece a esses atores a possibilidade de criar espaços de reflexão sobre a prática, desconstruir idéias vigentes ou construir sensos comuns em relação a conceitos e discursos.
Entretanto, o que temos percebido ao longo dos últimos anos, sobretudo a partir da crise de financiamento atravessada pelo país ao início da década de 1990 e da posterior retirada do Estado de inúmeras atividades de interesse público, é que houve um aumento significativo do interesse por resultados, por processos mais efetivos e por iniciativas transparentes e socialmente responsáveis. Somando-se a estes eventos o desenvolvimento de diversos espaços de participação e de controle social no Brasil (em especial os conselhos representativos), a avaliação passou a ocupar uma posição de importância crescente na sociedade brasileira.
Entendemos avaliação como a elaboração, negociação e aplicação de critérios explícitos de análise, em um exercício metodológico cuidadoso e preciso, com vistas a conhecer, medir, determinar ou julgar o contexto, mérito, valor ou estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de pessoas e organizações.
Considerando este cenário, reconhecemos que existe pressão social para o desenvolvimento da cultura de avaliação no Brasil. Para que esta cultura desenvolva-se em harmonia com as necessidades do país, sobretudo a necessidade de gerar tecnologias acessíveis, que atuem a favor das comunidades e das organizações da sociedade civil, pensamos ser essencial conhecer os quatro elementos que escolhemos para nortear este texto.
II. A busca de sentido para a avaliação (ar)
Avalia-se programas e projetos para muitas finalidades. O que nos parece, no entanto, é que não existe classificação genérica que justifique o propósito de cada avaliação particular. Ao fazer esta afirmação, queremos ressaltar a importância de perguntar, e verdadeiramente explorar em cada processo, por quê avaliar? A busca de sentido em um processo de avaliação é etapa fundamental para que pessoas e organizações façam escolhas conscientes a respeito dos esforços e investimentos que desejam alocar nos processos avaliativos. Atribuir sentido a um processo vai além de dizer o que vai ser avaliado, ao que denominamos foco, ou dizer com que finalidade se fará uma avaliação, o que denominamos utilização (para que avaliar?).
O sentido encontra-se em fazer com que cada pessoa envolvida na avaliação procure reconhecer e explicitar o contexto em que vivem o programa ou organização avaliados, procurando vislumbrar que papel a avaliação vai realmente cumprir neste cenário, que decisões podem surgir a partir dos resultados da avaliação e, sobretudo, que consciência e que intenção de aprendizagem estão associadas ao processo avaliativo. Atribuir sentido é saber também que a avaliação pode ser utilizada com a finalidade de exclusão ou de punição, sendo necessário que estas intenções sejam acessadas e que mecanismos para mediar as relações envolvidas nestas situações sejam criados. A atribuição de sentido é um processo reflexivo e político.
A construção do sentido permite ao grupo discutir e alinhar seus conceitos sobre avaliação. Se bem conduzida, a construção de sentido pode fortalecer a equipe de trabalho o que pode contribuir para o desenvolvimento de outras áreas da organização.
Para não tratarmos deste elemento apenas em caráter teórico, gostaríamos de compartilhar dois casos que podem estimular a reflexão e o entendimento da atribuição de sentido aos processos avaliativos. O caso 1 retrata um processo em que o sentido da avaliação não estava claro, o que resultou em problemas para os envolvidos, enquanto o caso 2 ilustra um processo em que o sentido foi procurado sistematicamente, levando a resultados importantes para a aprendizagem dos envolvidos.
Caso 1
A organização da sociedade civil (OSC) A possui um Programa realizado em parceria com uma Empresa B, e atua na periferia de um grande centro urbano da região Sul. Cada projeto do Programa dura 12 meses e tem a intenção de desenvolver competências pessoais, sociais, produtivas e cognitivas em jovens na faixa etária de 15 a 18 anos. Ao final de um dos projetos, a OSC A contratou uma avaliação externa para conhecer os resultados alcançados junto aos adolescentes, estimulada pelo desejo da empresa financiadora em conhecer os resultados de seus investimentos. Duas perguntas avaliativas foram elaboradas com contribuições não presenciais dos principais interessados na avaliação na OSC A e Empresa B. Foram elaborados indicadores com a participação de educadores da OSC A, e então um amplo processo de coleta de dados junto aos jovens, educadores e gestores do projeto foi realizado. Ao longo da avaliação, a equipe externa percebeu a existência de um grande conflito entre os interessados. O conflito tem impedido o desenvolvimento do Programa e ameaçado sua continuidade. Este conflito tornou-se evidente em cada entrevista individual, nas visitas de observação e nos grupos focais realizados para a coleta de dados. As perguntas avaliativas foram respondidas com um amplo cuidado técnico, contudo, a presença do conflito entre os interessados fez com que os resultados da avaliação fossem utilizados para que alguns interessados reafirmassem sua posição no conflito, enquanto outros se sentissem mais ameaçados pela disputa de poder. Por perceber o conflito instalado em um momento avançado do trabalho, a equipe de avaliação não conseguiu criar as condições para que a crise recebesse a atenção necessária e a avaliação não cumpriu o papel de ferramenta de aprendizagem esperado.
Caso 2
A Fundação A possui um Programa de caráter nacional que procura desenvolver estratégias de inclusão de adolescentes no mercado de trabalho através de cursos que oferecem aos jovens tanto uma formação técnica de alto nível tecnológico, quanto o desenvolvimento de competências pessoais e sociais. Uma equipe externa de avaliação foi contratada para desenvolver um processo que revelasse os resultados do Programa ao longo dos últimos três anos. Duas perguntas avaliativas foram estabelecidas através de um amplo processo de discussão presencial com os principais interessados. Algumas rodadas de negociação foram realizadas tendo em vista a existência de diferentes desejos em relação ao curso da avaliação, o que proporcionou a escolha de um caminho metodológico contemplando estes diferentes interesses e abrindo um caminho de aprendizagem para os interessados ao longo da avaliação. Os resultados encontrados motivaram reuniões internas para desenvolver um processo de monitoramento do Programa, para discutir a cultura de avaliação no organização e para subsidiar as reflexões do Conselho Deliberativo da Fundação A a respeito do Programa.
A etapa de atribuição de sentido é fundamental para garantir a avaliação. Ainda que façamos aqui uma divisão “didática” desta etapa, é necessário compreender e atuar com a preocupação de atribuir sentido ao longo de todo o processo de avaliação. Como será visto na terceira parte do texto, a fase de planejamento da investigação da realidade e sua realização, a qual denominamos “passos da avaliação”, deverá estar permanentemente orientada pelo sentido.
III. O processo de investigação da realidade (terra)
Enquanto o elemento ar da avaliação permite encontrar o sentido, compreender sua intencionalidade, dimensionar sua grandeza e limitar sua atmosfera de expectativas, é a aplicação precisa dos métodos disponíveis para a investigação da realidade que vai materializar estas dimensões em ações concretas e em resultados palpáveis. Por sua natureza sólida, o elemento terra da avaliação representa a fase destes processos em que estão colocados os esforços mais volumosos, o envolvimento de equipes, o preparo de instrumentos, o trabalho de campo, a realização de análises e o preparo dos materiais de comunicação.
São sete os passos metodológicos compreendidos nesta etapa da avaliação: (1) a elaboração de perguntas avaliativas, (2) a elaboração de indicadores, (3) a escolha das fontes de informação, (4) a escolha das formas de coleta de informações, (5) a coleta de informações – trabalho de campo, (6) a análise das informações coletadas e (7) a comunicação dos resultados. Ainda que diferentes abordagens de avaliação sejam utilizadas, estes passos serão úteis aos avaliadores como um roteiro ou matriz elementar na organização de processos de avaliação.
Ainda que estejamos falando de uma avaliação de linha de base ou de qualquer outro modelo que procure investigar os pontos de partida das intervenções sociais; de avaliações de natureza formativa, ou de qualquer outra classificação que venha a ocorrer ao longo da intervenção social, incluindo o monitoramento das ações; ou de avaliações de natureza somativa, ou de qualquer outro desenho que implique a investigação de resultados ou de impacto das intervenções sociais, seguir os sete passos metodológicos que propomos será de grande utilidade para os avaliadores.
Seguir passos metodológicos claros e interrelacionados é uma forma concreta de assegurar consistência a um processo de avaliação. Do ponto de vista externo, permite que qualquer interessado visualize e compreenda a lógica do caminho percorrido pelo avaliador; do ponto de vista interno, proporciona ao avaliador uma maneira de gerir o processo com maior facilidade. Respeitar passos metodológicos não significa estar aprisionado a amarras científicas, e sim estar orientado segundo uma lógica que amplia a qualidade da avaliação.
Passo 1: A construção da pergunta avaliativa
A reflexão sobre o sentido e o conseqüente acordo político construído nas etapas iniciais de uma avaliação provoca a necessidade de definir o que avaliar, ou seja, a definir o foco da avaliação. O foco pode ser explicitado de formas opostas: como uma afirmação (semelhante a um objetivo) ou como uma pergunta. Nossa experiência tem mostrado que trabalhar com perguntas, as quais chamamos perguntas avaliativas, é mais profícuo para o processo de avaliação. A pergunta provoca a equipe do programa, os avaliadores, gera boas expectativas e leva ao início dos trabalhos.
A pergunta avaliativa torna-se a peça chave, orientará todos os desdobramentos da avaliação e será a guia do processo. Costumamos dizer que a pergunta avaliativa é a alma da avaliação. Construir uma pergunta avaliativa é um processo desafiador e apaixonante. Exige do avaliador habilidades para mediar conflitos e negociar interesses e oferece ao projeto ou à organização uma excelente oportunidade de afinar idéias e olhares sobre a sua prática. Por isso a elaboração da pergunta deve envolver os principais interessados na avaliação, sendo feita através de um processo participativo.
É preciso lembrar sempre que não existe boa avaliação sem uma boa pergunta.
Contudo, uma boa pergunta não garante uma boa avaliação.
Para exemplificar o que é uma pergunta avaliativa, mostramos abaixo alguns exemplos de perguntas de diferentes projetos com os quais trabalhamos. A qualidade da pergunta está em sua simplicidade, sua viabilidade, sua capacidade de trazer informações úteis aos interessados e seu sentido para o contexto do projeto ou programa.
o Em que medida o Programa contribuiu com a vida pessoal, familiar e comunitária dos jovens?
o Em que medida o projeto influenciou o ambiente escolar?
o Que mudanças a participação no programa está gerando nas organizações e em seus públicos beneficiários?
Passo 2: A construção de indicadores
Depois de estabelecida a pergunta avaliativa é necessário que indicadores sejam construídos, descritos e que, algumas vezes, critérios de julgamento sejam estabelecidos. Como costumamos dizer, se a pergunta avaliativa é a alma da avaliação, os indicadores são sua encarnação, ou seja, são as dimensões concretas que irão orientar o desenho metodológico.
As organizações e projetos sociais tendem a mitificar indicadores. Diversos são os discursos que exaltam a dificuldade de se estabelecer indicadores para uma determinada intervenção social. Os indicadores parecem estar no Olimpo, distante da prática dos mortais. Acreditamos, porém, que este endeusamento e conseqüente distanciamento dos indicadores ocorre por simples desconhecimento do que são indicadores e da falta de uma experiência prática em formulá-los. Talvez o grande desafio que o indicador nos ofereça seja entender a sua simplicidade. Como o próprio nome diz, indicadores são indicações a respeito de determinado sujeito ou objeto. Indicadores são comportamentos ou estados observáveis deste sujeito ou objeto. Uma pergunta avaliativa só pode ser respondida com precisão se for feito um recorte sobre o que deve ser analisado. Este recorte é definido pelos indicadores.
Tão importante quanto definir o indicador é a formular sua descrição, que explicita seu significado. Os indicadores devem ser plenos de sentido especialmente para aqueles que atuam frente a uma dinâmica social específica. Os atores sociais legítimos para definir indicadores sobre determinada realidade são aqueles que convivem com essa realidade, o que convida o consultor em avaliação a atuar como um facilitador de processos e não como especialista que traz todas as respostas. O indicador é uma peça prática que reflete a experiência, os estudos e as vivências que o grupo carrega.
A equipe do projeto é a autora dos indicadores e o avaliador um apoiador deste processo de elaboração. Cabe a ele conduzir uma dinâmica na qual o grupo se sinta confortável, seguro e criativo para trabalhar. Cabe ainda ao avaliador oferecer questionamentos relacionados a descrição, viabilidade e importância de cada indicador proposto, e que ajuda o grupo a fazer as escolhas que garantam precisão e sentido ao processo de avaliação.
O momento de elaboração de indicadores, precioso para o grupo, é uma oportunidade para alinhar conceitos que estão presentes no discurso, mas nem sempre têm o mesmo significado para todos da equipe. Vejamos por exemplo, que muitos projetos trabalham com o desenvolvimento da auto-estima em jovens. Por isso é muito comum que este seja um indicador presente em suas avaliações. No entanto, quando perguntamos à equipe o que significa auto-estima, diversos conceitos costumam vir à mesa. Observa-se que o grupo trabalhou durante muito tempo com uma mesma idéia na cabeça, mas com diferentes compreensões do seu significado. Acreditamos que alinhar estes conceitos contribui para o desenvolvimento do projeto e assegura o curso da avaliação.
Para exemplificar alguns indicadores, escolhemos uma das perguntas avaliativas citadas anteriormente, apontando alguns de seus indicadores.
o Em que medida o projeto influenciou o ambiente escolar?
_Habilidade para a resolução de conflitos: os alunos são capazes de agir coletivamente na resolução não violenta de conflitos no ambiente escolar.
_Sentido de Pertencimento: os alunos reconhecem que a escola é um espaço útil e importante para os alunos; criação de uma identidade entre os alunos e o espaço escolar.
_Percepção da depredação e da violência: forma como os alunos percebem a violência e a depredação na escola.
Em algumas circunstâncias, a descrição de cada indicador deve buscar o mais específico comportamento observável que se possa perceber, por exemplo “o aluno rabisca a carteira”, “o aluno agride fisicamente um colega da escola” e tantos outros comportamentos que sejam indicadores concretos de comportamentos. Esta procura por especificidade ajudará a precisar os instrumentos de coleta de dados, como roteiros de observação, roteiros de grupos focais e questionários (sobre os quais falaremos mais adiante). Geralmente são os próprios educadores dos jovens, que interagem com as crianças e os jovens no dia a dia dos projetos, as pessoas mais indicadas para relatar comportamentos observáveis. A intenção deste movimento é construir instrumentos tão bons quanto nossos olhos.
Passo 3: Definição das fontes de informação
A partir dos indicadores, é preciso definir as fontes de informação adequadas para que cada indicador possa ser explorado, conhecido, investigado. A fonte de informação é o ator social, evento ou objeto através dos quais é possível verificar o indicador, seja observando um comportamento ou medindo determinada característica. Cada indicador terá, pelo menos, uma fonte de informação: os participantes do projeto, os familiares, os gestores do programa, os financiadores, os educadores, documentos de registro, etc.
Seguindo o curso dos exemplos anteriores:
o Em que medida o projeto influenciou o ambiente escolar?
_Habilidade para a resolução de conflitos: os alunos são capazes de agir coletivamente na resolução não violenta de conflitos no ambiente escolar.
Fontes de informação: jovens participantes do Programa (n=200) e educadores dos jovens (n=8)
Passo 4: Definição das formas de coleta de informações
Para cada fonte de informação haverá formas distintas e mais apropriadas para coletar informações. A forma de coleta é definida respeitando-se o contexto cultural do público alvo e a viabilidade do processo de avaliação. Por exemplo, questionário para um público iletrado é uma estratégia equivocada, ao mesmo tempo em que a realização de entrevistas individuais será inadequada para uma população muito grande, diante de uma equipe restrita e de pouco volume de recursos.
As formas de coleta de dados mais comumente utilizadas em nossa prática têm sido: (1) Entrevistas telefônicas; (2) Entrevistas presenciais; (3) Grupos focais; (4) Aplicação de questionário com questões fechadas; (5) Questionários com questões abertas; (6) Observação (com roteiro estruturado); (7) Testes de performance; (8) Testes padronizados; (9) Análise de documentos e registros; e (10) Questionários por correio eletrônico.
Qualquer que seja a forma de coleta de dados, é importante uma cuidadosa preparação do instrumente que deve incluir a equipe do projeto na sua discussão. Seguindo o exemplo anterior para ilustrar os passos metodológicos temos:
o Em que medida o projeto x influenciou o ambiente escolar?
_Habilidade para a resolução de conflitos: os alunos são capazes de agir coletivamente na resolução não violenta de conflitos no ambiente escolar.
Fontes de informação: jovens participantes do Programa (n=200) e educadores dos jovens (n=8)
Formas de coleta: jovens (questionários e grupos focais) e educadores (entrevistas individuais).
Passo 5: Coleta de informação
Após definidas as formas de coleta e elaborados os instrumentos, chega-se ao momento de “ir a campo” e coletar as informações. Costumamos utilizar uma definição que, se não possuísse algo de trágico, seria bastante divertida para resumir as dificuldades que estão associadas a esta etapa. O que dizemos é que uma fase de coleta de informações precedida de um intenso e detalhado processo de planejamento provavelmente lhe trará menos problemas do que uma fase de coleta não precedida de muitos cuidados e todos os procedimentos possíveis. Problemas sempre existirão. E como é melhor recolher dados a problemas, é muito importante planejar para não sofrer decepções.
Alguns elementos fundamentais para a coleta de dados são os seguintes: (a) o cronograma precisa ser negociado com todos aqueles que serão envolvidos na coleta, e é preciso conhecer o contexto no qual estão essas pessoas, para que a programação de coleta não as prejudique nem sofra prejuízos em razão de competir com outros eventos, reuniões, feriados, horários de trabalho, etc; (b) bons instrumentos de coleta de dados são fundamentais para assegurar a qualidade da informação, mas eles pouco servirão a este propósito se os coletores de informação (pessoal do campo) não estiverem treinados e comprometidos com a qualidade do processo; (c) não economize roteiros ou manuais de procedimentos para orientar as pessoas que farão a coleta de dados, que farão as observações ou visitas, que mediarão os grupos focais, etc; (d) esteja preparado para organizar as informações à medida que elas forem sendo recolhidas. Além de ser necessário identificar todo o material e tomar todos os cuidados possíveis para que informação coletada não seja perdida, a organização das informações coletadas é o primeiro passo para assegurar a análise, aspecto tratado no próximo passo.
Passo 6: Análise de informações
A análise de informações deve respeitar a natureza da informação. Caminhos qualitativos e quantitativos serão úteis e devem atuar de forma complementar para que a melhor leitura possível da realidade seja obtida. Para dados quantitativos, as análises estatísticas são as mais comuns e necessárias. Já os dados qualitativos exigem abordagens distintas, como a análise temática de discursos, que é a técnica mais utilizada em nossa prática.
Ao contrário do que se possa imaginar, a análise das informações não é uma prerrogativa apenas dos avaliadores. Temos vivido experiências em que torna-se muito importante que esta etapa seja conduzida com base em orientações dos principais interessados na avaliação. Informações preliminares, uma vez analisadas, podem ser discutidas com os interessados em busca de aprofundar achados, levantar novas hipóteses, testar critérios de julgamento, etc. Desta maneira, os resultados finais serão construídos atendendo à demanda que surge de cada descoberta do próprio grupo.
Passo 7: Comunicação
A comunicação é a etapa que encerra os sete passos metodológicos da avaliação e que, muitas vezes, encerrará o processo como um todo. O formato monográfico é um padrão de relatório ainda desejado pelos financiadores brasileiros e importante para os processos. O formato monográfico permite também um registro detalhado de todas as etapas da avaliação, e servirá como fonte de informação para diferentes momentos de um projeto.
Contudo, o que temos procurado valorizar são as outras estratégias de comunicação que permitem que informações e análises sejam feitas ao longo do processo avaliativo, e não apenas ao seu final. Muitas vezes, determinadas etapas metodológicas, às quais denominados de fases exploratórias, antecedem os momentos mais intensos de coleta de dados, ou fase de investigação. Utilizar relatórios parciais ajuda a estabelecer uma relação de confiança com os interessados, ajuda a equipe a conhecer a melhor forma de apresentar os resultados, ao mesmo tempo que pode gerar informações que gradualmente ajudem os interessados em seus processos de aprendizagem e de tomada de decisão.
Para que a terra seja capaz de gerar vida, rompendo sua característica estática, dura, vimos que é fundamental a presença do elemento ar para lhe trazer sentido, lhe criar aeração e lhe nutrir com os componentes apropriados. Entretanto, esta combinação ainda carece de mais dois elementos para que exista vida, e para que o desenvolvimento social que buscamos esteja associado aos processos avaliativos. É preciso água e fogo.
A água é o elemento que permitirá ligação, que criará interfaces entre os organismos, que os fará cooperar e coexistir em harmonia e que irá lavar os componentes desnecessários. Em nossa prática, este papel está diretamente associado ao debate ético em torno dos processos.
Já o fogo, último dos quatro elementos, está associado à energia demandada por um processo de avaliação, o calor necessário para que existam e para que em sua chama sejam forjadas novas organizações e novas práticas a partir da realidade avaliada.
III. A ética nos processos avaliativos (água)
Relações entre indivíduos permeiam todo e qualquer grupo social. Estas podem ser orientadas por princípios que visam o bem comum, aos quais denominamos ética. Pela sua natureza de permear, estabelecer-se entre relações, unir virtudes, higienizar processos, associamos a este conceito o elemento água.
A ética obedece a contextos culturais e temporais de cada povo. Na sociedade em que vivemos, ocidentalizada, com bases judaico cristãs, e porque não, mergulhada na era virtual, o campo da avaliação tem a oportunidade de reproduzir, em micro escala, valores ideais que norteiam relações contemporâneas. Na prática, isso se traduz em alguns pontos a serem zelados durante a avaliação, que abordamos abaixo.
a) Respeito a todos os indivíduos envolvidos em um processo de avaliação: pressupõe o respeito aos contextos culturais, sociais e políticos, às opiniões, à dignidade e aos valores de todos os envolvidos na avaliação. Procedimentos como o consentimento informado para qualquer tipo de coleta de informação, a garantia da não exposição (anonimato) quando necessário e a adaptação da linguagem utilizada nos instrumentos e roteiros são alguns dos cuidados que ajudarão a que o respeito seja preservado.
b) Explicitar as intenções da avaliação como um todo e de cada etapa do processo em particular: pressupõe que exista clareza das intenções dos diferentes grupos de interesse que participam da avaliação para negociá-las sempre que necessário. Cada etapa da avaliação precisa também possuir intenções claras e explícitas para todos os interessados e envolvidos.
c) Realizar avaliações justas: pressupõe que as avaliações trabalhem com um princípio de justiça que motive os avaliadores a examinar e registrar tanto as informações de caráter positivo quanto as de caráter negativo do projeto ou programa avaliado. O cuidado na análise e na comunicação dos dois tipos de informação deve ser o mesmo, e é necessário que acordos sejam estabelecidos com os interessados para que o uso das informações, sobretudo das que tenham caráter negativo, também siga o princípio do respeito aos indivíduos e da aprendizagem.
d) Transparência na comunicação: pressupõe que os envolvidos na avaliação tenham acesso aos resultados. Só assim haverá possibilidade de debatê-los, reconhecer pontos fortes e limitações, e aprender com a avaliação. Informação é poder, mantê-la somente com um grupo esvazia o fortalecimento de distintos grupos sociais e o desenvolvimento da sociedade.
e) Responsabilidade fiscal: pressupõe a elaboração de orçamentos claros e detalhados, a correta alocação de recursos, o cumprimento das responsabilidades fiscais legais e a prestação de contas de maneira transparente para os financiadores.
Queremos também ressaltar que as ponderações acima não foram realizadas com a intenção de se configurar como um código de ética para avaliadores, mas sim apontar elementos importantes que têm orientado nossa prática, provocando um debate a respeito do tema. A tarefa de produzir um código de ética caberá aos próprios profissionais do setor, às universidades, ao parlamento e a sociedade civil organizada à medida que a avaliação ganhar importância e espaço na agenda política do país. Este não é um tema para ficar em segundo plano.
IV. A construção de capacidade avaliativa (fogo)
Como último elemento do texto, abordaremos a construção de capacidade avaliativa em organizações, aspecto que ultrapassa os limites de um projeto ou programa específicos e procura olhar para as organizações de um ponto de vista sistêmico. Por esta característica de ampliação, de cruzar fronteiras, visitar novos territórios, multiplicar forças, renovar matérias e energias, associamos ao tema o elemento fogo.
Tratamos a construção de capacidade avaliativa por meio de cinco componentes. Cada um deles, explorados em maiores detalhes no texto “Construção da capacidade avaliativa em organizações da sociedade civil”, pode ser resumido da seguinte forma.
a) é necessário buscar identidade, entendendo esse processo como a necessidade de buscar entendimentos entre os interessados na avaliação, em torno de um padrão conceitual comum para a avaliação nas organizações. Algumas vezes esta busca de identidade deverá envolver os financiadores, considerando que suas expectativas e necessidades de informação podem ter natureza distinta dos desejos da organização.
b) é necessário enfrentar o desafio de transferência de poder, entendendo esse processo como a conquista de autonomia frente a outras organizações parceiras e, sobretudo, frente aos financiadores. Por um lado, este processo implica em maior liberdade para as ações organizacionais. Por outro, em maior responsabilidade em relação às práticas e ao papel social da organização. O desenvolvimento de capacidade avaliativa, ao qual alguns chamam empowerment evaluation, ou avaliação emancipadora, terá esta como uma de suas dimensões principais.
c) é necessário buscar motivação, processo compreendido na importância de que os esforços de desenvolvimento de capacidade avaliativa acessem o desejo de aprender existente nas pessoas e nas organizações que se lançam no caminho da avaliação de suas práticas.
d) é necessário desenvolver competências em avaliação, processo compreendido como o preparo das pessoas em três grandes campos de competência para atuarem como avaliadores: (1) a competência para a facilitação de processos de avaliação, (2) a competência para a gestão de processos de avaliação e (3) a competência para a investigação da realidade.
e) é necessário alocar recursos, processo compreendido na necessidade da organização estabelecer rubricas para a avaliação em seus projetos e programas, em um esforço de captação de recursos que apoie seu processo de aprendizagem e seu desenvolvimento .
Frente aos quatro elementos destacados no texto, queremos provocar reflexões a respeito da construção e do fortalecimento de uma cultura de avaliação no Brasil. Em busca do desenvolvimento social em que acreditamos, sobretudo por sermos uma organização cuja missão está focada neste ponto, achamos e exercitamos o pensamento de que qualquer prática organizacional, seja o planejamento estratégico, seja a gestão de pessoas, seja o desenvolvimento de novas iniciativas sociais ou a avaliação de ações, terão maior mérito e sentido, à medida que estiverem relacionadas ao desejo de criar organizações que aprendam e que efetivamente se orientem pela criação de um país melhor.
Para nos confortarmos nessa caminhada, costumamos repetir em nossas reuniões de aprendizagem, nas quais refletimos a respeito do que sabemos, do que não sabemos e da estrada que queremos percorrer rumo ao horizonte que perseguimos, “caminhantes, não há caminho, se faz o caminho ao andar”.
Referências bibliográficas:
_Chianca T; Marino E; Schiesari L. Desenvolvendo a cultura de avaliação em organizações da sociedade civil. Coleção Gestão e Sustentabilidade. São Paulo: I. Fonte/ Editora Global; 2001.
_Brandão D. Silva RR. Palos CMC. Construção da capacidade avaliativa em organizações da sociedade civil. São Paulo: Instituto Fonte; 2003.