Elaborar um questionário é uma das etapas mais decisivas em um processo de pesquisa. Quase sempre deixada em segundo plano, acaba por ser tornar um dos principais vilões e fontes de erro em pesquisas quantitativas e, no caso dos roteiros, em pesquisas qualitativas. Abaixo, alguns comentários sobre a construção de um questionário para quantitativas. Para isso, recupero o trabalho de SIMÕES, Solange e PEREIRA, Maria Aparecida Machado. A Arte e a Ciência de fazer perguntas – aspectos cognitivos da metodologia de Survey e a construção do questionário. Apêndice 1, p. 241-261.
A metodologia de survey é a contrapartida acadêmica para as tradicionais pesquisas de opinião. É mais científica e mais analítica, e muito ligada à investigação de problemas sociais, como o comportamento eleitoral, a estratificação social, as relações raciais, a criminalidade, o meio ambiente etc.
Hoje, sua aplicação é muito forte na investigação de temas ligados ao desenvolvimento da democracia. E isto está se dando num momento de abandono de determinismos (econômicos ou culturais – as chamadas “leis de ferro da história”) em prol de um modelo multivariado de análise, no qual um conjunto de clivagens sociais (classe, gênero, renda etc.) se combinam para explicar os resultados.
Por ser uma técnica similar ás da pesquisa de opinião e mercado (mais preocupados em prever que explicar e compreender) acaba sofrendo resistências. Por outro lado, é inegável sua contribuição em superar os limites do academicismo meramente descritivo, auxiliando a responder os “por quês” nas análises. Mas, isto diz respeito à análise dos dados e, muito importante, é a construção ou coleta dos dados. O que é visto a seguir.
A construção de um questionário deve ser guiada não apenas pela experiência e intuição, mas pela experimentação rigorosa, pois não estamos simplesmente “coletando” dados e sim “construindo”, afinal nossas perguntas produzem efeitos nas respostas. E é esta produção de efeitos que deve estar sob permanente vigilância. Mas, paradoxalmente, a construção do questionário é sempre considerada a mais simples e fácil etapa.
O que quase sempre resulta disso é a diferença entre os “significados inferidos” e os “significados pretendidos” pelo pesquisador. Nos anos 70 diversos experimentos foram feitos e foram detectados vários tipos de efeitos e, nos anos 80 e 90, tais efeitos foram explicados teoricamente.
O interessante é se partir da definição de survey como uma interação social guiada por regras sociais e linguísticas de conversação, e por tarefas cognitivas dos entrevistados.
Para a Psicolinguística é necessário entender como as pessoas compreendem o mundo e se comunicam com os outros. Assim, o survey está em um contexto de “diálogo”, de “cooperação” e, para isso, todos esperam clareza, verdade, não-redundância e relevância. Muitos entrevistados, então, vão oferecer respostas que acreditam ser relevantes para nós pesquisadores. Eles estão tentando “cooperar”.
Já para a Psicologia Cognitiva, no processo, quatro tarefas são realizadas: interpretação da questão, remuneração de informações sobre um comportamento ou opiniões, formatação de uma resposta e edição de uma resposta. São dimensões fundamentais para o entendimento de como os entrevistados respondem as perguntas de um survey.
O Pré-Teste
O Pré-Teste do questionário é visto como elemento crucial e imprescindível para a geração de dados, mas é frequentemente pouco elaborado.
No nosso entendimento o pré-teste é um elemento central para a validade dos dados tanto no que concerne a verificar e aprimorar a operacionalização das questões de pesquisa e dos conceitos – ou seja, na passagem da teoria para a empiria – quanto na garantia da correspondência de significados entre pesquisador e entrevistados (p. 247).
O objetivo é o de verificar se o que está sendo medido empiricamente corresponde ao que teoricamente é definido, ou seja, a validade do dado. Assim, para identificar problemas e a sequência de sua ocorrência, podem ser utilizados os seguintes instrumentos de avaliação do questionário:
1) Barra de Probes (barra de sondagem para aprofundamento da questão) – Funciona como um aprofundamento da questão, sem induzir as respostas, que ajude o entrevistado a entender e responder à questão proposta, e auxilia o entrevistador a entender e esclarecer a resposta dada. Essa busca de clareza pode partir de um dos lados. Quando o pedido vem do entrevistado o entrevistador pode utilizar os seguintes procedimentos:
- Repetir o enunciado
- Repetir as opções
- Dizer; “qualquer que seja o significado que isto tenha para você” (quando não houver definição que apareça no enunciado ou opções)
- Dar esclarecimentos previstos no Manual de Questões;
Quando o pedido é da parte do entrevistador o Probe é aplicado por meio de uma questão adicional padronizada para motivar o entrevistado a se comunicar de forma mais clara. Algumas questões padronizadas são:
- Mas, em geral, o que você pensa?
- Você pode me dar um exemplo?
- Qual se aproxima mais de como você sente / pensa?
- O que você quer dizer com isto?
O objetivo geral é verificar quantas vezes foi pedida a repetição de um enunciado ou termo.
2) Roteiro de avaliação da entrevista – Funciona como uma sessão de debriefing e é formado por um relatório individual que registra as avaliações de comportamento e desempenho de cada entrevistado. Ao lugar da observação objetiva do entrevistado surge a avaliação subjetiva. Possui os seguintes tópicos:
- Avaliação de questão por questão (compreensão do enunciado, terminologia, compreensão do objetivo da questão, problemas de memória, formato da questão, opções de respostas, constrangimento, desconhecimento do assunto, entendimento do tema, etc.).
- Módulos temáticos (grau de dificuldade e de interesse pela temática);
- Atitudes frente à entrevista (receptividade, comportamento quanto à duração da entrevista);
- Situação de entrevista (presença de outras pessoas e local de entrevista);
3) Entrevistas Cognitivas – É um instrumento para se avaliar as quatro etapas do processo de compreensão da pergunta e produção da resposta:
- O entendimento do enunciado,
- Retrieval (busca de informações na memória),
- Julgamento,
- Edição da resposta.
O objetivo não é o de uma entrevista em profundidade, mas de investigar um tema para se formular melhor uma questão ou opções de resposta. Exemplo de uma questão cognitiva na questão de raça e cor: O que você entende por pardo? Você poderia dar o exemplo de uma pessoa parda no Brasil? Para você há diferença entre moreno e pardo? Para as questões de terminologia as entrevistas cognitivas são fundamentais.
No que diz respeito à condução da entrevista, a questão do treinamento merece destaque. O que é um bom treinamento? O entrevistador deve ser treinado a não aceitar respostas confusas, ambíguas, incompletas, que não atendam aos objetivos da questão, e a conduzir a entrevista a produzir dados claros e completos, especialmente no caso de perguntas abertas, que podem se transformar em complicadores ao invés de ajudar.
O fundamental, por exemplo, é que cada questão aberta deva ser acompanhada de pelo menos um probe (o que mais voce poderia acrescentar? Voce poderia me falar um pouco mais sobre isso? O que voce quer dizer com isso? Voce poderia dar um exemplo?).
O uso efetivo do probe requer do entrevistado o conhecimento dos objetivos das questões e a capacidade de ouvir atentamente o que o entrevistado diz, para decidir se a resposta dada atende aos objetivos da questão (p. 253).
Um exemplo claro está no uso do Probe (o que você acha?) diante de respostas “não sei”, pois isso ajuda a evitar o “falso negativo”, ou seja, pessoas que têm uma opinião e usam o “não sei como saída fácil para a questão.
Ainda uma questão importante diz respeito aos possíveis experimentos utilizados após a pesquisa. Três se destacam:
o primeiro tipo de experimento, que testa o uso de terminologias alternativas, se refere à questão do significado pretendido pelo pesquisador versus a interpretação feita pelo entrevistado. O segundo tipo de experimento testa o uso da opção “não sei”, e se refere á produção de falsos positivos versus falsos negativos; enquanto o terceiro tipo de experimento testa efeitos relacionados ao modo de coleta do dado, com o uso da entrevista face-a-face ou do questionário auto-aplicado (p. 255).
