O Proerd (Programa de Resistência às Drogas e Violência) é o programa escolar de prevenção ao uso de drogas e violência de maior capilaridade no Brasil. Este programa foi avaliado em 2019 por pesquisadores da Universidade Federal de São Paulo (UNIFESP) visando verificar seu efeito, o material utilizado e a adequação da implementação, nos currículos de 5º e 7º anos. Este foi o primeiro estudo de efetividade do novo currículo do Proerd (“Caindo na Real”). É louvável que a Polícia Militar do Estado de São Paulo tenha feito parceria com cientistas para o desenvolvimento de estudo avaliativo visando aprimoramento. As notas a seguir buscam prestar esclarecimentos e integrar os resultados do estudo com os mais recentes achados em Ciência da Prevenção.
Qual o conteúdo e a metodologia atual do Proerd?
Desde 2014 o Proerd implementa o programa “Caindo na Real”, que é baseado no programa norte-americano Keepin’ it REAL (KIR). São aplicadas 10 lições que trabalham temas como habilidade de tomada de decisão, comunicação assertiva, resistência à pressão dos pares e enfrentamento de conflitos. A maior parte das atividades do currículo “Caindo na Real” são muito semelhantes àquelas recomendadas pelas diretrizes internacionais de prevenção revisadas pelas Nações Unidas (UNODC, United Nation Office for Drugs and Crimes) em 2018.
O que é o Keepin’ it Real (KIR) e quais os seus efeitos?
O KIR é um programa de prevenção ao uso de drogas que busca desenvolver habilidades de vida fundamentais para o aprimoramento emocional e relacional do jovem. Existem diversos estudos avaliativos dos efeitos de versões adaptadas do KIR realizados em países como os Estados Unidos, México e Guatemala, publicados em revistas científicas. Os resultados mostram efeitos favoráveis e consistentes nos currículos do 7º ano que foram adaptados culturalmente, reduzindo o uso de álcool e outras drogas.
A escolha do Proerd por implementar o currículo KIR foi adequada?
De acordo com dados internacionais, para o 7º ano sim, para o 5º ano não. No entanto, mesmo para o 7º ano, os resultados positivos só surgiram em outros países quando o currículo foi profundamente adaptado culturalmente para cada população através do envolvimento dos estudantes, dos instrutores e da comunidade escolar como um todo. No Brasil, este currículo não foi adaptado.
Como o Proerd foi avaliado em São Paulo?
Foram realizados dois ensaios controlados randomizados padrão-ouro para avaliar o efeito de dois currículos do Proerd entre 4.030 estudantes de 5º ano e 7º ano, em 30 escolas estaduais localizadas majoritariamente na periferia de São Paulo. Foram comparados, ao longo de 9 meses, alunos que receberam o Proerd, aplicado por policiais experientes, com aqueles que não receberam.
O estudo possui limitações?
Sim, a amostra acabou sendo composta majoritariamente por escolas estaduais da periferia de São Paulo, locais em que foram identificadas as escolas que ainda não recebiam o programa e que poderiam ser sorteadas. Esta era a única forma de garantir que não houvesse contaminação do grupo controle, isto é, que este grupo realmente não receberia o programa. Qualquer outro desenho incluiria no grupo controle escolas com Proerd, invalidando os resultados. Ao mesmo tempo, esta questão amostral não permite que extrapolemos os resultados para todas as escolas de São Paulo.
Os dados podem ser generalizados?
Nenhum ensaio controlado randomizado de programas comportamentais consegue ser generalizado. No entanto, quando os achados são integrados com outros dados decorrentes da avaliação da implementação do programa e revisão sistemática da literatura científica, como ocorreu neste estudo, é possível que se tenha as informações necessárias para respaldar os achados.
Quais foram os resultados da avaliação do programa?
Nesta amostra, o Proerd apresentou efeito neutro ou nulo para prevenção do uso de álcool e outras drogas e para o bullying nos dois currículos avaliados (5º e 7º anos), o que significa que não foram encontradas diferenças no uso de drogas e na prática e vitimização por bullying entre os estudantes que receberam o Proerd e os que não receberam. Na avaliação do currículo do 7º ano foi identificado um efeito positivo na qualidade da experiência escolar percebida pelos estudantes. Entretanto, também foram evidenciados efeitos negativos, como aumento na intenção de uso futuro de cigarro e na intenção de aceitar oferta de maconha no futuro. Foi identificado, ainda, que os adolescentes que já se embriagavam antes do estudo, tiveram até três vezes mais chances de manter essa prática quando comparados aos que não participaram do programa.
Estes resultados eram esperados?
Em parte não, já que a maioria dos resultados recentes obtidos internacionalmente pela avaliação do programa KIR sugerem redução do uso de diversas drogas por adolescentes do 7º ano. Em parte sim, já que o programa implementado no Brasil não sofreu adaptação cultural como é preconizado pelos desenvolvedores e pela ciência da prevenção de uma modo geral.
O que pode explicar estes efeitos negativos?
Após integração de dados que incluíram observação em sala de aula, entrevistas com policiais e avaliação do material foi identificado:
● Ausência de adaptação cultural como proposta pelos desenvolvedores do KIR em outros países
● Importantes falhas na implementação
● Inadequação do método e do conteúdo das atividades ao desenvolvimento educacional e cognitivo dos alunos de 5º ano, gerando incapacidade de compreensão
Há gestores questionando a qualidade da pesquisa. Como garantir que o estudo é válido e deve ser levado a sério?
Os diversos resultados deste estudo da Unifesp foram publicados nas principais revistas científicas da área de estudos de prevenção e de consumo de drogas (Prevention Science e International Journal of Drug Policy). A publicação em revistas de alta qualidade, após detalhada revisão por diversos cientistas especialistas em avaliação de programas, aponta validação científica dos achados deste estudo.
Alterar estes componentes que foram identificados como entraves poderia auxiliar na eficácia do programa?
Possivelmente. O maior problema da disseminação de qualquer programa é a manutenção da fidelidade, ou seja, garantir que o instrutor aplique os elementos-chave do programa. Esta fidelidade, se não garantida, gera efeitos negativos mesmo nos programas mais efetivos.
A implementação por policial é o problema do programa?
O desenho de nosso estudo não consegue responder a esta pergunta. Porém, nos últimos meses, a UNODC (Escritório das Nações Unidas para Drogas em Crime), em sua unidade central europeia, vem elaborando um manual para orientação de policiais que aplicam programas de prevenção em escolas de todo o mundo, com recomendações sobre o que pode ou não ser implementado por eles, expondo quais estratégias, posturas e discursos possuem efeitos negativos e quais favorecem realmente a prevenção no contexto policial. Este manual será disponibilizado internacionalmente em 2022 e não recomenda a retirada de policiais da prevenção em escolas.
Diante do que vêm sendo discutido internacionalmente pela UNODC, os pesquisadores envolvidos na avaliação do PROERD não recomendam a extinção do programa, no entanto recomendam fortemente a urgente adequação de conteúdo e da fidelidade, além de, no futuro próximo, adesão completa às orientações que serão lançadas pela UNODC e, então, posterior reavaliação de efeito.
Quais são as recomendações que a pesquisa traz?
Os achados deste estudo apontam a necessidade de uma revisão das ações do programa:
● Adaptação cultural do currículo do Keepin’ it Real (KIR) para a realidade brasileira, com adequação das situação discutidas e das diversas atividades que dependem de escrita e leitura.
● Avaliação da fidelidade de implementação e das adaptações inadequadas que têm sido realizadas em sala de aula, mesmo pelos instrutores mais experientes.
● Supervisão da implementação pelos coordenadores do programa.
● Reavaliação do programa após as adaptações. No caso de um efeito negativo recorrente ser identificado, é fundamental a substituição do currículo, como ocorreu em 2014, quando o Proerd acolheu um novo programa internacional.
A equipe do Previna-Unifesp está disponível para assessorar a Polícia Militar do Estado de São Paulo no planejamento da reestruturação do programa.