Evaluation d'un programme de prévention, de promotion de la santé

Pour qui évaluer?

Lorsque l'on est acteur de prévention, d'éducation à la santé ou de promotion de la santé, on se pose inévitablement la question:

« Je me demande si mon programme sert vraiment à quelque chose... »

La réponse apportée par tous les manuels du bon acteur de prévention est« il faut évaluer». En pratique, bien peu de programmes sont évalués, et il règne autour de ce terme une sorte de malaise: tout le monde en parle sans savoir exactement ce que cela signifie, ni comment on fait.

Les financeurs n'en savent généralement pas beaucoup plus que les acteurs de terrains, et se demandent fatalement régulièrement: « Ai-je raison de financer ce programme? ».

Du côté des financeurs - Motivations économiques

En période de restriction budgétaire, il faut se débrouiller pour financer les programmes les plus « rentables ». Démarche qui éveille naturellement la plus grande hostilité parmi les acteurs de santé qui pensent qu'on ne peut traiter le secteur prévention/santé publique comme le secteur de l'entreprise privée.

D'un autre côté, on peut comprendre qu'on ne peut laisser la santé et le social fonctionner sans se soucier des résultats, ou au moins de la bonne utilisation des moyens dont ils disposent.

Deux attitudes sont alors possibles:

Résister et camper sur des positions idéologiques du type: «la santé n'a pas de prix», « travailler avec l'humain n'est pas évaluable »

Adopter une démarche pragmatique, en s'emparant de la question de l'évaluation comme d'un outil de travail et en participant à la définition des critères d'évaluation, plutôt que de se les voir imposer.

Du côté des bénéficiaires

Dans l'évaluation, il faut tenir compte du fait que chacun des acteurs concernés - même en accord sur la nécessité de l'évaluation - n'a pas forcément les mêmes attentes.

Les acteurs

Les Questions

Les préoccupations

Décideurs

santé

Le programme est-il efficace?

Constater une amélioration de l'état

publique, financeurs

de santé d'une population. Bonne

utilisation des crédits.

Gestionnaires

quoi

sert

que

l'on

fait?

Etre

réellement

utiles,

mieux

programmes, intervenants

Comment adapter nos interventions

s'organiser pour être plus efficaces

aux attentes du public ?Comment

(pertinents),

faire

savoir,

améliorer

notre

convaincre.

programme ?Comment

rendre

compte de nos actions?

Population concernée

Au niveau individuel

Qu'est ce que ça m'apporte?

Trouver une solution à ses

problèmes

Au niveau collectif

Qu'est ce que ça nous a

Voir la situation de la population

apporté?

présente s'améliorer

Répondre à toutes ces préoccupations est certainement impossible, mais on peut essayer de tenir compte des différents points de vue, en associant par exemple des représentants des décideurs et de la population à la définition de l'évaluation.

l'évaluation: à quoi ça sert ?

Pour produire des connaissances

C'est sortir d'une approche trop subjective ou approximative, fondée sur des perceptions et des expériences individuelles: c'est mettre en place, et assurer régulièrement un recueil de données répondant à des règles précises.

Les connaissances produites concernent généralement deux aspects de l'évaluation

Evaluation des résultats

Les résultats sont comparés aux objectifs attendus ou aux résultats obtenus à deux temps différents (avant/après, groupes ayant bénéficié de l'action et groupes n'en ayant pas bénéficié etc.) avec le même public ou lors d'une action comparable avec un autre public ou en comparaison avec un groupe qui n'a pas bénéficié de l'action. Il s'agit d'une mesure d'écart ou d'une mesure de changement. Cet écart peut être d'ordre quantitatif ou qualitatif.

Evaluation du processus

Les étapes se sont-elles déroulées comme prévu? Peut-on relier les résultats obtenus, qu'ils soient satisfaisants ou pas, à des éléments particuliers du programme? Que dire de la stratégie utilisée?

Pour prendre des décisions

But ultime de l'évaluation. Connaître les résultats d'un programme n'a de sens que si l'on en tire des recommandations et si des décisions sont prises quant à l'avenir de ce programme.

Comment utiliser l'évaluation?

Rappel:

On peut globalement différencier deux types d'évaluation

-+ L'évaluation des résultats: qui cherche à établir dans quelle mesure les objectifs du programme sont atteints, et si le programme a entraîné des effets non attendus par exemple

-+ L'évaluation du processus, c'est-à-dire la stratégie, des activités du calendrier, de l'utilisation des moyens humains, techniques et matériels. Elle s'intéresse également aux liens qui existent entre différents éléments du programme et les résultats produits.

Il est impossible de recueillir tout ce qu'il se passe au cours d'un programme où d'une action. Il est nécessaire de choisir des éléments que l'on va recueillir. Cela repose sur une OBLIGATION ABSOLUE: avoir des objectifs clairs, concis, précis. Cela permet de:

Définir des critères qui permettront de décrire l'atteinte des objectifs

Chacun des critères sera traduit en indicateurs qui pourront s'exprimer en terme de présence ou

d'absence, sous la forme d'un nombre ou d'un taux.

On peut appeler objectifs spécifiques ou intermédiaires ce qu'on appelle critères. L'essentiel est de bien décomposer l'objectif principal, en étapes ou états intermédiaires.

Si l'on prend l'exemple de la prévention sida. Un des objectifs est formulé de la façon suivante: Développer des attitudes favorisant un comportement adapté aux risques de contamination par le VIH.

Critères

Indicateurs

Avoir

bon

niveau

connaissance

sur

d'élèves

connaissances

les

modes

l'infection à VIH

transmission

Sur les risques de transmission

% d'élèves connaissant les moyens de protection

Moyens de protection

% d'élèves sachant où et comment se faire

Sur l'accès au dépistage

dépister

% d'élèves régulièrement informés

Savoir évaluer sa situation personnelle face au

% d'élèves sûrs de leur statut sérologique.

risque

% d'élèves capables d'identifier les situations qui

Sérologie

peuvent rendre plus vulnérable face au risque.

Vu 1 nérabil ités/contextes/facteu rs

% d'élèves pouvant citer les différents types de

facteurs de vulnérabilité

Avoir un comportement adapté au risque

% d'élèves déclarant avoir des rapports protégés

Recours aux moyens de protection

d'élèves

déclarant

savoir

utiliser

les

Compétences

psychosociales

préservatifs

(expression/communication etc.)

% d'élèves se déclarant capables de parler de

rapports protégés avec leur partenaire

nombre de préservatifs diffusés au cours du

programme

Tous les indicateurs ne sont pas forcément accessibles ou d'un égal intérêt. Il faut trier, et retenir ceux qui ne posent pas trop de problèmes à documenter. Rappelons nous que la plupart des comportements que nous souhaitons voir acquérir ou modifier sont rarement directement observables.

Une fois les indicateurs choisis, ils serviront à la construction d'un recueil de données sous la forme d'un questionnaire. Certains sont des indicateurs directs par rapport à l'objectif.

D'autres indicateurs sont indirects: comme le nombre de préservatifs distribués... rien ne dit qu'ils seront utilisés, mais ils donnent quand même des indications non négligeables.

Quels outils pour en savoir plus sur les destinataires du programme?

Enquêtes quantitatives

S'adressent en général à un grand nombre de personnes et visent à découvrir dans une population donnée la fréquence des comportements, attitudes, savoirs, représentations ou croyances que l'on a préalablement définis.

Enquêtes qualitatives

Démarche plus exploratoire. Elles sont souvent utilisées pour découvrir les raisons d'un choix, ou d'un comportement dans une population donnée, pour étudier les représentations, les parcours de vie.

Ne nécessitent pas énormément de monde.

Focus Groupes

Il s'agit de réunir de petits groupes de personnes représentatifs de la population visée, et les faire s'exprimer sur le sujet choisi L'objectif est de recueillir un maximum d'informations sur les sentiments et les opinions des participants, en encourageant l'expression individuelle. Cette technique peut s'utiliser aussi bien pour analyser les effets d'un programme que pour faire un état des lieux préalable à la définition d'un projet.

Groupes de parole

Un groupe de parole sur la santé, s'organise autour de deux hypothèses liées l'une à l'autre: formulation de questions relatives à la santé permet une expression des perceptions, représentations et affects. Leur approfondissement rend possible un travail d'élaboration psychique.

Cet approfondissement est rendu possible par le cadre du groupe de parole. , qui autorise l'échangeavec les autres et la réflexion personnelle.

Même règles que pour les focus groupes, mais le groupe de parole s'utilise comme un mode d'intervention à part entière, avec plusieurs séances de travail pour les mêmes participants.

Le questionnaire

Construction délicate (choix des thèmes et des questions, formulation des questions, type de questions....

Les interviews

Idem que pour le questionnaire, mais préférable si la population est plus mouvante, et que l'organisation du retour des questionnaires est problématique. Le public visé n'est pas à l'aise avec l'écrit, l'enquête est plus qualitative et comprend de nombreuses questions ouvertes, l'enquêteur peut alors obtenir des précisions pour éviter les réponses trop vagues.

Les échelles de perception

Méthode qui propose à la personne d'évaluer elle-même sa situation et de se situer sur une échelle prédéfinie. On n'essaye plus ici de vérifier avec l'œil du spécialiste des connaissances, des attitudes ou des comportements, on laisse la personne seul juge. Au lieu de lui demander par exemple si elle connaît les modes de transmission du VIH, on lui demandera si elle se sent suffisamment informée des risques de transmission ou si elle se considère en danger.