La vidéo au service de l’évaluation

L’atelier 2 modéré par Claude Hilfiker (GREVAL) a abordé la question de l’usage de la vidéo dans le cadre d’une évaluation.

Premier intervenant, Michael Debétaz, conseiller en data science, en évaluation et en stratégie numérique, a présenté l’usage de la vidéo dans le contexte institutionnel de la Cour des comptes du canton de Genève. Son mandat consiste à accompagner la Cour dans le développement et la modernisation de sa stratégie de communication numérique, afin de mieux valoriser ses travaux auprès des citoyens.

Le second intervenant, François Grunewald, directeur en charge de la veille et prospective au sein du groupe URD (Urgence Réhabilitation Développement), un think-tank indépendant spécialisé dans l’analyse des pratiques et le développement de politiques pour l’action humanitaire et la gestion des fragilités¹, a partagé son expérience de plusieurs années dans l’usage de la vidéo pour donner de la voix aux bénéficiaires dans le cadre d’évaluations d’actions humanitaires.

Les deux présentations ont traité des avantages et des défis de la vidéo et de la manière dont elle contribue à la participation en évaluation.

Michael Debétaz a présenté la vidéo comme un outil de communication accessible pour des audiences peu intéressées par les supports traditionnels, comme les rapports publiés en ligne, parfois (très) lourds.

En publiant une vidéo sur un réseau social, le format est non seulement transformé, mais l’internaute peut également devenir une agente ou un agent de participation, en « likant », en partageant ou en commentant le contenu en ligne, contribuant ainsi à la diffusion du contenu. C’est le pari qu’a pris la Cour des comptes du canton de Genève en 2018. Sur son site², les publications classiques (synthèses, rapports, communiqués de presse) sont désormais accompagnées de capsules vidéo YouTube de 3–4 minutes. Pour l’institution de contrôle, le but est de mieux sensibiliser les citoyennes et citoyens genevois à son existence, ainsi qu’aux enjeux pouvant les concerner.

Ces deux objectifs (notoriété et communication) représentent un investissement important, d’où l’intérêt de toujours se poser la question : l’usage de la vidéo est-il raisonnable dans mon cas ?

Pour y répondre, il est important de formuler le problème que l’on souhaite résoudre par la vidéo (par exemple, accroître le nombre de citoyennes et citoyens exposés au contenu). Il est possible de chercher des éléments de réponse (dans la littérature ou en testant par soi-même) ; il s’avère que les études plaidant en faveur de la vidéo à des fins de communication sont nombreuses. Il faut ensuite s’interroger sur les ressources disponibles. De façon générale, le coût d’une vidéo ne vient pas tant de l’outil : des logiciels gratuits et performants sont disponibles sur la toile et les smartphones actuels offrent une qualité d’image suffisante pour le web, mais plutôt du temps que l’on peut ou veut y consacrer. Ce coût est évidemment plus important au début, lorsqu’on ne maîtrise pas les étapes de production d’une vidéo : l’écriture, le tournage, le traitement, la diffusion et la promotion.

Une fois le projet lancé, il est important d’évaluer sa performance en choisissant les métriques pertinentes (les plateformes de partage en offrent plusieurs). Osez vous tromper : capter l’attention et fidéliser un public relève de l’art plus que de la science, concluait à ce propos Michael Debétaz.

François Grunewald est un homme de terrain qui travaille dans des situations parfois urgentes, toujours complexes, dans le domaine de l’humanitaire et de l’aide au développement. Comprendre la complexité et s’en faire une amie, tel est le slogan du groupe URD lorsqu’il s’agit de mener des évaluations dans ces contextes difficiles. C’est cette complexité, expliquait-il, qui l’a amené il y a plusieurs années à utiliser la vidéo, d’une part comme outil de recueil de données (lors d’entrevues, groupes de discussion, témoignages), et d’autre part comme moyen de communiquer les résultats d’une évaluation aux mandants mais aussi aux bénéficiaires des projets évalués.

La frustration, liée au constat que trop souvent les rapports d’évaluation étaient soit peu utilisés soit mal résumés, car jugés trop longs par les organisations mandantes, a poussé François Grunewald à changer sa manière de communiquer les résultats en proposant des vidéos en format « documentaire » d’une trentaine de minutes. Dans le même temps, la question de l’évaluation participative s’est posée lorsqu’il a réalisé à quel point les spécialistes en collecte de données se retrouvaient toujours plus déconnectés du terrain sans moyen de contextualiser les quantités de data amassées. La caméra a ainsi su trouver sa place pour donner de la réalité à ces données.

François Grunewald a identifié quatre groupes de défis majeurs qui se posent avec l’utilisation de la vidéo en évaluation :

• Les défis technologiques : être à jour et disposer d’un matériel efficace ;
• Les défis sécuritaires : vérifier que l’on dispose des bonnes autorisations (surtout en cas de conflits armés) ;
• Les défis d’acceptation : adopter une posture d’humilité rassurante et dialoguer avec les parties ;
• Les défis financiers : le format documentaire est coûteux.

Il a illustré ses propos d’extraits d’une vidéo réalisée par le groupe URD en partenariat avec le Global Public Policy Institute à Haïti en 2010, trois mois après le séisme qui a ravagé l’île³. Durant une vingtaine de minutes, on y voit des images de réalisations (campements, etc.), de groupes de travail et d’interviews de différentes actrices et acteurs (élu-e-s, habitant-e-s, ONG, etc.) qui analysent, trois mois après la catastrophe, l’impact de la réponse internationale apportée pour aider les Haïtiennes et Haïtiens. Les vidéos de ce type d’évaluation « en temps réel », sont diffusées très rapidement, expliquait François Grunewald, par exemple lors de colloques internationaux, afin de faire réagir plus intensément les mandants et les États participant à l’aide humanitaire en faisant entrer les Haïtiennes et les Haïtiens dans la salle. Le film a par la suite été projeté en Haïti pour recueillir des feedbacks et relancer les discussions au sein de la population touchée.

Le retour sur le terrain est important pour François Grunewald. Il permet d’assurer un suivi et parfois de faire prendre conscience du besoin de poursuivre une évaluation. Le problème, notait-il encore, c’est que très peu d’organisations mandantes sont intéressées à financier ces retours sur le terrain.

La première présentation relevait l’existence de métriques vidéo à prendre en compte pour comprendre les préférences du public. Le nombre de vues en est une parmi d’autres, expliquait Michael Debétaz. Mais les vues ne suffisent pas pour informer de l’efficacité d’une stratégie de communication, car encore faut-il que la vidéo ait été visionnée sur une durée suffisante. Sur Facebook, une vue est valable après 3 secondes de visionnement, sur YouTube 30 secondes. Il existe d’autres indicateurs, comme les « likes », le nombre de commentaires, les données démographiques, etc. Toutes ces informations doivent être analysées pour permettre, le cas échéant, de réajuster la stratégie de communication.

Avoir des leviers de partage est important, notait une participante de l’atelier. Pourtant, ce n’est pas évident, selon les contextes, de toucher des publics qui, parfois, ne s’identifient pas eux-mêmes comme tels. Par exemple, des proches aidants ne se perçoivent pas toujours comme assumant cette fonction. Pour capter ce public, il faut passer par des canaux intermédiaires (soins de proximité, assistants sociaux, etc.) qui diffuseront ensuite plus loin aux bonnes personnes. En utilisant aussi des groupes WhatsApp, précisait encore cette même participante, elle a pu atteindre les personnes qu’elle ciblait.

La projection du film réalisé par le groupe URD avec les bénéficiaires du projet d’aide humanitaire en Haïti a soulevé plusieurs réactions chez les participantes et les participants à l’atelier. Pour l’un d’eux, ce qui lui semblait très important à retenir est le potentiel de débat qu’une telle projection peut susciter. Le retour par la vidéo peut permettre de remettre en route un processus d’évaluation (par exemple sur les impacts après quelques mois). C’est donc un moyen d’éviter qu’une évaluation ne « meure » avec la remise du rapport d’évaluation.

François Grunewald nomme ce type d’évaluation participative, évaluation itérative avec mini-séminaires, où la dynamique de dialogue permet souvent de confronter l’évaluatrice ou l’évaluateur à la pertinence de ses conclusions ou recommandations, et parfois de poursuivre un travail d’évaluation.

De l’avis d’une autre participante à l’atelier, une évaluatrice ou un évaluateur ne devrait pas se lancer dans une telle démarche si cela n’est pas formellement stipulé dans son mandat. En effet, lorsque les résultats d’une évaluation sont présentés à une population de bénéficiaires (en format vidéo ou non), et que le débat est encouragé, cela risque de créer des attentes pouvant mettre l’évaluatrice ou l’évaluateur dans une position délicate. Il est donc important que les rôles soient dès le départ bien définis et contractualisés entre l’organisation mandante et la ou le mandataire et que les modalités de suivi soient précisées. S’agit-il d’une évaluation « one shot » ou un suivi est-il attendu ?

Reinhard Zweidler, expert en évaluation et enseignant HES, qui participait à l’atelier, a souhaité revenir sur un aspect qui a brièvement été mentionné dans les présentations, à savoir le droit à l’image et le consentement. Dans un livre qu’il a co-écrit avec Bruno Sternath⁴, il avait notamment examiné si l’usage de la vidéo entrait en contradiction avec les standards SEVAL de l’époque et les normes en matière de protection des données. Il concluait à la nécessité d’obtenir le consentement de chaque personne filmée, dans un document qui doit préciser clairement le but de la prise d’image et l’utilisation qui en sera faite. Selon les contextes, un tel consentement peut s’avérer impossible à obtenir et donc compromettre l’utilisation de la vidéo.

Toujours en matière de cadre légal se pose la question des droits d’auteurs et de publication d’une vidéo. Ces éléments devraient toujours être fixés dans le mandat, rappelle un participant.

Tout comme la rédaction d’un rapport d’évaluation ou d’une synthèse, la réalisation d’une vidéo implique de faire des choix. La vidéo, notait un participant, n’est donc pas épargnée par le dilemme bien connu de la représentativité des résultats. L’instrumentalisation de l’image par une actrice ou un acteur interrogé ou par l’évaluatrice ou l’évaluateur lui-même relève tout autant de ces enjeux.

La participation, thématique choisie pour ce 24^ème Congrès de la SEVAL, est une notion qui peut s’appliquer de bien des manières et à différentes étapes d’une évaluation. La vidéo en tant qu’outil de visioconférence, de collecte des données ou de valorisation des résultats peut la faciliter. Encore faut-il se poser les bonnes questions et considérer les enjeux nombreux qu’elle soulève.

Sophie Ruchat, conseillère à l’évaluation à la HES-SO Haute école spécialisée de Suisse occidentale, sophie.ruchat@hes-so.ch.