L'expert peut être amené à interroger plusieurs personnes à la fois, à la demande de la personnes contactée initialement. À défaut de justification explicite des choix par les documents stratégiques, l'évaluation doit répondre à une série de questions : Faute d'envisager ces questions, l'évaluation va présenter le programme ou la stratégie avec une pertinence et une cohérence qui est plus formelle que réelle. Une connaissance préalable du contexte de l'évaluation et des enjeux du programme pour les bénéficiaires. Par exemple, le tableau suivant présente une sélection d'indicateurs comparables internationalement. Get Animate as part of Adobe Creative Cloud for just US$20.99/mo. Etape 1: identifier les moments de décision. Les objectifs propres (ou effets) des programmes et projets exécutés durant la période soumise à évaluation doivent alors être inclus dans l'analyse des objectifs. Les problèmes prioritaires et de contexte sont souvent confondus, ce qui rend la construction du diagramme difficile. Les diagrammes apparaissent-ils cohérents ? Le choix des outils aidera-t-il à formuler le jugement d'ensemble ? Le jugement a-t-il été soumis pour validation à un panel d'officiels de la Commission et d'experts indépendants ? Toutefois, leur usage en évaluation pays n'est pas totalement exclu, lorsqu'elles ont une portée générale. Le diagramme permet-il de juger la pertinence de la stratégie et de la programmation, la qualité du partenariat, les 3C, etc. Quelles sont les tâches et compétences nécessaires ? Plusieurs phases pour structurer la grille. des objectifs d'un certain rang se rattachant à un objectif situé deux rang au dessus. au respect des rendez-vous et des horaires, notions qui ne sont pas appréhendées de la même façon dans tous les pays. Les correspondances et notes internes ou entre services, produites au cours de l'élaboration des documents, peuvent fournir des précisions et explications sur les choix de priorité et de programmation. Les types de questions en questionnaire fermé. les interactions entre objectifs de même rang et des boucles de rétroaction (les effets devenant des causes et inversement) ne sont pas représentées. De ce fait, l'évaluation est amenée à prendre en compte et à structurer le système des effets liés au programme ou à la stratégie à évaluer. La question de la structuration de la méthode concerne l'argumentaire, la place de l'étude, la conception générale, les sources d'information. Cet outil permet de répondre au plus près aux questions d'évaluation, en choisissant les cas les plus adaptés aux besoins demandés. Il est préférable d'indiquer en italique les recommandations à l'animateur (et notamment ce qu'il doit particulièrement veiller à collecter). A la différence de l'analyse coût-avantages, l'analyse coût-efficacité ne comporte donc pas d'évaluation monétaire des résultats. Une identification valable pour tous les types d'évaluation ne peut être que générale. De plus, il est le garant d'une discussion centrée et pertinente entre les participants. Parmi les instruments utilisés pour réaliser ces bilans de pays, un cadre d'indicateurs communs a été proposé. Le choix des outils d'évaluation dépend de tâches à réaliser et du contexte : degré de complexité de l'intervention, niveau de l'expertise disponible, nature de l'information recherchée et disponible, multiplicité des interlocuteurs, etc. comment l'impliquer davantage si nécessaire ? requises pour le construire, notamment s'il s'agit non de la simple mise en diagramme des problèmes présentés dans les documents, mais d'établir le diagramme des problèmes sur lequel aurait dû se fonder la construction du diagramme des objectifs et donc la stratégie. Cela tient, par exemple, à ce que les relations entre problèmes ou causes dépendent de facteurs nombreux et parfois mal connus. Le plan du rapport d'étude de cas et sa forme (feuille de style notamment), y compris le mode de présentation des résultats et le contenu des annexes. L'évaluateur doit savoir identifier les points clés durant la réalisation de l'étude de cas et les approfondit, quitte à sortir du plan prévu. Le diagramme des décisions décrit le processus par lequel les objectifs stratégiques ou politiques généraux de l'Union Européenne en matière de coopération avec les pays tiers donnent lieu à des décisions de coopération bilatérale à moyen terme et à court terme. des variantes d'un aménagement (ex : choix de la localisation d'un port, du tracé d'une route, etc.). Le système des objectifs représente l'ensemble des objectifs de tous rangs et des liens les unissant. Cette étape consiste en la lecture de documents plus spécialisés, par thèmes ou par discipline. La principale erreur à éviter en matière d'étude de cas en évaluation est d'affirmer sans preuve. La première réunion du panel doit conduire les experts à une parfaite compréhension de leur rôle dans l'évaluation. Il est en effet d'usage de disposer l'ensemble des causes et celui des conséquences en prenant le problème principal comme axe virtuel, les causes étant disposées dans la partie basse du diagramme et les conséquences dans la partie haute. Le choix entre ces méthodes dépend de l'objectif que l'on donne à ces entretiens de groupe. Pour définir un indicateur de contexte il suffirait de reformuler cette définition sous la forme : C'est précisément dans le domaine des indicateurs de contexte que l'usage des indicateurs a pris son essor. Il en résulte que la grande majorité des documents utiles (la totalité des documents de base) sont disponibles à Bruxelles. De ce fait, les acteurs impliqués dans le processus ont une bonne visibilité de la démarche et des choix opérés successivement. L'analyse culturelle et sociale s'intéresse non seulement aux structures de base mais aussi aux facteurs d'introduction du changement dans les sociétés, que ceux-ci aient une origine endogène ou exogène. Tous les experts identifiés sont d'abord contactés par courrier électronique. Il conviendra donc de limiter ces analyses à la comparaison d'actions simples et à partir de critères limités. Elle est expressément requise pour le traitement des données de l'Enquête par questionnaire. Ensuite un budget par étude de cas est à prévoir d'au moins de 5000 à 7 000 €, hors coût de transport longue distance, et s'il n'y a pas d'enquête. Les références scientifiques de chacune de ces "familles" d'entretien de groupe sont différentes. Ce groupe, constitué spécialement pour l'évaluation selon des procédures standard, suit une méthode de travail précise et réplicable, pour tenir ses réunions et produire son jugement. Des comparaisons sont-elles possibles dans l'espace (inter pays ou inter régions) et dans le temps grâce à ces indicateurs ? Grouper les questions ayant trait à un même sujet. L'évaluateur doit également s'assurer que ces informations sont exploitées au maximum, notamment en cas de divergence d'avis entre des personnes rencontrées. Le recours au panel d'experts a-t-il été justifié ? l'organisation du panel et le rôle de chacun dans le panel. L'analyse SWOT a-t-elle permis de répondre aux questions prévues ? Prévalence du SIDA chez les femmes enceintes de 15 à 24 ans, 6. Il n'y a pas de nombre d'études de cas minimum, toutefois plus il est élevé plus il permet à la fois une analyse détaillée et une généralisation. Cette sélection fait partie intégrante du processus évaluatif et se précise au fur et à mesure que se dégagent les premières hypothèses. C'est aussi le cas lorsqu'en apportant un angle d'analyse différent, un outil permet de conforter ou de nuancer les conclusions auxquelles un autre outil a permis d'arriver. Dans ce dernier cas, une attention particulière doit être portée au fait qu'il n'y ait pas de note 0 donnée à un critère si la méthode du produit pondéré a été adoptée. Le facilitateur doit donc s'assurer que les membres du " groupe " ont tous bien compris le contenu de chacune des actions à comparer. La toile d'araignée. est également indispensable à ce stade. Design and methods. On doit en principe construire autant de diagrammes que de documents stratégiques produits au cours de la période d'évaluation. Un animateur de groupe ou un facilitateur compétent. Trois enquêtes : Les 2 derniers focus group ont été organisés en complément des résultats des 2 focus groups de bénéficiaires et de ceux des questionnaires. effets attendus de l'aide que prévoit le CSP. Elles sont très limitées pour la collecte des indicateurs, car il s'agit de données disponibles sur Internet et le plus souvent gratuites. à quel coût le programme permet-il d'augmenter de 1 % la proportion de population alphabétisée ? Le processus itératif commencé lors de la phase de collecte s'est-il poursuivi pendant la phase d'analyse pour aboutir à une chaîne de preuves ? L'exemple le plus connu d'utilisation des coefficients est celui de l'évaluation des élèves durant leur cursus scolaire. …). C'est la personne qui maîtrise parfaitement l'usage des logiciels nécessaires à la conduite de certaines analyses multicritères. Dans la mesure où un programme se donne des objectifs visant à résoudre un certain nombre de problèmes affectant les bénéficiaires potentiels (individuels ou collectifs), il apparaît utile que l'évaluation se préoccupe de la validité de l'analyse qui en a été faite. Dans la mesure où un programme se donne des objectifs visant à résoudre un certain nombre de problèmes, il est utile que l'évaluation valide l'analyse qui en a été faite. La phase de structuration requiert que soient analysés les objectifs et qu'en soient déduits les effets attendus. ... Présentation du cadre d'évaluation des apprentissages - Duration: 9:32. ils permettent de définir les thèmes des questions d'évaluation, ils présentent de manière très pédagogique les forces et faiblesses du système des objectifs à atteindre ou des effets attenduss. La description détaillée des phénomènes observés sera recherchée pour apporter du concret à l'évaluation. Si l'outil est utilisé pour l'évaluation de la stratégie, le champ se rapporte alors au système d'objectifs de la stratégie à évaluer. Muller P. et Y. Surel. " La phase de collecte comprend un test d'hypothèses préétablies qui nécessite de modifier en partie le contenu de l'étude au fur et à mesure de son avancement. Les questions posées et les réponses proposées étaient-elles claires et simples ? Les documents rassemblant les réactions du gouvernement partenaire aux projets explicitent parfois les priorités gouvernementales. identifier ceux qui auront été effectivement bénéficiaires de la politique mise en place. La plupart du temps, elle comporte: Il existe de nombreuses autres sources d'information possibles dans les études de cas, créées ou non par l'évaluateur. Il lui faut ensuite analyser les stratégies et logiques déployées par les différents groupes d'acteurs vis-à-vis de la politique évaluée. Dans une évaluation pays, cette question est cruciale. (0 comments). Ceux-ci sont souvent orientés vers les domaines : Les indicateurs de contexte doivent également permettre de caractériser l'aide au pays concerné, c'est-à-dire : Les indicateurs de contexte peuvent également être utilisés pour répondre à certaines questions d'évaluation qui nécessitent d'un exposé préliminaire pour permettre au lecteur de comprendre une situation. Demande un temps de réalisation qui excède la durée moyenne d'une mission d'évaluation, Questions à choix multiples (QCM) et réponse unique, La différence entre les réponses doit être très claire, Traitement statistique difficile. L'analyse coût-efficacité constitue dans ce cas une première étape de l'analyse multicritère. Le panel d'experts est un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par l'objet à évaluer. Pour animer une réunion et pour faire participer chacun, l’animateur doit avoir des outils et des techniques. qui ont une vision assez globale de la politique, de ses objectifs et de ses effets. C'est ce qu'il convient d'examiner sous la rubrique des mutations. Les justifications apportées dans les raisonnements sont-elles suffisantes pour garantir la reproduction possible de ces raisonnements ? Elle permet en effet d'apprécier la capacité qu'a la structure sociale d'absorber et de valoriser les changements induits par les stratégies de développement. Le président a également pour rôle de s'assurer que les ressources disponibles sont suffisantes et qu'elles sont bien employées tout au long du travail du panel. Dans ce dernier contexte, il est particulièrement recommandé d'utiliser l'outil après avoir identifié une vraie valeur ajoutée de son usage dans ce cas précis (ex : études de cas dans plusieurs pays pour l'évaluation d'une stratégie régionale). (a) : relativement aux objectifs généraux de l'Union européenne et de la Commission européenne, (b) : relativement aux besoins et/ou demandes du(des) bénéficiaire(s), le choix des réalisations, résultats, impacts secondaires. Sa conception est-elle vraiment itérative et est-il prévu de valider - invalider les interprétations alternatives ? positions des Etats membres sur l'intervention de la Commission Européenne. Les éventuels conflits d'intérêt des experts avec le programme étudié doivent être systématiquement abordés, débattus et tranchés lors de cette réunion. Les opportunités et les menaces sont les éléments externes qui s'imposent au pays et qu'il ne peut donc pas changer (ex : barrières douanières, sécheresse). Les critères ne sont pas par ailleurs redondants, même si une relation existe probablement entre le salaire demandé et le niveau d'expérience. Ces remarques seront importantes pour contextualiser a posteriori les propos tenus. Critères environnementaux : sensibilité à la pollution des sites de stockage, contrôle des émissions de fumées, surface nécessaire au projet, etc. La liste des documents consultés pour établir les diagrammes est-elle complète ? Les ressources (experts, budget, temps) mobilisables pour la mise en œuvre des outils sont-elles judicieusement utilisées ? Leur forme est plutôt dichotomique. (ex : action classée première dans une grille et dernière dans l'autre en changeant juste une échelle sur un paramètre). Cette phase qui peut commencer avant la phase de terrain par la collecte bibliographique ou quelques rencontres préliminaires, est surtout capitale lors du déplacement effectif de l'évaluateur sur le terrain. Au stade de la planification, l'ambition poursuivie par l'aide est à l'heure actuelle plus couramment exprimée en objectifs. En plus du temps de travail et des frais de déplacement du ou des évaluateurs, il est nécessaire de prévoir : Certains évaluateurs rémunèrent les participants à des focus group, en leur accordant par exemple des per diem en plus de la prise en charge des frais de déplacement et de restauration. Il est donc nécessaire d'avoir recours à un relais local pour assurer l'organisation d'un focus group - le temps d'une mission d'évaluation étant déjà bien rempli. Il est souvent utile de mobiliser des personnes ressources pour aider l'évaluateur à sélectionner les participants et identifier les leaders du futur groupe. assister les participants dans la reconstitution du cadre logique du projet ou du programme étudié. Cerner le sujet d'investigation et cibler le questionnaire de façon précise.