Pour juger de la cohérence et de la pertinence des systèmes d'objectifs et d'effets, l'évaluation doit répondre à une série de questions : Après avoir précisé la délimitation du champ de l'évaluation, les évaluateurs construisent un premier diagramme reflétant les objectifs énoncés dans les documents de stratégie et de programmation. Parallèlement au développement de l'outil, ses formes d'utilisation ont évolué. L'information a-t-elle été hiérarchisée et synthétisée avec les participants ? Quels usages peut-on faire de l'enquête par questionnaire en évaluation pays ? Tout donneur se doit de justifier, explicitement ou implicitement, l'aide qu'il attribue à un pays ou une région au cours d'une période donnée. L'enquête par questionnaire, en interrogeant de nombreux bénéficiaires, permet de recueillir une partie des informations portant sur la politique évaluée, à propos notamment, du degré de réalisation des programmes, de la prise en compte des besoins, des acquis et des points de blocages, etc. Son but est de traiter les données recueillies lors de la phase de terrain et de relier au maximum les effets aux causes des choses observées. Vol 5. A-t-on été capable de décrire de façon précise et rigoureuse ce que serait la situation sans l'intervention (prévue ou réalisée) ? pour étudier des sujets pour lesquels les autres outils peuvent difficilement être mis en œuvre (ex : aide budgétaire). Lorsque un outil requiert une collecte préalable d'information, sa durée, son coût et les ressources humaines nécessaires ne doivent pas être sous-estimés. des ressources financières pour une mission de terrain longue, pour le recrutement d'enquêteur et d'une équipe pour le traitement. Intercaler les questions difficiles ou délicates avec des questions plus faciles qui "détendent l'atmosphère", même si ces questions faciles n'ont qu'un but "technique", celui du bon déroulement de l'enquête. éviter les propos descriptifs en orientant les débats sur la base de connaissances partagées. Les stratégies d'intervention extérieure de la Commission Européenne sont conçues à l'issue d'un processus complexe intégrant aussi bien des éléments de contexte que des positions de parties prenantes. contrôler les "leaders" et relancer les "timides". Même avec une relation de confiance entre les évaluateurs et les services de la Commission, l'accessibilité des documents est loin d'être assurée. Get Animate as part of Adobe Creative Cloud for just US$20.99/mo. Aussi présente-t-elle une valeur pédagogique et de communication importante. Il est donc en relation permanente avec le commanditaire pour ces questions financières et techniques. Problème de la représentativité des interlocuteurs, notamment des groupes sociaux et de bénéficiaires. Que représente le diagramme des décisions? des scénarios ou des solutions potentielles dans un exercice de planification ou d'évaluation ex ante. ITDG Publishing, London. les difficultés relatives à la généralisation au niveau global (ex : un pays) de thématiques étudiées à un niveau très local. requises pour le construire, notamment s'il s'agit non de la simple mise en diagramme des problèmes présentés dans les documents, mais d'établir le diagramme des problèmes sur lequel aurait dû se fonder la construction du diagramme des objectifs et donc la stratégie. Sauf argumentation contraire, les études multisites devraient toutes être faites selon la même méthode pour permettre les comparaisons de résultats entre sites et aider ainsi à une certaine généralisation. Y a-t-il eu une information précise des membres du panel sur leur rôle et sur les règles de fonctionnement d'un panel ? Malgré les risques mathématiques, son usage permet de mieux tenir compte des extrêmes. L'expérience des évaluations, quelles soient thématiques, sectorielles ou géographiques, montre une réalité plus complexe des systèmes d'objectifs ou d'effets mis en œuvre. Le CCA est un instrument d'analyse de la situation d'un pays pour ce qui concerne son développement et l'identification des principaux problèmes de développement. Comme tous les outils aboutissant à une matrice, le reproche qui peut être fait à l'analyse SWOT est son côté réducteur et simplificateur. Ce type de diagramme rend plus fidèlement compte de la complexité d'une situation concrète. Les documents rassemblant les réactions du gouvernement partenaire aux projets explicitent parfois les priorités gouvernementales. Comme toutes les études de cas, elle se concentre toujours sur les questions comment et pourquoi. Pour pouvoir utiliser cette technique, il faut que les méthodes de collecte de données aient été standardisées au préalable. Volontairement, la méthode ne tient pas compte des autres effets de la politique ou le programme analysé, que ce soit des effets recherchés ou non. Si la construction d'un diagramme affiché n'est pas explicitement stipulée, les évaluateurs peuvent considérer le diagramme provisoire comme une étape dans la construction d'un diagramme raisonné des problèmes. Le tableau ci-dessous montre le résultat d'une analyse simple sur trois actions et trois critères notés à partir de notes comprises entre 0,05 et 1, en utilisant la somme pondérée et le produit pondéré. Grâce aux études sur plusieurs sites, ces chaînes de preuves peuvent être renforcées par la constatation de l'apparition simultanée d'effets sur plusieurs sites à la fois. L'analyse coût-efficacité a pour but d'identifier la manière la plus efficace, du point de vue économique, de réaliser un objectif préétabli. Le groupe constitué pour l'analyse était-il représentatif de tous les acteurs concernés par le projet ? Des arbitrages sont nécessaires, en s'appuyant sur les priorités de l'évaluation et en optimisant l'utilisation des ressources. La prise en considération des coûts indirects, comme par exemple les coûts des ressources humaines mobilisées pour la maîtrise d'ouvrage des programmes correspondent à la valorisation du travail des fonctionnaires en charge de la supervision et au suivi du programme ou de l'intervention. Le diagramme des décisions représente le processus de conception, la prise en compte des informations clés, l'intervention des parties prenantes et la gestion du calendrier. Les résultats et impacts attendus sont alors la conséquence de la mise en œuvre de ces deux types d'activités. L'évaluation s'organise en quatre fonctions principales, non strictement séquentielles : structuration de l'évaluation (axée sur la formulation de questions d'évaluation en vue de conduire au jugement d'ensemble, ou overall assessment), collecte de données quantitatives et qualitatives, analyse de l'information recueillie, jugement sur les questions, conduisant à la formulation des conclusions et recommandations. des données de monitoring des projets et programmes. Les stratégies pays (DSP) ne s'appuient généralement pas sur un cadre logique d'ensemble, car elles sont valables pour une longue période et sont mises en œuvre par plusieurs programmes successifs pouvant chacun d'eux s'appuyer sur un cadre logique. Leur forme est plutôt dichotomique. les résultats des investigations achevées ou en cours. La manière de conduire concrètement les études de cas diffère un peu selon les types, mais fait malgré tout référence à des standards applicables à toutes (ou presque) exposés dans la partie " comment réaliser l'étude de cas? Outre les outils informatiques qu'il faut savoir manier, les concepts ainsi que les méthodes mathématiques d'agrégation des données (voir étape 8) nécessitent un savoir-faire de haut niveau pour ne pas produire des conclusions erronées ou conduire l'analyse dans la confusion. Les résultats directs et les effets observables sont rapportés aux objectifs et aux effets attendus du programme. Une loupe à gauche du schéma permet d'expliciter les résultats du choix : Le diagramme d'ensemble en arête de poisson est ainsi complété de diagrammes détaillés correspondant à chacun des moments de choix. L'analyse coût-efficacité est essentiellement utilisée dans le cadre de l'aide à la décision des politiques et programmes publics ainsi que des investissements publics et privés. Les objectifs hiérarchisés que se donne la stratégie doivent pouvoir en être déduits. La justification du choix de l'objectif global (par rejet d'autres objectifs globaux possibles) sera examinée au regard des finalités stratégiques formulées par les institutions de l'Union Européenne (Conseil, Parlement, Commission). Les conclusions du panel sont-elles fidèlement prises en compte ? Pour être lisible, le rapport de synthèse ne pourra pas être aussi détaillé. Vous souhaitez en apprendre davantage sur cette technologie ? Si nécessaire, maîtrise d'une langue locale et des us et coutumes. Cet aspect sera particulièrement important dans le cas d'une évaluation participative. Le degré de fiabilité des indicateurs est-il apprécié ? L'analyse culturelle et sociale s'attache à dégager les éléments constitutifs des groupes sociaux, ethniques, religieux, des groupes d'intérêt et toutes caractéristiques qui fondent les valeurs communes à une société de même que les différences qui la traversent. le nombre d'enquêteurs à mobiliser et la durée de leur mobilisation, qui dépendent des variables sus-citées. La restitution des résultats de l'étude est un point fondamental qui augmente la crédibilité de ce qui a été trouvé. Liens logiques d'un objectif donné x (cas des diagrammes d'objectifs). les unités d'analyses spatiales et temporelles choisies. Dans le cas idéal où le système d'objectifs présenté par les documents de stratégie et de programmation est décrit de manière complète et cohérente, il n'est bien entendu pas nécessaire d'établir un diagramme raisonné. Il convient que les experts du panel aient autant que possible la pratique de la langue utilisée sur le territoire où se déroule l'évaluation. Entretiens de collecte d'information et de recueil des points de vue ; plusieurs guides d'entretien peuvent être définis afin qu'ils soient adaptés aux différents types d'interlocuteurs et aux diverses problématiques. ... Quels sont les outils indispensables pour te lancer sur le web 5/7 - Duration: 6:03. Les évaluateurs n'ont collecté aucune information écrite ou orale permettant d'expliquer les choix effectivement faits. Les comptes-rendus de réunions et notes de fin de missions préparatoires peuvent fournir des justifications aux choix de priorité et de programmation. Ils sont souvent nécessaires au vu des premiers éléments et des avancées de l'évaluation. Il faut donc veiller à créer et maintenir une interaction dynamique entre les participants. (0 comments). Son rôle est capital car il est impensable de trouver un " groupe " capable de mener seul un tel exercice. Dans certains cas, les questions d'évaluation nécessitent le recueil d'informations auprès des bénéficiaires finaux de l'aide. Les résultats ont-ils été articulés avec les autres outils d'information et d'analyses utilisés par les évaluateurs ? BAKER J., 2000 : Evaluating the impact of development projects on poverty. Les spécialistes consultés sont-ils cités ? Etape2: comment établir le diagramme des problèmes? Les entretiens doivent être réalisés par une personne qualifiée. Se rendre systématiquement auprès des éditeurs locaux pour consulter ou acquérir leurs publications qui, souvent, concernent d'assez près les questionnements de l'analyse culturelle et sociale. Les effets externes ont-ils été identifiés ? Les répondants ne sont pas sollicités pour répondre directement à celles-ci : un bon questionnaire décline en effet la problématique de base en questions élémentaires auxquelles le répondant saura parfaitement répondre. L'analyse multicritère est un outil qui fonctionne de manière autonome. Cette situation sera amenée à évoluer et les Délégations devraient voir leurs responsabilités s'accroîtrent. La prise de décision est un thème important de la théorie du management. ), les interlocuteurs habituels au sein des pays et/ou les Gouvernements bénéficiaires. La conception générale de l'étude doit toujours permettre de répondre à la question "comment ?" Les effets qualitatifs ont-ils été quantifiés ? Le diagramme a-t-il servi à juger dans les règles de l'art la pertinence de la stratégie et de la programmation, la qualité du partenariat, les 3C, etc. 9:32 . Quelques jours de préparation, une journée pour réunir les personnes et une journée pour finaliser l'analyse quand l'analyse est limitée à la consultation de quelques personnes. KOTTAK C.P., 1998: Quand l'aspect humain n'est pas mis au premier plan : enseignements sociologiques tires de projets terminés. Par opportunités, on entend par exemple : L'outil de l'analyse stratégique pouvant servir à un approfondissement dans le domaine des opportunités est le modèle PESTEL. Une stratégie, un programme, un projet auront d'autant plus d'efficacité qu'ils s'attaqueront aux causes les plus profondes du ou des problèmes qu'ils ont pour finalité de résoudre. Cette usage particulier de l'entretien permet d'augmenter les chances de recueillir l'information voulue. Ces binômes ou petits groupes doivent alors être constitués de telle sorte que les différents points de vue possible sur le programme y soient représentés. Call 00 800 6 7 8 9 10 11. Compte tenu de la polyvalence, évoquée précédemment, de la majorité d'outils, il convient de tenir compte des critères de rationalisation et d'optimisation dans leur choix. La succession des choix se ramène alors à deux moments : Précédant chacun de ces moments sont placés de part et d'autre de la chaîne des décisions les flux de ressources identifiés par traitement de l'information écrite et orale collectée. Comme pour les études de la mise en œuvre, les études de cas d'analyse des effets ont souvent pour but d'obtenir une information généralisable. concernés, la liste de tous les objectifs pris en considération répartis entre les deux catégories : objet de l'intervention et arrière-plan. La pertinence de ces réponses fait l'objet d'une vérification, qui peut conduire à la recherche de nouvelles informations (écrites ou orales), voire à la reformulation des questions, notamment sur les objectifs non retenus. La rédaction sera donc essentiellement orientée vers la réponse aux questions d'évaluation et vers des conclusions -recommandations en lien direct avec la gestion des programmes. De ce fait, l'évaluation est amenée à prendre en compte et à structurer le système des effets liés au programme ou à la stratégie à évaluer. Si la réponse est oui, inutile d'alourdir le questionnaire. Workshop on Accounting Frameworks to Measure Sustainable Development, Paris, Mai 2003. Dans le cas d'un traitement statistique du questionnaire fermé, cet outil permet une quantification des opinions recensées qui peut nourrir une analyse d'impact ou constituer des indicateurs d'évaluation ou de programme. Dans une certaine mesure, toutefois, et à un certain degré de détail, les objectifs deviennent communs. Il ne s'agit pas d'un questionnaire mais d'un aide-mémoire. C'est un outil de collecte d'informations auprès des personnes réunies. Cet exemple est donc intéressant et mériterait d'être adapté au cas des DSP (CSP) de la Commission Européenne. les méthodes de collecte et d'analyse utilisées avec leurs limites. " Le diagramme des objectifs décrit la hiérarchisation des objectifs à mettre en œuvre dans la réalisation d'une stratégie, de l'objectif global à long terme de l'Union Européenne jusqu'aux actions entreprises dans le cadre des programmes d'exécution. Presses polytechniques et universitaires romandes. Si aucun inventaire des sources d'information n'a été opérée par les responsables de l'évaluation, c'est à l'équipe d'évaluation qu'il appartient de porter un jugement préalable sur la qualité de ces sources, en termes d'abondance, de pertinence, de fiabilité et d'accessibilité. Elle doit être basée sur le principe de la vérification de l'information par triangulation, systématiquement adopté en évaluation. Cette séance de formation comprend la présentation du guide d'animation, des précisions sur les enjeux du focus group et sur le déroulement souhaité par l'évaluateur.