Avertissement
|
||
Si vous arrivez directement
sur cette page, sachez que ce travail est un rapport d'étudiants et
doit être pris comme tel. Il peut donc comporter des imperfections ou
des imprécisions que le lecteur doit admettre et donc supporter. Il a
été réalisé pendant la période de formation et constitue avant tout un
travail de compilation bibliographique, d'initiation et d'analyse sur
des thématiques associées aux concepts, méthodes, outils et expériences
sur les démarches qualité dans les organisations. Nous ne
faisons aucun usage commercial et la duplication est libre. Si vous
avez des raisons de contester ce droit d'usage, merci de nous
en faire part . L'objectif de la présentation sur le Web
est de permettre l'accès à l'information et d'augmenter ainsi les
échanges professionnels. En cas d'usage du document, n'oubliez pas de
le citer comme source bibliographique. Bonne lecture...
|
||
Comment faire confiance
à l'évaluation ?
|
||
|
||
Référence
bibliographique à rappeler pour tout usage :
Comment faire confiance à l'évaluation
Sébastien HACQUIN, Aroube AL SAADI, Grégory SIERADZKI , Projet d'Intégration MASTER Management de la Qualité (MQ), UTC, 2006-2007, URL : https://www.utc.fr/mastermq ; Université de Technologie de Compiègne |
||
En France, contrairement aux pays anglo-saxons, son utilisation est récente et peu maîtrisée. Elle est donc parfois mal perçue alors que son rôle est d'améliorer l'action. Actuellement, les politiques d’évaluation s'imposent de plus en plus dans tous les secteurs. Pour profiter pleinement de la plue-value qu'elle peut apporter, il apparaît nécessaire de se l'approprier. Mais encore faut-il avoir confiance en celle-ci. Ce rapport présente la démarche d'intervention qui a mené à l’identification de leviers, les « facteurs méthodologiques », générant de la confiance en l'évaluation. Mots
clés : confiance, évaluation,
critères, indicateurs, check-list, méta-évaluation |
||
Evaluation is
based on the confrontation between reality reading and a hoped ideal.
Contrary to Anglo-Saxon countries, in France, its use is recent and not
very controled.So she is sometimes bad perceived whereas its role is to
ameliorate the action. This report shows the approach which had conducted to the identification of leviers, « methodological factors », leading to confidence in evaluation. Key words : confidence, evaluation, criteria,
indicators, check-list, meta-evaluation |
Remerciements
I.Note de clarification et de formulation du projet
C. La reformulation des questions
II.Description du sujet et de la problématique
B. Le « cadrage » de la problématique par le QQOQCP
C. La comparaison entre la France et d’autres pays
D. L’identification des causes racines
A. Les acteurs concernés et leurs attentes
B. Choix du mode d’intervention et des modalités de mise en oeuvre
F. Les contraintes et risques du projet
H. Les difficultés rencontrées et les améliorations proposées
IV Les facteurs méthodologiques de l’évaluation
A. Les facteurs logistiques et managériaux
1. La préparation de l’évaluation
2. La mise en œuvre de l’évaluation
3. Les résultats de l’évaluation
3. Un climat de confiance entre les acteurs de l’évaluation
Sources
documentaires
Sommaire des illustrations
Annexe 1 : Questionnaire sur la confiance attribuée à une évaluation
« Il est important d’avoir des repères dans la vie ! ». Cela permet, en effet, de mieux se positionner, afin de contribuer bénéfiquement à la prise de décision. L’évaluation permet justement une prise d’informations basée sur une lecture de la réalité.
En France, contrairement aux pays anglo-saxons, son utilisation est
récente et peu maîtrisée.
Actuellement, les politiques d’évaluation deviennent dans tous les secteurs de plus en plus prégnantes. Pour profiter pleinement de la plus-value qu'elle peut apporter, il apparaît nécessaire de se l'approprier. Pour cela, encore faut-il avoir confiance en celle-ci.
Comment avoir confiance en ces évaluations ?
Comment mesurer le service rendu
par les évaluations ?
Comment obtenir les financements
directs afférents ?
Où en sont nos voisins européens
en matière d’évaluation ? Comment la perçoivent-ils ?
Autant de questions auxquelles il faudra tenter de répondre afin de dresser l’état de l’évaluation en France et à l’étranger et permettre la réalisation d’un guide des ‘bonnes pratiques’.
Les termes du sujet ont été définis pour cibler le problème.
Plusieurs définitions ont été récoltées pour chacun des termes, un choix a été effectué de sorte à ce que le terme choisi puisse s’adapter à tous les domaines de l’évaluation.
Le nombre de définitions est mis entre parenthèses.
Le problème a été reformulé à l’aide de synonymes.
C. La reformulation des questions
La sélection des synonymes a permis la reformulation de la
problématique.
Exemple : Dans quelle mesure se fier à la vérification ?
Ces questions seront utilisées pour élaborer une enquête.
Une précision concernant le concept est
nécessaire afin d’éclaircir la multidimensionnalité, la polysémie et la
diversité des formes existantes autour de ce terme. [2]
Plusieurs chercheurs s’y sont intéressés dans le
domaine de l’éducation.
- Patton a identifié 122 définitions différentes reliées à ce concept.
- Guba et Lincoln ont identifié 4 phases dans l’histoire de l’évaluation. [3]
Evolutions historiques
Manque de fiabilité de par la subjectivité introduite par l’évaluation.
La mesure présente l’inconvénient d’être fermée à
tout ce qui n’est pas mesurable.
2ème stade :
1920-1930
Il s’agissait d’identifier et de décrire comment les programmes permettaient d’atteindre les résultats.
Il n’y avait qu’un intérêt pour les résultats finaux.
3ème stade centré sur le jugementL’évaluation est considérée comme un jugement de valeur.
L’évalué se contentait d’être sujet de la démarche
et non d’être acteur de celle-ci.
4ème stade
L'évaluation est conçue comme un processus de négociation entre les acteurs concernés par l’interprétation à évaluer. Cette phase est en émergence de nos jours.
Elle doit se placer et se comprendre au sein d’une
relation spécifique dont elle est un langage spécifique entre
l’évaluateur et l’évalué.
Chacun
des stades a contribué à un enrichissement du concept.
Origine
« être bien portant » « être fort »
« ce qui est dans les normes requises pour être accepté légitiment »
« déterminer une quantité par le calcul »
De nos jours, l’évaluation est un processus de prise d’information basé sur la confrontation d’une lecture de la réalité avec un idéal souhaité, qui doit permettre de prendre des décisions et donc d’améliorer l’action. [4]
La place de l’évaluation
Figure 2 : le concept de l’évaluation sur l’échelle d’abstraction [2]
L’évaluation n’est ni une inspection ni une mesure. Elle est actuellement plus subjective, qualitative et plus complète ; c’est une phase de mesure des résultats suivie d’une phase d’évaluation de ceux-ci. Elle s’inscrit donc dans un espace de décision et d’incertitude.
Qui sont les acteurs concernés ?
Quel est le problème ?
Où apparaît le problème ?
Quand apparaissent les problèmes ?
Comment apparaissent les problèmes ?
Pourquoi faut-il résoudre ce problème ?
En France, évaluer est difficile du fait de la nouveauté du concept. De plus, un problème d’éthique se pose, car une évaluation juste, impartiale et franche est demandée.
Dans des pays tels que les Etats-Unis, le Canada, l’Angleterre ou encore la Suisse, des chartes sont mises en place afin de normaliser le concept d’évaluation dans l’enseignement et donc d’assurer la transparence des comportements et la reconnaissance de l’apprentissage non formel. [5]
En Suisse, le standard proposé par un organisme évaluateur est basé sur
quatre critères. [6]
Schéma 1 : D’après une confédération d’évaluation Suisse
Chacun de ces critères a un objectif bien déterminé.
L’objectif de l’utilité est de garantir qu’une évaluation est orientée sur les besoins d’informations des utilisateurs de l’utilisation prévue.
L’objectif de la précision est de garantir qu’une évaluation fournit et transmet des informations valides et utilisables.
L’objectif de la faisabilité est de garantir qu’une évaluation est exécutée de manière réaliste et mûrement réfléchie avec diplomatie et dans la conscience des coûts.
L’objectif de la déontologie est de garantir qu’une évaluation
est exécutée correctement du point de vue juridique et éthique et
qu’elle accorde à l’intégrité des parties prenantes et
groupes concernés l’attention qui leur est due.
Ce standard d’évaluation permet d’augmenter la crédibilité, la qualité et la confiance qu’on peut avoir dans l’évaluation.
Aux Etats-Unis, l’évaluation est une pratique ancienne instaurée depuis la seconde guerre mondiale, tandis qu’en France, c’est une science neuve. [7]
L’évaluation en France est peut être inadaptée et ne répond pas exactement aux objectifs fixés. Il faut donc savoir précisément pourquoi on évalue, c’est pourquoi la LOLF (Loi Organique Relative aux Lois de Finances) a permis l’instauration du Conseil National de l’Evaluation Sociale et Médico-Sociale (CNESEM) afin qu’il puisse élaborer des référentiels d’évaluation. [8]
Le conseil d’évaluation du CNESEM doit élaborer les outils et instruments formalisant les procédures, les référentiels et les recommandations de bonnes pratiques professionnelles.
D. L'identification des causes racinesLe diagramme d’Ishikawa reprend les facteurs qui contribuent à donner confiance en l’évaluation :
Voici quelques-unes des causes qui pourraient améliorer l’image de
l’évaluation en France et donc lui permettre d’être mieux acceptée.
Figure
3 : Les facteurs générant de la confiance en l’évaluation
En France, on distingue deux acceptations différentes pour le mot culture :
Les facteurs culturels : l'évaluation est parfois difficile à accepter de la part des évalués. Elle est perçue comme une démarche dont on ne maîtrise pas forcément tous les effets. Elle revêt donc parfois une connotation négative. [9]
L’évaluation est vécue comme un malaise, la transparence et l’objectivité de l’évaluation sont souvent difficiles à accepter.
Il convient d’observer certains principes éthiques en évaluation des actions. [10]
Ces principes sont les suivants :
Il est indispensable que l'évaluation soit pleinement acceptée par tous au départ du programme, sinon elle risque d’être vécue comme un contrôle et risque d’entraîner peu d’adhésion pour les recommandations qui en découleront, alors qu’elle devrait être perçue comme un moyen de valorisation de l’action.
La formation et le dialogue, des évaluateurs compétents, des demandeurs bien informés contribuent à l'instauration d'une culture de l'évaluation.
L’implication des acteurs dans la démarche et ses conséquences
offre la possibilité de développer une véritable culture de
l’évaluation.
La mise en place d’un système d’autoévaluation est
considérée comme une étape cruciale.
L’élaboration des recherches montrant les bienfaits de l’évaluation et
les financements qu’elle peut apporter sont déterminants.
La sociologie est l’étude des phénomènes sociaux humains.
Les facteurs sociologiques : l’évaluation symbolise une
perte de pouvoir ou d’autonomie et une remise en cause des
comportements.
Les perceptions de chacun sont très différentes, de
plus la réalité est multidimensionnelle ou mal définie, ce qui empêche
un modèle unique de l’évaluation.
- Une recherche bibliographique
approfondie ;
- La
création d’un guide de bonnes pratiques ;
-
L’établissement d’une synthèse des différents documents recueillis.
-
Comprendre les fondements de la mise en œuvre de l’évaluation ;
-
D’obtenir une synthèse claire et concise ;
-
La proposition d’actions permettant de donner
confiance en l’évaluation.
B. Choix du mode d’intervention et des modalités de mise en oeuvre
Les quatre options d’intervention envisagées pour analyser les facteurs méthodologiques donnant confiance en l’évaluation sont :
Schéma 2 : Principales caractéristiques des options d’intervention choisies
Afin d’identifier les risques des options d’intervention et leurs alternatives envisagées, un diagramme de décision a été réalisé.
Figure 5 : Les options d’intervention, leurs risques et les alternatives envisagées
Un vote a permis d’établir la faisabilité et la pertinence de chacune des options d’intervention, la moyenne de ces résultats est indiquée dans le tableau ci-dessous, ce qui contribue à déduire l’option la plus faisable. Ce serait la recherche bibliographique dans le cadre de notre projet et la plus pertinente serait la réflexion personnelle.
L’élaboration d’une représentation mentale de l’apport de chaque option d’intervention a été mise en place afin d’identifier les interventions les plus adaptées au suivi du projet.
Tableau 1 : Faisabilité et pertinence de chaque option d’intervention en %
Figure 6 : Représentation mentale de l’apport des options d’intervention en fonction du temps
La « plus value » correspond à l’apport généré pour une intervention.
Ce graphique montre que toutes les options d’intervention doivent être traitées et demeurent des sources d’informations non négligeables.
Il est à noter que la plus value doit être perçue comme un apport non
quantifiable.
Schéma 3 : Planning de mise
en oeuvre
Le planning établi permet l’avancement du projet, en prenant en compte les risques probables.
Le tableau récapitule l’ensemble des recherches documentaires pour
ordonner le travail et partager les tâches.
Nombre de documents collectés |
Nombre de documents choisis |
Initiales |
||||
Moteur de recherche |
||||||
|
31 |
6 |
S,G,A |
|||
Yahoo |
10 |
3 |
A |
|||
Altavista |
22 |
1 |
A |
|||
Exalead |
14 |
1 |
A |
|||
Google scholar |
8 |
0 |
A |
|||
Scirus |
0 |
0 |
G |
|||
Copernic |
2 |
1 |
G |
|||
Metacrowler |
2 |
1 |
G,A |
|||
Source universitaire |
||||||
Butc : eliot.utc.fr |
2 |
1 |
G |
|||
Ecrits |
0 |
0 |
G |
|||
Documents électroniques |
2 |
0 |
G |
|||
CISMEF |
0 |
0 |
G,A |
|||
Source littéraire |
0 |
0 |
G |
|||
Blogs |
||||||
Google blogs |
6 |
1 |
A |
|||
Technorati |
2 |
0 |
A |
|||
Fils RSS |
0 |
0 |
S |
|||
Base de données |
||||||
EspaceNet |
0 |
0 |
S |
|||
Scopus |
0 |
0 |
S |
|||
Delphes |
0 |
0 |
S |
|||
Pressens |
0 |
0 |
A |
|||
La documentation frnçaise |
14 |
6 |
G |
|||
Technique ingénieur |
0 |
0 |
S |
|||
Sagaweb |
5 |
1 |
S,A |
Une concertation dans le groupe a permis le choix des documents les
plus pertinents (une vingtaine environ), après le recours à un vote
pour une sélection. Les documents sélectionnés sont
classés en catégories dans le tableau ci-dessous.
Désignation |
Quantité |
Outils de référence |
5 |
Publications scientifiques |
7 |
Informations administratives |
4 |
Articles |
4 |
Articles Normatifs |
1 |
Articles Réglementaires |
1 |
Le questionnaire fourni en annexe 2 a été envoyé (80 envois) à des professionnels ainsi qu’à des étudiants, 28 questionnaires ont été complétés et analysés.
Figure
7 : Quantification des facteurs donnant confiance en
l’évaluation
Le tableau ci-dessous représentent les risques identifiés sur le planning et les alternatives proposées.
Tableau 4 : Risques et leurs alternatives du projet
Risques identifiés |
Alternatives |
Risque 1 : Dispersion des recherches bibliographiques |
Cibler les documents sélectionnés |
Risque 2 : Etablir des questions compréhensibles, pertinentes et exploitables |
Effectuer des tests sur un échantillon d’entreprises |
Risque 3 : Manque de retour des questionnaires |
Contact téléphonique |
Risque 4 : Problème de la gestion du temps |
Respecter le plannin |
Pour maîtriser les risques projets identifiés, des objectifs mesurables ont été définis, les résultats obtenus à l’issu du projet sont probants.
Objectifs Mesure au 15 décembre
1) Identifier et limiter à 20 les documents pertinents 20
2) 60 % des questionnaires reçus intégralement remplis 85%
3) Au moins 20 questionnaires reçus pour notre analyse 28
4) Respect du planning Aucun écart
H. Les difficultés rencontrées et les améliorations suggéréesTableau 5 : Difficultés et améliorations pour le projet
Difficultés rencontrées |
Améliorations suggérées |
- Aucun entretien réalisé avec des professionnels |
- Acquérir rapidement des connaissances élémentaires pour paraître crédible |
- Difficultés pour cerner rapidement la problématique (sujet abstrait) |
- Mieux se déplacer sur l'échelle d'abstraction |
- Manque d'inférence lors de l'élaboration du questionnaire |
- Suivre une formation sur l'élaboration d'enquêtes |
- Manque de la prise en compte de la culture anglo saxonne |
- Envoyer des questionnaires à l'étranger |
A.
Les
facteurs logistiques et managériaux
En effet, outre l'exigence d'un exposé complet et rigoureux des méthodes mises en œuvre, l'évaluation doit expliciter son propre "mode d'emploi" et ses limites:
Cet effort de lucidité et de réflexivité est d'autant plus nécessaire que les évaluations sont généralement imparfaites. Elles laissent de nombreuses questions dans l'ombre et les résultats auxquels elles parviennent n'ont pas tous la même portée ni la même robustesse.
Il importe donc de faire appel à des regards multiples sur la situation à évaluer.
Selon Patton, il est difficile de déterminer les méthodes à utiliser
car il n’existe pas de normes universelles et absolues à cette pratique.
1. La préparation à l'évaluation
Il apparaît tout d’abord nécessaire de bien définir l’objet et le contexte de l’évaluation par l’établissement d’un cahier des charges permettant d’exposer les motifs et les raisons de la mise en pratique de l’évaluation.
Il doit être clair, compréhensible et le plus détaillé possible.
Il doit y contenir les dates-clés de l'évaluation
pour distinguer les différentes étapes du travail et les délais prévus
pour la remise du rapport intermédiaires et finaux.
Son élaboration permet d’estimer la durée nécessaire et le budget éventuel que l’évaluation requiert afin d’en distinguer les bienfaits économiques qui pourraient se dégager de sa finalité. Par conséquent, les avantages de l’évaluation doivent l'emporter sur le coût en assurant une gestion rigoureuse, par le choix des évaluateurs et des méthodes d'évaluation les mieux adaptées. [12]
La transparence de ce budget est déterminante pour la suite des opérations.
De plus, l’identification des parties prenantes est nécessaire pour limiter les effets des réseaux d’influence, mais aussi pour préciser les finalités et l’accord vis à vis du produit attendu. Il importe en particulier de faire participer le plus rapidement possible les responsables de la conception, du financement et de la mise en oeuvre de la mesure que l’on se propose d’évaluer, de même que les personnes ou organismes auxquels elle s’adresse, afin de créer un climat de confiance propice à la coopération. [13] En s’efforçant de déterminer très tôt les besoins des parties prenantes et groupes concernés, on se donne toutes les chances de reconnaître à temps les conflits d’intérêts qui se profilent à l’horizon et de trouver un moyen de les résoudre, sans faire de concessions sur les buts de l’évaluation.
Il est capital pour le succès d’une évaluation que l’objectif visé et les questions posées soient absolument clairs aux yeux de toutes les parties prenantes et de tous les groupes concernés. Cela permet d’éviter les malentendus.
Il est aussi nécessaire de définir le périmètre de l’objet à évaluer pour éviter les ambiguïtés ou la dispersion autour de l’objet évalué. Il permet d’établir les objectifs mesurables attendus.
Ces objectifs ont une incidence sur le choix des responsables de l'évaluation, de la méthodologie utilisée et de la finalité.
Les évaluations devraient être adaptées aux caractéristiques de l’entité évaluée et tenir compte de différentes contraintes de coûts et de temps.
Le service doit se limiter à l’objet, il ne doit donc pas empiéter sur d’autres processus même s’ils sont connexes.
En ce qui concerne l’équipe d’évaluateurs, elle doit être multidisciplinaire et composée au minimum de trois personnes. Leurs compétences, leur organisation et l’infrastructure du groupe doivent être transparentes, ce qui doit être aussi le cas des évalués.
La méthode doit donc être adaptée au contexte et à l’objet à évaluer. Elle doit être conçue avec l’accord de l’ensemble des parties prenantes. [14]
De plus, le référentiel (référent) doit être établi en adéquation
avec les besoins de l’entité évaluée. Tout en étant pertinente et
faisable, elle doit posséder des
propriétés de flexibilité et de souplesse pour sa mise en œuvre.
Il est préférable de rédiger les références selon un mode
affirmatif et positif pour s’orienter dans une démarche de
collecte d’informations les plus proches de la réalité.
La légitimité de l'évaluation passe par sa
contractualisation. Les négociations du contrat doivent se dérouler
dans une atmosphère empreinte de respect et de confiance mutuel. Cette
phase peut avoir une influence déterminante sur le succès de
l'évaluation ; en effet, l'établissement du contrat donne aux deux
parties l'occasion de repenser le projet et de l'adapter
véritablement aux besoins des destinataires.
Le respect d'une charte des bonnes pratiques peut y
contribuer.
De plus, les référentiels doivent
être représentatifs des dispositions legislatives et réglementaires
pour s'assurer du respect déontologique et éthique.
Si l’on s’intéresse aux éléments proprement dits de la méthode, tels que les indicateurs et les critères, leur choix est déterminant pour l’analyse des résultats. Ils doivent faire preuve d’inférence dans leur choix permettant une approche qualitative et quantitative de l’objet évalué.
Une des étapes importantes dans la mise en place de l’évaluation est la planification qui permet son optimisation.
Celle-ci définit les modalités d’intervention, fixe les limites temporelles et spatiales du processus. Elle permet également d'améliorer la gestion et la qualité des évaluations et doit être naturellement réalisée avec l’ensemble des parties prenantes.
Le choix du moment opportun pour procéder à l'évaluation peut être
déterminant.
Lors de sa mise en œuvre, la transparence doit être de rigueur afin d’instaurer un climat de confiance entre les différentes parties.
La relation entre évalué et évaluateur doit être vécue comme un rapport de partenariat et non d’autorité pour permettre une confrontation et favoriser les échanges d'expériences et de compétences.
L’organisation du travail au sein de l’équipe d’évaluation doit se montrer judicieuse et réaliste. Elle permet notamment la mise à contribution des différentes compétences en fonction des problèmes à résoudre et des délais fixés.
En effet, l’environnement doit privilégier l'obtention des résultats, il est nécessaire que toutes les parties participent activement. Les conflits d’intérêt doivent être abordés de manière ouverte et franche afin d’éviter toute ambiguïté, il est donc nécessaire d’éviter les conversations personnelles ou hors cadre.
En ce qui concerne la démarche proprement dite, elle doit être réalisée d’un point de vue correct au niveau éthique et juridique.
De plus, elle doit être respectée avec l’aide d’indicateurs de suivi par jalon. Afin d’être à la portée de tous, elle doit être porteuse de sens e développant un raisonnement crédible et compréhensible.
Les outils doivent être maîtrisés, pertinents et cohérents afin de pouvoir prendre des décisions opérationnelles dans de brefs délais.
Pour cela, il est nécessaire de collecter des données sans les interpréter.
Il est possible de développer des instruments et des procédés de cueillette continue des données pour rendre le processus progressif et respecter le cheminement de la démarche.
II convient en particulier d'être attentif aux biais que les techniques
de collecte et de traitement des informations peuvent introduire dans
la production des conclusions. Un
regard extérieur permet aussi de conforter le respect de la démarche.
Or, il est tout à fait possible qu'un ajustement du
projet initial s'impose en cours d'évaluation si le contexte des
données ou le cadre général ont évolué.
Un rapport complet et transparent ainsi que la diffusion des résultats à tous les destinataires augmentent les chances de réelle utilité de l’évaluation. Cela vaut pour toutes les évaluations, quels que soient les objectifs que l’on se propose d’atteindre. Il est capital d’y trouver un résumé complet des principaux résultats et conclusions, ainsi que des recommandations.
L'impartialité des conclusions et la manière dont celles-ci sont justifiées par les informations collectées sont déterminantes. [15]
Il convient donc de faire un bilan avec l’ensemble des parties prenantes avant la publication des résultats afin de pouvoir mettre sur pied le plus vite possible des actions d’amélioration.
La détermination de la satisfaction ou non de la pratique peut renforcer sa validité.
Il importe de confronter les résultats de l’évaluation auprès des acteurs du projet, de façon à vérifier si les problématiques ont été comprises par les évaluateurs externes de la même façon que par les acteurs internes.
Il s’agit en effet de s’assurer que les recommandations soient pertinentes et significatives pour les acteurs et que le processus d’évaluation soit véritablement formateur. En ce sens, une réunion peut avoir lieu après l’exercice d’évaluation.
En effet, le rapport doit être clair, synthétique et présenté en temps utile (date prévue lors de la planification). Il importe de veiller à une présentation complète, honnête et impartiale des points forts et des points faibles de l’objet de l’évaluation.
L’évaluateur doit permettre la diffusion des résultats et des caractéristiques et aider à la compréhension de l’activité ou de l’objet évalué.
L’utilité, la robustesse, la pertinence et la crédibilité de l’évaluation doivent être de rigueur.
Pour assurer une utilisation optimale des résultats de l’évaluation, il importe de veiller à ce que toutes les parties prenantes et tous les groupes concernés aient accès au rapport d’évaluation et soient avertis de sa publication. Il peut être nécessaire d’établir une "check-list" pour vérifier que tous les éléments sont présents dans le rapport.
La confrontation entre le référent et le référé doit déboucher sur une mise en évidence des écarts pour faciliter la résolution des problèmes.
La confiance en ces résultats peut se renforcer par l’évaluation même de l’équipe évaluatrice ou par l’élaboration d’une grille d’auto-diagnostic pour l’évaluateur, ainsi que d’une méta-évaluation (évaluation de l’évaluation).
Les résultats doivent garantir l’amélioration et la mise en évidence des actions à entreprendre et leur priorisation pour donner du sens à la pratique. Ils permettront de fixer un plan d’orientation de suivi des recommandations les plus urgentes puis de fixer de nouveaux objectifs.
Rôle et légitimité de l’évaluateurLa responsabilité de l'évaluateur est de communiquer, de manière compréhensible, les résultats obtenus.
« Le jugement d’un seul n’est pas la loi de tous », par Jacques Bastin.
L’évaluateur doit pénétrer la dimension idéologique de l’action et de l’organisation qu’il évalue. S’il ne doit pas y adhérer, il doit en saisir le sens pour pouvoir juger la cohérence de l’action. Sa mission étant de prendre du recul, il n’est pas question pour l’évaluateur de prendre fait et cause pour l’action, ce qui le disqualifierait à porter dessus un regard extérieur et critique.
L’évaluateur est amené à observer une réalité et à porter une appréciation sur celle-ci. Il lui est demandé de faire des recommandations en vue d’améliorer l’action.
Pour émettre un jugement et des conseils, sa légitimité doit être reconnue par le commanditaire.
Le commanditaire doit pouvoir avoir confiance en l’évaluation si l’évaluateur répond à un certains nombres de critères. [16]
Le savoir-faire de l’évaluateur
Compétences Professionnelles
L’évaluateur ayant suivi une formation spécialisée sera en mesure
d’utiliser des méthodes standardisées, de proposer une analyse
qualitative et
quantitative, de choisir des indicateurs adéquats, d’identifier les
parties prenantes et d’assurer la confidentialité.
La mise en évidence des écarts constatés
La mise au point d'une grille d'autodiagnostic
La mise en place d’un suivi
Une aide à l’identification des problèmes
Un bilan avec les personnes concernées
Travailler leur habileté sur les plans méthodologiques et leurs pratiques
Une autoévaluation des évaluateurs.
Avant de maîtriser les techniques de l’évaluation, un atout pour l’évaluateur est de disposer d’une pratique la plus diversifiée possible.
En effet c’est, entre autres, en se référant à l’une de ses propres expériences que l’évaluateur tentera de mesurer la bonne marche de l’action qu’il évalue.
Étant payé par son client, l’évaluateur se doit de lui rendre des comptes, la qualité de son travail est à son tour évaluée.
L’évaluateur prend position : l’exercice d’évaluation n’est pas un exercice technique neutre. En faisant sa photo de la réalité, l’évaluateur choisit un angle de vue, une distance, un cadrage et un objectif. Il porte ensuite un jugement sur l’image prise à partir de sa vision des choses, de son expérience, de ses échelles de comparaison.
Les évaluateurs doivent constamment chercher à maintenir et à améliorer
leurs compétences afin d'offrir le meilleur rendement possible dans
l'exécution de leur évaluation.
Compétences Individuelles
Quelques traits spécifiques à l’évaluateur génèrent de la confiance en l’évaluation.
Les évaluateurs doivent s'engager dans un processus d'apprentissage qui durera toute une vie.
Tout d’abord, l’évaluateur doit montrer la maîtrise de l'évaluation et respecter les exigences du client, avec une certaine particularité philosophique et une habilité tout au long de l’évaluation.
Il doit garder une discrétion dynamique tout en étant capable d'observer, d’analyser et de tirer des conclusions fondées sur un raisonnement et une analyse logique.
Le fait de fournir les techniques et l'œil d'un expert aux évalués a un impact sur leur ressenti.
Les connaissances techniques et sociales jouent donc un rôle primordial dans la compréhension de l’action évaluée et de son contexte.
La compréhension des experts (évalués) est également nécessaire à la réalisation d’une évaluation efficace.
L’évaluation par des évaluateurs indépendants est appropriée lorsqu’il
s’agit d’aider à mieux rendre compte et à améliorer la transparence.
Le savoir être de l’évaluateur
L’évaluateur doit trouver sa place. Il donne la parole et se met à l’écoute des acteurs concernés par l’action évaluée.
Une bonne communication écrite et orale est souhaitée pour assurer un raisonnement crédible et compréhensible.
L’absence de préjugés aide à une évaluation neutre. Pour cela, l’évaluateur doit être capable de comprendre la diversité culturelle, les personnalités et garder les dimensions humaines.
Un évaluateur ne doit pas avoir l'air d'être un contrôleur.
Comportement durant l’évaluation
La crédibilité de l’évaluateur et sa
capacité à retranscrire les faits
fidèlement sont exigées.
Des caractéristiques tels que l’objectivité, la
neutralité,
l’impartialité, la capacité de communication, le sens de l’écoute et du
dialogue, le sens pédagogique, la déontologie, permettront à
l’évaluateur d’apporter
une vision externe en faisant preuve de souplesse.
S'il exerce sa subjectivité, l'évaluateur doit faire preuve de rigueur
dans sa méthode et dans ses raisonnements. La photo doit être la plus
nette possible et bien représenter l'objet de l'évaluation. Le recueil
d'informations, l'analyse de l'information, les grilles utilisées, les
raisonnements à la base des conclusions et des recommandations doivent
être limpides pour le commanditaire.
Le professionnalisme acquis
La perception acquise par l’évaluateur lui permet de pouvoir percevoir les ambiguïtés, d’éclaircir les zones d'opacité, et ainsi d’orienter son travail vis à vis de la situation.
Etant conscient du poids de son rôle, il s'assure que les différents aspects de la question posée et les différentes approches possibles sont identifiés, sa capacité d'analyse de synthèse et de gestion du temps doit être efficace et donc rassurante pour l’évalué.
Un évaluateur prononcé est capable de :
Rôle et légitimité de l’évalué
Il est bon qu’une organisation procède à une autoévaluation lorsque les
principaux objectifs visés sont d’acquérir des connaissances sur cette
organisation et d'en améliorer le fonctionnement.
Choix de
l’évaluation
La demande d'évaluation doit être formulée, précisée et coordonnée par les parties prenantes pour permettre l’adhésion des intéressés.
Le choix de l’évaluateur par le commanditaire et l’élaboration des termes de référence sont essentiels dans la démarche d’évaluation. Le commanditaire en attend un miroir de son action et de l’organisation qu’il met en place pour la piloter. L’évaluation lui appartient, il décide par qui et ce qu’il va faire évaluer. Son but est de questionner sa pratique pour progresser. [17]
État d'esprit
L’évalué doit connaître le but de l’évaluation pour se l’approprier et profiter de l'apport qu’elle pourra lui proposée.
L’évalué doit pouvoir accepter une vision externe et comprendre les responsabilités et l'objectivité de l'évaluateur.
La déontologie et l’approche de la culture de l’évaluation permettent à l’évalué de ne pas porter de préjugés durant le déroulement de l’évaluation et de garder les dimensions humaines avec son interlocuteur.
Comportement
L’évalué doit participer activement et vivre l'évaluation comme un bienfait. Il peut contribuer à la réalisation d’une évaluation efficace et objective en montrant les zones d’opacité et en les éclairant.
Les conditions de la prise de vue doivent être négociées au préalable. Le commanditaire doit s’assurer que le point de vue qui est exercé est bien celui qui est désiré.
Information/Formation
Il apparaît souhaitable que, d'une manière ou d'une autre, les
animateurs d'action soient préalablement informés sur le bien-fondé, la
nature et "l'esprit", les dimensions ou critères
envisagés, et donc de l'intérêt qu'ils peuvent retirer de cette
approche "avalisante".
Les parties prenantes doivent être conscientes que
l'évaluation est une forme de communication très dépendante du contexte.
Il est souhaitable d’assurer la formation du personnel de manière à éviter les écarts du chapitre de la capacité d'évaluation, ou à y remédier.
Participation active
Les parties prenantes, y compris le personnel, peuvent être désignées pour participer à des commissions d'évaluation ou associées dans le cadre de groupes de direction ou de groupes consultatifs. Les méthodes d'évaluation participatives peuvent servir à dégager des consensus et à susciter chez les intéressés la volonté de s’impliquer dans le processus de changement. Le dialogue avec les utilisateurs et le personnel permet de mieux comprendre leurs besoins et leurs priorités et de mieux y répondre. Les modalités de participation doivent être définies en tenant compte des coûts, des contraintes de temps et des risques d’appropriation inhérents à de tels processus.
3. Un climat de confiance entre les acteurs de l’évaluation
La confiance, qu’est-ce que c’est ?
La confiance basée sur une sorte « d’engagement à respecter la norme » issu d’un code partagé (souvent implicite) de devoirs réciproques, de valeurs morales et d’éthique.
La perspective rationnelle se définit comme « une attente sur les motivations d’autrui à agir conformément à ce qui était prévu dans une situation donnée ». Elle considère l’individu comme un acteur rationnel, prévisible, et sa rationalité est confortée par le fait que ses choix et ses actes sont gagnants, utiles.
Tableau 6: Les conventions qui favorisent l’établissement d’un niveau de confiance pour un travail collaboratif efficace [18]
Catégorie |
Caractéristiques |
Facteurs et comportements |
Intégrité |
Honnêteté, éthique, loyauté, respect, fiabilité et engagement |
Etre honnête Tenir ses engagements Etre réactif Etre droit et loyal Etre fiable |
Habilitation |
Savoirs, savoir-faire, compétences individuelles et collectives |
Mettre en application avec succès les savoirs, compétences Partager les expériences, les bonnes pratiques |
Ouverture |
Volonté de partager des idées et des informations, intérêt aux autres, apprendre des erreurs |
Informer les autres Partager librement les idées et les informations Etre curieux Donner un feed-back positif Reconnaître ses erreurs |
Charisme |
Empathie, envie de bien faire, bonne volonté, générosité |
S’entraider Etre amical Etre courtois Avoir de la considération Rester humble Savoir apprécier le travail des autres |
Attentes |
Bénéfice potentiel, cohérence, évaluation |
Etre à l’écoute des attentes Rechercher un consensus ou des compromis Rester cohérent sur les attentes |
Un travail de qualité corrélé à un dialogue franc et ouvert sont de nature à améliorer la crédibilité tout en faisant ressortir les lacunes auxquelles il faudra remédier.
La confiance est renforcée à condition que :
Ces facteurs renforcent l’établissement de la confiance et permettent
d’obtenir une performance plus élevée.
L’évaluation est une pratique de plus en plus utilisé dans l’ensemble des organisations, cependant sa pratique n’est pas toujours maîtrisée. Pourtant, il est nécessaire de se l’approprier, encore faut-il accorder de la confiance en celle-ci.
Cette étude identifie les différents facteurs méthodologiques générant de la confiance en l’évaluation, une enquête auprès de professionnels a servi à les valoriser.
Souvent, l’essentiel de l’énergie est canalisée sur le déroulement de l’évaluation. Cependant, il apparaît que la confiance est générée surtout lors de la préparation et du devenir de l’évaluation, il est nécessaire de leur accorder plus d’importance.
Pour répondre et contribuer à une évaluation efficace, un guide des bonnes pratiques a été élaboré.
La science de l’évaluation est récente en France et cette étude aura besoin d’être actualisée dans un délai de 3 ans par une nouvelle promotion du master management de la qualité de l’Université de Technologie de Compiègne.
Il serait intéressant qu’une étude complémentaire soit réalisée sur les aspects plus abstraits (culturels et sociologiques). Ce travail pourrait être réalisé, avec une approche différente, par des étudiants en sociologie, par exemple.
• www.ladocumentationfrançaise.fr/
• http://www.ifrance.com/eval/validite.html
•
http://www.evaluationpiste.htm
[1] L’évaluation en formation
Barbier, J-M, Presses Universitaires de
France, Paris,4ème édition, 2000, 309
p.
[2] Le statut de l’auto-évaluation dans la démarche du changement
Thèse du doctorat en Sciences de Gestion de
Véronique Baptiste, pp 10-68
[3] Fourth Generation Evaluation - Newbury Park, Sage, 1990
[4] Éthique et évaluation - CNRS - décembre 2004, pp 3-4
[5] Evolution des universités, dynamique de l'évaluation - CNE- 1985-1995, 114 p.
[6] Guide de l'évaluation de l’efficacité à
[7] L'évaluation au pouvoir
ARDOINO, J., BERGER, G. n°107, Privat, juillet-août 1986, 74 p.
[8] CONSEIL NATIONAL DE L ’ÉVALUATION SOCIALE ET MÉDICO-SOCIALE - Guide de l évaluation interne - septembre 2000, 40p.
[9] L'auto-évaluation, une démarche innovante - ARNAUDO, L., Audit, n° 148, février 2000, pp 30-32
[10] Évaluation d’une action de santé publique : Recommandations, ANDEM/Service Formation/Octobre 1985, pp. 16
[11] Comment fonctionne l'évaluation de la conformité - Organisation Internationale de Normalisation - Avril 2005
[12] AGENCE NATIONALE D’ACCREDITATION ET D’EVALUATION EN SANTE
Manuel d'accréditation, Paris, ANAES, juillet
1998, 136 p.
[13] NFX 50-110 Qualité en expertise, Prescriptions générales de compétences pour une expertise - AFNOR - Mai 2003
[14] Utilization-Focused Evaluation (U-FE) checklist- Michael Quinn Patton - January 2000 – 6 p.
[15] Pour une accréditation à la française - CLAVERANNE, J.P.,
Note à M. Le Ministre de
[16] Rôle et légitimité de l’évaluateur, 2 mai 2006, Jacques Bastin
[17] L’évaluation en questions, une journée de réflexion sur l'évaluation des actions, le 22 septembre 2000
[18] Le rôle de la confiance dans la performance collective, publiée le 17 octobre 2004, Jean-Yves Prax
Tableau 1 : Faisabilité et pertinence de chaque option d’intervention en %
Tableau 2 : Suivi des recherches documentaires
Tableau 3 : Nature et nombre des documents sélectionnés
Tableau 4 : Risques et leurs alternatives du projet
Tableau 5 : Difficultés et améliorations pour le projet
Tableau 6:
Les conventions qui favorisent l’établissement d’un niveau de confiance
pour un travail collaboratif efficace
Figure 1 : Représentation de l’évolution de l’évaluation
Figure 2 : Le concept de l’évaluation sur l’échelle d’abstraction
Figure 3 : Les facteurs générant de la confiance en l’évaluation
Figure 4 : Les facteurs méthodologiques générant de la confiance en l’évaluation
Figure 5 : Les options d’intervention, leurs risques et les alternatives envisagées
Figure 6 : Représentation mentale de l’apport des options d’intervention en fonction du temps
Figure
7 : Quantification des facteurs donnant confiance en
l’évaluation
Schéma 2 : Principales caractéristiques des options d’intervention choisies
Schéma
3 : Planning de mise en œuvre
ANAES : Agence Nationale d’Accréditation et d’Evaluation en Santé
CNESEM : Conseil National de l’Evaluation Sociale et Médico-Sociale
LOLF : Loi Organique Relative aux Lois de Finances
Annexe 1 : Questionnaire sur la confiance attribuée à une évaluation
Annexe 1 : Questionnaire sur la
confiance attribuée à une évaluation
Dans le cadre de notre projet de fin d’études à
l’Université de Technologie de Compiègne, nous réalisons une enquête
sur les facteurs méthodologiques, sociologiques et culturels
influençant la confiance en l’évaluation.
Nous vous proposons donc de répondre aux questions ci-dessous qui nous permettront d’enrichir notre travail. En échange, nous vous proposons de vous envoyer le rapport final de ce projet dès le mois de Janvier 2007.
Problématique de notre projet : Les politiques d’évaluation deviennent de plus en plus prégnantes dans tous les secteurs des services marchands ou non marchands, du tertiaire, santé, social ou médico-social. Dans ce cadre de nombreuses évaluations internes ou externes sont menées sur les pratiques ou processus des organisations.
Comment avoir confiance dans les évaluations ?
Comment mesurer le service rendu par les évaluations ?
Question n°1 : Indiquer par ordre de priorité et selon votre propre expérience les cinq principaux critères générant de la confiance en l’évaluation.
...
...
Question n°2 : Quels sont, selon vous, les moyens d’évaluer le service rendu par l’évaluation ?
· ...
· ...
· ...
· ...
Question n°3 : Quels sont, selon vous, les facteurs permettant d’améliorer la confiance en l’évaluation ?
· ...
· ...
· ...
Suggestions libres :
· ...
· ...
Nous vous prions d’agréer, Madame, Monsieur, l’expression de nos
sincères salutations.
Hacquin Sébastien - Al Saadi Aroube - Sieradzki
Grégory
Etudiants en Master 2 “Management de
Annexe 2 : Guide des bonnes
pratiques : « Check List »
L’EVALUATION
Vous êtes-vous posé les bonnes questions ?
Réalisé
dans le cadre du projet d’intégration
Comment avoir confiance en l’évaluation
Présenté par
Aroube AL SAADI
Sébastien HACQUIN
Grégory SIERADZKI
Check-list :
Mise en place de l’évaluation
Planification
La planification a-t-elle été réalisée avec l’ensemble des parties prenantes ?
Les limites temporelles et spatiales du processus ont-elles été fixées ?
Calendrier de l’évaluation
Le calendrier de l’évaluation est-il raisonnable au vu des buts visés et des questions posées ?
A-t-on déterminé à quel moment il serait judicieux de présenter les résultats ?
Identification des parties prenantes
Les parties prenantes et les groupes prévus sont-ils identifiés ?
Les besoins et les intérêts des parties prenantes et des groupes concernés sont-ils en accord ?
L’objectif et les buts visés sont-ils compris par les groupes concernés ?
Le périmètre de l’objet de l’évaluation
Le but de l’évaluation a-t-il été formulé de manière suffisamment précise ?
Les effets attendus sont-ils au moins aussi importants que le coût de l’évaluation ?
La conception du cahier des charges
Le cahier des charges contient-il clairement l’objet et le contexte de l’évaluation ?
Les besoins et les raisons de l’évaluation sont-ils présentés de manière adéquate ?
L’utilisation prévue des résultats est-elle détaillée de manière appropriée ?
La transparence du budget est-elle respectée ?
La contractualisation
Le contrat est-il clair et compréhensible ?
Le contrat a-t-il été conclu dans une atmosphère de confiance mutuelle ?
Le choix de la méthode
La méthode employée vous semble-t-elle la plus appropriée au contexte et à l’entité évaluée ?
La méthode employée possède-t-elle des propriétés de souplesse et de flexibilité ?
Les références sont-elles formulées dans un style affirmatif et positif ?
Les critères et les indicateurs ont-ils été choisis avec inférence ?
Check-list :
La mise en œuvre de l’évaluation
Y a-t-il un respect des étapes planifiées ?
Les délais convenus sont-ils respectés ?
L’évaluation se déroule-t-elle avec un respect de l’éthique et du juridique ?
L’environnement de travail privilège-t-il l’obtention de résultats ?
Les relations entre évaluateurs et évalués sont-elles d’ordre partenariales ?
Les conflits d’intérêt sont-ils abordés de manière ouverte et franche ?
Les outils utilisés sont-ils cohérents et pertinents ?
La démarche est-elle suivie par un regard extérieur ?
Les informations collectées sont-elles justes et impartiales ?
Un bilan a-t-il été réalisé avant la publication des résultats avec l’ensemble des parties prenantes ?
Check-list :
Les résultats de l’évaluation
La publication des résultats
Le rapport a-t-il été rendu dans le temps imparti ?
Le rapport a-t-il été rédigé de façon claire et précise ?
Le rapport est-il compris par tous ?
Le rapport contient-il les principaux résultats et principales recommandations ?
Le rapport est-il accessible à l’ensemble des parties prenantes ?
Les réactions
Le processus d’évaluation est-il véritablement formateur ?
La confrontation entre le référent et le référé débouche-t-elle sur la mise en évidence des écarts ?
Une enquête a-t-elle été réalisée concernant la satisfaction de la démarche ?
Le suivi
Une méta évaluation a-t-elle été entreprise ?
Le produit de l’évaluation permet-il de préciser les actions d’amélioration ?
Le produit de l’évaluation permet-il l’élaboration d’un plan d’orientation ?
Les recommandations incitent-elles à l’amélioration ?
Check-list :
L’évaluateur
Le rang de l’évaluateur
L’évaluateur adhère-t-il à la charte de la société française de l’évaluation ?
L’évaluateur est-il indépendant de l’organisme d’évaluation ?
L’équipe d’évaluation est-elle pluridisciplinaire ?
L’évaluateur est-il indépendant de la structure évaluée ?
Compétences professionnelles
L’évaluateur dispose-t-il d’une grille d’évaluation ?
Le travail au sein de l’équipe est-il organisé de manière appropriée ?
Les responsabilités ont-elles été attribuées de manière précise dans l’équipe d’évaluation ?
Comportement
L’évaluateur s’adapte-t-il à son public ?
L’évaluateur est-il transparent sur la méthode employée ?
La légitimité de l’évaluateur est-elle reconnue ?
L’évaluateur est-il rigoureux dans le respect de la méthode ?
Check-list :
L’évalué
Comportement
Y a-t-il des résistances notables au sein du groupe évalué ?
L’évalué perçoit-il l’évaluation comme un bienfait ?
Implication
L’équipe est-elle informée sur le déroulement de l’évaluation ?
L’évalué connaît-il le but précis de l’évaluation ?
L’évalué adhère-t-il à l’évaluation ?
Les critères employés sont-ils explicites pour l’évalué ?
L’évaluation est-elle intégrée dans la stratégie de l’organisme ?
La méthode d’évaluation a-t-elle été choisie par l’évalué ?
Perspectives
Une autoévaluation complète peut-elle être réalisée ?
Un renouvellement de l’évaluation est-il envisagé ?
Attentes
L’évalué est-il satisfait de la méthode employée ?
L’évalué tire-t-il profit des améliorations proposées ?