Avertissement
Si vous arrivez directement sur cette page, sachez que ce travail est un rapport d'étudiants et doit être pris comme tel. Il peut donc comporter des imperfections ou des imprécisions que le lecteur doit admettre et donc supporter. Il a été réalisé pendant la période de formation et constitue avant tout un travail de compilation bibliographique, d'initiation et d'analyse sur des thématiques associées aux concepts, méthodes, outils et expériences sur les démarches qualité dans les organisations. Nous ne faisons aucun usage commercial et la duplication est libre. Si vous avez des raisons de contester ce droit d'usage, merci de nous en faire part . L'objectif de la présentation sur le Web est de permettre l'accès à l'information et d'augmenter ainsi les échanges professionnels. En cas d'usage du document, n'oubliez pas de le citer comme source bibliographique. Bonne lecture... 
Comment faire confiance à l'évaluation ?





pas de photo

Grégory SIERADZKI
Référence bibliographique à rappeler pour tout usage : Comment faire confiance à l'évaluation
Sébastien HACQUIN, Aroube AL SAADI, Grégory SIERADZKI , Projet d'Intégration MASTER Management de la Qualité (MQ), UTC, 2006-2007, URL : https://www.utc.fr/mastermq ; Université de Technologie de Compiègne
RESUME
L’évaluation est basée sur la confrontation entre une lecture de la réalité et un idéal souhaité.
En France, contrairement aux pays anglo-saxons, son utilisation est récente et peu maîtrisée. Elle est donc parfois mal perçue alors que son rôle est d'améliorer l'action.

Actuellement, les politiques d’évaluation s'imposent de plus en plus dans tous les secteurs. Pour profiter pleinement de la plue-value qu'elle peut apporter, il apparaît nécessaire de se l'approprier. Mais encore faut-il avoir confiance en celle-ci.

Ce rapport présente la démarche d'intervention qui a mené à l’identification de leviers, les « facteurs méthodologiques », générant de la confiance en l'évaluation.

Mots clés : confiance, évaluation, critères, indicateurs, check-list, méta-évaluation

ABSTRACT

Evaluation is based on the confrontation between reality reading and a hoped ideal. Contrary to Anglo-Saxon countries, in France, its use is recent and not very controled.So she is sometimes bad perceived whereas its role is to ameliorate the action.
At the present time, evaluation politics have been more and more imperative in every sector.To take fully advantage of the capital gain that it can contribute, it appears necessary to appropriate it. But you have to have confidence in it.

This report shows the approach which had conducted to the identification of leviers, « methodological factors », leading to confidence in evaluation.

Key words : confidence, evaluation, criteria, indicators, check-list, meta-evaluation



Remerciements

    Nous tenons tout d’abord à remercier Messieurs Gilbert Farges et Jean-Pierre Caliste pour nous avoir fourni les outils et les connaissances nécessaires à la réalisation de ce projet.
    Nous souhaitons aussi remercier tous les acteurs qui ont répondu à notre questionnaire dont la forte implication de Monsieur Stéphan Galassi et de notre tuteur pour avoir fait suivre notre enquête.

Sommaire
Introduction

Problématique_ 5

I.Note de clarification et de formulation du projet 6

    A. La définition des termes 6

    B. Les synonymes 6

    C. La reformulation des questions 7

II.Description du sujet et de la problématique 8

    A. Le concept d’évaluation_ 8

    B. Le « cadrage » de la problématique par le QQOQCP_ 10

    C. La comparaison entre la France et d’autres pays 11

    D. L’identification des causes racines 12

III.Conduite du projet 15

    A. Les acteurs concernés et leurs attentes 15

    B. Choix du mode d’intervention et des modalités de mise en oeuvre_ 15

    C. Le planning du projet 18

    D. Le tableau des ressources 19

    E. L’enquête_ 20

    F. Les contraintes et risques du projet 21

    G. Les critères de réussite_ 21

    H. Les difficultés rencontrées et les améliorations proposées 22

IV Les facteurs méthodologiques de l’évaluation_ 23

    A. Les facteurs logistiques et managériaux_ 23

        1. La préparation de l’évaluation_ 23

        2. La mise en œuvre de l’évaluation_ 25

        3. Les résultats de l’évaluation_ 25

    B. Les facteurs humains 26

        1. L’évaluateur 26

        2.  L’évalué 29

        3. Un climat de confiance entre les acteurs de l’évaluation_ 31

Conclusion et  Perspectives 33

Références bibliographiques 34

Sites Internet 34

Sources documentaires

Sommaire des illustrations
 35

Annexes 38

    Annexe 1 : Questionnaire sur la confiance attribuée à une évaluation_ 39

    Annexe 2 : Guide des bonnes pratiques : « Check List »



_ 41Introduction

retour sommaire

    « Il est important d’avoir des repères dans la vie ! ».  Cela permet, en effet, de mieux se positionner, afin de contribuer bénéfiquement à la prise de décision. L’évaluation permet justement une prise d’informations basée sur une lecture de la réalité.

    En France, contrairement aux pays anglo-saxons, son utilisation est récente et peu maîtrisée.

    Actuellement, les politiques d’évaluation deviennent dans tous les secteurs de plus en plus prégnantes. Pour profiter pleinement de la plus-value qu'elle peut apporter, il apparaît nécessaire de se l'approprier. Pour cela, encore faut-il avoir confiance en celle-ci.

Problématique

retour sommaire

        Comment avoir confiance en ces évaluations ?
        Comment mesurer le service rendu par les évaluations ?
        Comment obtenir les financements directs afférents ?
        Où en sont nos voisins européens en matière d’évaluation ? Comment la perçoivent-ils ?

    Autant de questions auxquelles il faudra tenter de répondre afin de dresser l’état de l’évaluation en France et à l’étranger et permettre la réalisation d’un guide des ‘bonnes pratiques’.


I.      Note de clarification et de formulation du projet

        A.   La définition des termes

retour sommaire

    Les termes du sujet ont été définis pour cibler le problème.

    Plusieurs définitions ont été récoltées pour chacun des termes, un choix a été effectué de sorte à ce que le terme choisi puisse s’adapter à tous les domaines de l’évaluation.

    Le nombre de définitions est mis entre parenthèses.

  1. Evaluation (19) : L’évaluation doit permettre la compréhension d’ensemble de la politique étudiée, l’appréciation globale de ses effets et du degré d’atteinte de ses objectifs, et enfin la pertinence et l’efficacité des ressources mobilisées pour sa mise en œuvre.
  2. Valeur (8) : Attribuer de la valeur à quelqu'un, quelque objet, ou quelque idée, c'est lui accorder de l'estime et de l'intérêt. C'est un attribut positif et en même temps subjectif.
  3. Audit (8) : Processus méthodique indépendant et documenté permettant de recueillir des informations objectives pour déterminer dans quelle mesure les exigences satisfont les référentiels du domaine concerné.
  4. Confiance (6) : La confiance renvoie à une attitude générale, rencontrée dans des circonstances multiples, où une personne détermine son comportement sur la base d'un sentiment plus que sur un raisonnement ou sur une recherche totale de preuves. Faire confiance, c'est, d'une certaine façon, se déterminer spontanément en faisant l'économie d'une analyse fouillée et rationnelle.

        B.   Les synonymes

retour sommaire

    Le problème a été reformulé à l’aide de synonymes.

  1. Comment : de quelle manière, de quelle façon, sur quoi, pourquoi, où, dans quelle circonstance, dans quelle mesure, en quoi, en qui.
  2. Confiance : espérance, se fier, foi, assurance, sécurité, croyance, crédibilité, approbation, fiabilité, franchise, conviction.
  3. Evaluation : audit, mesure, estimation, appréciation, jugement, contrôle, approximation, comparaison, vérification, analyse, graduation, avaluation, valere.

        C.   La reformulation des questions

retour sommaire

    La sélection des synonymes a permis la reformulation de la problématique.

 

    Exemple : Dans quelle mesure se fier à la vérification ?

    Ces questions seront utilisées pour élaborer une enquête.


II.   Description du sujet et de la problématique

          A.   Le concept d’évaluation

retour sommaire

Une précision concernant le concept est nécessaire afin d’éclaircir la multidimensionnalité, la polysémie et la diversité des formes existantes autour de ce terme. [2]

    Plusieurs chercheurs s’y sont intéressés dans le domaine de l’éducation.

                      - Patton a identifié 122 définitions différentes reliées à ce concept.

                      - Guba et Lincoln ont identifié 4 phases dans l’histoire de l’évaluation. [3]

Evolutions historiques

        1er stade centré sur la mesure

        Manque de fiabilité de par la subjectivité introduite par l’évaluation.

        La mesure présente l’inconvénient d’être fermée à tout ce qui n’est pas mesurable.

        2ème stade : 1920-1930

        Il s’agissait d’identifier et de décrire comment les programmes permettaient d’atteindre les résultats.

        Il n’y avait qu’un intérêt pour les résultats finaux.

        3ème stade centré sur le jugement

        L’évaluation est considérée comme un jugement de valeur.

        L’évalué se contentait d’être sujet de la démarche et non d’être acteur de celle-ci.

        4ème stade

        L'évaluation est conçue comme un processus de négociation entre les acteurs concernés par l’interprétation à évaluer. Cette phase est en émergence de nos jours.

        Elle doit se placer et se comprendre au sein d’une relation spécifique dont elle est un langage spécifique entre l’évaluateur et l’évalué.



Figure 1
 : Représentation de l’évolution de l’évaluation

Chacun des stades a contribué à un enrichissement du concept.

Origine

« être bien portant » « être fort »

 « ce qui est dans les normes requises pour être accepté légitiment »

 « déterminer une quantité par le calcul »

    De nos jours, l’évaluation est un processus de prise d’information basé sur la confrontation d’une lecture de la réalité avec un idéal souhaité, qui doit permettre de prendre des décisions et donc d’améliorer l’action. [4]

La place de l’évaluation

 

Figure 2 : le concept de l’évaluation sur l’échelle d’abstraction [2]

    L’évaluation n’est ni une inspection ni une mesure. Elle est actuellement plus subjective, qualitative et plus complète ; c’est une phase de mesure des résultats suivie d’une phase d’évaluation de ceux-ci. Elle s’inscrit donc dans un espace de décision et d’incertitude.  


            B. Le « cadrage » de la problématique par le QQOQCP
retour sommaire

    Qui sont les acteurs concernés ?                           

    Quel est le problème ?

    Où apparaît  le problème ?

    Quand apparaissent les problèmes ?

    Comment apparaissent les problèmes ?

    Pourquoi faut-il résoudre ce problème ?

            C. La comparaison entre la Fance et les autres pays
retour sommaire

    En France, évaluer est difficile du fait de la nouveauté du concept. De plus, un problème d’éthique se pose, car une évaluation juste, impartiale et franche est demandée.

    Dans des pays tels que les Etats-Unis, le Canada, l’Angleterre ou encore la Suisse, des chartes sont mises en place afin de normaliser le concept d’évaluation dans l’enseignement et donc d’assurer la transparence des comportements et la reconnaissance de l’apprentissage non formel. [5]

    En Suisse, le standard proposé par un organisme évaluateur est basé sur quatre critères. [6]


Schéma 1 : D’après une confédération d’évaluation Suisse

    Chacun de ces critères a un objectif bien déterminé.

    L’objectif de l’utilité est de garantir qu’une évaluation est orientée sur les besoins d’informations des utilisateurs de l’utilisation prévue.

    L’objectif de la précision  est de garantir qu’une évaluation fournit et transmet des informations valides et utilisables.

    L’objectif de la faisabilité est de garantir qu’une évaluation est exécutée de manière réaliste et mûrement réfléchie avec diplomatie et dans la conscience des coûts.

    L’objectif de la déontologie est de garantir qu’une évaluation est exécutée correctement du point de vue juridique et éthique et qu’elle accorde à l’intégrité des parties prenantes et groupes concernés l’attention qui leur est due.

    Ce standard d’évaluation permet d’augmenter la crédibilité, la qualité et la confiance qu’on peut avoir dans l’évaluation.

    Aux Etats-Unis, l’évaluation est une pratique ancienne instaurée depuis la seconde guerre mondiale, tandis qu’en France, c’est une science neuve. [7]

    L’évaluation en France est peut être inadaptée et ne répond pas exactement aux objectifs fixés. Il faut donc savoir précisément pourquoi on évalue, c’est pourquoi la LOLF (Loi Organique Relative aux Lois de Finances) a permis l’instauration du Conseil National de l’Evaluation Sociale et Médico-Sociale (CNESEM) afin qu’il puisse élaborer des référentiels d’évaluation. [8]

    Le conseil d’évaluation du CNESEM  doit élaborer les outils et instruments formalisant les procédures, les référentiels et les recommandations de bonnes pratiques professionnelles.

            D. L'identification des causes racines
retour sommaire

    Le diagramme d’Ishikawa reprend les facteurs qui contribuent à donner confiance en l’évaluation :

    Voici quelques-unes des causes qui pourraient améliorer l’image de l’évaluation en France et donc lui permettre d’être mieux acceptée.


Figure 3 : Les facteurs générant de la confiance en l’évaluation

    Il convient de définir les termes « culture » et « sociologie » pour clarifier le sujet et donc éviter des amalgames.
    La culture est un ensemble de connaissances transmis par des systèmes de croyance, par le raisonnement ou l’expérimentation, qui la développent au sein du comportement humain en relation avec la nature et le monde environnant.

    En France, on distingue deux acceptations différentes pour le mot culture :

    Les facteurs culturels : l'évaluation est parfois difficile à accepter de la part des évalués. Elle est perçue comme une démarche dont on ne maîtrise pas forcément tous les effets. Elle revêt donc parfois une connotation négative. [9]

    L’évaluation est vécue comme un malaise, la transparence et l’objectivité de l’évaluation sont souvent difficiles à accepter.

    Il convient d’observer certains principes éthiques en évaluation des actions. [10]

    Ces principes sont les suivants  :

    Il est indispensable que l'évaluation soit pleinement acceptée par tous au départ du programme, sinon elle risque d’être vécue comme un contrôle et risque d’entraîner peu d’adhésion pour les recommandations qui en découleront, alors qu’elle devrait être perçue comme un moyen de valorisation de l’action.

    La formation et le dialogue, des évaluateurs compétents, des demandeurs bien informés contribuent à l'instauration d'une culture de l'évaluation.

    L’implication des acteurs dans la démarche et ses conséquences offre la possibilité de développer une véritable culture de l’évaluation.
    La mise en place d’un système d’autoévaluation est considérée comme une étape cruciale.

    L’élaboration des recherches montrant les bienfaits de l’évaluation et les financements qu’elle peut apporter sont déterminants.

    La sociologie est l’étude des phénomènes sociaux humains.

    Les facteurs sociologiques : l’évaluation symbolise une perte de pouvoir ou d’autonomie et une remise en cause des comportements.
    Les perceptions de chacun sont très différentes, de plus la réalité est multidimensionnelle ou mal définie, ce qui empêche un modèle unique de l’évaluation.

Il faut développer chez les acteurs à la fois la volonté de changer mais aussi leur capacité à imaginer des solutions novatrices et adaptées à la mise en œuvre des correctifs et évolutions quant à leur pratique actuelle. Le changement social peut servir à promouvoir, à défendre et à contester des méthodes, ce qui permet de façonner l’opinion publique. Il est difficile d’agir sur les facteurs culturels et sociologiques. L’étude menée s’oriente donc sur les facteurs méthodologiques générant de la confiance en l’évaluation. Les facteurs méthodologiques contribuant à générer de la confiance en l’évaluation ont été regroupés en deux catégories, distinguant les facteurs humains des facteurs logistiques et managériaux.


Figure 4 : Les facteurs méthodologiques générant de la confiance en l’évaluation

III. Conduite du projet

       A.   Les acteurs concernés et leurs attentes

retour sommaire

           - Une recherche bibliographique approfondie ;
           - La création d’un guide de bonnes prat
iques ;
           - L’établissement d’une synthèse des différents documents recueillis.

           - Comprendre les fondements de la mise en œuvre de l’évaluation  ;
           - A acquérir des bases solides dans l’évaluation afin de s’adapter plus aisément sur le terrain

           -  D’obtenir une synthèse claire et concise ;
           -  La proposition d’actions permettant de donner confiance en l’évaluation.

        B.   Choix du mode d’intervention et des modalités de mise en oeuvre

retour sommaire

    Les quatre options d’intervention envisagées pour analyser les facteurs méthodologiques donnant confiance en l’évaluation sont :

Schéma 2 : Principales caractéristiques des options d’intervention choisies

    Afin d’identifier les risques des options d’intervention et leurs alternatives envisagées, un diagramme de décision a été réalisé.

Figure 5 : Les options d’intervention, leurs risques et les alternatives envisagées

    Un vote a permis d’établir la faisabilité et la pertinence de chacune des options d’intervention, la moyenne de ces résultats est indiquée dans le tableau ci-dessous, ce qui contribue à déduire l’option la plus faisable. Ce serait la recherche bibliographique dans le cadre de notre projet et la plus pertinente serait la réflexion personnelle.

    L’élaboration d’une représentation mentale de l’apport de chaque option d’intervention a été mise en place afin d’identifier les interventions les plus adaptées au suivi du projet.

Tableau 1 : Faisabilité et pertinence de chaque option d’intervention en %



Figure 6 : Représentation mentale de l’apport des options d’intervention en fonction du temps

    La « plus value » correspond à l’apport généré pour une intervention.

    Ce graphique montre que toutes les options d’intervention doivent être traitées et demeurent des sources d’informations non négligeables.

    Il est à noter que la plus value doit être perçue comme un apport non quantifiable.

            C. Le planning du projet
retour sommaire



Schéma 3
 : Planning de mise en oeuvre

Le planning établi permet l’avancement du projet, en prenant en compte les risques probables.


        D.   Le tableau des ressources

retour sommaire

    Le tableau récapitule l’ensemble des recherches documentaires pour ordonner le travail et partager les tâches.

Tableau 2 : Suivi des recherches documentaires
 

Nombre de documents collectés

Nombre de documents choisis



Initiales


Moteur de recherche

   

   

Google

31

6



S,G,A

 

Yahoo

10

3



A

 

Altavista

22

1



A

 

Exalead

14

1



A

 

Google scholar

8

 0 

A

 

Scirus

0

0



G

 

Copernic

2

1



G

 

Metacrowler

2

1



G,A

 
     

   

Source universitaire

   

   

Butc : eliot.utc.fr

2

1



G

 

Ecrits

0

0



G

 

Documents électroniques

2

0



G

 

CISMEF

0

0



G,A

 
     

   

Source littéraire

0

0



G

 
     

   

Blogs

   

   

Google blogs

6

1



A

 

Technorati

2

0



A

 

Fils RSS

0

0



S

 
     

   

Base de données

   

   

EspaceNet

0

0



S

 

Scopus

0

0



S

 

Delphes

0

0



S

 

Pressens

0

0



A

 

La documentation frnçaise

14

6



G

 

Technique ingénieur

0

0



S

 

Sagaweb

5

1



S,A

 

    Une concertation dans le groupe a permis le choix des documents les plus pertinents (une vingtaine environ), après le recours à un vote pour une sélection. Les documents sélectionnés sont classés en catégories dans le tableau ci-dessous.

Tableau 3 : Nature et nombre des  documents sélectionnés

Désignation

Quantité

Outils de référence

5

Publications scientifiques

7

Informations administratives

4

Articles

4

Articles Normatifs

1

Articles Réglementaires

1



            E. L'enquête
retour sommaire

    Le questionnaire fourni en annexe 2 a été envoyé (80 envois) à des professionnels ainsi qu’à des étudiants, 28 questionnaires ont été complétés et analysés.

Figure 7 : Quantification des facteurs donnant confiance en l’évaluation

Les réponses ( 251) ont été classifiés suivant les facteurs qui génèrent de la confiance en l'évaluation. L'importance de chaque facteur a été quantifié, il en ressort que la méthode de l'évaluation influe fortement sur la confiance, les personnes interogées (professionnels et étudiants) accordent plus d'importance  à la préparation et aux résultats de l'évaluation, il apparaît donc judicieux de travailler plus particulièrement sur ces étapes. Ces résultats ont permis de compléter les informations obtenues à l'aide des recherches documentaires, ainsi que d'identifier les facteurs prépondérants influençant la contribution de la confiance en l'évaluation.

            F. Les contraintes et les risques projet
retour sommaire

    Le tableau ci-dessous représentent les risques identifiés sur le planning et les alternatives proposées.

Tableau 4 : Risques et leurs alternatives du projet

Risques identifiés

Alternatives

Risque 1 : Dispersion des recherches bibliographiques

Cibler les documents sélectionnés

Risque 2 : Etablir des questions compréhensibles, pertinentes et exploitables

Effectuer des tests sur un échantillon d’entreprises

Risque 3 : Manque de retour des questionnaires

Contact téléphonique

Risque 4 : Problème de la gestion du temps

Respecter le plannin


            G. Les critères de réussite
retour sommaire

    Pour maîtriser les risques projets identifiés, des objectifs mesurables ont été définis, les résultats obtenus à l’issu du projet sont probants.

    Objectifs                                                                                           Mesure au 15 décembre

    1) Identifier et limiter à 20 les documents pertinents                                     20

    2) 60 % des questionnaires reçus intégralement remplis                            85%

    3) Au moins 20 questionnaires reçus pour notre analyse                             28

    4) Respect du planning                                                                             Aucun écart

            H. Les difficultés rencontrées et les améliorations suggérées
retour sommaire

Tableau 5 : Difficultés et améliorations pour le projet

Difficultés rencontrées

Améliorations suggérées

- Aucun entretien réalisé avec des professionnels

- Acquérir rapidement des connaissances élémentaires pour paraître crédible

- Difficultés pour cerner rapidement la problématique (sujet abstrait)

- Mieux se déplacer sur l'échelle d'abstraction

- Manque d'inférence lors de l'élaboration du questionnaire

- Suivre une formation sur l'élaboration d'enquêtes

- Manque de la prise en compte de la culture anglo saxonne

- Envoyer des questionnaires à l'étranger



IV.          Les facteurs méthodologiques de l’évaluation

        A.   Les facteurs logistiques et managériaux

retour sommaire
Tout au long du processus de l'évaluation, il est nécessaire de jouer sur la transparence.

    En effet, outre l'exigence d'un exposé complet et rigoureux des méthodes mises en œuvre, l'évaluation doit expliciter son propre "mode d'emploi" et ses limites:

    Cet effort de lucidité et de réflexivité est d'autant plus nécessaire que les évaluations sont généralement imparfaites. Elles laissent de nombreuses questions dans l'ombre et les résultats auxquels elles parviennent n'ont pas tous la même portée ni la même robustesse.

    Il importe donc de faire appel à des regards multiples sur la situation à évaluer.

    Selon Patton, il est difficile de déterminer les méthodes à utiliser car il n’existe pas de normes universelles et absolues à cette pratique.

                1. La préparation à l'évaluation
retour sommaire

    Il apparaît tout d’abord  nécessaire de bien définir l’objet et le contexte de l’évaluation par l’établissement d’un cahier des charges permettant d’exposer les motifs et les raisons de la mise en pratique de l’évaluation.

    Il doit être clair, compréhensible et le plus détaillé possible.
    Il doit y contenir les dates-clés de l'évaluation pour distinguer les différentes étapes du travail et les délais prévus pour la remise du rapport intermédiaires et finaux.

    Son élaboration permet d’estimer la durée nécessaire et le budget éventuel que l’évaluation requiert afin d’en distinguer les bienfaits économiques qui pourraient se dégager de sa finalité. Par conséquent, les avantages de l’évaluation doivent l'emporter sur le coût en assurant une gestion rigoureuse, par le choix des évaluateurs et des méthodes d'évaluation les mieux adaptées. [12]

    La transparence de ce budget est déterminante pour la suite des opérations.

    De plus, l’identification des parties prenantes est nécessaire pour limiter les effets des réseaux d’influence, mais aussi pour préciser les finalités et l’accord vis à vis du produit attendu. Il importe en particulier de faire participer le plus rapidement possible les responsables de la conception, du financement et de la mise en oeuvre de la mesure que l’on se propose d’évaluer, de même que les personnes ou organismes auxquels elle s’adresse, afin de créer un climat de confiance propice à la coopération. [13] En s’efforçant de déterminer très tôt les besoins des parties prenantes et groupes concernés, on se donne toutes les chances de reconnaître à temps les conflits d’intérêts qui se profilent à l’horizon et de trouver un moyen de les résoudre, sans faire de concessions sur les buts de l’évaluation.

    Il est capital pour le succès d’une évaluation que l’objectif visé et les questions posées soient absolument clairs aux yeux de toutes les parties prenantes et de tous les groupes concernés. Cela permet d’éviter les malentendus.

    Il est aussi nécessaire de définir le périmètre de l’objet à évaluer pour éviter les ambiguïtés ou la dispersion autour de l’objet évalué. Il permet d’établir les objectifs mesurables attendus.

    Ces objectifs ont une incidence sur le choix des responsables de l'évaluation, de la méthodologie utilisée et de la finalité.

    Les évaluations devraient être adaptées aux caractéristiques de l’entité évaluée et tenir compte de différentes contraintes de coûts et de temps.

    Le service doit se limiter à l’objet, il ne doit donc pas empiéter sur d’autres processus même s’ils sont connexes.

    En ce qui concerne l’équipe d’évaluateurs, elle doit être multidisciplinaire et composée au minimum de trois personnes. Leurs compétences,  leur organisation et l’infrastructure du groupe doivent être transparentes, ce qui doit être aussi le cas des évalués.

    La méthode doit  donc être adaptée au contexte et à l’objet à évaluer. Elle doit être conçue avec l’accord de l’ensemble des parties prenantes. [14]

    De plus, le  référentiel (référent) doit être établi en adéquation avec les besoins de l’entité évaluée. Tout en étant pertinente et faisable, elle doit posséder des propriétés de flexibilité  et de souplesse pour sa mise en œuvre. Il est préférable de rédiger les références selon un  mode affirmatif et positif pour s’orienter dans une démarche de collecte d’informations les plus proches de la réalité.
    La légitimité de l'évaluation passe par sa contractualisation. Les négociations du contrat doivent se dérouler dans une atmosphère empreinte de respect et de confiance mutuel. Cette phase peut avoir une influence déterminante sur le succès de l'évaluation ; en effet, l'établissement du contrat donne aux deux parties l'occasion de repenser le projet et de l'adapter  véritablement aux besoins des destinataires.         Le respect d'une charte des bonnes pratiques peut y contribuer.
        De plus, les référentiels doivent être représentatifs des dispositions legislatives et réglementaires pour s'assurer du respect déontologique et éthique.

    Si l’on s’intéresse aux éléments proprement dits de la méthode, tels que les indicateurs  et les critères, leur choix est déterminant pour l’analyse des résultats. Ils doivent faire preuve d’inférence dans leur choix permettant une approche qualitative et quantitative de l’objet évalué.

    Une des étapes importantes dans la mise en place de l’évaluation est la planification qui permet son optimisation.

    Celle-ci définit les modalités d’intervention, fixe les limites temporelles et spatiales du processus. Elle permet également d'améliorer la gestion et la qualité des évaluations et doit être naturellement réalisée avec l’ensemble des parties prenantes. 

    Le choix du moment opportun pour procéder à l'évaluation peut être déterminant.

                2. La mise en oeuvre de l'évaluation

retour sommaire

    Lors de sa mise en œuvre, la transparence doit être de rigueur afin d’instaurer un climat de confiance entre les différentes parties.

    La relation entre évalué et évaluateur doit être vécue comme un rapport de partenariat et non d’autorité pour permettre une confrontation et favoriser les échanges d'expériences et de compétences.

    L’organisation du travail au sein de l’équipe d’évaluation doit se montrer  judicieuse et réaliste. Elle permet notamment la mise à contribution des différentes compétences en fonction des problèmes à résoudre et des délais fixés.

    En effet, l’environnement doit privilégier l'obtention des résultats, il est nécessaire que toutes les parties participent activement. Les conflits d’intérêt doivent être abordés de manière ouverte et franche afin d’éviter toute ambiguïté, il est donc nécessaire d’éviter les conversations personnelles ou hors cadre.

    En ce qui concerne la démarche proprement dite, elle doit être réalisée d’un point de vue correct au niveau éthique et juridique.

    De plus, elle doit être respectée avec l’aide d’indicateurs de suivi par jalon. Afin d’être à la portée de tous, elle doit être porteuse de sens e développant un raisonnement crédible et compréhensible.

    Les outils doivent être maîtrisés, pertinents et cohérents afin de pouvoir prendre des décisions opérationnelles dans de brefs délais.

    Pour cela, il est nécessaire de collecter des données sans les interpréter. 

    Il est possible de développer des instruments et des procédés de cueillette continue des données pour rendre le processus progressif et respecter le cheminement de la démarche.

    II convient en particulier d'être attentif aux biais que les techniques de collecte et de traitement des informations peuvent introduire dans la production des conclusions. Un regard extérieur permet aussi de conforter le respect de la démarche.
    Or, il est tout à fait possible qu'un ajustement du projet initial s'impose en cours d'évaluation si le contexte des données ou le cadre général ont évolué.


              3. Les résultats de l'évaluation

retour sommaire

    Un rapport complet et transparent ainsi que la diffusion des résultats à tous les destinataires augmentent les chances de réelle utilité de l’évaluation. Cela vaut pour toutes les évaluations, quels que soient les objectifs que l’on se propose d’atteindre. Il est capital d’y trouver un résumé complet des principaux résultats et conclusions, ainsi que des recommandations.

    L'impartialité des conclusions et la manière dont celles-ci sont justifiées par les informations collectées sont déterminantes. [15]

    Il convient donc de faire un bilan avec l’ensemble des parties prenantes avant la publication des résultats afin de pouvoir mettre sur pied le plus vite possible des actions d’amélioration. 

    La détermination de la satisfaction ou non de la pratique peut renforcer sa validité. 

    Il importe de confronter les résultats de l’évaluation auprès des acteurs du projet, de façon à vérifier si les problématiques ont été comprises par les évaluateurs externes de la même façon que par les acteurs internes.

    Il s’agit en effet de s’assurer que les recommandations soient pertinentes et significatives pour les acteurs et que le processus d’évaluation soit véritablement formateur. En ce sens, une réunion peut avoir lieu après l’exercice d’évaluation.

    En effet, le rapport doit être clair, synthétique et présenté en temps utile (date prévue lors de la planification). Il importe de veiller à une présentation complète, honnête et impartiale des points forts et des points faibles de l’objet de l’évaluation.

    L’évaluateur doit permettre la diffusion des résultats et des caractéristiques et aider à la compréhension de l’activité ou de l’objet évalué.

    L’utilité, la robustesse, la pertinence et la crédibilité de l’évaluation doivent être de rigueur.

    Pour assurer une utilisation optimale des résultats de l’évaluation, il importe de veiller à ce que toutes les parties prenantes et tous les groupes concernés aient accès au rapport d’évaluation et soient avertis de sa publication. Il peut être nécessaire d’établir une "check-list" pour vérifier que tous les éléments sont présents dans le rapport.

    La confrontation entre le référent et le référé doit déboucher sur une mise en évidence des écarts pour faciliter la résolution des problèmes.

    La confiance en ces résultats peut se renforcer par l’évaluation même de l’équipe évaluatrice ou par l’élaboration d’une grille d’auto-diagnostic pour l’évaluateur, ainsi que d’une méta-évaluation (évaluation de l’évaluation).        

    Les résultats doivent garantir l’amélioration et la mise en évidence des actions à entreprendre et leur priorisation pour donner du sens à la pratique. Ils permettront de fixer un plan d’orientation de suivi des recommandations les plus urgentes puis de fixer de nouveaux objectifs.

        B.   Les facteurs humains

                1. L'évaluateur


retour sommaire
  Rôle et légitimité de l’évaluateur

    La responsabilité de l'évaluateur est de communiquer, de manière compréhensible, les résultats obtenus.

    « Le jugement d’un seul n’est pas la loi de tous », par Jacques Bastin.

    L’évaluateur doit pénétrer la dimension idéologique de l’action et de l’organisation qu’il évalue. S’il ne doit pas y adhérer, il doit en saisir le sens pour pouvoir juger la cohérence de l’action. Sa mission étant de prendre du recul, il n’est pas question pour l’évaluateur de prendre fait et cause pour l’action, ce qui le disqualifierait à porter dessus un regard extérieur et critique.

    L’évaluateur est amené à observer une réalité et à porter une appréciation sur celle-ci. Il lui est  demandé de faire des recommandations en vue d’améliorer l’action.

    Pour émettre un jugement et des conseils, sa légitimité doit être reconnue par le commanditaire.

    Le commanditaire doit pouvoir avoir confiance en l’évaluation si l’évaluateur répond à un certains nombres de critères. [16]


Le savoir-faire de l’évaluateur

    Compétences Professionnelles

    L’évaluateur ayant suivi une formation spécialisée sera en mesure d’utiliser des méthodes standardisées, de proposer une analyse qualitative et quantitative, de choisir des indicateurs adéquats, d’identifier les parties prenantes et d’assurer la confidentialité.

            La mise en évidence des écarts constatés

            La mise au point d'une grille d'autodiagnostic

            La mise en place d’un suivi

            Une aide à l’identification des problèmes

            Un bilan avec les personnes concernées

            Travailler leur habileté sur les plans méthodologiques et leurs pratiques

            Une autoévaluation des évaluateurs.

    Avant de maîtriser les techniques de l’évaluation, un atout pour l’évaluateur est de disposer d’une pratique la plus diversifiée possible.

    En effet c’est, entre autres, en se référant à l’une de ses propres expériences que l’évaluateur tentera de mesurer la bonne marche de l’action qu’il évalue.

    Étant payé par son client, l’évaluateur se doit de lui rendre des comptes, la qualité de son travail est à son tour évaluée.

    L’évaluateur prend position : l’exercice d’évaluation n’est pas un exercice technique neutre. En faisant sa photo de la réalité, l’évaluateur choisit un angle de vue, une distance, un cadrage et un objectif. Il porte ensuite un jugement sur l’image prise à partir de sa vision des choses, de son expérience, de ses échelles de comparaison.

    Les évaluateurs doivent constamment chercher à maintenir et à améliorer leurs compétences afin d'offrir le meilleur rendement possible dans l'exécution de leur évaluation.

    Compétences Individuelles

    Quelques traits spécifiques à l’évaluateur génèrent de la confiance en l’évaluation.

    Les évaluateurs doivent s'engager dans un processus d'apprentissage qui durera toute une vie.

    Tout d’abord, l’évaluateur doit montrer la maîtrise de l'évaluation et respecter les exigences du client, avec une certaine particularité philosophique et une habilité tout au long de l’évaluation.

    Il doit garder une discrétion dynamique tout en étant capable d'observer, d’analyser et de tirer des conclusions fondées sur un raisonnement et une analyse logique.

    Le fait de fournir les techniques et l'œil d'un expert aux évalués a un impact sur leur ressenti.

    Les connaissances techniques et sociales jouent donc un rôle primordial dans la compréhension de l’action évaluée et de son contexte.

    La compréhension des experts (évalués) est également nécessaire à la réalisation d’une évaluation efficace.

    L’évaluation par des évaluateurs indépendants est appropriée lorsqu’il s’agit d’aider à mieux rendre compte et à améliorer la transparence.

Le savoir être de l’évaluateur

    L’évaluateur doit trouver sa place. Il donne la parole et se met à l’écoute des acteurs concernés par l’action évaluée.

    Une bonne communication écrite et orale est souhaitée pour assurer un raisonnement crédible et compréhensible.

    L’absence de préjugés aide à une évaluation neutre. Pour cela, l’évaluateur doit être capable de comprendre la diversité culturelle,  les personnalités et garder les dimensions humaines.

    Un évaluateur ne doit pas avoir l'air d'être un contrôleur.

    Comportement durant l’évaluation

      La crédibilité de l’évaluateur et sa capacité à retranscrire les faits fidèlement sont exigées.
    Des caractéristiques tels que l’objectivité, la neutralité, l’impartialité, la capacité de communication, le sens de l’écoute et du dialogue, le sens pédagogique, la déontologie, permettront à l’évaluateur d’apporter une vision externe en faisant preuve de souplesse.
S'il exerce sa subjectivité, l'évaluateur doit faire preuve de rigueur dans sa méthode et dans ses raisonnements. La photo doit être la plus nette possible et bien représenter l'objet de l'évaluation. Le recueil d'informations, l'analyse de l'information, les grilles utilisées, les raisonnements à la base des conclusions et des recommandations doivent être limpides pour le commanditaire.

    Le professionnalisme acquis

    La perception acquise par l’évaluateur lui permet de pouvoir percevoir les ambiguïtés, d’éclaircir les zones d'opacité, et ainsi d’orienter son travail vis à vis de la situation.

    Etant conscient du poids de son rôle, il s'assure que les différents aspects de la question posée et les différentes approches possibles sont identifiés, sa capacité d'analyse de synthèse et de gestion du temps doit être efficace et donc rassurante pour l’évalué.

    Un évaluateur prononcé est capable de :

                2. L'évalué
retour sommaire

    Rôle et légitimité de l’évalué

    Il est bon qu’une organisation procède à une autoévaluation lorsque les principaux objectifs visés sont d’acquérir des connaissances sur cette organisation et d'en améliorer le fonctionnement.

    Choix de l’évaluation

    La demande d'évaluation doit être formulée, précisée et coordonnée par les parties prenantes pour permettre l’adhésion des intéressés.

    Le choix de l’évaluateur par le commanditaire et l’élaboration des termes de référence sont essentiels dans la démarche d’évaluation. Le commanditaire en attend un miroir de son action et de l’organisation qu’il met en place pour la piloter. L’évaluation lui appartient, il décide par qui et ce qu’il va faire évaluer. Son but est de questionner sa pratique pour progresser. [17]

    État d'esprit

    L’évalué doit connaître le but de l’évaluation pour se l’approprier et profiter de l'apport  qu’elle pourra lui proposée.

    L’évalué doit pouvoir accepter une vision externe et comprendre les responsabilités et l'objectivité de l'évaluateur.

    La déontologie et l’approche de la culture de l’évaluation permettent à l’évalué de ne pas porter de préjugés durant le déroulement de l’évaluation et de garder les dimensions humaines avec son interlocuteur.

    Comportement

    L’évalué doit participer activement et vivre l'évaluation comme un bienfait. Il peut contribuer à la réalisation d’une évaluation efficace et objective en montrant les zones d’opacité et en les éclairant.

    Les conditions de la prise de vue doivent être négociées au préalable. Le commanditaire doit s’assurer que le point de vue qui est exercé est bien celui qui est désiré.

    Information/Formation

    Il apparaît souhaitable que, d'une manière ou d'une autre, les animateurs d'action soient préalablement informés sur le bien-fondé, la nature et "l'esprit", les dimensions ou critères envisagés, et donc de l'intérêt qu'ils peuvent retirer de cette approche "avalisante".
    Les parties prenantes doivent être conscientes que l'évaluation est une forme de communication très dépendante du contexte.

    Il est souhaitable d’assurer la formation du personnel de manière à éviter les écarts du chapitre de la capacité d'évaluation, ou à y remédier.

    Participation active

    Les parties prenantes, y compris le personnel, peuvent être désignées pour participer à des commissions d'évaluation ou associées dans le cadre de groupes de direction ou de groupes consultatifs. Les méthodes d'évaluation participatives peuvent servir à dégager des consensus et à susciter chez les intéressés la volonté de s’impliquer dans le processus de changement. Le dialogue avec les utilisateurs et le personnel permet de mieux comprendre leurs besoins et leurs priorités et de mieux y répondre. Les modalités de participation doivent être définies en tenant compte des coûts, des contraintes de temps et des risques d’appropriation inhérents à de tels processus.


            3.     Un climat de confiance entre les acteurs de l’évaluation

retour sommaire

    La confiance, qu’est-ce que c’est ?

    La confiance basée sur une sorte « d’engagement à respecter la norme » issu d’un code partagé (souvent implicite) de devoirs réciproques, de valeurs morales et d’éthique.

    La perspective rationnelle se définit comme « une attente sur les motivations d’autrui à agir conformément à ce qui était prévu dans une situation donnée ». Elle considère l’individu comme un acteur rationnel, prévisible, et sa rationalité est confortée par le fait que ses choix et ses actes sont gagnants, utiles.  

Tableau 6: Les conventions qui favorisent l’établissement d’un niveau de confiance pour un travail collaboratif efficace [18]

Catégorie

Caractéristiques

Facteurs et comportements

Intégrité

Honnêteté, éthique, loyauté, respect, fiabilité et engagement

Etre honnête

Tenir ses engagements

Etre réactif

Etre droit et loyal

Etre fiable

Habilitation

Savoirs, savoir-faire, compétences individuelles et collectives

Mettre en application avec succès les savoirs, compétences

Partager les expériences, les bonnes pratiques

Ouverture

Volonté de partager des idées et des informations, intérêt aux autres, apprendre des erreurs 

Informer les autres

Partager librement les idées et les informations

Etre curieux

Donner un feed-back positif

Reconnaître ses erreurs

Charisme

Empathie, envie de bien faire, bonne volonté, générosité

S’entraider

Etre amical

Etre courtois

Avoir de la considération

Rester humble

Savoir apprécier le travail des autres

Attentes

Bénéfice potentiel, cohérence, évaluation

Etre à l’écoute des attentes

Rechercher un consensus ou des compromis

Rester cohérent sur les attentes

    Un travail de qualité corrélé à un dialogue franc et ouvert sont de nature à améliorer la crédibilité tout en faisant ressortir les lacunes auxquelles il faudra remédier.

    La confiance est renforcée à condition que :

    Ces facteurs renforcent l’établissement de la confiance et permettent d’obtenir une performance plus élevée.


Conclusion et  Perspectives

retour sommaire

    L’évaluation est une pratique de plus en plus utilisé dans l’ensemble des organisations, cependant sa pratique n’est pas toujours maîtrisée.     Pourtant, il est nécessaire de se l’approprier, encore faut-il accorder de la confiance en celle-ci.

    Cette étude identifie les différents facteurs méthodologiques générant de la confiance en l’évaluation, une enquête auprès de professionnels a servi à les valoriser.

    Souvent, l’essentiel de l’énergie est canalisée sur le déroulement de l’évaluation. Cependant, il apparaît que la confiance est générée surtout lors de la préparation et du devenir de l’évaluation, il est nécessaire de leur accorder plus d’importance.

    Pour répondre et contribuer à une évaluation efficace, un guide des bonnes pratiques a été élaboré.

    La science de l’évaluation est récente en France et cette étude aura besoin d’être actualisée dans un délai de 3 ans par une nouvelle promotion du master management de la qualité de l’Université de Technologie de Compiègne.

    Il serait intéressant qu’une étude complémentaire soit réalisée sur les aspects plus abstraits (culturels et sociologiques). Ce travail pourrait être réalisé, avec une approche différente, par des étudiants en sociologie, par exemple.


Références bibliographiques

retour sommaire

  Sites Internet

retour sommaire

         www.evaluation.gouv.fr

         www.cner.gouv.fr

         www.oecd.org/puma.html

         www.ladocumentationfrançaise.fr/ 

         www.insee.fr

         www.anaes.fr

         http://www.ifrance.com/eval/validite.html

         http://www.social.gouv.fr/

         http://www.evaluationpiste.htm


   Sources documentaires

retour sommaire

    [1] L’évaluation en formation
    Barbier, J-M, Presses Universitaires de France, Paris,4ème édition, 2000, 309 p.

    [2] Le statut de l’auto-évaluation dans la démarche du changement
    Thèse du doctorat en Sciences de Gestion de Véronique Baptiste, pp 10-68 

    [3] Fourth Generation Evaluation - Newbury Park, Sage, 1990

    [4] Éthique et évaluation - CNRS - décembre 2004, pp 3-4

    [5] Evolution des universités, dynamique de l'évaluation - CNE- 1985-1995, 114 p.

    [6] Guide de l'évaluation de l’efficacité à la Confédération - Instrument d’assurance qualité fondé sur les standards d’évaluation de la Société suisse d’évaluation (Standards SEVAL) - Thomas Widmer - Berne, 2005, 29 p.

    [7] L'évaluation au pouvoir

    ARDOINO, J., BERGER, G. n°107, Privat,  juillet-août 1986, 74 p.

    [8] CONSEIL NATIONAL DE L ’ÉVALUATION SOCIALE ET MÉDICO-SOCIALE - Guide de l évaluation interne -  septembre 2000, 40p.

    [9] L'auto-évaluation, une démarche innovante - ARNAUDO, L., Audit, n° 148, février 2000, pp 30-32

    [10] Évaluation d’une action de santé publique : Recommandations, ANDEM/Service Formation/Octobre 1985,  pp. 16

    [11] Comment fonctionne l'évaluation de la conformité  - Organisation Internationale de Normalisation - Avril 2005

    [12] AGENCE NATIONALE D’ACCREDITATION ET D’EVALUATION EN SANTE
    Manuel d'accréditation, Paris, ANAES, juillet 1998, 136 p.

    [13] NFX 50-110  Qualité en expertise, Prescriptions générales de compétences pour une expertise - AFNOR - Mai 2003

    [14] Utilization-Focused Evaluation (U-FE) checklist- Michael Quinn Patton - January 2000 – 6 p.

    [15] Pour une accréditation à la française - CLAVERANNE, J.P., Note à M. Le Ministre de la Santé, 3 p.

    [16] Rôle et légitimité de l’évaluateur, 2 mai 2006, Jacques Bastin

    [17] L’évaluation en questions, une journée de réflexion sur l'évaluation des actions, le 22 septembre 2000

    [18] Le rôle de la confiance dans la performance collective, publiée le 17 octobre 2004, Jean-Yves Prax

retour sommaire

Sommaire des tableaux

    Tableau 1 : Faisabilité et pertinence de chaque option d’intervention en % 

    Tableau 2 : Suivi des recherches documentaires

    Tableau 3 : Nature et nombre des documents sélectionnés

    Tableau 4 : Risques et leurs alternatives du projet

    Tableau 5 : Difficultés et améliorations pour le projet

    Tableau 6: Les conventions qui favorisent l’établissement d’un niveau de confiance pour un travail collaboratif efficace

Sommaire des figures

    Figure 1 : Représentation de l’évolution de l’évaluation 

    Figure 2 : Le concept de l’évaluation sur l’échelle d’abstraction

    Figure 3 : Les facteurs générant de la confiance en l’évaluation

    Figure 4 : Les facteurs méthodologiques générant de la confiance en l’évaluation

    Figure 5 : Les options d’intervention, leurs risques et les alternatives envisagées

    Figure 6 : Représentation mentale de l’apport des options d’intervention en fonction du temps

    Figure 7 : Quantification des facteurs donnant confiance en l’évaluation

Sommaire des schémas

    Schéma 1 : Principe de la Confédération Suisse de l'évaluation

    Schéma 2 : Principales caractéristiques des options d’intervention choisies

    Schéma 3 : Planning de mise en œuvre

Glossaire

    ANAES : Agence Nationale d’Accréditation et d’Evaluation en Santé

    CNESEM : Conseil National de l’Evaluation Sociale et Médico-Sociale

    LOLF : Loi Organique Relative aux Lois de Finances

Annexes

    Annexe 1 : Questionnaire sur la confiance attribuée à une évaluation

    Annexe 2 : Guide des bonnes pratiques : "Check List"
retour sommaire



Annexe 1 : Questionnaire sur la confiance attribuée à une évaluation



 
    Dans le cadre de notre projet de fin d’études à l’Université de Technologie de Compiègne, nous réalisons une enquête sur les facteurs méthodologiques, sociologiques et culturels influençant la confiance en l’évaluation.

    Nous vous proposons donc de répondre aux questions ci-dessous qui nous permettront d’enrichir notre travail. En échange, nous vous proposons de vous envoyer le rapport final de ce projet dès le mois de Janvier 2007.

    Problématique de notre projet : Les politiques d’évaluation deviennent de plus en plus prégnantes dans tous les secteurs des services marchands ou non marchands, du tertiaire, santé, social ou médico-social. Dans ce cadre de nombreuses évaluations internes ou externes sont menées sur les pratiques ou processus des organisations.

    Comment avoir confiance dans les évaluations ?

    Comment mesurer le service rendu par les évaluations ?

    Question n°1 : Indiquer par ordre de priorité et selon votre propre expérience les cinq principaux critères générant de la confiance en l’évaluation.

    ...

    ...

    Question n°2 : Quels sont, selon vous, les moyens d’évaluer le service rendu par l’évaluation ?

    ·        ...

    ·        ...

    ·        ...

    ·        ...

    Question n°3 : Quels sont, selon vous, les facteurs permettant d’améliorer la confiance en l’évaluation ?

    ·        ...

    ·        ...

    ·        ...

    Suggestions libres :

    ·        ...

    ·        ...

    Nous vous prions d’agréer, Madame, Monsieur, l’expression de nos sincères salutations.
    Hacquin Sébastien - Al Saadi Aroube - Sieradzki Grégory

    Etudiants en Master 2 “Management de la Qualité” – UTC s/c G. Farges


 Annexe 2 : Guide des bonnes pratiques : « Check List »


retour sommaire




L’EVALUATION 

Vous êtes-vous posé les bonnes questions ?

Réalisé

dans le cadre du projet d’intégration

Comment avoir confiance en l’évaluation

Présenté par

Aroube AL SAADI

 Sébastien HACQUIN

Grégory SIERADZKI




Check-list :

 Mise en place de l’évaluation

    Planification

    La planification a-t-elle été réalisée avec l’ensemble des parties prenantes ?

    Les limites temporelles et spatiales du processus ont-elles été fixées ?

    Calendrier de l’évaluation

    Le calendrier de l’évaluation est-il raisonnable au vu des buts visés et des questions posées ?

    A-t-on déterminé à quel moment il serait judicieux de présenter les résultats ?

    Identification des parties prenantes

    Les parties prenantes et les groupes prévus sont-ils identifiés ?

    Les besoins et les intérêts des parties prenantes et des groupes concernés sont-ils en accord ?

    L’objectif et les buts visés sont-ils compris par les groupes concernés ?

    Le périmètre de l’objet de l’évaluation

    Le but de l’évaluation a-t-il été formulé de manière suffisamment précise ?

    Les effets attendus sont-ils au moins aussi importants que le coût de l’évaluation ?

    La conception du cahier des charges

    Le  cahier des charges contient-il clairement l’objet et le contexte de l’évaluation ?

    Les besoins et les raisons de l’évaluation sont-ils présentés de manière adéquate ?

    L’utilisation prévue des résultats est-elle détaillée de manière appropriée ?

    La transparence du budget est-elle respectée ?

    La contractualisation

    Le contrat est-il clair et compréhensible ?

    Le contrat a-t-il été conclu dans une atmosphère de confiance mutuelle ?

    Le choix de la méthode

    La méthode employée vous semble-t-elle la plus appropriée au contexte et à l’entité évaluée ?

    La méthode employée possède-t-elle des propriétés de souplesse et de flexibilité ?

    Les références sont-elles formulées dans un style affirmatif et positif ?

    Les critères et les indicateurs ont-ils été choisis avec inférence ?

retour sommaire

Check-list :

La mise en œuvre de l’évaluation

    Y a-t-il un respect des étapes planifiées ?

    Les délais convenus sont-ils respectés ?

    L’évaluation se déroule-t-elle avec un respect de l’éthique et du juridique ?

    L’environnement de travail privilège-t-il l’obtention de résultats ?

    Les relations entre évaluateurs et évalués sont-elles d’ordre partenariales ?

    Les conflits d’intérêt sont-ils abordés de manière ouverte et franche ?

    Les outils utilisés sont-ils cohérents et pertinents ?

    La démarche est-elle suivie par un regard extérieur ?

    Les informations collectées sont-elles justes et impartiales ?

    Un bilan a-t-il été réalisé avant la publication des résultats avec l’ensemble des parties prenantes ?

retour sommaire

Check-list :

Les résultats de l’évaluation

    La publication des résultats

    Le rapport a-t-il été rendu dans le temps imparti ?

    Le rapport a-t-il été rédigé de façon claire et précise ?

    Le rapport est-il compris par tous ?

    Le rapport contient-il les principaux résultats et principales recommandations ?

    Le rapport est-il accessible à l’ensemble des parties prenantes ?

    Les réactions

    Le processus d’évaluation est-il véritablement formateur ?

    La confrontation entre le référent et le référé débouche-t-elle sur la mise en évidence des écarts ?

    Une enquête a-t-elle été réalisée concernant la satisfaction de la démarche ?

    Le suivi

    Une méta évaluation a-t-elle été entreprise ?

    Le produit de l’évaluation permet-il de préciser les actions d’amélioration ?

    Le produit de l’évaluation permet-il l’élaboration d’un plan d’orientation ?

    Les recommandations incitent-elles à l’amélioration ?

retour sommaire


Check-list :

L’évaluateur

    Le rang de l’évaluateur 

    L’évaluateur adhère-t-il à la charte de la société française de l’évaluation ?

    L’évaluateur est-il indépendant de l’organisme d’évaluation ?

    L’équipe d’évaluation est-elle pluridisciplinaire ?

    L’évaluateur est-il indépendant de la structure évaluée ?

    Compétences professionnelles 

    L’évaluateur dispose-t-il d’une grille d’évaluation ?

    Le travail au sein de l’équipe est-il organisé de manière appropriée ?

    Les responsabilités ont-elles été attribuées de manière précise dans l’équipe d’évaluation ?

    Comportement 

    L’évaluateur s’adapte-t-il à son public ?

    L’évaluateur est-il transparent sur la méthode employée ?

    La légitimité de l’évaluateur est-elle reconnue ?

    L’évaluateur est-il rigoureux dans le respect de la méthode ?

retour sommaire

Check-list :

L’évalué

    Comportement 

    Y a-t-il des résistances notables au sein du groupe évalué ?

    L’évalué perçoit-il l’évaluation comme un bienfait ?

    Implication 

    L’équipe est-elle informée sur le déroulement de l’évaluation ?

    L’évalué connaît-il le but précis de l’évaluation ?

    L’évalué adhère-t-il à l’évaluation ?

    Les critères employés sont-ils explicites pour l’évalué ?

    L’évaluation est-elle intégrée dans la stratégie de l’organisme ?

    La méthode d’évaluation a-t-elle été choisie par l’évalué ?

    Perspectives

    Une autoévaluation complète peut-elle être réalisée ?

    Un renouvellement de l’évaluation est-il envisagé ?

    Attentes

    L’évalué est-il satisfait de la méthode employée ?

    L’évalué tire-t-il profit des améliorations proposées ?

retour sommaire