Remerciements

• Jean-Pierre Caliste, notre tuteur, qui nous a accompagné tout le long de notre réflexion en nous aiguillant et en nous conseillant,

• Gilbert Farges, qui lors des jalons d’avancement n’a pas hésiter à nous faire part des ses avis et de ses remarques constructives,
  
  
• Béatrice Köning, qui nous a permis de réaliser une bibliographie riche et bien organisée,
  

• Les étudiants du Master 2 Master de la Qualité qui ont assisté à nos présentations,

• Adeline Parent (thésarde en géologie) et Christophe Leflèche (ingénieur au CETIM : CEntre Technique des Industries Mécaniques), qui ont eu la gentillesse de tester et de commenter notre outil d’autodiagnostic.

Avant-propos

• l'amélioration de la qualité et l'accessibilité des données, ainsi que les méthodes par lesquelles les données sont acquises, gérées, analysées et évaluées

• la facilitation de la coopération internationale concernant recueillir, organiser et utiliser des données

• l'examen d'accès aux données et les questions de propriété intellectuelle
  
  

• l’amélioration de l’accessibilité et de la qualité des données,

• l’amélioration des méthodes utilisées pour obtenir, gérer et analyser des données.

• l’aide à la coopération de ceux qui collectent, organisent et utilisent les données,

• la promotion et la prise de conscience croissante sur l’importance des activités liées aux données dans la communauté scientifique et technique.

Pour restaurer la confiance dans les données scientifiques et techniques, il a été émis l’hypothèse qu’il faut suivre les processus suivants : surveiller les données, empêcher la diffusion de mauvaises données et les évaluer (par les pairs).

retour sommaire

La surveillance constitue le premier maillon dans la théorie de Rosanvallon [9]. Les pouvoirs de surveillance ont pour but de contrôler les représentants et les contraindre à respecter leurs engagements, on parle alors de vigilance.

Dans le cas des données scientifiques et techniques il est possible de reprendre cette idée de surveillance-vigilance pour constituer une veille des données, de  leur exactitude, de leur mise à jour et de leur disponibilité.

Pour cela deux étapes clés ont été identifié dans ce processus : la traçabilité et l’archivage.

Pour le spécialiste d’un domaine, la connaissance des sources d’information disponibles est aussi importante que l’accès aux mises au point périodiques sur l’état de son art. Pour un scientifique ou un ingénieur intéressé par la mise en œuvre d’une technique hors de ses compétences, s’il est relativement facile de se documenter sur les aspects théoriques de cette technique, il est plus délicat de recueillir un avis sur sa pratique, ses limites et d’avoir accès aux données de qualité permettant une bonne interprétation des résultats.

La traçabilité de ces données vient donc résoudre, en partie, la problématique de la surveillance des données et installe une confiance en matière de qualité et de fiabilité de la source de la donnée [10] [11].

La traçabilité est une procédure visant à suivre automatiquement une donnée depuis sa naissance jusqu'à sa valorisation finale. Cela permet de remonter à la donnée initiale et à sa source ainsi qu’à toutes les données intermédiaires utilisées et leurs méthodes d’obtention [8].

Tout au long de ce chapitre,  il est nécessaire de s’intéresser à la notion de traçabilité, ce qu’elle implique en termes d’étalonnage et d’échantillonnage pour le laboratoire ou l’entreprise, qui produit des données scientifiques et techniques.

retour sommaire

Établir la traçabilité consiste à fournir à tout moment les informations et les documents qui permettent de savoir comment un résultat a été obtenu. Il doit être possible de remonter de proche en proche et sans interruption jusqu’à des systèmes d’étalonnage qui auront été certifiés par des organismes officiels.

La traçabilité du mesurage doit être assurée en ayant recours aux services d’étalonnage de laboratoires qui peuvent apporter la preuve de la traçabilité et de leur compétence. Les certificats d’étalonnage délivrés par ces laboratoires doivent montrer qu’il existe un lien avec un étalon primaire ou une constante naturelle reliée à l’unité SI (Système International d’unités) par une chaîne continue d’étalonnages. Les certificats doivent contenir les résultats de mesure, y compris l’incertitude de mesure ou une déclaration de conformité à une spécification métrologique identifiée.

D’une façon générale, l’organisme doit avoir rédigé des procédures qui décrivent la manutention, le transport, le stockage et l’utilisation des étalons de référence, tels que les poids, et matériaux de référence afin de prévenir toute contamination ou détérioration.

Dans le cas où on ne pourrait utiliser que des matériaux de référence, comme lors d’un étalonnage d’une méthode en fluorescence X, ils doivent, si possible, être raccordés à des unités de mesure SI ou à des matériaux de référence certifiés internationaux ou nationaux.

Lorsqu’il est impossible d’établir la traçabilité aux unités de mesure SI ou lorsqu’elle n’est pas pertinente, d’autres moyens d’obtenir la confiance dans les résultats doivent être appliqués, comme :

• la participation à un programme approprié de comparaisons inter-laboratoires ou d’essais d’aptitude

• l’utilisation de matériaux de référence appropriés, certifiés et caractérisés

• un essai ou un étalonnage par une méthode alternative

• des mesurages fondés sur les rapports et la réciprocité

• des normes ou des méthodes d’accord clairement spécifiées et convenues par toutes les parties concernées

L’organisme doit établir un système coordonné pour identifier les échantillons d’essai et d’étalonnage. L’identification doit être conservée durant toute la durée de vie de l’échantillon dans le laboratoire. Le système doit être conçu et géré de façon à garantir l’impossibilité de confondre les échantillons, physiquement ou lorsqu’il y est fait référence dans les enregistrements ou autres documents. Le cas échéant, le système doit prévoir comment se fera la subdivision ou le transfert des échantillons à l’intérieur ou hors du laboratoire lorsque plusieurs mesures doivent être effectuées sur des prises d’essai différentes.

Dans ce but, l’étape de réception d’un échantillon prend un rôle prépondérant. Ainsi, à la réception de l’objet d’essai, toute anomalie ou écart par rapport aux conditions normales, telles qu’elles sont spécifiées dans la méthode d’essai ou d’étalonnage pertinente, doit être enregistré. S’il y a le moindre doute quant à l’adéquation d’un échantillon ou s’il n’est pas conforme à la description fournie ou encore si l’essai demandé n’est pas spécifié avec une précision suffisante, le laboratoire doit consulter le client pour obtenir de nouvelles instructions avant de procéder à l’essai. Le laboratoire doit établir si l’objet a été convenablement préparé ou si le client exige que la préparation soit réalisée par le laboratoire. Il n’est donc pas surprenant que la mise en place d’un système qualité commence souvent par une réorganisation de la salle de réception des échantillons.

retour sommaire

Le laboratoire doit disposer de  procédures et d’installations appropriées pour éviter la détérioration ou l’endommagement de l’échantillon de travail lors de son stockage, de sa manutention, de sa préparation et de l’essai. Lorsqu’il est nécessaire de stocker ou de conditionner des objets dans des conditions ambiantes spécifiées, ces dernières doivent être maintenues, surveillées et enregistrées.

Lorsqu’un échantillon ou une partie de cet objet doit être mis en sécurité (par exemple pour des raisons d’enregistrement, de sécurité ou pour permettre des essais ultérieurs), le laboratoire doit prévoir des dispositions de stockage qui protègent la condition et l’intégrité de l’objet ou des parties de l’objet.

La traçabilité doit devenir un souci permanent des analystes et du personnel du laboratoire. Il est alors évident que les moyens informatiques permettront de simplifier ces différentes opérations.

En plus de cette nécessité d’une traçabilité dans les organismes producteurs de données scientifiques et techniques, par les étalons et les échantillons. Cette dernière doit être assurée par un enregistrement et par un archivage sur un support et selon des modalités permettant d’assurer l’intégrité des données et de garantir leur consultation. [8]

En effet la conservation et l’archivage des données sont des sous-procédures qui assurent la réalisation de la traçabilité des données, il est donc judicieux d’expliciter cet aspect pour comprendre sa contribution dans la fonction surveillance des données.

L’archivage consiste à classer les enregistrements effectués tout le long du processus de production de la donnée scientifique et technique. Ces enregistrements doivent être accessibles à tout moment pour justifier de la qualité d’une donnée à titre légal (exemple : lors d’un litige), économique ou informatif.

Le contenu archivé est considéré comme figé et ne peut donc être modifié. La durée de l’archivage est fonction de la valeur du contenu et porte le plus souvent sur du moyen ou long terme.

Il convient de distinguer deux formes d’archivages : l’archivage physique (papier) et l’archivage électronique. De plus en plus l’archivage électronique pour le cas des données scientifiques et techniques est privilégié car il permet la valorisation et l’exploitation facile de celles-ci.

Des normes non obligatoires fournissent aux organisations une marche à suivre pour assurer l'archivage de ses documents :

• la norme NF Z 42-013, publiée en 1999, est la plus connue en France. Elle précise des procédures techniques et organisationnelles permettant de garantir l'intégrité des documents lors de leur enregistrement, de leur stockage et de leur restitution. La norme NF Z 42-013 a été publiée à une époque où l'écrit électronique ne pouvait constituer qu'un commencement de preuve et non une preuve de même niveau que l'écrit sous forme papier (art. 1316-1 du Code civil)

• la norme NF Z 43-400, homologuée le 20 août 2005, qui traite des COM/COLD (archivage des données électroniques)

  retour sommaire

Enfin, il faut signaler l'OAIS (Open Archive Information System), modèle conceptuel destiné à la gestion, à l'archivage et à la préservation longue de documents numériques. Le modèle OAIS correspond à la norme ISO 14721 de 2003 (Systèmes de transfert des informations et données spatiales - Système ouvert d’archivage de l’information - Modèle de référence).

Rosanvallon [9] écrit que pour exercer son pouvoir contre-démocratique, le peuple peut avoir recours à son droit de veto en ce qui concerne les décisions prises par le gouvernement ou les actions qu’ils mènent. Ceci reste vrai tant que, ce droit de veto correspond à une réelle remise en question d’un programme politique, et non, du rejet du gouvernement dans sa globalité.

Le processus d’empêchement consisterait donc à bloquer la diffusion des données scientifiques et techniques erronées ou aberrantes afin d’élever la confiance des utilisateurs en de telles données. Afin de mener à bien ce processus d’empêchement, il faut mettre en place des étapes de validation des données.

Il paraît alors essentiel de traiter les questions suivantes :

• Qui est en charge de la validation/empêchement d’une donnée ?

• Quels sont les moyens mis à sa disposition pour juger de la qualité d’une donnée ?

Comme pour le chapitre précédent, cette partie s’intéresse pour l’empêchement au rôle des chercheurs et analystes travaillant en laboratoire ou en entreprise. De plus elle se concentrera sur les méthodes utilisées pour séparer les données correctes des données fausses. Ce qui permet au final de limiter la diffusion de données dans lesquelles un client ou simple utilisateur ne pourrait pas avoir confiance.

retour sommaire

La norme NF EN ISO/CEI 17025 datant de septembre 2005 définit les exigences générales concernant la compétence des laboratoires d’étalonnages et d’essais quelque soit la méthode utilisée (normalisée, non normalisée ou élaborée par le laboratoire lui-même). Le chapitre 5 intitulé « Exigences techniques » fait état des différentes sources jouant sur l’exactitude et la fiabilité des essais ou étalonnages : le facteur humain, les installations et conditions ambiantes, les méthodes d’essais et d’étalonnages ainsi que la validation de ces méthodes, l’équipement, la traçabilité du mesurage, l’échantillonnage et la manutention des objets d’essai et d’étalonnage. Chacun de ces éléments contribue de façon diverse à la qualité des données selon le type d’essai ou d’étalonnage réalisé [12].

Pour lever la défiance des « clients » ou utilisateurs de données scientifiques et techniques, il faut codifier la mise en place d’une méthode d’analyse et définir des critères sur lesquels s’appuyés pour prouver la robustesse de la méthode et donc de la donnée qu’elle délivre [13].

Le choix, le développement, la validation et l’application d’une méthode d’analyse représentent des éléments clés lorsque l’on discute du processus d’empêchement.

La méthode se doit de respecter quatre principes de base :

• être la plus adéquate possible au problème que l’on a à traiter

• être adaptée à une situation particulière

• être validée en intra-laboratoire (voire en inter-laboratoire)

• fournir des données dans un système d’unité cohérent

Au terme d’une analyse scientifique (physique, chimique…), on obtient une ou plusieurs données. Il apparait nécessaire de caractériser la méthode retenue pour y arriver et la façon dont on a procédé pour la valider. Dans cette optique il sera détaillé, pour chacune des étapes citées ci-dessus, les critères d’importance  permettant d’élever la confiance dans les résultats obtenus.

Après avoir sélectionné la méthode appropriée au type de mesures à effectuer, on va la développer en l’adaptant à sa situation particulière en définissant précisément son domaine d’application (matrice, type d’échantillon, concentration…).

Un laboratoire ou une personne voulant assurer de la qualité des données qu’il ou elle produit devrait avoir recours à certaines actions.

retour sommaire

i. Mentionner les métadonnées

Il faut tout d’abord signaler l’ensemble des informations et conditions de l’expérimentation, ce qui va permettre la traçabilité de la donnée comme vu dans le chapitre précédent. Pour cela, l’expérimentateur va consigner par écrit le nom de l’opérateur, sa fonction, la date, le lieu de l’expérimentation, les moyens (appareillages et réactifs) et modes opératoire mis en œuvre lors de l’analyse.

ii. Etalonner la méthode

Il convient avant de procéder à un essai sur un équipement spécifique d’en réaliser l’étalonnage. Pour cela, on utilisera des étalons de références qui peuvent être des matériaux de référence certifiés ou des étalons agréés par un laboratoire voire comparées entre plusieurs laboratoires (test d’aptitude). Il est également nécessaire de réitérer les essais ou étalonnages à l’aide de la même technique ou d’une méthode différente afin de confronter les résultats obtenus.

Généralement on étalonne les méthodes de mesures quantitatives.

iii. Détecter les valeurs aberrantes par traitements statistiques

Il faut un minimum de cinq points pour construire la courbe d’étalonnage réitérés trois fois chacun. Pour que le modèle mathématique de l’étalonnage soit pertinent, il faut écarter pour chaque série de mesures les valeurs dites aberrantes. Il existe de nombreux tests statistiques qui permettent de détecter des valeurs suspectes (niveau de risque de 5%) ou pire aberrantes (niveau de risque de 1%). Dans le domaine analytique, on fera le plus souvent appel au test Dixon (ou test Q) pour justifier de l’élimination d’une valeur expérimentale, en comparant le résultat du test statistique à celui de indiqué dans la table de Dixon pour un niveau de risque de 10, 5 ou 1% selon la mesure et la fidélité recherchée.

La validation intra-laboratoire s’appuie sur différents critères tels que la justesse, la spécificité, la linéarité, la répétabilité, la sensibilité, la limite de détection ou la limite de quantification. Elle permet au chercheur de prouver que la méthode utilisée est efficace, que les résultats fournis sont « de qualité », et que leurs diffusions a du sens.

Remarque : une méthode validée pourra être par la suite utilisée de façon routinière par le laboratoire. La validation de la méthode est à revoir si le laboratoire change des paramètres majeurs du mode opératoire ou si elle devient obsolète.

retour sommaire

i. Linéarité

A l’aide des résultats numériques obtenus lors des expériences et de leurs traitements statistiques, le chercheur doit prouver que la méthode utilisée est efficace.

Pour cela, il lui suffit de montrer que le modèle mathématique choisi pour décrire ses variables est valide. La régression linéaire est un des modèles les plus souvent choisis. En effet, elle permet de mettre en évidence les influences mutuelles de deux variables quantitatives. Un coefficient de corrélation et un coefficient directeur élevés est signe d’une forte proportionnalité entre les deux variables. Une analyse plus poussée de la variance de la courbe à l’aide du test de Fischer permet de confirmer la linéarité. Dans la pratique, on peut se forger une première idée de la qualité de la linéarité en observant le coefficient de détermination (carré du coefficient de corrélation), qui doit tendre vers 1.

ii. Domaine de détection et effet de matrice

Lorsque l’on réalise des mesurages à l’aide d’une méthode d’analyse, il faut tenir compte de deux paramètres, sources d’erreurs :

• le domaine de détection

• l’effet de matrice

Une méthode d’analyse est fiable sur un certain domaine de valeurs, au-delà duquel, l’étalonnage peut ne plus ou pas avoir de signification. On définit alors deux termes :

• la limite de détection correspond à la plus petite valeur du mesurande pouvant être détectée avec fiabilité, mais non quantifiable lorsque l’on réalise une analyse. Cette limite tient compte de la matrice de l’échantillon testé

• la limite de quantification, qui est la plus petite valeur du mesurande pouvant être quantifiée avec une incertitude acceptable

Il n’existe aucune méthode statistique permettant de dire avec précision quelles sont les valeurs de ces limites. Il appartient à l’analyste d’apprécier le domaine d’étude de la méthode et de prendre en compte ou non un essai blanc (provenant de l’équipement, de la matrice…) pour corriger ses mesures.

iii. Justesse et incertitude

La répétition d’une même mesure dans les mêmes conditions met souvent en évidence la disparité des résultats obtenus par l’expérimentation, ce qui correspond à ce que l’on appelle communément l’incertitude de mesure. Une mesure sera moyenne et comprise dans un intervalle de confiance où elle devrait se situer.

Traditionnellement, on va décomposer les différentes sources d’erreur, estimer les incertitudes associées et les ajouter de façon à prévoir l’incertitude globale d’une mesure. Il faut également noter qu’une analyse peut être réalisée en une ou plusieurs étapes. Or, il faut noter que chacune de ses étapes sera source d’incertitude. Donc plus l’analyse sera complexe, plus la donnée obtenue sera entachée d’une incertitude de mesure [14].

retour sommaire

iv. Répétabilité

La répétabilité est réalisée lorsque « les résultats d’essai indépendant sont obtenus par la même méthode sur des individus d’essai identiques dans le même laboratoire, par le même opérateur, utilisant le même équipement et pendant un court intervalle de temps ».

L’analyste calcule le paramètre caractéristique de la répétabilité : la limite de répétabilité r qui est l’écart type maximal au niveau de confiance de 95 % entre deux résultats obtenus dans des conditions de répétabilité.

Si la différence absolue entre deux résultats d’essai est inférieure ou égale à r, alors les résultats sont acceptables.

On cherchera le plus souvent possible à fournir les données puis par la suite d’estimer leurs incertitudes de mesures dans les unités du Système International (SI) avec les mêmes nombres de chiffres significatifs, afin de permettre une cohérence de lecture, une traçabilité des mesures. De plus, cela implique que les valeurs ne sont pas dépendantes du temps et du lieu [14].

D’autre part, certaines données émises peuvent provenir du calcul. Elles doivent également être accompagnées d’une estimation de l’erreur de calcul.

La validation inter-laboratoire est généralement utilisée par les laboratoires ou entreprises qui cherchent à promouvoir une méthode ou même à la publier. La norme ISO 5725 définit ce type de validation. Elle consiste en l’analyse de un ou plusieurs échantillons par huit laboratoires différents au moins. Chaque échantillon sera analysé de deux à quatre fois.

Les laboratoires dont les résultats sont jugés aberrants, sont écartés du processus avant de procéder à la validation de la méthode. Pour cela, on effectue sur l’ensemble des données collécté deux séries de tests statistiques destinés à détecter les valeurs aberrantes:

• en terme de dispersion grâce au test de Cochran

• en terme de moyenne à l’aide du test de Grubbs

Puis, pour finaliser ce type de validations, on s’intéressera en plus du critère de répétabilité, vu précédemment, au critère spécifique de reproductibilité de la méthode [11][13].

retour sommaire

La reproductibilité est réalisée lorsque « les résultats d’essai sont obtenus par la même méthode sur des individus d’essais identiques dans différents laboratoires, avec différents opérateurs et utilisant des équipements différents ». L’analyste calcule la limite de reproductibilité R qui est l’écart type maximal au niveau de confiance de 95 % entre deux résultats obtenus sur un échantillon commun par deux opérateurs ou deux laboratoires différents. Si la différence absolue entre deux résultats d’essai est inférieure ou égale à R, alors les résultats sont acceptables.

 La répétabilité et la reproductibilité permettent de prendre en compte les différentes sources de variation d’une mesure et donc d’élever le niveau de confiance dans la donnée expérimentale.

Par conséquent, le chercheur ou l’analyste, qui respecte l’ensemble des pratiques et critères recensés ci-dessus, limite la diffusion de données scientifiques ou techniques approximatives ou erronées. Cependant, pour renforcer la notion de qualité, la donnée produite devrait être soumise à un troisième processus de contrôle: une évaluation de sa qualité par un jugement émis en interne par une tierce personne, puis en externe par des pairs.

Dans la théorie de Rosanvallon [9] la dernière étape est de juger pour donner de la légitimité. Un contrôle extérieur donne dans le cas de Rosanvallon de la recevabilité à un mandat politique et aux décisions qui en découlent. Ce jugement est effectué par le contrôle juridictionnel mais aussi l’opinion publique de tous les citoyens.

Il est possible dans notre cas de transposer cette idée de jugement, d’évaluation, pour donner de la légitimité aux données scientifiques et techniques et à ceux qui les produisent.

Pour mettre en place cette idée deux étapes ont été distinguées: une autoévaluation faite en interne et une évaluation par les pairs en externe.

retour sommaire

L’organisme étant en charge de la production de la donnée scientifique et technique doit se charger de valider en interne (avant la diffusion et l’utilisation de la donnée) les résultats obtenus.

L’autoévaluation doit être faite en interne par une personne n’ayant pas participé au processus d’élaboration de la donnée. Elle est effectuée en vérifiant si tous les points important de surveillance et d’empêchement on été respecté.

La personne chargée de cette étape doit avoir des connaissances suffisantes pour s’assurer de la pertinence du raisonnement et de l’adéquation des analyses réalisées.

Il doit également s'assurer que les éléments qui lui ont été fournis ne sont pas en contradiction avec des analyses similaires précédentes, avec la jurisprudence ou avec les dispositions légales ou réglementaires applicables. Dans ce cas, cette personne doit poursuivre ses investigations pour expliquer et/ou justifier les écarts constatés.

Le but de l’évaluation par les pairs est de juger et de valider le degré de conformité des données scientifiques et techniques.

C’est une équipe d’évaluateurs experts dans les domaines qu’ils sont amenés à évaluer.

Il existe en France des évaluations par les pairs, mais cette pratique n’est pas centralisée. Par exemple les jurys de thèses ou encore des comités d’experts formés ponctuellement pour valider une expertise.

Certains domaines sont plus avancés que d’autres.

Prenons l’exemple de l’INSEE (Institut National de la Statistique et des Etudes Economiques) qui en adoptant le code de bonnes pratiques de la statistique européennes en 2005 s’est engagé à se faire évaluer par des pairs [15]. Suite à 3 jours d’audit en 2007 et à un dossier d’information fourni par l’INSEE et Eurostat, l’évaluation par les pairs a donné lieu à un rapport qui évalue la conformité avec le code de bonnes pratiques.

Ou encore l’exemple de l’AERES (Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur) [16]. La loi de programme pour la recherche (LRU) de 2006 a confié à l’AERES une mission globale d’évaluation de l’enseignement supérieur et de la recherche. L’agence est chargée :

retour sommaire

• d’évaluer l’ensemble des missions et des activités des établissements et organismes de recherche et d’enseignement supérieur

• d’évaluer les activités de recherche conduites par les unités de recherche des établissements et organismes

• d’évaluer les formations et les diplômes des établissements d’enseignement supérieur ;

• de valider les procédures d’évaluation des personnels des établissements et organismes et de donner son avis sur les conditions dans lesquelles elles sont mises en œuvre. L’agence n’évalue pas les personnes

A la suite d’audits l’agence attribue une note (A, B, C ou D) aux établissements. L’évaluation de l’agence suit ce cycle et se répète donc tous les 4 ans pour la majorité des structures évaluées.

Enfin il est possible de prendre l’exemple d’évaluation des bonnes pratiques de laboratoires. Les bonnes pratiques de Laboratoires BPL sont un ensemble de pratiques   préétablies   qui   visent   l’organisation   générale   du Laboratoire ainsi que les conditions dans lesquelles les analyses sont : préparées, effectuées, suivies, enregistrées et rapportées [17].

Afin d’accréditer les Laboratoires respectant ces exigence le Groupement Interministériel Produits Chimiques à délégué au COFRAC (COmité FRancais d'ACcréditation) la réalisation des audits. A la lecture du rapport une accréditation est ou non délivrée.

C’est en s’inspirant de ces exemples qu’il a été possible de définir les missions d’un  organisme qui pourrait être créé pour la validation des données scientifiques et techniques.

Pour garantir une bonne évaluation il est indispensable d’avoir un comité d’experts compétent et en adéquation avec les entités étudiées.

Il faut donc réussir à créer une organisation représentative et accepté par tous.

Pour cela il est possible de s’inspirer du modèle d’organisation de CODATA, de tel sorte que cette organisation soit accessible par tous et de part sa représentativité soit légitimée par tous. Pour garantir ces points cet organisme pourrait suivre les exigences de la norme NF EN ISO/CEI 17020 « Critères généraux pour le fonctionnement de différents types d’organismes procédant à l’inspection ».

Pour définir les étapes de l’évaluation par les pairs il est tout à fait possible de s’inspirer du modèle d’un audit de type ISO 19011 « Lignes directrices pour l'audit des systèmes de management de la qualité et/ou de management environnemental ».

Voici le modèle proposé :

Phase 1 : La préparation

• travail des experts sur le dossier d’auto-évaluation fourni par les producteurs de données

• diffusion du plan d’audit

Phase 2 : La visite

• déroulement de la visite selon le plan d’audit

Phase 3 : Le compte-rendu et la validation

• rapport d’évaluation transmis aux évalués pour observation

• notation des données évaluées

• publication du rapport d’évaluation et des observations

C’est sur l’idée de la nécessité d’un document d’autoévaluation qu’il a été décidé de construire une grille d’autodiagnostic permettant aux producteurs de données scientifiques et techniques mais aussi aux utilisateurs, de contrôler la qualité de ces données.

Cette grille d’autodiagnostic, fournie dans le chapitre 3, reprend les exigences et les bonnes pratiques définies précédemment : Surveiller, Empêcher, Evaluer.

retour sommaire

La figure ci-dessous est un diagramme ishikawa qui reprend les trois processus et sous processus qui ont permis de synthétiser tous les points importants identifiés dans ce chapitre.

Pour information, le contenu de l’outil d’autodiagnostic a été réalisé en collaboration avec Monsieur J.P. Caliste, tuteur de ce projet d’intégration. De plus, cet outil a été testé dans la mesure du possible, dans le temps imparti, par des thésards et industriels pour s’assurer de la pertinence des critères et pondérations. Un exemple d’un des retours est disponible en annexe [Annexe 3].

C’est en prenant en compte toutes ces remarques que nous avons corrigées autant d’erreurs et d’incertitudes que possible.

retour sommaire

CONCLUSION

Ce dossier a pour vocation de synthétiser les exigences ayant un rôle dans la qualité des données scientifiques et techniques. Le but est d’améliorer la confiance des utilisateurs dans de telles données pour répondre aux enjeux socio-économiques du contexte actuel.

Grâce à l’identification de trois grands processus : surveiller, empêcher et évaluer ; il a été possible de répertorier et d’organiser les critères d’importances applicables à un public qui s’est voulu le plus large possible. Ce travail contient aussi un autodiagnostic permettant de mesurer la confiance dans la qualité des données scientifiques et techniques et qui, plus qu’un outil d’évaluation, doit être considéré comme une aide pédagogique.

Nous espérons qu’il fera naître une réflexion personnelle des lecteurs et utilisateurs quelque soit leur secteur d’activité. Il nous apparaît essentiel de nos jours de développer une réflexion commune, en France et pas seulement, sur cette notion de confiance dans les données scientifiques et techniques. Cela permettrait avec le temps de faire évoluer nos critères et donc de rester crédible.