Avertissement
Si vous arrivez directement sur cette page, sachez que ce travail est un rapport d'étudiants et doit être pris comme tel. Il peut donc comporter des imperfections ou des imprécisions que le lecteur doit admettre et donc supporter. Il a été réalisé pendant la période de formation et constitue avant-tout un travail de compilation bibliographique, d'initiation et d'analyse sur des thématiques associées aux concepts, méthodes, outils et expériences sur les démarches qualité dans les organisations. Nous ne faisons aucun usage commercial et la duplication est libre. Si vous avez des raisons de contester ce droit d'usage, merci de nous en faire part . L'objectif de la présentation sur le Web est de permettre l'accès à l'information et d'augmenter ainsi les échanges professionnels. En cas d'usage du document, n'oubliez pas de le citer comme source bibliographique. Bonne lecture... 

La qualité des données scientifiques et techniques

pas de photo


Lucie Bock

Fahim_Amine.jpg
Mohammed Amine Fahim
Roncin_Marie.jpg
Marie Roncin
Référence bibliographique à rappeler pour tout usage :
La qualité des données scientifiques et techniques, Lucie Bock, Mohammed Amine Fahim, Silya Ing, Marie Roncin
Projet d'Intégration MASTER Management de la Qualité (MQ), UTC, 2009-2010, URL : http://www.utc.fr/master-qualite ; Université de Technologie de Compiègne
RESUME

De nos jours, la fiabilité des données scientifiques et techniques présente un enjeu socio-économique non négligeable.
Ce travail est une première réflexion sur les critères qui permettent de fonder la confiance dans les données scientifiques et techniques. L’objectif est de synthétiser et de structurer l’ensemble de ces critères, venant de normes et de bonnes pratiques, pour aboutir à une vision claire des exigences qui assurent cette confiance. En articulant notre réflexion autour de trois grands processus thème qui sont « surveiller », « empêcher » et « évaluer », il a été possible de construire une grille d’autodiagnostic (autodiagnostic: version française) Cet outil peut servir de base à une autoévaluation des producteurs de données scientifiques et techniques.

Mots-clés :
qualité, confiance, donnée scientifique et technique, surveiller, surveillance, empêcher, empêchement, évaluer, évalutation, autodiagnostic

ABSTRACT

Nowadays scientific and technical data’s reliability represents a sizeable socio-economic stake.
The present study consists in a first analysis on the criteria establishing confidence in scientific and technical data. The aim is to identify and to organize those criteria coming from standards and good practices, in order to clarify specifications which assure this confidence. This work was built around three main processes “monitoring”, “preventing” and “assessing”, what made possible the development of an auto-diagnostic model (autodiagnostic: english version). This tool may be considered as a base to a self-assessment for scientific and technical data’s producers.

Key words :
quality, confidence, scientific and technical data, monitoring, preventing, assessing, assessement, autodiagnostic



Remerciements


Ce dossier est un travail de groupe qui n’aurait pas pu aboutir sans l’aide précieuse de certaines personnes que nous tenons tout spécialement à remercier ici :



Avant-propos



Nous sommes un groupe de quatre étudiants en Master 2 Management de la qualité à l’Université Technologique de Compiègne (UTC). Nous avons élaboré ce dossier dans le cadre d’un travail scolaire sur la qualité des données scientifiques.
Notre but était de construire une première réflexion sur les éléments qui permettent de fonder la confiance dans ce type de données.
Par le terme « données scientifiques et techniques » nous entendons les données émanant des sciences dites dures : physique, chimie, biologie, géologie… et non pas la médecine, l’économie ou encore les sciences humaines. Il faut également noter, que les données uniques, qu’on ne saurait obtenir plus d’une fois, ne sont pas concernées pas notre étude.

Note : A la fin de notre dossier nous avons construit un outil d’autodiagnostic qui permet de synthétiser les exigences ressortant de notre réflexion.

Ce document s’adresse en particulier à tous ceux qui produisent ou qui utilisent ces données, où encore à tous les curieux désireux d’en savoir plus.




Sommaire

 

retour sommaire

 

LE SUJET ET SON CONTEXTE


I.    Le thème proposé


« Il s'agit de rechercher dans la bibliographie […] les éléments sur lesquels se fondent la confiance dans les données scientifiques et techniques ; et éventuellement d’identifier des référentiels, voire des normes s’y rapportant » . Certains travaux ont déjà été réalisés à l’étranger alors qu’en France la réflexion n’en est qu’à ses débuts.

Il apparait important d’identifier les critères sur lesquels se fondent la confiance dans les données scientifiques et techniques. Pour cela, il sera nécessaire de mettre en place un outil d’autodiagnostic basé sur ces derniers permettant d’évaluer le niveau de confiance de la donnée.

II.    Contexte et enjeux


Aujourd’hui en France il y a 242 213 chercheurs (public ou entreprise), 259 écoles doctorales et 1200 unités de recherche et de service réparties sur le territoire. Le CNRS (Centre national de la recherche scientifique) emploie à lui seul 320 000 personnes, dispose d’un budget de 3,367 milliard d’euros et produit en moyenne 25 000 publications par an [1].

Ces chiffres permettent de comprendre que la production de données scientifiques et techniques est riche en France et qu’elle présente un réel enjeu socio-économique quant à l’exactitude de ces données.


Pour illustrer cela, il est possible de reprendre l’exemple bien connu des épinards et de leur teneur en fer. Si tout le monde est persuadé que les épinards sont riches en fer cela est juste dû à une erreur. En 1870 un biochimiste allemand, E. von Wolf, cherchait à évaluer la composition nutritionnelle des aliments. Et plutôt que d'écrire dans ses tablettes de résultats, les 2,7 mg de fer pour 100 gr de feuilles, il se trompe et inscrit 27 mg. Pour une simple erreur de virgule, l'épinard est devenu l’aliment le plus riche en fer aux yeux de tous. Cette erreur a été suivie d'une deuxième, quelques années plus tard. Un chercheur suisse de l'université de Bâle, Gustav von Bunge, attribue le taux de fer dans des épinards séchés à des épinards frais. Évidemment, le taux de fer dans des épinards séchés est plus élevé que dans les frais.


A tout cela, il ne faut pas oublier que les nouveaux modes de diffusion de l’information ont provoqué une surabondance des données scientifiques et techniques. Dans de nombreux domaines, la gestion de l’information est encore trop désorganisée. L’origine et la fiabilité des données trouvées sur certains médias, est pour la plupart du temps largement incertaine ou impossible à vérifier.

Il est facile et rapide de nos jours, de relayer une donnée sans forcément vérifier sa qualité et sa provenance, notamment sur Internet. Encore faut-il que lors de cette transmission de données, il n’y ait ni perte ou modification fortuite de l’information.


Ce mode de communication est donc propice à la propagation et à la diffusion de mauvaises données, ce qui alimente un sentiment de « défiance » vis-à-vis de celle-ci. Cette « défiance » est d’autant plus marquée si l'on considère le nombre massif d’utilisateurs ayant recours à ces données. Une façon originale de qualifier ce problème serait d’employer le terme d’«Infobésité » illustrant à la fois cette surabondance et cette « non-viabilité » des données.

retour sommaire


A l’heure du « tout informatique » et du «zéro papier », les données scientifiques et techniques sont de plus en plus publiées sur Internet. Ces données intégrées dans de nombreux projets, conditionnent l’exploitation, le traitement et l’analyse de celles-ci, mais influent également sur les décisions prises à partir de ces mêmes données.


Dans ce contexte de « défiance », il apparaît donc nécessaire de restaurer la « confiance » dans la donnée scientifique et technique en assurant et en prouvant la qualité des données.


Pour permettre de mieux appréhender et cerner le sujet, il est nécessaire de procédé à un état de l’art en France et à l’étranger. Puis d’observer les travaux qui ont déjà été réalisés, en particulier à l’étranger, et la réflexion sur ce sujet que mènent déjà certains organismes.


III.    Etat de l’art


Il existe plusieurs organismes d’observation de données d’où leurs noms « observatoires » leur principales missions et d’améliorer la qualité, la fiabilité, la gestion et l'accessibilité des données d'importance à tous les domaines de la science et la technologie.

1.    Organismes

Les observatoires constituent une ressource qui permet aux scientifiques et aux ingénieurs un accès à des activités internationales de données pour une sensibilisation accrue aux nouvelles connaissances, une coopération directe. Leurs principaux objectifs sont :

A.    ISCU

Le Conseil International pour la Science (ISCU) est une entité non-gouvernementale fondée en 1931, réunissant des membres issus d’organisations scientifiques nationales et d’unions scientifiques internationales [2].

L’ISCU est souvent sollicité comme interlocuteur représentant la communauté scientifique globale, et agit en qualité de conseil sur diverses questions allant de l’éthique scientifique à l’environnement.


Pour ce qui concerne la question des données scientifiques et techniques, il existe un comité interdisciplinaire de l’ISCU appelé CODATA (COmmittee on DATA for Science and Technology) [3].

retour sommaire


B.    CODATA

Son objectif est de promouvoir et faire avancer les sciences et technologies à travers le développement et le partage des connaissances sur tout ce qui a attrait aux données et aux activités liées à celles-ci.


CODATA se préoccupe de tout types de données quantitatives résultant des mesures expérimentales et des observations dans les domaines de la physique, de la biologie, de la géologie et de l’astronomie.

Une attention particulière est portée aux problèmes de management des données communs à ces différentes disciplines scientifiques, ainsi qu’aux données réutilisées dans d’autres domaines.


Les principaux objectifs de CODATA se définissent par :


CODATA recommande les données du National Institute of Standard and Technology (NIST), comme références dans l’élaboration de données fiables [4].

D’une façon plus générale, il existe des références sur les propriétés scientifiques et techniques (majoritairement chimiques et physiques) appelées « Handbook », qui rapportent des données brutes ou standards [5].


CODATA propose une réflexion sur les données mais s’adressent seulement à certaines disciplines scientifiques. Les publications de CODATA sont payantes et donc pas accessible à tous.


2.    Référentiels

De nombreux référentiels (ANSI, ASTM, ISO) mentionnent des informations isolées relatives à la gestion et à l’obtention des données, mais sont parfois un peu trop spécifiques à un domaine ou trop axées matériels [6].

Ce dossier s’inspire de certaines d’entre elles, en particulier de la norme ISO 17 025 dont les  méthodes d’obtention des données peuvent aisément être appliquées à divers domaines.

retour sommaire


IV.    La problématique


Grâce au contexte et à l’outil qualité « QQOQCP » il est possible de cadrer le problème de l’érosion de la confiance dans les données scientifiques et techniques.

A l’aide de cet outil, la problématique suivante a pu être dégagée : Comment améliorer la qualité des données scientifiques et techniques ?


Ci-dessous se trouve le QQOQCP appliqué à notre sujet d’étude :


QQOQCP

Figure 1 : Tableau de synthèse du QQOQCP [7]

retour sommaire




V.    La planification dynamique stratégique

La problématique a ensuite permis d’établir une planification dynamique stratégique présentée comme suit :

Planification Dynamique Stratégique (PDS)

Figure 2 : planification dynamique stratégique proposée [7]

retour sommaire



Cet outil permet d’identifier d’une part les besoins et les attentes du public et d’autre part les livrables.


VI.    Les objectifs


À partir de la planification dynamique stratégique, les objectifs suivants ont été fixés :
  • Définir les critères d’évaluation de la fiabilité des données [Annexe 1]
  • Produire un outil d’autodiagnostic généraliste et exploitable aux données du développement durable
  • Remettre les notes de synthèses à chaque jalon
  • Faire une présentation à chaque jalon


VII.    Compréhension du sujet


Afin de répondre à la problématique, il est nécessaire de chercher les critères sur lesquels se fondent la confiance dans les données scientifiques et techniques.


Plusieurs pistes se sont présentées :

  • Reprendre les exigences de la norme NF X 50-110 « Prescriptions générales de compétence pour une expertise », qui fournie un outil méthodologique aux demandeurs et aux organismes d'expertise qui souhaitent que leurs activités d'expertise soient réalisées de façon rigoureuse et structurée. Elle précise les principes à appliquer pour formuler une demande d'expertise, y répondre, la concevoir et la réaliser jusqu'à la remise des résultats [8].
    Ce document est exploitable car la partie conception reprend les points à ne pas négliger pour réaliser une bonne expertise. Cependant cette norme reste trop axée réponse client.

  • Se servir d’une théorie politique de Pierre Rosanvallon. De prime abord cela peut sembler étonnant d’utiliser une réflexion politique pour traiter ce sujet. Mais elle paraît exploitable dans la structure et surtout très ajustable à cette problématique.

retour sommaire


C’est cette dernière piste qui a été retenue pour ce dossier car elle donne une vision plus globale de la problématique et une plus grande marche de manœuvre. La norme NF X 50-110 a tout de même été utilisée pour exploiter les exigences concernant la conception en expertise.


La théorie de Pierre Rosanvallon sur la « contre-démocratie » , permet donc d’avoir un début de réflexion [9].


Dans une société où la confiance dans les représentants est érodée, où il existe une certaine méfiance dans la politique, il est bon ton de parler de crise de la démocratie.

Pourtant, le citoyen moderne est loin d’être passif. S’il fréquente moins les urnes, il participe à la démocratie par ses opinions, ses associations, ses expertises, par des manifestations, des études, des dénonciations et des lobbies. Pierre Rosanvallon parle alors de « contre démocratie » comme pilier de la démocratie et non pas comme « anti-démocratie ».


Elle recouvre trois dimensions :

  • celui d’un peuple-vigilant dont les pouvoirs de surveillance ont pour but de contrôler les représentants et les contraindre à respecter leurs engagements (vigilance)

  • celui d'un peuple-veto dont les pouvoirs de sanction et d’empêchement visent à obliger les gouvernants à renoncer à certains projets, la souveraineté populaire se manifestant alors par le rejet ou le refus (droit de véto)

  • et celui d'un peuple juge et de la judiciarisation du politique (vote)


Pour notre cas il a été vu qu’il existait de la méfiance vis-à-vis de la fiabilité et de l’exactitude des données scientifiques et techniques. L’idée serait alors de transposer la théorie de P. Rosanvallon sur la méfiance en politique aux données scientifiques et techniques, comme représenté dans la figure suivante:


La « contre démocratie »

Confiance dans la qualité des données

Surveiller

Vigilance

Surveiller

Traçabilité, archivage

Empêcher

Droit de véto

Empêcher

Validation inter-laboratoire, méthodes analytiques

Juger

Vote

Evaluer

Dossier d’auto évaluation, évaluation par les pairs


Figure 3 : transposition de la « contre-démocratie » à la confiance dans la qualité des données [7]


Pour restaurer la confiance dans les données scientifiques et techniques, il a été émis l’hypothèse qu’il faut suivre les processus suivants : surveiller les données, empêcher la diffusion de mauvaises données et les évaluer (par les pairs).

retour sommaire


 

ANALYSE DES PROCESSUS


I.    Surveiller


La surveillance constitue le premier maillon dans la théorie de Rosanvallon [9]. Les pouvoirs de surveillance ont pour but de contrôler les représentants et les contraindre à respecter leurs engagements, on parle alors de vigilance.

Dans le cas des données scientifiques et techniques il est possible de reprendre cette idée de surveillance-vigilance pour constituer une veille des données, de  leur exactitude, de leur mise à jour et de leur disponibilité.

Pour cela deux étapes clés ont été identifié dans ce processus : la traçabilité et l’archivage.


1.    Traçabilité

A.    Définition

Pour le spécialiste d’un domaine, la connaissance des sources d’information disponibles est aussi importante que l’accès aux mises au point périodiques sur l’état de son art. Pour un scientifique ou un ingénieur intéressé par la mise en œuvre d’une technique hors de ses compétences, s’il est relativement facile de se documenter sur les aspects théoriques de cette technique, il est plus délicat de recueillir un avis sur sa pratique, ses limites et d’avoir accès aux données de qualité permettant une bonne interprétation des résultats.

La traçabilité de ces données vient donc résoudre, en partie, la problématique de la surveillance des données et installe une confiance en matière de qualité et de fiabilité de la source de la donnée [10] [11].


La traçabilité est une procédure visant à suivre automatiquement une donnée depuis sa naissance jusqu'à sa valorisation finale. Cela permet de remonter à la donnée initiale et à sa source ainsi qu’à toutes les données intermédiaires utilisées et leurs méthodes d’obtention [8].


B.    Organisation de la traçabilité des mesures

Tout au long de ce chapitre,  il est nécessaire de s’intéresser à la notion de traçabilité, ce qu’elle implique en termes d’étalonnage et d’échantillonnage pour le laboratoire ou l’entreprise, qui produit des données scientifiques et techniques.

retour sommaire


a.    Traçabilité et étalonnages

Établir la traçabilité consiste à fournir à tout moment les informations et les documents qui permettent de savoir comment un résultat a été obtenu. Il doit être possible de remonter de proche en proche et sans interruption jusqu’à des systèmes d’étalonnage qui auront été certifiés par des organismes officiels.


La traçabilité du mesurage doit être assurée en ayant recours aux services d’étalonnage de laboratoires qui peuvent apporter la preuve de la traçabilité et de leur compétence. Les certificats d’étalonnage délivrés par ces laboratoires doivent montrer qu’il existe un lien avec un étalon primaire ou une constante naturelle reliée à l’unité SI (Système International d’unités) par une chaîne continue d’étalonnages. Les certificats doivent contenir les résultats de mesure, y compris l’incertitude de mesure ou une déclaration de conformité à une spécification métrologique identifiée.


D’une façon générale, l’organisme doit avoir rédigé des procédures qui décrivent la manutention, le transport, le stockage et l’utilisation des étalons de référence, tels que les poids, et matériaux de référence afin de prévenir toute contamination ou détérioration.

Dans le cas où on ne pourrait utiliser que des matériaux de référence, comme lors d’un étalonnage d’une méthode en fluorescence X, ils doivent, si possible, être raccordés à des unités de mesure SI ou à des matériaux de référence certifiés internationaux ou nationaux.


Lorsqu’il est impossible d’établir la traçabilité aux unités de mesure SI ou lorsqu’elle n’est pas pertinente, d’autres moyens d’obtenir la confiance dans les résultats doivent être appliqués, comme :


b.    Traçabilité et échantillon

L’organisme doit établir un système coordonné pour identifier les échantillons d’essai et d’étalonnage. L’identification doit être conservée durant toute la durée de vie de l’échantillon dans le laboratoire. Le système doit être conçu et géré de façon à garantir l’impossibilité de confondre les échantillons, physiquement ou lorsqu’il y est fait référence dans les enregistrements ou autres documents. Le cas échéant, le système doit prévoir comment se fera la subdivision ou le transfert des échantillons à l’intérieur ou hors du laboratoire lorsque plusieurs mesures doivent être effectuées sur des prises d’essai différentes.


Dans ce but, l’étape de réception d’un échantillon prend un rôle prépondérant. Ainsi, à la réception de l’objet d’essai, toute anomalie ou écart par rapport aux conditions normales, telles qu’elles sont spécifiées dans la méthode d’essai ou d’étalonnage pertinente, doit être enregistré. S’il y a le moindre doute quant à l’adéquation d’un échantillon ou s’il n’est pas conforme à la description fournie ou encore si l’essai demandé n’est pas spécifié avec une précision suffisante, le laboratoire doit consulter le client pour obtenir de nouvelles instructions avant de procéder à l’essai. Le laboratoire doit établir si l’objet a été convenablement préparé ou si le client exige que la préparation soit réalisée par le laboratoire. Il n’est donc pas surprenant que la mise en place d’un système qualité commence souvent par une réorganisation de la salle de réception des échantillons.

retour sommaire


Le laboratoire doit disposer de  procédures et d’installations appropriées pour éviter la détérioration ou l’endommagement de l’échantillon de travail lors de son stockage, de sa manutention, de sa préparation et de l’essai. Lorsqu’il est nécessaire de stocker ou de conditionner des objets dans des conditions ambiantes spécifiées, ces dernières doivent être maintenues, surveillées et enregistrées.

Lorsqu’un échantillon ou une partie de cet objet doit être mis en sécurité (par exemple pour des raisons d’enregistrement, de sécurité ou pour permettre des essais ultérieurs), le laboratoire doit prévoir des dispositions de stockage qui protègent la condition et l’intégrité de l’objet ou des parties de l’objet.

La traçabilité doit devenir un souci permanent des analystes et du personnel du laboratoire. Il est alors évident que les moyens informatiques permettront de simplifier ces différentes opérations.


En plus de cette nécessité d’une traçabilité dans les organismes producteurs de données scientifiques et techniques, par les étalons et les échantillons. Cette dernière doit être assurée par un enregistrement et par un archivage sur un support et selon des modalités permettant d’assurer l’intégrité des données et de garantir leur consultation. [8]

En effet la conservation et l’archivage des données sont des sous-procédures qui assurent la réalisation de la traçabilité des données, il est donc judicieux d’expliciter cet aspect pour comprendre sa contribution dans la fonction surveillance des données.

2.    Archivage

A.    Définition

L’archivage consiste à classer les enregistrements effectués tout le long du processus de production de la donnée scientifique et technique. Ces enregistrements doivent être accessibles à tout moment pour justifier de la qualité d’une donnée à titre légal (exemple : lors d’un litige), économique ou informatif.

Le contenu archivé est considéré comme figé et ne peut donc être modifié. La durée de l’archivage est fonction de la valeur du contenu et porte le plus souvent sur du moyen ou long terme.

Il convient de distinguer deux formes d’archivages : l’archivage physique (papier) et l’archivage électronique. De plus en plus l’archivage électronique pour le cas des données scientifiques et techniques est privilégié car il permet la valorisation et l’exploitation facile de celles-ci.

B.    Normes relatives à l’archivage

Des normes non obligatoires fournissent aux organisations une marche à suivre pour assurer l'archivage de ses documents :


Enfin, il faut signaler l'OAIS (Open Archive Information System), modèle conceptuel destiné à la gestion, à l'archivage et à la préservation longue de documents numériques. Le modèle OAIS correspond à la norme ISO 14721 de 2003 (Systèmes de transfert des informations et données spatiales - Système ouvert d’archivage de l’information - Modèle de référence).


3.    Bilan

Le processus dit de surveillance, au travers des actions menées (traçabilité des mesures et archivage des données), permet d’établir un premier niveau de confiance dans la qualité des données scientifiques et techniques. Pour compléter ce dernier il est nécessaire de d’intéresser au processus d’empêchement.


II.    Empêcher


Rosanvallon [9] écrit que pour exercer son pouvoir contre-démocratique, le peuple peut avoir recours à son droit de veto en ce qui concerne les décisions prises par le gouvernement ou les actions qu’ils mènent. Ceci reste vrai tant que, ce droit de veto correspond à une réelle remise en question d’un programme politique, et non, du rejet du gouvernement dans sa globalité.


Le processus d’empêchement consisterait donc à bloquer la diffusion des données scientifiques et techniques erronées ou aberrantes afin d’élever la confiance des utilisateurs en de telles données. Afin de mener à bien ce processus d’empêchement, il faut mettre en place des étapes de validation des données.


Il paraît alors essentiel de traiter les questions suivantes :


1.    Processus d’empêchement

Comme pour le chapitre précédent, cette partie s’intéresse pour l’empêchement au rôle des chercheurs et analystes travaillant en laboratoire ou en entreprise. De plus elle se concentrera sur les méthodes utilisées pour séparer les données correctes des données fausses. Ce qui permet au final de limiter la diffusion de données dans lesquelles un client ou simple utilisateur ne pourrait pas avoir confiance.

retour sommaire

A.    Généralités

La norme NF EN ISO/CEI 17025 datant de septembre 2005 définit les exigences générales concernant la compétence des laboratoires d’étalonnages et d’essais quelque soit la méthode utilisée (normalisée, non normalisée ou élaborée par le laboratoire lui-même). Le chapitre 5 intitulé « Exigences techniques » fait état des différentes sources jouant sur l’exactitude et la fiabilité des essais ou étalonnages : le facteur humain, les installations et conditions ambiantes, les méthodes d’essais et d’étalonnages ainsi que la validation de ces méthodes, l’équipement, la traçabilité du mesurage, l’échantillonnage et la manutention des objets d’essai et d’étalonnage. Chacun de ces éléments contribue de façon diverse à la qualité des données selon le type d’essai ou d’étalonnage réalisé [12].


Pour lever la défiance des « clients » ou utilisateurs de données scientifiques et techniques, il faut codifier la mise en place d’une méthode d’analyse et définir des critères sur lesquels s’appuyés pour prouver la robustesse de la méthode et donc de la donnée qu’elle délivre [13].

B.    Méthode analytique

Le choix, le développement, la validation et l’application d’une méthode d’analyse représentent des éléments clés lorsque l’on discute du processus d’empêchement.


La méthode se doit de respecter quatre principes de base :


Au terme d’une analyse scientifique (physique, chimique…), on obtient une ou plusieurs données. Il apparait nécessaire de caractériser la méthode retenue pour y arriver et la façon dont on a procédé pour la valider. Dans cette optique il sera détaillé, pour chacune des étapes citées ci-dessus, les critères d’importance  permettant d’élever la confiance dans les résultats obtenus.

a.    Choix et développement de la méthode

Après avoir sélectionné la méthode appropriée au type de mesures à effectuer, on va la développer en l’adaptant à sa situation particulière en définissant précisément son domaine d’application (matrice, type d’échantillon, concentration…).


Un laboratoire ou une personne voulant assurer de la qualité des données qu’il ou elle produit devrait avoir recours à certaines actions.

retour sommaire


i. Mentionner les métadonnées


Il faut tout d’abord signaler l’ensemble des informations et conditions de l’expérimentation, ce qui va permettre la traçabilité de la donnée comme vu dans le chapitre précédent. Pour cela, l’expérimentateur va consigner par écrit le nom de l’opérateur, sa fonction, la date, le lieu de l’expérimentation, les moyens (appareillages et réactifs) et modes opératoire mis en œuvre lors de l’analyse.


ii. Etalonner la méthode


Il convient avant de procéder à un essai sur un équipement spécifique d’en réaliser l’étalonnage. Pour cela, on utilisera des étalons de références qui peuvent être des matériaux de référence certifiés ou des étalons agréés par un laboratoire voire comparées entre plusieurs laboratoires (test d’aptitude). Il est également nécessaire de réitérer les essais ou étalonnages à l’aide de la même technique ou d’une méthode différente afin de confronter les résultats obtenus.


Généralement on étalonne les méthodes de mesures quantitatives.


iii. Détecter les valeurs aberrantes par traitements statistiques

Il faut un minimum de cinq points pour construire la courbe d’étalonnage réitérés trois fois chacun. Pour que le modèle mathématique de l’étalonnage soit pertinent, il faut écarter pour chaque série de mesures les valeurs dites aberrantes. Il existe de nombreux tests statistiques qui permettent de détecter des valeurs suspectes (niveau de risque de 5%) ou pire aberrantes (niveau de risque de 1%). Dans le domaine analytique, on fera le plus souvent appel au test Dixon (ou test Q) pour justifier de l’élimination d’une valeur expérimentale, en comparant le résultat du test statistique à celui de indiqué dans la table de Dixon pour un niveau de risque de 10, 5 ou 1% selon la mesure et la fidélité recherchée.

b.    Validation intra-laboratoire de la méthode

La validation intra-laboratoire s’appuie sur différents critères tels que la justesse, la spécificité, la linéarité, la répétabilité, la sensibilité, la limite de détection ou la limite de quantification. Elle permet au chercheur de prouver que la méthode utilisée est efficace, que les résultats fournis sont « de qualité », et que leurs diffusions a du sens.


Remarque : une méthode validée pourra être par la suite utilisée de façon routinière par le laboratoire. La validation de la méthode est à revoir si le laboratoire change des paramètres majeurs du mode opératoire ou si elle devient obsolète.

retour sommaire


i. Linéarité


A l’aide des résultats numériques obtenus lors des expériences et de leurs traitements statistiques, le chercheur doit prouver que la méthode utilisée est efficace.

Pour cela, il lui suffit de montrer que le modèle mathématique choisi pour décrire ses variables est valide. La régression linéaire est un des modèles les plus souvent choisis. En effet, elle permet de mettre en évidence les influences mutuelles de deux variables quantitatives. Un coefficient de corrélation et un coefficient directeur élevés est signe d’une forte proportionnalité entre les deux variables. Une analyse plus poussée de la variance de la courbe à l’aide du test de Fischer permet de confirmer la linéarité. Dans la pratique, on peut se forger une première idée de la qualité de la linéarité en observant le coefficient de détermination (carré du coefficient de corrélation), qui doit tendre vers 1.


ii. Domaine de détection et effet de matrice


Lorsque l’on réalise des mesurages à l’aide d’une méthode d’analyse, il faut tenir compte de deux paramètres, sources d’erreurs :


Une méthode d’analyse est fiable sur un certain domaine de valeurs, au-delà duquel, l’étalonnage peut ne plus ou pas avoir de signification. On définit alors deux termes :


Il n’existe aucune méthode statistique permettant de dire avec précision quelles sont les valeurs de ces limites. Il appartient à l’analyste d’apprécier le domaine d’étude de la méthode et de prendre en compte ou non un essai blanc (provenant de l’équipement, de la matrice…) pour corriger ses mesures.


iii. Justesse et incertitude


La répétition d’une même mesure dans les mêmes conditions met souvent en évidence la disparité des résultats obtenus par l’expérimentation, ce qui correspond à ce que l’on appelle communément l’incertitude de mesure. Une mesure sera moyenne et comprise dans un intervalle de confiance où elle devrait se situer.


Traditionnellement, on va décomposer les différentes sources d’erreur, estimer les incertitudes associées et les ajouter de façon à prévoir l’incertitude globale d’une mesure. Il faut également noter qu’une analyse peut être réalisée en une ou plusieurs étapes. Or, il faut noter que chacune de ses étapes sera source d’incertitude. Donc plus l’analyse sera complexe, plus la donnée obtenue sera entachée d’une incertitude de mesure [14].

retour sommaire


iv. Répétabilité


La répétabilité est réalisée lorsque « les résultats d’essai indépendant sont obtenus par la même méthode sur des individus d’essai identiques dans le même laboratoire, par le même opérateur, utilisant le même équipement et pendant un court intervalle de temps ».

L’analyste calcule le paramètre caractéristique de la répétabilité : la limite de répétabilité r qui est l’écart type maximal au niveau de confiance de 95 % entre deux résultats obtenus dans des conditions de répétabilité.

Si la différence absolue entre deux résultats d’essai est inférieure ou égale à r, alors les résultats sont acceptables.

c.    Emission de la donnée

On cherchera le plus souvent possible à fournir les données puis par la suite d’estimer leurs incertitudes de mesures dans les unités du Système International (SI) avec les mêmes nombres de chiffres significatifs, afin de permettre une cohérence de lecture, une traçabilité des mesures. De plus, cela implique que les valeurs ne sont pas dépendantes du temps et du lieu [14].

D’autre part, certaines données émises peuvent provenir du calcul. Elles doivent également être accompagnées d’une estimation de l’erreur de calcul.


C.    Validation inter-laboratoire


La validation inter-laboratoire est généralement utilisée par les laboratoires ou entreprises qui cherchent à promouvoir une méthode ou même à la publier. La norme ISO 5725 définit ce type de validation. Elle consiste en l’analyse de un ou plusieurs échantillons par huit laboratoires différents au moins. Chaque échantillon sera analysé de deux à quatre fois.


Les laboratoires dont les résultats sont jugés aberrants, sont écartés du processus avant de procéder à la validation de la méthode. Pour cela, on effectue sur l’ensemble des données collécté deux séries de tests statistiques destinés à détecter les valeurs aberrantes:

Puis, pour finaliser ce type de validations, on s’intéressera en plus du critère de répétabilité, vu précédemment, au critère spécifique de reproductibilité de la méthode [11][13].

retour sommaire

La reproductibilité est réalisée lorsque « les résultats d’essai sont obtenus par la même méthode sur des individus d’essais identiques dans différents laboratoires, avec différents opérateurs et utilisant des équipements différents ». L’analyste calcule la limite de reproductibilité R qui est l’écart type maximal au niveau de confiance de 95 % entre deux résultats obtenus sur un échantillon commun par deux opérateurs ou deux laboratoires différents. Si la différence absolue entre deux résultats d’essai est inférieure ou égale à R, alors les résultats sont acceptables.


 La répétabilité et la reproductibilité permettent de prendre en compte les différentes sources de variation d’une mesure et donc d’élever le niveau de confiance dans la donnée expérimentale.


2.    Bilan


Une donnée qui est le résultat d’une analyse quantitative validée en interne, puis en externe lorsque cela est envisageable (coûts importants et tests longs) a suivi un cheminement bien spécifique pour attester de son exactitude. La mention d’un tel traitement des données dans un rapport technique ou scientifique est une preuve du sérieux de ces données.


Par conséquent, le chercheur ou l’analyste, qui respecte l’ensemble des pratiques et critères recensés ci-dessus, limite la diffusion de données scientifiques ou techniques approximatives ou erronées. Cependant, pour renforcer la notion de qualité, la donnée produite devrait être soumise à un troisième processus de contrôle: une évaluation de sa qualité par un jugement émis en interne par une tierce personne, puis en externe par des pairs.



III.    Evaluer


Dans la théorie de Rosanvallon [9] la dernière étape est de juger pour donner de la légitimité. Un contrôle extérieur donne dans le cas de Rosanvallon de la recevabilité à un mandat politique et aux décisions qui en découlent. Ce jugement est effectué par le contrôle juridictionnel mais aussi l’opinion publique de tous les citoyens.


Il est possible dans notre cas de transposer cette idée de jugement, d’évaluation, pour donner de la légitimité aux données scientifiques et techniques et à ceux qui les produisent.


Pour mettre en place cette idée deux étapes ont été distinguées: une autoévaluation faite en interne et une évaluation par les pairs en externe.


retour sommaire

1.    L’auto évaluation


L’organisme étant en charge de la production de la donnée scientifique et technique doit se charger de valider en interne (avant la diffusion et l’utilisation de la donnée) les résultats obtenus.


L’autoévaluation doit être faite en interne par une personne n’ayant pas participé au processus d’élaboration de la donnée. Elle est effectuée en vérifiant si tous les points important de surveillance et d’empêchement on été respecté.


La personne chargée de cette étape doit avoir des connaissances suffisantes pour s’assurer de la pertinence du raisonnement et de l’adéquation des analyses réalisées.

Il doit également s'assurer que les éléments qui lui ont été fournis ne sont pas en contradiction avec des analyses similaires précédentes, avec la jurisprudence ou avec les dispositions légales ou réglementaires applicables. Dans ce cas, cette personne doit poursuivre ses investigations pour expliquer et/ou justifier les écarts constatés.


2.    L’évaluation par les pairs


Le but de l’évaluation par les pairs est de juger et de valider le degré de conformité des données scientifiques et techniques.

C’est une équipe d’évaluateurs experts dans les domaines qu’ils sont amenés à évaluer.

Il existe en France des évaluations par les pairs, mais cette pratique n’est pas centralisée. Par exemple les jurys de thèses ou encore des comités d’experts formés ponctuellement pour valider une expertise.


Certains domaines sont plus avancés que d’autres.

A.    Exemples

Prenons l’exemple de l’INSEE (Institut National de la Statistique et des Etudes Economiques) qui en adoptant le code de bonnes pratiques de la statistique européennes en 2005 s’est engagé à se faire évaluer par des pairs [15]. Suite à 3 jours d’audit en 2007 et à un dossier d’information fourni par l’INSEE et Eurostat, l’évaluation par les pairs a donné lieu à un rapport qui évalue la conformité avec le code de bonnes pratiques.


Ou encore l’exemple de l’AERES (Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur) [16]. La loi de programme pour la recherche (LRU) de 2006 a confié à l’AERES une mission globale d’évaluation de l’enseignement supérieur et de la recherche. L’agence est chargée :

retour sommaire


A la suite d’audits l’agence attribue une note (A, B, C ou D) aux établissements. L’évaluation de l’agence suit ce cycle et se répète donc tous les 4 ans pour la majorité des structures évaluées.


Enfin il est possible de prendre l’exemple d’évaluation des bonnes pratiques de laboratoires. Les bonnes pratiques de Laboratoires BPL sont un ensemble de pratiques   préétablies   qui   visent   l’organisation   générale   du Laboratoire ainsi que les conditions dans lesquelles les analyses sont : préparées, effectuées, suivies, enregistrées et rapportées [17].

Afin d’accréditer les Laboratoires respectant ces exigence le Groupement Interministériel Produits Chimiques à délégué au COFRAC (COmité FRancais d'ACcréditation) la réalisation des audits. A la lecture du rapport une accréditation est ou non délivrée.


B.    Application à notre problème


C’est en s’inspirant de ces exemples qu’il a été possible de définir les missions d’un  organisme qui pourrait être créé pour la validation des données scientifiques et techniques.


Pour garantir une bonne évaluation il est indispensable d’avoir un comité d’experts compétent et en adéquation avec les entités étudiées.

Il faut donc réussir à créer une organisation représentative et accepté par tous.

Pour cela il est possible de s’inspirer du modèle d’organisation de CODATA, de tel sorte que cette organisation soit accessible par tous et de part sa représentativité soit légitimée par tous. Pour garantir ces points cet organisme pourrait suivre les exigences de la norme NF EN ISO/CEI 17020 « Critères généraux pour le fonctionnement de différents types d’organismes procédant à l’inspection ».


Pour définir les étapes de l’évaluation par les pairs il est tout à fait possible de s’inspirer du modèle d’un audit de type ISO 19011 « Lignes directrices pour l'audit des systèmes de management de la qualité et/ou de management environnemental ».

retour sommaire

Voici le modèle proposé :

Phase 1 : La préparation


Phase 2 : La visite


Phase 3 : Le compte-rendu et la validation



3.    Bilan

C’est sur l’idée de la nécessité d’un document d’autoévaluation qu’il a été décidé de construire une grille d’autodiagnostic permettant aux producteurs de données scientifiques et techniques mais aussi aux utilisateurs, de contrôler la qualité de ces données.

Cette grille d’autodiagnostic, fournie dans le chapitre 3, reprend les exigences et les bonnes pratiques définies précédemment : Surveiller, Empêcher, Evaluer.


retour sommaire

IV.    Bilan des processus


La figure ci-dessous est un diagramme ishikawa qui reprend les trois processus et sous processus qui ont permis de synthétiser tous les points importants identifiés dans ce chapitre.



Diagramme Ishikawa

Figure 4 : Synthèse des processus - Ishikawa [7]




retour sommaire



 

AUTODIAGNOSTIC

France Autogiagnostic : Version française
Angleterre Autodiagnostic: English version

La grille d’autodiagnostic permettant de mesurer la confiance dans la qualité des données scientifiques et techniques a été construite à partir de l’étude des différents processus abordée dans le chapitre précédent. En effet, l’ensemble des points sur lesquels se fondent cette confiance ont été identifiés puis retraduit sous la forme de bonnes pratiques à mettre en place pour satisfaire à l’exigence de fiabilité, exactitude et qualité des données.


Ces bonnes pratiques sont réparties selon les processus et sous-processus identifiés précédemment et pondérés selon leur niveau d’importance, comme suit :


Processus

(pondération %)

Sous-processus
(pondération %)

Surveiller (30%)

Traçabilité (50%)

Archivage (50%)

Empêcher (50%)

Mise au point de la méthode (30%)

Validation de la méthode (35%)

Emission de la donnée (35%)

Evaluer (20%)

Auto-évaluation (40%)

Evaluation par les pairs (60%)


Figure 5 : Autodiagnostic - Pondération par processus [7]
retour sommaire

Cette outil s’adresse à toute personne ou groupe de personnes qui produit ou utilise des données scientifiques et techniques (provenant des sciences dures : physiques, chimies, biologies, géologies…), comme indiqué dans l’avant-propos de ce document. Il faut également rappeler que les données uniques, qu’on ne saurait obtenir plus d’une fois, ne sauront être évaluées.


L’outil d’autodiagnostic proposé répertorie 36 critères permettant d’évaluer le niveau de confiance de la donnée plus ou moins pondérés selon leur importance.


L’ensemble de ces critères et pondérations est consigné en annexe [Annexe 2].



Un fichier Excel a été mis au point pour permettre de réaliser l’évaluation. Elle consiste à choisir pour chaque item l’une des notes suivantes en réponse à l’état de fait « la bonne pratique est satisfaite » :

Faux (0%) - Plutôt faux (30%) - Plutôt vrai (60%) - Vrai (100%)

L’évaluation s’effectue en moins de 30 minutes. Les résultats sont consultables immédiatement dans l’onglet correspondant.

L’évaluateur visualise ses scores par sous-processus (traçabilité, archivage…), processus (surveillance, empêchement, évaluation). Il lui est également attribué un score global (regroupant la totalité des processus).


Il lui suffit ensuite de se référer aux échelles de confiance pour interpréter ses résultats :

Echelle globale de confiance

Figure 6 : Autodiagnostic – Echelle globale de confiance [7]

retour sommaire


Echelle de confiance par processus
Figure 7 : Autodiagnostic – Echelle de confiance par processus [7]



Remarque:

Il est également possible de répéter le diagnostic pour plusieurs évaluateurs et de consulter graphiquement la moyenne et la dispersion des résultats par processus.


Diagramme Kiviat

Figure 8 : Comparaison entre utilisateurs – Diagramme Kiviat [7]



Pour information, le contenu de l’outil d’autodiagnostic a été réalisé en collaboration avec Monsieur J.P. Caliste, tuteur de ce projet d’intégration. De plus, cet outil a été testé dans la mesure du possible, dans le temps imparti, par des thésards et industriels pour s’assurer de la pertinence des critères et pondérations. Un exemple d’un des retours est disponible en annexe [Annexe 3].

C’est en prenant en compte toutes ces remarques que nous avons corrigées autant d’erreurs et d’incertitudes que possible.

 


retour sommaire


CONCLUSION



Ce dossier a pour vocation de synthétiser les exigences ayant un rôle dans la qualité des données scientifiques et techniques. Le but est d’améliorer la confiance des utilisateurs dans de telles données pour répondre aux enjeux socio-économiques du contexte actuel.


Grâce à l’identification de trois grands processus : surveiller, empêcher et évaluer ; il a été possible de répertorier et d’organiser les critères d’importances applicables à un public qui s’est voulu le plus large possible. Ce travail contient aussi un autodiagnostic permettant de mesurer la confiance dans la qualité des données scientifiques et techniques et qui, plus qu’un outil d’évaluation, doit être considéré comme une aide pédagogique.


Nous espérons qu’il fera naître une réflexion personnelle des lecteurs et utilisateurs quelque soit leur secteur d’activité. Il nous apparaît essentiel de nos jours de développer une réflexion commune, en France et pas seulement, sur cette notion de confiance dans les données scientifiques et techniques. Cela permettrait avec le temps de faire évoluer nos critères et donc de rester crédible.



retour sommaire


BIBLIOGRAPHIE

 

[1] CNRS, Centre national de recherche scientifique.

http://www.cnrs.fr/fr/organisme/chiffrescles.htm, consulté le 1er décembre 2009

 

[2] CODATA. International Council for Science: Committee on Data for Science and Technology. http://www.codata.org, consulté le 7 octobre 2009

 

[3] CODATA recommande l’utilisation des valeurs de la base de donnée en ligne NIST, consulté le 7 octobre 2009

http://scitation.aip.org/getabs/servlet/GetabsServlet?prog=normal&id=RMPHAT000080000002000633000001&idtype=cvips&gifs=yes

http://www.icsu.org/index.php

http://www.icsu.org/5_abouticsu/STRUCT_InterBod_2.php?query=CODATA

 

[4] Liens entre UNESCO, ISCU et CODATA, consultés le 7 octobre 2009

http://portal.unesco.org/fr/ev.php-URL_ID=3328&URL_DO=DO_TOPIC&URL_SECTION=201.html

http://www.icsu.org/5_abouticsu/INTRO.php

http://www.icsu.org/5_abouticsu/STRUCT_InterBod_1.php

http://www.icsu.org/index.php

 

[5] DUTHEUIL Christian, Sources d’information factuelle, Techniques de l’Ingénieur, TI-k30.

 

[6] Référentiels divers, consultés le 7 octobre 2009:

NIST. Fundamental Physics constants from NIST.

http://physics.nist.gov/cuu/Constants/index.html

ANSI. American National Standards Institute. http://www.ansi.org/

ASTM. ASTM-Standards worldwide. http://www.astm.org/index.shtml

 

[7] BOCK Lucie, FAHIM Amine, ING Silya, RONCIN Marie, Université Technologique de Compiègne, Projet QP10 : La qualité des données scientifiques et techniques. http://www.utc.fr/master-qualite/, rubrique "Travaux", projet numéro 129

 

[8] NISSAN Dori, AFNOR/XD50A GT1 N54, Afnor Normalisation.

 

[9] POURTOIS Hervé, La contre démocratie, de Pierre Rosanvallon. La revue nouvelle, mars 2008, numéro 3. http://www.revuenouvelle.be/rvn_abstract.php3?id_article=817

 

[10]  http://pascal.ajoux.free.fr/pdf/traca.pdf, consultée le 7 octobre 2009

 

[11] FEINBERG Max, LAMARQUE Gérard. Validation externe des méthodes d’analyse, Techniques de l’ingénieur, TI-p226.

 

[12] NF EN ISO/CEI 17025, septembre 2005.

http://sagaweb.afnor.fr/Recherche.asp?lang=French, consulté le 21 octobre 2009

 

[13] FEINBERG Max, Validation interne des méthodes d’analyse, Techniques de l’Ingénieur, TI-p224.

 

[14] QUEVAUVILLER Philippe, DONARD Olivier, THOMAS Olivier. Traçabilité des analyses chimiques environnementales, Techniques de l’Ingénieur, TI-P3810.

 

[15] INSEE : Institut National de la Statistique et des Etudes Economiques.

http://insee.fr/fr/insee-statistique-publique/connaitre/rapport_fr.pdf, consultée le 13 novembre 2009

 

[16] AERES : Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur. http://www.aeres-evaluation.fr/, consultée le 13 novembre 2009

 

[17] Jean Pierre Caliste, Cours QP03, Les normes de l’assurance qualité dans les laboratoires de mesures, Novembre 2009

retour sommaire

 

Annexe 1 : Tableau récapitulatif des normes


Processus
Mots clefs
Normes associées
Surveiller
Veille des données, exactitude, disponibilité et mise à jour des DST
Traçabilité
NF EN ISO/CEI 17025
FD X 07-015
Archivage
NF Z 42-013
NF Z 43-400
ISO 14721 v2003
Empêcher
Bloquer la diffusion de DST erronnées ou aberrantes
Méthodes analytiques
NF EN ISO/CEI 17025
Métadonnées
NF EN ISO/CEI 17025
NF EN ISO 10012
X 07-011
X 07-016
Etalonnage
NF EN ISO/CEI 17025
FD X 07-013
Valeurs aberrantes par méthodes statistiques
NF EN ISO/CEI 17025
Validation intralaboratoire
Linéarité
Domaine de détection et effet de matrice
Justesse et incertitude
NF EN ISO/CEI 17025
FD X 07-021
ISO 5725
Répétabilité
NF EN ISO/CEI 17025
Emission de la donnée
Validation interlaboratoire
ISO 5725
NF ISO 13528
FD CEN/TR 10345
Tests statistiques
ISO 5725
Reproductibilité
ISO 5725-2
Répétabilité
Evaluer
Légitimer la DST
Evaluation par les pairs
NF EN ISO/CEI 1720
ISO 19011
Auto évaluation

 


retour sommaire


 Annexe 2 : Liste des affirmations de l'autodiagnostic

SURVEILLER (30%)
TRACABILITE (50%)
1
Votre travail s’appuie sur des constantes référencées dans des ouvrages de qualité (comme les abaques, handbooks, base de données type CODATA)
2
Votre travail (rapport, bilan, synthèse, interprétation de résultats…) utilise  des données provenant de publications, thèses ou documents expérimentaux
3
Vous mettez en œuvre un processus garantissant la traçabilité (information sur le stockage, fiche de données sécurité, données fournisseur…) des produits,  échantillons… que vous utilisez pour réaliser les analyses
4
Vous faites des revues périodiques de ce processus de traçabilité (amélioration)
5
Vous étalonnez régulièrement votre équipement de mesure
6
Vous avez des preuves de cet étalonnage (exemple : certificat d’étalonnage)
ARCHIVAGE (50%)
7
Les données brutes et élaborées en interne font l'objet d'un archivage
8
Vous vous référez à des méthodes pour archiver vos données  (comme par exemple la norme NF Z 43-400 ou encore la norme NF Z 42-013)
9
Les données validées et archivées sont identifiables
10
Vous accédez rapidement aux données archivées
11
Vous conservez les métadonnées (ou informations) relatives aux données archivées
12
Vous avez recours à l'archivage électronique
13
Vous vous référez à des modèles conceptuels pour la gestion de ces archives (exemple: Open Archival Information System - OAIS)
EMPECHER (50%)
MISE AU POINT DE LA METHODE (30%)
14
Vous vous assurez que la personne qui travaille sur la donnée est compétente
15
La méthode est adéquate au problème à traiter en terme de coût, durée, résultats attendus…
16
Les métadonnées apparaissent dans vos rapports/bilans/synthèses (exemple:  nom de l’opérateur, sa fonction, la date, le lieu de l’expérimentation, les moyens (appareillages et réactifs) et modes opératoire mis en œuvre lors de l’analyse)
17
Vous utilisez des étalons référencés/inter-comparés entre laboratoires/agréés par un laboratoire
18
Vous étalonnez votre méthode d’analyse (matrice, vibration, blanc, gamme d’étalonnage, limite de détection... pris en compte)
19
Le modèle mathématique retenu a été jugé pertinent pour réaliser l'étalonnage de la méthode
20
Vous avez éliminé les valeurs aberrantes (étalons et échantillons) en faisant appel à des tests statistiques (exemple: normalisés NF….)
VALIDATION DE LA METHODE (35%)
21
Vous avez répertorié les différentes sources d'incertitude contribuant à la qualité de la donnée
22
Ces facteurs ont été pris en compte dans le calcul de l'incertitude
23
Vous prenez en compte  la répétabilité et la reproductibilité (comme définie par exemple dans la norme ISO 5725) de la méthode
24
L’organisme producteur de la donnée s’assure de sa capacité à utiliser la méthode (validation intra-laboratoire)
25
Vous avez validé la méthode par une campagne inter-laboratoire (définie dans la norme ISO 5725)
EMISSION DE LA DONNEE (35%)
26
Vous utilisez les unités du système international (si possible) pour quantifier les grandeurs et leurs incertitudes
27
Les données sont publiées avec leurs métadonnées
EVALUER (20%)
AUTO-EVALUATION (40%)
28
Les données produites ont été évaluées par une autre personne en interne
29
Cette personne n'a pas participé à la production de la donnée
30
Cette personne est compétente pour réaliser l’évaluation et faire des recommandations
31
Vous avez revu vos résultats après avoir été évalué en interne
EVALUATION PAR LES PAIRS (60%)
32
Les données ont servi à d’autres chercheurs pour d’autres études
33
Vos données ont été évaluées par des experts (exemples: comités scientifiques, jury de thèse, examinateurs de brevets, audit ISO 17025…)
34
Les données ont fait l’objet d’une publication internationale
35
Vous utilisez les recommandations données par les instances d’évaluation de la recherche
36
Vous avez pris en compte les recommandations émises par ces experts


retour sommaire


Annexe 3 : Retour sur un test de l’autodiagnostic


Une fois notre outil d’autodiagnostic fini nous avons entrepris de le faire tester pour s’assurer de son exactitude et de son utilité. Voici le retour d’un ingénieur que nous avons contacté.

Mail reçu le 22/12/2009 :

« Bonjour,

C'est fait, j'ai testé ton outil.

Pour certaines, j'ai répondu sans connaissance des normes citées. A mon avis, il serait utile de rajouter quelles que info sur ces normes, un titre, un domaine d'application, à quoi elles servent, pourquoi pas dans une ième feuille dédiée à la bibliographie.

J'ai trouvé le questionnaire assez facile d'accès et rapide à remplir. C'est bien! dans ce monde ou de plus en plus prime la productivité, même dans la recherche.

Par contre, les résultats sont moins faciles à appréhender que les questions. J'attends une synthèse d'un plus grand nombre de réponse pour pouvoir me positionner sur la qualité de mes données (par rapport aux autres), et les actions à entreprendre pour y remédier. Pourquoi pas une synthèse triée par secteur sondé: scientifique, technique, industriel, R&D, etc. »


 Capture d'écran des résultats:

Capture d'écran des résultats


 
retour sommaire