Voici un résumé des onze étapes qui ont mené à la réalisation du test diagnostique des compétences en orthographe française ».

    Étape 1- Établissement d’une banque de fautes de français commises par des étudiants universitaires en formation des maîtres dans leurs textes libres


    Une banque de fautes

    À l’origine du projet existe une banque de fautes de français commises dans leurs travaux universitaires, entre 2003 et 2006, par des étudiants en formation des maîtres dans les trois programmes suivants : baccalauréat d’éducation préscolaire et d’enseignement primaire, baccalauréat d’enseignement en adaptation scolaire et sociale, baccalauréat en enseignement secondaire. Ces travaux, effectués dans le cadre de plusieurs cours d’un professeur, consistaient à élaborer un jugement sur des articles de journaux relatant des problématiques reliées à l’éducation, rédiger des commentaires personnels sur des articles de la revue Vie pédagogique, décrire en ses propres mots des termes tirés du Dictionnaire de l’éducation de Legendre et donner des exemples de sa compréhension de ces termes.

    Le professeur a relevé les fautes de français commises dans ces travaux, les a colligées sur un support électronique et y a ajouté les corrections requises. Toutes les fautes sont évidemment rapportées dans leur contexte linguistique. Parmi ces fautes, on reconnaît des fautes d’orthographe grammaticale et d’usage, de syntaxe, de lexique et de ponctuation. Seules les fautes d’orthographe grammaticale et d’usage ont été utilisées pour la construction de l’outil diagnostique, ce qui représente un total de 5640 fautes d’orthographe.

    Liens entre la banque de fautes et l’outil diagnostique

    Les difficultés orthographiques auxquelles sont soumis les utilisateurs de l’outil diagnostique sont les mêmes que celles observées dans la banque de fautes, et ce, dans les mêmes proportions. Par conséquent, l’outil diagnostique évalue les difficultés réelles des étudiants dans leurs écrits quotidiens. En comparaison, d’autres tests d’orthographe existants peuvent évaluer des habiletés ciblées plus ou moins arbitrairement, dont le résultat ne reflètera pas nécessairement les habiletés à orthographier les écrits de tous les jours, dans sa vie personnelle et professionnelle. Ainsi, certains tests peuvent comporter une proportion irréaliste d’accords plutôt inusités, comme ceux des mots composés ou des adjectifs de couleurs, ou de mots du lexique également inusités, et qui ne rendent pas compte des accords verbaux les plus simples. Or, certains étudiants se préparent à ces tests en apprenant par cœur des listes de mots ou de règles « difficiles » tout en négligeant la base de l’orthographe. Ces étudiants atteindront peut-être le seuil de réussite à de tels tests tout en continuant à ne pas maîtriser l’essentiel.

    Pour que l’outil diagnostique soit en mesure de révéler les difficultés des étudiants telles qu’elles ont été relevées dans la banque de fautes, il a donc fallu procéder à l’analyse des fautes du corpus afin d’en tirer le « portrait » le plus fidèle possible des difficultés en orthographe rencontrées quotidiennement par des étudiants universitaires dans leurs textes libres. Le test diagnostique reflète ce portrait afin d’y confronter d’autres étudiants.

    La tâche des utilisateurs de l’outil diagnostique consiste à repérer les fautes soumises et à les corriger.

    Étape 2- Première classification des fautes de la banque, dans la grille générale

    Les fautes ont été classées une première fois dans une grille comprenant les grandes catégories en orthographe grammaticale et d’usage telles que proposées dans la plupart des grammaires. En orthographe grammaticale, par exemple, on retrouve : accord du nom et du déterminant, de l’adjectif, de l’attribut du sujet, de l’attribut du complément direct, du participe passé avec « être », du participe passé avec « avoir », du participe passé des verbes pronominaux, du participe passé suivi d’un infinitif, accords verbaux et conjugaisons, terminaisons en i-is-it, confusions entre infinitifs et participes passés, confusions entre participes présents et adjectifs, homophones grammaticaux.

    Les classifications effectuées respectent les enseignements et la terminologie de la grammaire dite nouvelle. Ainsi, la plupart des fautes qui auraient été classées dans la catégorie « participes passés avec être » dans les grammaires traditionnelles sont désormais classées avec les attributs du sujet. De même, les « participes passés employés seuls » des grammaires traditionnelles sont traités comme des adjectifs verbaux dans les grammaires dites nouvelles et, par conséquent, sont classés avec les accords de l’adjectif. Enfin, plusieurs adjectifs indéfinis des grammaires traditionnelles sont considérés comme des déterminants dans les grammaires dites nouvelles et les fautes les concernant se retrouvent avec les accords du nom et du déterminant.

    Les 5640 fautes de la banque sont classées par un assistant de recherche, sous la supervision d’une professeure à l’UQAR, spécialiste du français écrit et de son enseignement.

    Étape 3- Deuxième classification des fautes : constitution des sous-catégories

    Les sous-catégories sont constituées selon leur utilité didactique. Ainsi, il convient de non seulement connaître les domaines orthographiques qui posent des problèmes aux scripteurs de l’échantillon, ce qui constitue les catégories de fautes (accords des verbes, des participes passés, etc.), mais aussi de pouvoir déterminer les causes possibles des lacunes observées et, par conséquent, de pouvoir agir sur ces causes. Les causes possibles des difficultés observées dans une catégorie donnée constituent les sous-catégories de cette catégorie. Par exemple, la catégorie « Accords verbaux et conjugaisons » a pu être subdivisée en plusieurs sous-catégories explicatives, dont « Il y a un écran entre le sujet et le verbe », « Le sujet est le pronom qui », « Le sujet est ou semble être un groupe complexe » et bien d’autres.

    Alors que les catégories de la grille générale sont en quelque sorte prédéterminées par le contenu habituel des grammaires reconnues, les sous-catégories ne sont constituées qu’au terme d’un travail d’observation des différents cas contenus dans les catégories générales. Les sous-catégories d’une catégorie sont considérées comme complètes quand tous les cas observés trouvent leur place dans une sous-catégorie ou une autre. S’il y a un résidu, il est « rare » par définition et est classé dans une sous-catégorie « autres ».

    C’est la professeure experte en français écrit qui détermine les sous-catégories. L’assistant de recherche a pour tâche de redistribuer toutes les fautes de la banque dans les différentes sous-catégories de chaque catégorie générale.

    Étape 4- Vérification des classifications effectuées

    Il s’agit ici de vérifier si les fautes ont été correctement classées, ce qui est un indice de l’exhaustivité et de l’exclusivité des catégories et sous-catégories de la grille de classification et de la fiabilité de la personne qui a effectué les classements.

    Pour ce faire, l’assistant de recherche a soumis le résultat de ses classifications à la personne experte. Cette dernière a examiné 15 % des très grandes sous-catégories de chaque catégorie et l’intégralité des petites. Le taux d’accord a dépassé les 85 %. Pour les 15 % restants, la personne experte a indiqué ses corrections et elles ont été effectuées, tant sur les cas examinés que sur les autres. Également, dans certains cas où des fautes pouvaient être classées dans plus d’une catégorie ou sous-catégorie, il a été établi un système de règles qui permettrait de trancher en faveur d’une catégorie ou sous-catégorie.

    À cette étape-ci de la méthodologie, l’objectif est d’obtenir des statistiques fiables sur le nombre de fautes retrouvées dans chaque catégorie et sous-catégorie. Par ailleurs, l’exhaustivité et l’exclusivité des catégories et sous-catégories de la grille d’analyse des fautes semblent assurées du fait que plus de 95 % des fautes du corpus trouvent leur place dans l’une ou l’autre des catégories et sous-catégories. Les 5 % restants sont classés dans les sous-catégories « autres ».

    Étape 5- Toutes les fautes avec leur contexte linguistique ont été mises sur support informatique dans leur catégorie et sous-catégorie

    Ce qui est décrit à l’étape 5 s’est construit parallèlement à la réalisation graduelle des étapes 3 et 4. Il ne s’agit donc pas d’une étape en tant que telle, mais d’une série d’actions essentielles à la réussite du projet.

    Ainsi un fichier a été créé, lequel comprend deux versions que l’on pourrait appeler, respectivement, version-par-phrase et version-par-faute. Dans chaque version, on a les fautes et leur contexte, dans leur catégorie et sous-catégorie respective ainsi que la correction de ces fautes.

    La version-par-phrase : C’est la version originale. Dans la version-par-phrase, on peut retrouver plusieurs fautes différentes pour chaque phrase citée. Dans ce cas, un code permet d’identifier la catégorie et la sous-catégorie de chaque faute d’une phrase donnée. Cette version a été conservée pour un souci d’authenticité du corpus de fautes et pour des fins d’analyses ultérieures.

    La version-par-faute : Dans la version-par-faute, une seule faute à la fois est visible dans une phrase donnée, les autres étant corrigées momentanément. Cela signifie qu’une phrase du corpus contenant cinq fautes aura été reproduite cinq fois et classée selon les cinq cas observés. Cette version-par-faute était nécessaire pour les raisons suivantes :

    • constituer une banque de cas à soumettre en exercices dans le cadre d’un futur didacticiel ou pour un diagnostic subséquent;
    • avantage en découlant : toute personne qui voudrait examiner la constitution de chaque catégorie et sous-catégorie aurait accès à tous les cas de façon claire;
    • faciliter le calcul de la fréquence relative des catégories et sous-catégories de fautes.

    Étape 6- Calcul de la fréquence relative des catégories et sous-catégories de fautes

    Une fois les fautes classées dans les catégories et sous-catégories, et ce, à la satisfaction de la personne experte, et au terme de l’étape 5, l’assistant de recherche a calculé la fréquence relative des fautes de chaque catégorie et sous-catégorie. Les résultats se veulent le portrait des compétences en orthographe grammaticale et d’usage des étudiants de l’UQAR en formation des maîtres, telles qu’observées de l’année 2003 à l’année 2006 auprès de 550 étudiants. Une banque de 5640 fautes a été analysée. Les résultats de cette analyse ont d’abord été présentés à un congrès de l’ACFAS en mai 2009 ainsi qu’à un colloque du RUSAF en juin 2010. On peut consulter ces résultats en soumettant une demande à l’adresse internet suivante : pierre.paradis@cgocable.ca.

    Étape 7- Construction du test diagnostique

    Les statistiques obtenues sur la fréquence des différents types de fautes ont servi à construire le test diagnostique. Plus précisément, on retrouve, dans le test, les mêmes proportions des différents types de fautes que celles observées dans l’établissement du portrait de l’ensemble des étudiants.

    Cependant, dans le but de ne pas imposer une séance de diagnostic trop dense et trop longue, les catégories et sous-catégories les moins fréquentes ne sont pas représentées dans le test diagnostique. Peut-être le seront-elles dans un test diagnostique d’appoint.

    Une fois que les fautes à faire repérer et corriger, les phrases qui contiendraient ces fautes et l’ordre de présentation de ces phrases ont été déterminés, le test a été informatisé, sous la direction d’un professeur d’informatique de l’UQAR.

    Enfin, deux professeurs d’université, experts en mesure et évaluation, se prononcent sur la clarté des consignes.

    Voici les caractéristiques principales de l’outil diagnostique informatisé qui a été construit :

    • La tâche des utilisateurs consiste à détecter et à corriger des fautes d’orthographe grammaticale et d’usage.
    • Ces fautes sont tirées du corpus déjà décrit et elles sont choisies pour refléter les types de fautes observés dans le corpus, et ce, dans les mêmes proportions.
    • Le test contient 110 phrases, contenant chacune entre 0 faute et 4 fautes, pour un total de 121 fautes.
    • La durée moyenne d’exécution est d’environ 45 minutes. Les résultats donnés à l’usager sont à la fois quantitatifs (on lui donne une note, sur 100) et qualitatifs (on lui fait connaître les catégories et sous-catégories qui ont été plus ou moins bien réussies).
    • Les résultats quantitatifs tiennent compte des fautes injustement signalées.
    • Ils ne sont pas donnés au fur et à mesure de la passation du test, mais seulement à la fin.

    Étape 8- Validation du contenu du test diagnostique

    À cette étape, il convient de vérifier si les catégories et sous-catégories de fautes qui ont été constituées décrivent bien les fautes du test. Dans un document destiné à la validation, ont été reproduites toutes les phrases du test où il y a des fautes, chacune des fautes étant soulignée et numérotée, mais non corrigée. La tâche des experts sollicités consiste à classer les fautes dans une grille reproduisant les catégories et sous-catégories du test, chacune étant illustrée par un exemple. Il leur est également demandé d’exprimer librement toute réflexion sur leur démarche de classification. L’expérience de validation du contenu s’est déroulée en trois mouvements :

    • Une professeure de l’UQAR, experte en mesure et évaluation, s’est prononcée sur la clarté des consignes et des documents à soumettre aux experts sollicités.
    • En guise de pré-test, l’épreuve de validation a été soumise avec succès à une chargée de cours, experte en didactique du français et en grammaire nouvelle. Ses commentaires ont permis de perfectionner encore l’épreuve de validation, sous la supervision d’une professeure à l’UQAR, spécialiste du français écrit et de son enseignement.
    • Validation du contenu : 16 responsables de CAF (Centres d’Aide en Français) aux ordres collégial et universitaire ont participé à la validation.

    Comme il a été exprimé plus haut, ces experts en français écrit avaient à classer les fautes du test diagnostique dans les catégories et sous-catégories qui ont été constituées, puis à émettre des commentaires libres sur la tâche exécutée. La classification de ces experts a été comparée à celle des concepteurs du test.

    Résultats quantitatifs de la validation du contenu : lorsque la classification de chacun des 16 experts a été comparée à celle des concepteurs du test, des taux d’accord variant de 79,83 % à 98,32 % ont été enregistrés (taux d’accord moyen = 91,41 %). Qui plus est, le fort accord inter-juges de 85,94 % qui a été obtenu sur les classifications effectuées par les experts assure un taux de validation suffisant pour que la validité de contenu du test soit assurée.

    Résultats qualitatifs de la validation : les divers commentaires émis ont été pris en compte dans les modifications apportées au test diagnostique, tel que rapporté à l’étape 9.

    Étape 9- Application des recommandations des experts

    Les commentaires libres obtenus des 16 responsables de CAF ont mené aux modifications suivantes :

    • Une faute dont la classification a été largement contestée a été changée par une autre plus appropriée.
    • Des noms de sous-catégories ont été modifiés; ainsi, toutes les sous-catégories dont le nom se termine par « font partie d’un groupe complexe » sont modifiées en « font partie ou semblent faire partie d’un groupe complexe ».
    • D’autres commentaires libres seront pris en compte dans les explications grammaticales qui accompagneront un futur didacticiel.
    • Certaines phrases contenant des erreurs de syntaxe ou de lexique ont été corrigées afin de les rendre impeccables hormis les fautes d’orthographe à détecter.
    • Toutes les phrases incomplètes ont été rendues complètes (le fait est que les fautes de la banque sont présentées dans un contexte suffisant à leur détection, mais que ces contextes ne forment pas toujours des phrases complètes).
    • Tous les mots du test pouvant être écrits à la fois selon l’orthographe traditionnelle et l’orthographe récemment révisée ont été changés pour un mot équivalent, mais n’acceptant pas deux orthographes. Par exemple, le verbe « connaître » ou « connaitre », selon que l’on adopte ou pas l’orthographe révisée.
    • Il a fallu en faire autant pour toute la banque de fautes.

    Étape 10 : Expérimentation du test diagnostique

    Plusieurs personnes (professeurs, autres membres du personnel de l’UQAR, étudiants) ont expérimenté le test sur sa faisabilité, son attrait, la clarté des consignes, et ce, jusqu’à ce que la moindre virgule mal placée ait été détectée.

    Étape 11 : Rendement préliminaire du test diagnostique

    Une première évaluation du rendement du test a été effectuée avec un échantillon de 121 étudiants volontaires de deux programmes de formation des maîtres de l’UQAR, soit le baccalauréat en éducation préscolaire et enseignement primaire et le baccalauréat en enseignement en adaptation scolaire et sociale.

    Cette évaluation a démontré les caractéristiques suivantes, données à titre indicatif seulement :
    • résultat moyen des étudiants = 60,87 %
    • écart-type = 18,81 %
    • médiane = 65,00 %
    • Le test, dans son ensemble, apparait mesurer avec précision les compétences des usagers en orthographe grammaticale et d’usage (indice de consistance interne KR-20 = 0,95 ; sa valeur est considérée comme acceptable à partir de 0,80).

    Une évaluation plus importante du rendement du test sera effectuée chez des étudiants de CEGEP et d’universités francophones du Québec. À la suite de quoi un examen approfondi des qualités métrologiques du test sera entrepris.


    Retour à la page d'accueil