Aller au contenu
Tout vérifier

Batture, laboratoire indépendant d’évaluation de l’IA pour le Québec

Laboratoire indépendant d’évaluation de l’IA

Ce que la marée découvre.

Batture prépare des tests pour évaluer les modèles d’IA. Ils seront écrits par des enseignantes et des enseignants du Québec.

Quatre domaines de test

Méthode

Quatre étapes relient le programme scolaire au résultat publié.

Une même fiche, inventée pour l’exemple, les traverse toutes : le mot « courriel ».

01 · Programme

Ce que l’élève doit apprendre.

Le Programme de formation de l’école québécoise, mis en données ouvertes. Le texte vient du ministère. Des enseignantes et des enseignants y relient les erreurs fréquentes des élèves.

Exemple inventé

Français, secondaire. Employer le terme juste, dont les termes en usage au Québec.

Publier le programme demande l’autorisation du gouvernement du Québec.

02 · Grille

Ce qu’est une bonne réponse.

Des critères qu’on coche par oui ou par non. Une enseignante ou un enseignant les écrit. Deux autres personnes les relisent.

Exemple inventé

Une bonne réponse :

  • emploie « courriel »
  • n’emploie ni « mail » ni « e-mail »
  • est une phrase correcte

03 · Question

Ce qu’on demande au modèle.

Chaque question cite sa source. Une partie des questions n’est jamais publiée, pour vérifier qu’aucun modèle ne les a apprises par cœur.

Exemple inventé

« Écris une phrase pour demander à ton enseignante de t’envoyer le devoir par voie électronique. »

Source citée : Office québécois de la langue française, Grand dictionnaire terminologique, « courriel ».

04 · Résultat

Ce que les modèles ont répondu.

Chaque réponse est notée avec la grille, critère par critère. Une réponse peut échouer. Batture publie les résultats avec la méthode, et le fabricant du modèle peut répondre avant la publication.

Réponse inventée

« Pourriez-vous m’envoyer le devoir par courriel? »

Trois critères remplis sur trois.

Autre réponse inventée

« Peux-tu m’envoyer le devoir par mail? »

Un critère rempli sur trois.

Aucun modèle n’a encore été testé.

À vous

À votre tour.

Grille

Une bonne réponse :

  • emploie « courriel »
  • n’emploie ni « mail » ni « e-mail »
  • est une phrase correcteUne enseignante juge celui-ci.

Les deux premiers critères se vérifient par une règle. Le troisième demande une personne. Ce que vous écrivez reste dans votre navigateur.

Pour que la mesure soit fiable

  1. Chaque question est d’abord résolue à l’aveugle par deux autres enseignantes ou enseignants.
  2. Les réponses écrites sont notées par au moins trois personnes, et leur accord est publié.
  3. Chaque question est posée plusieurs fois à chaque modèle. Chaque résultat vient avec sa marge d’erreur.
  4. La moitié des questions n’est jamais publiée, pour repérer les modèles qui ont déjà vu l’autre moitié.
  5. La méthode et les calculs sont publiés avant le premier test.

Ce sont des règles que Batture s’engage à suivre. Aucune n’a encore servi : aucun test n’a eu lieu.

Voir la méthode

Un résultatne s’achète pas.

Lire les six engagements

2027.

Année visée pour le premier rapport. À ce jour, rien n’est publié, aucun modèle n’a été évalué et aucune école ne participe.

Tout vérifier ›

bonjour@batture.ca

Batture cherche des enseignantes et des enseignants, des conseillères et des conseillers pédagogiques et des linguistes pour écrire et relire les premières questions.