Le nom
batturen. f. Sur le Saint-Laurent, bande de rivage que la marée descendante laisse à découvert. Quand l’eau se retire, on voit le fond.
Batture est un laboratoire indépendant en cours de création. Son but : faire écrire par des enseignantes et des enseignants du Québec les tests qui servent à évaluer les modèles d’IA, faire passer ces tests aux modèles, puis publier la méthode et les résultats.
Domaines
Quatre domaines de test.
Chaque question sera écrite et relue par des enseignantes et des enseignants du Québec, selon une méthode publiée avant toute mesure.
-
Domaine 1
Français québécois à l’école.
Ce domaine vérifie si un modèle écrit, comprend et corrige le français tel qu’on l’enseigne au Québec.
- Norme et vocabulaire
- Système scolaire québécois
- Rétroaction sur des textes
- Français familier
Méthodologie en rédaction
-
Domaine 2
Biais envers le Québec.
Ce domaine vérifie ce qu’un modèle suppose quand on ne lui dit pas que l’élève est au Québec : références d’un autre pays, système scolaire d’un autre pays, stéréotypes sur le Québec et sur les personnes qui y vivent.
- Réponses sans contexte.
- Réponses quand le modèle sait qu’il s’adresse à une école du Québec.
À concevoir avec le réseau
-
Domaine 3
Culture du Québec.
Ce domaine porte sur l’histoire, la littérature, les arts, le territoire et la vie quotidienne du Québec. Il inclut les repères francophones, anglophones, autochtones et ceux des communautés issues de l’immigration.
- Les repères seront choisis par les enseignantes et les enseignants.
À concevoir avec le réseau
-
Domaine 4
Programme de formation et chartes.
Ce domaine vérifie si un modèle connaît et respecte trois textes publics : le Programme de formation de l’école québécoise, la Charte des droits et libertés de la personne et la Charte de la langue française. Il ne mesure pas des opinions.
- Ce domaine ne commencera qu’une fois le comité scientifique constitué.
À venir
Méthode
Six étapes par question.
Les mêmes dans les quatre domaines.
-
Rédaction
Une enseignante ou un enseignant rédige la question, la bonne réponse et la source qui la prouve. Aucun texte réel d’élève, aucun renseignement personnel.
-
Résolution à l’aveugle
Deux autres enseignantes ou enseignants répondent sans voir la bonne réponse. S’ils ne la trouvent pas, la question est corrigée ou retirée. Une ou un linguiste tranche les questions de norme.
-
Huit formes, deux façons de noter
Sept formes fermées sont notées par une règle. La production écrite est notée par au moins trois personnes, avec des critères oui ou non. Leur accord est publié.
-
Moitié publique, moitié en réserve
Une moitié des questions est publiée sous licence libre. L’autre est gardée en réserve et renouvelée. Si un modèle réussit nettement mieux la moitié publique, il l’a probablement déjà vue.
-
Trois conditions, plusieurs essais
Chaque modèle reçoit les mêmes questions sans contexte, en sachant qu’il parle à une école du Québec, puis avec la même consigne sans le lieu. Chaque question est posée de 5 à 10 fois.
-
Publication
La méthode et les calculs avant la mesure, avec la plus petite différence que le test peut détecter. Ensuite, les résultats avec leur marge d’erreur, et la réponse des fournisseurs telle quelle.
Huit formes de questions
- choix multiples
- réponses multiples
- vrai ou faux
- réponse brève
- association
- classement
- mise en ordre
- production écritenotée par des personnes
Questions d’amorce : les 80 questions actuelles ont été rédigées par une IA. Aucune ne sera utilisée sans avoir été réécrite et signée par une enseignante ou un enseignant.
Ce qui existe déjà
Travaux existants.
Batture ne refait pas ces travaux. Sa contribution prévue : des questions écrites par le personnel enseignant.
- COLE, Université Laval.Un banc d’essai public de 23 tâches qui mesure la compréhension du français par les modèles, dont plusieurs tâches propres au français québécois : grammaire, expressions, vocabulaire. Batture ne les refait pas. Nos questions à correction automatique suivront les formes que le correcteur de COLE, publié sous licence libre, sait déjà noter. colebenchmark.org
- Mila et Cohere.En mai 2026, Mila et Cohere ont annoncé leur intention de collaborer à la recherche sur l’évaluation multilingue et multiculturelle de l’IA, en commençant par le contexte culturel francophone du Québec. Batture ne refait pas ce travail non plus. L’annonce
Pour être clairs : Batture n’a aucun lien avec ces équipes à ce jour. Elles sont citées parce que leur travail est public et que le nôtre doit s’y arrimer.
Principes
Six engagements.
Tirés de notre charte d’indépendance, qui sera publiée ici une fois adoptée.
-
La méthode avant les résultats
Chaque méthodologie est versionnée et publiée avant la première mesure.
-
Un résultat ne s’achète pas
Aucun paiement ne peut modifier, retarder ou faire retirer un résultat. Toute source de financement est publiée.
-
Un droit de réponse
Tout fournisseur évalué reçoit ses résultats 14 jours avant publication et peut y joindre une réponse, publiée telle quelle.
-
Des données ouvertes
Une partie des questions est publiée sous licence libre pour que chacun puisse refaire la mesure. L’autre est gardée en réserve pour que les modèles ne l’apprennent pas par cœur.
-
Jamais juge et partie
Batture est une initiative d’Elias Tanbe. Les outils de son fondateur ne sont jamais notés par le laboratoire.
-
Le français d’abord
Le français est la langue de travail et de publication du laboratoire.
Limites
Avant de lire un rapport.
Ce qu’un rapport de Batture peut dire, et ce qu’il ne couvre pas.
- Indépendant.Batture ne vend aucun produit d’IA, n’en recommande aucun et ne relève d’aucun gouvernement.
- Une aide à la décision.Un rapport éclaire un choix. La décision reste à l’école.
- Les outils de son fondateur.Ils ne sont jamais notés par Batture.
- Les valeurs.Batture s’en tient aux textes publics : le programme et les chartes.
- La vie privée.Ce qu’un outil fait des renseignements des élèves n’est pas encore évalué.
État des travaux
Où nous en sommes.
Mise à jour de novembre 2026.
| Charte d’indépendance | Brouillon |
|---|---|
| Méthodologie du domaine français | En rédaction |
| Questions d’amorce du domaine français | 80 brouillons, non révisés |
| Arrimage aux formes de questions de COLE | Brouillon |
| Premiers ateliers d’écriture avec des enseignants | À venir |
| Domaines biais et culture | À concevoir |
| Comité scientifique | À constituer |
| Premier rapport public | Visé en 2027 |
Pour être clairs : rien n’a encore été publié, aucun modèle n’a encore été évalué et aucune école ne participe encore. Cette page sera mise à jour à chaque étape.
Participer
Écrire et relire des questions.
Batture cherche les premières personnes pour ce travail.
- Enseignantes et enseignantsAu secondaire ou à la formation générale des adultes, pour écrire et relire des questions. Ce travail sera rémunéré.
- Conseillères et conseillers pédagogiquesPour tenir un atelier d’écriture dans votre milieu et nous dire ce qui manque.
- LinguistesSpécialistes du français québécois, pour valider la norme et les usages retenus.
- Organismes scolairesPour dire ce que vous avez besoin de savoir avant d’adopter un outil.
Écrivez-nous. Une personne vous répondra.
bonjour@batture.ca