Nous avons mesuré le nombre d'erreurs de notre transcription sur des jeux de données publics. Voici les résultats, y compris ceux qui ne sont pas flatteurs, la méthode et les limites de la mesure.
Modèle utilisé aujourd'hui pour tous les clients : Large v3 Turbo
Les modèles plus grands font nettement moins d'erreurs mais demandent plus de calcul. Nous publions ces chiffres pour que vous sachiez à quoi vous attendre.
Qu'est-ce que le taux d'erreur sur les mots (WER) ?
On compare la transcription à un texte de référence écrit par un humain, et on compte les mots remplacés, oubliés ou ajoutés. Ce total, divisé par le nombre de mots de la référence, donne le taux d'erreur sur les mots, appelé WER. Plus il est bas, mieux c'est.
Exemple
Phrase prononcée
nous validons le budget lundi prochain matin
Transcription obtenue
nous validons un budget lundi prochain
Erreurs : « le » remplacé par « un », « matin » oublié.
2 erreurs sur 7 mots : taux d'erreur de 29 %.
Comment lire ces chiffres
Taux d'erreur
Niveau
En pratique
Moins de 5 %
Excellent
Presque rien à corriger.
5 à 10 %
Très bon
Quelques corrections par paragraphe.
10 à 20 %
Correct
Le sens passe ; noms propres et chiffres à relire.
20 à 30 %
Moyen
Utile comme brouillon, relecture nécessaire.
Plus de 30 %
Difficile
Beaucoup de corrections ; utile surtout pour repérer un passage.
Résultats sur FLEURS : parole lue, sept langues
20 phrases lues distinctes par langue (arabe : sous-ensemble « ar_eg », arabe standard lu)
Faites défiler le tableau horizontalement pour voir toutes les colonnes.
Taux d'erreur sur les mots (WER) par modèle et par langue, phrases lues. Plus c'est bas, mieux c'est.
Modèle
Français
Anglais
Arabe standard
Espagnol
Allemand
Italien
Néerlandais
Vitesse
Tiny
35,6 %
12,7 %
55,0 %
15,2 %
26,0 %
24,8 %
56,0 %
0,07
Base
28,5 %
9,8 %
42,8 %
9,2 %
16,2 %
18,5 %
36,8 %
0,12
Small
14,6 %
6,8 %
22,9 %
5,8 %
8,9 %
6,9 %
18,5 %
0,31
Medium
8,5 %
4,3 %
10,5 %
2,7 %
10,2 %
1,8 %
10,0 %
0,90
Large v3 TurboEn production
6,7 %
5,0 %
8,3 % (meilleur résultat)
2,3 %
3,8 % (meilleur résultat)
1,4 % (meilleur résultat)
5,1 % (meilleur résultat)
1,19
Large v3
6,4 % (meilleur résultat)
4,1 % (meilleur résultat)
8,3 % (meilleur résultat)
1,9 % (meilleur résultat)
3,8 % (meilleur résultat)
2,2 %
5,8 %
1,72
En gras : meilleur résultat de la colonne. Ligne soulignée en doré : modèle utilisé en production.
Vitesse : temps de calcul divisé par la durée de l'audio, sur 4 cœurs de processeur. En dessous de 1, le modèle va plus vite que le temps réel : à 0,31, une minute d'audio est traitée en environ 19 secondes.
Benchmark darija : transcription de la darija marocaine
50 extraits tirés au hasard (graine 42) parmi ceux de 3 à 30 s comptant au moins 4 mots, 6 min 57 s au total : darija spontanée de 4 chaînes YouTube marocaines, transcriptions de référence relues par des humains
Mesure réalisée le
Résultat : les modèles spécialisés en darija font nettement moins d'erreurs que Whisper standard. Ils sont désormais utilisés en production : MoulSot pour les fichiers envoyés avec la langue « Darija », un Whisper small affiné en darija pour la transcription en direct.
Fichiers envoyés : taux d'erreur sur les mots (WER) et sur les caractères (CER), extraits courts en darija. Plus c'est bas, mieux c'est.
Modèle
Type
WER (mots)
CER (caractères)
Whisper large-v3-turbo
Whisper standard, ancien moteur des fichiers
68,4 %
31,0 %
whisper-large-v3-turbo-darija
Whisper large-v3-turbo affiné en darija
42,8 %
13,5 %
MoulSot v0.3En production
Modèle spécialisé en darija, basé sur Qwen3-ASR-1.7B
31,1 %
10,9 %
Transcription en direct : modèles de la taille de Whisper small, à vitesse égale, sur les mêmes extraits. Plus c'est bas, mieux c'est.
Modèle
Type
WER (mots)
CER (caractères)
Whisper small
Whisper standard, ancien moteur du direct
80,1 %
38,3 %
whisper-darija-finetunedEn production
Whisper small affiné en darija
48,2 %
18,3 %
whisper-small-darija
Whisper small affiné en darija
54,1 %
18,5 %
Le taux d'erreur sur les caractères (CER) est utile en darija, où l'orthographe n'est pas fixée : un mot écrit un peu différemment compte comme une erreur entière en WER, mais seulement pour quelques lettres en CER.
Fichiers longs, de bout en bout en production
10 enregistrements de 2,5 à 12 minutes, 82 minutes au total, reconstitués à partir d'extraits consécutifs de 10 vidéos sources de la même partie test, puis envoyés par l'interface web réelle avec la langue « Darija »
Fichiers longs en darija transcrits par MoulSot dans les conditions réelles du service.
Mesure
Résultat
WER sur l'ensemble des fichiers
40,6 %
CER sur l'ensemble des fichiers
16,7 %
WER par fichier, du meilleur au moins bon
25,7 % – 49,5 %
WER du fichier qui mélange darija et français
25,7 %
Comptes rendus IA générés
10 / 10
Temps de traitement sur processeur, en multiple de la durée de l'audio
≈ 2,7 ×
Limites de ce benchmark darija
MoulSot a été entraîné sur la partie « train » du même corpus, issue des mêmes chaînes : il est avantagé sur ce test. Son écart avec Whisper est trop grand pour venir seulement de cet effet de domaine, mais les résultats sur vos propres réunions peuvent être moins bons.
Les données d'entraînement des modèles Whisper affinés en darija ne sont pas publiées.
Ce sont des émissions et des récits publiés sur YouTube, pas de vraies réunions d'entreprise. Une mesure sur de vraies réunions, enregistrées avec l'accord des participants, suivra.
La licence du corpus n'est pas déclarée : nous ne publions aucun extrait audio ni aucune transcription du corpus, seulement des scores agrégés.
La darija n'a pas d'orthographe fixée : une partie du WER restant correspond à des variantes d'écriture, d'où l'intérêt du CER.
Première mesure en darija : Whisper seul, corpus adiren7
50 extraits spontanés de type radio ou télévision, environ 30 s chacun (23,8 min au total)
Mesure précédente, avec les seuls modèles Whisper standards : ils comprennent mal la darija spontanée (passages omis, darija réécrite en arabe standard). C'est ce qui nous a conduits à tester les modèles spécialisés du benchmark ci-dessus.
Taux d'erreur sur les mots (WER) et sur les caractères (CER) en darija. Plus c'est bas, mieux c'est.
Modèle
WER (mots)
CER (caractères)
Vitesse
Small
85,7 %
56,1 %
0,28
Medium
77,1 %
49,5 %
0,69
Large v3 Turbo
73,0 %
44,4 %
0,64
Large v3
72,3 %
43,9 %
1,07
Méthode de mesure
Moteur pour FLEURS et la première mesure en darija : whisper.cpp, le même programme que celui qui transcrit vos fichiers en production dans les autres langues que la darija.
Langue imposée : le modèle ne devine pas la langue, on lui indique celle de l'extrait.
Normalisation avant comparaison : Unicode NFKC, minuscules, ponctuation supprimée et diacritiques arabes (voyelles courtes) supprimés, pour ne pas compter comme erreur une simple différence d'écriture.
Taux d'erreur sur les mots = (mots remplacés + mots oubliés + mots ajoutés) ÷ nombre de mots de la référence.
Vitesse : temps de calcul divisé par la durée de l'audio, sur 4 cœurs de processeur.
Benchmark darija : tous les modèles transcrivent les mêmes extraits ; avant comparaison, les diacritiques arabes sont supprimés et les variantes de l'alif, du ya et du ta marbuta sont unifiées.
Un premier test en darija sur le corpus DVoice a été écarté : ses transcriptions de référence n'étaient pas fiables et l'un des modèles testés avait été entraîné dessus.
Limites
Petits échantillons : 20 phrases par langue sur FLEURS et 50 extraits en darija. Les chiffres donnent un ordre de grandeur, pas une mesure au dixième près.
FLEURS contient de la parole lue, claire et bien articulée. Les extraits en darija sont de la parole spontanée, nettement plus difficile.
Une vraie réunion est plus bruyante : micros d'ordinateur portable, voix qui se chevauchent, vocabulaire métier. Attendez-vous à plus d'erreurs que dans ces tableaux.
Le score arabe de FLEURS porte sur l'arabe standard lu. Les dialectes autres que la darija ne sont pas mesurés : golfe, égyptien, tunisien, levantin.
50 extraits tirés au hasard (graine 42) parmi ceux de 3 à 30 s comptant au moins 4 mots, 6 min 57 s au total : darija spontanée de 4 chaînes YouTube marocaines, transcriptions de référence relues par des humains