TheNotesOfSally
Taux d'erreurNiveauEn pratique
Moins de 5 %ExcellentPresque rien à corriger.
5 à 10 %Très bonQuelques corrections par paragraphe.
10 à 20 %CorrectLe sens passe ; noms propres et chiffres à relire.
20 à 30 %MoyenUtile comme brouillon, relecture nécessaire.
Plus de 30 %DifficileBeaucoup de corrections ; utile surtout pour repérer un passage.

Faites défiler le tableau horizontalement pour voir toutes les colonnes.

Taux d'erreur sur les mots (WER) par modèle et par langue, phrases lues. Plus c'est bas, mieux c'est.
ModèleFrançaisAnglaisArabe standardEspagnolAllemandItalienNéerlandaisVitesse
Tiny35,6 %12,7 %55,0 %15,2 %26,0 %24,8 %56,0 %0,07
Base28,5 %9,8 %42,8 %9,2 %16,2 %18,5 %36,8 %0,12
Small14,6 %6,8 %22,9 %5,8 %8,9 %6,9 %18,5 %0,31
Medium8,5 %4,3 %10,5 %2,7 %10,2 %1,8 %10,0 %0,90
Large v3 TurboEn production6,7 %5,0 %8,3 % (meilleur résultat)2,3 %3,8 % (meilleur résultat)1,4 % (meilleur résultat)5,1 % (meilleur résultat)1,19
Large v36,4 % (meilleur résultat)4,1 % (meilleur résultat)8,3 % (meilleur résultat)1,9 % (meilleur résultat)3,8 % (meilleur résultat)2,2 %5,8 %1,72

En gras : meilleur résultat de la colonne. Ligne soulignée en doré : modèle utilisé en production.

Vitesse : temps de calcul divisé par la durée de l'audio, sur 4 cœurs de processeur. En dessous de 1, le modèle va plus vite que le temps réel : à 0,31, une minute d'audio est traitée en environ 19 secondes.

Fichiers envoyés : taux d'erreur sur les mots (WER) et sur les caractères (CER), extraits courts en darija. Plus c'est bas, mieux c'est.
ModèleTypeWER (mots)CER (caractères)
Whisper large-v3-turboWhisper standard, ancien moteur des fichiers68,4 %31,0 %
whisper-large-v3-turbo-darijaWhisper large-v3-turbo affiné en darija42,8 %13,5 %
MoulSot v0.3En productionModèle spécialisé en darija, basé sur Qwen3-ASR-1.7B31,1 %10,9 %
Transcription en direct : modèles de la taille de Whisper small, à vitesse égale, sur les mêmes extraits. Plus c'est bas, mieux c'est.
ModèleTypeWER (mots)CER (caractères)
Whisper smallWhisper standard, ancien moteur du direct80,1 %38,3 %
whisper-darija-finetunedEn productionWhisper small affiné en darija48,2 %18,3 %
whisper-small-darijaWhisper small affiné en darija54,1 %18,5 %

Le taux d'erreur sur les caractères (CER) est utile en darija, où l'orthographe n'est pas fixée : un mot écrit un peu différemment compte comme une erreur entière en WER, mais seulement pour quelques lettres en CER.

Fichiers longs en darija transcrits par MoulSot dans les conditions réelles du service.
MesureRésultat
WER sur l'ensemble des fichiers40,6 %
CER sur l'ensemble des fichiers16,7 %
WER par fichier, du meilleur au moins bon25,7 % – 49,5 %
WER du fichier qui mélange darija et français25,7 %
Comptes rendus IA générés10 / 10
Temps de traitement sur processeur, en multiple de la durée de l'audio≈ 2,7 ×
Taux d'erreur sur les mots (WER) et sur les caractères (CER) en darija. Plus c'est bas, mieux c'est.
ModèleWER (mots)CER (caractères)Vitesse
Small85,7 %56,1 %0,28
Medium77,1 %49,5 %0,69
Large v3 Turbo73,0 %44,4 %0,64
Large v372,3 %43,9 %1,07

Les jeux de données appartiennent à leurs auteurs. Nous les utilisons uniquement pour mesurer la qualité, sans les modifier ni les redistribuer.