Voxtral 3: 2,1 procent błędu, ale bez wyniku dla polskiego

Voxtral 3, nowa rodzina modeli mowy firmy Mistral AI, ma w rankingu serwisu Artificial Analysis (porównującego modele AI) błąd 2,1 procent, czyli około dwóch błędnych słów na sto. To trzeci wynik na liście z 23 października. Wyniku dla samego polskiego nie znaleziono. Polski jest jednak na liście obsługiwanych języków.

Liczba dotyczy wersji Small. To model do transkrypcji, czyli zamiany nagrania na tekst. Mierzy ją wskaźnik WER (word error rate, odsetek błędnie rozpoznanych słów). Artificial Analysis liczy go z około ośmiu godzin nagrań z trzech zbiorów. VoxPopuli to angielski podzbiór nagrań z obrad parlamentarnych w Europie. Dla AgentTalk (zbiór własny serwisu, mowa do zastosowań asystentów głosowych) i Earnings22 (rozmowy o wynikach firm) opis metody języka nie podaje.

Według serwisów AI Weekly i DEV Community Voxtral Small Transcribe 3 ma w teście FLEURS (zestaw nagrań w wielu językach) 4,1 procent błędu, gdy język nagrania jest zadany z góry. Mistral opisuje wynik jako średnią z 45 języków. Whisper large-v3, model OpenAI do rozpoznawania mowy, ma w tym teście od 14,9 do 16,0 procent, zależnie od trybu, czyli myli się ponad trzy razy częściej.

Mistral podaje, że lista obsługiwanych języków urosła do 50. W specyfikacji modeli transkrypcji polski występuje pod skrótem PL. Średnia z 45 języków nie mówi, jak model radzi sobie z jednym z nich, a ranking podaje jedną wartość dla wszystkich nagrań. Wyniku dla samego polskiego nie znaleziono ani u Mistrala, ani w rankingu.

Mistral rozlicza transkrypcję za minutę nagrania. Według serwisu CellCog to 0,0035 dolara w wersji Mini, 0,004 w Small i 0,008 w wersji czasu rzeczywistego, czyli transkrypcji w trakcie rozmowy. Po kursie Narodowego Banku Polskiego z 23 października (3,9247 zł za dolar) godzina nagrania wychodzi na około 0,82 zł, 0,94 zł i 1,88 zł. Sto godzin rozmów w wersji Small to około 94 zł.

ChatGPT przyjmuje plik audio do 512 MB, ale według serwisu Mixed nie w planie darmowym i bez pokazywania, ile z kroczącego limitu wgrań zostało. Mistral liczy minuty w API (interfejsie, przez który program wysyła nagranie do usługi), więc koszt da się policzyć z góry.

• Mistral podaje, że modele są dostępne przez API hostowane w UE albo do wdrożenia na własnej infrastrukturze. Lokalizację przetwarzania danych konkretnej firmy trzeba sprawdzić w umowie.
• Podstawa prawna nagrywania. Według serwisu BeyondOffice najczęściej jest to zgoda na nagrywanie spotkań albo prawnie uzasadniony interes administratora.
• Umowa powierzenia przetwarzania danych (DPA) z usługodawcą.
• Uczestnicy rozmowy muszą wiedzieć o celu nagrywania i o tym, jakie narzędzia AI będą analizować ich wypowiedzi.
• Nagrania źródłowe, gdy służą tylko wewnętrznym notatkom, warto usuwać zaraz po powstaniu tekstu.
• Test na kilkunastu własnych nagraniach po polsku, z szumem, nazwiskami i nazwami firm, z policzeniem błędnych słów. To wskazówka redakcji, nieoparta na źródłach.