Firma Meta wraz z UNESCO uruchomiła program Language Technology Partner Program – inicjatywę mającą na celu udoskonalenie technologii rozpoznawania mowy i tłumaczeń maszynowych z wykorzystaniem sztucznej inteligencji. Projekt koncentruje się na wsparciu języków mniejszościowych i słabo reprezentowanych, tak aby ich użytkownicy mogli aktywnie uczestniczyć w cyfrowym świecie. Działania te mają promować różnorodność językową oraz zwiększać inkluzywność cyfrową, zgodnie z misją UNESCO realizowaną w ramach Międzynarodowej Dekady Języków Rdzennych (2022–2032).
Współpraca i cele programu
Language Technology Partner Program zaprasza do współpracy instytucje i społeczności językowe, które mogą pomóc w rozszerzeniu baz danych treningowych dla AI. Meta poszukuje partnerów gotowych dostarczyć różnorodne dane językowe, w tym:
- co najmniej 10 godzin nagrań mowy wraz z ich transkrypcjami,
- minimum 200 zdań tekstu pisanego,
- zestawy zdań przetłumaczonych na docelowy język
Zebrane materiały posłużą do trenowania i ulepszania modeli rozpoznawania mowy oraz tłumaczenia, tak aby obsługiwały one nowe, niedoreprezentowane języki. Po opracowaniu, modele te zostaną udostępnione na zasadach otwartoźródłowych – będą open source i tym samym publicznie dostępne dla społeczności na całym świecie
Do udziału w programie zachęcane są m.in. organizacje rządowe i lokalne społeczności językowe. Przykładem jest rząd kanadyjskiego terytorium Nunavut, który jako jeden z pierwszych partnerów zgodził się przekazać dane w rodzimych językach Inuitów (inuktitut i inuinnaqtun)
Takie współprace mają pomóc w tym, by nawet niszowe języki mogły skorzystać z postępów w dziedzinie AI i znaleźć należne im miejsce w przestrzeni cyfrowej.
Równolegle Meta uruchomiła otwarty benchmark tłumaczeniowy – standaryzowany zestaw testowy do oceny jakości systemów przekładu maszynowego
Ten wielojęzyczny benchmark (obejmujący początkowo 7 języków) jest dostępny na platformie Hugging Face, gdzie badacze i użytkownicy mogą dodawać własne tłumaczenia, poszerzając bazę testową do dalszych badań
Celem jest zbudowanie bezprecedensowego, obszernego zestawu do porównywania modeli tłumaczeniowych w wielu językach.
Wielojęzyczne technologie AI: NLLB i MMS
Wysiłki Meta na rzecz wsparcia wszystkich języków opierają się na wcześniejszych przełomowych projektach. Jednym z nich jest No Language Left Behind (NLLB) – zaprezentowany w 2022 r. system tłumaczenia maszynowego obejmujący około 200 różnych języków
Był to pierwszy tego typu model neuronowy obsługujący wiele słabo reprezentowanych języków, a Meta udostępniła go jako projekt otwartoźródłowy, kładąc podwaliny pod dalsze badania nad tłumaczeniami. Drugim ważnym projektem jest Massively Multilingual Speech (MMS) – inicjatywa z 2023 r., która rozszerzyła możliwości rozpoznawania i generowania mowy z około 100 do ponad 1100 języków
Modele MMS potrafią również identyfikować mowę w ponad 4000 językach (około 40 razy więcej niż wcześniejsze technologie)
Co więcej, w 2024 r. dodano w MMS funkcję tzw. rozpoznawania zero-shot, umożliwiającą transkrypcję nagrań w językach, których model nie widział wcześniej podczas treningu
Oba projekty – NLLB i MMS – zostały udostępnione publicznie na otwartych licencjach, co pozwala naukowcom i społecznościom na wykorzystywanie ich oraz dalsze ulepszanie. Takie otwartoźródłowe podejście sprzyja współpracy nad zachowaniem różnorodności językowej i wspiera cyfrową inkluzję społeczności posługujących się rzadkimi językami
Meta podkreśla, że celem tych działań jest stworzenie inteligentnych systemów zdolnych zrozumieć potrzeby każdego użytkownika, niezależnie od jego języka czy kultury