Firma Media Crew została wyłoniona przez Bibliotekę Narodową do stworzenia wielojęzycznego kursu e-learningowego w formie wykładów wideo. Celem projektu było dostarczenie wykładów w trzech wersjach językowych: polskiej, angielskiej i ukraińskiej. Media Crew wykorzystała opracowaną aplikację do automatyzacji procesu tłumaczenia i generowania audio, co pozwoliło na dostarczenie finalnych plików wideo, które były zsynchronizowane z czasami wykładów w każdym z języków.

Wyzwania

1. Synchronizacja audio z filmem: Kluczowym wyzwaniem było zsynchronizowanie tłumaczeń audio z filmem, w taki sposób, aby w każdej wersji językowej dźwięk był idealnie dopasowany do ruchu ust wykładowcy i przedstawianego materiału wideo.

2. Tłumaczenie w trzech językach: Należało stworzyć wersje wykładów w trzech językach (polskim, angielskim i ukraińskim), zachowując naturalność i spójność tłumaczeń. Ważne było, aby każde tłumaczenie brzmiało płynnie i zgodnie z kontekstem wykładu.

3. Voice ID i generowanie naturalnego głosu lektora: Aby nadać wykładom odpowiednią jakość, dla każdego filmu przypisano inny voice ID, który odpowiadał głosowi wykładowcy. Dzięki technologii Eleven Labs możliwe było stworzenie realistycznych klonów głosów, co pozwalało na uzyskanie naturalnych nagrań audio.

4. Optymalizacja procesu tłumaczenia i generowania audio: Istniała potrzeba stworzenia systemu, który umożliwiałby szybkie i efektywne tłumaczenie wykładów, a także wprowadzanie poprawek tylko w wybranych fragmentach transkrypcji, co pozwalało na oszczędność zasobów i czasu.

Rozwiązanie

Aby sprostać powyższym wyzwaniom, Media Crew wykorzystała aplikację, która zautomatyzowała proces tłumaczenia, generowania audio i synchronizacji z filmem. Główne komponenty rozwiązania to:

1. Podział transkrypcji na bloki: Transkrypcje wykładów zostały podzielone na bloki trwające średnio 20 sekund, co zapewniało odpowiednią synchronizację dźwięku z obrazem w filmie i pozwalało na łatwiejszą pracę z tłumaczeniami.

2. Voice ID: Każdy wykład został przypisany do odpowiedniego voice ID, który był klonem głosu wykładowcy. Dzięki technologii Eleven Labs udało się uzyskać realistyczne odwzorowanie głosu, co pozwalało na uzyskanie nagrań, które brzmiały naturalnie, a także miały odpowiednią intonację i tempo mówienia.

3. Automatyzacja tłumaczeń: Aplikacja automatycznie tłumaczyła wykłady na dwa inne języki, co przyspieszyło cały proces produkcji. Dodatkowo, dzięki możliwościom systemu, możliwe było szybkie wprowadzanie poprawek do tłumaczenia w wybranych fragmentach, bez konieczności generowania całych plików audio od nowa.

Wyniki

Dzięki wykorzystaniu aplikacji przez Media Crew, wszystkie wykłady zostały przetłumaczone i wygenerowane w wersjach audio w językach polskim, angielskim i ukraińskim. Finalne pliki wideo były zsynchronizowane z filmami, a każdy wykład był dostępny w trzech wersjach językowych, z naturalnymi głosami wykładowców.

Korzyści dla Biblioteki Narodowej

• Skrócenie czasu produkcji: Dzięki automatyzacji procesu, produkcja wykładów w trzech wersjach językowych była szybsza i bardziej efektywna.

• Wysoka jakość audio: Zastosowanie technologii voice ID pozwoliło na stworzenie realistycznych głosów, które oddały charakterystykę wykładowców, zapewniając wysoką jakość audio.

• Elastyczność w poprawkach: Dzięki podziałowi na bloki i elastyczności systemu możliwe było szybkie wprowadzanie poprawek w tłumaczeniach, co oszczędzało czas i zasoby.

Podsumowanie

Stworzenie aplikacji do automatycznego tłumaczenia i generowania audio wykładów stanowiło istotne wyzwanie zarówno w zakresie produkcji filmów, jak i programistycznym. Media Crew wykorzystała zaawansowaną technologię, aby zautomatyzować cały proces i dostarczyć wykłady w trzech wersjach językowych z wysoką jakością audio. Dzięki voice ID, który klonuje głosy wykładowców, proces tłumaczenia i generowania audio stał się bardziej efektywny i dostosowany do potrzeb edukacyjnych.

Aplikacja opracowana przez Media Crew pozwala na przyspieszenie procesu postprodukcji w e-learningu i stanowi istotne udogodnienie w tworzeniu kursów edukacyjnych w różnych językach, z zachowaniem wysokiej jakości i dokładności w synchronizacji z filmami.