Rozmawiamy z twórcą polskiego dubbingu do Fallouta 4 napędzanego przez AI

Grzegorz Gajkoś, Interia: Czym się zajmujesz na co dzień, czy jest to coś powiązanego z szeroko pojętymi grami wideo?

Mateusz Wiśniowski (twórca projektu VOXALTER): Jestem programistą, pracuję dla dość sporej firmy produkcyjnej, piszemy programy usprawniające produkcję, często również zajmuję się tematami związanymi z AI, ostatnio tłumaczeniami za pomocą Chatu GPT. Graczem jestem z zamiłowania w czasie wolnym.

Jesteś autorem polskiego dubbingu do gry Fallout 4 - wygenerowanego przez AI. Skąd w ogóle pomysł, by "na warsztat" wziąć akurat tę produkcję?

- Akurat tak się złożyło, że na Amazon wyszedł serial Fallout i naszła mnie ochota na zagranie, jeszcze w prologu wpadłem na pomysł - i zamiast grać - dłubałem w plikach gry. Pomysł ogólnie wpadł mi już lata temu na dubbingowanie gier przy premierze Divinity: Original Sin 2, miałem wtedy marzenie, żeby kiedyś założyć studio i dubbingować gry, które nie dostały oficjalnego dubbingu; wtedy wydawało się to nie realne, ale teraz z narzędziami AI jest to możliwe.

Nie da się ukryć, że Fallout 4 to jedna z bogatszych produkcji pod względem fabularnym i dialogowym, więc jest się gdzie wykazać. Z jakich narzędzi sztucznej inteligencji korzystasz?

- Na ten moment tylko z Elevenlabs, klonuję głosy za pośrednictwem ich API [interfejs programowania aplikacji] i wykorzystuje opcję text to speech, by generować głosy. Elevenlabs jak na razie daje jedynie możliwość manipulacji za pośrednictwem trzech suwaków, czasem bardzo ciężko sprawić by postać krzyknęła albo się zaśmiała, stąd przy niektórych kwestiach jestem zmuszony do wielokrotnego generowania tych samych dialogów.

Odezwał się do mnie ich pracownik z działu sprzedaży, możliwe że uda mi się wynegocjować jakieś lepsze warunki. Dziś stuknęło 8 milionów wygenerowanych znaków.

Gratulacje! A jak to wygląda od kuchni, gdybyś miał pokrótce wskazać poszczególne etapy procesu tworzenia takiego dubbingu?

- Najpierw trzeba zdobyć transkrypt, jest on w plikach gry - tutaj miałem spore szczęście, bo Fallout 4 jest uwielbianą grą modderów, więc wszystko czego potrzebowałem się dowiedzieć, już gdzieś ktoś inny kiedyś zrobił, wystarczyło to zebrać w jedną całość.

Pierwszy transkrypt wziąłem z programu dostępnego na Nexus [platforma z modyfikacjami do gry], wyciąga on wszystkie dialogi i łączy z plikami audio. Później już sam napisałem własny program, który to robi, by przyspieszyć pracę. Następnie generowałem pierwsze głosy do początkowego intro i okazało się, że jest jeszcze lip sync, czyli synchronizacja ust do tekstu. Znalazłem skrypt online, który to robi dla języka angielskiego. Po polsku nie działał, ale pomyślałem, że może wystarczy zmienić tak polski tekst, żeby po angielsku brzmiał podobnie. I tak zacząłem zmieniać: “i" na “ee", “sz" na “sh" itd. Zadziałało.

Później już tylko pojawił się problem pakowania dźwięków - przy przekroczeniu 400 mb, okazało się, że gra się nie uruchamia. Wyczytałem, że trzeba spakować pliki do formatu .ba2 Można do tego użyć programu archiwizującego od twórców, trwało to jakieś dwie godziny na pojedyncze spakowanie wszystkich plików. Napisałem więc własny konwerter - teraz trwa to 20 sekund. Tyle wystarczyło, zostało tylko wygenerować resztę dialogów i poprawić to, co w miarę łatwo się da wyłapać.

Brzmi to bardzo pracochłonnie. Ile faktycznie czasu Cię to kosztowało?

- Wstawałem o 4 rano, pracuję zdalnie, więc do godz. 7 miałem 3 godziny czasu na dubbing, później praca do 15, a następnie dubbing do 20, po 6 tygodniach miałem gotową podstawę gry. Pierwszy raz pochłonął mnie tak projekt, przez pierwsze 2 tygodnie prawie w ogóle nie spałem, w łóżku cały czas pisałem notatki, co zrobić następnego dnia.

Z tego co pisałeś, niebawem ma być premiera gotowego, pełnoprawnego dubbingu do Fallouta 4. Wszystkie problemy udało się zażegnać?

- Tak, chociaż kilka dni temu jeden z patronów uświadomił mi, że nie trzeba mieć żadnego specjalnego konta, by tworzyć modyfikacje na konsole. W nocy wstałem z łóżka i zacząłem to sprawdzać, odnalazłem gdzieś nawet starą kopię gry na PS4. Finalnie okazało się, że PS ma limit na wszystkie modyfikacje 1 GB, a Xbox 2 GB; dubbing to ponad 4 GB danych i niestety nie uda się go udostępnić na konsolach.

Na tym etapie zajmuję się kwestiami kosztorysów i pisaniem launchera. Udało mi się znaleźć dość opłacalny hosting plików w ostatnich dniach (ciężko to podliczyć, jak się nigdy z tym nie miało do czynienia). Launcher będzie trochę zmniejszał koszty i instalował tylko potrzebne pliki, dla przykładu w momencie, gdy gracz będzie miał do pobrania aktualizacje, do dubbingu, to launcher zainstaluje tylko nowe pliki głosowe.

Autorski launcher jest też chyba pewną formą "pójścia na swoje", bo jak rozumiem, nie będziesz korzystał z zewnętrznych platform do udostępniania swoich modyfikacji?

-Dokładnie tak, marzy mi się studio, jak dobrze pójdzie to za 2 miesiące chcę stworzyć platformę, gdzie wszyscy będziemy mogli poprawiać/zmieniać dubbing do Fallouta 4, a później do innych gier. W trakcie promowania projektu odezwało się do mnie również sporo osób, które chciałyby podłożyć swój własny głos, chciały by im dać taką możliwość.

Chciałbym żeby każdy mógł sobie komponować dubbing, taki jaki lubi. Po Falloucie 4 istnieją plany stworzenia dubbingu do Fallouta: New Vegas, a następnie do dwóch kolejnych gier, których tytuły zdradzę po realizacji bieżących projektów.

No właśnie, nim przejdziemy do Twoich dalszych planów i projektów, chciałem zapytać, czy spodziewałeś się tak dużego rozgłosu swojego dzieła? Film prezentujący próbkę polskiego dubbingu w Falloucie 4 zanotował ponad 20 tys. odsłon w serwisie YouTube.

- Tak, chociaż wciąż myślę, że większość ludzi, których ten dubbing by ucieszył, nie ma pojęcia o jego istnieniu. Mam nadzieję, że jak tylko zostanie on oficjalnie wypuszczony, więcej osób się o nim dowie.

Pojawiły się nawet komentarze, że to lepszy dubbing i głosy, niż gdyby zatrudnić profesjonalnych aktorów do swoich ról. Takie wpisy napędzają i motywują?

- Wydaje mi się, że w porównaniu do niektórych oficjalnych dubbingów, mój dubbing bardzo nie odstaje, sporo osób nie zdaje sobie nawet sprawy, że to jest AI. Jednak trzeba przyznać, że do dubbingu z rzeczywistymi aktorami jest jeszcze daleko, technologia się rozwija - nie wiadomo co będzie za kilka lat, może akurat VOXALTER będzie gotowe na nowe technologie i w błyskawicznym tempie znacząco poprawi wcześniej stworzone dubbingi.

VOXALTER, czyli Twoje autorskie studio, związane z tworzeniem dubbingu? Możesz opowiedzieć dla kogo byłby ten serwis i co mógłby oferować?

- Dla każdego gracza, który chciałby zmieniać dialogi w grach, np. YouTuber, chce zrobić filmik pod swoją publikę, chce mu dać możliwość zmiany dialogów pod ten filmik, i nie będzie musiał tym samym tygodniami nad tym siedzieć. Wystarczy wejść na voxalter.io (strona w budowie), wybrać grę, wpisać dialogi do zmiany, opłacić je, odpalić launcher i zacząć nagrywać.

Z drugiej strony chciałbym też dać przestrzeń dla aktorów: mogliby zdubbingować jakąś postać i udostępnić ją społeczności, myślałem nawet nad czymś aka Kickstarter dla takich aktorów. Robią paczkę, a społeczność wspólnie zbiera na jej odblokowanie dla wszystkich. Na to będziemy musieli jednak jeszcze trochę poczekać.

A Ty dalej chciałbyś podtrzymać swoją aktywność związaną z tworzeniem dubbingów dzięki AI, czy VOXALTER w pełni oddany zostałby społeczności graczy?

- Każda gra wymaga osobnego podejścia do modyfikacji, wymagane jest zrozumienie kodu źródłowego. Na szczęście większość jest przystosowana pod zmiany dialogów i napisów. Plan jest taki że VOXALTER będzie zajmował się kompatybilnością i podstawową wersją dubbingu, natomiast doprowadzenie tego dubbingu do perfekcji chce zostawić społeczności.

Projekt jest zdecydowanie niszowy, ale ze względu na swoją przekrojowość (gry, YouTube, społeczność twórców i influencerów), myślę, że ma szansę chwycić i cieszyć się powodzeniem.

Mówiłeś, że w pracy bliska Ci jest sztuczna inteligencja. Jesteś o krok od finalizacji dubbingu w Falloucie 4 z użyciem AI. Myślisz, że szeroko pojęta sztuczna inteligencja będzie zmieniać rynek gier wideo? W jakich obszarach najbardziej?

- Być może remastery gier. NVIDIA kiedyś pokazała bardzo ciekawy materiał z remastera Morrowinda, ale w sumie nigdzie to chyba dalej nie poszło... Już teraz AI bardzo pomaga twórcom. Ja przy programowaniu praktycznie całkowicie odszedłem ze StackOverflow na rzecz Chatu GPT.

Niektórzy spekulują, że niebawem w fabularnych grach doczekamy się rewolucji w działaniu NPC. Postacie niezależne mają 'mówić głosem sztucznej inteligencji' - konkretniej chodzi o dialogi i tekst generowany przez wirtualnych bohaterów

- Już są modyfikacje do Skyrima, które coś próbują. Myślę, iż jest spora szansa na to, by że gry RPG używały sztucznej inteligencji do dialogów przez co każda rozgrywka stanie się unikatowa. Już teraz widziałem jakieś próby grania w papierowe RPG z pomocą Chatu GPT.

Sztuczna inteligencja bez wątpienia ułatwia wiele procesów, a z perspektywy osoby na co dzień obcującej z AI, jakie widzisz największe zagrożenia tego zjawiska?

- To akurat teraz głośny temat - chodzi o wszelkiego rodzaju oszustwa. Ludzie są wstanie podszyć się teraz pod każdego, wystarczy dwuminutowe nagranie głosu Teraz za każdym razem gdy mamy podejrzany telefon, warto po rozmowie oddzwonić na ten numer i upewnić się, że to nie jest jakiś scam. Ludzie udostępniają tonę materiałów na Instagramie, to naprawdę żaden problem.

Wspomniałeś wcześniej o swoich patronach. W jaki sposób czytelnicy mogą wesprzeć Twoją dotychczasową i dalszą pracę?

- Wraz z początkiem promowania, założyłem profil na Patreon, można mnie tam znaleźć pod adresem patreon.com/VOXALTER. Są tam opcje wsparcia wraz z pewnymi przywilejami: można zyskać wczesny dostęp do dubbingu, jak i wczesny dostęp do wspominanego wcześniej portalu do tworzenia własnych dubbingów. Możemy stworzyć razem coś niesamowitego!