W skrócie
- Agent GPT-6 Astra ukończył grę Portal, działając w pełni autonomicznie przez 23 godziny i 43 minuty, korzystając z narzędzi do analizy ekranu i sterowania postaciami.
- Eksperyment kosztował 571,18 dolara w opłatach za API, czyli ponad 57 razy więcej niż cena gry, a rozgrywka wymagała 3336 wywołań narzędzi do wykonania sekwencji ruchów.
- Rozgrywka odbywała się w cyklach z wymuszoną pauzą, podczas której model analizował zrzuty ekranu, więc zapis przejścia trwający dwie godziny nie oddaje pełnego czasu pracy.
- Więcej podobnych informacji znajdziesz na stronie głównej serwisu, otwiera się w nowym oknie
Test cozyblaze
Eksperyment przeprowadził użytkownik występujący jako cozyblaze. 5 września ogłosił na X-ie, że agent GPT-6 Astra dotarł do napisów końcowych pierwszego Portal. Autor wcześniej zbudował dla niego całe środowisko. Narzędzia przekazywały modelowi zrzuty ekranu i położenie postaci, a następnie wykonywały przygotowane sekwencje klawiszy.
OpenAI wypuściło GPT-6 Astra 3 września. Firma przedstawia model jako narzędzie do obsługi komputera i wykonywania wieloetapowych zadań, między innymi pracy z formularzami, systemami CRM, badaniami online oraz testami frontendowymi. Eksperyment z Portal przygotował niezależny użytkownik, a nie OpenAI.
Pauza po każdym ruchu
Gra zatrzymywała się za każdym razem, gdy model otrzymywał zrzut ekranu do analizy. Po podjęciu decyzji agent wysyłał ciąg komend. Narzędzie wznawiało Portal, wykonywało polecenia i ponownie uruchamiało pauzę. Każdy cykl obejmował więc trzy etapy: obraz, analizę i ruch.
Dwugodzinny zapis nie oddaje rzeczywistego czasu eksperymentu. Dotarcie do napisów końcowych zajęło 23 godziny i 43 minuty. Agent korzystał z modyfikacji SourcePauseTool, która zatrzymywała grę na czas rozumowania modelu. System nie przechodził zatem komór testowych w czasie rzeczywistym.
Konfiguracja trafiła na GitHuba, otwiera się w nowym oknie. Repozytorium zawiera kontroler, łatkę do SourcePauseTool, instrukcję uruchomienia i oczyszczony zapis sesji. Pozwala to prześledzić budowę środowiska, ale wynik pozostaje testem jednego użytkownika, bez porównania z innymi modelami w warunkach ustalonych przez niezależne laboratorium.
Rachunek za API
Koszt API wyniósł 571,18 dolara. W chwili sprawdzania amerykańska karta Portal na Steamie podawała cenę 9,99 dolara, zależną od regionu i ewentualnych promocji. Przy tej stawce eksperyment pochłonął ponad 57 razy więcej pieniędzy niż zakup gry. Taki wynik sprawdza autonomiczne działanie modelu, ale trudno uznać go za praktyczny sposób grania.
OpenAI wycenia milion tokenów wejściowych w standardowym API GPT-6 Astra na 10 dolarów, a milion tokenów wyjściowych na 50 dolarów. W tym eksperymencie agent wykonał 3336 wywołań narzędzi. Każdy kolejny cykl wymagał odczytania sytuacji na ekranie, wyboru rozwiązania i przesłania sterowania do gry.
Znana trasa
Portal, wydany przez Valve w 2007 roku, dobrze nadaje się do takiego eksperymentu. Akcja rozgrywa się głównie w zamkniętych komorach testowych z łamigłówkami o określonych rozwiązaniach. Model otrzymywał też współrzędne postaci, więc orientacja przestrzenna nie zależała wyłącznie od obrazu.
Granice eksperymentu
Portal przez blisko dwie dekady doczekał się licznych poradników, nagrań i opisów mechanik. Nie wiadomo, w jakim stopniu materiały o konkretnych zagadkach znalazły się w danych treningowych GPT-6 Astra. Z tego powodu test nie rozstrzyga, czy agent sam wypracował wszystkie rozwiązania, czy korzystał również z wiedzy utrwalonej podczas treningu.
Według relacji cozyblaze kolejnym sprawdzianem ma być Portal 2, zwłaszcza komory projektowane przez użytkowników. Mniej znane poziomy pozwoliłyby ograniczyć wpływ gotowych rozwiązań dostępnych w sieci, choć taki test nie został jeszcze opisany w udostępnionym repozytorium.
Czy wiesz, że...
Valve wydało Portal 10 października 2007 roku jako część pakietu The Orange Box. Gra ma 15 osiągnięć na Steamie, a w chwili sprawdzania karta sklepu podawała 98 proc. pozytywnych ocen z ostatnich 30 dni.
