Noitom udostępnia HiPHI: 617,5 godziny danych ruchu dla humanoidów

Noitom Robotics udostępniło HiPHI, duży zbiór danych ruchu człowieka zaprojektowany bezpośrednio pod uczenie humanoidów i Physical AI. Release zawiera 617,5 godziny ruchu, 200,1 mln klatek, dane 132 wykonawców oraz 245,7 godziny interakcji człowiek–obiekt. Najciekawsze jest jednak nie samo „ile godzin”, lecz to, że ruch człowieka, trajektorie obiektów i ich geometria są zsynchronizowane, a autorzy pokazują transfer wytrenowanych polityk na fizycznego humanoida Unitree G1.

To ważny kierunek dla robotyki. Dzisiejsze humanoidy potrzebują nie tylko lepszego hardware’u i większych modeli AI, ale również danych, które opisują ruch z precyzją wystarczającą do odtworzenia go przez maszynę. Internetowe wideo daje ogromną różnorodność, lecz zwykle nie zawiera dokładnego stanu ciała i obiektów. Klasyczny motion capture jest znacznie dokładniejszy, ale kosztowny i zazwyczaj mniejszy. HiPHI próbuje połączyć większą skalę z precyzyjnym pomiarem fizycznego ruchu.

HiPHI w liczbach: 617,5 godziny, ale 308,7 godziny oryginalnego capture

Rozróżnienie między 617,5 h a 308,7 h jest istotne. Każda oryginalna sekwencja ma w release także lustrzany odpowiednik. W praktyce zwiększa to liczbę przykładów lewo-prawo i może być użyteczne treningowo, ale nie oznacza, że wykonawcy spędzili ponad 600 godzin w studiu motion capture. RoboMorrow traktuje więc 617,5 h jako rozmiar opublikowanego korpusu po augmentacji, a 308,7 h jako skalę oryginalnego nagrania.

Co właściwie znajduje się w datasecie

HiPHI używa optycznego motion capture przy 90 Hz i zapisuje ruch człowieka w ustandaryzowanej hierarchii 55 stawów BVH. Dla sekwencji z interakcją z obiektem dochodzą zsynchronizowane trajektorie obiektów oraz ich siatki 3D w formacie OBJ. Dzięki temu system uczący nie widzi tylko pozycji rąk i tułowia, ale może również odtworzyć, gdzie w tej samej chwili znajdował się przenoszony lub obracany przedmiot.

To ma praktyczne znaczenie. Ruch „podnieś pudełko” bez rzeczywistego pudełka może wyglądać poprawnie kinematycznie, ale pomija masę, bezwładność, kontakt i ograniczenia geometrii. W przypadku prawdziwej manipulacji właśnie te czynniki wpływają na pozycję środka ciężkości, sposób pracy nóg, tempo ruchu i trajektorię ramion. Dlatego 245,7 godziny części HOI jest potencjalnie bardziej wartościowe dla humanoidów niż sama liczba klipów z efektownymi ruchami.

Dataset obejmuje 40 rzeczywistych obiektów z 12 kategorii. Dokumentacja podaje też zakres mas 0,45–6,25 kg dla części obiektowej. Autorzy mierzą spójność geometrii kontaktu i raportują 98,1% przypadków bez konfliktu geometrii oraz 95,7% near-surface grounding. To jednak metryki z benchmarku autorów; nie ma jeszcze niezależnego audytu tych wartości.

FrameNet zamiast listy „chodzenie, siadanie, machanie”

Jednym z ciekawszych elementów HiPHI jest sposób planowania samego zbierania danych. Zamiast tworzyć coraz dłuższą listę ręcznie opisanych czynności, Noitom używa FrameNet jako rusztowania semantycznego. Frame opisuje typ zdarzenia, a lexical unit — konkretny sens słowa, który je wywołuje. Z takiej pary Frame–LU powstaje „ziarno” ruchu, które jest następnie rozszerzane o kierunek, prędkość, amplitudę, postawę, zaangażowanie części ciała i warunki kontaktu z obiektem.

Dlaczego to może być lepsze od zwykłej listy zadań? Dwie semantycznie różne czynności mogą generować niemal identyczną kinematykę. Z kolei proste „chodzenie” może zawierać wiele różnych trajektorii, prędkości, długości kroku, skrętów i ustawień tułowia. W uczeniu robota liczy się więc nie tylko liczba nazwanych aktywności, ale rzeczywiste pokrycie przestrzeni ruchu.

HiPHI zawiera 22 Frames i 214 etykiet Frame–LU. Projekt podaje, że 154 z nich mają dane od co najmniej 10 wykonawców. To próba ograniczenia sytuacji, w której model zapamiętuje styl jednej osoby zamiast uczyć się bardziej ogólnego wzorca ruchu.

Najważniejszy test: transfer na fizycznego Unitree G1

Dataset nie kończy się na wykresach. Autorzy wdrożyli polityki uczone na HiPHI na fizycznym Unitree G1. Pokazane przykłady obejmują bieganie, siadanie, czołganie, ruchy całego ciała, niesienie pudełka i ciągnięcie walizki. To mocniejszy dowód użyteczności niż wyłącznie wynik w symulacji.

Nie należy jednak zamieniać tego w twierdzenie, że HiPHI „daje G1 autonomię”. Jest to benchmark motion tracking i imitation learning. Robot ma odtwarzać ruchy zgodne z polityką wyuczoną na danych, a nie samodzielnie rozumieć dowolne polecenie, planować zadanie w nieznanym środowisku i obsługiwać wszystkie wyjątki. Realny transfer pokazuje, że dane mogą działać w sterowaniu fizycznym robotem; nie dowodzi ogólnej inteligencji ani gotowości do autonomicznej pracy.

To rozróżnienie jest szczególnie ważne w humanoidach. Bardzo dobry kontroler ruchu jest fundamentem, ale dopiero wyższe warstwy odpowiadają za percepcję sceny, planowanie, wybór celu, manipulację i reakcję na nieprzewidziane sytuacje. HiPHI rozwiązuje część problemu — istotną, lecz nie całość.

Czego HiPHI nie rozwiązuje

HiPHI nie jest kompletnym „modelem świata” dla humanoida. Motion capture bardzo precyzyjnie opisuje kinematykę człowieka i — w części HOI — ruch obiektu, ale nie zastępuje informacji z czujników siły, dotyku, kamer robota czy enkoderów konkretnej platformy. Nie uczy też sam z siebie, jak rozpoznać nieznany przedmiot, zinterpretować polecenie użytkownika albo zdecydować, kiedy zadanie należy przerwać ze względów bezpieczeństwa.

Drugim ograniczeniem jest embodiment gap. Człowiek i humanoid mają inne proporcje, masę segmentów, zakresy ruchu, prędkości stawów, stopy, dłonie i limity momentu. Sekwencja człowieka musi zostać przetargetowana, a kontroler musi sprawdzić, czy robot fizycznie może ją wykonać bez utraty równowagi lub przekroczenia ograniczeń sprzętu. Dlatego nawet świetny dataset motion capture nie eliminuje symulacji, reinforcement learningu, filtrów bezpieczeństwa ani testów na realnym hardware.

Czy więcej danych rzeczywiście pomaga

Autorzy zbadali również skalowanie datasetu. W eksperymentach zwiększanie ilości nie-lustrzanych danych treningowych z 3 do 300 godzin obniżało średni błąd MPJPE na czterech benchmarkach: AMASS, BONES-SEED, Motion-X++ i LaFAN1. Innymi słowy, w przedstawionym setupie większa ilość HiPHI nie przestała pomagać po pierwszych kilku czy kilkudziesięciu godzinach.

To jeden z najmocniejszych elementów pracy, ale nadal trzeba zachować ostrożność. Zespół, który stworzył dataset, stworzył także benchmark i wykonał ewaluację. Wyniki są jawne i możliwe do odtworzenia, ale na dzień publikacji nie znaleźliśmy niezależnej replikacji potwierdzającej przewagę HiPHI w innym pipeline treningowym.

„Publiczny” nie oznacza „bezwarunkowo otwarty”

Noitom nazywa HiPHI publicznym release’em i udostępnia go przez Hugging Face. To prawda, ale praktycznie dostęp nie jest anonimowym kliknięciem „download”. Strona Hugging Face wymaga zalogowania, wypełnienia formularza i zaakceptowania ModalityNet Open Research License. Licencja obejmuje niekomercyjne badania naukowe, edukację i ewaluację. Zastosowania komercyjne wymagają osobnej licencji.

Warto więc mówić o publicznie udostępnionym datasecie badawczym, a nie o danych bez ograniczeń. Dla uczelni i zespołów R&D to nadal istotne obniżenie bariery wejścia, bo dokładny optyczny motion capture i tracking obiektów są drogie. Dla startupu budującego produkt komercyjny warunki licencyjne trzeba jednak sprawdzić przed użyciem danych w pipeline produkcyjnym.

Repozytorium ma około 215 GB. Dane są podzielone na 32 archiwa tar.zst, a metadane można pobrać osobno. To rozsądne, bo nie każdy badacz potrzebuje od razu setek gigabajtów BVH i siatek obiektów.

Co jest niezależnie weryfikowalne, a co pozostaje twierdzeniem autorów

Można bezpośrednio potwierdzić istnienie datasetu, licencję, strukturę repozytorium, liczbę klatek, podział godzin, formaty danych, metadane, dokumentację i publikację na arXiv. Publicznie dostępna jest również strona projektu z przykładami ruchu oraz obrazy z realnego wdrożenia na G1.

Inaczej należy traktować stwierdzenia o „najszerszym pokryciu przestrzeni ruchu”, „najlepszych metrykach jakości” czy najszybszej konwergencji. Są one poparte tabelami i eksperymentami w pracy, ale pochodzą od twórców HiPHI. To nie znaczy, że są nieprawdziwe — oznacza tylko, że do niezależnego potwierdzenia potrzebne są reprodukcje innych zespołów.

Podobnie deklaracja Noitom, że infrastruktura firmy generuje ponad 100 tys. godzin danych rocznie dla partnerów, pochodzi z komunikatu spółki. Jeżeli ta skala jest rzeczywiście utrzymywana, jest to ważny sygnał biznesowy, ale nie mamy publicznego audytu całego wolumenu produkcji danych.

Dlaczego to ważne dla rynku humanoidów

W debacie o humanoidach dużo miejsca zajmują ceny robotów, liczba stopni swobody, szybkość chodzenia i demonstracje zręczności. Coraz wyraźniej widać jednak, że przewaga może powstawać w warstwie danych. Kto potrafi szybko zbierać, porządkować i retargetować wysokiej jakości ruch, może krócej trenować kontrolery i szybciej przechodzić od nowej umiejętności do wdrożenia.

HiPHI jest interesujący również dlatego, że nie jest związany wyłącznie z jednym robotem. BVH musi zostać przetargetowany i sprawdzony pod konkretną morfologię, ale idea jest bardziej przenośna niż dataset zebrany wyłącznie przez teleoperację jednej platformy. To może zwiększyć jego użyteczność dla zespołów pracujących na innych humanoidach niż G1.

Z drugiej strony dane ludzkie zawsze tworzą embodiment gap. Człowiek ma inną masę segmentów, zakresy ruchu, stopy, dłonie, napędy i limity momentu niż robot. Nawet precyzyjne motion capture nie usuwa potrzeby retargetingu, symulacji, kontroli dynamicznej i filtrów bezpieczeństwa. Sama liczba godzin nie eliminuje tych problemów.

Znaczenie dla Polski i Europy

Dla europejskich laboratoriów, uczelni i startupów publicznie dostępny dataset tej klasy może być ważny przede wszystkim dlatego, że zmniejsza koszt wejścia w badania nad humanoidami. Zbudowanie dużego studia optycznego, zebranie setek godzin materiału i oznaczenie interakcji z obiektami jest poza zasięgiem wielu mniejszych zespołów.

W UE dochodzi też kwestia pochodzenia i licencjonowania danych. HiPHI ma jawne warunki użycia, anonimizowane identyfikatory wykonawców i dokumentację metadanych. To nie rozwiązuje automatycznie wszystkich kwestii prawnych dla konkretnego produktu, ale daje lepszy punkt wyjścia niż dataset o niejasnym źródle pochodzącym z masowego scrapingu wideo.

Dla firm komercyjnych najważniejsze pytanie brzmi jednak: jaka jest cena licencji i jakie prawa obejmuje wykorzystanie modelu wytrenowanego na tych danych. Noitom kieruje zastosowania komercyjne do osobnej licencji ModalityNet, a jej warunki ekonomiczne nie są publiczne.

Ocena RoboMorrow

HiPHI jest ważniejszy niż typowy „kolejny dataset”, ponieważ łączy dużą skalę, precyzyjny motion capture, realne obiekty i test na fizycznym humanoidzie. Największą wartością nie jest jednak samo 617,5 godziny. Bardziej interesujące są trzy rzeczy: zaplanowane pokrycie przestrzeni ruchu, zsynchronizowany stan obiektów oraz możliwość niezależnego pobrania dokumentacji i sprawdzenia benchmarku.

Jednocześnie 617,5 h trzeba czytać poprawnie: połowa release’u wynika z lustrzanego rozszerzenia danych, a oryginalny capture ma 308,7 h. Nie umniejsza to użyteczności datasetu, ale chroni przed powtarzaniem marketingowego skrótu, jakby zebrano ponad 600 godzin unikalnych sesji.

Najbliższe miesiące pokażą, czy HiPHI zostanie szerzej przyjęty przez niezależne zespoły i czy jego przewaga utrzyma się w innych frameworkach kontroli. Jeśli tak, może stać się jednym z ważniejszych publicznych punktów odniesienia dla motion tracking i imitation learning w humanoidach. Na dziś to już wystarczająco konkretny i sprawdzalny projekt, by traktować go jako realny element infrastruktury Physical AI, a nie wyłącznie komunikat marketingowy.

Źródła

• HiPHI — oficjalna strona projektu i benchmarku
• Ji et al., HiPHI: A Large-Scale Benchmark for High-Precision Human Motion and Object-Interaction, arXiv:2608.16222
• HiPHI na Hugging Face — dataset, dokumentacja i warunki dostępu
• Oficjalne repozytorium GitHub HiPHI
• Noitom Robotics — komunikat o publicznym release HiPHI

Zdjęcie wyróżniające: oficjalny materiał HiPHI pokazujący transfer polityk na fizycznego Unitree G1; źródło Noitom Robotics. RoboMorrow nie testowało fizycznie G1 w ramach tego materiału. Wykresy i przykłady datasetu pochodzą z oficjalnej dokumentacji HiPHI.