10-02-2020

Publikacja „Model-Based Reinforcement Learning for Atari” została wyróżniona (tzw. prezentacja „spotlight") na nadchodzącej konferencji International Conference on Learning Representation (26-30 kwietnia 2020 roku). Takim wyróżnieniem nagrodzonych zostało jedynie 5% zgłoszonych prac. Publikacja powstała we współpracy Wydziału MIM UW, Instytutu Matematycznego PAN, Uniwersytetu Illinois w Urbanie i Champaign, Google Brain i deepsense.ai.

Celem prezentowanych badań jest umożliwienie komputerom zdobywania użytecznych zachowań poprzez interakcję ze środowiskiem. Jest to inspirowane sposobem w jaki uczą się ludzie. Weźmy jako przykład niemowlaki, które wykonując pozornie nieskoordynowane ruchy, uczą się stopniowo wyrafinowanych umiejętności motorycznych.

Celowe działanie wymaga wyobraźni, której rola jest trudna do przecenienia. Umożliwia ona zarówno planowanie, jak i unikanie potencjalnie niebezpiecznych sytuacji, bez wchodzenia w nie. Na poziomie formalnym, wyobraźnia to model predykcyjny, który mając zadaną akcję jest w stanie przewidzieć zmianę stanu świata w wyniku wykonania tej akcji. Co ważne, stosując taki model wielokrotnie, można uzyskać przewidywania na wiele kroków do przodu.

„W naszej pracy wyposażyliśmy system uczący w model predykcyjny, a następnie mierzyliśmy jak bardzo to ułatwia trening. Okazało się, że system potrzebuje mniej danych, niż standardowy algorytm, nieużywający mechanizmu wyobraźni” – komentuje Błażej Osiński, doktorant na Wydziale MIMUW, pracownik deepsense.ai i jeden z wiodących autorów publikacji.

Już samo przyjęcie na konferencję jest dużym wyróżnieniem. Co więcej, publikacja spotkała się także z bardzo żywym zainteresowaniem ze strony społeczności naukowej. Preprint artykułu był cytowany 50 razy w pierwszych 10 miesiącach po jego ukazaniu się.

W tym roku konferencja ICLR odbędzie się w stolicy Etiopii, Addis Ababie. Jest to decyzja, mająca ułatwić badaczom z Afryki i Bliskiego Wschodu uczestnictwo w tej, jednej z najważniejszych konferencji w uczeniu maszynowym.