Publikacje “Subgoal Search For Complex Reasoning Tasks”, “Sparse is Enough in Scaling Transformers”, "Proportional Participatory Budgeting with Cardinal Utilities" zostały zaakceptowane na NeurIPS, a publikacja “Measuring and Improving BERT’s Mathematical Abilities by Predicting the Order of Reasoning” została przyjęta na konferencję ACL. Są to jedne z najbardziej prestiżowych konferencji dotyczących uczenia maszynowego. Na konferencję NeurIPS tym roku nadesłano przeszło 9 tysięcy zgłoszeń z czego zostało zaakceptowane jedynie 26%. W przypadku konferencji ACL 2021, zostało zaakceptowanych 21% nadesłanych prac.

Głównym autorem pracy “Sparse is Enough in Scaling Transformers” jest Sebastian Jaszczur, doktorant na Wydziale MIM. Głównymi autorami pracy “Subgoal Search For Complex Reasoning Tasks” są Konrad Czechowski i Tomasz Odrzygóźdź, odpowiednio doktorant i postdoc na Wydziale MIM. W pracach nad nią brali też udział doktorant Michał Zawalski oraz Marek Zbysiński i Krzysztof Olejnik w ramach swoich projektów magisterskich. Głównym autorem “Measuring and Improving BERT’s Mathematical Abilities by Predicting the Order of Reasoning” jest Piotr Piękos, który przedstawił te wyniki jako swoją pracę magisterską, a badania zostały rozpoczęte na przedmiocie “Projekt z uczenia maszynowego”, prowadzonym przez Piotra Bilińskiego. Autorami pracy "Proportional Participatory Budgeting with Cardinal Utilities" są Grzegorz Pierczyński, Piotr Skowron oraz Dominik Peters. Grzegorz Pierczyński jest doktorantem na wydziale MIM, a Piotr Skowron jego promotorem.

W powyższe prace byli także zaangażowani inni pracownicy IMPAN i MIM: Łukasz Kuciński, Henryk Michalewski, Piotr Miłoś. Promotorem pracy magisterskiej Piotra Piękosa jest Mateusz Malinowski z DeepMind.

“Subgoal search” jest algorytmem planowania hierarchicznego, rozbijającym złożone zadania na prostsze. Metoda była testowana na Sokobanie, kostce Rubika i osiągnęła znakomite wyniki na zadaniach dowodzenia nierówności INT (więcej informacji).

Autorzy pracy “Sparse is Enough …” badają metody przyspieszania transformerów, bardzo popularnych obecnie i wydajnych modeli językowych. Wykazują, że można osiągnąć nawet dwudziestokrotne przyspieszenie inferencji poprzez umiejętne pomijanie części obliczeń. 

“Measuring and Improving BERT’s Mathematical Abilities” dotyczy rozumowań matematycznych, dokonywanych przy użyciu modelu BERT. Autorzy pokazali, że dodatkowa umiejętność rozpoznawania, czy rozumowanie jest napisane we właściwej kolejności, istotnie poprawia końcową jakość modelu.

"Proportional Participatory Budgeting with Cardinal Utilities" dotyczy reguł wyborczych dla budżetów partycypacyjnych. Autorzy proponują dwa aksjomaty gwarantujące proporcjonalną reprezentację grup głosujących o wspólnych interesach. Proponują również naturalną regułę wyborczą spełniającą jeden z zaproponowanych aksjomatów i umożliwiającą rozstrzyganie wyborów w czasie wielomianowym.

English version of this article can be found here:

https://www.mimuw.edu.pl/papers-students-and-phds-accepted-neurips-and-a...