Statistical neurodynamics of deep networks: geometry of signal spaces

Link do spotkania/Link to meeting - https://meet.google.com/jbj-tdsr-aop

Uwaga: spotkanie o godzinie póżniejeszej niż standardowa.

Caution: meeting is scheduled for later than usual.

Neurodynamika statystyczna, wykorzystując metody statystyki, zajmuje się opisem działania losowo połączonych sieci neuronowych w zależności od sygnałów pojedynczych neuronów. Szczególnie interesująca z punktu widzenia uczenia się głębokich sieci neuronowych może być geometria sygnału przetwarzanego do kolejnych warstw sieci.
W ramach seminarium pragnę zreferować artykuł "Statistical neurodynamics of deep networks: geometry of signal spaces" (Amari, Karakida, Oizumi), w którym autorzy, przy zastosowaniu neurodynamiki statystycznej, badali własności rozmaitości generowanych przez kolejne warstwy głębokich sieci neuronowych. W szczególności, przekształcenie zanurzające wejściowy sygnał sieci neuronowej w jej liczniejszą (głębszą) warstwę jest konforemne, a tensor krzywizny (pod pewnymi założeniami) wraz z kolejnymi warstwami zbiega do stałej liczby. Ponadto opisane jest, w jaki sposób zmienia się "odległość" pomiędzy różnymi sygnałami liczona w dalszych warstwach.
W pewnym zakresie teoria przewiduje określone wyniki dot. zbieżności, które nie pokrywają się w eksperymentach (krzywizna zachowuje się jak fraktal). To zjawisko jest opisane i wyjaśnione postawionymi założeniami o nieskończonej liczbie warstw i/lub neuronów, które nie są spełniane w realnych zastosowaniach.