• ВХОД

    •  

    Полное описание


     Динамика и ландшафт функции потерь для глубоких нейронных сетей при обучении с квадратичной функцией потерь / М. С. Находнов, М. С. Кодрян, Е. М. Лобачева, Д. С. Ветров. - DOI 10.31857/S2686954322070189. - Текст : непосредственный // Российская академия наук. Доклады Российской академии наук. Математика, информатика, процессы управления : журнал. - 2022. - Т. Т.508(Специальный выпуск: технологии искусственного интеллекта и машинного обучения). - С. 50-69. - Библиогр. в конце ст. - ISSN 2686-9543.
    (Шифр в БД У5097/2022/Т.508)
    ГРНТИ УДК
    28.23004.8
    28.23.25004.85
    28.23.37004.032.26
    РУБ ИИ
    04.01
    05.05

    Рубрики:
    Искусственный интеллект
    Нейронные сети -- Обучение
    Квадратичная функция потерь

    Кл.слова (ненормированные): масштабная инвариантность -- батч-нормализация -- обучение нейронных сетей -- оптимизация -- квадратичная функция потерь
    Аннотация: Знание свойств геометрии функции потерь позволяет успешно объяснять поведение нейронных сетей, динамику их обучения, взаимосвязь получаемых решений и гиперпараметров, таких как способ регуляризации, архитектура нейронной сети или расписание темпа обучения. В данной работе изучаются динамика обучения и поверхность стандартной кросс-энтропийной и популярной в последнее время квадратичной функций потерь для масштабно инвариантных сетей с нормализацией. Для устранения симметрий был произведен переход к оптимизации на сфере, который позволил обнаружить три фазы обучения в зависимости от размера шага обучения на сфере, обладающие принципиально разными свойствами, – фазу сходимости, фазу хаотического равновесия и фазу дестабилизированного обучения. Данные фазы наблюдаются для обеих исследованных функций потерь, однако при обучении с квадратичной функцией потерь нужны бо́льшие сети и более долгое обучение для перехода в фазу сходимости.
    Доп. точки доступа:
    Находнов, М.С.
    Кодрян, Максим Станиславович
    Лобачева, Екатерина Максимовна
    Ветров, Д.С.

    Экз-ры полностью У5097/2022/Т.508
    Имеются экземпляры в отделах: всего 2 : ПНТ (1), ХРЦ (1)
    Свободны: ПНТ (1), ХРЦ (1)
    Переход по DOI



    Заказ фрагмента документа ₽