Полное описание
> Васильев, Р. Л. Нейросетевое обучение метрик: сравнение функций потерь / Р. Л. Васильев, А. Г. Дьяконов. - DOI 10.31857/S268695432360060X. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал. - 2023. - Т. 514, № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения. - С. 60-71. - Библиогр. в конце ст. - ISSN 2686-9543.
| ГРНТИ | УДК | |
| 28.23.37 | 004.032.26 | |
| 28.23.25 | 004.85 |
Рубрики:
Нейронные сети
Машинное обучение
Кл.слова (ненормированные): машинное обучение -- глубокое обучение -- метрика -- схожесть
Аннотация: Представлен обзор методов обучения метрик с помощью глубоких нейронных сетей. Эти методы появились в последние годы, но сравнивались лишь с предшественниками, используя для обучения представлений (на которых вычисляется метрика) нейронные сети устаревших на данный момент архитектур. Проведено сравнение описанных методов на разных датасетах из нескольких доменов, используя предобученные нейронные сети, сопоставимые по качеству с SotA (state of the art): ConvNeXt для изображений, DistilBERT для текстов. Использовались размеченные наборы данных, разбитые на две части (обучение и контроль) таким образом, чтобы классы не пересекались (т.е. в контроле нет объектов тех классов, которые были в обучении). Подобное масштабное честное сравнение сделано впервые и привело к неожиданным выводам: некоторые “старые” методы, например Tuplet Margin Loss, превосходят по качеству свои современные модификации и методы, предложенные в совсем свежих работах.
Доп. точки доступа:
Дьяконов, Александр Геннадьевич
>
Нет сведений об экземплярах
Держатели документа:
Государственная публичная научно-техническая библиотека России : 123298, г. Москва, ул. 3-я Хорошевская, д. 17 (Шифр в БД-источнике (KATBW): -826941-904489)>
Шифр в сводном ЭК: 354f88732ee3d22bce68f2b22ed6e6ac
Доклады Российской академии наук. Математика, информатика, процессы управления : журнал. - Журнал выходит с 2020г. - Текст : непосредственный.Васильев Р.Л. Нейросетевое обучение метрик: сравнение функций потерь / Р. Л. Васильев, А. Г. Дьяконов. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.60-71
Artificial neural networks : сборник научных трудов / Ed. N. Morgan, 1990. - VIII,130 p. p. - Текст : непосредственный.Vemuri V.R. Artificial neural networks:concepts and control applications / V. R. Vemuri, 1992. - 509 p. - Текст : непосредственный.Artificial neural networks:concepts and theory / Сост.Compl.: P. Mehra, B. W. Wah, 1992. - XI,667 p. p. - Текст : непосредственный.Tomboulian S. Introduction to a system for implementing neural net connections on SIMD architectures : монография / S. Tomboulian, S.a. - 13 p. - Текст : непосредственный.Network : Computation Neural Systems. - Журнал выходит с 1990г. - Текст : непосредственный. Осовский С. Нейронные сети для обработки информации / С. Осовский, 2004. - 343 с. - Текст : непосредственный.Artificial neural networks - ICANN 2008 / SpringerLink (Online service), 2008 r=on-line.Information processing with evolutionary algorithms / SpringerLink (Online service), 2005 r=on-line. - Текст : электронный.Abe S. Support vector machines for pattern classification / S. Abe, 2005 r=on-line. - Текст : электронный.Dreyfus G. Neural networks / G. Dreyfus, 2005 r=on-line. - Текст : электронный.Пак М.М. Моделирование элементов нейронных сетей на основе твердотельных нанообъектов : специальность 05.13.12 "Системы автоматизации проектирования (по отраслям)" : диссертация на соискание ученой степени канд. техн. наук / М. М. Пак, 2006. - 22 с. - Текст : непосредственный.Казанцев П.А. Разработка и исследование маршрута проектирования нейросетевого приложения с аппаратной поддержкой : специальность 05.13.01 "Системный анализ,управление и обработка информации (по отраслям)" : диссертация на соискание ученой степени канд. техн. наук / П. А. Казанцев, 2008. - 22 с. - Текст : непосредственный.Neural Computing <& >Applications. - Журнал выходит с 1993г. - Текст : непосредственный.Дулесов А.С. Нейронные сети и нейрокомпьютеры в интеллектуальных информационных системах / А. С. Дулесов, 2005. - 114 с. - Текст : непосредственный.Шибзухов З.М. Конструктивные методы обучения ЕП-нейронных сетей : монография / З. М. Шибзухов, 2004. - 123 с. - Текст : непосредственный.Нейронные сети : монография, 2001. - 182 с. - Текст : непосредственный.Пархоменко С.С. Нейросетевое моделирование и эволюционное планирование процессов в сетях добровольных вычислений / С. С. Пархоменко, 2015. - 20 с. - Текст : непосредственный.Суровцев И.С. Нейронные сети.Введение в современную информационную технологию / И. С. Суровцев, В. И. Клюкин, Р. П. Пивоварова ; Ред. И. С. Суровцев, 1994. - 224 c. - Текст : непосредственный.Квантовые нейронные сети : материалы временных коллективов, 2001. - 103 с. - Текст : непосредственный.Хайкин С. Нейронные сети. Полный курс / С. Хайкин, 2016. - 1103 с. - Текст : непосредственный.
Показать все результатыArtificial neural networks : сборник научных трудов / Ed. N. Morgan, 1990. - VIII,130 p. p. - Текст : непосредственный.Vemuri V.R. Artificial neural networks:concepts and control applications / V. R. Vemuri, 1992. - 509 p. - Текст : непосредственный.Artificial neural networks:concepts and theory / Сост.Compl.: P. Mehra, B. W. Wah, 1992. - XI,667 p. p. - Текст : непосредственный.Tomboulian S. Introduction to a system for implementing neural net connections on SIMD architectures : монография / S. Tomboulian, S.a. - 13 p. - Текст : непосредственный.Осовский С. Нейронные сети для обработки информации / С. Осовский, 2004. - 343 с. - Текст : непосредственный.Abe S. Support vector machines for pattern classification / S. Abe, 2005 r=on-line. - Текст : электронный.Гордеев Л.С. Применение искусственных нейронных сетей в задачах химической технологии / Л. С. Гордеев, М. Б. Глебов, 1998. - 120 с. - Текст : непосредственный.Лузянина Т.В. Synchronization in an oscillator neural network model with time delayed coupling : препринт / Т. В. Лузянина, 1992. - 20 с. - Текст : непосредственный.Барцев С.И. Сравнительные свойства адаптивных сетей с полярными и неполярными синапсами / С. И. Барцев, Ю. П. Ланкин, 1993. - 26 с . - Текст : непосредственный.Bernatzki A. Geometrische Interpretation neuronaler Netze / A. Bernatzki, 1999. - 123 S. - Текст : непосредственный.Волгин Л.И. Комплементарная алгебра и предикатная алгебра выбора / Л. И. Волгин, 1996. - 68 c. - Текст : непосредственный.Волгин Л.И. Векторная комплементарная алгебра и ее применения / Л. И. Волгин, 1996. - 50 c. - Текст : непосредственный.Тарасов А.М. Математическое моделирование, сети Петри и их использование при описании функционирования нейронных сетей в ЭВМ, робототехники : препринт / А. М. Тарасов, В. В. Подлубный, 1995. - 21 c. - Текст : непосредственный.Дулесов А.С. Нейронные сети и нейрокомпьютеры в интеллектуальных информационных системах / А. С. Дулесов, 2005. - 114 с. - Текст : непосредственный.Шибзухов З.М. Конструктивные методы обучения ЕП-нейронных сетей : монография / З. М. Шибзухов, 2004. - 123 с. - Текст : непосредственный.Краткий курс основ нейроинформатики / Е. Г. Литвинов, А. А. Ежов, А. С. Логовский, А. А. Фролов, 2001. - 87 с. - Текст : непосредственный.Нейронные сети : монография, 2001. - 182 с. - Текст : непосредственный.Суровцев И.С. Нейронные сети.Введение в современную информационную технологию / И. С. Суровцев, В. И. Клюкин, Р. П. Пивоварова ; Ред. И. С. Суровцев, 1994. - 224 c. - Текст : непосредственный.Хайкин С. Нейронные сети. Полный курс / С. Хайкин, 2016. - 1103 с. - Текст : непосредственный.Круглов В.В. Искусственные нейронные сети : монография / В. В. Круглов, В. В. Борисов, 2002. - 382 с. - Текст : непосредственный.
Показать все результатыArtificial neural networks : сборник научных трудов / Ed. J. Diederich, 1990. - VII,141 p. p. - Текст : непосредственный.Artificial neural networks : сборник научных трудов / Ed. N. Morgan, 1990. - VIII,130 p. p. - Текст : непосредственный.Vemuri V.R. Artificial neural networks:concepts and control applications / V. R. Vemuri, 1992. - 509 p. - Текст : непосредственный.Artificial neural networks:concepts and theory / Сост.Compl.: P. Mehra, B. W. Wah, 1992. - XI,667 p. p. - Текст : непосредственный.Tomboulian S. Introduction to a system for implementing neural net connections on SIMD architectures : монография / S. Tomboulian, S.a. - 13 p. - Текст : непосредственный.Bellifemine F. Developing multi-agent systems with JADE / F. Bellifemine, G. Caire, D. Greenwood, 2007 r=on-line. - Текст : электронный.Осовский С. Нейронные сети для обработки информации / С. Осовский, 2004. - 343 с. - Текст : непосредственный.Artificial neural networks - ICANN 2008 / SpringerLink (Online service), 2008 r=on-line.Information processing with evolutionary algorithms / SpringerLink (Online service), 2005 r=on-line. - Текст : электронный.Abe S. Support vector machines for pattern classification / S. Abe, 2005 r=on-line. - Текст : электронный.Dreyfus G. Neural networks / G. Dreyfus, 2005 r=on-line. - Текст : электронный.Гордеев Л.С. Применение искусственных нейронных сетей в задачах химической технологии / Л. С. Гордеев, М. Б. Глебов, 1998. - 120 с. - Текст : непосредственный.Лузянина Т.В. Synchronization in an oscillator neural network model with time delayed coupling : препринт / Т. В. Лузянина, 1992. - 20 с. - Текст : непосредственный.Барцев С.И. Сравнительные свойства адаптивных сетей с полярными и неполярными синапсами / С. И. Барцев, Ю. П. Ланкин, 1993. - 26 с . - Текст : непосредственный.Пак М.М. Моделирование элементов нейронных сетей на основе твердотельных нанообъектов : специальность 05.13.12 "Системы автоматизации проектирования (по отраслям)" : диссертация на соискание ученой степени канд. техн. наук / М. М. Пак, 2006. - 22 с. - Текст : непосредственный.Bernatzki A. Geometrische Interpretation neuronaler Netze / A. Bernatzki, 1999. - 123 S. - Текст : непосредственный.Казанцев П.А. Разработка и исследование маршрута проектирования нейросетевого приложения с аппаратной поддержкой : специальность 05.13.01 "Системный анализ,управление и обработка информации (по отраслям)" : диссертация на соискание ученой степени канд. техн. наук / П. А. Казанцев, 2008. - 22 с. - Текст : непосредственный.Волгин Л.И. Комплементарная алгебра и предикатная алгебра выбора / Л. И. Волгин, 1996. - 68 c. - Текст : непосредственный.Волгин Л.И. Векторная комплементарная алгебра и ее применения / Л. И. Волгин, 1996. - 50 c. - Текст : непосредственный.Тарасов А.М. Математическое моделирование, сети Петри и их использование при описании функционирования нейронных сетей в ЭВМ, робототехники : препринт / А. М. Тарасов, В. В. Подлубный, 1995. - 21 c. - Текст : непосредственный.
Показать все результатыДоклады Российской академии наук. Математика, информатика, процессы управления. - Журнал, 2023г. Т.514 2 ("Специальный выпуск: технологии искусственного интеллекта и машинного обучения"). - Текст : непосредственный.Васильев Р.Л. Нейросетевое обучение метрик: сравнение функций потерь / Р. Л. Васильев, А. Г. Дьяконов. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.60-71
Доклады Российской академии наук. Математика, информатика, процессы управления. - Журнал, 2023г. Т.514 2 ("Специальный выпуск: технологии искусственного интеллекта и машинного обучения"). - Текст : непосредственный.Семенов, Алексей Львович. Искусственный интеллект в обществе / А. Л. Семенов. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.6-19Филимонова, Ольга Александровна. Калибровка вероятностей с применением теории нечетких множеств на примере улучшения ранней диагностики рака / О. А. Филимонова, А. Г. Овсянников, Н. В. Бирюкова. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.20-27Оптимизация физико-информированных нейронных сетей для решения нелинейного уравнения Шредингера / И. А. Чупров, Ц. Гао, Д. С. Ефременко [и др.]. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.28-38Нейросетевой подход к классификации акустических сигналов с использованием информационных признаков / П. В. Лысенко, И. А. Насонов, А. А. Галяев, Л. М. Берлин. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.39-48Егоров Е.А. Исследование влияния адаптивной спектральной нормализации на качество генеративных моделей и стабильность их обучения / Е. А. Егоров, А. И. Рогачев. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.49-59Васильев Р.Л. Нейросетевое обучение метрик: сравнение функций потерь / Р. Л. Васильев, А. Г. Дьяконов. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.60-71Фанасков В.С. Спектральные нейронные операторы / В. С. Фанасков, И. В. Оселедец. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.72-79Константинов, Андрей Владимирович. Новый вычислительно простой метод для реализации нейронных сетей с жесткими ограничениями на выходные данные / А. В. Константинов, Л. В. Уткин. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.80-90Сорока А.Г. Оптимизация маршрутов большой размерности с использованием глубоких нейронных сетей / А. Г. Сорока, А. В. Мещеряков. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.91-98Данилова, Марина Юрьевна. Методы, использующие градиентный клиппинг, для задач стохастической оптимизации с тяжелым шумом / М. Ю. Данилова. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.99-108Хватов А.А. О задаче устойчивого поиска дифференциальных уравнений / А. А. Хватов, Р. В. Титов. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.109-117Медведев А.В. Эффективное обучение графовых сетей на многомерных многослойных представлениях табличных данных / А. В. Медведев, А. Г. Дьяконов. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.118-125Техники сжатия активаций слоев и градиентов для распределенного обучения моделей искусственного интеллекта / М. И. Рудаков, А. Н. Безносиков, Я. А. Холодов, А. В. Гасников. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.126-137Зотова Г.А. Нейросетевой подход в задаче предвидения аномалий процентных ставок под воздействием коррелированных шумов / Г. А. Зотова, П. П. Лукьянченко. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.150-157Зуев С.В. Статистическое онлайн-обучение в рекуррентных и прямого распространения квантовых нейронных сетях / С. В. Зуев. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.177-186Баркоды как резюме топологии функций потерь / С. А. Баранников, А. А. Коротин, Д. А. Оганесян [и др.]. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.196-211Афанасьев С.В. SpiderNet: полносвязная сверточная нейронная сеть для обнаружения мошенничества / С. В. Афанасьев, А. А. Смирнова, Д. М. Котерева. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.225-234Автоматизация оценки темперамента пользователей онлайн социальной сети / В. Д. Олисеенко, А. О. Хлобыстова, А. А. Корепанова, Т. В. Тулупьева. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.235-241Диагностика тяжести симптомов депрессии при помощи объяснимого искусственного интеллекта / С. Шалилех, А. О. Копцева, Т. И. Шишковская [и др.]. - Текст : непосредственный // Доклады Российской академии наук. Математика, информатика, процессы управления : журнал / Российская академия наук. - Москва : Российская академия наук, 2023. - Т. 514 № 2 : Специальный выпуск: технологии искусственного интеллекта и машинного обучения.- С.242-249
Показать все результатыЗаказ фрагмента документа ₽