Нейросеть YaLM 100B - Студенческий научный форум

XV Международная студенческая научная конференция Студенческий научный форум - 2023

Нейросеть YaLM 100B

Иванушкина Е.А. 1
1ФГБОУ ВО "Брянский государственный университет имени академика И. Г. Петровского"
 Комментарии
Текст работы размещён без изображений и формул.
Полная версия работы доступна во вкладке "Файлы работы" в формате PDF

Эволюция – неизбежный процесс существования человека, стремление улучшать и улучшаться лежат в основе развития. Сегодня мир настолько развит, что 21 век именуют веком информационных технологий, где технологии всех форматов плотно вошли в жизнь современного человека.

Актуальность данного исследования заключается в том, что современные инновационные технологии созданы для улучшения качества жизни населения, а также ее комфортизации. При этом стоит отметить, что интернет является неотъемлемой частью жизни не только населения, но и государства со всеми его составляющими, включая экономику.

В качестве метода исследования используется контент – анализ.

Понятие «нейронная сеть» появилось давно и является синонимом алгоритма машинного обучения. Первая версия формального нейрона, клетки нейронной сети, была предложена Уорреном Маккалохом и Уолтером Питтсом в 1943 году. Уже в 1958 году Франк Розенблатт разработал первую нейронную сеть [4]. Первоначальные достижения в этой области технологий вызвали повышенный интерес, однако другие алгоритмы машинного обучения на некоторое время отодвинули нейросети на второй план.

Нейронные сети стали набирать популярность после 2010 года. Чтобы выяснить, почему это произошло, нам нужно понять, как работает нейронная сеть и что делает ее уникальной [3].

Нейросеть работает по принципу головного мозга, связь в котором происходит благодаря нейронам, и представляет собой паутину. Однако нейросеть – это машина, и может дать ответ либо отрицательный, либо положительный, а также распознавать приближенные к этому значения.

Чем больше вариантов ответа на поставленную задачу может быть, тем крупнее нейросеть.

Нейронные сети состоят из слоев. Каждый слой выполняет свою работу, а затем взаимодействует со следующим слоем. Чтобы сеть работала правильно, необходимо предоставить ей подготовленный объект для распознавания, некий дешифратор. За такую ​​подготовку отвечают многие слои нейронной сети: находят объект по контурам, удаляют шумы и т.д. [4]

Нейросеть – это искусственный интеллект нового поколения, где уровень его знаний зависит от сложности и качества его строения, а также направленности действий и их спектра. Особенностью нейросети является способность учиться, т.е. самообучаться с учетом полученного предыдущего опыта. В результате система каждый раз делает меньше ошибок, тем самым совершенствуясь.

Нейронные сети, анализирующие естественный язык, можно использовать для создания чат-ботов, позволяющих клиентам получать необходимую информацию о продуктах компании. Это уменьшит расходы на работу команд колл-центра. Подобный робот уже работает во многих сферах и обрабатывает от 5% до 20% запросов из разных источников. Бот способен, среди прочего, подсказать расположение ближайшей больницы и предупредить о ремонте электросети и последующем отключении электроэнергии [2].

Исследуемая нейросеть YaLM 100B является языковой, она распознает и определяет принцип построения с учетом познаний о мире и норм русского и английского языка с учетом существующих правил.

Исследуемая нейросеть содержит 100 миллиардов параметров, тестировалась на суперкомпьютерах Яндекса и обрабатывала около 2 ТБ текстов. Также YaLM 100B может генерировать описания продуктов и видеоролики, а еще придумывать рекламные идеи, что делает ее достаточно востребованной [1]. Эта нейросеть используется более чем в 20 проектах, включая Алису – голосовой помощник, который уже настолько популярен, что идет в базовых функциях многих смартфонов, планшетов и прочей техники, т.к. она помогает службе поддержки реагировать на сообщения пользователей, кроме того, готовит быстрые поисковые ответы и создает описания сайтов.

Следует отметить, что YaLM 100B – крупнейшая нейросеть с распознаванием речи в свободном доступе, к ее минусам относятся высокие требования для нормального функционирования – 200 Gb GPU RAM [1], а также высокая стоимость работы. Еще одним из минусов является отсутствие менее емких аналогов, ведь такую большую модель могут использовать только ВУЗы с высокой вычислительной мощностью или другие гиганты.

При детальном изучении был выявлен ряд особенностей YaLM 100B – как самостоятельной нейросети.

В ходе исследования было выявлено много вопросов о том, как запустить или попробовать онлайн нейросеть YaLM 100B, но вразумительного ответа нет. Если необходимо генерировать тексты для роботов, чтобы они могли не только предсказывать значения, но и комментировать их текстом, эта нейросеть должна идеально подойти, т.е. выполнять функции аналитики, только с использованием искусственного интеллекта, а для простого обывателя она слишком дорогостоящая и ресурснозатратная.

Нейросети – это просто модель быстрой классификации для поиска зависимостей. Да, они учатся, но на опыте людей. В современном мире нейронные сети и их производные заставят людей терять работу в областях, где они применяют только опыт из специализированной области. Человек, как механизм впитывания накопленного опыта и его применения, уже давно представляет собой простую нейронную сеть. Люди построили машину эффективности, мечтая вырваться из рутины и перейти к творчеству.

Список использованных источников

Электронное издание Letsbuildfromhere [Электронный ресурс]. – URL: https://github.com/yandex/YaLM-100B (дата обращения: 28.11.2022).

Электронное издание Блог компании Хабр/Habr Управление сообществом [Электронный ресурс]. – URL: https://habr.com/ru/post/337870/ (дата обращения: 28.11.2022).

Редько, В.Г. Эволюция, нейронные сети, интеллект: Модели и концепции эволюционной кибернетики / В.Г. Редько. - М.: Ленанд, 2019. - 224 c.

Ширяев, В.И. Финансовые рынки: Нейронные сети, хаос и нелинейная динамика / В.И. Ширяев. - М.: КД Либроком, 2016. - 232 c.

Просмотров работы: 110