XIII Международная студенческая научная конференция Студенческий научный форум - 2021

ВВЕДЕНИЕ

Значимость применения технологии Big Data довольно велика, так как в настоящее время она является одним из первостепенных рычагов формирования информационных технологий. Это направление, сравнительно новое для российского бизнеса, заработал обширное распространение в западных странах. Связано это с тем, что в эру информационных технологий, особенно после расцвета социальных сетей, по каждому юзеру интернета стало нарастать внушительное обилие информации, что в конечном счете дало формирование направлению Big Data.

Исследования, связанные с большим количеством данных, представляются актуальной сферой разработок на сегодняшний день. Они изучают большие данные, и методы выделения познаний из них. Они ведутся в рамках разнообразных дисциплин и областей, в том числе информационные науки, моделирование неопределённости, машинное обучение, статистическое обучение, определение образов, технологии сохранения данных, переработка сигналов и т.д. Изыскания больших данных также имеют собственные проблемы и задачи.

ИСПОТЛЬЗОВАНИЕ ТЕХНОЛГИИ BIGDATA НА КОНКРЕТНЫХ ПРИМЕРАХ

Крупнейшая социальная сеть в мире – Facebook, использует огромные сведения для распознавания изображений, технологии, которая позволяет компьютеру идентифицировать объект для изображения или видео, опираясь на результатах анализа миллионов похожих изображений. Рассматривание изображений позволяет Facebook предлагает пользователям отмечать на своих снимках других людей, распознавая их на фотографии. Также, технология корректирует ленту новостей пользователя. Например, если друзья пользователя часто ставят «лайк» изображениям с собаками, то пользователь начнёт видеть подобные изображения в своей ленте чаще.

Большое количество информации о пользователях также позволяет Facebook продуктивно распределять таргетинговую рекламу. Социальная сеть помогает бизнесу в поиске возможных клиентов, опираясь на данных об их интересах и склонностях. Рекламодатели имеют возможность очень точно настраивать целевую аудиторию, и получить от Facebook предложения по её расширению.

Что касается пользовательских данных, есть проблемы с конфиденциальностью. В рамках рекламы Facebook решил эту проблему с помощью своей технологии Subject Data. Тематические данные — это особая технология Facebook, которая показывает маркетологам, что люди думают о брендах и событиях, но таким образом, чтобы вся информация оставалась конфиденциальной. В свою очередь, маркетологи уже используют данные для изменения стратегии позиционирования своего бренда на Facebook и других платформах. Раньше эти данные можно было получить только от специализированных компаний, но выборка была небольшой, и демографическое определение было практически невозможно. Используя тематические данные, социальная сеть смогла сгруппировать данные для маркетологов в узких областях, удаляя при этом личную информацию пользователей.

Instagram является шестой по популярности платформой социальных сетей в мире и стремится сделать платформу максимально толерантной. Для этого они используют DeepText, технологию Facebook, которая может анализировать несколько тысяч пользовательских сообщений в секунду с точностью, близкой к человеческой.

Чтобы определить тон и намерение комментария, правильно его интерпретировать и отличить оскорбление от конструктивной критики, технология Instagram также исследует контекстное значение смежных комментариев.

Кроме того, DeepText помогает распознавать спам. Система обнаруживает фейковые аккаунты и удаляет спам из комментариев под сообщениями пользователей. Эта функция пока доступна не на всех языках и все еще находится в стадии разработки.

Twitter, еще одна крупная социальная сеть, использует машинное обучение для эффективного кадрирования изображений. В ленте пользователя изображения отображаются не полностью, а только в виде фрагментов. Совершенствуя свои алгоритмы, Twitter обучает свою систему выбирать наиболее интересные для пользователя фрагменты - лица, текст, животных.

Поскольку нейронные сети слишком медленны для выполнения таких задач в реальном времени, Twitter использует два подхода. Первый из них, «дистилляция знаний», используется для обучения меньшей сети моделированию работы более крупной и прогнозирования на основе серии сторонних изображений и ключевых данных. Вторая аббревиатура Фишера используется для удаления избыточных фрагментов при одновременном снижении стоимости вычислительной мощности.

ПРОБЛЕМЫ, ВОЗМОЖНОСТИ И ПЕРСПЕКТИВЫ ИСПОЛЬЗОВАНИЯ ТЕХНОЛОГИИ BIG DATA В СОЦИАЛЬНЫХ СЕТЯХ

Основная проблема с использованием больших данных в социальных сетях — это конфиденциальность. Социальные сети собирают много информации о своих пользователях, включая переписку, данные о местоположении, фотографии и историю активности. Используя технологии анализа больших данных, из этой информации можно извлечь много дополнительной информации, которую нежелательно распространять.

Например, исследователи Стэнфордского университета продемонстрировали способность определять сексуальную ориентацию человека, анализируя его фото. По фото нейросеть правильно определяет ориентацию в 81% случаев у мужчин и 74% у женщин. Если исследователи дали нейронной сети пять изображений человека, точность увеличилась до 91% и 83% соответственно. В связи с этой проблемой социальные сети улучшают свою политику конфиденциальности. Facebook, в частности, передает рекламодателям не сырые пользовательские данные, а только результаты их анализа и обработки.

Еще одна проблема — это технический аспект хранения и обработки больших данных. Доступные продукты не полностью удовлетворяют потребности компаний. Facebook, например, сильно полагается на одну технологию больших данных: Hadoop. Это масштабируемая среда с открытым исходным кодом, в которой работает большое количество серверов. Анализ данных с помощью этой технологии начинается с чтения 300 петабайт данных. Информация о конкретном требовании удаляется из базы данных и сохраняется в специальной таблице, которую обрабатывает специальный отдел Facebook. Чтобы сократить время и деньги, затрачиваемые на анализ, компания разрабатывает собственное гигантское хранилище данных, что во многом снизит затраты.

Основные потенциальные возможности использования больших данных в социальных сетях:

Прогноз текучести пользователей. Прогноз удаления профиля пользователя. Это поможет поддерживать отношения с пользователями из группы высокого риска;

Прогнозирование ценности пользователей как покупателей. Спрогнозируйте, сколько денег конкретный пользователь потратит на определенную группу продуктов. Анализируя их поведение, искусственный интеллект может определить их привычки и побудить их тратить деньги, показывая целевую рекламу;

Анализ ощущений от сообщений и комментариев. Может описывать отношение общества к конкретному продукту или бренду;

Персонализация контента. Алгоритмы машинного обучения, определяющие предпочтения каждого пользователя и рекомендующие им подходящий контент;

Прогноз популярности контента. Популярность контента может быть связана со спросом на определённые товары, что можно использовать при подборе рекламы.

В целом потенциальные перспективы использования Big Data сводятся к одной цели - повысить эффективность рекламных предложений. Это реализуется либо напрямую, предлагая наиболее популярную рекламу, либо косвенно, путем повышения привлекательности использования социальной сети, что увеличивает количество просмотренных рекламных предложений.

ЗАКЛЮЧЕНИЕ

Используя полученные данные, можно сделать определенный перечень выводов и аспектов:

проблемы, с которыми сталкиваются разработчики и исследователи в области технологий больших данных, разнообразны и сложны, но их решение может привести к значительным улучшениям в этой области;

с момента появления феномена больших данных изменилось его понимание, само явление вызывает широкие дискуссии как в научном сообществе, так и в бизнесе, теперь утратило новизну и является обычным инструментом как ученых, так и коммерческих предприятий;

информационные технологии оказали значительное влияние на человеческое общение;

использование больших данных в социальных сетях подчинено одной цели: повысить эффективность рекламы;

практика использования больших данных в социальных сетях будет расти и меняться.

Код для цитирования: Скопировать