X Международная студенческая научная конференция Студенческий научный форум - 2018

Схема формирования «больших данных» родилась благодоря быстро растущему объему данных и разобщенности информации, которые и заложили фундамент для различных способов передачи, обработки и хранения информации. При отсутсвии единной методики оюработки, хранения и передачи данных вся имеющиеся информация превратиться в большой снежным ком, в котором едва ли кто-то сможет разобраться. Даже при условии, что простые современные технологии могут в приемлимом виде хранить и передавать информацию, то с обработкой больших массивов данных они едва ли справяться.

Поэтому, важным критерием для развития российской и зарубежных экономик становиться умение обрабатывать и анализировать большие потоки и массивы информации.

Многие авторы предполагают, что те страны, которые первыми начнут применять технологии «больших данных» наиболее эффективно смогут занать лидирущие позиции в мировом рейтинге. Например, уже в октябре 2014, Big Data Value Association совместно с Европейской комиссией начали проект, касающийся инноваций и маркетинга в области «больших данных». Примечательно, что бюджет данного проекта на период с 2015 по 2020 годы составил 1 трлн. Евро. Столь большие инвестицие в проект объясняются прогонозом ЕС, согласно которому к 2020 году технологии «Big Data» поспособствуют двухкратному приросту ВВП ЕС.

Технологтя «Big Data» стала трендом, который сосредотачивает услия на эффективном устройстве обработки, хранения и анализа коласальных потоков информации. В нашей стране есть сильная образовательная база с большим потенциалом, которая может сыграть важную роль в становлении России как одной из ведущих стран, где в нацианальной экономике активно и успешно применяются технологии «больших данных».

Существует несколько примеров возможного использования данных принципов обработки больших массивов данных, один из них это проект умного города в Испании. Местные власти города Мадрит вместе с IBM запускают проект по благоустройству и повышения уровня комфортного проживания в городе. На данный проект выделен бюджет равный 14,7 млн. евро. Деньги пойдут на внедрение принципов работы «больших данных» в инфраструктуру города. Городские дороги, уличное освещение, озеленение, уборка и многое тругое будет управляться и контролироваться исходя из реальных данных, полученных с места. Станет возможным отслеживание трафика городского и личного транспорта (более 2 млн. транспортных средств), работу 250 тысяч мачт городского освещение, уход за 300 тысяч деревьев и газонов и многое другое. Для оценки качества и количества произведенных работ будет использоваться порядка 300 основных показателей качества. Так же жители умного города смогут влиять на ситуацию в городе посредством своих мобильных устройств. При удачном запуске проекта в Мадриде, он так же может быть с легостью реализован в любом другом аналогичном городе.

Технологии «больших данных» позволяют анализировать и группировать миллионы различных задач одновременно. Работающим примером может послужить Ливерморская национальная сейсмологическая лаборотория. Она собирает и обрабатывает данные с двацати тысяч станций, расположенных по всему миру. Это необходимо, так как колебания земной коры взятые лишь с одной станции не будет отражать реальной ситуации происхолящего. До внедрения в нее Big Data обработка 1Тб информации у сейсмологов занимала 48 часов, после внедрения это время удалось сократить до трех часов. Сейчас ученные из Ливерморской лаборотории совместно со специалистами Гугл поставили перед собой цель оптимизировать работу «больших данных» таким образом, чтобы на анализ информационной базы в 50 Тб уходило 48 часов, вместо 42 дней, которые требуются для обработки данных сегодня.

На данный момент большинство масштабных проктов не обходятся без особой методики при обработки информации. Програмное обеспечение и технологии технологии «больших данных» могут быть пременены не только в экономической, но и в сферах бизнеса, маркетинга, государственного управления. Заказчиками могут выступать: транспортные агенства (для учета, анализа и моделирования транспортных ситуаций), оперативные службы (МЧС, полиция, ЖКХ), различные институты власти и бизнес (банки, страховые компании, медиа. Данные для последущей обработки могут браться с различных измерительных устройств, социальных сетей, новостных лент, устройств фото и видеорегестрации. В мире «больших данных» новые технологии помогают производить обработку колосального количества информации, а в некоторых случаях даже всей имеющийся информации касающиеся того или иного предмета или явления. При этом исходные данные могут быть в любом виде, это может быть как структурированная информация, так и нестроктурированная, либо это может быть массив потоковых данных.

Для успешной работы с технологие «больших данных» понадобиться:

Уметь управлять всем разнообразием данных.

Уметь анализировать информацию в ее исходной форме.

Иметь возможноть визуализировать исходные данные.

Основные задачи ставищиеся перед разработчиками технологией «больших данных»:

разработка кластерных и облачных структур для анализа, хранения и обработки информации;

развитие платформ управления «большими данными»;

адаптация програмнных пакетов под пользователей;

выбор наиболее эффективных методов для управления и обработки масивов данных;

создание цепочки для массивов данных (обработка, анализ, систематизация, визуализация, создание отчётов);

исследования в области аналитики больших данных – методы анализа (анализ временных рядов, кластерный анализ, корреляционный анализ, регрессионный анализ, нейронные сети, генетические алгоритмы, нечеткие алгоритмы, распознавание образов и др.).

«Большие данные» - это не просто анализ данных в больших масштабах. Проблематика заключается не в огромных объемах данных, а в том, что большинство информации представленна в разрозненых форматах, не поддающихся группировке и структурированию. «Большие данные» - это вэб-журналы, фото и видеофиксация, текст, машинный код, геолакациооные данные. Вся эта информация находится во многих различных хранилищах, структурированных в хаотичном порядке. Из-за этого страдают организации, которые владеют большим массивом различной информации, но не могут ее коректно проанализировать, так как они не владеют необходимым инструментом. «Большие данные» – это обработка данных различного характера в большом объеме, хранящихся в различных местах с целью увелечения эффективности работы организации и ее конкуреноспособности.

В связи с этим могут возникать следущие проблемы и потребности:

Хранение, обработка и анализ огромных объемов данных, которые в дальнейщем будут использованы в работе Data. Как правило это происходит в банковской сфере (задача привлячь нового клиента, оценить заемщиков или противодествовать мешеническим схемам), в медиа сфере (задача повышения качества связи, проверка актуальности контента и т.д.), в продажах (задача повышения потребительского спроса, оптимизация цен и акций), в маркетинге (определение наиболее эффективных методов и т.д.). Так же важным остается вопрос скорости передачи и обработки данных и многообразию их форм. Значит необходимо одновременно работать с разными типами структурированных и потоковых ланных.

Эффективность вычисления, обработки и анализа данных (задача в сокращении в десятки раз времени получения результата при том же качестве и точности).

Текущая информационная развитость позволяет создавать програмное обеспечение, которое в связке с специальными прикладными пакетами, разработанных специально для таких платформ, способствуют достежению совершенно иного уровня обработки данных, который невозможен без применения технологий больших данных.

Список литературы

Князев П.А. Трансформация экономического поведения российской молодежи в условиях аксиологической динамики дис. … канд. соц. наук: 22.00.04: утв. 17.07.11. Краснодар, 2011. 200 с.

Гнатюк М.А. Российская молодежь в условиях глобализации: особенности социализации и формирования трудовых ценностей // Гуманитарий Юга России. – 2016. – № 1. – С. 219-228.

Грудина С.И. Рынок труда в условиях глобализации и международная конкурентоспособность // Актуальные проблемы экономики и права. – 2011. – № 3. – С. 14-19.

Код для цитирования: Скопировать