BIG DATA – ПОНЯТИЕ, ХАРАКТЕРИСТИКА И ПЕРСПЕКТИВЫ

1. Понятие и характеристика «Big Data»

Big Data (большие данные) – это совокупность методов и средств обработки большого объема различной информации, которая весьма часто об­новляется и находится в разных источниках. Изначальное появление этого понятия связывают со статьей «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объемами дан­ных?», опубликованной редактором журнала Nature Клиффордом Линчем в 2008 году. В ней было собраны разнообразные материалы о большом объеме информации и возможностью ее обрабатывать. И уже в 2011 году термин стал использоваться в крупнейших IT-компаниях таких, как Microsoft, IBM, Oracle.
Big Data стали горячей темой в основных ИТ ресурсах; хотя в прошлом существовали большие базы данных, а также данные, основанные на интенсивных вычислениях с накоплением петабайт.
…

2. Перспективы дальнейшего развития «Big Data»

Анализ «Big Data» позволяет получать нужную информацию из потоков данных. Ниже перечислены некоторые типичные задачи для потоковой разработки:
–   Кластеризация. Это задача группировки набора объектов таким образом, что объекты в одной группе (называемые кластером) более похожи друг на друга, чем объекты в других группах (кластерах). Методы кластеризации для потоков данных обычно постоянно кластеризуют объекты на устройствах с ограниченным сроком хранения с некоторыми временными ограничениями [4, с. 49].
–   Классификация. В данном случае используется предварительные условия для получения набора классификаторов с целью последующей селекции данных. В принципе, по сравнению с кластеризацией классификация является контролируемым процессом обучения, тогда как кластеризация – это процесс без надзора.
…

ЗАКЛЮЧЕНИЕ

Хотя слово big подразумевает такое, большие данные не просто определяются объемом, а сложностью. Многие небольшие наборы данных, которые считаются большими данными, не потребляют много физического пространства, но особенно сложны по своей природе. В то же время большие массивы данных, требующие значительного физического пространства, могут быть недостаточно сложными, чтобы считаться большими данными.
В дополнение к объему большая метка данных также включает в себя разнообразие данных и скорость, составляющую три V больших данных – объем, разнообразие и скорость. Разнообразие ссылается на различные типы структурированных и неструктурированных данных, которые могут собирать организации, такие как данные уровня транзакций, видео и аудио, или текстовые и лог-файлы. Скорость – это показатель того, насколько быстро данные могут быть доступны для анализа.
…