Что такое big data
Коротко
Big data (большие данные) — это данные, которые слишком велики или слишком сложны по составу, чтобы их обрабатывали обычные программы и обычные базы данных. Их хранят и считают не на одном сервере, а на множестве машин сразу, и из этого получают сведения, которых в разрозненных записях не видно.
Определение больших данных: bigdata и big data — одно и то же
В обычном понимании это данные, с которыми не справляются привычные инструменты: таблица, файл, одна база на одном сервере. Когда записей становятся миллиарды, а среди них есть текст, картинки, звук и показания датчиков, обычная программа либо не может это сохранить, либо считает сутками. Тогда данные раскладывают по многим машинам и обрабатывают параллельно.
Написание bigdata без пробела — тот же термин, просто слитно. В русском языке закрепилось «большие данные», и по смыслу это не про размер файла, а про то, что обычные средства обработки с этим объёмом или составом уже не справляются.
Второе значение слова — не сами данные, а подход к работе с ними: хранить дёшево, считать распределённо и искать в массе записей закономерности. Именно в этом смысле говорят «внедрить big data» или «аналитика больших данных».
Признаки больших данных
- Объём — данных столько, что они не помещаются в память одного компьютера и не хранятся в одной таблице.
- Скорость — данные поступают непрерывно и быстро: записи датчиков, клики, сообщения, платежи. Их нужно успевать принимать и обрабатывать.
- Разнообразие — вместе лежат числа, текст, изображения, видео, звук и файлы без строгой структуры.
- Достоверность — часть данных ошибочна, дублируется или приходит с пропусками, и это приходится чистить до анализа.
- Ценность — смысл есть только в том, что из данных можно извлечь для решения, а не в самом объёме.
- Согласованность — данные из разных источников должны быть приведены к одному виду, иначе их нельзя сравнивать.
Чем big data отличается от обычной базы данных
Обычная база данных рассчитана на аккуратные записи по заранее заданным полям: имя, дата, сумма. Она хорошо отвечает на вопрос «сколько клиентов купили в марте». Большие данные начинаются там, где записей слишком много для одного сервера, где большая часть информации не разложена по полям — переписка, отзывы, записи звонков — и где ответ нужен по всей массе, а не по выборке.
Отсюда и разница в устройстве: обычную базу усиливают более мощным сервером, а большие данные — добавлением новых машин в сеть. Это называется горизонтальным масштабированием: вырос объём, добавили узлы, а не купили компьютер дороже.
Обычная база и большие данные
| Обычная база данных | Большие данные | |
|---|---|---|
| Что хранит | Записи по заданным полям | Записи, текст, изображения, звук, показания датчиков |
| Как растёт | Мощнее сервер | Больше машин в сети |
| Что считает | Точные ответы по запросу | Закономерности по всей массе записей |
| Кто обычно использует | Любой бизнес с учётом и заказами | Компании с очень большим потоком данных |
Из чего состоит работа с большими данными
Сначала данные собирают из разных источников: сайта, приложения, касс, датчиков, переписки. Потом приводят к одному виду — убирают дубли, заполняют пропуски, приводят форматы. Дальше хранят так, чтобы это было дёшево, и считают: статистикой, поиском закономерностей, моделями машинного обучения. Последний шаг — показать результат человеку: отчёт, панель, список случаев, на которые стоит обратить внимание.
Инструменты здесь распределённые: системы хранения и обработки вроде Hadoop и Spark, базы, рассчитанные на большие объёмы, потоки событий, библиотеки анализа. Названия меняются, суть одна: много машин работают как одна.
Где это применяют
- Банки ищут в массе операций признаки мошенничества и оценивают риск по клиенту.
- Магазины и маркетплейсы собирают историю покупок и просмотров, чтобы показывать подходящие товары и планировать закупки.
- Производство читает показания датчиков на оборудовании и замечает неисправность до остановки линии.
- Связь и интернет-сервисы следят за нагрузкой на сеть и качеством связи по регионам.
- Наука и крупные эксперименты обрабатывают объёмы, которые не помещаются ни в одну лабораторную систему.
Частые вопросы
Big data — это технология?
Нет, это общее название для данных, которые не обрабатываются обычными средствами, и для подхода к работе с ними. Технологии — уже конкретные инструменты: распределённое хранение, параллельные вычисления, потоковая обработка.
Сколько данных нужно, чтобы это считалось big data?
Единого порога нет. Признак не в конкретном числе гигабайт, а в том, что привычные инструменты перестают справляться: данные не помещаются, не успевают обрабатываться или слишком разнородны. Для одной компании это миллиарды записей, для другой — поток с сотен датчиков.
Нужны ли большие данные небольшой компании?
Часто нет. Если все заказы, клиенты и продажи помещаются в обычную базу и таблицу, задачи решаются обычной аналитикой. Большие данные нужны там, где объём, скорость или разнообразие данных уже мешают работать.
Чем big data отличается от искусственного интеллекта?
Это разные вещи. Большие данные — про хранение и обработку больших массивов. Искусственный интеллект — про модели, которые на этих данных учатся находить закономерности. Одно питает другое: без подготовленных данных модель не обучить, а без модели массив остаётся просто складом записей.
Где хранят большие данные?
Либо на своих серверах, объединённых в сеть, либо в облаке, где мощность берут по мере надобности. Выбор зависит от того, насколько чувствительны данные и выгоднее ли держать своё оборудование.
Когда данных много, а решений из них нет
Собрать цифры бизнеса в одну картину
Чаще собственнику не нужен распределённый кластер — нужно, чтобы данные из касс, сайта, рекламы и учёта наконец сошлись в одном месте и показали, что происходит с продажами и деньгами.
Я собираю главные цифры бизнеса на одном экране и настраиваю обновление, чтобы не сводить отчёты вручную.