Big data — данные, объём, скорость поступления или разнообразие которых требуют подходящей архитектуры хранения и обработки. Термин описывает задачу работы с данными, а не фиксированное число строк или обязательный набор технологий.
Три характеристики
Volume — объём; velocity — скорость поступления; variety — разнообразие форматов. Дополнительно обсуждают качество данных и практическую ценность. Распределённая обработка может понадобиться, но не является самоцелью.
Пример и ограничение
Поток событий большого приложения и история покупок могут использоваться для рекомендаций. Для небольшого каталога та же бизнес-задача иногда решается обычной базой данных. Большой массив не устраняет ошибки измерения и смещение выборки; прогноз проверяют на новых данных. Для персональных данных заранее определяют допустимые цели, доступ и основания обработки.