Сбор и обработка данных: что изменится в ближайшие два года?
В 2023 году ежедневно создавалось 3,5 квинтиллиона байт данных. Квинтиллион — это миллиард миллиардов или миллион триллионов, на математическом языке это означает единица с 18 нулями. С каждым днем количество данных увеличивается, поэтому компаниям все сложнее их хранить и обрабатывать
Большие данные — преимущество для компаний, но сбор и управление ими становится все более сложным, особенно для малого и среднего бизнеса. Агентство LaunchSquad в 2022 году провело опрос 450 руководителей направления данных крупных организаций. Он показал, что 80% компаний не используют собираемые ими данные. Результаты исследования приводит Bloomberg.
Джош Ховат, редактор портала Exploding Topics выделяет пять ключевых трендов, которые помогут облегчить процессы сбора, анализа и хранения данных в 2024-2025 годах:
1. Потоковый анализ становится дешевле
До недавнего времени многие предприятия не могли обрабатывать огромные объемы данных в реальном времени. Это приводило к тому, что со временем данные становились неактуальными, а их анализ — бессмысленным. Но благодаря новым технологическим решениям потоковый анализ данных стал доступнее.
CB Insights прогнозирует, что в 2027 году рынок обработки данных в реальном времени достигнет в $52 млрд. Критически важное значение этот процесс играет в финансовой индустрии.
2. К обработке подключаются нейросети
Компании используют ИИ для наиболее быстрого анализа больших данных. Например, врачи могут тратить от четырех до 24 часов на анализ активности нейронов в 30-минутном видео, а нейросеть может провести этот анализ за минуты.
Главная тенденция последних лет — увеличение доступности инструментов на базе ИИ, которые могут анализировать большие объемы данных. В ближайшие годы такие инструменты увеличат конкурентоспособность многих компаний благодаря точному анализу аудитории и рынка, которые не может провести человек.
3. Данные становятся услугой
По оценкам аналитического портала Statista, в 2023 году рынок данных как услуги (DaaS) достиг $10,7 млрд. На этом рынке представлены облачные инструменты, используемые для сбора, анализа и управления данными.
DaaS позволяют компаниям не тратить ресурсы на собственные разработки по сбору и анализу данных, а также способствуют демократизации больших данных, то есть делают их доступными для всех сотрудников, а не только для аналитиков и инженеров.
4. Информация хранится в озерах
Озера данных (централизованные хранилища для любых типов данных, — Forbes Club) позволяют хранить информацию по принципу «хранить сейчас, анализировать позже». У них нет ограничений по размеру, а принимать данные они могут из любой системы на любой скорости.
Аналитическое агентство Modor Intelligence прогнозирует, что среднегодовой темп роста рынка озер данных составит почти 30% до 2026 года, а сами платформы упростят управление данными, повысят безопасность компаний и ускорят анализ информации.
5. Люди защищают свои персональные данные
По информации Gartner, в 2020 году только 10% населения мира защитили свои личные данные при помощи законов о конфиденциальности. К 2024 году их количество должно вырасти до 75%.
На этом фоне компаниям придется уделять больше внимания управлению данными. Проблемы в регулировании могут вызвать сложности в сфере конфиденциальности всей компании.