Система хранения данных для видеонаблюдения высокого уровня (5000 камер и выше)

Особенности хранения данных для видеонаблюдения

В контексте хранения данных для видеонаблюдения характерны многопоточные последовательные операции ввода/вывода. Каждая IP-камера создаёт свой последовательный поток данных для записи в хранилище видеоархива. В результате формируется существенная многопоточная нагрузка на запись.

При просмотре видео из архива осуществляются последовательные операции чтения, состоящие из одного или нескольких потоков. С точки зрения нагрузки на хранилище оптимально, когда проект не предполагает постоянного просмотра видео из архива множеством операторов с нескольких рабочих мест. Мониторинг в реальном времени не требует чтения данных, а просмотр из архива происходит по одной видеозаписи — изредка или даже постоянно. В таком случае основная нагрузка — 90% и более — будет приходиться на запись, и СХД не будет подвергаться ощутимой нагрузке на чтение.

В противном случае, когда требуется постоянный параллельный просмотр множества видеозаписей с разных камер из архива (например, казино, стадион, торговый центр), мы получим множество конкурентных потоков на чтение, и нагрузка на СХД резко возрастет. Следовательно, на то же количество камер придется ставить более производительную систему хранения или сокращать количество камер на массив (контроллер).

При работе с высокими нагрузками необходимо соблюдать соотношение производительности, плотности хранения и стоимости. Производительность системы зависит от количества дисков и от производительности каждого отдельного диска. Как правило, высокопроизводительная программно-определяемая технология с использованием вращающихся дисков вполне удовлетворяет потоковым задачам. В сочетании с полками высокой плотности создаются эффективные конфигурации для работы с большим количеством потоков или с потоками высокого разрешения.

При необходимости дальнейшего масштабирования можно использовать кластерные решения, такие как системы на базе ПО RAIDIX и кластерной системы HyperFS. Ключевыми критериями для горизонтально-масштабируемого решения, помимо высокой производительности и низких задержек, являются:

единое адресное пространство для нескольких кластеров хранения;
одновременный доступ по различным протоколам;
файловый и блочный доступ к одним и тем же данным.

В следующем разделе приведем примерные требования к хранению данных, полученных из 5000–10000 параллельных потоков HD, и соответствующие решения, представленные технологией RAIDIX.

Требования к инфраструктуре и емкости

Современный рынок систем видеонаблюдения развивается стремительными темпами. Функциональность систем видеонаблюдения определяется не только мощностью видеокамер и возможностями ПО, но и ИТ-инфраструктурой, необходимой для обслуживания высокотехнологичного оборудования.

Когда речь заходит о тысячах видеокамер, один сервер или готовое коробочное решение не может обеспечить надежную инфраструктуру хранения, особенно при использовании видеоаналитики (обнаружение, слежение, распознавание), интеграции с кассовыми решениями, комплексными системами безопасности (СКУД, ОПС) и т.д. Оптимальным решением в таком случае является специализированное ПО для видеонаблюдения — VMS, которое предусматривает возможность масштабирования и поддержки большого количества IP-камер, а также все необходимые для проекта функции и возможности.

Для развертывания такого ПО понадобится создание выделенной ИТ-инфраструктуры, включающей в себя ферму серверов, которые обрабатывают множество видеопотоков. Обработка большого количества видеопотоков с высокими характеристиками требует больших вычислительных мощностей.

Оценим требования к вычислительным ресурсам и к подсистеме хранения, которые предъявляются в крупных проектах по видеонаблюдению. Для простоты оценки предположим, что видеосерверы выполняют только прием, обработку и запись видеопотоков в архив и другие необходимые функции VMS — без применения видеоаналитики (которая в разы увеличивает требования к вычислительным ресурсам).

Отображение картинки с IP-камер для мониторинга в реальном времени и воспроизведение видео из архива должно осуществляться с выделенных УРМ (удаленных рабочих мест), что позволит снять с видеосерверов значительную часть вычислительной нагрузки (до 50%). УРМ видеонаблюдения представляют собой мощные ПК уровня графических станций со специальным клиентским ПО для подключения к VMS и возможностью вывода множества картинок на большие экраны.

За основу возьмем поток с одной IP-камеры по протоколам ONVIF (открытый стандарт взаимодействия IP-камер и VMS), с разрешением 1 MPX, базовым кодеком H.265 и частотой 25 кадров в секунду, при условии высокой активности в кадре. Согласно онлайн-калькулятору ITV|AxxonSoft, одного из лидеров рынка VMS, такой видеопоток генерирует трафик 2,84 Мбит/с.

Вычислительные ресурсы, необходимые для обработки 5000–10000 видеопотоков, могут быть обеспечены 4х-ядерными процессорами Intel Xeon E5 2637 V4 и ОЗУ 256ГБ.

Задачи и решение

ПО RAIDIX и стандартные комплектующие

В основе предлагаемой СХД для видеонаблюдения — программно-определяемая (Software-Defined Storage) технология RAIDIX, которая позволяет строить надежные, производительные и отказоустойчивые хранилища данных. Использование стандартных аппаратных ресурсов x86-64 и шасси высокой плотности позволяет СХД на базе RAIDIX достичь минимальной на рынке стоимости владения (ТСО), а также стоимости 1ГБ и IOps.

Cтандартное оборудование позволяет гибко подобрать оптимальную конфигурацию для построения высокоскоростной отказоустойчивой СХД для нужд видеонаблюдения. «Рэйдикс» предлагает гибкие решения, соответствующие конкретному количеству камер и нагрузкам, — без необходимости использования дорогостоящих систем, функционал и емкость которых превосходят реальные нужды заказчика.

Так, в конфигурации от 5000 камер могут использоваться любые х64-серверы и следующие компоненты:

2 процессора Intel Xeon подходящей модели и необходимый объем ОЗУ;
один или несколько SAS HBA-адаптеров для подключения внутренней и/или внешних дисковых корзин;
один или несколько интерфейсов для синхронизации кэша в двухконтроллерной конфигурации; есть несколько вариантов: SAS, InfiniBand, Ethernet;
интерфейсы для подключения к сети SAN и/или NAS: Ethernet, InfiniBand, FC;
SAS/SATA диски (HDD) большого (3,5”) или малого (2,5”) форм-фактора; любая подходящая модель от любого производителя — без ограничений;
серверная платформа, подходящая для установки перечисленного выше оборудования.

СХД на базе RAIDIX решает следующие типовые задачи видеонаблюдения:

Возможность взрывного роста видеопотоков на запись и чтение в нештатных ситуациях, в том числе при проведении специальных операций

Благодаря использованию многогигабайтных объемов кэш-памяти RAIDIX позволяет одновременно обрабатывать сотни «тяжелых» потоков данных с задержками, не превышающими несколько миллисекунд. Для поддержания когерентности кэш-памяти используются высокопроизводительные интерфейсы, которые могут объединяться в транк, исключая узкие места при синхронизации кэша. Защита кэша от сбоя питания обеспечивается за счет использования дополнительных SPS-модулей.

Сложность изменения конфигурации системы при добавлении новых объектов

RAIDIX позволяет гибко подходить к масштабированию инфраструктуры видеонаблюдения. При использовании высокопроизводительного «готового кластера» (cluster-in-a-box) RAIDIX и файловой системы HyperFS возможно горизонтальное масштабирование до 16 экзабайт. При этом расширение инфраструктуры не требует остановки процессов ввода-вывода и проходит прозрачно для работающих с СХД приложений. Квантами масштабирования системы могут являться комплект из 12 дисков, дисковая полка JBOD на 60 дисков или отдельный узел хранения.

Обработка и хранение потоков данных с камер различных производителей с разрешением HD/Full HD/2K/4K

Производительность решения RAIDIX оптимизирована под задачи хранения больших объемов видеоданных. Пиковая производительность может достигать 40ГБ/с для стандартной стойки в 42U. Система также настроена на максимально эффективное использование стандартного оборудования путем распараллеливания всех операций ввода-вывода.

Высокая производительность СХД RAIDIX достигается в том числе при использовании конфигураций RAID 7.3 и RAID N+M на операциях чтения и записи и поддерживается в режиме отказа накопителей и при реконструкции массивов.

Жесткие требования к целостности данных

Частичная потеря информации при сохранении видеоданных может привести к потере всего записываемого видеопотока. Использование уникальных алгоритмов расчетов RAID, в частности уникального уровня RAID 7.3, позволяет добиться рекордной скорости и надежности хранения данных. Массив остается работоспособным при выходе из строя до 3-х дисков в группе без потери производительности.

Отказоустойчивость при записи информации, исключающая потерю кадров видеопотока

СХД обеспечивает полную отказоустойчивость при выходе из строя дисков или дисковой полки, наличии скрытых ошибок на секторах диска, отказе контроллеров СХД или их компонентов и под воздействием человеческого фактора. Решения RAIDIX не имеют единой точки отказа и обеспечивают уровень доступности не ниже 99,999%.

Повышенные требования к ресурсам СХД и медиасерверов для работы аналитического ПО

Технология упреждающей реконструкции RAIDIX позволяет СХД поддерживать заданную скорость передачи данных даже в режиме деградации массива при перестроении RAID. Процесс реконструкции массива не сказывается на работе других дисков и общей производительности системы. СХД RAIDIX может постоянно отслеживать 1/2048-ю часть диска и восстанавливать только поврежденные данные «на лету». При этом приоритет процесса восстановления данных может также настраиваться в реальном времени.

Использование стандартных аппаратных ресурсов x64 и шасси высокой плотности позволяет СХД на базе RAIDIX достичь минимальной на рынке стоимости владения системой (ТСО), а также стоимости 1 ГБ и IOps. Cтандартное оборудование позволяет гибко подобрать оптимальную конфигурацию для построения высокоскоростной отказоустойчивой СХД для нужд видеонаблюдения.

Кроме того, «Рэйдикс» предлагает гибкие решения, соответствующие конкретному количеству камер и нагрузкам, — без необходимости использования дорогостоящих систем, функционал и емкость которых превосходят реальные нужды заказчика.

Технические характеристики системы хранения

Поддерживаемые уровни RAID	RAID 0/5/6/7.3/10/N+M
Максимальное количество дисков в RAID	64
Максимальное количество дисков в системе	600
Квант масштабирования	12 дисков
Поддержка hot spare («горячей замены»)	Выделенные резервные диски и диски общего доступа
Максимальный размер LUN	Ограничений нет
Максимальное количество LUN	487
iSCSI	MPIO, ACLs, CHAP-авторизация, маскирование LUN, СRC Digest
Поддерживаемое количество сессий	1024
Максимальное количество хостов при прямом подключении (в зависимости от аппаратной платформы)	32
Поддерживаемые операционные системы	Mас OS Х 10.6.8 и выше, Microsoft® Windows® Server 2008/ 2008 R2/ 2012, Microsoft ® Windows® XP/Vista/7/8; Red Hat Linux, SuSE, ALT Linux, Cent OS Linux, Ubuntu Linux; Solaris 10
Поддерживаемые платформы виртуализации	VMware ESX 3.5/4.0/4.1/5.0/5.1/5.5/6.0; KVM (Kernel-based Virtual Machine); RHEV (Red Hat Enterprise Virtualization), Microsoft Hyper-V Server, XenServer
Поддерживаемые протоколы SAN	Fibre Channel 8Гб, 16Гб; InfiniBand (FDR, QDR, DDR, EDR); iSCSI; 12G SAS
Поддерживаемые протоколы NAS	SMB, NFS, FTP, AFP
Интеграция с MS Active Directory	Да
WORM (Write Once – Read Many)	Да
Количество узлов	2 в режиме Active/Active
Кэширование данных	Двухуровневое: RAM и Flash WriteBack и ReadAhead для множества потоков
Поддержка QoS	На уровне хостов и приложений

Организация сети хранения данных

Подключение видеосерверов к СХД осуществляется по протоколам файлового (протоколы NFS или SMB) или блочного (протоколы iSCSI, FC и др.) доступа и в идеале требует создания выделенной сети хранения данных. Для этого каждый видеосервер должен быть оборудован соответствующими физическими адаптерами, желательно — выделенными и дублированными. Ядром сети хранения будут выступать два выделенных коммутатора, соединяющие множество видеосерверов с СХД. Физическое выделение сети хранения из остальных сетей передачи данных, использование для ее организации отдельного оборудования с дублированием (коммутаторы и адаптеры) будет гарантировать простоту и прозрачность, безопасность и изоляцию, заданную пропускную способность и отказоустойчивость.

В простейшем случае для организации сети хранения достаточно двух производительных коммутаторов 10GbE (Ethernet, 10Гбит/с) и двух выделенных портов 1‑10GbE на каждый видеосервер. При этом в качестве транспорта можно использовать файловый NFS или блочный iSCSI. Теоретически в ситуациях, требующих большей производительности, могут понадобиться конвергентные адаптеры Ethernet или InfiniBand (IB) с поддержкой RDMA (SRP, iSER, RoCE) или Fibre Channel 16/32Гбит и соответствующие коммутаторы. При этом на уровне сервера будет достаточно портов 10Гбит/с, а на уровне коммутатора понадобится не менее 40Гбит/с.

Пример архитектуры для обслуживания 10000 HD-камер

Для примера возьмем систему с большой емкостью хранения на базе RAIDIX с возможностью подсоединения дополнительных дисковых полок, высокой производительностью и поддержкой множественных видеопотоков HD. Целостность данных без потери кадров обеспечивается собственными алгоритмами компании «Рэйдикс» и особой реализацией массива RAID 6 с двойной четностью. Так, RAID 6 гарантирует бесперебойную работу системы с неснижаемой производительностью даже при отказе до 2 дисков массива.

RAIDIX в качестве управляющего ПО работает со стандартными комплектующими х86–64 (корпуса, диски, интерфейсные контроллеры, память, процессоры и т.д.), позволяет оптимизировать RAID-массивы под конкретные задачи холдинга и снизить общую стоимость обслуживания системы.

Ниже приводится схема организации хранилища данных, получаемых с 10000 HD-камер (1 MPX) при условии использования RAID 6:

(1) 10 видеосерверов, используемых заказчиком

(2) Два контроллера метаданных под управлением RAIDIX (платформа AIC HA401-LB)

(3) Платформа AIC HA401-LB

(4) HGST JBOD 4U60.

В данной конфигурации используется 10000 камер (1MPX), кодек h.265, частота 25 FPS.

Кластеризация

Как уже упоминалось выше, для создания кластера хранения из нескольких узлов недостаточно функционала традиционных файловых систем (ФС). Для классических ФС характерны следующие ограничения, критичные для инфраструктуры видеонаблюдения:

файлы «размазываются» по разделу, и возникают задержки доступа;
отсутствует механизм, предотвращающий дефрагментацию;
недостаточная масштабируемость по размеру, производительности, количеству файлов, вложенности папок и т.д.;
«неродная» кроссплатформенность.

Названные проблемы решаются с помощью кластерных файловых систем. Так, система HyperFS от Scale Logic обеспечивает высокую масштабируемость прозрачно для клиента и одновременный доступ к данным с различных ОС (в частности, через файловые шлюзы). ПО RAIDIX в связке с HyperFS позволяет организовать единое адресное пространство для блочного и файлового доступа. Среди технических преимуществ совместного решения:

до 4 млрд. файлов в одном каталоге;
до 4096 разделов, которые возможно объединить в одну ФС;
отсутствие единой точки отказа;
динамическое расширение ФС по емкости и производительности без простоев;
поддержка последних версий популярных ОС — Mac/Windows/Linux.

Файловая система HyperFS SAN обеспечивает необходимую избыточность, высокую доступность данных, зеркалирование путей и данных. HyperFS для SAN позволяет трансформировать несколько ФС или дисковых массивов iSCSI в кластер хранения, который поддерживает воспроизведение данных с нескольких клиентских и обеспечивает высокую производительность. Система располагает опциональным контроллером метаданных (MDC) со структурой избыточности, SAN-структурой полной избыточности с зеркалированием метаданных и поддерживает конфигурацию с множеством путей в среде Fibre Channel и iSCSI. Система не имеет единой точки отказа и обеспечивает высокую стабильность хранения.

Возможности систем Scale-Out NAS, применяемых в крупных инфраструктурах в сфере видеонаблюдения, включают в себя консолидацию до 64 узлов в кластере, одновременный доступ по разным протоколам (SMB v2/v3, NFS v3/v4, FTP/FTPS, HTTP/HTTPS/WebDAV), балансировку нагрузки между узлами (Round-Robin, Connection Count, Load node), поддержку Active Directory.

Расширенные функции RAIDIX и HyperFS:

оптимизация системы под большие и маленькие файлы;
поддержка квот пользователей и папок;
SNMP-мониторинг по SNMP для SONG и MDC;
LDAP/Active Directory — возможность использовать локальную базу пользователей или интегрироваться с Active Directory;
поддержку ACL — возможность использовать ACL на всех поддерживаемых ОС.

Таким образом, система на базе RAIDIX и HyperFS предоставляет предприятиям с развитой инфраструктурой видеонаблюдения решение с высокой производительностью, единым адресным пространством, высокой расширяемостью, файловым и блочным доступом к одним и тем же данным.

Технические показатели горизонтально-масштабируемой системы

Емкость системы	64 ЗБ (теоретическое ограничение)
Максимальное количество файлов/объектов/папок	До 4 000 000 000 при использовании тома метаданных размером 4 ТБ
Размер файла	64 ЗБ (теоретическое ограничение)
Длина имени файла	Windows: 255 символов ASCII; Linux/Mac: 255 символов ASCII
Глубина каталога	Windows: 244 символа; Linux: 4096 байт
Максимальное количество LUN	4093
Экспортируемые пути	512
Количество контроллеров метаданных (MDC)	До 2, могут быть настроены в режиме высокой доступности
Количество конкурентных файловых систем	16
Полная избыточность	Поддерживается: нет единой точки отказа
Динамическое расширение файловой системы	Да, LUN могут добавляться без простоев
Поддерживаемые клиентские ОС SAN	Windows 7 32/x86_64/Win 8, Win 10 Windows 2008/2008_R2/2012/2012_R2/Server 32/x86_64/2016_x86_64 SUSE 11 SP1-3 OS X 10.7-10.12
Поддержка SSD	Да

Результаты для бизнеса

На современном аппаратном обеспечении и программных СХД RAIDIX можно успешно строить эффективные хранилища для крупных систем видеонаблюдения.

Среди ключевых решения RAIDIX преимуществ для бизнеса:

Высокий уровень доступности данных.
Поддержка необходимых объемов хранимой информации при низкой стоимости владения.
Гибкая масштабируемость при увеличении объемов данных прозрачно для работающих с СХД приложений.
Снижение стоимости решения и его обслуживания за счет аппаратной платформы на основе стандартных серверных комплектующих.

Технология RAIDIX в сочетании с файловой системой HyperFS удовлетворяет высочайшим требованиям по скорости и отказоустойчивости. Использование RAIDIX позволяет минимизировать расходы на апгрейд оборудования при создании кластеров хранения, горизонтально расширяя действующую инфраструктуру без простоев и снижения производительности.