Система хранения данных для видеонаблюдения начального уровня (до 200 камер)

Особенности хранения данных для видеонаблюдения

В контексте хранения данных для видеонаблюдения характерны многопоточные последовательные операции ввода/вывода. Каждая IP-камера создаёт свой последовательный поток данных для записи в хранилище видеоархива. В результате формируется существенная многопоточная нагрузка на запись.

При просмотре видео из архива осуществляются последовательные операции чтения, состоящие из одного или нескольких потоков. С точки зрения нагрузки на хранилище оптимально, когда проект не предполагает постоянного просмотра видео из архива множеством операторов с нескольких рабочих мест. Мониторинг в реальном времени не требует чтения данных, а просмотр из архива происходит по одной видеозаписи — изредка или даже постоянно. В таком случае основная нагрузка — 90% и более — будет приходиться на запись, и СХД не будет подвергаться ощутимой нагрузке на чтение.

В противном случае, когда требуется постоянный параллельный просмотр множества видеозаписей с разных камер из архива (например, казино, стадион, торговый центр), мы получим множество конкурентных потоков на чтение, и нагрузка на СХД резко возрастет. Следовательно, на то же количество камер придется ставить более производительную систему хранения или сокращать количество камер на массив (контроллер).

В случае СХД для видеонаблюдения начального уровня (до 200 камер) проблема обновления или масштабирования действующей инфраструктуры возникает не так часто, тем не менее для компактных CCTV-систем характерны те же требования и сценарии, что и для разветвленных конфигураций. В следующем разделе приведем примерные требования к хранению данных, полученных из 200 параллельных потоков высокого разрешения, и соответствующие решения, представленные технологией RAIDIX.

Требования к системе хранения

Оценим требования к вычислительным ресурсам и к подсистеме хранения, которые предъявляются в крупных проектах по видеонаблюдению. Предположим, что видеосерверы выполняют прием, обработку и запись видеопотоков в архив, а также другие необходимые функции VMS — без применения видеоаналитики, которая в разы увеличивает требования к вычислительным ресурсам. Отображение картинки с IP-камер для мониторинга в реальном времени и воспроизведение видео из архива должно осуществляться с выделенных УРМ (удаленных рабочих мест), что позволит снять с видеосерверов значительную часть вычислительной нагрузки (до 50%). УРМ видеонаблюдения представляют собой мощные ПК уровня графических станций со специальным клиентским ПО для подключения к VMS и возможностью вывода множества картинок на большие экраны.

За основу возьмем поток с одной IP-камеры по протоколам ONVIF (открытый стандарт взаимодействия IP-камер и VMS), с разрешением Full-HD (1920×1080), базовым кодеком H.264 и частотой 25 кадров в секунду, при условии высокой активности в кадре. Согласно онлайн-калькулятору ITV|AxxonSoft, одного из лидеров рынка VMS, такой видеопоток генерирует трафик 6,86 Мбит/с.

Вычислительные ресурсы, необходимые для обработки 200 видеопотоков, с запасом могут быть обеспечены 4х-ядерным процессором Intel Xeon E3-1225 V3 и ОЗУ 8–16ГБ. В плане мощности для задач начального уровня подойдет доступный сервер 1U.

Для хранения видеоархива глубиной 1 месяц (стандартное требование) на 200 потоков при условии круглосуточной записи потребуется хранилище с полезной ёмкостью порядка 423,93 ТБ. Такой объем хранилища достигается за счет использования большого количества дисков высокой ёмкости (4-6-8-10 ТБ).

Предлагаемая архитектура

Для организации хранилища такого объема при условии использования RAID-7.3 или RAID N+M понадобится около 60 HDD по 10ТБ:

1 группа RAID-N+M из 55 дисков: 50 дисков — полезный объём, 5 дисков — контрольные суммы; 5 — дисков hotspare;
2 отдельные дисковые группы RAID-7.3 по 28 дисков; 24 диска — полезный объём, 3 диска — контрольные суммы, 4 диска глобальный hotspare;
3 отдельные дисковые группы RAID-6 по 18 дисков. 16 дисков — полезный объём, 2 диска контрольные суммы; 6 дисков глобальный hotspare.

Такое количество дисков можно разместить только в специальной стоечной серверной платформе 4U либо использовать внешнюю дисковую полку в комплекте с 1U-сервером, на котором будет выполняться обработка потоков.

Решение для хранения данных

В основе СХД для видеонаблюдения — программно-определяемая (Software-Defined Storage) технология RAIDIX, которая позволяет строить надежные, производительные и отказоустойчивые хранилища данных. Использование стандартных аппаратных ресурсов x86-64 и шасси высокой плотности позволяет СХД на базе RAIDIX достичь минимальной на рынке стоимости владения (ТСО), а также стоимости 1ГБ и IOps. Cтандартное оборудование позволяет гибко подобрать оптимальную конфигурацию для построения высокоскоростной отказоустойчивой СХД для нужд видеонаблюдения. «Рэйдикс» предлагает гибкие решения, соответствующие конкретному количеству камер и нагрузкам, — без необходимости использования дорогостоящих систем, функционал и емкость которых превосходят реальные нужды заказчика.

Так, в конфигурации до 200 камер могут использоваться любые х64-серверы и следующие компоненты:

1—2 процессора Intel Xeon подходящей модели и необходимый объем ОЗУ;
один или несколько SAS HBA-адаптеров для подключения внутренней и/или внешних дисковых корзин;
один или несколько интерфейсов для синхронизации кэша в двухконтроллерной конфигурации; есть несколько вариантов: SAS, InfiniBand, Ethernet;
интерфейсы для подключения к сети SAN и/или NAS: Ethernet, InfiniBand, FC (для систем видеонаблюдения начального уровня адекватным решением также является Direct Attached Storage (DAS) — дисковые полки, подключаемые к серверам напрямую).
SAS/SATA диски (HDD) большого (3,5”) или малого (2,5”) форм-фактора; любая подходящая модель от любого производителя – без ограничений;
серверная платформа, подходящая для установки перечисленного выше оборудования.

СХД на базе RAIDIX решает следующие типовые задачи видеонаблюдения:

Обработка и хранение ненормированного потока данных с камер различных производителей с разрешением от VGA до Full HD/2K/4K/8К

Производительность решения RAIDIX оптимизирована под задачи хранения больших объемов видеоданных. Пиковая производительность может достигать 40ГБ/с для стандартной стойки в 42U. Система также настроена на максимально эффективное использование стандартного оборудования путем распараллеливания всех операций ввода-вывода. Высокая производительность СХД RAIDIX достигается в том числе при использовании конфигураций RAID6, RAID 7.3 и RAID N+M на операциях чтения и записи и поддерживается в режиме отказа накопителей и при реконструкции массивов.

Кроме того, система предоставляет возможность использования многогигабайтных объемов кэш-памяти для одновременной обработки десятков «тяжелых» потоков данных с задержками, не превышающими несколько миллисекунд.

Обеспечение целостности данных

Частичная потеря информации при сохранении видеоданных может привести к потере всего записываемого видеопотока. Использование уникальных алгоритмов расчетов RAID, в частности, RAID 6 с двойной четностью и RAID 7.3 с тройной четностью, позволяет добиться рекордной скорости и надежности хранения данных. Массив остается работоспособным при выходе из строя до 3-х дисков в группе без потери производительности.

Обеспечение отказоустойчивости при записи

СХД обеспечивает полную отказоустойчивость при выходе из строя дисков или дисковой полки, наличии скрытых ошибок на секторах диска, отказе контроллеров СХД или их компонентов и под воздействием человеческого фактора. Решения RAIDIX не имеют единой точки отказа и обеспечивают уровень доступности не ниже 99,999%.

Возможность использования различных интерфейсов и протоколов передачи данных

RAIDIX поддерживает подключение по всем распространенным интерфейсам для блочного и файлового доступа: SAN (Fibre Channel, iSCSI, SAS, InfiniBand) и NAS (NFS, AFP, SMB и др.).

Технические характеристики системы хранения

Поддерживаемые уровни RAID	RAID 0/5/6/7.3/10/N+M
Максимальное количество дисков в RAID	64
Максимальное количество дисков в системе	600
Квант масштабирования	12 дисков
Поддержка hot spare («горячей замены»)	Выделенные резервные диски и диски общего доступа
Максимальный размер LUN	Ограничений нет
Максимальное количество LUN	487
iSCSI	MPIO, ACLs, CHAP-авторизация, маскирование LUN, СRC Digest
Поддерживаемое количество сессий	1024
Максимальное количество хостов при прямом подключении (в зависимости от аппаратной платформы)	32
Поддерживаемые операционные системы	Mас OS Х 10.6.8 и выше, Microsoft® Windows® Server 2008/ 2008 R2/ 2012, Microsoft ® Windows® XP/Vista/7/8; Red Hat Linux, SuSE, ALT Linux, Cent OS Linux, Ubuntu Linux; Solaris 10
Поддерживаемые платформы виртуализации	VMware ESX 3.5/4.0/4.1/5.0/5.1/5.5/6.0; KVM (Kernel-based Virtual Machine); RHEV (Red Hat Enterprise Virtualization), Microsoft Hyper-V Server, XenServer
Поддерживаемые протоколы SAN	Fibre Channel 8Гб, 16Гб; InfiniBand (FDR, QDR, DDR, EDR); iSCSI; 12G SAS
Поддерживаемые протоколы NAS	SMB, NFS, FTP, AFP
Интеграция с MS Active Directory	Да
WORM (Write Once – Read Many)	Да
Количество узлов	2 в режиме Active/Active
Кэширование данных	Двухуровневое: RAM и Flash WriteBack и ReadAhead для множества потоков
Поддержка QoS	На уровне хостов и приложений

Результаты для бизнеса

На современном аппаратном обеспечении и программных СХД RAIDIX можно успешно строить эффективные хранилища данных как для малых, так и для больших систем видеонаблюдения.

Среди ключевых решения RAIDIX преимуществ для бизнеса:

Уровень доступности данных выше, чем у конкурентов, на 73%; стоимость хранения на 31% ниже среднерыночных показателей.
Поддержка необходимых объемов хранимой информации при низкой стоимости владения.
Гибкая масштабируемость при увеличении объемов данных. Путем добавления новых дисковых полок и контроллеров, без остановки процессов ввода-вывода и прозрачно для работающих с СХД приложений.
Снижение стоимости решения и его обслуживания за счет аппаратной платформы на основе стандартных серверных комплектующих.

Проекты по видеонаблюдению на RAIDIX

На базе RAIDIX были успешно построены инфраструктуры хранения в нескольких крупных проектах по видеонаблюдению. Среди них — крупный российский проект в рамках информационного кластера. Для организации хранилища здесь было использовано 4 двухконтроллерных СХД RAIDIX на 200 HDD по 6ТБ каждая. СХД на базе RAIDIX используются в инфраструктуре видеонаблюдения Горного университета и международного производителя электроники REDMOND.

Кроме того, на счету «Рэйдикс» два крупных внедрения в Южной Корее (администрации городов Йонъин и Кванмён). Данные проекты касаются обеспечения безопасности дорожного движения и фиксации нарушений и выполнены в рамках целого города.