Система хранения данных для видеонаблюдения среднего уровня (до 1000 камер)
Возможности СХД для видеонаблюдения
Организация сети хранения для решений на базе СХД требует дополнительных затрат и повышает сложность проекта по сравнению с традиционными DAS-решениями, однако такой подход имеет ряд преимуществ помимо производительности, надежности и отказоустойчивости:
- Уход от необходимости организации и сопровождения локальных или DAS массивов на серверах. Практически все данные систем видеонаблюдения хранятся централизованно на СХД, локальные диски на серверах нужны только для создания загрузочных разделов с ОС и установленным VMS (Video Management Software). Для их организации достаточно двух бюджетных носителей небольшой емкости, объединенных в RAID 1 на базе встроенного в материнскую плату контроллера.
- Для организации видеосерверов оптимальным вариантом платформы будет компактный и производительный 1U-сервер. При этом нет необходимости использовать громоздких серверных платформ 2-4U или DAS-полок и устанавливать дорогостоящие аппаратные RAID-контроллеры в каждый сервер.
- Создание и сопровождение дисковых групп и томов, мониторинг и разграничение доступа к ним — все операции по хранению данных теперь осуществляются в СХД централизованно из единой консоли. Средства управления СХД значительно превосходят любой локальный дисковый контроллер с точки зрения гибкости, мощности и удобства.
Кроме того, СХД функционирует независимо от количества VMS-серверов, даже если кластер включает только два видеосервера — основной и резервный. СХД является общим хранилищем и обеспечивает круглосуточную доступность всем узлам кластера видеонаблюдения. При выходе из строя одного из основных узлов резервный узел возьмет на себя все видеопотоки основного и продолжит записывать их в архив на тот же том в СХД. Фактически произойдет миграция сущности VMS-сервера с отказавшего основного устройства на резервное со всеми настройками. При этом пользователь сможет продолжать прозрачно работать с видеоархивом данного сервера на всю его глубину (в случае если такая возможность поддерживается на уровне ПО для видеонаблюдения — VMS).
При традиционном DAS-подходе с использованием локальных массивов организовать общее хранилище невозможно. При выходе из строя сервера его локальный массив становится недоступен: резервному серверу придется записывать данные архива в своё локальное хранилище, работа с архивом будет доступна только в рамках записанных после падения данных, архив с основного сервера будет недоступен для просмотра. После восстановления основного сервера возникнут вопросы с синхронизацией архивов.
Надежная СХД в отличие от сервера не имеет единых точек отказа. СХД — это специализированный программно-аппаратный комплекс, задачами которого являются надежное хранение и обеспечение требуемой скорости ввода/вывода данных, отказоустойчивость закладывается в его функционал по умолчанию. В данном материале мы рассмотрим ключевые задачи и возможную конфигурацию СХД для поддержки системы видеонаблюдения емкостью до 1000 камер.
Требования к системе хранения
Современный рынок систем видеонаблюдения развивается стремительными темпами. Функциональность систем видеонаблюдения определяется не только мощностью видеокамер и возможностями ПО, но и ИТ-инфраструктурой, необходимой для обслуживания высокотехнологичного оборудования.
Когда речь заходит о сотнях и тысячах видеокамер, один сервер или готовое коробочное решение не может обеспечить надежную инфраструктуру хранения, особенно при использовании видеоаналитики (обнаружение, слежение, распознавание), интеграции с кассовыми решениями, комплексными системами безопасности (СКУД, ОПС) и т.д. Оптимальным решением в таком случае является специализированное ПО для видеонаблюдения — VMS, которое предусматривает возможность масштабирования и поддержки большого количества IP-камер, а также все необходимые для проекта функции и возможности.
Для развертывания такого ПО понадобится создание выделенной ИТ-инфраструктуры, включающей в себя ферму серверов, которые обрабатывают множество видеопотоков. Обработка большого количества видеопотоков с высокими характеристиками требует больших вычислительных мощностей.
Для записи и хранения крупных видеоархивов в данной инфраструктуре рекомендуется использовать выделенные СХД с файловым или блочным доступом. Рассмотрим требования к системе, используемой для поддержки 1000 IP-камер. За основу возьмем поток с одной IP-камеры, передаваемый по протоколам ONVIF (открытый стандарт взаимодействия IP-камер и VMS), с разрешением Full HD (1920×1080), базовым кодеком H.264 и частотой 25 кадров в секунду, при условии высокой активности в кадре. Согласно онлайн-калькулятору ITV|AxxonSoft, одного из лидеров рынка VMS, такой видеопоток генерирует объем трафика в 6,86 Мбит/с.
Вычислительные ресурсы, необходимые для обработки 1000 видеопотоков могут быть обеспечены двумя процессорами Intel Xeon E5-2637 v4 (4 ядра по 2,4ГГц) или двумя процессорами Intel Xeon E5-2667 v3 (8 ядер по 2,5ГГц). Для хранения видеоархива глубиной 30 дней (стандартное требование) на 1000 потоков при условии круглосуточной записи потребуется хранилище с полезной ёмкостью порядка 2,1 ПБ (2119,67 ТБ). Такой объем хранилища достигается за счет использования большого количества дисков емкостью 12 ТБ.
Предлагаемая архитектура
Организация емкости
Такой объем смогут обеспечить 180 дисков по 12ТБ. Такое количество дисков не вместится в стандартную серверную платформу (при максимальном объеме 24‑36 HDD 3,5’’ на сервер 4U), необходимо будет использовать внешние дисковые полки.
В данном случае одним из вариантов решения будет двухсокетный сервер 1U и три 4U дисковые полки на 60 HDD), подключенные каскадом.
При условии использования уровня RAID 7.3 с тремя дисками четности получаем следующую структуру:
3 группы RAID 7.3 из 60 дисков каждая: 54 дисков — полезный объём, 3 диска под контрольные суммы;
3 диска «горячей замены».
Организация сети хранения данных
Подключение видеосерверов к СХД осуществляется по протоколам файлового (протоколы NFS или SMB) или блочного (протоколы iSCSI, FC и др.) доступа и в идеале требует создания выделенной сети хранения данных. Для этого каждый видеосервер должен быть оборудован соответствующими физическими адаптерами, желательно — выделенными и дублированными. Ядром сети хранения будут выступать два выделенных коммутатора, соединяющие множество видеосерверов с СХД. Физическое выделение сети хранения из остальных сетей передачи данных, использование для ее организации отдельного оборудования с дублированием (коммутаторы и адаптеры) будет гарантировать простоту и прозрачность, безопасность и изоляцию, заданную пропускную способность и отказоустойчивость.
В простейшем случае для организации сети хранения достаточно двух производительных коммутаторов 10GbE (Ethernet, 10Гбит/с) и двух выделенных портов 1‑10GbE на каждый видеосервер. При этом в качестве транспорта можно использовать файловый NFS или блочный iSCSI. Теоретически в ситуациях, требующих большей производительности, могут понадобиться конвергентные адаптеры Ethernet или InfiniBand (IB) с поддержкой RDMA (SRP, iSER, RoCE) и соответствующие коммутаторы. При этом на уровне сервера будет достаточно портов 10Гбит/с, а на уровне коммутатора понадобится не менее 40Гбит/с.
Решение для хранения данных
В качестве решения предлагается RAIDIX — высокопроизводительная и надежная СХД высокой плотности, кастомизированная для задач видеонаблюдения. В основе RAIDIX для средних и крупных CCTV-инфраструктур — блоки хранения классической двухконтроллерной архитектуры. Модули хранения могут масштабироваться вертикально — путем добавления новых дисков и JBOD — или могут быть организованы в горизонтально-масштабируемый пул хранения, состоящий из 2–64 блоков.
RAIDIX демонстрирует рекордную производительность при обработке сотен параллельных видеопотоков, гарантирует целостность больших объемов данных и бесперебойную работу систем видеонаблюдения. СХД RAIDIX поддерживает работу в режиме кластера Active-Active прямо «из коробки», без использования каких-либо внешних компонентов.
Технология RAIDIX решает следующие задачи видеонаблюдения:
Возможность взрывного роста видеопотоков на запись и чтение в нештатных ситуациях, в том числе при проведении специальных операций
Благодаря использованию многогигабайтных объемов кэш-памяти RAIDIX позволяет одновременно обрабатывать сотни «тяжелых» потоков данных с задержками, не превышающими несколько миллисекунд. Для поддержания когерентности кэш-памяти используются высокопроизводительные интерфейсы, которые могут объединяться в транк, исключая узкие места при синхронизации кэша. Защита кэша от сбоя питания обеспечивается за счет использования дополнительных SPS-модулей.
Сложность изменения конфигурации системы при добавлении новых объектов
RAIDIX позволяет гибко подходить к масштабированию инфраструктуры видеонаблюдения. При использовании высокопроизводительного «готового кластера» (cluster-in-a-box) RAIDIX и файловой системы HyperFS возможно горизонтальное масштабирование до 16 экзабайт. При этом расширение инфраструктуры не требует остановки процессов ввода-вывода и проходит прозрачно для работающих с СХД приложений. Квантами масштабирования системы являются: комплект из 12 дисков, дисковая полка JBOD на 60 дисков и отдельный узел хранения.
Обработка и хранение потоков данных с камер различных производителей с разрешением Full HD/2K/4K
Производительность решения RAIDIX оптимизирована под задачи хранения больших объемов видеоданных. Пиковая производительность может достигать 40ГБ/с для стандартной стойки в 42U. Система также настроена на максимально эффективное использование стандартного оборудования путем распараллеливания всех операций ввода-вывода.
Высокая производительность СХД RAIDIX достигается в том числе при использовании конфигураций RAID 7.3 и RAID N+M на операциях чтения и записи и поддерживается в режиме отказа накопителей и при реконструкции массивов.
Жесткие требования к целостности данных
Частичная потеря информации при сохранении видеоданных может привести к потере всего записываемого видеопотока. Использование патентованных алгоритмов расчетов RAID, в частности уникального уровня RAID 7.3, позволяет добиться рекордной скорости и надежности хранения данных. Массив остается работоспособным при выходе из строя до 3-х дисков в группе без потери производительности.
Отказоустойчивость при записи информации, исключающая потерю кадров видеопотока
СХД обеспечивает полную отказоустойчивость при выходе из строя дисков или дисковой полки, наличии скрытых ошибок на секторах диска, отказе контроллеров СХД или их компонентов и под воздействием человеческого фактора. Решения RAIDIX не имеют единой точки отказа и обеспечивают уровень доступности не ниже 99,999%.
Повышенные требования к ресурсам СХД и медиасерверов для работы аналитического ПО
Технология упреждающей реконструкции RAIDIX позволяет СХД поддерживать заданную скорость передачи данных даже в режиме деградации массива при перестроении RAID. Процесс реконструкции массива не сказывается на работе других дисков и общей производительности системы. СХД RAIDIX может постоянно отслеживать 1/2048-ю часть диска и восстанавливать только поврежденные данные «на лету». При этом приоритет процесса восстановления данных может также настраиваться в реальном времени.
Использование стандартных аппаратных ресурсов x64 и шасси высокой плотности позволяет СХД на базе RAIDIX достичь минимальной на рынке стоимости владения системой (ТСО), а также стоимости 1 ГБ и IOps. Cтандартное оборудование позволяет гибко подобрать оптимальную конфигурацию для построения высокоскоростной отказоустойчивой СХД для нужд видеонаблюдения.
Кроме того, «Рэйдикс» предлагает гибкие решения, соответствующие конкретному количеству камер и нагрузкам, — без необходимости использования дорогостоящих систем, функционал и емкость которых превосходят реальные нужды заказчика.
Технические характеристики системы хранения
| Поддерживаемые уровни RAID | RAID 0/5/6/7.3/10/N+M |
| Максимальное количество дисков в RAID | 64 |
| Максимальное количество дисков в системе | 600 |
| Квант масштабирования | 12 дисков |
| Поддержка hot spare («горячей замены») | Выделенные резервные диски и диски общего доступа |
| Максимальный размер LUN | Ограничений нет |
| Максимальное количество LUN | 487 |
| iSCSI | MPIO, ACLs, CHAP-авторизация, маскирование LUN, СRC Digest |
| Поддерживаемое количество сессий | 1024 |
| Максимальное количество хостов при прямом подключении (в зависимости от аппаратной платформы) | 32 |
| Поддерживаемые операционные системы | Mас OS Х 10.6.8 и выше, Microsoft® Windows® Server 2008/ 2008 R2/ 2012, Microsoft ® Windows® XP/Vista/7/8; Red Hat Linux, SuSE, ALT Linux, Cent OS Linux, Ubuntu Linux; Solaris 10 |
| Поддерживаемые платформы виртуализации | VMware ESX 3.5/4.0/4.1/5.0/5.1/5.5/6.0; KVM (Kernel-based Virtual Machine); RHEV (Red Hat Enterprise Virtualization), Microsoft Hyper-V Server, XenServer |
| Поддерживаемые протоколы SAN | Fibre Channel 8Гб, 16Гб; InfiniBand (FDR, QDR, DDR, EDR); iSCSI; 12G SAS |
| Поддерживаемые протоколы NAS | SMB, NFS, FTP, AFP |
| Интеграция с MS Active Directory | Да |
| WORM (Write Once – Read Many) | Да |
| Количество узлов | 2 в режиме Active/Active |
| Кэширование данных | Двухуровневое: RAM и Flash WriteBack и ReadAhead для множества потоков |
| Поддержка QoS | На уровне хостов и приложений |
Результаты для бизнеса
На современном аппаратном обеспечении и программных СХД RAIDIX можно успешно строить эффективные хранилища данных для больших систем видеонаблюдения, которые смогут обеспечить высокую плотность размещения и объёмы до нескольких петабайт на одну СХД и гарантировать высокую производительность и отказоустойчивость за разумные деньги.Среди ключевых решения RAIDIX преимуществ для бизнеса:
- Уровень доступности данных выше, чем у конкурентов, на 73%; стоимость хранения на 31% ниже среднерыночных показателей
- Поддержка необходимых объемов хранимой информации — сотен терабайт и петабайт данных — при низкой стоимости владения
- Гибкая масштабируемость при увеличении объемов данных. Путем добавления новых дисковых полок и контроллеров, без остановки процессов ввода-вывода и прозрачно для работающих с СХД приложений.
- Снижение стоимости решения и его обслуживания за счет аппаратной платформы на основе стандартных серверных комплектующих.
Проекты по видеонаблюдению на RAIDIX
На базе RAIDIX были успешно построены инфраструктуры хранения в нескольких крупных проектах по видеонаблюдению. Среди них — крупный российский проект в рамках информационного кластера. Для организации хранилища здесь было использовано 4 двухконтроллерных СХД RAIDIX, на 200 HDD по 6ТБ каждая. СХД на базе RAIDIX используются в инфраструктуре видеонаблюдения Горного университета и международного производителя электроники REDMOND.
Кроме того, счету «Рэйдикс» два крупных проекта по видеонаблюдению в Южной Корее (администрации городов Йонъин и Кванмён). Оба проекта касаются обеспечения безопасности дорожного движения и фиксации нарушений, выполнены в рамках целого города.