RAIDIX & XSAN. Решение для хранения данных для студий видеомонтажа

В данном техническом сценарии рассматривается применение технологии RAIDIX в сфере постпроизводства видео и медиаиндустрии. Одним из характерных примеров организации ИТ-инфраструктуры в рамках киностудии является использование рабочих машин Apple и файловой системы Apple Xsan. Инженеры «Рэйдикс» предлагают решение, которое обеспечивает одновременный доступ к данным с нескольких монтажных станций и поддерживает стабильно высокую скорость обработки множественных видеопотоков.

В связке с файловой системой Apple Xsan «Рэйдикс» предлагает комплексное решение для хранения данных в медиаиндустрии. В этом документе вы найдете описание типовых задач, рекомендации по оборудованию, метрики производительности и коммерческие результаты использования RAIDIX.

Введение

Среди критических факторов в среде видео постпродакшн следует назвать:

Объем системы хранения данных
Стоимость решения
Производительность
Доступность.

Кластерная файловая система должна обеспечить видеомонтажеру доступ к любому файлу с любой клиентской рабочей станции. Система Xsan предоставляет быстрый доступ к потоковым данным, который необходим для студий видео постпродакшн. В то же время файловая система Apple Xsan предназначена для обмена общими ресурсами между несколькими клиентами.

Сочетание системы хранения данных на базе программного обеспечения RAIDIX и кластерной файловой системы Xsan от компании Apple позволяет достичь требуемых для медиастудий высокой скорости и высокой доступности данных.

Ключ к построению медийных ИТ-систем — в правильном выборе компонентов, надлежащей конфигурации сети и системы хранения данных. В следующих разделах будут представлены рекомендации по оборудованию, архитектуре и настройке решения.

Задачи и решение

Студии постпродакшн в большинстве случаев используют оборудование компании Apple и профессиональный набор программного обеспечения, например, Apple Final Cut Pro, Adobe Premiere Pro, Autodesk Discreet Smoke, DaVinci Resolve и другие.

Постоянно растущий объем информации и использование ресурсоемкого ПО в постпродакшн предполагает растущий спрос на высокопроизводительные СХД с высокой доступностью данных. В то же время современные технологические процессы обработки видеоданных требуют, чтобы одни и те же файлы были доступны одновременно для нескольких монтажных станций, выполняющих различные задачи.

Другие ключевые требования медиастудий включают в себя:

Высокую скорость доступа. Предполагает использование локального хранилища или высокоскоростной доступ к сетевой системе хранения данных.
Распределенный доступ. Предполагает использование файловой системы с одновременным доступом к файлам со множества рабочих станций.

Одновременное решение этих полярных задач удачно реализовано в файловой системе Xsan. Apple Xsan — 64-битная кластерная файловая система Apple для Mac OS X или Mac OS X Server. Система предназначена для организации быстрого доступа к огромным массивам данных. Xsan позволяет совместно использовать файлы и тома размером до 16 ТБ каждый в высокоскоростной оптической сети.

Xsan характеризуется высоким уровнем доступности и почти полным отсутствием сбоев, предоставляя возможность использовать сеть SAN для консолидации данных и замены NAS-устройств.

RAIDIX — программное обеспечение для создания универсальных высокопроизводительных систем хранения данных с использованием стандартных аппаратных компонентов. ПО RAIDIX соответствует высоким требованиям производительности, отказоустойчивости и непрерывности работы за счет использования параллельных вычислений и уникальных математических алгоритмов собственной разработки.

RAIDIX поддерживает одноконтроллерный (задействован один узел) и двухконтроллерный (Active-Active) режимы работы системы. При двухконтроллерном режиме работы оба узла активны, работают одновременно и имеют доступ к единому набору дисков. Под узлами понимаются аппаратно-независимые компоненты системы хранения данных, которые имеют собственные процессоры, кэш-память, материнскую плату и могут быть объединены в кластер.

Далее в документе приведены необходимые элементы инфраструктуры для студий постпродакшн, использующих технологию Apple, и технические показатели. Также даны рекомендации по необходимому оборудованию, подключению и настройке высокоскоростной и высокодоступной системы хранения данных.

Компоненты решения RAIDIX&XSAN

Система хранения данных

В роли СХД выступает одноконтроллерный сервер SM 6048R-E1CR36N с установленным ПО RAIDIX и конфигурацией FC 16Gb + JBOD 847E1C-R1K28JBOD. Система поддерживает SATA, SAS, NL-SAS диски.

Контроллер метаданных

В роли контроллера метаданных (MDC) рекомендуется использовать Apple Mac Mini. Для обеспечения высокой доступности предпочтительнее использовать 2 контроллера метаданных.

Клиентская рабочая станция

В роли клиентских станций рекомендуется использовать Apple Mac Pro сервер.

Fibre Channel/Thunderbolt

Mac mini и Mac Pro не поддерживают FC адаптеры, поэтому для подключения их в SAN-сеть рекомендуется использовать ATTO ThunderLink FC 2082 для Mac Mini и ATTO ThunderLink FC 2162 для Mac Pro.

Распределенная кластерная файловая система Xsan

Позволяет получить одновременный доступ к видеоматериалу с любой рабочей станции. Xsan должна быть предварительно установлена и лицензирована на Apple Mac Mini.

Fiber Channel (FC) коммутатор

При построении решения с небольшим количеством клиентов (до 20) подключение между FC адаптерами осуществляется напрямую от СХД к MDC и клиентам (без FC коммутатора).

Коммутация

Большинство всех компонентов соединены оптоволоконным кабелем с коннекторами LC-LC и подключаются непосредственно в адаптеры ATTO FC системы хранения данных и рабочих станций, FC Thunderbolt, FC коммутаторы (Рис. 1).

Кабель Thunderbolt

Оптические кабели подключаются к FC адаптерам через SFP трансиверы в каждый порт. Большинство FC адаптеров имеют в комплекте поставки SFP трансиверы, однако некоторые коммутаторы поставляются без трансиверов, что необходимо учитывать при закупке оборудования. Единственным исключением в схеме оптической коммутации является соединение между Apple Mac Mini и Fiber Channel Thunderbolt: оно осуществляется с помощью специального кабеля Thunderbolt.

Сервера MDC и все клиентские рабочие станции должны быть объединены ETH каналом (сетью) для метаданных.

Технические показатели

СХД имеет 4 порта Fibre Channel 16 Гбит, общая пропускная способность достигает 6 ГБ/с.

Кроме того, система на базе RAIDIX предоставляет возможность масштабирования как портов подключения, так и пропускной способности.

Архитектура решения

Ниже представлена подробная схема коммутации компонентов, необходимых для построения высокоскоростной и высокодоступной системы хранения данных для медиастудий.

Рисунок 1. Схема коммутации

Рекомендации по настройке СХД

Ниже приведены рекомендации по конфигурированию системы хранения данных для обеспечения высокой производительности и надежности.

Настройка ATTO FC Thunderbolt

На стороне клиентских рабочих станции рекомендуется использовать последние версии прошивки и драйвера. В большинстве случаев рекомендуется использовать настройки по умолчанию для FC Thunderbolt. Все настройки устанавливаются с помощью утилиты ATTO ConfigTool, которую можно загрузить с сайта производителя.

Диски

Рекомендуется использовать диски NL SAS 7K. Эти диски имеют лучшие показатели по стоимости 1 ГБ и обеспечивают высокую плотность и надежность хранения.

Выделенная подсеть Ethernet для MDC

Каждая рабочая станция Apple Mac Pro поставляется минимум с двумя портами Ethernet 1G, встроенными в материнскую плату. Один из этих портов должен быть подключен к изолированной, выделенной для каждого клиента Xsan подсети, и использоваться для первичного трафика метаданных Xsan. Apple Mac Mini, развернутый в качестве контроллера метаданных, имеет один порт Ethernet. Рекомендуемая конфигурация предполагает использовать этот порт в изолированной сети с другими клиентами. Такая конфигурация исключает доступ к Mac Mini за пределами изолированной подсети.

Один том (LUN) в одном RAID массиве

В конфигурации, где важна последовательная пропускная способность, желательно свести к минимуму количество операций поиска по дискам. В связи с этим рекомендуется создавать один том (LUN) на весь размер RAID массива. Кроме того, том Xsan следует создавать из блочных устройств одной системы хранения данных.

Конфигурация RAID-массива

Высокая скорость последовательного доступа и оптимальное использование дискового пространства достигается за счет параллельных вычислений и уникальных математических алгоритмов. Кроме того, в решении используется патентованный RAID-массив 7.3i с тройным распределением четности. Под контрольные суммы выделяется ёмкость трёх дисков, что обусловливает более высокую степень надёжности.

Для обеспечения высокой пропускной способности необходимо создать четыре инициализированных RAID 7.3i массива из 18 дисков каждый (2 массива — диски на узлах хранения; 2 другие массива — диски JBOD’а). Для каждого RAID-массива следует выделить кэш не менее 12 ГБ оперативной памяти. Остальные 8 дисков рекомендуется равномерно распределить в spare pool по 2 диска для каждого RAID массива.

Для тома под метаданные Xsan рекомендуется создать отдельный RAID 10 из двух 2,5” дисков, напрямую подключенных к материнской плате.

Результаты для бизнеса

Внедрение СХД на базе RAIDIX обеспечивает заказчику в медиаиндустрии:

в среднем более 300 суток непрерывной записи в режиме онлайн — до проведения профилактики;
поддержку режимов мультикамерного видеомонтажа;
прозрачный мониторинг.

Использование RAIDIX позволяет одновременно работать с множественными 2К/4К потоками на высоких скоростях и, как следствие, сокращать время подготовки проектов к эфиру в 2–4 раза. Кроме того, ПО RAIDIX обеспечивает неснижаемую производительность СХД даже в случае выхода из строя до 3-х дисков одновременно и устраняет скрытые ошибки на носителях данных.