RAID 5, 6 или 10: что выбрать для СХД и почему это зависит от дисков

Коротко. Для баз данных, ERP и 1С берут RAID 10, для архивов и бэкапов RAID 6, а RAID 5 на дисках от 8 ТБ не применяют. Штраф на запись у RAID 10, 5 и 6 равен 2, 4 и 6 операциям, из восьми дисков по 8 ТБ полезны 32, 56 и 48 ТБ. Перестроение диска на 16–⁠20 ТБ идёт больше суток, и всё это время RAID 5 беззащитен перед вторым отказом; на SSD RAID 5 допустим.

Какой RAID выбрать для СХД: короткий ответ

Для баз данных, 1С и виртуальных машин — RAID 10. Для файловых шар, архива и резервных копий на HDD от 8 ТБ — RAID 6. RAID 5 — только на SSD или на дисках до 4 ТБ. На СХД Dell PowerVault ME5 и HPE MSA от 12 дисков берут распределённый RAID — ADAPT и MSA-DP+: запасная ёмкость встроена, перестроение идёт в разы быстрее.

Выбор уровня RAID обычно делают по остаточному принципу: берут то, что предложил интегратор или что стояло на прошлом массиве. Между тем именно этот выбор определяет три вещи — сколько полезного места останется от купленных дисков, насколько быстрой будет запись и переживёт ли массив отказ второго накопителя во время перестроения. Разберём по порядку, без формул из учебника, но с цифрами.

Три уровня, которые встречаются на практике

RAID 5 — данные и контрольная сумма распределены по всем дискам, под чётность уходит ёмкость одного накопителя. Из восьми дисков по 8 ТБ полезными останутся 56 ТБ. Массив переживает отказ одного диска.

RAID 6 — то же самое, но чётность двойная: теряется ёмкость двух дисков, зато массив переживает одновременный отказ двух накопителей. Из тех же восьми дисков останется 48 ТБ.

RAID 10 — зеркальные пары, объединённые в страйп. Половина ёмкости уходит на зеркала: из восьми дисков полезны 32 ТБ. Массив переживает отказ одного диска в каждой паре — но не двух дисков одной пары.

Цена записи: почему RAID 10 быстрее

Ключевой параметр, о котором забывают, — штраф на запись. Чтобы записать один блок, контроллер выполняет разное число операций с дисками в зависимости от уровня:

Разница в три раза между RAID 10 и RAID 6 на записи — это не теория, а то, что видно в мониторинге под нагрузкой базы данных или активной виртуализации. На чтении разница между уровнями невелика, поэтому для архивов и файловых хранилищ, где пишут редко, а читают много, штраф записи почти не важен. Для СУБД, VDI и любых нагрузок с интенсивной записью он определяющий.

Главная опасность RAID 5 — перестроение

Когда диск в RAID 5 выходит из строя, массив начинает перестроение на запасной накопитель. Чтобы восстановить данные, контроллер обязан прочитать каждый блок на всех оставшихся дисках. И вот здесь появляются два риска, которые растут вместе с ёмкостью дисков.

Время. Перестроение диска на 16–⁠20 ТБ на нагруженном массиве занимает сутки и более. Всё это время массив работает без избыточности: отказ второго накопителя означает полную потерю данных группы.

Ошибка чтения. У корпоративных дисков есть паспортный параметр — вероятность неисправимой ошибки чтения, обычно один сектор на 10^15 прочитанных бит для NL-SAS и на 10^14 для SATA. При перестроении массива из ёмких дисков объём чтения приближается к этим величинам, и шанс встретить сбойный сектор именно тогда, когда избыточности нет, перестаёт быть теоретическим.

Практический вывод простой: для механических дисков от 8 ТБ и выше RAID 5 не применяют. Стандартом стал RAID 6 или его вендорские аналоги с двойной чётностью, а для критичных нагрузок — RAID 10.

Флеш меняет расклад

С твердотельными накопителями арифметика другая. Перестроение SSD идёт в разы быстрее — здесь нет механики и время доступа не зависит от расположения данных. Соответственно, окно уязвимости короче, и RAID 5 на SSD уже не выглядит безрассудством, особенно на дисках умеренного объёма.

Но появляется другая забота — ресурс записи. Штраф записи RAID 5 и RAID 6 означает, что на накопители ложится больше физических операций, чем приходит от приложения. Для дисков с низким ресурсом перезаписи (read-intensive) это сокращает срок службы. Поэтому под нагрузку с интенсивной записью берут либо накопители с повышенным ресурсом, либо RAID 10 с его минимальным штрафом.

Отдельная история — современные массивы, которые вообще не предлагают классических уровней. У флеш-систем вроде Dell PowerStore защита реализована распределённой схемой на уровне пула: запасное пространство размазано по всем накопителям, и перестроение идёт параллельно на все диски, а не на один запасной. Это резко сокращает время восстановления. Настраивать уровень вручную там не нужно и не получится — платформа делает это сама.

Что выбирать под конкретную задачу

Файловый архив, видеонаблюдение, резервные копии на ёмких дисках. RAID 6. Записей мало, ёмкость важна, отказ двух дисков за время перестроения — реальный сценарий. На массивах вроде PowerVault ME5012 или HPE MSA 1060 с дисками LFF это выбор по умолчанию.

Базы данных, ERP, 1С с активной записью. RAID 10. Половина ёмкости — плата за предсказуемую задержку и минимальный штраф записи. Попытка сэкономить на RAID 5 обычно заканчивается тем, что через полгода докупают диски и всё равно перестраивают массив.

Кластер виртуализации со смешанной нагрузкой. Чаще RAID 6 на ёмком уровне плюс RAID 10 или флеш-пул под требовательные машины. Разделение по уровням хранения работает лучше, чем попытка найти один компромиссный уровень для всего.

Всё, что попадает на all-flash NVMe. Схему выбирает сама платформа; задача администратора — правильно оценить требуемую ёмкость с учётом сокращения данных и заложить запасное пространство.

Что ещё влияет на надёжность больше, чем уровень RAID

Запасной диск в конфигурации. Hot spare должен стоять в массиве с первого дня. Перестроение, которое начинается сразу после отказа, и перестроение, которое ждёт неделю доставки диска, — принципиально разные сценарии по риску.

Мониторинг и уведомления. Массив, у которого месяц назад отказал диск, а никто не заметил, — типичная причина потери данных. Настроенная отправка уведомлений на почту стоит нисколько и закрывает основной риск.

Резервные копии. RAID любого уровня защищает от отказа железа, но не от удаления файла, шифровальщика или ошибки администратора. Копии должны лежать на другой системе, а лучше — ещё и на носителе, недоступном на запись из продуктивной сети.

Подобрать конфигурацию массива с расчётом полезной ёмкости под выбранный уровень — напишите нам. Доступные системы хранения смотрите в разделе СХД, а как выбрать саму платформу, разобрано в гайде по выбору СХД.

Подборки и инструменты по теме: Калькулятор RAID, Файловый сервер и сервер резервного копирования, Справочник RAID-контроллеров, Диски и RAID-контроллеры.

Источники

• Dell PowerVault ME5 Storage System Best Practices (H19551) — Dell Technologies
• Dell PowerVault ME5: ADAPT (distributed RAID) — white paper — Dell Technologies
• HPE MSA 1060/2060/2062 Storage Arrays Best Practices (a00105260enw) — HPE

Вопросы и ответы

Можно ли изменить уровень RAID без потери данных?

На части массивов миграция уровней поддерживается, но идёт долго и сильно нагружает систему; на других требуется пересоздание группы с восстановлением из копии. Планировать уровень нужно до закупки дисков — переделка обходится дороже, чем изначально взятые правильные накопители.

Сколько дисков нужно минимум?

RAID 5 — от трёх накопителей, RAID 6 — от четырёх, RAID 10 — от четырёх и всегда чётное число. На практике имеет смысл считать не минимум, а разумный размер группы: слишком широкие группы на ёмких дисках увеличивают время перестроения и риск.

Что такое запасное пространство вместо запасного диска?

Современные системы вместо выделенного диска резервируют часть ёмкости на всех накопителях. При отказе восстановление идёт параллельно на все оставшиеся диски, а не последовательно на один, и занимает в разы меньше времени. Именно это делает крупные флеш-пулы практичными.