RAID и дисковая подсистема сервера: уровни, отказоустойчивость, контроллеры

Коротко. Уровень RAID выбирается не по вкусу, а по объёму дисков и по типу нагрузки. Для баз данных и 1С — RAID 10, для архивов и ёмких дисков — RAID 6, для больших массивов — RAID 60. RAID 5 на дисках от 4 ТБ не собирают: восстановление одного диска на 16 ТБ занимает около 49 часов, и всё это время массив живёт без избыточности. RAID 4 сегодня не применяют — выделенный диск чётности становится узким местом при записи. И главное: RAID защищает от отказа диска и ни от чего больше — резервная копия нужна отдельно.

Какой уровень выбрать именно для СХД — таблица по задачам и распределённый RAID Dell ADAPT и HPE MSA-DP+ — в статье «RAID 5, 6 или 10: что выбрать для СХД».

Быстрый переход: уровни RAID · RAID 4 против RAID 5 · сколько дисков можно потерять · почему RAID 5 на больших дисках опасен · арифметика полезной ёмкости · RAID — не резервная копия · контроллер: RAID или HBA · кэш и защита питания · SSD, NVMe, HDD · запасной диск · каталог с ценами · вопросы и ответы

Дисковая подсистема — самое частое узкое место сервера и одновременно место, где ошибка конфигурации приводит не к замедлению, а к потере данных. Разбираем уровни RAID, арифметику ёмкости и восстановления, выбор контроллера и типичные заблуждения.

Уровни RAID: что применять и когда

Простое правило для выбора: если нагрузка — это запись мелкими блоками (база данных, 1С, почтовый сервер), берите RAID 10 и не экономьте на дисках. Если нагрузка — последовательное чтение и хранение больших файлов, берите RAID 6 и экономьте на числе дисков.

RAID 4 против RAID 5: почему четвёртого уровня нет в конфигураторах

Разница между ними ровно одна — где лежит чётность. В RAID 4 под неё выделен отдельный диск, в RAID 5 блоки чётности распределены по всем дискам массива.

Последствие принципиальное. Любая запись в RAID меняет и данные, и чётность. В RAID 4 каждая операция записи, в какой бы диск она ни шла, обязана обновить один и тот же диск чётности — и он мгновенно становится узким местом: остальные диски простаивают, массив работает со скоростью одного накопителя. В RAID 5 чётность размазана по всем дискам, нагрузка распределяется, и на записи массив получается быстрее при той же избыточности и той же полезной ёмкости.

Поэтому в серверных контроллерах RAID 4 не предлагается: при равных потерях ёмкости он проигрывает по скорости. Единственное место, где схема с выделенной чётностью жива, — специализированные файловые системы вроде WAFL у NetApp, где недостаток компенсируется журналированием записи и энергонезависимой памятью. В обычном сервере с контроллером Smart Array или PERC выбор между 4 и 5 не стоит: берётся 5, а на ёмких дисках — 6.

Отказоустойчивость на цифрах: сколько дисков можно потерять

Формулировка «переживает отказ диска» без уточнения, какого именно, вводит в заблуждение. Правильная формулировка такая:

• RAID 5 — любой один диск. Второй отказ до окончания восстановления означает полную потерю массива.
• RAID 6 — любые два диска. Это принципиально другой уровень защиты: массив переживает отказ второго диска именно тогда, когда он наиболее вероятен, — во время восстановления первого.
• RAID 10 — по одному диску в каждой зеркальной паре. В массиве из восьми дисков может отказать до четырёх — если они из разных пар. Но два диска одной пары убивают массив целиком, так что «выдерживает четыре отказа» — это лотерея, а не гарантия.
• RAID 50 — по одному диску в каждой группе RAID 5. Массив из двух групп по четыре диска переживёт два отказа в разных группах и не переживёт два отказа в одной.
• RAID 60 — по два диска в каждой группе. Самая устойчивая схема для массивов на десятки ёмких дисков.

Практический смысл RAID 50 и 60 не в отказоустойчивости как таковой, а в скорости восстановления: при отказе диска пересчитывается только его группа, а не весь массив. На двадцати дисках это разница между сутками и неделей в деградированном состоянии.

Почему RAID 5 на больших дисках — плохая идея

При отказе диска массив начинает восстановление на запасной, и это не мгновенная операция. Диск на 16 ТБ при реальной скорости восстановления около 90 МБ/с под рабочей нагрузкой пересчитывается примерно 49 часов — почти двое суток, в течение которых массив живёт без какой-либо избыточности.

Хуже другое. Чтобы восстановить один диск, контроллер обязан прочитать целиком все остальные: в массиве из 8 дисков по 16 ТБ это 112 ТБ непрерывного чтения. У корпоративных SAS-дисков паспортная вероятность невосстановимой ошибки чтения — одна на 10¹⁵ бит, то есть примерно на каждые 125 ТБ прочитанного. У SATA-накопителей потребительского класса — на порядок хуже, одна на 10¹⁴ бит, около 12,5 ТБ. Сопоставьте с 112 ТБ, которые нужно прочитать, — и станет видно, что для SATA восстановление RAID 5 на таких объёмах почти гарантированно упрётся в ошибку чтения, а это либо потеря массива, либо потеря части данных.

Добавьте к этому, что диски в сервере обычно из одной партии и с одинаковой наработкой: если один отказал по износу, остальные подошли к тому же порогу. Поэтому для дисков большого объёма используется RAID 6 — второй диск чётности стоит дешевле восстановления данных из резервной копии, если она вообще есть.

Арифметика полезной ёмкости

Считаем на 8 дисках WD Ultrastar DC HC550 16 ТБ SAS по 5 031 764 сум — 40 254 112 сум за комплект:

• RAID 6 — полезно 96 ТБ. Два диска уходят под чётность; выдерживает два отказа. Рабочий вариант для файлового хранилища и резервных копий.
• RAID 10 — полезно 64 ТБ. Половина ёмкости уходит на зеркала, зато запись быстрее в разы и восстановление занимает часы, а не сутки: копируется один диск, а не пересчитывается весь массив.
• RAID 5 — формально 112 ТБ, то есть на 16 ТБ больше, чем RAID 6. Ровно эти 16 ТБ и есть цена риска, о котором выше. На таких дисках их не берут.

И отдельно про «полезно» — это ёмкость до форматирования. Файловая система, снимки состояния и служебные области заберут ещё несколько процентов, а заполнять массив под завязку нельзя: на заполнении выше 80–⁠85 % падает скорость и усложняется восстановление. Планируйте с запасом.

RAID — это не резервное копирование

Заблуждение, которое регулярно приводит к потерям. RAID защищает от физического отказа диска и больше ни от чего. Он не спасёт от:

• удаления файлов пользователем или ошибки администратора;
• шифровальщика — данные будут аккуратно зашифрованы на всех дисках массива одновременно;
• повреждения файловой системы или базы;
• отказа контроллера, пожара, кражи сервера.

Резервная копия должна храниться вне этого сервера, и как минимум одна её копия — вне доступа с продуктивной сети, чтобы её не зашифровали вместе с оригиналом.

Контроллер: RAID или HBA

• Режим RAID — контроллер собирает массив и отдаёт операционной системе один том. Классический сценарий для отдельно стоящего сервера. Примеры: Dell PERC H730 (5 750 588 сум), HPE Smart Array MR416i-a (8 625 882 сум).
• Режим HBA (pass-through) — контроллер отдаёт диски системе напрямую. Нужен для программно-определяемых хранилищ и гиперконвергентных кластеров, которые сами управляют избыточностью: Ceph, vSAN, Storage Spaces Direct, ZFS. Аппаратный RAID под такими решениями не просто не нужен, а вреден — он прячет от системы состояние дисков. Подойдут HPE Smart Array E208i-a (5 750 588 сум) или Dell PERC H345 (4 312 941 сум).

Определитесь с режимом до заказа: не все контроллеры одинаково хорошо работают в обоих. Расшифровка номеров моделей — в справочнике по контроллерам PERC и Smart Array.

Отдельная тема — число дисков. Контроллер с восемью линиями адресует восемь дисков напрямую; чтобы подключить двадцать четыре, нужен бэкплейн с экспандером или отдельная плата-экспандер (7 188 235 сум).

Кэш и защита питания

Контроллеры с кэшем на запись дают существенный прирост производительности, но требуют батареи или суперконденсатора. Без защиты питания кэша отключение электричества означает потерю данных, находившихся в кэше на момент сбоя, — с высокой вероятностью повреждения базы.

Здесь же лежит причина самой частой «необъяснимой» деградации: через три-четыре года батарея теряет ёмкость, контроллер самостоятельно переключает кэш в режим сквозной записи, и сервер начинает работать в несколько раз медленнее. В журнале при этом нет ни одной ошибки — есть только запись о состоянии модуля питания кэша. Если «сервер внезапно стал медленным» и ничего не меняли — проверяйте батарею первым делом.

SSD, NVMe, HDD — что куда

• NVMe — базы данных, нагруженные приложения, кэш-уровень хранилища. Пример: Micron 7400 Pro 1,92 ТБ U.3 — 4 312 941 сум.
• SAS/SATA SSD — виртуализация, универсальные задачи, системные тома. Пример: Intel D3-S4520 7,68 ТБ — 10 782 352 сум.
• HDD — архивы, резервные копии, файловые хранилища с большим объёмом и невысокой активностью. Здесь стоимость за терабайт по-прежнему решает: WD Ultrastar 22 ТБ SAS обходится в 8 625 882 сум, то есть заметно дешевле за терабайт, чем любой SSD.

Смешивать в одном массиве диски разного типа, объёма и скорости вращения нельзя: контроллер выровняет весь массив по худшему диску. Под систему и гипервизор правильнее выделить отдельную пару — например, загрузочный модуль HPE NS204i-p (10 063 529 сум) или Dell BOSS (7 907 058 сум), — чтобы не занимать дисковые отсеки.

Запасной диск

Диск на замену должен быть на площадке до отказа, а не заказываться после. Варианты:

• Горячий резерв (hot spare). Диск стоит в корзине, раскручен и ждёт. При отказе восстановление начинается автоматически, без участия человека, — на удалённой площадке это единственный разумный вариант.
• Глобальный резерв. Один запасной диск обслуживает несколько массивов одного контроллера. Экономит отсек, но если массивов много, риск получить два отказа на один запасной — реальный.
• Холодный резерв. Диск лежит на полке. Дешевле, но восстановление начнётся только после того, как кто-то приедет и вставит его. Для сервера в другом городе это плюс сутки к времени без избыточности.

Запасной диск берётся той же модели и той же ёмкости, что и диски массива. Диск большего объёма подойдёт, но лишняя ёмкость будет потеряна; диск меньшего объёма контроллер просто не примет.

Контроллеры и диски в каталоге

Что проверить перед сборкой массива

• Тип нагрузки: запись мелкими блоками — RAID 10; последовательное чтение и хранение — RAID 6.
• Объём одного диска: от 4 ТБ и выше RAID 5 не рассматривается.
• Есть ли запасной диск на площадке и какой он — горячий или холодный.
• Состояние батареи или суперконденсатора контроллера, особенно если серверу больше трёх лет.
• Режим контроллера: RAID или HBA — под программное хранилище нужен второй.
• Отдельный том под систему, чтобы гипервизор не занимал отсеки массива.
• Куда и как часто уезжает резервная копия — и проверялось ли восстановление из неё.
• Заполнение массива: планировать не выше 80 % от полезной ёмкости.

Соберём дисковую подсистему под задачу: посчитаем полезную ёмкость, подберём уровень RAID, контроллер с нужным кэшем и диски с правильным запасом. Напишите нам; диски и контроллеры с ценами — здесь.

Вопросы и ответы

Чем RAID 4 отличается от RAID 5?

Расположением чётности. В RAID 4 она целиком лежит на одном выделенном диске, в RAID 5 распределена по всем дискам массива. Полезная ёмкость и отказоустойчивость у них одинаковые — один диск, — но в RAID 4 диск чётности обновляется при каждой записи и становится узким местом, поэтому на практике применяется RAID 5.

Что такое RAID 5 простыми словами?

Массив из трёх и более дисков, где данные распределены по всем дискам, а вместе с ними — контрольные суммы, позволяющие восстановить содержимое любого одного выбывшего диска. Полезная ёмкость равна суммарной за вычетом одного диска. Плата за экономию — долгое восстановление и полная потеря массива при отказе второго диска до его окончания.

Насколько RAID 50 отказоустойчив?

RAID 50 — это чередование по нескольким группам RAID 5. В каждой группе может отказать один диск; два отказа в разных группах массив переживёт, два в одной — нет. Главный выигрыш не в отказоустойчивости, а в том, что при отказе пересчитывается только одна группа, и время в деградированном состоянии сокращается в разы по сравнению с широким RAID 5.

Сколько дисков нужно для RAID 6?

Минимум четыре, разумный минимум — шесть. На четырёх дисках под чётность уходит половина ёмкости, и по соотношению «ёмкость — скорость» выгоднее RAID 10. Смысл RAID 6 появляется на шести дисках и более, где доля потерь на чётность снижается.

Какой размер блока чередования выбрать?

Значение по умолчанию контроллера (обычно 64–⁠256 КБ) подходит большинству задач. Меньший блок выгоден базам данных с мелкими случайными операциями, больший — потоковой записи видео и архивов. Менять его имеет смысл только при измеренной проблеме: после создания массива размер блока не меняется без пересборки.

Можно ли поставить в массив диски разного объёма?

Технически да, но контроллер использует от каждого диска объём наименьшего — разница будет потеряна. Смешивать диски разной скорости вращения или разного типа (SSD и HDD) в одном массиве не следует: производительность выровняется по худшему.