Серверы и системы хранения сегодня оперируют десятками, а то и сотнями накопителей. Контроллер, припаянный к материнской плате «для галочки», с такой задачей не справится: он не может адресовать много дисков и поддерживает лишь часть уровней RAID. Между тем без грамотного управления массивом не получится ни обеспечить отказоустойчивость, ни разогнать передачу данных, ни сделать администрирование прозрачным. Поэтому в индустрии появилось отдельное устройство, RAID-контроллер, которое берёт организацию массива на себя и даёт либо скорость, либо надёжность, либо то и другое сразу. Выбрать его непросто: надо понимать разницу между аппаратным и программным RAID, между RAID-контроллером и HBA-адаптером, учитывать типы дисков, нужный уровень отказоустойчивости и бюджет. Ниже разберём, как всё начиналось, из чего устроен контроллер, где у него слабые места, кто делает такие устройства и в каких случаях аппаратный RAID действительно необходим.
Откуда взялся RAID
Отсчёт ведётся с 1987 года, из Калифорнийского университета в Беркли. Дэвид Паттерсон, Гарт Гибсон и Рэнди Катц опубликовали работу «A Case for Redundant Arrays of Inexpensive Disks», где описали, как собрать из нескольких дисков отказоустойчивую систему. Жёсткие диски тогда были ненадёжны и часто выходили из строя, а данные пропадали без шансов на восстановление. Авторы предложили уровни RAID с 1 по 5: несколько физических носителей объединяются в один логический том с большей надёжностью и скоростью.
Вскоре появились и первые контроллеры:
| Год | Контроллер | Что поддерживал |
|---|---|---|
| 1988 | Alpine (Array Technology) | RAID 5 |
| 1989 | Intelligent Drive Array (Compaq, ныне HP) | RAID 1 и 5 |
Сначала RAID был уделом мощных серверов, потом перебрался и в персональные компьютеры. Поколения контроллеров сменяли друг друга, придумывались новые уровни, но базовая идея 1987 года осталась прежней, и это лучшее свидетельство её жизнеспособности.
Устройство аппаратного RAID-контроллера
По сути это полноценный компьютер, заточенный под один класс задач. Его ключевые узлы описаны ниже. Для наглядности стоит вспомнить примеры из практики: устаревший контроллер на чипе LSI SAS3108, Adaptec RAID 5805 или плату с чипом Intel IOP348. Все они устроены по одной схеме.
ROC: процессор контроллера
Сердце платы называется ROC (RAID-on-Chip). Это родственник SoC (System-on-Chip), только целиком посвящённый RAID-функциям. Сегодня почти все ROC строятся на архитектуре Arm, и причина в энергоэффективности: в серверных корпусах охлаждение и без того в дефиците. Но проводить параллели с мобильными процессорами вроде Snapdragon не стоит: архитектура общая, а вся логика на кристалле посвящена управлению данными и дисками.
Некоторые производители присматриваются и к RISC-V. Например, Samsung применяет его в новых сериях контроллеров для SSD. Привлекает свободное лицензирование, так что не исключено, что отрасль со временем сместится в эту сторону.
Так было не всегда:
- Первые ROC делались на процессорах IBM Power, у которых тогда не было альтернатив. Расплатой за производительность стало огромное тепловыделение.
- На закате Power появились ROC на x86 от Intel. Это были сигнальные процессоры, умевшие считать хеши и делить данные на блоки.
- Функциональности x86 не хватило, эпоха x86 в RAID закончилась, и современные ROC полностью перешли на Arm.
Кэш-память
Второй по важности компонент, быстрый буфер между дисками и контроллером. В режиме write-back операционная система считает, что данные уже записаны, хотя они ещё лежат в быстрой, но энергозависимой памяти контроллера. Именно так достигается заметный прирост скорости записи. Объём кэша влияет на производительность в сложных режимах RAID и в топовых моделях доходит до 8 ГБ. Причём там стоит память с ECC, чем во многом и объясняются высокие ценники.
BBU: защита кэша от потери питания
У кэша есть врождённая слабость: он энергозависим. Если питание внезапно пропадёт, всё, что не успело попасть на диски, будет утеряно. От этого защищает модуль резервного питания BBU. Раньше это был литий-ионный аккумулятор, сейчас суперконденсатор. У Broadcom технология называется CacheVault. При аварии энергии конденсатора хватает, чтобы контроллер скопировал содержимое DRAM-кэша во встроенную энергонезависимую флеш-память NAND. Принцип очень похож на модули NVDIMM. Пример такого модуля, Broadcom CacheVault Flash Backup Unit модели FBU345.
Интерфейсы
Контроллер общается с остальной системой через два типа интерфейсов.
- Системный это PCI Express. Современные модели используют PCIe 4.0 или 5.0 в конфигурации x8 или x16.
- Дисковые порты это разъёмы, к которым кабелями подключаются накопители. Они прошли путь от SFF-8087 до SFF-8643 (Mini-SAS HD) и SlimSAS. Самые передовые контроллеры, например серии Broadcom 96xx-97xx, поддерживают Tri-Mode: через одни и те же порты работают диски SAS, SATA и NVMe.
RAID или HBA: в чём разница
Администраторы часто путают эти устройства. Они выглядят почти одинаково, имеют те же разъёмы и встают в те же слоты PCIe. Но разница принципиальная: у HBA, как правило, нет аппаратного кэша, он есть только у RAID-контроллера. HBA строятся на чипах классом проще, и даже если формально умеют какие-то RAID-функции, пользоваться ими не хочется. Стоит включить RAID на HBA, как IOPS резко падают, а задержки становятся непредсказуемыми.
Зато в режиме прямого доступа к дискам (JBOD, или IT-mode) HBA незаменим для программных массивов на ZFS, mdadm и TrueNAS. Задержки на каждом диске стабильны, запросы не переупорядочиваются, а сам адаптер работает как прозрачный мост между PCIe и дисковым интерфейсом.
| Критерий | RAID-контроллер | HBA |
|---|---|---|
| Аппаратный кэш | есть | как правило, нет |
| Сценарий | аппаратный RAID 1, 5, 6, 10 | программный RAID: ZFS, mdadm, TrueNAS |
| Режим JBOD/IT-mode | неудобен, не рекомендуется | основной режим |
| Стоимость | высокая | сравнительно доступная |
Слабые места RAID-контроллеров
Перед покупкой стоит знать о трёх серьёзных минусах.
Нагрев
Несмотря на энергоэффективные Arm-ядра, контроллеры сильно греются. Производитель прописывает в спецификации минимальный объём воздуха, который должен проходить через зону установки, в литрах в минуту на единицу площади. Обычного корпусного вентилятора мало, нужен направленный поток, а радиатор без нагнетающего воздуха почти бесполезен. Мы в «СервакМастер» видели десятки плат с характерным жёлто-коричневым оттенком текстолита, это след хронического перегрева. Чип ROC в штатном режиме может работать при температуре около ста градусов, но при длительной эксплуатации в таком режиме паяные соединения деградируют, контакт между чипом и платой нарушается, и контроллер выходит из строя. В тяжёлых случаях кристалл отходит от подложки.
Цена
Аппаратный RAID заметно дороже HBA. Серверные модели стартуют от нескольких сотен долларов, а топовые варианты с большим кэшем и поддержкой NVMe легко стоят несколько тысяч. Добавляет проблем глобальный дефицит микросхем памяти: на борту до 8 ГБ DRAM, и контроллеры дорожают, тогда как HBA остаются сравнительно доступными.
Предопределённость выбора
Купив аппаратный RAID, вы не сделаете из него мост для программного. Для программного массива нужен именно HBA, а аппаратный контроллер даст непредсказуемые задержки. Кэширование памяти, TrueNAS, RAID-Z2 в такой связке лучше забыть. Брать дорогой контроллер и пытаться превратить его в HBA бессмысленно и неэффективно.
Кто делает контроллеры
Рынок узок. Примерно 90% мирового рынка занимает Broadcom. Линейки MegaRAID и HBA стали стандартом де-факто в корпоративном сегменте. Контроллеры строятся на фирменных чипах ROC и поддерживают все современные интерфейсы: от SAS 12/24 Гбит/с до PCIe 5.0 с NVMe. Чипы MegaRAID проникли в отрасль настолько глубоко, что Dell, Lenovo, Fujitsu, HPE и Supermicro поставляют контроллеры Broadcom под своими брендами, часто лишь меняя прошивку и наклейку на радиаторе. Даже популярные контроллеры HighPoint базируются на чипах Broadcom.
Оставшиеся 10% у Microsemi. Контроллеры Adaptec серии SmartRAID сильны поддержкой широкого спектра недорогих твердотельных накопителей и функциями вроде maxCache и zero-maintenance cache. Доля невелика, но компания удерживает ниши: периферийные системы и бюджетные домашние сборки.
Отдельно стоит Marvell, восходящая звезда. Та самая компания, что заключила стратегический контракт с Nvidia по развитию NVLink. Её ASIC-микросхемы одни из лучших на рынке, контроллеры для SSD тоже на достойном уровне. Marvell активно заходит в тему PCIe-ретаймеров и делает RAID-контроллеры начального уровня. В серьёзных серверных конфигурациях их пока не используют в качестве основных, зато часто распаивают на материнских платах для RAID 1 из пары SATA-дисков под загрузочный том, чтобы повысить надёжность.
Когда без аппаратного RAID не обойтись
- Отказоустойчивость без нагрузки на CPU. Если в сервере HDD/SSD и нужны RAID 1, 5, 6, 10, аппаратный контроллер гораздо лучше справляется со сложными уровнями и подсчётом контрольных сумм, освобождая процессор для основных задач. Надёжность здесь на первом месте, а скорости растут с каждым поколением: для Broadcom MegaRAID 9760W-32i заявлено 14 миллионов IOPS.
- Защита данных в кэше при отключении питания. BBU или CacheVault гарантированно сохраняют содержимое кэша на флеш-память или удерживают его до возвращения питания. Программный RAID через обычный HBA такой гарантии не даёт.
- ОС со слабым программным RAID. Это особенно касается старых версий Windows Server без современных Storage Spaces. К тому же аппаратным массивом удобнее управлять из единой утилиты производителя (например, Adaptec Storage Manager), а настроить его можно ещё на уровне BIOS/UEFI до старта ОС.
- Виртуализация. В VMware ESXi и Hyper-V удобно иметь единый пул дисков, видимый гипервизору, не завися от драйверов гостевых систем. Аппаратный RAID позволяет создать один логический том и поставить гипервизор на него, что упрощает конфигурацию и повышает стабильность.
Что выбрать
RAID-контроллер остаётся незаменимым для классических серверных сценариев, где нужны отказоустойчивость и высокая скорость обмена с дисками. Но «лучшего вообще» тут нет, есть инструмент под конкретную задачу.
- Строите сервер на аппаратном RAID 5 или 6 и нужна защита кэша: берите производительный контроллер Broadcom с CacheVault.
- Разворачиваете программное хранилище на ZFS или TrueNAS: ваш выбор качественный HBA.
- Какой бы вариант ни выбрали, обеспечьте плате достойное охлаждение и следите за температурой ROC. Тогда она прослужит годами.
Выбирайте RAID с умом, а не только по ценнику. Подобрать контроллер, HBA и остальные компоненты под вашу задачу и бюджет поможет «СервакМастер»: посмотрите каталог серверов и AI-серверов или свяжитесь с нами, и мы соберём конфигурацию, готовую к корпоративным задачам с первого дня эксплуатации.