Компания Sandisk сделала важный шаг, открыв исходный код ключевого алгоритма SPRandom, который способен значительно ускорить процесс предварительной подготовки твердотельных накопителей (SSD). Эта инновация сокращает время подготовки дисков до 95%, переводя её из нескольких дней всего в несколько часов, и достигает стабильной производительности за одну полную запись на накопитель. Такое решение является прорывом для центров обработки данных и сферы искусственного интеллекта, предлагая операторам гипермасштабируемых систем значительно более быстрые варианты развертывания.
Алгоритм SanDisk Pseudo Random (SPRandom) уменьшает время, необходимое для подготовки накопителя к стабильному режиму работы, с более чем 160 часов до примерно 6,5 часов. Традиционные методы предварительной подготовки требуют записи данных в объеме, в два или более раз превышающем общую емкость диска, с использованием как последовательных, так и случайных операций. Новый же алгоритм записывает данные на каждый логический адрес лишь один раз, выполняя весь процесс менее чем за пять процентов от первоначального времени.
Почему предварительная подготовка SSD важна для центров обработки данных и ИИ
Новые твердотельные накопители «из коробки» демонстрируют нестабильную производительность, пока не пройдут процесс предварительной подготовки (pre-conditioning), который стабилизирует их работу. В ходе этого процесса контроллер заполняет накопитель, запускает сборку мусора, управляет выравниванием износа и распределяет резервные блоки по всей области хранения. Эта фоновая активность должна достичь стабильного состояния, прежде чем производительность операций ввода-вывода накопителя станет предсказуемой и надежной для промышленной эксплуатации.
Традиционная предварительная подготовка накопителя объемом 128 ТБ занимает более 160 часов, или почти семь дней. Технология SPRandom от Sandisk выполняет ту же задачу всего за 6,5 часов. Для накопителя объемом 256 ТБ обычные методы требуют до 250 часов (примерно 10,5 дней), в то время как SPRandom вновь справляется за те же 6,5 часов. Эти данные показывают, что SPRandom сокращает время предварительной подготовки от 95% до 97,4%.
Алгоритм SPRandom делит накопитель на перекрывающиеся секции, при этом степень перекрытия соответствует ожидаемому объему резервирования для каждой секции. По мере увеличения физических адресов объем резервирования постепенно уменьшается по всему диску. Математический аппарат SPRandom рассчитывает распределение резервирования после предварительной подготовки, гарантируя достижение стабильной производительности за один проход физической записи на диск. Sandisk выпустила код SPRandom в качестве расширения для инструмента FIO (Flexible IO Tester), сделав его свободно доступным для всей индустрии хранения данных.
Значение для ИИ, но не для игровых ПК
Операторы гипермасштабируемых центров обработки данных и инфраструктур ИИ приобретают SSD в огромных количествах, и им необходимо максимально быстро вводить их в эксплуатацию. Сокращение времени предварительной подготовки более чем на 150 часов на каждый диск напрямую ведет к ускорению развертывания и снижению операционных расходов для облачных провайдеров.
Нагрузки искусственного интеллекта особенно чувствительны к изменчивости производительности хранилищ, поскольку задачи обучения и инференса требуют стабильного поведения операций ввода-вывода на тысячах параллельно работающих дисков. Однако для обычного игрового ПК с одним диском дополнительная неделя на предварительную подготовку нового SSD просто не имеет значения для конечного пользователя.
Эта технология приносит огромную пользу в масштабах крупных систем, однако рядовой пользователь вряд ли заметит разницу. Решение Sandisk открыть исходный код алгоритма является щедрым шагом, но основными бенефициарами станут операторы центров обработки данных с массивными системами хранения.
Таким образом, новая методика демонстрирует высокую эффективность, обеспечивает реальную экономию времени, и её влияние на инфраструктуру ИИ может быть весьма значительным. Тем не менее, для обычного пользователя игрового ПК это изменение не будет заметно.
