Nvidia відкриває секрети швидкого доступу до даних: cuFile API та стек зберігання наступного покоління
Під час щорічної конференції Future of Memory and Storage 2026 компанія Nvidia анонсувала амбітні плани щодо випуску з відкритим вихідним кодом свого програмного інтерфейсу cuFile API та побудованого на його основі програмного стеку для зберігання даних. Ці інноваційні технології не перетворять ваші SSD-накопичувачі на додаткову відеопам’ять, як могли припускати деякі джерела, але суттєво пришвидшать обмін інформацією між сховищем та оперативною пам’яттю, мінімізуючи зайве копіювання даних.
Джерело зображення: Nvidia
GPUDirect Storage та cuFile: нова ера прямого доступу
cuFile є ключовим елементом технології Nvidia GPUDirect Storage, яка вже кілька років успішно працює, забезпечуючи прямий шлях передачі даних між локальним або віддаленим сховищем та пам’яттю графічного процесора. Замість традиційного копіювання даних з SSD в системну пам’ять перед їхнім надсиланням на GPU, GPUDirect Storage дозволяє сумісним пристроям зберігання передавати дані безпосередньо в пам’ять GPU за допомогою технології DMA (Direct Memory Access).
Відкритий стек зберігання даних: xio-sig та незалежність від виробника
Nvidia вирішила піти далі, відкривши інтерфейс cuFile та створивши на його базі незалежний від виробника стек зберігання даних. Новий проєкт xio-sig включає чотири основні компоненти: cuFile, cuFileConformance, libxFile та xioLinux. Мета проєкту – забезпечити підтримку реалізацій від різноманітних виробників обладнання, а не обмежувати інтерфейс виключно існуючим стеком Nvidia. Код буде опубліковано після завершення процесу перевірки та інтеграції.
Прискорення обробки даних без перетворення SSD на відеопам’ять
Важливо зазначити, що твердотільний накопичувач не стане повноцінною заміною відеопам’яті. Для обробки даних графічним процесором вони як і раніше повинні знаходитися в його власній пам’яті. Однак, cuFile суттєво прискорює процес переміщення даних між накопичувачем і пам’яттю GPU, усуваючи необхідність їх копіювання через системну пам’ять і центральний процесор у стандартному шляху передачі.
Порівняння з іншими технологіями та майбутнє ШІ-додатків
Представлена технологія має певні паралелі з Microsoft DirectStorage та Nvidia RTX IO, які використовуються в іграх для швидшого завантаження ресурсів з NVMe-сховищ у відеопам’ять з мінімальним залученням процесора. Проте, cuFile є самостійною розробкою, побудованою на основі CUDA та GPUDirect Storage.
Крім того, Nvidia активно працює над моделлю, яка має зробити різницю між сховищем та пам’яттю менш помітною для деяких штучних інтелектуальних додатків. Архітектура SCADA (Scaled Accelerated Data Access) дозволяє потокам GPU ініціювати запити до сховища даних, що особливо корисно для обробки великих наборів даних, які перевищують обсяг локальної пам’яті. Це потенційно дозволить NVMe-сховищам функціонувати як додатковий рівень зберігання даних, розташований поруч із GPU, хоча їхня затримка та пропускна здатність все ще відрізняються від показників пам’яті HBM або GDDR.
Порада від Soft Portal:
Відкриття Nvidia API cuFile та розробка нового стеку зберігання даних відкриває значні перспективи для прискорення роботи додатків, особливо тих, що пов’язані з великими обсягами даних та штучним інтелектом. Користувачі зможуть відчути значно швидший доступ до даних, що позитивно вплине на продуктивність у багатьох сценаріях використання комп’ютера.