Весь A5X на одном устройстве без GPU-фермы: NVIDIA DGX Spark

В переговорах с ИБ и закупкой всё чаще одна и та же вилка. Минуты звонков в чужой SaaS — нельзя. Регламенты в чужой RAG — тоже нельзя. Смету на GPU-стойку «на этаж» — не утвердят. Вопрос простой: что ставить в периметр, если не ждать полгода enterprise-проекта.

Классический ответ всё ещё «либо общее облако, либо полный on-prem со своей фермой». На практике есть третий контур — компактный локальный стек: одно устройство класса персонального ИИ-суперкомпьютера, на котором крутится не «железяка под ASR», а линейка — транскрибация и аналитика коммуникаций, LLM с RAG-ассистентом и база знаний. Данные не уезжают во внешнюю среду, GPU-ферму строить не нужно.

Речь про NVIDIA DGX Spark (суперчип GB10 Grace Blackwell, 128 ГБ, компактный настольный форм-фактор). Ниже — разбор: что имеет смысл ставить на такой узел, как стыкуются Speech / LLM / база знаний, где потолок. Спеки — ориентиры производителя на 2025–2026. Не оферта и не юрконсультация.

В чём ложная развилка «облако или on-prem»?

1. Общее облако (SaaS) — быстрый старт, оплата по факту; аудио, тексты и документы обрабатывает подрядчик (даже в ЦОД в РФ — внешний контур).
2. Полный on-prem — максимум контроля; нужны GPU, стойки, люди на обновления и ёмкость «на вырост».

Между ними провал: средний бизнес уже не хочет гнать звонки и регламенты в multi-tenant пул, но ещё не готов к проекту уровня крупного КЦ на полгода. В итоге либо тянут облако «временно», либо замораживают и аналитику звонков, и внутреннего ассистента.

Что такое NVIDIA DGX Spark?

• Компактная платформа «персонального ИИ-суперкомпьютера» на GB10 (Grace Blackwell).
• Объединённая память порядка 128 ГБ — запас по inference для локальных моделей, не только демо-чат.
• Готовый NVIDIA AI software stack — не «голая видеокарта в корпусе».

Для заказчика важны не гонки бенчмарков, а три свойства: ASR + LLM локально на одном узле; форм-фактор одного устройства, а не кластер; установка в свой периметр (VLAN / закрытый сегмент) без GPU-фермы.

Диск, порты и цена зависят от комплектации — сверяйте актуальный паспорт NVIDIA. Дальше говорим о DGX Spark как о классе локального узла под продукт, не о конкретной SKU партнёра.

Какая линейка продуктов имеет смысл на этом железе?

Железо ради железа бесполезно. На локальном стеке обычно собирают связку продуктов, а не один модуль.

ИБ часто закрывает именно RAG-контур: звонки ещё «как-нибудь», а вынести базу знаний в публичный ассистент — красная линия. Без базы знаний «локальный LLM» часто остаётся игрушкой; с базой — рабочий инструмент поддержки и продаж.

1. Звонки → Speech (текст, QC, конспект).
2. Регламенты и FAQ → база знаний → индекс.
3. Сотрудник спрашивает ассистента → RAG по базе (± разрешённый контекст коммуникаций) → ответ в чате.
4. Тот же кабинет и API-привычки, что в облаке — меняется контур, не «другой продукт с нуля».

Как выглядит развёртывание без своей фермы?

1. Зафиксировать требование. «Записи, транскрипты, QC, документы базы знаний и логи RAG не покидают периметр».
2. Выбрать класс контура. SaaS / локальный стек / полный on-prem.
3. Подготовить сеть. IP узла, доступы в кабинет, канал АТС, каталог документов.
4. Развернуть образ. Вендор ставит Speech + LLM/RAG + базу знаний на DGX Spark.
5. Пилот двумя потоками. 15–30 звонков (ASR, диаризация, конспект, QC) и 20–50 документов + 15 типовых вопросов ассистенту.
6. Регламент. Админ узла, обновления, бэкапы, purge по 152-ФЗ, роли доступа к БЗ; DPA/поручение, если подрядчик остаётся в контуре.

Срок «за сутки» реален при готовой сети. Если месяц согласуют VLAN — bottleneck не в GB10.

Чем локальный стек отличается от полного on-prem и от облака?

Правило: не закупайте ферму «на вырост», пока не доказали пользу и на звонках, и на ассистенте по своим документам. Сравнение размещения шире: облако, выделенный контур или свои серверы.

Кому это подходит, а кому — нет?

Какие ограничения назвать до закупки?

1. Одно устройство ≠ бесконечный throughput — считать пик по минутам ASR и по запросам к LLM/RAG.
2. Диск и retention — аудио, транскрипты, файлы БЗ, векторный индекс.
3. Права на базу знаний — локальность не отменяет разграничение.
4. Физдоступ и обновления — как у любого сервера в периметре.
5. 152-ФЗ — и для звонков, и для ПДн в документах БЗ. «У нас в шкафу» ≠ документы и поручение. Подробнее: транскрибация и 152-ФЗ.

Пять вопросов на совещании с ИБ и бизнесом

1. Что нельзя выносить наружу: только аудио, только документы, или оба контура?
2. GPU-стойка в бюджете — или старт на одном устройстве?
3. Кто главные потребители: РОП / ОТК / поддержка с ассистентом / все сразу?
4. Минуты/мес и объём базы знаний сейчас и через год?
5. Кто владелец железа и владелец контента БЗ внутри компании?

Если «нельзя наружу», «фермы нет», «нужны звонки + ассистент по регламентам» — шорт-лист начинается с локального стека на NVIDIA DGX Spark.

Частые вопросы

Где здесь A5X?

На DGX Spark собираем готовый локальный стек линейки: Speech (транскрибация и аналитика), LLM с RAG-ассистентом, база знаний — тот же кабинет и API, что в облаке, данные в периметре. Без своей GPU-фермы и без ожидания полного on-prem.

Узкий SaaS «только для РОПа» на старте часто привычнее. Сильная сторона локального стека — когда политика уже запретила и минуты, и PDF в чужом контуре, а бюджет на ЦОД ещё не открыт. Расчёт и запрос — тарифы.

Что сделать на этой неделе вместо сметы на стойку

1. Одной фразой: что запрещено выносить — звонки / документы / оба.
2. Оцените минуты/мес и объём базы знаний (хотя бы число файлов).
3. Пилот Speech: 15 звонков (ASR, диаризация, конспект, QC).
4. Пилот RAG: 20–50 документов + 15 вопросов «как в жизни поддержки».
5. Спросите вендора: сервисы на устройстве, куда пишутся записи и индекс, purge, обновления, потолок concurrency.
6. Сравните смету «DGX Spark + продукт» со сметой «серверы + GPU + полгода» и с «двумя SaaS (звонки + бот)».