• Генеративная модель встроена в рендер как пост-узел: рендер → апскейл или ControlNet
  • Инференс вынесен в облачный API, чтобы в 2024 аддон работал на любом железе
  • Облачная зависимость устарела за два года, паттерн рендер-как-условие остался

Задача

В начале 2024 года генеративные модели уже давали убедительную картинку, но жили в отдельных приложениях: веб-интерфейс, ComfyUI, ноутбук с кодом. 3D-художник рендерил сцену, сохранял кадр, нёс его в другую программу, писал промпт, возвращался. Каждый круг «рендер → генерация → оценка» стоил минут ручной работы, и на десятом варианте эксперимент умирал.

Индустрия при этом сопротивлялась: «отраслевой стандарт» звучал как аргумент против любого нового шага в пайплайне. Мне хотелось проверить обратное: что генеративная модель может быть не отдельным инструментом, а обычным узлом после рендера, таким же прозрачным, как денойзер или цветокоррекция.

flowchart TB
    subgraph B[Раньше: минуты на каждый круг]
        direction LR
        B1[Рендер<br/>в Blender] --> B2[Кадр в другую<br/>программу] --> B3[Промпт,<br/>генерация] --> B4[Возврат<br/>в Blender]
    end
    subgraph A[Гипотеза: узел после рендера]
        direction LR
        A1[Рендер<br/>в Blender] --> A2[Генеративный<br/>узел] --> A3[Кадр<br/>в Blender]
    end
    B ~~~ A

Метод

Нейро Рендер — это аддон для Blender, который перехватывает результат рендера и отправляет его в генеративную модель, не выходя из программы. Два режима:

  • Апскейл и улучшение. Кадр уходит в Clarity Upscaler и возвращается с большим разрешением и дорисованной детализацией. Полезно, когда рендер сделан быстро и грубо.
  • Генерация по рендеру через ControlNet. Рендер становится управляющим сигналом (глубина, контуры, нормали), промпт задаёт материалы, свет и стиль. Геометрия и камера остаются из сцены, остальное — дорисовывает модель.
flowchart LR
    R[Рендер<br/>в Blender] --> M{Режим}
    M -->|апскейл| U[Clarity Upscaler:<br/>разрешение, детали]
    M -->|ControlNet| C[Глубина, контуры,<br/>нормали + промпт]
    C --> G[Геометрия из сцены,<br/>материалы от модели]
Blender AI Render
Blender AI Render

Инференс вынесен в API Replicate. В 2024 это было решение о доступности, а не об архитектуре: локальный запуск SD-моделей с ControlNet требовал видеокарты, которой у большинства художников не было, а облако давало любую модель на любом ноутбуке. Аддон поддерживал разные модели Stable Diffusion и типы контроля, тайлинг для больших кадров, даунскейл перед отправкой и пользовательские LoRA.

Blender AI Render Example Workflow
Blender AI Render Example Workflow

Три применения, которые оправдали себя на практике.

Превиз. Вместо часов на подбор света и текстур сцена рендерится в базовом виде, а модель доводит её до целевого настроения. Итоговый вид виден до того, как в него вложены дни.

Blender Pre-Visualization AI Render
Blender Pre-Visualization AI Render

Блокинг. Сцена из серых боксов с одним промптом даёт полноценную картинку. Меняя параметры, можно перебрать десяток вариантов компоновки, не смоделировав ни одной детали.

Proof of Concept AI Render in Blender
Proof of Concept AI Render in Blender

Арт-вариации. Один и тот же рендер переосмысляется в десятках стилей, от лёгкого сдвига материалов до полного искажения реальности. Для художника это способ найти направление, которое сам бы не сформулировал.

Blender AI Render Screenshot
Blender AI Render Screenshot
Blender AI Upscale
Blender AI Upscale

Где ломается

  • Облачная зависимость устарела. Flux и SDXL уверенно работают на потребительском железе, и API-провайдер больше не несущая часть. Сегодня инференс должен быть локальным по умолчанию, облако — опцией.
  • Модели поколения SD 1.5 устарели вместе с ним. Тогдашние ControlNet теряли мелкую геометрию и путали материалы; современные модели держат структуру заметно лучше, но код аддона к ним не адаптирован.
  • Идентичность не наследуется. Генеративный шаг переизобретал персонажа и предметы, а не сохранял их. Сейчас перед апскейлером я бы поставил проход с типизированными референсами (см. Типизированные референсы), чтобы модель получала identity и материалы явно.
  • Один кадр. Аддон работал покадрово; последовательность кадров расползалась по стилю. Для анимации нужна временная консистентность, которой в 2024 не было.
flowchart TB
    subgraph O[2024]
        direction LR
        O1[Рендер] --> O2[Облако Replicate:<br/>SD 1.5, ControlNet] --> O3[Кадр]
    end
    subgraph N[Сегодня]
        direction LR
        N1[Рендер] --> N2[Типизированные<br/>референсы] --> N3[Локальный<br/>инференс] --> N4[Кадр]
    end
    O ~~~ N

Обновление, сентябрь 2026. Покадровое ограничение из списка выше в работе обошли с другой стороны: Blender сменил роль с рендера на разметку движения. В рекламных проектах 2025–2026 для динамичных шотов вырезанный живой план ставился на простую 3D-геометрию, и плейбласт, быстрый черновой вывод из вьюпорта, задавал камеру и темп. По нему видеомодель генерировала финальный пролёт и достраивала свет и окружение. Это тот же паттерн «рендер как условие», только условием теперь служит не кадр, а движение камеры.

Итог

  • Паттерн «генеративный шаг как узел рендер-пайплайна» пережил свою реализацию: рендер как условие, генерация — как пост-обработка.
  • Устарели транспорт (облако) и модели — не устарела точка встраивания.
  • Превиз и блокинг остаются самыми честными применениями: там модель ускоряет решение, а не заменяет его.
  • Код открыт: Neural-Render на GitHub. Обновить его под локальный инференс и современные ControlNet может любой.

© Александр Никулин. Цитирование — с указанием автора и ссылкой · Версия для LLM