Что вы делаете, когда ваше сердце и ваша карьера лавируют между искусством и технологией?Конечно, вы создаете эпизод мечты для фильма написанного и срежиссированного Кристен Стюарт.
Когда я рос, мои родители лелеяли мою склонность к инженерии и науке. Они также познакомили меня с Звездными войнами и другими фильмами. Я отчаянно хотел принимать художественно участие в таких фильмах, но я не мог выяснить, как туда попасть.
Такая возможность появилась несколько лет спустя, когда моя докторская степень в строительстве хирургических симуляторов позволила мне сделать шаг в сторону фильма, где компьютерное моделирование физических явлений становилось реальностью. Я попал в Industrial Light &Magic и оживил свою мечту делать инструменты для создания фантастических миров (включая Звездные войны!).
Я узнал, что науку можно направлять в работе над определенной историей; мы можем строить инструменты, чтобы помочь художникам проявить себя в совершенно новых направлениях.
НОВЫЙ ИНСТРУМЕНТ
Спустя годы после моего периода службы в ILM, при работе вместе с Фликр исследованием и командами машинного видения, мой друг и коллега Фрэнк Луи подтолкнул меня к методике настройки искусственного интеллекта мир в огне: Нейронный Стиль Передачи, которая использует нейронные сети, чтобы перерисовать изображение в стиле, например, существующей методики рисования.
Вот то, как это работает в общих чертах: одно изображение предоставляет содержание и другое изображение предоставляет стиль. Те же нейронные сети расщепляет эти два изображения в маленькие патчи. Сеть передает патчи из изображения стиля в патчи изображения содержания; этот процесс повторяется до тех пор, пока изображение содержания не будет выглядеть как бы перерисованным в стиле изображения стиля. (человеческим языком- пока оригинальная картинка не будет выглядеть как-будто нарисована определенной, например, техникой живоприси. т.е. берете любое фото и задаете стиль живописи и ваше фото стает будто бы нарисовано мазками масляной краски)
Техника зажгла воображение многих. Может ли научить компьютер выразительно рисовать? Это может быть первая искра полностью компьютеризированного творчества? Некоторые художники опасаются, что это может создать прецедент удаления людей из определенных видов художественного творчества.
Я начал возиться с рабочей версией Луи Нейронного Стиля Передачи, пытаясь превратить этот инструмент в управляемый инструмент многократного использования, который художники могли перебирать, чтобы сделать искусство. Сначала я перекроил мрачный, но красивый "Бегущий по лезвию" в стиле картины "Звездная ночь" Ван Гога, столь же яркий, но темные шедевр.Тогда я решил провести эксперимент в другом направлении путем смешивания вместе двух вещей, которые отличались по своей сути — суровая структура 2001 года: "Космическая Одиссея" и красочная, хаотическая выразительность "Алжирских женщин" Пикассо .ГОЛЛИВУД ПОСТУЧАЛСЯ
Я выложил эти экспериментальные онлайн видео и забыл о них, но неделю спустя они распространились с невероятной скоростью в технологических и художественных сферах. Тогда я получил известие от Дэвида Шапиро из Starlight Studios, который сказал, что Кристен Стюарт увидела клип и он ей очень понравился . Она снимала свой первый короткометражный фильм под названием "Приходи Поплавать" и хотела бы использовать эту технологию в нескольких сценах .
"Приходи Поплавать" представляет собой исследование импрессионизма. Кристен буквально расписала концепцию фильма, и наша задача состояла в том, чтобы перерисовать некоторые из ключевых сцен фильма в том же импрессионистическом стиле, как и ее картины.
Картина Кристен
Слева: кадр из "Приходи плавать"; средний: обрезка из импрессионистской картины Стюарт; справа: кадр, перерисованный в стиле импрессионистической живописи с использованием нейронного стиля передачи.
Разработка вида для сцен была сложна. Картина была фактурно сложная и детали текстуры были маленькими. Наша начальная передача стиля использовала низкокачественную фотографию, которая задула светоотражающие выделения краски и пропустила тонкие текстуры. Когда мы вместо этого использовали хорошо освещенную, высококачественную фотографию в качестве изображения стиля, то Нейронный Стиль Передачи более верно запечатлел контрасты, цвета и текстуры оригинальной картины.
Это сравнение демонстрирует, как изображение стиля (сверху) может повлиять на результат (внизу). Слева низкокачественная фотография живописи и получившийся про помощи методики Нейронного Стиля Передачи результат ; справа, высококачественная фотография живописи, которая приносит яркость и оттенки при Нейронном Стиле Передачи.
Как только мы закрепили качество и общее чувство результата, мы должны были подстроить его так, чтобы соответствовать видению Кристен этих сцен. Для этого мы скорректировали один главный параметр: отношение(коэффициент) передачи стиля, которое управляет размером (регулирует размер) блоков текстуры, переданных от изображения стиля (читай стиль рисования картины) до содержательного изображение (читай оригинал фото, на которое накладываются эффекты). Измените размер, и вы создаете изображение, которое выглядит более или менее импрессионистским.
В этом сравнении абстракции, u сопоставление к импрессионистическому свойству
Подробнее о нашем процессе, читайте в
“Введении импрессионизма в жизнь с Нейронным Стилем Передачи в фильме "Приходи поплавать" . Это исследование, которое я, Стюарт и Шапиро написали и намерены представить его на конференции позже в этом году.
ДАВАЙТЕ ПОПЫТАЕМСЯ
Вы, наверное, видели стиль передачи для неподвижных изображений в таких приложениях, как Prisma, Pikazo и Dreamscope. Они основываются на предопределенных стилях, так что ваш творческий вклад ограничен. Я обнаружил, что этот метод был наиболее удовлетворяющим, когда настроил передачу вручную. Артистизм состоял в выборе стиля изображения, эстетических параметров и других переменных....
...
AI (искусственный интеллект) имеет захватывающее будущее в качестве инструмента, помогающего художникам. В то время как есть очевидные приложения для него, чтобы облегчить повторяющиеся творческие работы, мы можем создать новый набор инструментов вокруг выражения изображения с другим изображением — это своего рода перегруженный коллаж...перевод Anisha
Следующий коктейль-вдохновение Каннского кинофестиваля COME SWIM В состав входят виски Johnnie Walker Gold!
