RU2023132864A - Модификация объектов в фильме - Google Patents

Claims (67)

1. Реализуемый компьютером способ обработки видеоданных, содержащих последовательность кадров изображения, причем способ включает в себя:

обособление экземпляра объекта в последовательности кадров изображения;

генерацию, с использованием модели машинного обучения, модифицированного экземпляра объекта; и

модификацию видеоданных для постепенного перехода, на протяжении подпоследовательности упомянутой последовательности кадров изображения, между по меньшей мере частью обособленного экземпляра объекта и соответствующей по меньшей мере частью модифицированного экземпляра объекта.

2. Реализуемый компьютером способ по п. 1, в котором модификация видеоданных включает в себя:

определение значений параметров для искусственной модели объекта, причем первые значения параметров соответствуют обособленному экземпляру объекта;

модификацию первых значений параметров для искусственной модели объекта для определения вторых значений параметров для искусственной модели объекта, причем вторые значения параметров соответствуют модифицированному экземпляру объекта;

инкрементную интерполяцию между первыми значениями параметров и вторыми значениями параметров на протяжении подпоследовательности последовательности кадров изображения для определения тем самым интерполированных значений параметров для искусственной модели объекта;

генерацию, с использованием модели машинного обучения, инкрементно модифицированного экземпляра объекта на основе интерполированных значений параметров;и

замену обособленного экземпляра объекта инкрементно модифицированным экземпляром объекта в подпоследовательности последовательности кадров изображения.

3. Реализуемый компьютером способ по п. 1 или 2, в котором модификация видеоданных включает в себя:

определение данных оптического потока, указывающих, для подпоследовательности последовательности кадров изображения, оцененную деформацию, связывающую экземпляр объекта с модифицированным экземпляром объекта;

инкрементное, на протяжении подпоследовательности последовательности кадров изображения, применение оцененной деформации к экземпляру объекта для определения инкрементно деформированного экземпляра объекта;

инкрементное, на протяжении подпоследовательности последовательности кадров изображения, применение обратной оцененной деформации к модифицированному экземпляру объекта для определения инкрементно деформированного модифицированного экземпляра объекта; и

инкрементное, на протяжении подпоследовательности последовательности кадров изображения, преобразование наплывом инкрементно деформированного первого экземпляра объекта в инкрементно деформированный модифицированный первый экземпляр объекта.

4. Реализуемый компьютером способ по п. 3, в котором:

инкрементный наплыв происходит со скоростью наплыва;

инкрементное применение оцененной деформации и обратной оцененной деформации происходит со скоростью деформации; и

отношение скорости наплыва к скорости деформации увеличивается до максимального значения, а затем уменьшается в пределах подпоследовательности последовательности кадров изображения.

5. Реализуемый компьютером способ по любому из предшествующих пунктов, дополнительно включающий в себя:

определение данных оптического потока, указывающих оцененную деформацию, которая связывает экземпляр объекта с модифицированным экземпляром объекта на протяжении последовательности кадров изображения;

применение оцененной деформации к экземпляру объекта для определения деформированного экземпляра объекта;

размытие деформированного экземпляра объекта; размытие модифицированного экземпляра объекта;

корректировку цветов модифицированного экземпляра объекта на основе попиксельного соотношения размытого деформированного экземпляра объекта и размытого модифицированного экземпляра объекта, чтобы генерировать модифицированный экземпляр объекта с цветовым тонированием; и

обновление модифицированного экземпляра объекта до модифицированного экземпляра объекта с цветовым тонированием перед модификацией видеоданных.

6. Способ по п. 5, в котором каждое из размытия деформированного экземпляра объекта и размытия модифицированного экземпляра объекта выполняют с использованием фильтра размытия с характеристическим масштабом длины от 3 до 20 пикселей.

7. Реализуемый компьютером способ по п. 1, в котором объектом является человеческое лицо.

8. Реализуемый компьютером способ по п. 7, в котором по меньшей мере часть обособленного экземпляра объекта включает в себя рот, но исключает глаза человеческого лица.

9. Реализуемый компьютером способ по любому из предшествующих пунктов, дополнительно включающий в себя:

обнаружение события в последовательности кадров изображения и/или в звуковой дорожке, связанной с последовательностью кадров изображения;

определение одного или более кадров изображения из последовательности кадров изображения, в которых имеет место обнаруженное событие; и

определение подпоследовательности последовательности кадров изображения в зависимости от определенного одного или более кадров изображения, в которых происходит обнаруженное событие.

10. Реализуемый компьютером способ по п. 9, в котором подпоследовательность последовательности кадров изображения определяют так, что подпоследовательность заканчивается до того, как событие произойдет.

11. Реализуемый компьютером способ по п. 9 или 10, в котором объектом является человеческое лицо, а событием является то, что человеческое лицо начинает говорить.

12. Реализуемый компьютером способ по любому из предшествующих пунктов, в котором:

упомянутая подпоследовательность последовательности кадров изображения является первой подпоследовательностью последовательности кадров изображения; и

упомянутая модификация видеоданных заключается в постепенном переходе от по меньшей мере части обособленного экземпляра объекта к соответствующей по меньшей мере части модифицированного экземпляра объекта,

при этом способ включает в себя дальнейшую модификацию видеоданных для постепенного перехода от упомянутой по меньшей мере части модифицированного экземпляра объекта обратно к соответствующей по меньшей мере части обособленного экземпляра объекта на протяжении второй подпоследовательности последовательности кадров изображения.

13. Реализуемый компьютером способ по любому из предшествующих пунктов, в котором генерация модифицированного экземпляра объекта включает в себя:

определение значений параметров искусственной модели объекта с использованием обособленного экземпляра объекта;

модификацию значений параметров искусственной модели объекта; и

рендеринг модифицированного экземпляра объекта с использованием обученной модели машинного обучения и модифицированных значений параметров для искусственной модели объекта.

14. Реализуемый компьютером способ по п. 13, в котором упомянутая последовательность кадров изображения представляет собой первую последовательность кадров изображения, экземпляр объекта является первым экземпляром объекта, а значения параметров для экземпляра объекта являются вторыми значения параметров для второго экземпляра объекта, причем способ дополнительно содержит:

идентификацию соответствующих вторых экземпляров объекта внутри множества вторых последовательностей кадров изображения;

для по меньшей мере некоторых из идентифицированных вторых экземпляров

объекта:

обособление упомянутого второго экземпляра объекта внутри кадров изображения, содержащих упомянутый экземпляр объекта;

определение, с использованием обособленного второго экземпляра объекта, связанных вторых значений параметров для искусственной модели объекта; и

обучение, с использованием обособленного второго экземпляра объекта и связанных вторых значений параметров для искусственной модели объекта, модели машинного обучения для реконструкции обособленного второго экземпляра объекта на основе, по меньшей мере частично, связанных вторых значений параметров для искусственной модели объекта.

15. Компьютерный программный продукт, содержащий инструкции, которые при выполнении программы компьютером заставляют компьютер выполнять способ по любому предыдущему пункту.

16. Носитель данных, хранящий видеоданные, которые содержат:

первую последовательность кадров изображения, содержащую фотографическое изображение объекта;

вторую последовательность кадров изображения, в которой по меньшей мере часть фотографического изображения объекта заменена соответствующей по меньшей мере частью искусственного изображения объекта; и

третью последовательность кадров изображения между первой последовательностью кадров изображения и второй последовательностью кадров изображения, в которой по меньшей мере часть фотографического изображения объекта модифицирована для постепенного перехода между упомянутой по меньшей мере частью фотографического изображения объекта в конце первой последовательности кадров изображения и соответствующей по меньшей мере частью искусственного изображения объекта в начале второй последовательности кадров изображения.

17. Носитель данных по п. 16, в котором искусственное изображение объекта представляет собой искусственное изображение, сгенерированное с использованием нейронного рендерера.

18. Носитель данных по п. 16 или 17, в котором:

модификация по меньшей мере части фотографического изображения объекта включает в себя одновременно деформацию и преобразование наплывом упомянутой по меньшей мере части фотографического изображения объекта в упомянутую по меньшей мере часть искусственного изображения объекта;

деформация происходит инкрементно со скоростью деформации;

наплыв происходит инкрементно со скоростью наплыва; и

отношение скорости наплыва к скорости деформации увеличивается до максимального значения, а затем уменьшается в пределах третьей последовательности кадров изображения.

19. Носитель данных по любому из пп. 16-18, в котором:

искусственное изображение объекта является первым искусственным изображением объекта;

модификация упомянутой по меньшей мере части фотографического изображения объекта представляет собой прогрессивную интерполяцию между вторым искусственным изображением объекта и первым искусственным изображением объекта,

при этом второе искусственное изображение объекта геометрически соответствует фотографическому изображению объекта.

20. Носитель информации по любому из пп. 16-19, в котором объектом является человеческое лицо.

21. Носитель данных по п. 19, в котором упомянутая по меньшей мере часть обособленного экземпляра объекта включает в себя рот, но исключает глаза человеческого лица.

22. Аудиовизуальный продукт, произведенный способом по любому из пп. 1-14.