RU2011126626A - Способ и устройство для создания видеоанимации - Google Patents

Способ и устройство для создания видеоанимации Download PDF

Info

Publication number
RU2011126626A
RU2011126626A RU2011126626/08A RU2011126626A RU2011126626A RU 2011126626 A RU2011126626 A RU 2011126626A RU 2011126626/08 A RU2011126626/08 A RU 2011126626/08A RU 2011126626 A RU2011126626 A RU 2011126626A RU 2011126626 A RU2011126626 A RU 2011126626A
Authority
RU
Russia
Prior art keywords
head
control point
coordinate
action
frame
Prior art date
Application number
RU2011126626/08A
Other languages
English (en)
Other versions
RU2487412C2 (ru
Inventor
Иша ЛУ
Сясян ЛИН
Цзянюй ВАН
Original Assignee
Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед filed Critical Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед
Publication of RU2011126626A publication Critical patent/RU2011126626A/ru
Application granted granted Critical
Publication of RU2487412C2 publication Critical patent/RU2487412C2/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

1. Способ создания видеоанимации, включающий этапы:принимают переданную пользователем команду, определяют соответствующее команде действие, определяют общее число кадров, соответствующих действию, и определяют коэффициент движения для каждого кадра;вычисляют смещение каждой контрольной точки в каждом кадре согласно коэффициенту движения для каждого кадра, и создают видеоанимацию согласно смещению каждой контрольной точки в каждом кадре и общему числу кадров.2. Способ по п.1, отличающийся тем, что действие является связанным с лицом действием, контрольная точка связана с контуром деталей лица и в число деталей лица входит, по крайней мере, одно из следующего: глаза, брови, рот, голова.3. Способ по п.2, отличающийся тем, что создание видеоанимации, выполняемое согласно смещению каждой контрольной точки в каждом кадре и общему числу кадров, включает этапы:А) вычисляют целевую координату каждой контрольной точки в каждом кадре согласно смещению каждой контрольной точки в каждом кадре, причем смещение контрольной точки включает смещение в горизонтальном направлении и смещение в вертикальном направлении, целевая координата каждой контрольной точки включаетцелевую координату в горизонтальном направлении = координату точки начала отсчета в горизонтальном направлении + смещение в горизонтальном направлении,целевую координату в вертикальном направлении = координату точки начала отсчета в вертикальном направлении + смещение в вертикальном направлении;если действие связано с движением глаз, бровей, киванием, поворотами головы или движением рта, точка начала отсчета является контрольной точкой; если действие св�

Claims (17)

1. Способ создания видеоанимации, включающий этапы:
принимают переданную пользователем команду, определяют соответствующее команде действие, определяют общее число кадров, соответствующих действию, и определяют коэффициент движения для каждого кадра;
вычисляют смещение каждой контрольной точки в каждом кадре согласно коэффициенту движения для каждого кадра, и создают видеоанимацию согласно смещению каждой контрольной точки в каждом кадре и общему числу кадров.
2. Способ по п.1, отличающийся тем, что действие является связанным с лицом действием, контрольная точка связана с контуром деталей лица и в число деталей лица входит, по крайней мере, одно из следующего: глаза, брови, рот, голова.
3. Способ по п.2, отличающийся тем, что создание видеоанимации, выполняемое согласно смещению каждой контрольной точки в каждом кадре и общему числу кадров, включает этапы:
А) вычисляют целевую координату каждой контрольной точки в каждом кадре согласно смещению каждой контрольной точки в каждом кадре, причем смещение контрольной точки включает смещение в горизонтальном направлении и смещение в вертикальном направлении, целевая координата каждой контрольной точки включает
целевую координату в горизонтальном направлении = координату точки начала отсчета в горизонтальном направлении + смещение в горизонтальном направлении,
целевую координату в вертикальном направлении = координату точки начала отсчета в вертикальном направлении + смещение в вертикальном направлении;
если действие связано с движением глаз, бровей, киванием, поворотами головы или движением рта, точка начала отсчета является контрольной точкой; если действие связано с наклонами головы влево и вправо, точка начала отсчета является точкой пересечения осевой линии головы и нижней контурной линии головы;
В) создают видеоанимацию согласно целевой координате каждой контрольной точки в каждом кадре и общему числу кадров.
4. Способ по п.1, отличающийся тем, что определение общего числа кадров, соответствующих действию, и коэффициента движения для каждого кадра включает этапы:
пользователь задает общее число кадров, соответствующих действию, и коэффициент движения для каждого кадра, либо
предварительно задает общее число кадров, соответствующих действию, и коэффициент движения для каждого кадра.
5. Способ по п.3, отличающийся тем, что (когда действие связано с движением глаз или бровей) вычисление смещения каждой контрольной точки в каждом кадре, выполняемое согласно коэффициенту движения каждого кадра, включает:
смещение в горизонтальном направлении = (А_х-Src_x)×m_eyeCoef,
смещение в вертикальном направлении = (А_y-Src_y)×m_eyeCoef; где
(Src_x, Src_y) является исходной координатой контрольной точки, исходная координата контрольной точки - это координата контрольной точки в исходном изображении, полученном перед созданием видеоанимации; (А_х, А_y) является координатой точки пересечения отвесной линии и линии начала отсчета, причем отвесная линия проходит от исходной координаты контрольной точки к линии начала отсчета; когда действие связано с движением глаз, линия начала отсчета является линией, соединяющей углы глазной щели; когда действие связано с движением бровей, линия начала отсчета является осевой линией лица; m_eyeCoef является коэффициентом движения.
6. Способ по п.3, отличающийся тем, что (когда действие связано с наклонами головы влево и вправо) вычисление смещения каждой контрольной точки в каждом кадре, выполняемое согласно коэффициенту движения каждого кадра, включает:
смещение в горизонтальном направлении = (Src_x-Pivot_x)×cos(m_angle)-(Src_y-Pivot_y)×sin(m_angle),
смещение в вертикальном направлении = (Src_x-Pivot_x)×sin(m_angle)+(Src_y-Pivot_y)×cos(m_angle); где
(Src_x, Src_y) является исходной координатой контрольной точки, исходная координата контрольной точки является координатой контрольной точки в исходном изображении, полученном перед созданием видеоанимации; (Pivot_x, Pivot_y) является координатой точки начала отсчета; m_angle является коэффициентом движения.
7. Способ по п.3, отличающийся тем, что (когда действие связано с киванием или поворотами головы) вычисление смещения каждой контрольной точки в каждом кадре, выполняемое согласно коэффициенту движения каждого кадра, включает:
смещение в горизонтальном направлении = Src_x+K_i×v_angle×V_x,
смещение в вертикальном направлении = Src_y+K_i×v_angle×V_y; где
(Src_x, Src_y) является исходной координатой контрольной точки, исходная координата контрольной точки является координатой контрольной точки в исходном изображении, полученном перед созданием видеоанимации; K_i=Delta_1/Dis_1 и (V_x, V_y) является координатой стандартного вектора; когда действие связано с киванием головой, Delta_1 соответствует величине движения по вертикали при перемещении головы на фиксированный угол в градусах, Dis_1 соответствует максимальной длине головы по вертикали, стандартный вектор является вектором от самой верхней точки головы к самой нижней точке головы; когда действие связано с поворотами головы, Delta_1 соответствует величине движения по горизонтали при перемещении головы на фиксированный угол в градусах, Dis_1 соответствует максимальной длине головы по горизонтали, стандартный вектор является вектором от крайней левой точки головы к крайней правой точке головы; v_angle является коэффициентом движения.
8. Способ по п.3, отличающийся тем, что (когда действие связано с движением рта) вычисление смещения каждой контрольной точки в каждом кадре, выполняемое согласно коэффициенту движения каждого кадра, включает:
смещение в горизонтальном направлении = mouthWidth×cos(m_horAngle)×horizonCoef×horModelCoef+mouthHeight×cos(m_verAngle)×verticeCoef×verModelCoef,
смещение в вертикальном направлении = mouthWidth×sin(m_horAngle)×horizonCoef×horModelCoef+mouthHeight×sin(m_verAngle)×verticeCoef×verModelCoef; где
mouthWidth является расстоянием между левым углом рта и правым углом рта, mouthHeight является высотой от верхней точки осевой линии верхней губы до нижней точки осевой линии нижней губы, m_verAngle является углом между осевой линией головы и горизонталью, m_horAngle является углом между линией углов рта и горизонталью, horizonCoef и verticeCoef являются, соответственно, коэффициентами степени движения рта по горизонтали и вертикали, horModelCoef и verModelCoef являются, соответственно, коэффициентами движения для рта в горизонтальном и вертикальном направлениях.
9. Способ по п.1, отличающийся тем, что переданная пользователем команда является командой для одиночного действия или командой для нескольких действий.
10. Устройство для создания видеоанимации, содержащее:
блок приема, сконфигурированный для приема переданной пользователем команды;
блок определения, сконфигурированный для определения соответствующего команде действия согласно команде, а также для определения общего числа кадров, соответствующих действию, и коэффициента движения для каждого кадра;
вычислительный блок, сконфигурированный для вычисления смещения каждой контрольной точки в каждом кадре согласно коэффициенту движения для каждого кадра; и
блок генерации, сконфигурированный для создания видеоанимации согласно смещению каждой контрольной точки в каждом кадре и общему числу кадров.
11. Устройство по п.10, отличающееся тем, что действие является связанным с лицом действием, контрольная точка связана с контуром деталей лица и в число деталей лица входит, по крайней мере, одно из следующего: глаза, брови, рот, голова.
12. Устройство по п.11, отличающееся тем, что в состав блока генерации входят:
модуль вычисления координат, сконфигурированный для вычисления целевой координаты каждой контрольной точки в каждом кадре согласно смещению каждой контрольной точки в каждом кадре, причем смещение контрольной точки включает смещение в горизонтальном направлении и смещение в вертикальном направлении, целевая координата каждой контрольной точки является
целевой координатой в горизонтальном направлении = координатой точки начала отсчета в горизонтальном направлении + смещение в горизонтальном направлении,
целевой координатой в вертикальном направлении = координатой точки начала отсчета в вертикальном направлении + смещение в вертикальном направлении;
если действие связано с движением глаз, бровей, киванием, поворотами головы или движением рта, точка начала отсчета является контрольной точкой; если действие связано с наклонами головы влево и вправо, точка начала отсчета является точкой пересечения осевой линии головы и нижней контурной линии головы;
модуль генерации видео, сконфигурированный для создания видеоанимации согласно целевой координате каждой контрольной точки в каждом кадре и общему числу кадров.
13. Устройство по п.10, отличающееся тем, что в состав блока определения входят:
модуль пользовательского конфигурирования, сконфигурированный для задания пользователем общего числа кадров, соответствующих действию, и коэффициента движения для каждого кадра, либо
модуль конфигурирования, сконфигурированный для предварительного задания общего числа кадров, соответствующих действию, и коэффициента движения для каждого кадра.
14. Устройство по п.12, отличающееся тем, что (когда действие связано с движением глаз или бровей) вычислительный блок содержит:
вычислительный модуль для движений глаз, сконфигурированный для вычисления смещения глаз или бровей, причем смещение в горизонтальном направлении = (А_х-Src_x)×m_eyeCoef и смещение в вертикальном направлении = (А_у-Src_y)×m_eyeCoef; где
(Src_x, Src_y) является исходной координатой контрольной точки, исходная координата контрольной точки - это координата контрольной точки в исходном изображении, полученном перед созданием видеоанимации; (А_х, А_y) является координатой точки пересечения отвесной линии и линии начала отсчета, причем отвесная линия проходит от исходной координаты контрольной точки к линии начала отсчета; когда действие связано с движением глаз, линия начала отсчета является линией, соединяющей углы глазной щели; когда действие связано с движением бровей, линия начала отсчета является осевой линией головы; m_eyeCoef является коэффициентом движения.
15. Устройство по п.12, отличающееся тем, что (когда действие связано с наклонами головы влево и вправо) вычислительный блок содержит:
вычислительный модуль для наклонов головы, сконфигурированный для вычисления смещения при наклонах головы влево и вправо, причем смещение в горизонтальном направлении = (Src_x-Pivot_x)×cos(m_angle)-(Src_y-Pivot_y)×sin(m_angle) и смещение в вертикальном направлении = (Src_x-Pivot_x)×sin(m_angle)+(Src_y-Pivot_y)×cos(m_angle); где
(Src_x, Src_y) является исходной координатой контрольной точки, исходная координата контрольной точки является координатой контрольной точки в исходном изображении, полученном перед созданием видеоанимации; (Pivot_x, Pivot_y) является координатой точки начала отсчета; m_angle является коэффициентом движения.
16. Устройство по п.12, в котором (когда действие связано с киванием или поворотами головы) вычислительный блок содержит:
вычислительный модуль для движений головы, сконфигурированный для вычисления смещения при кивании или поворотах головы, причем
смещение в горизонтальном направлении = Src_x+K_i×v_angle×V_x,
смещение в вертикальном направлении = Src_y+K_i×v_angle×V_y; где
(Src_x, Src_y) является исходной координатой контрольной точки, исходная координата контрольной точки является координатой контрольной точки в исходном изображении, полученном перед созданием видеоанимации; K_i=Delta_1/Dis_1 и (V_x, V_y) является координатой стандартного вектора;
когда действие связано с киванием головой, Delta_1 соответствует величине движения по вертикали при перемещении головы на фиксированный угол в градусах, Dis_1 соответствует максимальной длине головы по вертикали, стандартный вектор является вектором от самой верхней точки головы к самой нижней точке головы; когда действие связано с поворотами головы, Delta_1 соответствует величине движения по горизонтали при перемещении головы на фиксированный угол в градусах, Dis_1 соответствует максимальной длине головы по горизонтали, стандартный вектор является вектором от крайней левой точки головы к крайней правой точке головы; v_angle является коэффициентом движения.
17. Устройство по п.12, в котором (когда действие связано с движением рта) вычислительный блок содержит:
вычислительный модуль для движений рта, сконфигурированный для вычисления смещения при движении рта, причем
смещение в горизонтальном направлении = mouthWidth×cos(m_horAngle)×horizonCoef×horModelCoef+mouthHeight×cos(m_verAngle)×verticeCoef×verModelCoef,
смещение в вертикальном направлении = mouthWidth×sin(m_horAngle)×horizonCoef×horModelCoef+mouthHeight×sin(m_verAngle)×verticeCoef×verModelCoef; где
mouthWidth является расстоянием между левым углом рта и правым углом рта, mouthHeight является высотой от верхней точки осевой линии верхней губы до нижней точки осевой линии нижней губы, m_verAngle является углом между осевой линией головы и горизонталью, m_horAngle является углом между линией углов глазной щели и горизонталью, horizonCoef и verticeCoef являются, соответственно, коэффициентами степени движения рта по горизонтали и вертикали, horModelCoef и verModelCoef являются, соответственно, коэффициентами движения для рта в горизонтальном и вертикальном направлениях.
RU2011126626/08A 2008-12-03 2009-11-20 Способ и устройство для создания видеоанимации RU2487412C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2008101845175A CN101436312B (zh) 2008-12-03 2008-12-03 一种生成视频动画的方法及装置
CN200810184517.5 2008-12-03
PCT/CN2009/075062 WO2010063217A1 (zh) 2008-12-03 2009-11-20 一种生成视频动画的方法及装置

Publications (2)

Publication Number Publication Date
RU2011126626A true RU2011126626A (ru) 2013-01-10
RU2487412C2 RU2487412C2 (ru) 2013-07-10

Family

ID=40710742

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2011126626/08A RU2487412C2 (ru) 2008-12-03 2009-11-20 Способ и устройство для создания видеоанимации

Country Status (6)

Country Link
US (1) US8441485B2 (ru)
CN (1) CN101436312B (ru)
BR (1) BRPI0922694B1 (ru)
RU (1) RU2487412C2 (ru)
SG (1) SG171453A1 (ru)
WO (1) WO2010063217A1 (ru)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436312B (zh) * 2008-12-03 2011-04-06 腾讯科技(深圳)有限公司 一种生成视频动画的方法及装置
CN102054287B (zh) * 2009-11-09 2015-05-06 腾讯科技(深圳)有限公司 面部动画视频生成的方法及装置
CN103918010B (zh) * 2011-11-24 2017-06-30 诺基亚技术有限公司 用于生成与多媒体内容相关联的动画图像的方法、装置和计算机程序产品
KR101642947B1 (ko) * 2015-01-16 2016-08-10 네이버 주식회사 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램 및 만화 데이터 표시 장치
CN107180446B (zh) * 2016-03-10 2020-06-16 腾讯科技(深圳)有限公司 人物面部模型的表情动画生成方法及装置
CN106250815B (zh) * 2016-07-05 2019-09-20 上海引波信息技术有限公司 一种基于嘴部特征的快速表情识别方法
CN108900904B (zh) * 2018-07-27 2021-10-15 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN109949393B (zh) * 2019-01-09 2023-09-12 广州小鹏汽车科技有限公司 一种动画效果处理方法、系统及装置
CN113313790A (zh) * 2021-05-31 2021-08-27 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4633673A (en) * 1984-09-14 1987-01-06 Morrison Daniel R Emergency shutoff for air conditioners
US4787212A (en) * 1987-10-19 1988-11-29 Hessey John C Air conditioner with automatic shutdown
US4937559A (en) * 1989-08-21 1990-06-26 Meacham Huey W Air conditioner drain blockage alarm
US5028910A (en) * 1989-12-08 1991-07-02 Meacham Huey W Drain overflow alarm
US4998412A (en) * 1990-01-22 1991-03-12 Joel Bell Blockage alert and purge system
US5522229A (en) * 1994-11-03 1996-06-04 Stuchlik, Iii; Charles F. Blockage detector
US6232965B1 (en) * 1994-11-30 2001-05-15 California Institute Of Technology Method and apparatus for synthesizing realistic animations of a human speaking using a computer
US6414685B1 (en) * 1997-01-29 2002-07-02 Sharp Kabushiki Kaisha Method of processing animation by interpolation between key frames with small data quantity
US6587884B1 (en) * 1997-09-10 2003-07-01 Schneider Automation, Inc. Dual ethernet protocol stack for maximum speed access to a programmable logic controller (PLC)
IT1314671B1 (it) * 1998-10-07 2002-12-31 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per l'animazione di un modellosintetizzato di volto umano pilotata da un segnale audio.
US6462742B1 (en) * 1999-08-05 2002-10-08 Microsoft Corporation System and method for multi-dimensional motion interpolation using verbs and adverbs
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations
EP1249792A3 (en) * 2001-04-12 2006-01-18 Matsushita Electric Industrial Co., Ltd. Animation data generation apparatus, animation data generation method, animated video generation apparatus, and animated video generation method
US20030201898A1 (en) * 2002-04-25 2003-10-30 Stuchlik Charles F. Blockage detector with separate alarm and shut-off functions
US6763226B1 (en) * 2002-07-31 2004-07-13 Computer Science Central, Inc. Multifunctional world wide walkie talkie, a tri-frequency cellular-satellite wireless instant messenger computer and network for establishing global wireless volp quality of service (qos) communications, unified messaging, and video conferencing via the internet
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
CN1710613A (zh) * 2004-06-16 2005-12-21 甲尚股份有限公司 自动产生动画的系统与方法
CN101069214A (zh) 2004-10-01 2007-11-07 索尼电影娱乐公司 为计算机图形动画制作跟踪面部肌肉和眼睛运动的系统和方法
US7191606B1 (en) * 2005-04-29 2007-03-20 Dwyer Kenneth W Drain trap alarm
US7567251B2 (en) * 2006-01-10 2009-07-28 Sony Corporation Techniques for creating facial animation using a face mesh
EP2030171A1 (en) * 2006-04-10 2009-03-04 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
CN101473352A (zh) 2006-04-24 2009-07-01 索尼株式会社 表演驱动的脸部动画
CN101311966A (zh) * 2008-06-20 2008-11-26 浙江大学 一种基于运行传播和Isomap分析的三维人脸动画编辑与合成方法
CN101436312B (zh) * 2008-12-03 2011-04-06 腾讯科技(深圳)有限公司 一种生成视频动画的方法及装置
US8059004B2 (en) * 2009-01-07 2011-11-15 Eric James Drain blockage responsive alarm system

Also Published As

Publication number Publication date
BRPI0922694B1 (pt) 2021-11-09
BRPI0922694A2 (pt) 2021-06-15
US20110227932A1 (en) 2011-09-22
WO2010063217A1 (zh) 2010-06-10
RU2487412C2 (ru) 2013-07-10
US8441485B2 (en) 2013-05-14
CN101436312A (zh) 2009-05-20
SG171453A1 (en) 2011-07-28
CN101436312B (zh) 2011-04-06

Similar Documents

Publication Publication Date Title
RU2011126626A (ru) Способ и устройство для создания видеоанимации
US11217021B2 (en) Display system having sensors
US10672197B2 (en) Time-warping adjustment based on depth information in a virtual/augmented reality system
US9927870B2 (en) Virtual reality system with control command gestures
US20200334853A1 (en) Facial features tracker with advanced training for natural rendering of human faces in real-time
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN105654537B (zh) 一种实现与虚拟角色实时互动的表情克隆方法及装置
US11914152B2 (en) Video compression methods and apparatus
US20170091535A1 (en) Head-mounted display with facial expression detecting capability
WO2019033903A1 (zh) 虚拟现实的图形渲染方法和装置
WO2015167908A1 (en) Stabilization plane determination based on gaze location
CN110188728A (zh) 一种头部姿态估计的方法及系统
US20190094955A1 (en) Range finding and accessory tracking for head-mounted display systems
JPWO2011033673A1 (ja) 画像処理装置
US11069075B2 (en) Machine learning inference on gravity aligned imagery
US10936055B2 (en) Encoding content for virtual, augmented, and mixed reality (xR) applications in connectivity-constrained environments
CN110060295A (zh) 目标定位方法及装置、控制装置、跟随设备及存储介质
CN105205847A (zh) 动作处理装置以及动作处理方法
CN115494938A (zh) 非接触式交互方法及装置
JP6435659B2 (ja) 画像処理装置、アニメーション生成方法及びプログラム
CN114758381A (zh) 一种基于图像识别的虚拟数字人视线控制方法
TWI463474B (zh) 影像調整系統及方法
CN205562963U (zh) 一种新型体感互动体验设备
CN115937432A (zh) 基于多模态输入的人体动作重建系统及方法