RU2019120179A - Системы и способы для анимированной головы действующего лица - Google Patents

Системы и способы для анимированной головы действующего лица Download PDF

Info

Publication number
RU2019120179A
RU2019120179A RU2019120179A RU2019120179A RU2019120179A RU 2019120179 A RU2019120179 A RU 2019120179A RU 2019120179 A RU2019120179 A RU 2019120179A RU 2019120179 A RU2019120179 A RU 2019120179A RU 2019120179 A RU2019120179 A RU 2019120179A
Authority
RU
Russia
Prior art keywords
animation
animated
head
performer
character
Prior art date
Application number
RU2019120179A
Other languages
English (en)
Other versions
RU2019120179A3 (ru
RU2749000C2 (ru
Inventor
Эниша ВАЙАС
Кэтлин Аманда КОРРЕЛЛ
Шон Дэвид МАККРАКЕН
Уилльям В. МАКДЖИХИ
Original Assignee
ЮНИВЕРСАЛ СИТИ СТЬЮДИОС ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ЮНИВЕРСАЛ СИТИ СТЬЮДИОС ЭлЭлСи filed Critical ЮНИВЕРСАЛ СИТИ СТЬЮДИОС ЭлЭлСи
Publication of RU2019120179A publication Critical patent/RU2019120179A/ru
Publication of RU2019120179A3 publication Critical patent/RU2019120179A3/ru
Application granted granted Critical
Publication of RU2749000C2 publication Critical patent/RU2749000C2/ru

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63JDEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J7/00Auxiliary apparatus for artistes
    • A63J7/005Disguises for one or more persons for life-like imitations of creatures, e.g. animals, giants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015Face robots, animated artificial faces for imitating human expressions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Toys (AREA)

Claims (28)

1. Система, содержащая:
анимированную голову действующего лица, содержащую:
один или несколько процессоров, выполненных с возможностью принимать входные данные, осуществлять выбор анимации на основе входных данных и обеспечивать первый управляющий сигнал на основе выбора анимации; и
дисплей, выполненный с возможностью обеспечивать указание на выбор анимации, для визуализации исполнителем, управляющим анимированной головой действующего лица.
2. Система по п. 1, в которой анимированная голова действующего лица содержит датчик, выполненный с возможностью генерировать входные данные.
3. Система по п. 2, в которой датчик содержит датчик отслеживания глаз, выполненный с возможностью контролировать движение глаза исполнителя и генерировать входные данные на основе движения глаза исполнителя.
4. Система по п. 2, в которой датчик содержит датчик отслеживания движения, выполненный с возможностью контролировать лицевые жесты исполнителя и генерировать входные данные на основе лицевых жестов исполнителя.
5. Система по п. 1, в которой анимированная голова действующего лица содержит память, хранящую библиотеку анимаций, и упомянутые один или несколько процессоров выполнены с возможностью осуществлять выбор анимации посредством выбора анимации из библиотеки анимаций на основе входных данных.
6. Система по п. 1, в которой первый управляющий сигнал выполнен с возможностью заставлять громкоговоритель выводить предварительно запрограммированное аудио на основе выбора анимации.
7. Система по п. 1, в которой первый управляющий сигнал обеспечивают для исполнительного механизма, чтобы вызвать движение компонента анимированной головы действующего лица, и упомянутые один или несколько процессоров выполнены с возможностью принимать сигнал статуса, указывающий на статус исполнительного механизма, от датчика статуса, связанного с исполнительным механизмом, и обеспечивать указание на статус на дисплее.
8. Система по п. 1, причем система содержит систему управления базовой станции, которая является физически отдельной от анимированной головы действующего лица, и система управления базовой станции содержит устройство ввода, которое выполнено с возможностью генерировать входные данные и обеспечивать входные данные для одного или нескольких процессоров.
9. Система по п. 8, в которой упомянутые один или несколько процессоров выполнены с возможностью принимать подтверждающие входные данные от исполнителя для подтверждения выбора анимации и обеспечивать первый управляющий сигнал после приема подтверждающих входных данных.
10. Система, содержащая:
анимированную голову действующего лица, содержащую:
один или несколько процессоров, выполненных с возможностью принимать входные данные, осуществлять выбор анимации на основе входных данных и обеспечивать управляющий сигнал на основе выбора анимации, причем входные данные содержат первый сигнал, указывающий на движение глаз исполнителя, управляющего анимированной головой действующего лица, второй сигнал, указывающий на лицевые жесты исполнителя, управляющего анимированной головой действующего лица, или их комбинацию.
11. Система по п. 10, в которой анимированная голова действующего лица содержит память, хранящую библиотеку анимаций, и упомянутые один или несколько процессоров выполнены с возможностью осуществлять выбор анимации посредством выбора анимации из библиотеки анимаций на основе входных данных.
12. Система по п. 10, в которой анимированная голова действующего лица содержит датчик отслеживания глаз, выполненный с возможностью генерировать первый сигнал, указывающий на движение глаз исполнителя.
13. Система по п. 10, в которой анимированная голова действующего лица содержит датчик отслеживания движения, выполненный с возможностью генерировать второй сигнал, указывающий на лицевые жесты исполнителя.
14. Система по п. 10, в которой анимированная голова действующего лица содержит дисплей, видимый исполнителю, и упомянутые один или несколько процессоров выполнены с возможностью отдавать дисплею команду обеспечить список доступных анимаций для визуализации исполнителем.
15. Способ, содержащий этапы, на которых:
обеспечивают, с использованием одного или нескольких процессоров, один или несколько доступных выборов анимации на дисплее внутри анимированной головы действующего лица;
принимают выбор, посредством одного или нескольких процессоров, первой анимации из упомянутых одного или нескольких доступных выборов анимации, на основе движения глаз исполнителя, управляющего анимированной головой действующего лица, лицевого жеста исполнителя, управляющего анимированной головой действующего лица, речевой команды исполнителя, управляющего анимированной головой действующего лица, или их комбинации; и
обеспечивают, с использованием одного или нескольких процессоров, управляющий сигнал для выполнения первой анимации с помощью анимированной головы действующего лица.
16. Способ по п. 15, в котором этап, на котором обеспечивают управляющий сигнал для выполнения первой анимации, содержит этап, на котором обеспечивают управляющий сигнал для одного или нескольких исполнительных механизмов, которые выполнены с возможностью физически настраивать элемент анимированной головы действующего лица.
17. Способ по п. 16, содержащий этап, на котором принимают сигнал статуса, указывающий на статус первого исполнительного механизма из упомянутых одного или нескольких исполнительных механизмов, от датчика статуса, связанного с первым исполнительным механизмом, и отдают дисплею команду обеспечить указание на статус первого исполнительного механизма с использованием упомянутых одного или нескольких процессоров.
18. Способ по п. 15, в котором этап, на котором обеспечивают управляющий сигнал для выполнения первой анимации, содержит этап, на котором обеспечивают управляющий сигнал для одного или нескольких громкоговорителей анимированной головы действующего лица для обеспечения слышимых выходных данных.
19. Способ по п. 15, содержащий этап, на котором выбирают вторую анимацию из упомянутых одного или нескольких доступных выборов анимаций с использованием упомянутых одного или нескольких процессоров, причем первую анимацию выбирают на основе движения глаз исполнителя, а вторую анимацию выбирают на основе речевой команды исполнителя.
20. Способ по п. 15, в котором упомянутые один или несколько доступных выборов анимаций устанавливаются оператором в системе управления базовой станции, которая является физически отдельной от анимированной головы действующего лица.
RU2019120179A 2016-11-30 2017-11-28 Системы и способы для анимированной головы действующего лица RU2749000C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662428200P 2016-11-30 2016-11-30
US62/428,200 2016-11-30
US15/486,814 US10775880B2 (en) 2016-11-30 2017-04-13 Animated character head systems and methods
US15/486,814 2017-04-13
PCT/US2017/063513 WO2018102313A2 (en) 2016-11-30 2017-11-28 Animated character head systems and methods

Publications (3)

Publication Number Publication Date
RU2019120179A true RU2019120179A (ru) 2021-01-11
RU2019120179A3 RU2019120179A3 (ru) 2021-04-22
RU2749000C2 RU2749000C2 (ru) 2021-06-02

Family

ID=62192734

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019120179A RU2749000C2 (ru) 2016-11-30 2017-11-28 Системы и способы для анимированной головы действующего лица

Country Status (10)

Country Link
US (1) US10775880B2 (ru)
EP (1) EP3548156B1 (ru)
JP (1) JP7071360B2 (ru)
KR (1) KR102400398B1 (ru)
CN (1) CN110022954B (ru)
CA (1) CA3044108A1 (ru)
ES (1) ES2920148T3 (ru)
MY (1) MY195593A (ru)
RU (1) RU2749000C2 (ru)
WO (1) WO2018102313A2 (ru)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10845975B2 (en) 2018-03-29 2020-11-24 Universal City Studios Llc Interactive animated character head systems and methods
US10679397B1 (en) 2018-12-13 2020-06-09 Universal City Studios Llc Object tracking animated figure systems and methods
JP7329457B2 (ja) * 2018-12-14 2023-08-18 株式会社ポケモン 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
JP7083380B2 (ja) * 2020-09-28 2022-06-10 グリー株式会社 コンピュータプログラム、方法及びサーバ装置
JP7203161B1 (ja) 2021-07-26 2023-01-12 株式会社ポケモン プログラム、情報処理装置及び情報処理方法
US20230030442A1 (en) * 2021-07-31 2023-02-02 Sony Interactive Entertainment Inc. Telepresence robot

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4660033A (en) 1985-07-29 1987-04-21 Brandt Gordon C Animation system for walk-around costumes
US6016385A (en) * 1997-08-11 2000-01-18 Fanu America Corp Real time remotely controlled robot
US6500041B1 (en) * 1999-10-25 2002-12-31 Walter L. Crome, Jr. Animated headsets
JP2002307354A (ja) * 2000-11-07 2002-10-23 Sega Toys:Kk 電子玩具
CN2598084Y (zh) 2003-01-28 2004-01-07 金耀 背包式充气气模
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP2006149805A (ja) 2004-11-30 2006-06-15 Asahi Kasei Corp Nam音対応玩具装置、nam音対応玩具システム
JP2006255147A (ja) 2005-03-17 2006-09-28 Nippon Telegr & Teleph Corp <Ntt> キャラクター操作システム及びプログラム並びに方法
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
GB0702150D0 (en) * 2007-02-05 2007-03-14 Amegoworld Ltd A Communication Network and Devices
US7997991B2 (en) 2007-09-19 2011-08-16 On-Art Corp. Costume suit of large size animal
JP2010134057A (ja) 2008-12-02 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
US8371893B2 (en) * 2008-12-04 2013-02-12 Disney Enterprises, Inc. Method and system for articulated character head actuation and control
US8647167B2 (en) * 2009-08-20 2014-02-11 Valerie J. Heilbron Lighted display devices for producing static or animated visual displays, including animated facial features
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9656392B2 (en) * 2011-09-20 2017-05-23 Disney Enterprises, Inc. System for controlling robotic characters to enhance photographic results
US8874444B2 (en) 2012-02-28 2014-10-28 Disney Enterprises, Inc. Simulated conversation by pre-recorded audio navigator
US8801488B2 (en) 2012-10-15 2014-08-12 Disney Enterprises, Inc. Chin strap sensor for triggering control of walk-around characters
CN202929567U (zh) 2012-11-19 2013-05-08 深圳市数虎图像科技有限公司 虚拟角色动画表演系统
CA2896985A1 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
JP6094305B2 (ja) 2013-03-26 2017-03-15 セイコーエプソン株式会社 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
US9483115B2 (en) * 2013-05-31 2016-11-01 Disney Enterprises, Inc. Triggering control of audio for walk-around characters
EP2933067B1 (en) * 2014-04-17 2019-09-18 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
US9272228B2 (en) 2014-07-01 2016-03-01 Disney Enterprises, Inc. Full-duplex, wireless control system for interactive costumed characters
US10739817B2 (en) * 2014-08-06 2020-08-11 Gregory A. Piccionelli Flexible display screen systems and methods
EP3216023A4 (en) * 2014-11-07 2018-07-18 Eye Labs, LLC Visual stabilization system for head-mounted displays
US10121063B2 (en) * 2015-01-12 2018-11-06 BMT Business Meets Technology Holding AG Wink gesture based control system
US10810797B2 (en) * 2015-05-22 2020-10-20 Otoy, Inc Augmenting AR/VR displays with image projections
CN105022479A (zh) 2015-06-30 2015-11-04 广东欧珀移动通信有限公司 交互场景的角色控制方法、系统及设备
CN104941220B (zh) 2015-07-01 2016-08-31 朱增伟 可变化表情的大头舞面具
US20170018289A1 (en) * 2015-07-15 2017-01-19 String Theory, Inc. Emoji as facetracking video masks
SE1650402A1 (en) * 2016-03-29 2017-09-30 Furhat Robotics Ab Customization of robot
US10338686B2 (en) * 2016-03-31 2019-07-02 Disney Enterprises, Inc. Control system using aesthetically guided gesture recognition
US9959678B2 (en) * 2016-06-03 2018-05-01 Oculus Vr, Llc Face and eye tracking using facial sensors within a head-mounted display
KR102577571B1 (ko) * 2016-08-03 2023-09-14 삼성전자주식회사 로봇 장치 및 로봇 장치의 감정 표현 방법

Also Published As

Publication number Publication date
CA3044108A1 (en) 2018-06-07
RU2019120179A3 (ru) 2021-04-22
WO2018102313A3 (en) 2018-09-27
JP7071360B2 (ja) 2022-05-18
CN110022954A (zh) 2019-07-16
JP2020500599A (ja) 2020-01-16
MY195593A (en) 2023-02-02
US10775880B2 (en) 2020-09-15
KR102400398B1 (ko) 2022-05-19
EP3548156B1 (en) 2022-04-27
CN110022954B (zh) 2021-05-25
ES2920148T3 (es) 2022-08-01
RU2749000C2 (ru) 2021-06-02
WO2018102313A2 (en) 2018-06-07
US20180147728A1 (en) 2018-05-31
KR20190091300A (ko) 2019-08-05
EP3548156A2 (en) 2019-10-09

Similar Documents

Publication Publication Date Title
RU2019120179A (ru) Системы и способы для анимированной головы действующего лица
KR102481454B1 (ko) 방향성 인터페이스를 갖는 핸즈 프리 디바이스
US9401144B1 (en) Voice gestures
WO2016052164A1 (ja) 対話装置
JP2020500599A5 (ru)
US20140036022A1 (en) Providing a conversational video experience
US20140247368A1 (en) Ready click camera control
US20140038489A1 (en) Interactive plush toy
JP2023123551A (ja) 対話型アニメキャラクターヘッドステム及び方法
CN105679302A (zh) 定向声音修改
RU2016146267A (ru) Перевод внутри вызова
CN105765964A (zh) 基于发言人位置移动摄像机聚焦
US11526147B2 (en) Systems and methods to adapt and optimize human-machine interaction using multimodal user-feedback
US8874444B2 (en) Simulated conversation by pre-recorded audio navigator
JP6067905B1 (ja) ロボット制御プログラム生成システム
JP6443419B2 (ja) 音声対話装置及びその制御方法
KR101831802B1 (ko) 적어도 하나의 시퀀스에 대한 가상현실 컨텐츠 제작방법 및 장치
KR20220120633A (ko) 스마트 오디오 포커스 컨트롤을 갖는 청각 보조 디바이스
JP7439131B2 (ja) 空間オーディオをキャプチャする装置および関連する方法
KR20210005200A (ko) 디지털 어시스턴트를 이용한 오디오 정보 제공
US10268969B2 (en) Artificial intelligence controlled entertainment performance
US11275554B2 (en) Information processing apparatus, information processing method, and program
US20210134269A1 (en) Electronic device and operating method thereof
WO2014159133A1 (en) Providing local expert sessions
JP7286303B2 (ja) 会議支援システム及び会議用ロボット