JP7470344B2 - アニメーション制作システム - Google Patents
アニメーション制作システム Download PDFInfo
- Publication number
- JP7470344B2 JP7470344B2 JP2022113482A JP2022113482A JP7470344B2 JP 7470344 B2 JP7470344 B2 JP 7470344B2 JP 2022113482 A JP2022113482 A JP 2022113482A JP 2022113482 A JP2022113482 A JP 2022113482A JP 7470344 B2 JP7470344 B2 JP 7470344B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- track
- movement
- character
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims description 21
- 230000008921 facial expression Effects 0.000 claims description 27
- 230000009471 action Effects 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 18
- 230000006399 behavior Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 6
- 230000004886 head movement Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
ヘッドマウントディスプレイを装着するユーザの動作を検出し、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
前記オブジェクトの動作を撮影し、
前記撮影されたオブジェクトの動作を含む動作に関するアクションデータを所定のトラックに格納し、
前記所定のトラックに格納されたオブジェクトの表情を変更すること、を含む方法。
[項目2]
前記変更されたオブジェクトの表情に関するパラメータを前記トラックに保存することを含む、項目1に記載の方法。
図1は、本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ(HMD)に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システムでは、仮想空間1にキャラクタ4とカメラ3とを配置し、カメラ3を用いてキャラクタ4を撮影する。また、仮想空間1にはカメラマン2が配置され、カメラマン2によりカメラ3が仮想的に操作される。本実施形態のアニメーション制作システムでは、ユーザは、図1に示すように仮想空間1をTPV(Third Person View;三人称視点)で俯瞰しながらキャラクタ4やカメラ3を配置したり、カメラマン2としてFPV(First Person View;一人称支援)でキャラクタ4を撮影したり、FPVでキャラクタ4の演技を行ったりしながら、アニメーションを制作していく。また、仮想空間1内には複数のキャラクタ(図1の例では、キャラクタ4およびキャラクタ5)を配置することができ、ユーザは、キャラクタ4とキャラクタ5とにそれぞれ憑依しながら演技を行うことができる。すなわち、本実施形態のアニメーション制作システムでは、一人が何役もの役割(ロール)を果たすことができる。また、カメラマン2としてカメラ2を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。
図2は、本発明の一実施形態に係るアニメーション制作システム300の全体構成例を示す図である。アニメーション制作システム300は、例えば、HMD110、コントローラ210及びホストコンピュータとして機能する画像生成装置310を含んで構成することができる。アニメーション制作システム300には、HMD110やコントローラ210の位置、向き及び傾き等を検出するための赤外線カメラ(図示せず)等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にUSBポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、HDMI、有線LAN、赤外線、Bluetooth(登録商標)、WiFi(登録商標)等の有線又は無線により通信を確立することもできる。画像生成装置310は、PC、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。
図3は、本実施形態に係るヘッドマウントディスプレイ(以下:HMD)110の外観の模式図を示す。図5は、本実施形態に係るHMD110の機能構成図を示す。HMD110はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル120を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル120には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
図4は、本実施形態に係るコントローラ210の外観の模式図を示す。図6は、本実施形態に係るコントローラ210の機能構成図を示す。コントローラ210により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ210は、左手用220及び右手用230のコントローラのセットとして構成することができる。左手用コントローラ220及び右手用コントローラ230は、各々操作用トリガーボタン240、赤外線LED250、センサ260、ジョイスティック270、メニューボタン280を有することができる。
図7は、本実施形態に係る画像生成装置310の機能構成図を示す。画像生成装置310としては、HMD110やコントローラ210から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動作やコントローラの動作や操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、PC、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置310は、例えば、HMD110やコントローラ210等の周辺装置との有線による接続を確立するための入出力部320を備えることができ、赤外線、Bluetooth(登録商標)やWiFi(登録商標)等無線による接続を確立するための通信部330を備えることができる。入出力部320及び/又は通信部330を介して、HMD110及び/又はコントローラ210から受信された、ユーザの頭部の動作やコントローラの動作や操作に関する情報は、制御部340において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部350に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部340は、CPUで構成することもできるが、画像処理に特化したGPUをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置310はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
2 カメラマン
3 カメラ
4 キャラクタ
5 キャラクタ
110 HMD
210 コントローラ
310 画像生成装置
Claims (6)
- 所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
ユーザの動作を検出し、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
前記オブジェクトの動作を撮影し、
前記撮影されたオブジェクトの動作に関するアクションデータを所定のトラックに格納し、
前記トラックを再生しながら、前記オブジェクトの顔を構成する各パーツのパラメータを調整するためのゲージを表示して前記ユーザからの入力を受け付け、前記所定のトラックに格納されたオブジェクトの動作を変更することなく、前記ユーザからの入力に応じた前記パラメータの値を前記オブジェクトに設定すること、を含む方法。 - 前記変更されたオブジェクトの表情に関する前記パラメータを前記トラックに保存することを含む、請求項1に記載の方法。
- 所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作システムであって、
ユーザの動作を検出する機能と、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御する機能と、
前記オブジェクトの動作を撮影する機能と、
前記撮影されたオブジェクトの動作に関するアクションデータを所定のトラックに格納する機能と、
前記トラックを再生しながら、前記オブジェクトの顔を構成する各パーツのパラメータを調整するためのゲージを表示して前記ユーザからの入力を受け付け、前記所定のトラックに格納されたオブジェクトの動作を変更することなく、前記ユーザからの入力に応じた前記パラメータの値を前記オブジェクトに設定する機能と、
を備えることを特徴とするアニメーション制作システム。 - 前記変更されたオブジェクトの表情に関する前記パラメータを前記トラックに保存する機能を備える、請求項3に記載のアニメーション制作システム。
- 所定のオブジェクトが配置される仮想空間を提供するアニメーション制作のためのプログラムであって、
ユーザの動作を検出するステップと、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御するステップと、
前記オブジェクトの動作を撮影するステップと、
前記撮影されたオブジェクトの動作に関するアクションデータを所定のトラックに格納するステップと、
前記トラックを再生しながら、前記オブジェクトの顔を構成する各パーツのパラメータを調整するためのゲージを表示して前記ユーザからの入力を受け付け、前記所定のトラックに格納されたオブジェクトの動作を変更することなく、前記ユーザからの入力に応じた前記パラメータの値を前記オブジェクトに設定するステップと、
をコンピュータに実行させるためのプログラム。 - 前記変更されたオブジェクトの表情に関する前記パラメータを前記トラックに保存するステップをさらに前記コンピュータに実行させる、請求項5に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022113482A JP7470344B2 (ja) | 2019-09-24 | 2022-07-14 | アニメーション制作システム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020541612A JP7115696B2 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
PCT/JP2019/037418 WO2021059366A1 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
JP2022113482A JP7470344B2 (ja) | 2019-09-24 | 2022-07-14 | アニメーション制作システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541612A Division JP7115696B2 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022153477A JP2022153477A (ja) | 2022-10-12 |
JP2022153477A5 JP2022153477A5 (ja) | 2023-08-17 |
JP7470344B2 true JP7470344B2 (ja) | 2024-04-18 |
Family
ID=75165228
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541612A Active JP7115696B2 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
JP2022113482A Active JP7470344B2 (ja) | 2019-09-24 | 2022-07-14 | アニメーション制作システム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541612A Active JP7115696B2 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220351450A1 (ja) |
JP (2) | JP7115696B2 (ja) |
WO (1) | WO2021059366A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7115696B2 (ja) | 2019-09-24 | 2022-08-09 | 株式会社エクシヴィ | アニメーション制作システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016121921A1 (ja) | 2015-01-30 | 2016-08-04 | 株式会社電通 | コンピュータグラフィックスのデータ構造、情報処理装置、情報処理方法及び情報処理システム |
JP6526898B1 (ja) | 2018-11-20 | 2019-06-05 | グリー株式会社 | 動画配信システム、動画配信方法、及び動画配信プログラム |
JP7115696B2 (ja) | 2019-09-24 | 2022-08-09 | 株式会社エクシヴィ | アニメーション制作システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59153346A (ja) * | 1983-02-21 | 1984-09-01 | Nec Corp | 音声符号化・復号化装置 |
JP4989605B2 (ja) * | 2008-10-10 | 2012-08-01 | 株式会社スクウェア・エニックス | 簡易アニメーション作成装置 |
US20120013621A1 (en) * | 2010-07-15 | 2012-01-19 | Miniclip SA | System and Method for Facilitating the Creation of Animated Presentations |
US20170329503A1 (en) * | 2016-05-13 | 2017-11-16 | Google Inc. | Editing animations using a virtual reality controller |
-
2019
- 2019-09-24 JP JP2020541612A patent/JP7115696B2/ja active Active
- 2019-09-24 WO PCT/JP2019/037418 patent/WO2021059366A1/ja active Application Filing
- 2019-09-24 US US16/977,078 patent/US20220351450A1/en not_active Abandoned
-
2022
- 2022-07-14 JP JP2022113482A patent/JP7470344B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016121921A1 (ja) | 2015-01-30 | 2016-08-04 | 株式会社電通 | コンピュータグラフィックスのデータ構造、情報処理装置、情報処理方法及び情報処理システム |
JP6526898B1 (ja) | 2018-11-20 | 2019-06-05 | グリー株式会社 | 動画配信システム、動画配信方法、及び動画配信プログラム |
JP7115696B2 (ja) | 2019-09-24 | 2022-08-09 | 株式会社エクシヴィ | アニメーション制作システム |
Also Published As
Publication number | Publication date |
---|---|
WO2021059366A1 (ja) | 2021-04-01 |
US20220351450A1 (en) | 2022-11-03 |
JP7115696B2 (ja) | 2022-08-09 |
JPWO2021059366A1 (ja) | 2021-10-07 |
JP2022153477A (ja) | 2022-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7470344B2 (ja) | アニメーション制作システム | |
JP7470345B2 (ja) | アニメーション制作システム | |
JP7470346B2 (ja) | アニメーション制作システム | |
US20220301249A1 (en) | Animation production system for objects in a virtual space | |
US11321898B2 (en) | Animation production system | |
JP2022025468A (ja) | アニメーション制作システム | |
JP6964302B2 (ja) | アニメーション制作方法 | |
JP7218874B6 (ja) | アニメーション制作システム | |
JP7390540B2 (ja) | アニメーション制作システム | |
JP7218875B6 (ja) | アニメーション制作システム | |
JP6955725B2 (ja) | アニメーション制作システム | |
JP2022025464A (ja) | アニメーション制作システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220926 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20230123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20240115 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240329 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7470344 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |