JP7390541B2 - アニメーション制作システム - Google Patents
アニメーション制作システム Download PDFInfo
- Publication number
- JP7390541B2 JP7390541B2 JP2020541625A JP2020541625A JP7390541B2 JP 7390541 B2 JP7390541 B2 JP 7390541B2 JP 2020541625 A JP2020541625 A JP 2020541625A JP 2020541625 A JP2020541625 A JP 2020541625A JP 7390541 B2 JP7390541 B2 JP 7390541B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- mode
- user
- character
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 16
- 240000004050 Pentaglottis sempervirens Species 0.000 description 8
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、アニメーション制作システムに関する。
仮想空間内に仮想カメラを配置することが行われている（特許文献１参照）。
仮想空間内でアニメーションを撮影しようとする取り組みが行われてこなかった。
本発明はこのような背景を鑑みてなされたものであり、仮想空間内でアニメーションを撮影することのできる技術を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、アニメーション制作システムであって、仮想空間内に配置されたキャラクタを撮影する仮想的なカメラと、ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかから前記ユーザの入力を検出するユーザ入力検出部と、前記入力に応じて、前記仮想空間を俯瞰する第１のモード、前記仮想空間内に配置されたキャラクタを操作する第２のモード、および前記カメラを操作する第３のモードを切り替えるモード制御部と、を備えることとする。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、仮想空間内でアニメーションを撮影することができる。
本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を備える。
［項目１］
仮想空間内に配置されたキャラクタを撮影する仮想的なカメラと、
ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかから前記ユーザの入力を検出するユーザ入力検出部と、
前記入力に応じて、前記仮想空間を俯瞰する第１のモード、前記仮想空間内に配置されたキャラクタを操作する第２のモード、および前記カメラを操作する第３のモードを切り替えるモード制御部と、
を備えることを特徴とするアニメーション制作システム。
［項目２］
項目１に記載のアニメーション制作システムであって、
前記第１ないし第３のモードを切り替えるためのモード切替ボタンと、前記カメラが撮影している画像を表示するカメラ画像表示部とを備える制御パネルをさらに備えること、
を特徴とするアニメーション制作システム。
［項目３］
項目１に記載のアニメーション制作システムであって、
前記制御パネルは、前記カメラが複数配置されている場合に、前記カメラ画像表示部に表示する前記カメラを切り替えるためのカメラ切替ボタンをさらに備えること、
を特徴とするアニメーション制作システム。
仮想空間内に配置されたキャラクタを撮影する仮想的なカメラと、
ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかから前記ユーザの入力を検出するユーザ入力検出部と、
前記入力に応じて、前記仮想空間を俯瞰する第１のモード、前記仮想空間内に配置されたキャラクタを操作する第２のモード、および前記カメラを操作する第３のモードを切り替えるモード制御部と、
を備えることを特徴とするアニメーション制作システム。
［項目２］
項目１に記載のアニメーション制作システムであって、
前記第１ないし第３のモードを切り替えるためのモード切替ボタンと、前記カメラが撮影している画像を表示するカメラ画像表示部とを備える制御パネルをさらに備えること、
を特徴とするアニメーション制作システム。
［項目３］
項目１に記載のアニメーション制作システムであって、
前記制御パネルは、前記カメラが複数配置されている場合に、前記カメラ画像表示部に表示する前記カメラを切り替えるためのカメラ切替ボタンをさらに備えること、
を特徴とするアニメーション制作システム。
本発明の一実施形態に係るアニメーション制作システム３００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
＜概要＞
図１は、本実施形態のアニメーション制作システム３００においてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システム３００は、仮想空間１に仮想的なキャラクタ４と仮想的なカメラ３とを配置し、カメラ３を用いてキャラクタ４を撮影することによりアニメーションを制作しようとするものである。
図１は、本実施形態のアニメーション制作システム３００においてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システム３００は、仮想空間１に仮想的なキャラクタ４と仮想的なカメラ３とを配置し、カメラ３を用いてキャラクタ４を撮影することによりアニメーションを制作しようとするものである。
仮想空間１にはカメラマン２（撮影者キャラクタ）が配置され、カメラマン２によりカメラ３が仮想的に操作される。本実施形態のアニメーション制作システム３００では、ユーザは、図１に示すように仮想空間１をＴＰＶ（Third Person View；三人称視点）で俯瞰しながらキャラクタ４やカメラ３を配置したり、カメラマン２としてＦＰＶ（First Person View；一人称視点）でキャラクタ４を撮影したり、ＦＰＶでキャラクタ４の演技を行ったりしながら、アニメーションを制作していく。仮想空間１内には複数のカメラ２（図１の例では、カメラ２－１およびカメラ２－２）を配置することができ、カメラ２－１およびカメラ２－２をスイッチングし、最終的なアニメーションに採用するカメラ２からの動画を切り換えることができる。
また、仮想空間１内には複数のキャラクタ４（図１の例では、キャラクタ４－１およびキャラクタ４－２）を配置することができ、ユーザは、キャラクタ４に憑依しながら演技を行うことができる。複数のキャラクタ４が配置されている場合には、ユーザは、各キャラクタ４（たとえば、キャラクタ４－１および４－２）に憑依する対象を切り替えることもできる。
このように、本実施形態のアニメーション制作システム３００では、一人が何役もの役割（ロール）を果たすことができる。また、カメラマン２としてカメラ２を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。
＜全体構成＞
図２は、本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。アニメーション制作システム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０を含んで構成することができる。アニメーション制作システム３００には、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。
図２は、本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。アニメーション制作システム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０を含んで構成することができる。アニメーション制作システム３００には、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。
＜ＨＭＤ１１０＞
図３は、本実施形態に係るＨＭＤ１１０の外観を模式的に示す図である。図４は、本実施形態に係るＨＭＤ１１０の機能構成例を示す図である。
図３は、本実施形態に係るＨＭＤ１１０の外観を模式的に示す図である。図４は、本実施形態に係るＨＭＤ１１０の機能構成例を示す図である。
ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネル１２０としては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサ１４０は、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。
センサ１４０に代えて、またはセンサ１４０に加えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもできる。ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。
ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
＜コントローラ２１０＞
図５は、本実施形態に係るコントローラ２１０の外観を模式的に示す図である。図６は、本実施形態に係るコントローラ２１０の機能構成例を示す図である。
図５は、本実施形態に係るコントローラ２１０の外観を模式的に示す図である。図６は、本実施形態に係るコントローラ２１０の機能構成例を示す図である。
コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。
ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動きや姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
＜画像生成装置３１０＞
図７は、本実施形態に係る画像生成装置３１０の機能構成例を示す図である。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動きやコントローラの動きや操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタ４の制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
図７は、本実施形態に係る画像生成装置３１０の機能構成例を示す図である。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動きやコントローラの動きや操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタ４の制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
制御部３４０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動きやユーザの発話、また、コントローラの動きや操作に関する情報を検出するユーザ入力検出部４１０と、予め記憶部３５０のキャラクタデータ格納部４５０に格納されたキャラクタ４に対して、制御プログラム格納部４６０に格納された制御プログラムを実行するキャラクタ制御部４２０と、キャラクタ制御に応じて、仮想空間１に配置された仮想的なカメラ３の制御を行うカメラ制御部４４０と、システムの制御モードを変更するモード制御部４８０と、制御モードに応じたキャラクタ制御に基づいてカメラ３が仮想空間１を撮影した画像を生成する画像生成部４３０とを有する。ここでキャラクタ４の動きの制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。カメラ３の制御は、たとえば、キャラクタ４の手の動きに応じて、カメラ３についての各種設定（たとえば、カメラ３の仮想空間１内での位置、カメラ３の撮影方向、焦点位置、ズームなど）を変更することにより行われる。
記憶部３５０は、上述のキャラクタデータ格納部４５０に、キャラクタ４のイメージデータのほか、キャラクタ４の属性等キャラクタ４に関連する情報を格納する。また、制御プログラム格納部４６０は、仮想空間におけるキャラクタ４の動作や表情を制御し、カメラ３などのオブジェクトを制御するためのプログラムを格納する。画像データ格納部４７０は、画像生成部４３０で生成された画像を格納する。
＜制御パネル６＞
アニメーション制作システム３００の制御モードは、モード制御部４８０により設定される。なお、デフォルトは俯瞰モードとすることができる。ユーザは、制御パネル６を操作することにより、制御モードを変更することができる。図１に示すように、制御パネル６は仮想空間１に配置される。制御パネル６は、ユーザの操作により自由な位置に配置することができる。ユーザは、カメラマン２やキャラクタ４をＦＰＶにより操作するにあたり、カメラ３の操作またはキャラクタ４としての演技の邪魔にならない位置に制御パネル６を移動させることができる。たとえば、指を制御パネル６の端部近傍に移動させてトリガーボタン２４０を押下して制御パネル６をつまみながらコントローラ２１０を移動させることにより、モード制御部４８０は、コントローラ２１０の移動に応じて制御パネル６を移動させることができる。
アニメーション制作システム３００の制御モードは、モード制御部４８０により設定される。なお、デフォルトは俯瞰モードとすることができる。ユーザは、制御パネル６を操作することにより、制御モードを変更することができる。図１に示すように、制御パネル６は仮想空間１に配置される。制御パネル６は、ユーザの操作により自由な位置に配置することができる。ユーザは、カメラマン２やキャラクタ４をＦＰＶにより操作するにあたり、カメラ３の操作またはキャラクタ４としての演技の邪魔にならない位置に制御パネル６を移動させることができる。たとえば、指を制御パネル６の端部近傍に移動させてトリガーボタン２４０を押下して制御パネル６をつまみながらコントローラ２１０を移動させることにより、モード制御部４８０は、コントローラ２１０の移動に応じて制御パネル６を移動させることができる。
制御パネル６には、制御モードを変更するためのモード切替ボタン６１と、カメラ３により撮影されているカメラ画像を表示するカメラ画像表示部６２と、カメラ３の切替を行うためのカメラ切替ボタン６３とが配置される。図１の例では、モード切換ボタン６１には、仮想空間１を俯瞰する俯瞰モードに切り換えるための「ＳＣＡＰＥ」ボタン、キャラクタ４に憑依して演技を行う演技モードに切り換えるための「ＡＣＴＯＲ」ボタン、カメラマン２に憑依してカメラ３を操作するカメラモードに切り換えるための「ＣＡＭＥＲＡ」ボタンとが含まれている。なお、制御パネル６には、これらのボタンのいずれかだけが配置されるようにしてもよい。
＜モードの変更処理＞
図８は、制御パネル６の操作に係る処理の流れを説明する図である。図８の処理は、制御パネル６において何らかのボタンがタップされた場合に実行される。
図８は、制御パネル６の操作に係る処理の流れを説明する図である。図８の処理は、制御パネル６において何らかのボタンがタップされた場合に実行される。
制御パネル６においてＳＣＡＰＥボタンがタップされた場合（Ｓ５０１：ＳＣＡＰＥ）には、制御モードは俯瞰モードとなる（Ｓ５０２）。俯瞰モードでは、図１に示されるように、仮想空間１を俯瞰するような画面が表示パネル１２０に表示される。ユーザはキャラクタ４の位置を変更したり、新たなキャラクタ４を配置したり、カメラ３の位置を変更したり、新たなカメラ３を配置したりすることができる。複数のカメラマン２が配置されている場合や、複数のキャラクタ４が配置されている場合には、制御モード切替時に憑依対象（操作対象）となるカメラマン２およびキャラクタ４を指定することもできる。たとえば、俯瞰モードにおいて仮想空間１内のカメラマン２がタップされると、モード制御部４８０は、タップされたカメラマン２を、カメラモードになった場合に操作対象となるように設定することができる。また、俯瞰モードにおいて、仮想空間１内のキャラクタ４がタップされると、モード制御部４８０は、タップされたキャラクタ４を、演技モードになった場合に操作対象となるように設定することができる。モード制御部４８０は、操作対象となっているカメラマン２およびキャラクタ４を示すマーク７を表示するようにしてもよい。
制御パネル６においてＡＣＴＯＲボタンがタップされた場合（Ｓ５０１：ＡＣＴＯＲ）には、制御モードは演技モードとなる（Ｓ５０３）。演技モードでは、キャラクタ４の一人称画像（ＦＰＶ）が表示パネル１２０に表示され、ユーザは、コントローラ２１０およびＨＭＤ１１０の操作によりキャラクタ４の動作を制御し、キャラクタ４の演技を行うことができる。複数のキャラクタ４が配置されている場合には、上述のとおり、操作対象として設定されているキャラクタ４をユーザは操作することが可能となる。なお、仮想的な音声マイクを持つ音響エンジニアやレフ板を持つアシスタントなどを配置した場合には、演技モードは、音響エンジニアやアシスタントなどのロールを有するキャラクタ４を操作する操作モードとすることができる。
制御パネル６においてＣＡＭＥＲＡボタンがタップされた場合（Ｓ５０１：ＣＡＭＥＲＡ）には、制御モードはカメラモードとなる（Ｓ５０４）。カメラモードでは、カメラマン２の一人称画像（ＦＰＶ）が表示パネル１２０に表示され、ユーザは、コントローラ２１０の操作によりカメラ３を制御し、カメラ３による撮影を行うことができる。複数のカメラ３が配置されている場合には、上述のとおり、操作対象として設定されているカメラマン２をユーザは操作することが可能となる。
制御パネル６においてカメラ切替ボタン６３のいずれかがタップされた場合（Ｓ５０１：０１，０２…）には、モード制御部４８０は、カメラ画像表示部６２に表示するカメラ３を設定する（Ｓ５０５）。
以上のようにして、ユーザは制御パネル６を用いて、カメラマン２の一人称視点となるカメラモード、キャラクタ４の一人称視点となる演技モード、および仮想空間１の三人称視点となる俯瞰モードを切り替えることができる。これと同時に、制御パネル６ではカメラ３を切り替えてカメラ３からの映像を表示することができる。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
たとえば、本実施形態では、画像生成装置３１０は１台のコンピュータであるものとしたが、これに限らず、ＨＭＤ１１０またはコントローラ２１０に画像生成装置３１０の全部または一部の機能を備えるようにしてもよい。また、画像生成装置３１０と通信可能に接続する他のコンピュータに画像生成装置３１０の一部の機能を備えるようにすることができる。
また、本実施形態では、仮想現実（ＶＲ；Virtual Reality）による仮想空間を想定していたが、これに限らず、拡張現実（ＡＲ；Augumented Reality）空間あるいは複合現実（ＭＲ；Mixed Reality）空間であっても本実施形態のアニメーション制作システム３００はそのまま適用可能である。
１ 仮想空間
２ カメラマン
３ カメラ
４ キャラクタ
６ 制御パネル
６１ モード切替ボタン
６２ カメラ画像表示部
６３ カメラ切替ボタン
１１０ ＨＭＤ
１２０ 表示パネル
１３０ 筐体部
１４０ センサ
１５０ 光源
２１０ コントローラ
２２０ 左手用コントローラ
２３０ 右手用コントローラ
２３５ グリップ
２４０ トリガーボタン
２５０ 赤外線ＬＥＤ
２６０ センサ
２７０ ジョイスティック
２８０ メニューボタン
３００ アニメーション制作システム
３１０ 画像生成装置
３２０ 入出力部
３３０ 通信部
３４０ 制御部
３５０ 記憶部
４１０ ユーザ入力検出部
４２０ キャラクタ制御部
４３０ 画像生成部
４４０ カメラ制御部
４５０ キャラクタデータ格納部
４６０ プログラム格納部
４７０ 画像データ格納部
４８０ モード制御部
５１０ ハンドル
５２０ 表示部
５３０ レール
５４０ スライダ
５５０ 録画ボタン
２ カメラマン
３ カメラ
４ キャラクタ
６ 制御パネル
６１ モード切替ボタン
６２ カメラ画像表示部
６３ カメラ切替ボタン
１１０ ＨＭＤ
１２０ 表示パネル
１３０ 筐体部
１４０ センサ
１５０ 光源
２１０ コントローラ
２２０ 左手用コントローラ
２３０ 右手用コントローラ
２３５ グリップ
２４０ トリガーボタン
２５０ 赤外線ＬＥＤ
２６０ センサ
２７０ ジョイスティック
２８０ メニューボタン
３００ アニメーション制作システム
３１０ 画像生成装置
３２０ 入出力部
３３０ 通信部
３４０ 制御部
３５０ 記憶部
４１０ ユーザ入力検出部
４２０ キャラクタ制御部
４３０ 画像生成部
４４０ カメラ制御部
４５０ キャラクタデータ格納部
４６０ プログラム格納部
４７０ 画像データ格納部
４８０ モード制御部
５１０ ハンドル
５２０ 表示部
５３０ レール
５４０ スライダ
５５０ 録画ボタン
Claims (2)
- 仮想空間内に配置されたキャラクタを撮影する仮想的なカメラと、
ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかから前記ユーザの入力を検出するユーザ入力検出部と、
前記入力に応じて、前記仮想空間を俯瞰する第１のモード、前記仮想空間内に配置されたキャラクタを操作する第２のモード、および前記カメラを操作する第３のモードを切り替えるモード制御部と、
前記第１ないし第３のモードを切り替えるためのモード切替ボタン、及び前記カメラが撮影している画像を表示するカメラ画像表示部を備える、前記仮想空間内に配置される制御パネルと、
を備え、
前記モード制御部は、前記制御パネルに対する前記入力に応じて、前記第１ないし第３のモードを切り替えること
を特徴とするアニメーション制作システム。 - 請求項１に記載のアニメーション制作システムであって、
前記制御パネルは、前記カメラが複数配置されている場合に、前記カメラ画像表示部に表示する前記カメラを切り替えるためのカメラ切替ボタンをさらに備えること、
を特徴とするアニメーション制作システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022147883A JP2022184958A (ja) | 2019-09-24 | 2022-09-16 | アニメーション制作システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/037411 WO2021059359A1 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022147883A Division JP2022184958A (ja) | 2019-09-24 | 2022-09-16 | アニメーション制作システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021059359A1 JPWO2021059359A1 (ja) | 2021-10-21 |
| JP7390541B2 true JP7390541B2 (ja) | 2023-12-04 |
Family
ID=75165182
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020541625A Active JP7390541B2 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
| JP2022147883A Pending JP2022184958A (ja) | 2019-09-24 | 2022-09-16 | アニメーション制作システム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022147883A Pending JP2022184958A (ja) | 2019-09-24 | 2022-09-16 | アニメーション制作システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220351442A1 (ja) |
| JP (2) | JP7390541B2 (ja) |
| WO (1) | WO2021059359A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220237877A1 (en) * | 2021-01-27 | 2022-07-28 | Square Enix Co., Ltd. | Non-transitory computer readable medium including augmented reality processing program and augmented reality processing system |
| JP7264941B2 (ja) * | 2021-06-17 | 2023-04-25 | グリー株式会社 | プログラム、情報処理装置及び情報処理方法 |
| JP2023011262A (ja) * | 2021-07-12 | 2023-01-24 | トヨタ自動車株式会社 | 仮想現実シミュレータ及び仮想現実シミュレーションプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018190335A (ja) | 2017-05-11 | 2018-11-29 | 株式会社コロプラ | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
| JP6481057B1 (ja) | 2018-02-02 | 2019-03-13 | 株式会社エクシヴィ | 仮想空間におけるキャラクタの制御方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4297804B2 (ja) * | 2004-02-19 | 2009-07-15 | 任天堂株式会社 | ゲーム装置及びゲームプログラム |
| JP6276882B1 (ja) * | 2017-05-19 | 2018-02-07 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
-
2019
- 2019-09-24 JP JP2020541625A patent/JP7390541B2/ja active Active
- 2019-09-24 WO PCT/JP2019/037411 patent/WO2021059359A1/ja active Application Filing
- 2019-09-24 US US16/977,061 patent/US20220351442A1/en not_active Abandoned
-
2022
- 2022-09-16 JP JP2022147883A patent/JP2022184958A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018190335A (ja) | 2017-05-11 | 2018-11-29 | 株式会社コロプラ | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
| JP6481057B1 (ja) | 2018-02-02 | 2019-03-13 | 株式会社エクシヴィ | 仮想空間におけるキャラクタの制御方法 |
Non-Patent Citations (2)
| Title |
|---|
| 「映画ツクール」にパルマー氏も「ＳＵＧＯＩ！」と絶賛 ＸＶＩ・近藤氏＆室橋氏が語るＶＲの未来，［ｏｎｌｉｎｅ］ ＰＡＮＯＲＡ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ ＪＡＰＡＮ，株式会社パノラプロ，２０１７年０５月１９日，ｈｔｔｐｓ：／／ｐａｎｏｒａ．ｔｏｋｙｏ／ｐａｎｏｒａ．ｔｏｋｙｏ／２７８２５／ＨＰＣ－ｉｎｄｅｘ．ｈｔｍｌ |
| Ｍｉｔｃｈｉｅ Ｍ，ＰｌａｙＡｎｉＭａｋｅｒの操作方法を解説（基本画面編）［１ページ目］，ボカロＰ Ｍｉｔｃｈｉｅ Ｍの初音ミク曲制作ブログ ［ｏｎｌｉｎｅ］，２０２３年０２月０８日，ｈｔｔｐｓ：／／ｍｉｔｃｈｉｅ－ｍ．ｃｏｍ／ｂｌｏｇ／ｖｒ／ｐｌａｙａｎｉｍａｋｅｒ－ｍａｎｕａｌ－ｐ１ |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220351442A1 (en) | 2022-11-03 |
| WO2021059359A1 (ja) | 2021-04-01 |
| JPWO2021059359A1 (ja) | 2021-10-21 |
| JP2022184958A (ja) | 2022-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7390541B2 (ja) | アニメーション制作システム | |
| JP7454818B2 (ja) | アニメーション制作方法 | |
| JP2023116432A (ja) | アニメーション制作システム | |
| JP2022153476A (ja) | アニメーション制作システム | |
| JP2022153479A (ja) | アニメーション制作システム | |
| JP6964302B2 (ja) | アニメーション制作方法 | |
| US20220035154A1 (en) | Animation production system | |
| JP7218873B6 (ja) | アニメーション制作システム | |
| JP7218872B6 (ja) | アニメーション制作システム | |
| WO2021059367A1 (ja) | アニメーション制作システム | |
| JP7115698B2 (ja) | アニメーション制作システム | |
| JP7390542B2 (ja) | アニメーション制作システム | |
| JP6955725B2 (ja) | アニメーション制作システム | |
| JP7218874B6 (ja) | アニメーション制作システム | |
| US20220035442A1 (en) | Movie distribution method | |
| JP2022025475A (ja) | アニメーション制作システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211104 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220303 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220616 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220916 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220916 |
|
| C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20221013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221019 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221202 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221208 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20230123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7390541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |