JP7218874B2

JP7218874B2 - アニメーション制作システム

Info

Publication number: JP7218874B2
Application number: JP2020541622A
Authority: JP
Inventors: 義仁近藤; 雅人室橋
Original assignee: Avex Technologies Inc; XVI Inc
Current assignee: Avex Technologies Inc; XVI Inc
Priority date: 2019-09-24
Filing date: 2019-09-24
Publication date: 2023-02-07
Anticipated expiration: 2039-09-24
Also published as: JP2023055752A; US20220351445A1; WO2021059362A1; JP7218874B6; JPWO2021059362A1

Description

本発明は、アニメーション制作システムに関する。

仮想空間内に仮想カメラを配置することが行われている（特許文献１参照）。

特開２０１７－１４６６５１号公報

仮想空間内でアニメーションを撮影しようとする取り組みが行われてこなかった。

本発明はこのような背景を鑑みてなされたものであり、仮想空間内でアニメーションを撮影することのできる技術を提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、所定のオブジェクトが配置され仮想空間を提供する、アニメーション制作方法であって、ヘッドマウントディスプレイを装着するユーザの動作を検出し、前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、前記オブジェクトの動作を撮影し、前記撮影されたオブジェクトの動作を含む画像を所定のトラックに格納すること、を含む。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

本発明によれば、仮想空間内でアニメーションを撮影することができる。

本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。本実施形態に係るコントローラ２１０の外観の模式図を示す。本実施形態に係るＨＭＤ１１０の機能構成図を示す。本実施形態に係るコントローラ２１０の機能構成図を示す。本実施形態に係る画像生成装置３１０の機能構成図を示す。本発明の実施形態に係る、トラック生成処理の一例を説明するフローチャートである。本発明の実施形態に係る、トラック編集処理の一例を説明するフローチャートである。本発明の実施形態に係る、トラック編集用のユーザインターフェースの一例を説明する図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるアニメーション制作方法は、以下のような構成を備える。

［項目１］
所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
ヘッドマウントディスプレイを装着するユーザの動作を検出し、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
前記オブジェクトの動作を撮影し、
前記撮影されたオブジェクトの動作に関するアクションデータを所定のトラックに格納すること、を含む方法。
[項目２]
前記所定のトラックは編集可能である、請求項１に記載の方法。
[項目３]
前記オブジェクトは第１のキャラクタであり、
前記トラックは第１のトラックであり、
さらに、
ヘッドマウントディスプレイを装着するユーザの第２の動作を検出し、
前記検出したユーザの第２の動作に基づいて、第２のキャラクタの動作を制御し、
前記第２のオブジェクトの動作を撮影し、
前記撮影された第２のキャラクタのアクションデータを第２のトラックに格納すること、を含み、前記仮想空間は、前記第１のトラック及び前記第２のトラックに格納されるアクションデータに各々対応するキャラクタの動きに関する画像で構成される、請求項１に記載の方法。

本発明の一実施形態に係るアニメーション制作システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

＜概要＞
図１は、本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システムでは、仮想空間１にキャラクタ４とカメラ３とを配置し、カメラ３を用いてキャラクタ４を撮影する。また、仮想空間１にはカメラマン２が配置され、カメラマン２によりカメラ３が仮想的に操作される。本実施形態のアニメーション制作システムでは、ユーザは、図１に示すように仮想空間１をＴＰＶ（Third Person View；三人称視点）で俯瞰しながらキャラクタ４やカメラ３を配置したり、カメラマン２としてＦＰＶ（First Person View；一人称支援）でキャラクタ４を撮影したり、ＦＰＶでキャラクタ４の演技を行ったりしながら、アニメーションを制作していく。また、仮想空間１内には複数のキャラクタ（図１の例では、キャラクタ４およびキャラクタ５）を配置することができ、ユーザは、キャラクタ４とキャラクタ５とにそれぞれ憑依しながら演技を行うことができる。すなわち、本実施形態のアニメーション制作システムでは、一人が何役もの役割（ロール）を果たすことができる。また、カメラマン２としてカメラ２を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。

＜全体構成＞
図２は、本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。アニメーション制作システム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０を含んで構成することができる。アニメーション制作システム３００には、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。

＜ＨＭＤ１１０＞
図３は、本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。図５は、本実施形態に係るＨＭＤ１１０の機能構成図を示す。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。

ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサ１４０は、ユーザの頭部の向きや傾きといった動作を検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。

センサ１４０に代えて、またはセンサ１４０に加えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもできる。ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。

ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。

＜コントローラ２１０＞
図４は、本実施形態に係るコントローラ２１０の外観の模式図を示す。図６は、本実施形態に係るコントローラ２１０の機能構成図を示す。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。

操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。

また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動作を検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。

ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動作や姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。

＜画像生成装置３１０＞
図７は、本実施形態に係る画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動作やコントローラの動作や操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やコントローラの動作や操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話や発音、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。

制御部３４０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報を検出するユーザ入力検出部４１０と、予め記憶部３５０のキャラクタデータ格納部４４０に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部４２０と、キャラクタ制御に基づいて画像を生成する画像生成部４３０を有する。ここでキャラクタの動作の制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動作といった情報を、人間の身体の関節の動作や制約に則って作成されたボーン構造の各部の動作に変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動作を適用させることで実現される。さらに、制御部３４０は、画像生成されたキャラクタをトラックに録画し、再生する録画再生実行部４４０と、各トラックを編集し、最終コンテンツを生成する編集実行部４５０とを有する。

記憶部３５０は、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納するキャラクタデータ格納部５１０を有する。また、制御プログラム格納部５２０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。また、記憶部３５０は、画像生成部６３０で生成される動画像におけるキャラクタの動きを制御するパラメータで構成されるアクションデータを格納するトラック格納部５３０を有する。

図８は、本発明の実施形態に係る、トラック生成処理の一例を説明するフローチャートである。

まず、画像生成装置３１０の制御部３４０の録画再生実行部４４０は、仮想空間における、第１のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部５３０の第１のトラックに格納するための録画を開始する（Ｓ１０１）。ここで、キャラクタを撮影するカメラの位置、カメラの視点（例えば、ＦＰＶ、ＴＰＶ等）を設定することもできる。例えば、図１に示す仮想空間１において、第１のキャラクタに対応するキャラクタ４に対し、カメラマン２が配置される位置、また、カメラ３のアングルを設定することができる。録画開始操作は、コントローラ２１０等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、ＨＭＤ１１０を装着し、コントローラ２１０を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作を検出することに基づいて録画処理を自動的に開始してもよい。

続いて、制御部３４０のユーザ入力検出部４１０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報を検出する（Ｓ１０２）。例えば、ＨＭＤ１１０を装着するユーザが、頭部を傾けるとＨＭＤ１１０に備えられるセンサ１４０が、その傾きを検出し、傾きに関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ２１０を使って、コントローラ２１０を持ち上げたり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ２６０がその動作及び／または操作を検出し、動作及び／または操作に関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザのコントローラ動作や操作を検出する。

続いて、制御部３４０のキャラクタ制御部４２０は、検出したユーザの動作に基づいて仮想空間内における第１のキャラクタの動作を制御する（Ｓ１０３）。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げ、コントローラの所定のボタンを押下したことを検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの腕を上方向に伸ばしながら、何かを掴むよう制御する。このように、キャラクタ制御部４２０は、ユーザ入力検出部４１０が、ＨＭＤ１１０またはコントローラ２１０から送信されたユーザによる動作を検出する度に、第１のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部４１０によって検出された操作及び／または操作に関するパラメータを、トラック格納部５３０の第１のトラックに格納する格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを第１のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。

続いて、録画再生実行部４４０は、ユーザから録画終了の指示を受け付けたかを確認し（Ｓ１０４）、録画終了の指示を受け付けたときには、第１のキャラクタに関連する第１のトラックの録画を完了する（Ｓ１０５）。録画再生実行部４４０は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部４４０は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。また、ユーザによる指示を受けつけるのではなく、タイマーを作動させることで所定の時間に録画終了の処理を実行することもできる。

続いて、録画再生実行部４４０は、仮想空間における、第２のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部５３０の第２のトラックに格納するための録画を開始する（Ｓ１０６）。ここで、キャラクタを撮影するカメラの位置、カメラの視点（例えば、ＦＰＶ、ＴＰＶ等）を設定することもできる。例えば、図１に示す仮想空間１において、第２のキャラクタに対応するキャラクタ５に対し、カメラマン２が配置される位置、また、カメラ３のアングルを設定することができる。例えば、ユーザは、キャラクタ５のＦＰＶによりカメラ視点を設定し、第１のトラックの再生処理を行い、キャラクタ４の動作を確認しながら、キャラクタ５を演じるユーザは所望の動作を行うことができる。録画開始操作は、コントローラ２１０等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、ＨＭＤ１１０を装着し、コントローラ２１０を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作及び／または操作を検出することに基づいて録画処理を自動的に開始してもよい。

続いて、制御部３４０のユーザ入力検出部４１０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報を検出する（Ｓ１０７）。ここで、ユーザは、上記第１のキャラクタを演じるユーザと同じユーザであってもよく、異なるユーザであってもよい。例えば、ＨＭＤ１１０を装着するユーザが、頭部を傾けるとＨＭＤ１１０に備えられるセンサ１４０が、その傾きを検出し、傾きに関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ２１０を使って、コントローラ２１０を持ち上げて左右に振ったり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ２６０がその動作及び／または操作を検出し、動作及び／または操作に関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザのコントローラ動作や操作を検出する。

続いて、制御部３４０のキャラクタ制御部４２０は、検出したユーザの動作に基づいて仮想空間内における第２のキャラクタの動作を制御する（Ｓ１０８）。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部４２０は、第２のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げて左右に振ったり、コントローラの所定のボタンを押下したりしたことを検出したことに基づいて、キャラクタ制御部４２０は、第２のキャラクタの腕を振って、指を開くよう（すなわち、「バイバイ」をする動作）制御する。このように、キャラクタ制御部４２０は、ユーザ入力検出部４１０が、ＨＭＤ１１０またはコントローラ２１０から送信されたユーザによる動作を検出する度に、第２のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部４１０によって検出された操作及び／または操作に関するパラメータを、トラック格納部５３０の第２のトラックに格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを第２のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。

続いて、録画再生実行部４４０は、ユーザから録画終了の指示を受け付けたかを確認し（Ｓ１０９）、録画終了の指示を受け付けたときには、第２のキャラクタに関連する第２のトラックの録画を完了する（Ｓ１１０）。録画再生実行部４４０は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部４４０は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。

図９は、本発明の実施形態に係る、トラック編集処理の一例を説明するフローチャートである。

まず、画像生成装置３１０の制御部３４０の編集実行部４５０は、トラック格納部５３０に格納された、第１のトラックを編集する処理を行う（Ｓ２０１）。例えば、ユーザは、図１０（ａ）に示すような、トラック編集用のユーザインターフェースを介して、第１のキャラクタに関連する第１のトラック（Ｔ１）を編集する。例えば、ユーザインターフェースには、時系列に沿って、第１のトラックが格納された領域が表示される。ユーザが、所望のバーを選択することで、格納された動画像のパラメータとキャラクタデータに基づき、キャラクタの３Ｄモデルがレンダリングされ、図１に示すような仮想空間内に配置されたキャラクタ（例えば、キャラクタ４）の動画像が再生される。なお、トラック編集用のユーザインターフェースとして、上記のような表示に限らず、例えば、トラック名とタイトル（例えば、「第１のキャラクタ」）をリスト形式で表示する方法も考えられる。その他、ユーザインターフェースとして、図１０に示すようなトラックやリストを示すことなく、直接キャラクタの動画像が再生されるなかで編集を実行可能としたり、動画像のキーフレームが表示され、その中でユーザが編集対象となるキーフレームを選択することもできる。また、動画像として表示される３Ｄキャラクタのうち、編集対象として選択されたキャラクタの色を選択した時間だけ変更する等の処理を実行することもできる。

編集処理として、例えば、図１において、第１のキャラクタに対応するキャラクタ４の、仮想空間１における配置位置を変更したり、キャラクタ４の撮影位置及びアングルを変更するほか、撮影視点（ＦＰＶ、ＴＰＶ）を変更することが考えられる。また、時間の尺を変更したり、削除したりすることも考えられる。

次に、編集実行部４５０は、トラック格納部５３０に格納された、第２のトラックを編集する処理を行う（Ｓ２０２）。例えば、ユーザは、トラック編集用のユーザインターフェースを介して、第２のキャラクタに関連する第２のトラック（Ｔ２）を編集するオプション（図示せず）を選択し、図１０（ｂ）に示すような、ユーザインターフェースを介して、時系列に沿って、第２のトラックが格納される領域を示すバーを配置する。図１０（ｂ）に示すように、ユーザは、第２のトラックを第１のトラックと独立して編集しつつ、各トラックの再生タイミングの同期を図るなど、相対的に調整することが可能となる。同様に、ユーザは、他のトラック（例えば、第３のトラック（Ｔ３））を編集することができる。

編集処理として、例えば、図１において、第２のキャラクタに対応するキャラクタ５の、仮想空間１における配置位置を変更したり、キャラクタ５の撮影位置及びアングルを変更するほか、撮影視点（ＦＰＶ、ＴＰＶ）を変更することが考えられる。また、時間の尺を変更したり、削除したりすることも考えられる。ここで、編集処理として、ユーザは、仮想空間１上における、第１のキャラクタに対応するキャラクタ４に相対する、第２のキャラクタ５の配置位置を変更することができる。

さらに、編集処理として、各トラックの再生を行うことで、各トラックに対応するキャラクタの動作を含む動画像を、仮想空間内で再生することで、全体として仮想空間で実現されるアニメーション動画像を作成することができる。また、各トラックの再生することで、キャラクタの動きを再現するだけでなく、キャラクタの背景のセットを変えたり、キャラクタを含むオブヘクトを増減したり、ライティングの設定を変更したり、キャラクタの衣装を変更またはアクセサリをつけたり、キャラクタに対する風の風量、向きを変更したり、アクションデータをそのままにキャラクタを変更したりすることで、仮想空間で実現さえれるアニメーション動画像を編集することができる。

編集処理が終了後、編集実行部４５０は、ユーザの要求に応じて、または、自動的に編集内容を保存する（Ｓ２０３）。

なお、Ｓ２０１、Ｓ２０２の編集処理は、その順番を問わず実行することができ、前後に行き来することもできる。Ｓ２０３の保存処理は、Ｓ２０１、Ｓ２０２の編集が実行される都度実行することもできる。また、Ｓ２０１のみの編集で編集終了とすることもできる。

以上のように、本実施形態により、マルチトラックレコーディング（ＭＴＲ）の方式をアニメーション制作に適用することで、ユーザ動作に連動したキャラクタ動作を各トラックに格納し、各トラック内または各トラック間で編集作業を行うことで簡易かつ効率的なアニメーション制作を実現することができる。

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

例えば、本実施形態において、トラック生成方法及び編集方法につき、キャラクタを例に説明したが、キャラクタに限らず、キャラクタを含む、動作を伴うオブジェクト（乗り物、構造物、物品等）に本実施形態に開示される方法を適用することもできる。

また、例えば、本実施形態において、画像生成装置３１０をＨＭＤ１１０とは別個のものとして記載したが、画像生成装置３１０によって提供される、全部または一部の構成及び機能をＨＭＤ１１０に備えることもできる。

１仮想空間
２カメラマン
３カメラ
４キャラクタ
５キャラクタ
１１０ＨＭＤ
２１０コントローラ
３１０画像生成装置

Claims

所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
ヘッドマウントディスプレイを装着するユーザの動作を検出し、
前記検出したユーザの動作に基づいて、第１のオブジェクトの動作を制御し、
前記第１のオブジェクトの動作を撮影し、
前記撮影された第１のオブジェクトの動作に関するアクションデータを第１のトラックに格納し、
さらに、
前記第１のトラックの再生処理を行いつつ、前記ヘッドマウントディスプレイを装着するユーザの第２の動作を検出し、
前記検出したユーザの第２の動作に基づいて、第２のオブジェクトの動作を制御し、
前記第２のオブジェクトの動作を撮影し、
前記撮影された第２のオブジェクトのアクションデータを第２のトラックに格納し、
前記第１のトラック及び前記第２のトラックに格納されるアクションデータに基づいて画像を生成すること、
を含み、
前記第１及び第２のトラックの少なくともいずれかは、前記第１及び第２のトラックを再生しながら編集可能である、方法。