WO2023282049A1

WO2023282049A1 - 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム及び記録媒体

Info

Publication number: WO2023282049A1
Application number: PCT/JP2022/024647
Authority: WO
Inventors: 遼深澤; 智彦後藤; 和典淺山
Original assignee: ソニーグループ株式会社
Priority date: 2021-07-07
Filing date: 2022-06-21
Publication date: 2023-01-12
Also published as: CN117597706A

Abstract

［課題］付加価値の高いコンテンツを提供可能な情報処理装置を提供する。［解決手段］一実施形態に係る情報処理装置は、コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するモーション制御部を備える。

Description

情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム及び記録媒体

　本開示は、情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体に関する。

　ＶＲ（Virtual Reality）やセンシング技術の進歩及び普及により、キャラクターアバタ（以下、単にアバタと呼ぶ。）を用いた配信コンテンツが普及しつつある。配信コンテンツの例として、演者のアバタによるライブコンテンツがある。こうしたライブコンテンツでは、配信手法にも種々の工夫がなされている。興味深いライブコンテンツの例として、最近、３Ｄ表示の演者のアバタがオンラインゲーム上の仮想空間内でパフォーマンスを実施するコンテンツが配信された。

　例えばオンラインゲームが提供するメタバースサービスや、ＶＲ－ＨＭＤ（Head Mount Display）、空間再現ディスプレイ（Spatial Reality display）などのＸＲ（X-reality）ディスプレイは、今後ますます普及すると予想される。ＸＲディスプレイでは、仮想空間内にアバタなどのキャラクターを３Ｄ表示することで、実在感や没入感を高めることができる。このようなＸＲディスプレイの普及に伴い、３Ｄ表示のアバタを用いたライブコンテンツなどの配信サービスの分野は今後ますます盛況になると考えられる。

特開２００２－７４８３８号公報

　現状の一般的なライブコンテンツで再生されるアバタのモーションは、モーションキャプチャによる撮影に基づくアセットであるか、又は、制作者が予め創作したアセットによって実現される。なお、アセットとは、例えばアバタを構成する複数のボーンと、ボーンを動作させるためのシーケンス情報とを含むデータを意味する。そして、通常、すべての視聴者に対し同じモーションのアバタが再生される。

　そのため、これまでのライブコンテンツは、例えば視聴者の動きに合わせたアバタのリアクションなどが行われておらず、配信者から視聴者への一方向のコンテンツになっており、インタラクション性に乏しかった。すなわち、一般的なライブコンテンツでは、視聴者側の状況は考慮されておらず、視聴者に対して個人化処理されたコンテンツの提供はなされていない。

　現実のライブ（コンサート）では、演者と観客の掛け合いやその場で起きたことに対するリアクションが発生し、これが、一体感や体験のプレミアム感の提供や共有につながる。仮想空間でのライブであっても、このような双方向のリアクションを実現すれば、視聴者をより魅了するコンテンツを提供できると考えられる。

　なお、予め用意された複数種類のモーションデータの組合せによりモーションを合成したり、音声に合わせた口のモーションを合成したりする技術は既に知られている。しかしながら、このような既知の技術は、ゲームなどで発生したイベントや入力に応じて合成されたモーションを生成するのみである。そのため、各視聴者が実際のライブで行うような動作に応じてモーションを変化させるような個人化処理については考慮されていない。したがって、現実のライブに近い双方向のリアクションを実現することは困難である。

　また、上記のようなライブコンテンツは、多人数マルチプレイを実現する仮想空間でオンライン配信されることがある。この際、同時参加人数に制限はないが、１つのサーバから多数のクライアント装置（視聴者）に配信を行うと、処理負荷が大きくなる。そこで、処理負荷の軽減のために、例えば１００人程度の視聴者毎に対応するサーバーインスタンスをサーバ上に複数生成して、クライアント装置を分散することにより、数万人規模が参加可能なライブコンテンツの配信を実現することがある。

　上記のように複数のサーバーインスタンスを生成した場合には、コンテンツ配信の負荷は軽減できる。しかしながら、同一のコンテンツ(モーション)を複数のサーバーインスタンス経由で配信しているため、各視聴者の動きやリアクションを配信側にフィードバックしても、リアルタイムでインタラクションや、視聴者に合わせたリアクションを行うことは難しい。

　また、サーバからコンテンツを配信する場合、データのエンコード・デコードや、コンテンツ再生時の計算処理、ネットワーク遅延により、配信からコンテンツ視聴までに数秒から数分のラグが発生することも考えられる。このようなラグも各視聴者に合わせた双方向のインタラクション又はリアクションの実現の障壁となり得る。そのため、個人化処理されたコンテンツの提供を実現する場合、配信環境も懸念される。

　本開示は上記事情を考慮してなされたものであり、付加価値の高いコンテンツを提供できる情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム及び記録媒体を提供する。

　本開示の情報処理装置は、コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するモーション制御部を備える。

　本開示の情報処理方法は、コンテンツを視聴するユーザの前記コンテンツに対する認識情報を取得する処理と、前記認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更する処理と、を有する。

　本開示の情報処理システムは、サーバ装置と、前記サーバ装置の制御によりコンテンツを再生させるクライアント装置と、を備え、前記サーバ装置及び前記クライアント装置のうちの少なくともいずれかが、前記クライアント装置で前記コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するモーション制御部を有する。

　本開示のコンピュータプログラムは、コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するステップをコンピュータに実行させる。

　本開示の記録媒体は、コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するステップをコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。

第１実施形態に係る情報処理システムの構成例を示す図。第１実施形態に係る情報処理システムを構成するコンテンツデータ配信装置のブロック図。第１実施形態に係る情報処理システムを構成するサーバ装置及びクライアント装置それぞれのブロック図。第１実施形態に係るコンテンツデータ配信装置の動作の一例を示すフローチャート。第１実施形態に係るコンテンツデータ配信装置が作成するオブジェクトモーションデータによりモーションを再現するオブジェクトの正面図。図５Ａに対応するオブジェクトの側面図。図５Ａに対応するオブジェクトの上面図。図５Ａ～Ｃとは異なるモーションを再現するオブジェクトの側面図。図５Ａ～Ｃ及び図６とは異なるモーションを再現するオブジェクトの正面図。コンテンツ内のオブジェクトに設定されるモーション変更に関する許容度の一例を説明する図。コンテンツ内のオブジェクトに設定されるモーション変更に関する許容度の一例を説明する図。コンテンツ内のオブジェクトに設定されるモーション変更に関する許容度の一例を説明する図。クライアント装置側で表示されるコンテンツ内のオブジェクトのモーションをユーザのコンテンツに対する認識情報に基づき変更する際に用いるモーション変更ロジックを説明する概念図。第１実施形態に係るサーバ装置の動作の一例を示すフローチャート。第１実施形態に係るクライアント装置の動作の一例を示すフローチャート。第１実施形態に係るクライアント装置が表示装置に表示される仮想空間内にコンテンツを表示した際の状態の一例を説明する図。コンテンツ内のオブジェクトのモーションをモーション変更ロジックに基づき変更した変更後モーションの一例を説明する図。モーション変更ロジックに基づき変更された変更後モーションが破綻と判定される場合の一例を説明する図。図１５とは異なる変更後モーションの一例を説明する図。図１６とは異なる、破綻と判定される変更後モーションの一例を説明する図。図１５及び図１７とは異なる変更後モーションの一例を説明する図。コンテンツ内の複数のオブジェクトのモーションをモーション変更ロジックに基づき変更した変更後モーションの一例を説明する図。表示装置として空間再現ディスプレイを使用した第１実施形態の変形例を説明する図。表示装置としてヘッドマウントディスプレイを使用した第１実施形態の変形例を説明する図。第２実施形態に係る情報処理システムを構成するコンテンツデータ配信装置、サーバ装置及びクライアント装置それぞれのブロック図。第２実施形態に係るサーバ装置の動作の一例を示すフローチャート。第２実施形態に係るクライアント装置の動作の一例を示すフローチャート。実施形態に係るコンテンツデータ配信装置、サーバ装置及びクライアント装置を構成し得る情報処理装置のハードウェア構成の一例を示す図。

　以下、図面を参照して、本開示の実施形態について説明する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。

＜＜第１実施形態＞＞
　図１は、第１実施形態に係る情報処理システムＳ１の構成例を示す。図１に示す情報処理システムＳ１は、コンテンツデータ配信装置１０、サーバ装置２０、複数のクライアント装置３０、及び複数の表示装置３１を備える。コンテンツデータ配信装置１０、サーバ装置２０及びクライアント装置３０は、それぞれ相互に通信ネットワーク４０を介して接続され、双方向に通信可能である。

　通信ネットワーク４０は、インターネットなどのワイドエリアネットワークでも、無線ＬＡＮ（Local Area Network）又はイーサネット（登録商標）などのローカエルネットワークでもよい。クライアント装置３０はユーザが操作する装置である。クライアント装置３０は、コンテンツデータ配信装置１０又はサーバ装置２０から提供されるコンテンツを表示装置３１に表示させる。この際、サーバ装置２０は、各クライアント装置３０においてコンテンツが同時に再生されるように、すなわちマルチプレイで再生されるように制御を行う。

　本実施形態では、コンテンツを再生するための各種データが、コンテンツデータ配信装置１０からクライアント装置３０に予め提供される。そして、サーバ装置２０が、クライアント装置３０からの再生要求に応じて、クライアント装置３０におけるコンテンツの再生に関する制御を行う。ただし、本開示は、このような再生手法に限られるものではない。コンテンツを再生するための各種データが例えばサーバ装置２０からクライアント装置３０に提供されてもよく、特にリアルタイムで提供されてもよい。

　以下、情報処理システムＳ１を構成するコンテンツデータ配信装置１０、サーバ装置２０、クライアント装置３０、及び表示装置３１について説明する。

＜コンテンツデータ配信装置＞
　図２は、コンテンツデータ配信装置１０のブロック図を示す。コンテンツデータ配信装置１０は、コンテンツを再生するための各種データ、アプリケーションなどを生成及び配信する装置である。コンテンツデータ配信装置１０は、例えば配信サービスを提供する企業などにおいてコンテンツの作成者が使用する装置でもよい。

　コンテンツデータ配信装置１０は、ハードウェア的には、ＣＰＵ、各種記憶装置、入出力インタフェースなどを含む情報処理装置（コンピュータ）などで構成され得る。この場合、コンテンツデータ配信装置１０が実現する各種機能は、記憶装置から展開されたコンピュータプログラムによって実現され得る。

　図２に示すコンテンツデータ配信装置１０は、モーション素材取得ユニット１００と、モーションデータ生成ユニット１１０とを有している。モーション素材取得ユニット１００及びモーションデータ生成ユニット１１０は、１つの情報処理装置で構成されてもよい。または、モーション素材取得ユニット１００及びモーションデータ生成ユニット１１０は、それぞれ別の情報処理装置で構成されてもよい。

　モーション素材取得ユニット１００は、モーションキャプチャ部１０１と、モーション編集部１０２と、を含む。モーションデータ生成ユニット１１０は、モーション取込部１１１と、モーション成形部１１２と、モーション変更許容度設定部１１３と、モーション変更ロジック設定部１１４と、再生用アプリケーション生成部１１５と、通信部１１６と、を含む。これら各部は、記憶装置から展開されたコンピュータプログラムによって実現され得る。

　モーションキャプチャ部１０１は、図２に示すように、例えば演者Ｐのパフォーマンス時の実モーションをモーションキャプチャ技術によりデジタル情報のモーション素材として取得する。使用するモーションキャプチャ技術は、例えば演者に取り付けた複数のマーカを複数の撮像装置で撮像する光学式、演者に加速度センサを取り付けて位置情報を解析する慣性センサ方式、撮像した演者の実モーションを解析する映像解析方式などでもよい。

　モーション素材は、例えば（１）関節を介して接続される演者Ｐに対応する複数のボーン、（２）ボーンに対応するポリゴンなどで構成される身体の部位、（３）演者Ｐの実モーションに従ったボーンのモーションを再現させるモーション情報（例えばシーケンス情報や、いわゆるスクリプト）、（４）モーションの再生速度情報、などを含む。モーション情報は、時系列に変化するオブジェクトのモーションの順序を定める情報である。本実施形態では複数のボーン及びそれに対応する身体の部位が、オブジェクトとしての演者Ｐのアバタを構成する。以下において、ボーン、又はボーン及びそれに対応する身体の部位のことを、オブジェクトを構成する要素オブジェクトと呼ぶ場合がある。

　モーション編集部１０２は、モーションキャプチャ部１０１が取得した上述のモーション素材を、作成者の操作に応じて又は自動で編集する。編集内容は、オブジェクトの形状や位置の成形や修正などでもよい。モーションキャプチャ部１０１で取得したモーション素材では、演者Ｐの特定の部位の動作を撮像装置などで適正に取得できない状況などが生じ得る。このような場合に、モーション編集部１０２は、演者の特定の部位の動作を自然な動作にするなどの編集を行う。そして、モーション編集部１０２は、編集後又はそのままのモーション素材をモーションデータ生成ユニット１１０に提供する。

　モーションデータ生成ユニット１１０では、モーション取込部１１１が、モーション編集部１０２から上述のモーション素材を取得し、モーション成形部１１２に提供する。モーション成形部１１２は、コンテンツの作成者の操作に応じて又は自動で、モーション取込部１１１から提供されたモーション素材を成形する。

　モーションデータ生成ユニット１１０が有するモーション素材に対する各種編集処理機能は、モーション編集部１０２からのモーション素材との互換性が良好でない場合がある。このような場合に、モーション成形部１１２は、モーションデータ生成ユニット１１０で扱いやすい形式にモーション素材を成形する。モーションデータ生成ユニット１１０の各種機能の少なくとも一部は汎用性のあるゲームエンジンで実現できる場合がある。このような場合、モーション素材とモーションデータ生成ユニット１１０側の機能との互換性が良好でない状況が生じ得る。この際、モーション成形部１１２がモーション素材を成形することで、効率的に処理を行うことが可能となる。

　モーション成形部１１２は、上述のモーション素材をオブジェクトモーションデータとして生成する。オブジェクトモーションデータは、基本的にはモーション素材と同じデータ構造であり、（１）複数のボーン、（２）それに対応する身体の部位、（３）演者Ｐの実モーションに従ったボーンのモーションを再現させるモーション情報、（４）モーションの再生速度情報、などを含む。

　モーション変更許容度設定部１１３は、上述のオブジェクトモーションデータによりモーションが再現されるオブジェクトに対し、モーションの変更の許容度を設定するものである。モーション変更許容度設定部１１３における許容度の設定は、例えばコンテンツの作成者の操作に応じて又は自動で行われる。詳細は後述するが、本実施形態では、コンテンツ内の演者Ｐに対応するオブジェクトが表示装置３１に表示された際、表示装置３１に表示されるコンテンツに対するユーザの認識情報に基づき、モーション（厳密には、全体的なモーション中の一部のモーション）を変更できる。モーション変更許容度設定部１１３は、このようなモーションの変更に関する許容度を予め設定する際に用いられる。

　許容度は、高いほど、モーションの変更を大きく反映させ、低いほど、モーションの変更の影響を抑えるようにするための指標である。許容度は、例えば０％～１００％の範囲で設定される。許容度の設定手法は特に限られるものではないが、例えば、重要度の低いモーションについては許容度が高く設定され、重要度の高いモーションについては許容度が低く設定される。重要度の低いモーションは、例えば演者Ｐがステージ上を歩きながら歌っている動作、ステージ上を単に歩いている動作、曲の間の待機時や無言時などでもよい。重要度の高いモーションは、曲の間のスピーチのシーンや、激しくダンスをしているシーンなどでもよい。つまり、許容度は、モーションの内容に応じて異なる値を設定され得る。すなわち、全体的なモーション中の一部のモーションの内容に応じて、オブジェクトに対して異なる許容度の値が設定され得る。

　また、本実施形態では、オブジェクトモーションデータに含まれるボーン、厳密にはボーンデータが、要素オブジェクトに対応する複数のボーンからなる。この場合、オブジェクトのモーションは、各ボーン、つまり各要素オブジェクトに設定された要素モーションの組合わせによって構成される。本実施形態では、上述の許容度が要素モーションの変更に関する許容度として要素オブジェクトごとに定められる。つまり、モーション変更許容度設定部１１３は、各要素オブジェクトごとに許容度を設定する。なお、要素モーションは、例えば、要素オブジェクトが対応する関節に対して姿勢を相対的に変化させる動き、及び／又は、各要素オブジェクト自体の状態が変化する動き（口を動かすなど）で構成される。

　モーション変更ロジック設定部１１４は、上述のようにユーザの認識情報に基づきモーションを変更する際の変更パターンが定められるモーション変更ロジックを作成する。モーション変更ロジック設定部１１４は、例えばコンテンツの作成者の操作に応じてモーション変更ロジックを予め作成する際に用いられる。モーション変更ロジックは、コンテンツに対するユーザの認識情報と、認識情報に対応するモーションの変更パターンとの関係を定める情報である。モーション変更ロジックは、例えばテーブルとして作成される。

　ユーザの認識情報は、クライアント装置３０側で検出される情報であり、例えば、ユーザの位置、視線、ジェスチャー、操作部に対する操作、これらの組合わせなどである。変更パターンは、例えばユーザの位置に向けた演者Ｐに対応するオブジェクトの移動パスの変更、ユーザの視線に向けたオブジェクトの頭部及び視線の方向の変更、ユーザに向けてオブジェクトが笑ったり、手を振ったりするような動作を加える変更などである。

　モーション変更ロジックは、クライアント装置３０側に展開され、クライアント装置３０側で再生中のコンテンツに対するユーザの認識情報に基づき、再生中のオブジェクトのモーションをクライアント装置３０が変更する際に使用される。

　詳細は後述するが、クライアント装置３０は、モーション変更ロジックに基づきオブジェクトのモーションを変更する場合、まず、検出される認識情報に対応するモーションの変更パターンを決定する。そして、変更パターンが特定された後、変更の対象となるモーションにおいてオブジェクトに設定されている許容度に基づき、変更される要素オブジェクトの部位を選択し、且つ選択した部位の変更パターンに基づく変更の程度を決定する。

　許容度に基づき、変更される要素オブジェクトの部位を選択する処理とは、例えば、変更パターンとして手を振る動作が選択された際、許容度が高い例えば左手側を、モーションを変更する部位として選択する処理などを意味する。また、許容度に基づき選択された部位の変更の程度を決定する処理とは、変更パターンとして手を振る動作が選択された際、変更する部位の許容度が５０％である場合には、変更パターンで定める手を振る動作を５０％反映させた動きで、つまり、変更パターンで定める手を振る動作よりも小さい動きで、手を振る動作のモーションを実施することを決定する処理などを意味する。

　また、上述のようなコンテンツに対するユーザの認識情報は、同時に複数パターンで検出され得る。この際、変更パターンが競合する状況が起こり得る。このような状況を考慮し、本実施形態におけるモーション変更ロジックでは、変更パターンに優先度が設定され、優先度に基づき変更パターンが選択されるようにする。モーション変更ロジック設定部１１４は、このような優先度の設定も行う。以上のようなモーション変更ロジックは、図１１などを用いて詳述する。

　再生用アプリケーション生成部１１５は、上述のようにして作成されたオブジェクトモーションデータと、これに設定される許容度及びモーション変更ロジックと、オブジェクトモーションデータによってモーションを再現されるオブジェクトと協働してコンテンツを形成するステージなどの周辺部分のデータ及び／又は他のオブジェクトのオブジェクトモーションデータと、予め作成されたサーバ用アプリケーション及びクライアント用アプリケーションと、を記録する。そして、再生用アプリケーション生成部１１５は、これらの情報を元に、サーバ装置２０に提供するサーバ再生用データと、クライアント装置３０に提供するクライアント再生用データとを加工する。

　サーバ再生用データには、サーバ用アプリケーションと、少なくともオブジェクトモーションデータにおけるモーション情報及び再生速度情報と、が含まれる。クライアント再生用データには、クライアント用アプリケーション、オブジェクトモーションデータ、これに設定される許容度及びモーション変更ロジック、オブジェクトモーションデータによってモーションを再現されるオブジェクトと協働してコンテンツを形成するステージなどの周辺部分のデータ及び／又は他のオブジェクトのオブジェクトモーションデータが含まれる。

　サーバ用アプリケーションは、サーバ装置２０に提供されるアプリケーションであり、サーバ装置２０が、クライアント装置３０におけるコンテンツの再生を制御する際に使用する。サーバ用アプリケーションは、コンテンツ内のオブジェクトのモーションを再現するモーション情報及びそのモーション情報によって再現されるモーションの再生タイミングの情報を決定する処理などをサーバ装置２０に実現させるコンピュータプログラムを含む。

　クライアント用アプリケーションは、クライアント装置３０に提供されるアプリケーションであり、クライアント装置３０が、サーバ装置２０からの制御信号に基づき、表示装置３１上でコンテンツを再生する際に使用する。クライアント用アプリケーションは、サーバ装置２０から受信する制御信号に基づきコンテンツを再生する処理、ユーザの認識情報を取得する処理、認識情報に基づきコンテンツ内のオブジェクトのモーションを変更する処理などをクライアント装置３０に実現させるコンピュータプログラムを含む。

　通信部１１６は、再生用アプリケーション生成部１１５が記録又は生成するサーバ用アプリケーション、クライアント用アプリケーションなどを、通信ネットワーク４０を介してサーバ装置２０又はクライアント装置３０などに送信する。

　通信部１１６は、サーバ装置２０からの要求に応じてサーバ用アプリケーションをサーバ装置２０に送信する。また、通信部１１６は、例えばオンラインストアに、クライアント用アプリケーション、オブジェクトモーションデータ、これに設定される許容度及びモーション変更ロジックなどを送信してもよい。この場合、オンラインストアが、クライアント装置３０からの要求に応じてクライアント用アプリケーション、オブジェクトモーションデータ、これに設定される許容度及びモーション変更ロジックなどを提供する。

　ただし、以上のようなアプリケーションの提供手法は特に限られるものではない。例えば、上記クライアント用アプリケーションなどは、コンテンツの配信企業のホームページからダウンロードされてもよいし、記録媒体に記録された状態又は情報処理装置に実装された状態でユーザに提供されてもよい。

＜サーバ装置＞
　図３は、サーバ装置２０のブロック図を示す。サーバ装置２０は、上述したようにクライアント装置３０におけるコンテンツの再生を制御する装置である。サーバ装置２０は、例えば配信サービスを提供する企業などのサーバ装置でもよい。サーバ装置２０は、ハードウェア的には、ＣＰＵ、各種記憶装置、入出力インタフェースなどを含む情報処理装置（コンピュータ）などで構成され得る。この場合、サーバ装置が実現する各種機能は、記憶装置から展開されたコンピュータプログラムによって実現され得る。

　図３に示すように、サーバ装置２０は、アプリケーションロジック制御部２０１、タイムライン制御部２０２、マルチプレイ制御部２０３、及び通信部２０４を含む。これら各部は、記憶装置から展開されたコンピュータプログラムによって実現され得るものであり、詳しくは、これら各部の少なくとも一部は上述のサーバ用アプリケーションによって実現される。

　アプリケーションロジック制御部２０１は、サーバ装置２０がクライアント装置３０からのコンテンツの再生要求を受け取った際に、クライアント装置３０側で表示するコンテンツ内のオブジェクトのモーションを再現するモーション情報を決定する。本実施形態では、アプリケーションロジック制御部２０１がコンテンツデータ配信装置１０から提供される上述サーバ用アプリケーションによって実現される。この場合、アプリケーションロジック制御部２０１が決定するモーション情報は、サーバ用アプリケーションとともにサーバ装置２０に提供されるオブジェクトのモーション情報に基づいて定められる。

　タイムライン制御部２０２は、上述のようにアプリケーションロジック制御部２０１がモーション情報を決定した際に、決定されたモーション情報の再生タイミング情報を決定する。再生タイミング情報は、モーション情報の再生開始タイミング、再生速度（フレームレートの切り替え速度）などである。本実施形態におけるタイムライン制御部２０２もサーバ用アプリケーションによって実現され、タイムライン制御部２０２が決定する再生タイミング情報は、サーバ用アプリケーションとともにサーバ装置２０に提供されるオブジェクトの再生速度情報に基づいて定められる。

　上述したように、本実施形態では、サーバ装置２０が各クライアント装置３０においてマルチプレイでコンテンツが再生されるように制御を行う。マルチプレイ制御部２０３は、上述のようにしてアプリケーションロジック制御部２０１が決定するモーション情報及びタイムライン制御部２０２が決定する再生タイミング情報などを提供され、マルチプレイを行うための制御信号を生成する。

　マルチプレイ制御部２０３は、詳しくは、サーバ装置２０が複数のクライアント装置３０からコンテンツの再生要求を受け付けた際に、各クライアント装置３０側で表示されるコンテンツを同じタイミングで進行させるための制御信号を生成する。ここで、アプリケーションロジック制御部２０１が決定するモーション情報及びタイムライン制御部２０２が決定する再生タイミング情報は、コンテンツの再生のための上記制御信号の一部として加工される。

　また、本実施形態に係る情報処理システムＳ１は、クライアント装置３０のユーザが操作するアバタが存在する仮想空間内で、コンテンツを表示させる。この場合、仮想空間には、複数のクライアント装置３０のユーザのアバタが表示される。ここで、マルチプレイ制御部２０３は、このような各ユーザのアバタを仮想空間に表示させるための信号も制御信号の一部として生成する。

　マルチプレイ制御部２０３で生成されるコンテンツの再生のための制御信号には、上述のモーション情報に対応する信号、再生タイミング情報に対応する信号、及びアバタの表示のための信号に加えて、オブジェクトとともにコンテンツを形成する周辺部分を再生するためのデータに対応する信号や、音情報に関する信号なども含まれる。サーバ装置２０は、マルチプレイ制御部２０３により、このような制御信号を各クライアント装置３０に同じタイミングで提供することで、各クライアント装置３０においてマルチプレイでコンテンツ及び各ユーザのアバタが表示されることを実現する。

　通信部２０４は、例えばマルチプレイ制御部２０３から上述の制御信号を受け取り、通信ネットワーク４０を介して各クライアント装置３０に送信する。通信部２０４は、制御信号をエンコードしてクライアント装置３０に送信してもよい。また、通信部２０４は、サーバ用アプリケーションを受信する際にも用いられる。なお、本実施形態では、アプリケーションロジック制御部２０１及びタイムライン制御部２０２がサーバ用アプリケーションによって実現されるが、マルチプレイ制御部２０３がさらにサーバ用アプリケーションによって実現されてもよい。ただし、このようなアプリケーションロジック制御部２０１、タイムライン制御部２０２などの具現化手法は特に限られるものでない。

＜クライアント装置＞
　クライアント装置３０は、上述したようにサーバ装置２０の制御によりコンテンツを表示装置３１に表示させる装置である。クライアント装置３０は、ハードウェア的には、ＣＰＵ、各種記憶装置、入出力インタフェースなどを含む情報処理装置（コンピュータ）などで構成され得る。この場合、サーバ装置が実現する各種機能は、記憶装置から展開されたコンピュータプログラムによって実現され得る。

　図３にはクライアント装置３０のブロック図も示されている。クライアント装置３０は、通信部３０１、マルチプレイ制御部３０２、アプリケーションロジック制御部３０３、タイムライン制御部３０４、ユーザ認識情報取得部３０５、モーション生成部３０６、モーション制御部３０７、及び描画再生部３０８を含む。これら各部は、記憶装置から展開されたコンピュータプログラムによって実現され得るものであり、詳しくは、これら各部の少なくとも一部は上述のクライアント用アプリケーションによって実現される。

　本実施形態では、コンテンツの再生に先立ち、クライアント装置３０が、クライアント用アプリケーション、オブジェクトモーションデータ、これに設定される許容度及びモーション変更ロジック、オブジェクトモーションデータによってモーションを再現されるオブジェクトと協働してコンテンツを形成するステージなどの周辺部分のデータ及び／又は他のオブジェクトのオブジェクトモーションデータなどの各種データを受信する。この際、通信部３０１は、通信ネットワーク４０を介してコンテンツデータ配信装置１０から上述の各種データを受信する。また、通信部３０１は、クライアント装置３０でコンテンツを再生する際、サーバ装置２０にコンテンツの再生要求を送信する。また、通信部３０１は、この再生要求に応じてサーバ装置２０が送信するコンテンツの再生のための制御信号を受信する。

　マルチプレイ制御部３０２は、通信部３０１がサーバ装置２０からの上述の制御信号を受信した際に、通信部３０１から制御信号を受け取る。この際、マルチプレイ制御部３０２は、制御信号のうちのオブジェクトのモーションを再現するためのモーション情報に対応する信号を、アプリケーションロジック制御部３０３に送る。また、マルチプレイ制御部３０２は、再生タイミング情報に対応する信号を、タイムライン制御部３０４に送る。また、マルチプレイ制御部３０２は、他の信号、例えば、オブジェクトとともにコンテンツを形成する周辺部分を再生するためのデータに対応する信号、他のユーザに対応するアバタを表示するための信号、音情報に関する信号などは、描画再生部３０８に送る。

　アプリケーションロジック制御部３０３は、上述したサーバ装置２０からのモーション情報に対応する信号をマルチプレイ制御部３０２から受け取り、かかる信号に基づき、コンテンツ内のオブジェクトのモーションを再現するモーション情報を決定する。タイムライン制御部３０４は、上述したサーバ装置２０からの再生タイミングに対応する信号を上述のようにマルチプレイ制御部３０２から受け取り、かかる信号に基づき、アプリケーションロジック制御部３０３が決定するモーション情報の再生タイミングを決定する。再生タイミングは、再生開始タイミング、再生速度（フレームレートの切り替え速度）などである。

　コンテンツ内のオブジェクトの基本的なモーションは、以上に説明したアプリケーションロジック制御部３０３が決定するモーション情報及びタイムライン制御部３０４が決定する再生タイミングにより定まる。アプリケーションロジック制御部３０３は、決定したモーション情報をモーション制御部３０７に送り、タイムライン制御部３０４は、決定した再生タイミングをモーション制御部３０７に送る。また、サーバ装置２０からの制御信号に他のオブジェクトのモーション情報及び再生タイミング情報に対応する信号が含まれる場合には、アプリケーションロジック制御部３０３及びタイムライン制御部３０４は、他のオブジェクトに関するモーション情報及び再生タイミングも決定し、モーション制御部３０７に送る。

　詳細は後述するが、モーション制御部３０７は、コンテンツ内のオブジェクトのモーションを、アプリケーションロジック制御部３０３からのモーション情報により再現するか、又は、このモーション情報をユーザ認識情報取得部３０５が検出する認識情報に基づき変更して再現するかを決定する。モーションを変更する場合には、ユーザ認識情報取得部３０５で検出される認識情報に基づき、モーション生成部３０６が後述の差し替えモーション情報を生成し、この差し替えモーション情報が、アプリケーションロジック制御部３０３が決定したモーション情報に反映される。

　ユーザ認識情報取得部３０５は、コンテンツの再生とともに機能し、コンテンツを視聴しているユーザのコンテンツに対する認識情報を取得する。ユーザの認識情報は、上述したように、例えば、ユーザの位置、視線、ジェスチャー、操作部に対する操作、及びこれらの組合わせなどである。本実施形態では、クライアント装置３０のユーザが操作するアバタが存在する仮想空間内でコンテンツが表示される。このように仮想空間内でコンテンツを表示する場合、ユーザ認識情報取得部３０５は、ユーザの位置として、仮想空間に表示されるコンテンツ内のオブジェクトとユーザが操作するアバタとの相対的な位置を検出する。また、ユーザ認識情報取得部３０５は、ユーザの視線として、ユーザが操作するアバタの視線を検出する。また、ユーザ認識情報取得部３０５は、ユーザのジェスチャーとして、ユーザが操作するアバタのジェスチャーを検出する。

　なお、表示装置３１がヘッドマウントディスプレイである場合には、コンテンツが、ユーザが直接的に視認する仮想空間又は拡張現実空間内に表示されてもよい。この場合、ユーザ認識情報取得部３０５は、ユーザの位置として、ヘッドマウントディスプレイの位置に基づいてオブジェクトとユーザの視点との相対位置を検出する。また、ユーザ認識情報取得部３０５は、ユーザの視線として、ヘッドマウントディスプレイの姿勢及び／又はユーザの視線を内部のセンサで検出する。また、ユーザ認識情報取得部３０５は、ユーザのジェスチャーとして、ヘッドマウントディスプレイを装着しながらユーザが腕などに取り付けたセンサによりジェスチャーを検出する。また、表示装置３１が空間再現ディスプレイ（Spatial Reality display）である場合には、空間再現ディスプレイにコンテンツが立体的に表示される。この場合、空間再現ディスプレイに取り付けられたセンサでユーザの顔が検出され得る。この場合、このセンサの検出情報から、ユーザ認識情報取得部３０５がユーザの位置、視線、ジェスチャーを検出してもよい。

　モーション生成部３０６は、上述のようにしてユーザ認識情報取得部３０５が認識情報を検出した場合に、ユーザ認識情報取得部３０５から認識情報を受け取る。そして、モーション生成部３０６は、認識情報とモーション変更ロジックとに基づき、オブジェクトのモーション情報を変更した差し替えモーション情報を生成する。詳しくは、この際、モーション生成部３０６は、まず認識情報とモーション変更ロジックとに基づき変更パターンを特定する。次いで、モーション生成部３０６は、認識情報が検出された後のコンテンツ内のオブジェクトのモーション情報（本実施形態では、モーション情報の一部）を変更パターンに基づき変更し、これにより、差し替えモーション情報を生成する。

　モーション生成部３０６は、より詳しくは、変更パターンが特定された後、変更の対象となるモーションにおいてオブジェクトに設定されている許容度に基づき、変更の対象とする要素オブジェクトの部位を選択する。次いで、モーション生成部３０６は、選択された要素オブジェクトの要素モーション情報を変更パターンに基づき変更し、基本的なモーションを規定するモーション情報とは異なる差し替えモーション情報を生成する。

　モーション制御部３０７は、上述したようにアプリケーションロジック制御部３０３が決定するモーション情報及びタイムライン制御部３０４が決定する再生タイミングを受け取るとともに、モーション生成部３０６で変更後モーション情報が生成された場合には、変更後モーション情報をモーション生成部３０６から受け取る。そして、モーション制御部３０７は、受け取った情報に基づき、コンテンツ内のオブジェクトのモーションをアプリケーションロジック制御部３０３からのモーション情報により再現するか、又は、このモーション情報をユーザ認識情報取得部３０５が検出する認識情報に基づき変更して再現するかを決定する。

　モーション制御部３０７は、詳しくは、アプリケーションロジック制御部３０３が決定するモーション情報及びタイムライン制御部３０４が決定する再生タイミングのみを受け取っている場合には、コンテンツ内のオブジェクトのモーションをアプリケーションロジック制御部３０３が決定したモーション情報により再現することを決定する。この場合、モーション制御部３０７は、アプリケーションロジック制御部３０３が決定したモーション情報をそのまま描画再生部３０８に提供する。

　一方で、モーション制御部３０７は、アプリケーションロジック制御部３０３が決定するモーション情報及びタイムライン制御部３０４が決定する再生タイミングと、差し替えモーション情報と、を受け取った場合には、アプリケーションロジック制御部３０３が決定したモーション情報に差し替えモーション情報を反映させた変更後モーション情報を生成する。

　変更後モーション情報を生成する際には、アプリケーションロジック制御部３０３が決定したモーション情報に差し替えモーション情報を反映させる程度が、許容度に基づき決定される。例えば、変更パターンとして手を振る動作が選択された際には、変更パターンで定める手を振る動作に対応する差し替えモーション情報が生成される。ここで、変更の対象となる要素オブジェクトの許容度が５０％である場合には、変更後モーション情報として、差し替えモーション情報の５０％が、アプリケーションロジック制御部３０３が決定したモーション情報に反映された情報が生成される。

　ただし、モーション制御部３０７は、上述のように変更後モーション情報を生成した場合、変更後モーション情報によって再現されるオブジェクトの変更後モーションが予め定められた許容動作範囲を越えるか否かを判定する。変更後モーションが許容動作範囲を越える場合とは、例えばオブジェクトがステージ上を歩くモーションにおいて、オブジェクトがステージ外で宙に浮いて歩く状況や、オブジェクトが関節の可動域を越えて動作する状況などである。許容動作範囲は、ステージの歩行可能範囲や、身体の限界の可動域などを意味する。

　そして、変更後モーションが許容動作範囲を越えないと判定される場合、モーション制御部３０７は、変更後モーション情報を描画再生部３０８に提供する。一方、変更後モーションが許容動作範囲を越えると判定される場合には、モーションの変更を行わないか、又は、変更後モーションを補正する。補正は、アプリケーションに組み込まれた例えばＩＫ(Inverse Kinematics)によって処理されてもよい。

　本実施形態では変更後モーションが許容動作範囲を越えると判定される場合に、モーション制御部３０７は、変更後モーションを補正した後、補正した変更後モーションが許容動作範囲を越えるか否かを判定する。そして、補正した変更後モーションが許容動作範囲を越えないと判定される場合、モーション制御部３０７は、変更後モーション情報を描画再生部３０８に提供する。一方、補正した変更後モーションが許容動作範囲を越えると判定される場合には、モーション制御部３０７は、モーションの変更を行わないことを決定し、アプリケーションロジック制御部３０３からのモーション情報をそのまま描画再生部３０８に提供する。

　描画再生部３０８は、アプリケーションロジック制御部３０３が決定したモーション情報又はモーション制御部３０７が生成した変更後モーション情報と、タイムライン制御部３０４が決定する再生タイミングと、をモーション制御部３０７から受け取る。そして、描画再生部３０８は、受け取った情報に従うモーションのオブジェクトが表示装置３１に表示されるように処理（レンダリング）する。この際、描画再生部３０８は、マルチプレイ制御部３０２から提供される例えばオブジェクトとともにコンテンツを形成する周辺部分を再生するためのデータに対応する信号、他のユーザに対応するアバタを表示するための信号及び音情報に関する信号を受け取っている場合には、これら信号に基づくコンテンツ構成要素などの表示の処理（レンダリング）も行う。

＜表示装置＞
　図１及び図３に示したように、表示装置３１はクライアント装置３０に電気的に接続されており、上述したクライアント装置３０の描画再生部３０８の処理により仮想空間やコンテンツを表示する。表示装置３１にはオブジェクトを含むコンテンツなどが表示され、ユーザはコンテンツを視聴できる。この際、本実施形態では、上述したようにコンテンツに対するユーザの認識情報に応じて、オブジェクトのモーションが変化され得る。これにより、ユーザはコンテンツにおいてインタラクション性を得ることが可能となる。

　表示装置３１は、ＬＣＤ（液晶ディスプレイ）、有機エレクトロルミネッセンスディスプレイ、ＰＤＰ（プラズマディスプレイ）、ヘッドアップディスプレイ、空間再現ディスプレイなどでもよい。本実施形態では、一例として、表示装置がＬＣＤであり、ＬＣＤに表示される仮想空間内にコンテンツを表示する態様を想定している。なお、クライアント装置３０は表示装置３１に内蔵されてもよいし、表示装置３１とは別の装置として有線又は無線によりクライアント装置３０に接続されてもよい。

＜情報処理システムの各部動作＞
　以下、コンテンツデータ配信装置１０、サーバ装置２０及びクライアント装置３０の動作について説明する。

（コンテンツデータ配信装置の動作）
　図４は、コンテンツデータ配信装置１０の動作の一例を説明するフローチャートを示す。以下、図２及び図４を参照しつつコンテンツデータ配信装置１０の動作の一例を説明する。

　図４に示すように、コンテンツデータ配信装置１０は、まず、オブジェクトモーションデータを作成する（Ｓ４１）。オブジェクトモーションデータは、モーションキャプチャ部１０１が取得したモーション素材が、モーション編集部１０２、モーション取込部１１１及びモーション成形部１１２を経て作成される。

　オブジェクトモーションデータが作成された後、コンテンツデータ配信装置１０は、オブジェクトモーションデータによりモーションが再現されるオブジェクトに対し、モーションの変更の許容度を設定する（Ｓ４２）。この設定は、モーション変更許容度設定部１１３により行われる。本実施形態では、詳しくは、オブジェクトを構成するボーン（要素オブジェクト）ごとに許容度が設定される。また、許容度は、時系列に変化するモーションの内容に応じて異なる値が設定される。

　許容度が設定された後、コンテンツデータ配信装置１０は、モーション変更ロジックを作成し、モーション変更ロジック内に定められる変更パターンに優先度を設定する（Ｓ４３）。この処理は、モーション変更ロジック設定部１１４により行われる。

　モーション変更ロジックが作成された後、コンテンツデータ配信装置１０は、サーバ装置２０に提供するサーバ再生用データと、クライアント装置３０に提供するクライアント再生用データとを加工する（Ｓ４４）。この処理は、再生用アプリケーション生成部１１５により行われる。上述したように、サーバ再生用データには、サーバ用アプリケーションと、少なくともオブジェクトモーションデータにおけるモーション情報及び再生速度情報とが含まれる。クライアント再生用データには、クライアント用アプリケーション、オブジェクトモーションデータと、これに設定される許容度及びモーション変更ロジック、オブジェクトモーションデータによってモーションを再現されるオブジェクトと協働してコンテンツを形成するステージなどの周辺部分のデータ及び／又は他のオブジェクトのオブジェクトモーションデータが含まれる。

　その後、コンテンツデータ配信装置１０は、サーバ装置２０、クライアント装置３０、オンラインストアなどからのアプリケーション送信要求の有無を監視する（Ｓ４５）。そして、送信要求があった場合には、サーバ装置２０にサーバ再生用データを送信するか、又は、クライアント装置３０に直接的に又はオンラインストアなどを介して、クライアント再生用データを送信する（Ｓ４６）。そして、この例では、送信要求の有無を監視中に要求受付停止指示を受信した場合（Ｓ４７でＹＥＳ）に、コンテンツデータ配信装置１０の処理が終了する。

（オブジェクトモーションデータの概念）
　ステップ４１で作成されるオブジェクトモーションデータの具体的なイメージを以下に説明する。図５Ａ～Ｃはそれぞれ、コンテンツデータ配信装置１０が作成するオブジェクトモーションデータによりモーションを再現するオブジェクトの正面図、側面図及び上面図である。図６は、図５Ａ～Ｃとは異なるモーションを再現するオブジェクトの側面図である。図７は、さらに異なるモーションを再現するオブジェクトの正面図である。

　コンテンツデータ配信装置１０が作成するオブジェクトモーションデータは、複数のボーン、それに対応する身体の部位、演者Ｐの実モーションに従ったボーンのモーションを再現させるモーション情報、モーションの再生速度情報などを含む。ここで、図５Ａ（Ａ）における符号Ｂ１～Ｂ１５は、複数のボーン（要素オブジェクト）に対応する。オブジェクトモーションデータは、このようなボーンＢ１～Ｂ１５をモーション情報などにより動作させることで、図５Ａ～図７に示すような所定のモーションのオブジェクトを表示させるデータである。なお、ボーンＢ１～Ｂ１５は、図示の見やすさのために図５Ａ～Ｃ、図６、図７において適宜省略している。

　図５Ａ～Ｃは、（Ａ）→（Ｂ）→（Ｃ）の順で演者のオブジェクトＰ１がステージＳに対応するオブジェクト上を歩きながら歌っているモーションが再現される様子を示す。このようなモーションを再現するモーション情報は、複数のボーンＢ１～Ｂ１５の適所に、足を交互に前後させる動作を再現させる要素モーション情報、左手を繰り返し前後させる動作を再現させる要素モーション情報、歌っている際の口に対応する動作などを再現させる要素モーション情報などを設定することで構成される。

　図６は、（Ａ）→（Ｂ）→（Ｃ）の順で演者のオブジェクトＰ１がダンスをしているモーションが再現される様子を示す。このようなモーションを再現するモーション情報は、複数のボーンＢ１～Ｂ１５の適所に、足を交互に前後させる動作を再現させる要素モーション情報、腕を上下に動かす動作を再現させる要素モーション情報などを設定することで構成される。図７は、演者のオブジェクトＰ１がスピーチをしているモーションが再現される様子を示す。このようなモーションを再現させるモーション情報は、歌っている際の口に対応する動作などを再現させる要素モーション情報などから構成される。そして、オブジェクトの全体的なモーション情報は、上述のような各モーション情報が連なることで構成される。

　上述のステップＳ４１で作成されるオブジェクトモーションデータは、例えば上述した複数のボーンＢ１～Ｂ１５、それに対応する身体の部位、ボーンＢ１～Ｂ１５に設定される要素モーションで構成されるモーション情報、モーションの再生速度情報などを含むデータとして作成される。コンテンツに複数のオブジェクトを表示させる場合には、各オブジェクトに対応する複数のオブジェクトモーションデータが作成されるようにする。

（許容度設定の概念）
　以下の説明は、ステップ４２で行われる許容度の設定の具体的なイメージについての説明である。図８～図１０はそれぞれ、オブジェクトに設定されるモーション変更に関する許容度の一例を説明する図である。図８は、図５Ａ～Ｃに示したモーションを再現するオブジェクトＰ１に設定される許容度の例を示している。図９は、図６に示したモーションを再現するオブジェクトＰ１に設定される許容度の例を示している。図１０は、図７に示したモーションを再現するオブジェクトＰ１に設定される許容度の例を示している。

　図８は、オブジェクトＰ１がステージＳに対応するオブジェクト上を歩きながら歌っているモーションを示す。このモーションでは、マイクを握っている右手側の動きを変化させると自然なパフォーマンスが損なわれ得る。そのため、右手側の要素オブジェクトであるボーンＢ３、Ｂ４、Ｂ５に低い許容度（０％）が設定されている。一方、左手側は重要度の低いモーションといえる。そのため、左手側の要素オブジェクトであるボーンＢ６、Ｂ７、Ｂ８には高い許容度（１００％）が設定されている。また、オブジェクトＰ１の移動パスを変更しても大きな問題は生じないといえる。そのため、足に対応するボーンＢ１０～Ｂ１５には高い許容度（１００％）が設定されている。

　図９は、オブジェクトＰ１がダンスをしているモーションを示す。このモーションでは、例えば頭部以下の部位の動きを変化させると自然なパフォーマンスが損なわれ得る。そのため、頭部に対応するボーンＢ１よりも下に位置するボーンＢ２～Ｂ１５に対し低い許容度（０％）が設定されている。一方、頭部に対応するボーンＢ１は大きく変化されなければ自然なパフォーマンスを損なわないといえる。そのため、頭部に対応するボーンＢ１には許容度３０％が設定されている。

　図１０は、オブジェクトＰ１がスピーチをしているモーションを示す。このモーションでは、マイクを握っている右手側の動きを変化させると自然なパフォーマンスが損なわれ得る。そのため、右手側の要素オブジェクトであるボーンＢ３、Ｂ４、Ｂ５に低い許容度（０％）が設定されている。また、動かずにスピーチしている状態から急に歩き始めるのは、自然なパフォーマンスが損なわれ得る。そのため、足に対応するボーンＢ１０～Ｂ１５に低い許容度（０％）が設定されている。一方、頭部に対応するボーンＢ１には変更を許容するが、大きくは許容しないよう３０％の許容度が設定されている。また、左手側は自由度が高いため、左手側の要素オブジェクトであるボーンＢ６、Ｂ７、Ｂ８には高い許容度（８０％）が設定されている。

　上述のステップＳ４２の処理では、例えば、以上のようにしてボーンＢ１～Ｂ１５ごとに許容度が設定される。コンテンツに複数のオブジェクトを表示させる場合には、各オブジェクトに対応する許容度が設定される。また、オブジェクトモーションデータをリアルタイムで配信する場合には、許容度は自動で設定されてもよい。この場合、モーション変更許容度設定部１１３は、オブジェクトモーションデータの動きを解析して予め定められた基準で許容度を順次設定してもよい。

（モーション変更ロジックの概念）
　以下の説明は、ステップ４３で行われるモーション変更ロジックの作成の具体的なイメージについての説明である。図１１は、モーション変更ロジックを説明する概念図である。図１１における「ロジックタイトル」は、変更パターンの種別を示す。「認識情報」は、変更パターンに対応する認識情報の種別を示す。「変更パターン内容」は、モーションの変更内容を示す。「優先度」は、変更パターンごとに設定される優先度の値を示す。

　図１１に示すモーション変更ロジックの例では、変更パターンＩが、認識情報としてユーザの位置が検出された場合に、オブジェクトの移動パスをユーザ側に変更させるロジックを定める。
　変更パターンＩＩは、認識情報としてユーザの位置が検出された場合に、オブジェクトの頭部及び視線をユーザ側に変更させるロジックを定める。
　変更パターンＩＩＩは、認識情報としてユーザの位置、視線及びジェスチャーが検出された場合に、オブジェクトがユーザに向けて手を振る動作を合成するロジックを定める。
　変更パターンＩＶは、認識情報としてユーザの位置、視線及びジェスチャーが検出された場合に、オブジェクトがユーザに向けて微笑む動作を合成するロジックを定める。
　また、変更パターンＮは、認識情報としてユーザの位置及び視線が検出された場合に、変更後モーションを開始させるロジックを定める。

　以上のようなモーション変更ロジックを作成した場合、クライアント装置３０側でコンテンツを視聴しているユーザの認識情報として、例えばユーザの位置が検出された場合に、オブジェクトの移動パスをユーザ側に変更させる表示が可能となる（変更パターンＩ）。また、認識情報として例えばユーザの位置及び視線が検出された場合に、オブジェクトの頭部及び視線をユーザ側に変更させる表示が可能となる（変更パターンＩＩ）。

　また、図１１に示すモーション変更ロジックの例では、変更パターンＩに許容度ａ、変更パターンＩＩに許容度ｃ、変更パターンＩＩＩに許容度ｂ、変更パターンＩＶに許容度ｄが設定されている（ａ＞ｂ＞ｃ＞ｄ）。図１１に示すモーション変更ロジックの例では、認識情報として例えばユーザの位置及び視線が検出された場合に、変更パターンＩと、変更パターンＩＩとを選択可能となる。優先度は、このような競合状態となる場合において選択する変更パターンを決定するために設定されている。すなわち、この例では、優先度ａが優先度ｃよりも大きいため、変更パターンＩが選択されることになる。

　また、変更パターンＮは、変更後モーションの開始タイミングを調整するロジックである。例えば、認識情報としてユーザの位置が検出され、変更パターンが選択された場合、変更パターンに基づき変更後モーションを再現する変更後モーション情報が作成される（モーション生成部３０６）。この際、ユーザは認識情報を検出された後、視線をオブジェクトから外し、その後、再度オブジェクトに視線を向ける場合がある。変更パターンＮは、ユーザが視線をオブジェクトから外している場合には変更後モーションを開始させず、再度オブジェクトに視線を向ける場合に変更後モーションを開始させる制御を行うためのものである。

　上述のステップＳ４３の処理では、例えば、以上に説明したようなモーション変更ロジックが作成される。なお、上述したように、リアルタイムでコンテンツを配信する場合には、許容度は自動で設定されてもよい。一方で、以上に説明したモーション変更ロジックは、リアルタイムでコンテンツを配信する場合であっても、コンテンツ再生前にクライアント装置３０に予め提供しておくことが望ましい。本実施形態では、モーション変更ロジックで定める変更パターンに基づく変更を、シーケンス情報や、スクリプトでなるモーション情報の記述を変更することにより行うことを想定している。ただし、このような手法の他に、変更パターンが別撮りのオブジェクトモーションデータとして構成され、このデータの置換によりモーション変更が行われてもよい。

　以上のようにしてモーション変更ロジックが作成されると、モーション変更ロジックは、ステップＳ４１で作成されたオブジェクトモーションデータ、ステップＳ４２で設定した許容度、クライアント用アプリケーションなどともにクライアント再生用データとして加工される。クライアント装置３０は、クライアント再生用データを提供された後、サーバ装置２０にコンテンツの再生要求を送信し、サーバ装置２０からの制御信号を待つ。そして、サーバ装置２０が制御信号をクライアント装置３０に送信した後、クライアント装置３０側でのコンテンツの表示が開始される。

（サーバ装置の動作）
　図１２は、サーバ装置２０の動作の一例を説明するフローチャートを示す。以下、サーバ装置２０の動作の一例を説明する。

　図１２に示すように、サーバ装置２０はサーバ再生用アプリケーション（データ）を受信した後（Ｓ１２１）、クライアント装置３０からのコンテンツの再生要求を待つ（Ｓ１２２）。そして、再生要求を受信した場合（Ｓ１２２でＹＥＳ）、コンテンツ再生用の制御信号をクライアント装置３０に送信する（Ｓ１２３）。そして、サーバ装置２０は、再生終了の指示信号を受信するまで制御信号を送信し、再生終了の指示信号を受信した場合に処理を終了する（Ｓ１２４）。

　コンテンツ再生用の制御信号は、マルチプレイ制御部２０３により生成され、上述したようにアプリケーションロジック制御部２０１及びタイムライン制御部２０２からの情報に基づき生成される。コンテンツの再生のための制御信号には、モーション情報に対応する信号、再生タイミング情報に対応する信号、アバタ（ユーザ自身及び他のユーザのアバタ）の表示のための信号、オブジェクトとともにコンテンツを形成する周辺部分を再生するためのデータに対応する信号、音情報に関する信号などが含まれる。サーバ装置２０は、このような制御信号を各クライアント装置３０に同じタイミングで提供することで（Ｓ１２３）、各クライアント装置３０においてマルチプレイでコンテンツ及び各ユーザのアバタが表示されることを実現する。

（クライアント装置の動作）
　以下、図１３のフローチャートを参照してクライアント装置３０の動作の一例を説明する。図１３に示すように、クライアント装置３０は、クライアント再生用アプリケーション（データ）を受信し（Ｓ１２１）且つサーバ装置２０にコンテンツの再生要求を送信した後（Ｓ１３２）、サーバ装置２０からの制御信号を待つ（Ｓ１３３）。

　クライアント装置３０がサーバ装置２０からの制御信号を受信した場合には、制御信号のうちのオブジェクトのモーションを再現するためのモーション情報に対応する信号が、アプリケーションロジック制御部３０３に送られ、再生タイミング情報に対応する信号が、タイムライン制御部３０４に送られる。また、他の信号、例えば、オブジェクトとともにコンテンツを形成する周辺部分を再生するためのデータに対応する信号、他のユーザに対応するアバタを表示するための信号、音情報に関する信号などは、描画再生部３０８に送られる。以上の信号の送信処理は、マルチプレイ制御部３０２により行われる。

　ステップＳ１３３における処理後、クライアント装置３０は、ユーザ認識情報取得部３０５でユーザの認識情報が取得されるか否かを監視する（Ｓ１３４）。ここで、認識情報が取得されない場合には（Ｓ１３４でＮＯ）、サーバ装置２０からの制御信号に基づき、アプリケーションロジック制御部３０３が決定するモーション情報及びタイムライン制御部３０４が決定する再生タイミングにより定まるオブジェクトの基本的なモーションで、オブジェクトが再生される（Ｓ１４１）。

　一方、認識情報が取得された場合（Ｓ１３４でＹＥＳ）、クライアント装置３０は、認識情報とモーション変更ロジックとに基づき変更パターンを選択し、変更パターンに基づきオブジェクトのモーション情報を変更した差し替えモーション情報を生成する（Ｓ１３５）。変更の対象となるモーション情報は、アプリケーションロジック制御部３０３が決定するモーション情報に基づき特定される。差し替えモーション情報は、認識情報が検出された後のコンテンツ内のオブジェクトのモーション情報（本実施形態では、モーション情報の一部）を変更パターンに基づき変更することで生成される。なお、差し替えモーション情報の生成処理は、モーション生成部３０６が行う。このようにして生成される差し替えモーション情報は、モーション制御部３０７に送られる。この際、モーション制御部３０７には、サーバ装置２０からの制御信号に基づき、アプリケーションロジック制御部３０３が決定するモーション情報及びタイムライン制御部３０４が決定する再生タイミングも送られる。

　上述のように差し替えモーション情報がモーション制御部３０７に送られると、クライアント装置３０は、アプリケーションロジック制御部３０３が決定したモーション情報に差し替えモーション情報を反映させた変更後モーション情報をモーション制御部３０７により生成する（Ｓ１３６）。上述したように、変更後モーション情報を生成する際には、アプリケーションロジック制御部３０３が決定したモーション情報に差し替えモーション情報を反映させる程度が、許容度に基づき決定される。

　上述のようにして変更後モーション情報が生成された後、クライアント装置３０は、この変更後モーション情報によって再現されるオブジェクトの変更後モーションに破綻がないか否かを判定する（Ｓ１３７）。破綻の有無の判定は、変更後モーションが、予め定められた許容動作範囲を越えるか否かを判定することで行われる。上述したが、変更後モーションが許容動作範囲を越える場合は、例えばオブジェクトがステージ上を歩くモーションにおいて、オブジェクトがステージ外で宙に浮いて歩く状況や、オブジェクトが関節の可動域を越えて動作する状況などである。

　破綻が判定されない場合（Ｓ１３７でＹＥＳ）、クライアント装置３０は、変更後モーション情報及びタイムライン制御部３０４が決定する再生タイミングにより定まる変更後モーションでオブジェクトを再生する（Ｓ１３８）。コンテンツの再生処理は、描画再生部３０８により行われる。

　一方で、破綻が判定された場合（Ｓ１３７でＮＯ）、クライアント装置３０は、変更後モーションを補正し（Ｓ１３９）、その後、補正した変更後モーションが許容動作範囲を越えるか否かを判定する（Ｓ１４０）。ここで、破綻が判定されない場合（Ｓ１４０でＹＥＳ）、クライアント装置３０は、補正した変更後モーションでオブジェクトを再生する（Ｓ１３８）。コンテンツの再生処理は、描画再生部３０８により行われる。

　また、補正した変更後モーションが許容動作範囲を越える判定される場合（Ｓ１４０でＮＯ）には、クライアント装置３０は、モーションの変更を行わないことを決定し、アプリケーションロジック制御部３０３からのモーション情報をそのまま描画再生部３０８に提供する。この場合、サーバ装置２０からの制御信号に基づき、アプリケーションロジック制御部３０３が決定するモーション情報及びタイムライン制御部３０４が決定する再生タイミングにより定まるオブジェクトの基本的なモーションで、オブジェクトが再生される（Ｓ１４１）。

　ステップＳ１３８及びＳ１４１の処理後、クライアント装置３０はサーバ装置２０からの制御信号を継続的に受信する。そして、クライアント装置３０は再生終了の指令があるまで（Ｓ１４２でＹＥＳ）、コンテンツ内のオブジェクトのモーションをアプリケーションロジック制御部３０３からのモーション情報により再現するか、又は、このモーション情報をユーザ認識情報取得部３０５が検出する認識情報に基づき変更して再現するかを決定する処理を繰り返す。

（変更されるモーションの例）
　以下、クライアント装置３０で行われるモーション変更の例について図１４～図２０を参照しつつ具体的に説明する。まず、図１４は、表示装置３１に表示される仮想空間内にコンテンツを表示した際の状態の一例を説明する図である。図１４に示される仮想空間では、仮想空間内に表示されたステージＳ上に演者のアバタとしてのオブジェクトＰ１が位置している。ステージＳの下には、クライアント装置３０のユーザが操作するユーザアバタＵＡ１～４が表示されている。図１４に示す状態は、図５Ａ～Ｃで説明したモーションを行う前の状態である。以下の例１～３では、図１４の状態でオブジェクトＰ１が表示された後、オブジェクトＰ１のモーションが変更される例である。

（例１）移動パスの変更
　図１４に示すオブジェクトＰ１は、サーバ装置２０からの制御信号に基づくモーション情報でモーションを再現される場合、図５Ａ～Ｃに示すようにステージＳの正面に向けて歌いながら歩く。このような状況下において図１５（Ａ）に示すユーザアバタＵＡ１の位置が検出された場合、クライアント装置３０は、モーション生成部３０６及びモーション制御部３０７により図１５（Ａ）～（Ｃ）に示すようなオブジェクトＰ１がユーザアバタＵＡ１に向かって歩く変更後モーションを生成できる（Ｓ１３３～Ｓ１３８）。このような変更後モーションは、図１１に示した変更パターンＩに基づき生成される。この変更後モーションでは、オブジェクトＰ１の歩行範囲がステージＳ内であることで、破綻が生じていない。この場合、クライアント装置３０は変更後モーションを採用してもよい。

　一方、図１６（Ａ）に示すようにユーザアバタＵＡ２の位置が検出された場合、クライアント装置３０は、モーション生成部３０６及びモーション制御部３０７により図１６（Ａ）～（Ｃ）に示すようなオブジェクトＰ１がユーザアバタＵＡ２に向かって歩く変更後モーションの生成を試みる（Ｓ１３３～Ｓ１３６）。しかしながら、この変更後モーションでは、オブジェクトＰ１の歩行範囲がステージＳを越えているため、破綻が生じている（Ｓ１３７でＮＯ）。このような場合、クライアント装置３０は変更後モーションを採用しない。

（例２）頭部及び視線の変更１
　図１７に示すオブジェクトＰ１は、図５Ａ（Ｃ）、図５Ｂ（Ｃ）及び図５Ｃ（Ｃ）の状態に対応する。すなわち、図１７のオブジェクトＰ１はステージＳの先端に到達している。この際、図１７（Ａ）に示すようにオブジェクトＰ１の許容度は、歩行中の状態から変更されている。具体的には、移動パスの変更は困難な状態であるため、足に関するボーンには低い許容度（０％）が設定されている。一方、左手側及び頭部に対応するボーンＢ１には、高い許容度（１００％）が維持されている。

　図１７（Ａ）及び（Ｂ）に示す状況下においてユーザアバタＵＡ１の位置及び視線が検出された場合、クライアント装置３０は、モーション生成部３０６及びモーション制御部３０７により図１７（Ｃ）に示すようなオブジェクトＰ１が頭部に対応するボーンＢ１をユーザアバタＵＡ１側に変更する変更後モーションを生成できる（Ｓ１３３～Ｓ１３８）。このような変更後モーションは、図１１に示した変更パターンＩＩに基づき生成される。この変更後モーションでは、オブジェクトＰ１の頭部のボーンＢ１が不自然な動きにならないため、つまり関節の可動域を越えていないため、破綻が生じていない。この場合、クライアント装置３０は変更後モーションを採用してもよい。

　一方、図１８（Ａ）、（Ｂ）は図１７（Ａ）及び（Ｂ）に示す状況と同じ状況であり、この場合に、図１８（Ｂ）に示すようにユーザアバタＵＡ３の位置が検出されたとする。この場合、クライアント装置３０は、モーション生成部３０６及びモーション制御部３０７により図１８（Ｃ）に示すようなオブジェクトＰ１が頭部に対応するボーンＢ１をユーザアバタＵＡ３側に変更する変更後モーションの生成を試みる（Ｓ１３３～Ｓ１３６）。しかしながら、この変更後モーションでは、図１８（Ｃ）から理解されるように、オブジェクトＰ１のボーンＢ１が不自然な動きになっている。つまり関節の可動域を越えおり、破綻が生じている（Ｓ１３７でＮＯ）。このような場合、クライアント装置３０は変更後モーションを採用しない。

（例３）頭部及び視線の変更２
　図１９（Ａ）及び（Ｂ）は、図６（Ａ）～（Ｃ）の状態に対応する。すなわち、図１９（Ａ）及び（Ｂ）では、オブジェクトＰ１がステージＳの先端でダンスをしている。この際、オブジェクトＰ１の許容度は、頭部に対応するボーンＢ１を除き、許容度が０％になっている。

　図１９（Ａ）及び（Ｂ）に示す状況下においてユーザアバタＵＡ３の位置及び視線が検出された場合、クライアント装置３０は、モーション生成部３０６及びモーション制御部３０７により図１９（Ｃ）及び（Ｄ）に示すようなオブジェクトＰ１が頭部に対応するボーンＢ１をユーザアバタＵＡ３側に変更する変更後モーションを生成できる（Ｓ１３３～Ｓ１３８）。このような変更後モーションは、図１１に示した変更パターンＩＩに基づき生成される。この変更後モーションでは、オブジェクトＰ１の頭部のボーンＢ１が不自然な動きにならないため、つまり関節の可動域を越えていないため、破綻が生じていない。この場合、クライアント装置３０は変更後モーションを採用してもよい。

　また、図１９（Ｃ）及び（Ｄ）に示す変更後モーションでは、許容度により変更の程度が調整されている。すなわち、頭部に対応するボーンＢ１の許容度が３０％に設定されているため、変更パターンＩＩに基づく変更の３０％が変更後モーションに設定される。具体的には、変更パターンＩＩに基づく変更が１００％反映される場合には、図１９（Ｄ）に示すように頭部に対応するボーンＢ１が角度θで動くが、許容度３０％が反映されることで、変更後モーションにおける頭部に対応するボーンＢ１の変更角度は、０．３θになっている。

（例４）複数オブジェクトの移動パスの変更及び補正
　図２０（Ａ）は、ステージＳ上に複数のオブジェクトＰ１、Ｐ２が位置する状況を示す。このような場合、クライアント装置３０は、ユーザの認識情報に応じて２つの複数のオブジェクトＰ１、Ｐ２のモーションを変更できる。図２０では、基本的なモーション情報に従う場合、オブジェクトＰ１、Ｐ２は破線の矢印に示すようにステージＳの正面に向かって歩く。

　図２０（Ａ）に示す状況下においてユーザアバタＵＡ１の位置が検出された場合、クライアント装置３０は、モーション生成部３０６及びモーション制御部３０７により図２０の実線の矢印に示すようなオブジェクトＰ１、Ｐ２がユーザアバタＵＡ１に向かって歩くオブジェクトＰ１、Ｐ２それぞれに対応する変更後モーションを生成できる（Ｓ１３３～Ｓ１３８）。このような変更後モーションは、図１１に示した変更パターンＩに基づき生成される。

　ただし、図２０（Ａ）の実線の矢印で示す変更後モーションの移動パスでは、変更後モーションのそれぞれでオブジェクトＰ１、Ｐ２を動作させたときに、互いに異なるオブジェクトＰ１、Ｐ２が干渉し得る。そこで、この例では、クライアント装置３０が、図２０（Ｂ）に示すように、変更後モーションの少なくともいずれかの補正を行う（Ｓ１３９）。補正した変更後モーションでは、オブジェクトＰ１、Ｐ２の干渉がなく、破綻が生じていない。この場合、クライアント装置３０は変更後モーションを採用してもよい。

　なお、以上に説明した例１～例４は例示に過ぎず、本実施形態では例１～例４とは異なる各種のモーション変更を実施できる。

　以上に説明したように、本実施形態では、コンテンツを視聴するユーザのコンテンツに対する認識情報に基づき、コンテンツ内のオブジェクトのモーションを変更できる。これにより、ユーザの視聴状態とコンテンツとの間のインタラクション性をユーザに個人化させるかたちで確保できる。具体的には、演者であるオブジェクトと観客であるユーザ（ユーザアバタ）との掛け合い、両者の間で起きたことに対するリアクションを模擬でき、ユーザは、演者であるオブジェクトとの一体感や体験のプレミアム感を得ることができる。これにより、付加価値の高いコンテンツを提供できる。

　また、本実施形態では、クライアント装置３０側で検出されるユーザのコンテンツに対する認識情報に基づき、クライアント装置３０側でコンテンツ内のオブジェクトのモーションを変更する。この場合、モーションの変更負荷はクライアント装置３０が負担する。そのため、処理遅延などによるタイムラグを抑えることができ、ユーザにとってコンテンツを提供できる。すなわち、オブジェクトのモーションをサーバ装置２０側で行ってもよいが、この場合には変更を反映させるまでに遅延が生じ易くなる。

＜コンテンツの表示の変形例＞
　上述の第１実施形態では、表示装置３１がＬＣＤを使用する例を挙げた。図２１は、表示装置３１として空間再現ディスプレイを使用した第１実施形態の変形例を説明する図である。図２１における符号３１Ａは、空間再現ディスプレイである表示装置３１の外面に設けられたセンサを示す。センサ３１Ａは撮像装置などでもよい。表示装置３１は、オブジェクトＰ１を立体的に表示する。この構成では、センサ３１Ａにより、オブジェクトＰ１（コンテンツ）を視聴しているユーザＲＵの位置、視線、ジェスチャーを検出でき、これに応じてオブジェクトＰ１のモーションを変更できる。

　図２２は、表示装置３１としてヘッドマウントディスプレイを使用した第１実施形態の変形例を説明する図である。図２２（Ａ）の符号Ｉｍ１及び図２２（Ｂ）の符号Ｉｍ２に示すように、コンテンツが、ユーザＲＵがヘッドマウントディスプレイで直接的に視認する仮想空間内に表示されている。符号Ｉｍ１では、ステージＳから離れた位置からステージＳ上のオブジェクトＰ１をユーザが視認している様子を示す。符号Ｉｍ２では、ステージＳの直下からステージＳ上のオブジェクトＰ１をユーザＲＵが見上げている様子を示す。

　ヘッドマウントディスプレイにはジャイロセンサ及び視線検出センサが設けられており、図２２（Ａ）の矢印に示すように、ユーザが前進した場合にはジャイロセンサにより移動が検出され、ステージＳにユーザに近づくように仮想空間が表示される。また、図２２（Ｂ）の矢印に示すように、ユーザＲＵが上を向いた場合にはジャイロセンサにより頭の傾きが検出され、仮想空間の表示が切り替わる。この構成では、ジャイロセンサ、視線検出センサ、ユーザＲＵが腕などに取り付けたセンサにより、ユーザＲＵの位置、視線、ジェスチャーを検出でき、これに応じてオブジェクトＰ１のモーションを変更できる。

＜＜第２実施形態＞＞
　以下、第２実施形態に係る情報処理システムＳ２について説明する。図２３は、第２実施形態に係る情報処理システムＳ２を構成するコンテンツデータ配信装置１０、サーバ装置２０及びクライアント装置３０それぞれのブロック図を示す。第２実施形態における構成部分のうち第１実施形態と同様のものには同一の符号を付し、重複する説明は省略する。

　第２実施形態に係る情報処理システムＳ２は、取得したモーション素材をリアルタイムでサーバ装置２０を介してクライアント装置３０に提供する。このような構成を実現すべく、図２３に示すように、サーバ装置２０は、モーションキャプチャ部１０１、モーション編集部１０２、モーション変更許容度設定部１１３、アプリケーションロジック制御部２０１、タイムライン制御部２０２、マルチプレイ制御部２０３、及び通信部２０４を有する。各部の機能は第１実施形態と同様である。

　一方で、コンテンツデータ配信装置１０は、第１実施形態の構成に対して、モーションキャプチャ部１０１、モーション編集部１０２、及びモーション変更許容度設定部１１３を取り除かれている。また、クライアント装置３０の構成は、第１実施形態の構成と同じである。

　図２４は第２実施形態に係るサーバ装置２０の動作の一例を説明するフローチャートを示しており、第２実施形態では、サーバ装置２０がサーバ再生用アプリケーション（データ）を受信した後（Ｓ２４１）、オブジェクトモーションデータを作成する（Ｓ２４２）。オブジェクトモーションデータは、モーションキャプチャ部１０１で取得したモーション素材が、モーション編集部１０２、アプリケーションロジック制御部２０１、及びタイムライン制御部２０２を経て作成される。アプリケーションロジック制御部２０１及びタイムライン制御部２０２はそれぞれ、モーションキャプチャ部１０１が取得したモーション素材を解析することにより、オブジェクトモーションデータを構成するモーション情報及びモーションの再生速度情報を作成する。

　オブジェクトモーションデータが作成された後、サーバ装置２０は、オブジェクトモーションデータによりモーションが再現されるオブジェクトに対し、モーションの変更の許容度を設定する（Ｓ２４３）。この設定は、モーション変更許容度設定部１１３により行われる。

　その後、サーバ装置２０は、オブジェクトモーションデータを構成する複数のボーン、それに対応する身体の部位、演者の実モーションに従ったボーンのモーションを再現させるモーション情報、モーションの再生速度情報などを制御信号などに加工し、クライアント装置３０に送信する（Ｓ２４４）。そして、サーバ装置２０は、再生終了の信号を受信した際に制御信号の送信を停止して、処理を終了する（Ｓ２４５）。

　図２５は、第２実施形態に係るクライアント装置３０の動作の一例を説明する。図２５に示すように、第２実施形態では、クライアント装置３０が、クライアント再生用アプリケーション（データ）を受信し（Ｓ２５１）且つサーバ装置２０にコンテンツの再生要求を送信した後（Ｓ２５２）、サーバ装置２０からの制御信号を待つ（Ｓ１３３）。本実施形態では、ステップＳ２５１でクライアント再生用アプリケーションと、モーション変更ロジックの情報だけをコンテンツデータ配信装置１０から受信する点で、第１実施形態と異なる。以降の処理であるステップＳ１３３～Ｓ１４２は第１実施形態と同様である。

　以上に説明した第２実施形態においても、付加価値の高いコンテンツを提供できる。

＜＜ハードウェア構成＞＞
　図２６は、上述した各実施形態におけるコンテンツデータ配信装置１０、サーバ装置２０及びクライアント装置３０を構成し得る情報処理装置４００のハードウェア構成の一例を示す。図２６に示す情報処理装置４００は、ＣＰＵ４０１と、入力インタフェース４０２と、外部インタフェース４０３と、通信装置４０４と、主記憶装置４０５と、外部記憶装置４０６とを備え、これらはバス４０７により相互に接続されている。情報処理装置４００は、一例として、スマートフォン、タブレット、デスクトップ型ＰＣ、又はノート型ＰＣとして構成される。

　ＣＰＵ（中央演算装置）４０１は、主記憶装置４０５上で、コンピュータプログラムである情報処理プログラムを実行する。情報処理プログラムは、情報処理装置４００の各機能構成を実現するプログラムのことである。情報処理プログラムは、１つのプログラムではなく、複数のプログラムやスクリプトの組み合わせにより実現されていてもよい。ＣＰＵ４０１が、情報処理プログラムを実行することにより、各機能構成は実現される。

　入力インタフェース４０２は、ハンドコントローラ、キーボード、マウス、およびタッチパネルなどの入力装置からの操作信号を、情報処理装置４００に入力するための回路である。入力インタフェース４０２はカメラなどの撮像装置、ＴＯＦ（Time Of Flight）センサ、ＬｉＤＡＲ（Light Detection and Ranging）などのセンサを含んでもよい。

　外部インタフェース４０３は、ＨＭＤ、ＬＣＤ（液晶ディスプレイ）、有機エレクトロルミネッセンスディスプレイ、ＣＲＴ（ブラウン管）、またはＰＤＰ（プラズマディスプレイ）などの外部装置にデータ又は情報を出力する。

　通信装置４０４は、情報処理装置４００が外部装置と無線または有線で通信するための回路である。データは、通信装置４０４を介して外部装置から入力することができる。外部装置から入力したデータを、主記憶装置４０５や外部記憶装置４０６に格納することができる。

　主記憶装置４０５は、情報処理プログラム、情報処理プログラムの実行に必要なデータ、および情報処理プログラムの実行により生成されたデータなどを記憶する。情報処理プログラムは、主記憶装置４０５上で展開され、実行される。主記憶装置４０５は、例えば、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭであるが、これに限られない。

　外部記憶装置４０６は、情報処理プログラム、情報処理プログラムの実行に必要なデータ、および情報処理プログラムの実行により生成されたデータなどを記憶する。これらの情報処理プログラムやデータは、情報処理プログラムの実行の際に、主記憶装置４０５に読み出される。外部記憶装置４０６は、例えば、ハードディスク、光ディスク、フラッシュメモリ、及び磁気テープであるが、これに限られない。

　なお、情報処理プログラムは、情報処理装置４００に予めインストールされていてもよいし、ＣＤ－ＲＯＭなどの記憶媒体に記憶されていてもよい。また、情報処理プログラムは、インターネット上にアップロードされていてもよい。

　また、情報処理装置４００は、単一の情報処理装置により構成されてもよいし、相互に接続された複数の情報処理装置からなるシステムとして構成されてもよい。

　なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略などを行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

　また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。

　なお、本開示は以下のような構成を取ることもできる。
［項目１］
　コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するモーション制御部を備える、情報処理装置。
［項目２］
　前記モーション制御部は、前記認識情報と前記モーションの変更パターンとの関係を定めたモーション変更ロジックに基づき、前記モーションを変更する、
　項目１に記載の情報処理装置。
［項目３］
　前記変更パターンには優先度が定められており、
　前記モーション制御部は、前記認識情報に対応する前記変更パターンを複数選択可能である場合に、前記優先度に基づき前記変更パターンを選択する、
　項目２に記載の情報処理装置。
［項目４］
　前記オブジェクトには、前記モーション制御部による前記モーションの変更に関する許容度が定められており、
　前記モーション制御部は、前記許容度に応じて、前記モーションを変更させる程度を変化させるか又は前記モーションを変更しない、
　項目１乃至３のいずれかに記載の情報処理装置。
［項目５］
　前記許容度は、前記モーションの内容に応じて異なる値を設定されている、
　項目４に記載の情報処理装置。
［項目６］
　前記オブジェクトは、複数の要素オブジェクトを有し、
　前記モーションは、各前記要素オブジェクトに設定された要素モーションの組合わせによって構成されており、
　前記許容度は、前記要素モーションの変更に関する許容度として各前記要素オブジェクトごとに定められている、
　項目４又は５に記載の情報処理装置。
［項目７］
　前記要素オブジェクトごとに定められた前記許容度に基づき、前記要素モーションを変更させる前記要素オブジェクトが選択され、前記モーション制御部は、選択された前記要素オブジェクトに対応する前記要素モーションを変更することで前記モーションを変更する、
　項目６に記載の情報処理装置。
［項目８］
　複数の前記要素オブジェクトは関節を介して接続され、
　前記要素モーションは、前記要素オブジェクトが対応する前記関節に対して姿勢を相対的に変化させる動き、及び／又は、各前記要素オブジェクト自体の状態が変化する動きで構成される、
　項目６又は７に記載の情報処理装置。
［項目９］
　前記モーション制御部は、前記モーションを変更する際、前記モーションを変更した変更後モーションが予め定められた許容動作範囲を越えるか否かを判定する、
　項目１乃至８のいずれかに記載の情報処理装置。
［項目１０］
　前記モーション制御部は、前記変更後モーションが前記許容動作範囲を越えると判定される場合に、前記モーションの変更を行わない、
　項目９に記載の情報処理装置。
［項目１１］
　前記モーション制御部は、前記変更後モーションが前記許容動作範囲を越えると判定される場合に、前記変更後モーションを補正する、
　項目９に記載の情報処理装置。
［項目１２］
　前記モーション制御部は、複数の前記オブジェクトのそれぞれのモーションを変更する際、各前記オブジェクトのモーションを変更した変更後モーションのそれぞれで複数の前記オブジェクトを動作させたときに、互いに異なる前記オブジェクトが干渉する場合には、互いに異なる前記オブジェクトの前記変更後モーションの少なくともいずれかの補正を行う、
　項目１乃至１１のいずれかに記載の情報処理装置。
［項目１３］
　前記コンテンツは、前記ユーザが操作するアバタが存在する仮想空間内で表示される、
　項目１乃至１２のいずれかに記載の情報処理装置。
［項目１４］
　前記認識情報は、前記仮想空間内の前記アバタと前記オブジェクトとの相対的な位置に関する情報を含む、
　項目１３に記載の情報処理装置。
［項目１５］
　前記コンテンツは、前記ユーザが視認する表示装置に表示される、
　項目１乃至１２のいずれかに記載の情報処理装置。
［項目１６］
　前記認識情報は、前記表示装置に対する前記ユーザの視線の方向に関する情報を含む、
　項目１５に記載の情報処理装置。
［項目１７］
　前記表示装置は、ヘッドマウントディスプレイであり、
　前記認識情報は、前記ヘッドマウントディスプレイの姿勢、位置及び方向のうちの少なくともいずれかの情報を含む、
　項目１５に記載の情報処理装置。
［項目１８］
　コンテンツを視聴するユーザの前記コンテンツに対する認識情報を取得する処理と、
　前記認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更する処理と、を有する、情報処理方法。
［項目１９］
　サーバ装置と、前記サーバ装置の制御によりコンテンツを再生させるクライアント装置と、を備え
　前記サーバ装置及び前記クライアント装置のうちの少なくともいずれかが、前記クライアント装置で前記コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するモーション制御部を有する、情報処理システム。
［項目２０］
　コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するステップをコンピュータに実行させるためのコンピュータプログラム。
［項目２１］
　コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するステップをコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Ｓ１，Ｓ２…情報処理システム
１０…コンテンツデータ配信装置
１００…モーション素材取得ユニット
１０１…モーションキャプチャ部
１０２…モーション編集部
１１０…モーションデータ生成ユニット
１１１…モーション取込部
１１２…モーション成形部
１１３…モーション変更許容度設定部
１１４…モーション変更ロジック設定部
１１５…再生用アプリケーション生成部
１１６…通信部
２０…サーバ装置
２０１…アプリケーションロジック制御部
２０２…タイムライン制御部
２０３…マルチプレイ制御部
２０４…通信部
３０…クライアント装置
３０１…通信部
３０２…マルチプレイ制御部
３０３…アプリケーションロジック制御部
３０４…タイムライン制御部
３０５…ユーザ認識情報取得部
３０６…モーション生成部
３０７…モーション制御部
３０８…描画再生部
４０…通信ネットワーク
４００…情報処理装置
４０１…ＣＰＵ
４０２…入力インタフェース
４０３…外部インタフェース
４０４…通信装置
４０５…主記憶装置
４０６…外部記憶装置
４０７…バス
Ｐ…演者
Ｐ１…オブジェクト
ＵＡ１～４…ユーザアバタ

Claims

　コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するモーション制御部を備える、情報処理装置。
　前記モーション制御部は、前記認識情報と前記モーションの変更パターンとの関係を定めたモーション変更ロジックに基づき、前記モーションを変更する、請求項１に記載の情報処理装置。
　前記変更パターンには優先度が定められており、
　前記モーション制御部は、前記認識情報に対応する前記変更パターンを複数選択可能である場合に、前記優先度に基づき前記変更パターンを選択する、請求項２に記載の情報処理装置。
　前記オブジェクトには、前記モーション制御部による前記モーションの変更に関する許容度が定められており、
　前記モーション制御部は、前記許容度に応じて、前記モーションを変更させる程度を変化させるか又は前記モーションを変更しない、請求項１に記載の情報処理装置。
　前記許容度は、前記モーションの内容に応じて異なる値を設定されている、請求項４に記載の情報処理装置。
　前記オブジェクトは、複数の要素オブジェクトを有し、
　前記モーションは、各前記要素オブジェクトに設定された要素モーションの組合わせによって構成されており、
　前記許容度は、前記要素モーションの変更に関する許容度として各前記要素オブジェクトごとに定められている、請求項４に記載の情報処理装置。
　前記要素オブジェクトごとに定められた前記許容度に基づき、前記要素モーションを変更させる前記要素オブジェクトが選択され、前記モーション制御部は、選択された前記要素オブジェクトに対応する前記要素モーションを変更することで前記モーションを変更する、請求項６に記載の情報処理装置。
　複数の前記要素オブジェクトは関節を介して接続され、
　前記要素モーションは、前記要素オブジェクトが対応する前記関節に対して姿勢を相対的に変化させる動き、及び／又は、各前記要素オブジェクト自体の状態が変化する動きで構成される、請求項６に記載の情報処理装置。
　前記モーション制御部は、前記モーションを変更する際、前記モーションを変更した変更後モーションが予め定められた許容動作範囲を越えるか否かを判定する、請求項１に記載の情報処理装置。
　前記モーション制御部は、前記変更後モーションが前記許容動作範囲を越えると判定される場合に、前記モーションの変更を行わない、請求項９に記載の情報処理装置。
　前記モーション制御部は、前記変更後モーションが前記許容動作範囲を越えると判定される場合に、前記変更後モーションを補正する、請求項９に記載の情報処理装置。
　前記モーション制御部は、複数の前記オブジェクトのそれぞれのモーションを変更する際、各前記オブジェクトのモーションを変更した変更後モーションのそれぞれで複数の前記オブジェクトを動作させたときに、互いに異なる前記オブジェクトが干渉する場合には、互いに異なる前記オブジェクトの前記変更後モーションの少なくともいずれかの補正を行う、請求項１に記載の情報処理装置。
　前記コンテンツは、前記ユーザが操作するアバタが存在する仮想空間内で表示される、請求項１に記載の情報処理装置。
　前記認識情報は、前記仮想空間内の前記アバタと前記オブジェクトとの相対的な位置に関する情報を含む、請求項１３に記載の情報処理装置。
　前記コンテンツは、前記ユーザが視認する表示装置に表示される、請求項１に記載の情報処理装置。
　前記認識情報は、前記表示装置に対する前記ユーザの視線の方向に関する情報を含む、請求項１５に記載の情報処理装置。
　前記表示装置は、ヘッドマウントディスプレイであり、
　前記認識情報は、前記ヘッドマウントディスプレイの姿勢、位置及び方向のうちの少なくともいずれかの情報を含む、請求項１５に記載の情報処理装置。
　コンテンツを視聴するユーザの前記コンテンツに対する認識情報を取得する処理と、
　前記認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更する処理と、を有する、情報処理方法。
　サーバ装置と、前記サーバ装置の制御によりコンテンツを再生させるクライアント装置と、を備え、
　前記サーバ装置及び前記クライアント装置のうちの少なくともいずれかが、前記クライアント装置で前記コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するモーション制御部を有する、情報処理システム。
　コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するステップをコンピュータに実行させるためのコンピュータプログラム。
　コンテンツを視聴するユーザの前記コンテンツに対する認識情報に基づき、前記コンテンツ内のオブジェクトのモーションを変更するステップをコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。