JPWO2008015978A1 - 映像表示装置および映像表示方法 - Google Patents

Abstract

基本映像とクローズアップ映像の両方を、より効果的に表示することができる映像表示装置。この装置は、表示の対象となる基本映像における特定のオブジェクトの表示領域を判別し、前記基本映像における特定のオブジェクトの表示領域に応じて、基本映像のクローズアップ映像の表示領域を決定するクローズアップ領域決定部（３３０）を有する。

Description

本発明は、コンピュータグラフィックスアニメーションなどの映像を表示する映像表示装置および映像表示方法に関する。

近年、登場キャラクタに表情の変化などの細かな動きを持たせるようにしたコンピュータグラフィックスアニメーション（以下「ＣＧアニメーション」という）が、注目されている。このような映像の細部を把握し易くするために、特定のオブジェクトをクローズアップした映像を表示させる技術が、たとえば特許文献１および特許文献２に記載されている。

特許文献１記載の技術では、表示の対象となる基本の映像（以下「基本映像」という）と、キャラクタなど、基本映像に登場する特定のオブジェクトをクローズアップした映像（以下「クローズアップ映像」という）とを、切り替えて表示する。これにより、キャラクタの顔の表情といった細かな動きを、把握し易くすることができる。

また、特許文献２記載の技術では、基本映像の表示領域とは別にあらかじめ用意された領域に、クローズアップ映像を表示する。これにより、オブジェクトの細かな動きを、把握し易くすることができる。
特開２００３−３２３６２８号公報 特開２００２−１５０３１７号公報

しかしながら、上記した特許文献１記載の技術では、クローズアップ映像が表示されている間、基本映像が表示されないという問題がある。たとえば、あるキャラクタがクローズアップ表示されている間に、他のキャラクタがアクションを起こしていても、そのアクションの様子が表示することができない。また、キャラクタの顔部分といった特定部位のみをクローズアップの対象としている場合には、そのキャラクタが全身動作を行っていても、その全身動作の様子を表示することができない。すなわち、特許文献１記載の技術は、クローズアップ表示されているオブジェクトの全体動作や周囲状況などが把握できないという課題を有している。

また、上記した特許文献２記載の技術では、あらかじめ用意された限られた画面上に、基本映像の表示領域とクローズアップ映像の表示領域の両方を配置しなければならないため、基本映像の表示領域が狭くなるという問題がある。特に、携帯電話機やＰＤＡ（personal digital assistant）の液晶パネルのように、小さくて解像度の低い画面で表示が行われる場合、クローズアップ表示されているオブジェクト自身の全体動作や周囲状況などが把握しづらくなる。各種ハードウェアの処理能力の向上や、コンピュータグラフィックス技術の発達により、このような小型の機器においても、ＣＧアニメーション映像を利用したアプリケーションソフトウェアが多く開発されている。

したがって、小さくて解像度の低い画面においても、基本映像とクローズアップ映像の両方を効果的に表示できることが望ましい。

本発明の目的は、基本映像とクローズアップ映像の両方を、より効果的に表示することができる映像表示装置および映像表示方法を提供することである。

本発明の映像表示装置は、表示の対象となる基本映像における特定のオブジェクトの表示領域を判別する表示領域判別部と、前記基本映像における特定のオブジェクトの表示領域に応じて、基本映像のクローズアップ映像の表示領域を決定するクローズアップ領域決定部とを具備する構成を採る。

本発明の映像表示方法は、表示の対象となる基本映像における特定のオブジェクトの表示領域を判別する表示領域判別ステップと、前記表示領域判別ステップで判別した前記基本映像における特定のオブジェクトの表示領域に応じて、基本映像のクローズアップ映像の表示領域を決定するクローズアップ領域決定ステップとを有するようにした。

本発明によれば、クローズアップ映像の表示領域を、基本映像における特定のオブジェクトの表示領域に応じて決定することにより、基本映像とクローズアップ映像の両方を、より効果的に表示することができる。

本発明の一実施の形態に係る映像表示装置としてのＣＧアニメーション表示システムの構成を示すシステム構成図 本実施の形態におけるアニメーションシナリオの記述例を示す説明図 本実施の形態におけるクローズアップ領域決定部が実行する処理の流れを示すフローチャート 本実施の形態におけるクローズアップ領域決定部が実行する各処理の内容を示す説明図 本実施の形態における図３のステップＳ３０００で実行される処理の流れを示すフローチャート 本実施の形態におけるクローズアップ表示領域を変形させた場合の映像の一例を示す説明図 本実施の形態におけるクローズアップ表示の対象となる基本映像の変化の様子を示す説明図 本実施の形態におけるオブジェクト配置領域の変化の様子を示す説明図 本実施の形態におけるクローズアップ表示領域の変化の様子を示す説明図 本実施の形態における最終映像の変化の様子を示す説明図 本実施の形態におけるスムージング補間決定部がクローズアップ表示領域のサイズおよび位置を補間する様子の一例を示す説明図 本実施の形態におけるスムージング補間決定部がクローズアップ表示領域のサイズおよび位置を補間する様子の他の一例を示す説明図

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る映像表示装置としてのＣＧアニメーション表示システムの構成を示すシステム構成図である。

図１において、ＣＧアニメーション表示システム１００は、映像素材データベース２００、ＣＧアニメーション生成部３００、および映像表示部４００を有する。ＣＧアニメーション生成部３００は、カメラワーク決定部３１０、ＣＧ描画部３２０、クローズアップ領域決定部３３０、スムージング補間決定部３４０、およびクローズアップ領域制御部３５０を有する。ＣＧ描画部３２０は、基本映像生成部３２１およびクローズアップ映像生成部３２２を有する。映像表示部４００は、映像表示領域４１０およびクローズアップ表示領域４２０を有する。また、ＣＧアニメーション表示システム１００は、ＣＧアニメーションの基となるアニメーションシナリオ６００を入力する。

図２は、アニメーションシナリオ６００の記述例を示す説明図である。アニメーションシナリオ６００は、映画やドラマの台本のようなものである。アニメーションシナリオ６００には、「Ｓｃｅｎｅ（場面）」６１０が複数記述されている。各「Ｓｃｅｎｅ」６１０は、背景セットを示す属性「ｌｏｃａｔｉｏｎ」６１１を有している。また、各「Ｓｃｅｎｅ」６１０は、複数の「Ｄｉｒｅｃｔｉｏｎ（ト書き）」６２０を子要素として有している。各「Ｄｉｒｅｃｔｉｏｎ」６２０には、「Ｓｕｂｊｅｃｔ（動作主）」、「Ａｃｔｉｏｎ（動作）」、「Ｏｂｊｅｃｔ（目的語）」、などの情報が記述されている。また、各「Ｄｉｒｅｃｔｉｏｎ」６２０には、動作主がキャラクタの場合には、「Ｅｘｐｒｅｓｓｉｏｎ（表情）」などの付加情報も記述されている。

さらに、アニメーションシナリオ６００には、「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０が記述されている。「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０は、各「Ｓｃｅｎｅ」６１０で記述される各種名称と、ＣＧアニメーション映像として表示するのに必要な映像素材とを対応付けたものである。具体的には、各「Ｒｅｓｏｕｒｃｅ」６３０は、映像素材の識別子を示す属性「ｕｒｉ」と、「Ｓｃｅｎｅ」６１０や「Ｓｕｂｊｅｃｔ」などで記述される名称を示す属性「ｎａｍｅ」とを有している。

たとえば、「Ｓｃｅｎｅ」６１０ａの「Ｄｉｒｅｃｔｉｏｎ」６２０ａには、キャラクタの名称である「あきら」が、動作主として記述されている。また、「Ｒｅｓｏｕｒｃｅ」６３０ａには、「あきら」という名称に対応付けて、「ｈｔｔｐ：／／ｍｅｄｉａ．ｄｂ／ｉｄ／ｃｈａｒａｃｔｅｒ／ａｋｉｒａ」という映像素材の識別子が記述されている。

図１に示す映像素材データベース２００は、ＣＧアニメーションを生成するのに必要な映像素材を格納している。映像素材は、少なくとも、キャラクタや背景セットなどの各種オブジェクトの形状や外観を示す３Ｄ（dimension）モデルデータを含む。また、映像素材には、他にも、モーションデータ、静止画データ、動画データ、音声データ、および楽譜データなどが含まれる。モーションデータは、３Ｄモデルデータの動きを示すデータである。静止画データおよび動画データは、３Ｄモデルデータのテクスチャや背景などの描画に用いられるデータである。音声データは、効果音や合成音声などの出力に用いられるデータである。楽譜データは、ＢＧＭ（back ground music）などの出力に用いられるデータである。

ＣＧアニメーション生成部３００は、映像素材データベース２００から必要な映像素材を取得して、アニメーションシナリオ６００の記述に沿った内容のＣＧアニメーションを生成する。

ＣＧアニメーション生成部３００は、生成したＣＧアニメーションの基本映像と、生成したＣＧアニメーションに登場するオブジェクトのクローズアップ映像とを、映像表示部４００に表示させる。

ＣＧアニメーション生成部３００において、カメラワーク決定部３１０は、アニメーションシナリオ６００の記述を基に、アニメーション空間におけるキャラクタや背景セットなどのオブジェクトの位置を決定する。そして、カメラワーク決定部３１０は、位置を決定したオブジェクトを撮影するカメラワークを決定する。具体的には、カメラワーク決定部３１０は、たとえば、アニメーション空間のあらかじめ定められた位置にカメラを配置して、基本のカメラワークを決定する。または、カメラワーク決定部３１０は、特定のオブジェクトを基準として撮影を行うように、基本のカメラワークを決定する。なお、アニメーションシナリオからＣＧアニメーションのカメラワークを決定する技術は既知であり、たとえば、特開２００５−４４１８１号公報に記載されているため、ここでの説明を省略する。

また、カメラワーク決定部３１０は、基本映像にキャラクタが登場するシーンでは、基本のカメラワークと併せて、キャラクタの顔部分をクローズアップで撮影するカメラワークも決定する。そして、カメラワーク決定部３１０は、決定した各オブジェクトの位置とカメラワークの内容を、座標データなどにより内部的にパラメータ化したデータを生成し、生成したデータをＣＧ描画部３２０へ出力する。

ＣＧ描画部３２０は、カメラワーク決定部３１０から入力されるデータと、アニメーションシナリオ６００の記述とに基づいて、映像素材データベース２００から、描画に必要な映像素材を取得し、ＣＧアニメーション映像を生成する。具体的には、ＣＧ描画部３２０は、まず、アニメーションシナリオ６００の記述に従って映像素材を映像素材データベース２００から取得する。そして、ＣＧ描画部３２０は、取得した各映像素材を、カメラワーク決定部３１０により決定された位置に配置する。

たとえば、ＣＧ描画部３２０は、アニメーションシナリオ６００の「Ｄｉｒｅｃｔｉｏｎ」６２０ａの記述内容をＣＧアニメーション化する際には、識別子「ｈｔｔｐ：／／ｍｅｄｉａ．ｄｂ／ｉｄ／ｃｈａｒａｃｔｅｒ／ａｋｉｒａ」に該当する映像素材を、映像素材データベース２００から取得し、動作主として配置する。

ＣＧ描画部３２０は、取得した各映像素材を配置すると、カメラワーク決定部３１０で決定されたカメラワークを実現したときの映像を生成する。そして、ＣＧ描画部３２０は、映像表示部４００に対して、生成した映像を描画させる。具体的には、ＣＧ描画部３２０において、基本映像生成部３２１は、基本のカメラワークを基に基本映像を生成し、生成した基本映像をクローズアップ領域決定部３３０および映像表示部４００へ出力する。また、クローズアップ映像生成部３２２は、クローズアップのカメラワークを基にクローズアップ映像を生成し、生成したクローズアップ映像を映像表示部４００へ出力する。

なお、各映像素材はコンピュータグラフィックスであるため、基本映像が映像表示部４００の映像表示領域４１０に描画されたときに映像表示領域４１０のどの部分にどのような画像が表示されるかを判別することは、容易である。

クローズアップ領域決定部３３０は、クローズアップ表示領域４２０のサイズや位置を決定する。そして、クローズアップ領域決定部３３０は、決定したクローズアップ表示領域４２０のサイズや位置を示す情報を、映像表示部４００およびスムージング補間決定部３４０へ出力する。ただし、クローズアップ領域決定部３３０は、ＣＧ描画部３２０から入力される基本映像を解析し、映像表示領域４１０の内部のうち、優先的に表示すべきオブジェクトの表示領域以外の領域を判別する。そして、クローズアップ領域決定部３３０は、優先的に表示すべきオブジェクトの表示領域以外の領域と判別した領域に、クローズアップ表示領域４２０を決定する。なお、たとえば、上記した特許文献１記載の技術のように、映像表示領域４１０とクローズアップ表示領域４２０とが、別々の表示領域としてあらかじめ用意されている場合には、このようなクローズアップ領域決定部３３０の機能が不要であることは、いうまでもない。

スムージング補間決定部３４０は、クローズアップ領域決定部３３０から入力された情報を基に、クローズアップ表示領域４２０の変化を解析する。そして、スムージング補間決定部３４０は、解析したクローズアップ表示領域４２０の変化を補間し、クローズアップ表示領域４２０の変化が、滑らかにまたは自然に行われるようにする。

クローズアップ領域制御部３５０は、クローズアップ映像生成部３２２によって生成されるクローズアップ映像を、映像表示部４００で表示させるか否かを判断する。

映像表示部４００は、液晶パネルなどの表示画面（図示せず）を有しており、表示画面に、ＣＧアニメーションの基本映像を表示させるための領域である映像表示領域４１０を配置している。また、映像表示部４００は、表示画面に、ＣＧアニメーションのクローズアップ映像を表示させるための領域であるクローズアップ表示領域４２０を配置している。そして、映像表示部４００は、ＣＧアニメーション生成部３００から入力される基本映像を、映像表示領域４１０に描画するとともに、ＣＧアニメーション生成部３００から入力されるクローズアップ映像を、クローズアップ表示領域４２０に描画する。ただし、クローズアップ表示領域４２０のサイズや位置および表示／非表示は、ＣＧアニメーション生成部３００から入力される情報によって制御される。

ＣＧアニメーション表示システム１００は、図示しないが、ＣＰＵ（Central Processing Unit）と、制御プログラムを格納したＲＯＭ（Read Only Memory）などの記憶媒体と、ＲＡＭ（Random Access Memory）などの作業用メモリなどによって構成されている。制御プログラムをＣＰＵが実行することで、上記した各部の機能は実現される。

なお、映像素材データベース２００、映像表示領域４１０、およびクローズアップ表示領域４２０は、それぞれバスを介して直接にＣＧアニメーション生成部３００に接続されてもよいし、ネットワークを介してＣＧアニメーション生成部３００に接続されてもよい。

以下、クローズアップ領域決定部３３０の動作について、詳細に説明する。

図３は、クローズアップ領域決定部３３０が実行する処理の流れを示すフローチャートである。また、図４は、ある瞬間の基本映像（以下、単に「基本映像」という）を例として、クローズアップ領域決定部３３０が実行する各処理の内容を示す。ここでは、図３および図４を参照して、クローズアップ領域決定部３３０の動作の説明を行う。

図３のステップＳ１０００において、クローズアップ領域決定部３３０は、基本映像から、キャラクタなどの優先的に表示すべきオブジェクトをピックアップする。そして、クローズアップ領域決定部３３０は、ピックアップしたオブジェクトが表示される領域に基づいて、映像表示領域４１０を、候補対象領域と候補対象外領域とに区分する。候補対象領域は、クローズアップ表示領域４２０の候補として扱う領域である。候補対象外領域は、クローズアップ表示領域４２０の候補のとして扱わない領域である。ここでは、クローズアップの対象となるオブジェクトが、優先的に表示すべきオブジェクトであるものとする。

図４Ａに示すように、アニメーションシナリオ６００に基づいて、キャラクタ「あきら」７０２ａと、キャラクタ「なつこ」７０２ｂが配置された基本映像７０１が、ＣＧ描画部３２０の基本映像生成部３２１で生成されたとする。この場合、クローズアップ領域決定部３３０は、キャラクタ「あきら」７０２ａおよびキャラクタ「なつこ」７０２ｂをピックアップする。

そして、クローズアップ領域決定部３３０は、図４Ｂに示すように、基本映像７０１が表示される映像表示領域４１０をＮ×Ｍ（いずれも自然数）の領域に分割し、個々の分割領域に対して、ピックアップしたキャラクタの表示領域が存在するか否かを判別する。そして、クローズアップ領域決定部３３０は、映像表示領域４１０のうち、キャラクタの表示領域が存在しない分割領域を、クローズアップ表示領域４２０の候補対象領域に決定する。また、クローズアップ領域決定部３３０は、キャラクタの表示領域が存在する分割領域を、クローズアップ表示領域４２０の候補対象外領域７０３（図中斜線部分）に決定する。

なお、図４では、映像表示領域４１０を、横方向に８つ、縦方向に６つに、矩形状に４８分割しているが、分割の方向や数および形状は、これに限定されるものではない。たとえば、ドット単位で処理を行い、キャラクタの輪郭で閉じられた領域のみを対象外領域としてもよい。

次に、図３のステップＳ２０００において、クローズアップ領域決定部３３０は、クローズアップすべきオブジェクト（優先的に表示すべきオブジェクト）のうち、クローズアップ候補領域の決定の処理を行っていないものが残っているか否かを判別する。クローズアップ候補領域は、後述するクローズアップ表示領域４２０となり得る領域である。クローズアップ領域決定部３３０は、クローズアップすべきオブジェクトが残っている場合には（Ｓ２０００：ＹＥＳ）、ステップＳ３０００の処理へ進む。また、クローズアップ領域決定部３３０は、クローズアップすべきオブジェクトが残っていない場合には（Ｓ２０００：ＮＯ）、ステップＳ４０００の処理へ進む。

次に、ステップＳ３０００において、クローズアップ領域決定部３３０は、クローズアップすべきオブジェクトを１つ選択し、選択したオブジェクトに基づいて、クローズアップ候補領域を決定する。ここでは、まず、キャラクタ「あきら」７０２ａに基づいて、クローズアップ候補領域を決定する場合を例として説明を行う。

クローズアップすべきオブジェクトが複数存在する場合の選択順序は、たとえば、アニメーションシナリオ６００における登場順序とすればよい。または、各オブジェクトにあらかじめ重要度を設定し、重要度に応じた順序で選択したり、その都度ランダムに選択を行うようにしてもよい。

図５は、図３のステップＳ３０００で実行される処理の流れを示すフローチャートである。

ステップＳ３１００において、クローズアップ領域決定部３３０は、処理の対象としているオブジェクトの表示領域が存在する分割領域（以下「オブジェクト配置領域」という）７０４を判別する。そして、クローズアップ領域決定部３３０は、映像表示領域４１０の各分割領域のうち、判別したオブジェクト配置領域７０４から最も遠い距離に位置する分割領域を選択する。最も遠い距離に位置する分割領域の算出は、単純な直線距離を用いたり、縦横など特定の方向に重みを付けて行うようにしてもよい。

または、最も遠い距離に位置する分割領域の算出は、隣り合う分割領域の距離を「１」とし、距離の計測方向を縦と横のみとして、各分割領域のオブジェクト配置領域７０４からの距離を示す数値を算出することにより行ってもよい。この場合には、クローズアップ領域決定部３３０は、最も数値の高い分割領域を、オブジェクト配置領域７０４から最も遠い距離に位置する領域とすればよい。この手法を用いて、図４Ｂの各分割領域に対してキャラクタ「あきら」７０２ａのオブジェクト配置領域７０４ａからの距離を示す数値を算出し、各分割領域の中に算出結果を示すと、図４Ｃのようになる。

ここでは、図４Ｃに示すように、映像表示領域４１０の左上の隅に位置する分割領域７０５ａの数値が最も高くなる。したがって、この分割領域７０５ａが、クローズアップ候補領域の基準となる分割領域（以下「候補基準領域」という）として選択される。なお、この候補基準領域は、オブジェクト配置領域７０４以外の領域であれば、必ずしもオブジェクト配置領域７０４から最も遠い距離に位置する領域である必要はない。

次に、図５のステップＳ３２００において、クローズアップ領域決定部３３０は、候補基準領域として選択した分割領域の１つを、あらかじめ定められた条件に従って拡張し、拡張後の領域を、クローズアップ候補領域として選択する。

たとえば、拡張後の領域の条件として、「分割領域の縦２つ×横２つ分であり、候補対象外領域７０３が含まれない」という内容が設定されているとする。この場合、キャラクタ「あきら」７０２ａが処理対象のオブジェクトのときには、図４Ｄに示すように、映像表示領域４１０の左上の隅の４つの分割領域からなる拡大領域７０６ａが、クローズアップ候補領域として選択される。なお、拡張後の領域の条件として、たとえば、「分割領域の縦横の個数が同一であり、候補対象外領域７０３が含まれない最大領域」という内容を採用してもよい。

次に、図５のステップＳ３３００において、クローズアップ領域決定部３３０は、オブジェクト配置領域から最も遠い距離位置する分割領域で、まだステップＳ３２００で処理の対象となっていない他の分割領域が存在するか否かを判別する。すなわち、クローズアップ領域決定部３３０は、オブジェクト配置領域から、既にステップＳ３２００の処理の対象となった分割領域と同じ距離に位置する分割領域が存在するか否かを判別する。クローズアップ領域決定部３３０は、該当する分割領域が存在する場合には（Ｓ３３００：ＹＥＳ）、ステップＳ３２００に戻って、該当する分割領域に基づいてクローズアップ候補領域の選択を行う。また、クローズアップ領域決定部３３０は、該当する分割領域が存在しない場合には（Ｓ３３００：ＮＯ）、一連の処理を終了する。

ここでは、図４Ｃに示すように、数値が最も高くなる分割領域は１つしか存在しないため（Ｓ３３００：ＮＯ）、クローズアップ領域決定部３３０は、クローズアップ候補領域を１つ選択した後、そのまま処理を終了する。

このようにして図３のステップＳ３０００の処理が完了すると、クローズアップ領域決定部３３０は、図３のステップＳ２０００へ戻る。ここでは、クローズアップすべきオブジェクトのうち、クローズアップ候補領域決定の処理の対象となっていないものとして、キャラクタ「なつこ」７０２ｂがまだ残っている（Ｓ２０００：ＹＥＳ）。したがって、クローズアップ領域決定部３３０は、再びステップＳ３０００の処理へ進む。そして、クローズアップ領域決定部３３０は、図５で説明した一連の処理を、今度はキャラクタ「なつこ」７０２ｂを処理対象として実行する。

キャラクタ「あきら」７０２ａ対象とした処理と同様に、キャラクタ「なつこ」７０２ｂのオブジェクト配置領域７０４ｂからの距離を示す数値を算出した場合の算出結果を、各分割領域の中に示すと、図４Ｅのようになる。ここでは、図４Ｅに示すように、映像表示領域４１０の四隅に位置する４つの分割領域の数値が、最も高くなる。

したがって、映像表示領域４１０の右上の隅に位置する分割領域７０５ｂを含めた四隅の分割領域が、候補基準領域として選択され、映像表示領域４１０の右上の隅に位置する拡大領域７０６ｂを含めた四隅の拡大領域が、クローズアップ候補領域として選択される。

このようにして、クローズアップすべきオブジェクトのすべてについてクローズアップアップ候補領域決定の処理が行われると（Ｓ２０００：ＮＯ）、クローズアップ領域決定部３３０は、ステップＳ４０００の処理へ進む。

ステップＳ４０００において、クローズアップ領域決定部３３０は、クローズアップ表示の対象となる各オブジェクトに対し、決定されたクローズアップ候補領域を、クローズアップ表示領域４２０としてそれぞれ割り当てる。

たとえば、図４に示す基本映像７０１の場合には、上記したように、映像表示領域４１０の四隅の拡大領域が、クローズアップ候補領域して決定される。ここで、クローズアップ表示領域４２０の割り当てのルールとして、たとえば、「上側のクローズアップ候補領域を優先的に割り当てるとともに、クローズアップ候補領域の候補から距離が近い順に割り当てを行う」という内容が、あらかじめ設定されているものとする。

映像表示領域４１０の四隅に位置する拡大領域の上側の２つについて、各キャラクタ７０２からの距離を比較すると、最も距離が近いのは、キャラクタ「あきら」７０２ａから分割領域７０６ｂまでの距離である。したがって、クローズアップ領域決定部３３０は、図４Ｆに示すように、まず、分割領域７０６ｂを、キャラクタ「あきら」７０２ａのクローズアップ表示領域４２０ａに割り当てる。そして、次に、クローズアップ領域決定部３３０は、図４Ｆに示すように、残った分割領域７０６ａを、キャラクタ「なつこ」７０２ｂのクローズアップ表示領域４２０ｂに割り当てる。

なお、クローズアップ表示領域４２０の割り当てのルールとして、「１つ前に割り当てられたクローズアップ候補領域に最も近いクローズアップ候補領域を、優先的に割り当てる」という内容が設定されていてもよい。このようなルールを適用することにより、同一キャラクタ７０２のクローズアップ候補領域４２０の移動を、できるだけ抑えることが可能となる。

このようにして、クローズアップ領域決定部３３０は、必要なクローズアップ表示領域４２０のすべてを決定すると、一連の処理を終了する。

クローズアップ領域制御部３５０は、クローズアップ領域決定部３３０によって決定されるクローズアップ表示領域４２０を表示すべきか否かを逐次判別する。そして、クローズアップ領域決定部３３０は、クローズアップ表示領域４２０を表示すべきか否かの判別結果に応じてクローズアップ表示領域４２０の表示／非表示を制御する。

たとえば、クローズアップ領域決定部３３０は、クローズアップ領域決定部３３０によって決定されるクローズアップ表示領域４２０が、あらかじめ決められた面積以上確保できた場合のみ、クローズアップ表示領域４２０を表示するように制御する。または、クローズアップ領域決定部３３０は、キャラクタ７０２のアクションに同期して、対応するクローズアップ表示領域４２０の表示を制御する。より具体的には、クローズアップ領域決定部３３０は、キャラクタ７０２が発話するときだけ、またはキャラクタ７０２の表情が変化する一定区間だけ、対応するクローズアップ表示領域４２０を表示するよう制御する。これにより、効果の低いクローズアップ表示を低減し、画面の煩雑さや装置負荷を軽減することが可能となる。

なお、クローズアップ領域決定部３３０は、たとえば、キャラクタ７０２の発話している区間や表情が変化する区間を、アニメーションシナリオ６００の記述から判別する。具体的には、たとえば、「Ｅｘｐｒｅｓｓｉｏｎ（表情）」が記述されている「Ｄｉｒｅｃｔｉｏｎ（ト書き）」６２０に対応する区間を特定し、その区間を前後数秒間だけ拡大した区間を、キャラクタ７０２の表情が変化する区間と判別する。

以上の処理により各クローズアップ表示領域４２０が表示されると、図４Ｆに示すように、キャラクタ「あきら」７０２ａのクローズアップ映像７０７ａが、基本映像７０１の右上に表示され、キャラクタ「なつこ」７０２ｂのクローズアップ映像７０７ｂが、基本映像７０１の左上に表示される。

図４Ｆからも分かるように、クローズアップ領域決定部３３０による処理の結果として、各クローズアップ映像７０７は、いずれも、キャラクタ７０２に重ならない位置に表示される。すなわち、各キャラクタ７０２の全身と顔部分の両方が表示される。また、キャラクタ７０２の全身のアクションと、顔の表情とが、効率よく表示され、表現豊かな映像が実現される。さらに、映像表示領域４１０の内部にクローズアップ映像７０７が表示されるので、基本映像７０１の表示領域のサイズおよび各キャラクタ７０２の全身の表示サイズはそのままとなる。

なお、クローズアップ領域決定部３３０は、分割領域７０５や拡大領域７０６を決定した後、クローズアップ表示領域を矩形以外の形状に変化させるようにしてもよい。

図６は、クローズアップ表示領域を変形させた場合の映像の一例を示す説明図である。ここでは、矩形状のクローズアップ表示領域に対して、対応するキャラクタ７０２のクローズアップの中心点に最も近い頂点を当該中心点に移動させる形で、変形を加えた場合を図示している。ただし、変形されたクローズアップ表示領域７０８よりも手前側に、オブジェクトを表示させるようにしている。このように変形されたクローズアップ表示領域７０８は、どのオブジェクトのクローズアップ映像であるのかをより分かり易くすることができる。

また、クローズアップ表示領域４２０の決定後、または変形後に、再度カメラワーク決定部３１０で新たなクローズアップのカメラワークを決定するようにしてもよい。または、クローズアップのカメラワークの決定自体を、クローズアップ表示領域４２０の決定後に行うようにしてもよい。

さらに、図４および図６では、クローズアップ映像の撮影方向が、基本映像の撮影方向と同じ場合を図示しているが、これに限るものではない。たとえば、常にキャラクタの顔正面から撮影を行うようなクローズアップのカメラワークを決定するようにしてもよい。これにより、たとえば、基本映像では後ろ向きとなっているキャラクタでも、その表情を表示させることができる。

また、上記の説明では、図３のステップＳ１０００の説明で記載したとおり、クローズアップの対象となるオブジェクトが、優先的に表示すべきオブジェクトであるとしたが、クローズアップの対象となるオブジェクトを、優先的に表示すべきオブジェクトの全部または一部としてもよい。この場合には、クローズアップ領域決定部３３０は、図３のステップＳ１０００で、優先的に表示すべきオブジェクトを、候補対象領域と候補対象外領域との区分の決定のために用い、図４のステップＳ３０００で、優先的に表示すべきオブジェクトの全部また一部であるクローズアップの対象となるオブジェクトを、クローズアップ候補領域の決定のために用いることになる。

クローズアップの対象となるオブジェクトと、クローズアップの対象とならないオブジェクトの区別には、各種の規則を適用できる。たとえば、図２に示す「Ｄｉｒｅｃｔｉｏｎ（ト書き）」６２０のうち「Ｅｘｐｒｅｓｓｉｏｎ（表情）」が定義されているものをクローズアップの対象にする、という規則を適用する。また、たとえば、図２に示す「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０にそのオブジェクトが対象であるか否かを示す属性が定義されている場合にはクローズアップの対象にする、という規則を適用する。

オブジェクトがクローズアップの対象であるか否かを示す属性としては、たとえば、オブジェクトが人であるか否かを示す属性を用いればよい。オブジェクトが人であるか否かを示す属性は、たとえば「ａｔｔｒ」とし、「ｐｅｒｓｏｎ」が設定されているか否かにより人であるか否かを示す。この場合、アニメーションシナリオ６００の「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０として、たとえば、「Ｒｅｓｏｕｒｃｅ ｎａｍｅ＝“あきら” ａｔｔｒ＝ｐｅｒｓｏｎ ｕｒｉ＝・・・」が記述される。また、アニメーションシナリオ６００の「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０として、たとえば、「Ｒｅｓｏｕｒｃｅ ｎａｍｅ＝“椅子” ａｔｔｒ＝ｃｈａｉｒ ｕｒｉ＝・・・」が記述される。これらの「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０からは、「あきら」というオブジェクトが人であり、「椅子」というオブジェクトが人ではないということが分かる。

これにより、クローズアップ領域決定部３３０は、特に表情の変化が与えられないキャラクタや人以外のオブジェクトに対して、優先的な表示を保証する一方で、クローズアップは行なわないようにすることができる。

さらに、クローズアップの対象となるオブジェクトの個数が候補対象領域に比べて多すぎる場合には、クローズアップ領域決定部３３０は、クローズアップの対象を削減するようにしてもよい。たとえば、クローズアップ領域決定部３３０は、「Ｅｘｐｒｅｓｓｉｏｎ（表情）」の定義の有無や人のオブジェクトであるか否かに応じて、各オブジェクトに優先順位を決定する。そして、クローズアップ領域決定部３３０は、候補対象領域との関連で、優先順位の高いオブジェクトから順にクローズアップの対象を決定する。これにより、たとえば、オブジェクトが離散的に配置されているシーンでは、候補対象領域が狭くなることから、クローズアップの対象となるオブジェクトは少なくなり、逆に、オブジェクトが密集して配置されているシーンでは、候補対象領域が広くなることから、クローズアップの対象なるオブジェクトは多くなる。すなわち、シーンの状況に応じて、異なるクローズアップ表示の効果を得ることができる。

以上、ある瞬間の基本映像について、ＣＧアニメーション表示システム１００がどのように映像を表示するかについて説明した。ところが、アニメーションシナリオに基づいて生成される基本映像では、通常、オブジェクトの表示領域は、時々刻々と変化する。したがって、クローズアップ領域決定部３３０は、オブジェクトの表示領域が変化するたびに、上記したクローズアップ表示領域４２０の決定処理を動的に行う。または、クローズアップ領域決定部３３０は、オブジェクトの表示領域の変化の速度に比べて十分に細かい周期（１秒間に１５回など）で、上記したクローズアップ表示領域４２０の決定処理を動的に行う。

以下、基本映像におけるオブジェクトの表示領域の変化に応じて、クローズアップ表示領域４２０が変化する様子を、基本映像の変化の一例を挙げて説明する。

図７は、クローズアップ表示の対象となる基本映像の変化の様子を示す説明図である。ここで、クローズアップ領域決定部３３０によって、クローズアップ表示領域４２０の決定の処理が９回連続して行われる際の各基本映像を、時系列で図示する。以下、クローズアップ領域決定部３３０によるクローズアップ表示領域４２０の決定の処理の対象となるアニメーション時刻を、領域決定時刻というものとする。

図７Ａ〜図７Ｉに示すように、基本映像７０１には、キャラクタ「あきら」７０２ａとキャラクタ「なつこ」７０２ｂが登場している。そして、各キャラクタ７０２のアニメーション空間における移動に伴って、各キャラクタ７０２の表示領域は、時間経過とともに変化している。

クローズアップ領域決定部３３０は、基本映像において、クローズアップ表示の対象となるオブジェクトごとに、オブジェクト配置領域７０４を判別する。

図８は、オブジェクト配置領域７０４の変化の様子を示す説明図である。図８Ａ〜図８Ｉは、それぞれ図７Ａ〜図７Ｉに対応している。

クローズアップ領域決定部３３０は、映像表示領域４１０を分割し、ここでは、キャラクタ「あきら」７０２ａのオブジェクト配置領域７０４ａと、キャラクタ「なつこ」７０２ｂのオブジェクト配置領域７０４ｂが、図７Ａ〜図７Ｉに示す各基本映像７０１について決定される。

図８に示すように、各オブジェクト配置領域７０４も、時間経過とともに変化する。なお、キャラクタ「あきら」７０２ａのオブジェクト配置領域７０４ａと、キャラクタ「なつこ」７０２ｂのオブジェクト配置領域７０４ｂとを合わせた領域が、候補対象外領域７０３となる。

クローズアップ領域決定部３３０は、映像表示領域４１０の内部に、候補対象外領域７０３に重ならないように、クローズアップ表示領域４２０を決定する。

図９は、クローズアップ表示領域４２０の変化の様子を示す説明図である。図９Ａ〜図９Ｉは、それぞれ図７Ａ〜図７ＡＩおよび図８Ａ〜図８Ｉに対応している。

クローズアップ領域決定部３３０は、映像表示領域４１０のうち、候補対象外領域７０３以外の領域（候補対象領域）であり、かつ、あらかじめ設定された条件を満たす領域を、クローズアップ表示領域４２０に決定する。ここでは、映像表示領域４１０が、横方向に８つ、縦方向に８つに、矩形状に６４分割され、クローズアップ候補領域の条件として、「分割領域の縦横の個数が同一であり、縦３つ分×横３つ分を超えない最大領域」が設定されている場合を図示している。

図９に示すように、クローズアップ表示領域４２０も、時間経過とともに変化するが、常にキャラクタ７０２の表示領域と重ならないようになっている。

クローズアップ領域決定部３３０は、クローズアップ表示の対象となる各オブジェクトに対して、あらかじめ設定された条件に従って、クローズアップ表示領域４２０を割り当てる。ＣＧ描画部３２０は、この割り当てに従って、各クローズアップ表示領域４２０に、該当するクローズアップ７０７映像を表示させることによって、最終的なＣＧアニメーション映像（以下「最終映像」という）を表示させる。

図１０は、最終映像の変化の様子を示す説明図である。図１０Ａ〜図１０Ｉは、それぞれ図９Ａ〜図９Ｉに対応している。

ＣＧ描画部３２０は、クローズアップ表示の対象となる各オブジェクトのクローズアップ映像７０７を、割り当てられたクローズアップ表示領域４２０に表示させる。これにより、図１０に示すように、各クローズアップ映像７０７は、各キャラクタ７０２の表示を阻害せずに基本映像７０１に割り込む形で表示される。

なお、図９Ｃおよび図１０Ｃに示すように、上記したクローズアップ候補領域を決定する際の条件と候補対象領域との関係により、クローズアップ表示領域４２０が一時的に小さくなる場合がある。また、図１０Ａ〜図１０Ｉに示すように、あるオブジェクトについてのクローズアップ表示領域４２０の位置は、領域決定時刻によって異なる。このようなクローズアップ表示領域４２０のサイズや位置の切り替えを、各領域決定時刻のみで離散的に行うと、不自然で見づらい最終映像となるおそれがある。

そこで、スムージング補間決定部３４０は、クローズアップ表示領域４２０のサイズや位置が連続的または自然に変化するように、各領域決定時刻の間の区間におけるクローズアップ表示領域４２０のサイズや位置を補間する。

スムージング補間決定部３４０は、クローズアップ領域決定部３３０によって決定されたクローズアップ表示領域４２０のサイズや位置を示す情報を、領域決定時刻ごとに取得する。そして、スムージング補間決定部３４０は、隣り合う領域決定時刻の間で、クローズアップ表示領域４２０の変化があるか否かを判別する。スムージング補間決定部３４０は、変化がある場合には、あらかじめ設定されたルールに従って、前後の領域決定時刻の間の区間におけるクローズアップ表示領域４２０の変化のさせ方を決定し、クローズアップ表示領域４２０の変化のスムージング処理を行う。

スムージング補間決定部３４０は、このクローズアップ表示領域４２０の変化のさせ方を決定するためのルールとして、たとえば、「前後の領域決定時刻の間でクローズアップ表示領域４２０が重なっている場合には、クローズアップ表示領域４２０の輪郭を連続的に変化させる」という内容を適用する。また、スムージング補間決定部３４０は、たとえば、「前後の領域決定時刻の間でクローズアップ表示領域４２０が重なっておらず、クローズアップ表示領域４２０を連続的に移動させることができる候補対象領域が存在する場合には、クローズアップ表示領域４２０を連続的に移動させる」という内容を適用する。さらに、スムージング補間決定部３４０は、たとえば、「前後の領域決定時刻の間でクローズアップ表示領域４２０が重なっておらず、クローズアップ表示領域４２０を連続的に移動させることができる候補対象領域が存在しない場合には、クローズアップ表示領域４２０を一旦消えるまで小さくし、位置を移動してから本来のサイズまで大きくしていく」という内容を適用する。

なお、各領域決定時刻の間の区間におけるクローズアップ表示領域４２０のサイズや位置の決定は、スムージング補間決定部３４０で行ってもよい。または、スムージング補間決定部３４０が、決定したスムージングの変化のさせ方をクローズアップ領域決定部３３０に出力し、上記クローズアップ表示領域４２０のサイズや位置の決定を、クローズアップ領域決定部３３０で行うようにしてもよい。決定された各領域決定時刻の間の区間におけるクローズアップ表示領域４２０のサイズや位置を示す情報は、映像表示部４００へと出力される。

図１１は、スムージング補間決定部３４０がクローズアップ表示領域４２０のサイズおよび位置を補間する様子の一例を示す説明図である。横軸８００は、アニメーション時刻を示している。また、横軸８００の上側は領域決定時刻に関する説明に対応し、横軸８００の下側は各領域決定時刻の間の区間に関する説明に対応している。

図１１に示すように、領域決定時刻である時刻ｔ−１０と、次の領域決定時刻である時刻ｔ−２０との間で、キャラクタ７０２が移動する場合、候補対象外領域７０３も移動する。その結果、時刻ｔ−１０、ｔ−２０について、クローズアップ表示領域４２０−１０、４２０−２０がそれぞれ決定されたとする。また、これらクローズアップ表示領域４２０−１０、４２０−２０は、図１１に示すように、異なるサイズではあるものの、領域が重なっているものとする。

スムージング補間決定部３４０は、上記したルールを適用した場合、時刻ｔ−１０、ｔ−２０の間で、クローズアップ表示領域４２０の輪郭を連続的に変化させる。この結果、たとえば、時刻ｔ−１０、ｔ−２０の間の時刻ｔ−１１では、図１１に示すように、クローズアップ表示領域４２０−１０、４２０−２０の間の大きさであるクローズアップ表示領域４２０−１１を用いて補間が行われる。このようにして、クローズアップ表示領域４２０のサイズは、スムーズに変化する。

図１２は、スムージング補間決定部３４０がクローズアップ表示領域４２０のサイズおよび位置を補間する様子の他の一例を示す説明図であり、図１１に対応している。

図１２に示すように、領域決定時刻である時刻ｔ−３０と、次の領域決定時刻である時刻ｔ−４０について決定されたクローズアップ表示領域４２０−３０、４２０−４０が、重なっていないとする。また、クローズアップ表示領域４２０−３０からクローズアップ表示領域４２０−４０へと、クローズアップ表示領域４２０を連続的に移動させることができる候補対象領域も存在していないとする。

スムージング補間決定部３４０は、上記したルールを適用した場合、時刻ｔ−３０、ｔ−４０の間で、クローズアップ表示領域４２０を一旦消えるまで小さくし、位置を移動してから本来のサイズまで大きくしていく。

この結果、図１２に示すように、時刻ｔ−３０、ｔ−４０の間の時刻ｔ−３３におけるクローズアップ表示領域４２０−３３は、クローズアップ表示領域４２０−３０よりも小さくなる。そして、クローズアップ表示領域４２０の位置は移動し、移動直後の時刻ｔ−３４におけるクローズアップ表示領域４２０−３４は、時刻ｔ−４０のクローズアップ表示領域４２０−４０の位置に重なる。さらに、時刻ｔ−３４、ｔ−４０の間の時刻ｔ−３６におけるクローズアップ表示領域４２０−３６は、時刻ｔ−３４のクローズアップ表示領域４２０−３４と、時刻ｔ−４０のクローズアップ表示領域４２０−４０の、中間の大きさとなる。

なお、図１２に示すように、時刻ｔ−３３、ｔ−３０の間には、クローズアップ表示領域４２０−３０、４２０−３３の間の大きさのクローズアップ表示領域４２０−３１、４２０−３２を用いて補間が行われる。また、時刻ｔ−３４、ｔ−３６の間には、クローズアップ表示領域４２０−３４、４２０−３６の間の大きさのクローズアップ表示領域４２０−３５によって、補間が行われる。このようにして、クローズアップ表示領域４２０の位置は、スムーズに変化する。

以上説明したように、本実施の形態によれば、基本映像から、オブジェクト配置領域を判別するので、クローズアップ表示領域４２０を、基本映像７０１のオブジェクト配置領域に応じて決定することができる。また、特定のオブジェクトについてオブジェクト配置領域を判別し、判別したオブジェクト配置領域に重ならないようにクローズアップ表示領域４２０を決定するので、キャラクタなど基本映像で全体像を必ず表示させたいようなオブジェクトの表示を阻害することなく、クローズアップ映像を表示することができる。すなわち、基本映像への影響を抑えた状態で、クローズアップ映像を表示することができる。また、拡大しても画質が劣化しないコンピュータグラフィックスの利点を活かして、１つの画面上に複数のカメラワークや複数の角度から撮影したＣＧアニメーション映像を表示することができるため、ユーザに対し、より表現に富んだ映像を提供することができる。

また、映像表示領域４１０の内部にクローズアップ表示領域４２０を決定するので、映像表示領域４１０のサイズをそのままとすることができる。したがって、基本映像とクローズアップ映像の両方を、より効果的に表示することができる。具体的には、たとえば、図７に示すような、キャラクタの全身動作しか表示できなかったＣＧ映像から、図１０に示すような各キャラクタの表情がはっきりと分かり、しかもキャラクタの全身動作も表示できるようなＣＧ映像を表示することができる。

さらに、本実施の形態によれば、アニメーションシナリオ６００の記述を解析し、必要な映像素材を映像素材データベース２００から取得するとともに、適切なカメラワークを決定し、基本映像およびクローズアップ映像を生成する。これにより、アニメーションシナリオ６００の内容に沿ったＣＧアニメーションを生成し、生成したＣＧアニメーションで上記した効果的な映像表示を実現することができる。また、各領域決定時刻の間の区間のクローズアップ表示領域４２０のサイズや位置を補間する。これにより、クローズアップ表示領域４２０の変化がスムーズに行われ、ＣＧアニメーション映像を見る側にとって、クローズアップ表示領域４２０を目で追い易くなり、より質の高い映像表示を実現することができる。

なお、以上説明した実施の形態では、基本映像に表示されているオブジェクトをクローズアップ表示の対象としたが、これに限るものではない。たとえば、クローズアップ表示の対象を、基本映像に表示されていないオブジェクトとしたり、クローズアップ映像を基本映像とは独立した映像として用意するようにしてもよい。また、表示の対象となる映像がＣＧアニメーション映像の場合について説明したが、実写映像に対して上記した技術を適用することは可能である。たとえば、既知の画像解析技術により、実写映像を解析して、人物などの特定のオブジェクトの表示領域を検出し、検出された領域以外の領域で、クローズアップ映像を表示するようにすればよい。

２００６年８月２日出願の特願２００６−２１１３３６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る映像表示装置および映像表示方法は、基本映像とクローズアップ映像の両方を、より効果的に表示することができる映像表示装置および映像表示方法として有用である。特に、本発明に係る映像表示装置および映像表示方法は、携帯電話機やＰＤＡ、携帯ゲーム機など、表示画面の小さい機器に好適である。

本発明は、コンピュータグラフィックスアニメーションなどの映像を表示する映像表示装置および映像表示方法に関する。

近年、登場キャラクタに表情の変化などの細かな動きを持たせるようにしたコンピュータグラフィックスアニメーション（以下「ＣＧアニメーション」という）が、注目されている。このような映像の細部を把握し易くするために、特定のオブジェクトをクローズアップした映像を表示させる技術が、たとえば特許文献１および特許文献２に記載されている。

特許文献１記載の技術では、表示の対象となる基本の映像（以下「基本映像」という）と、キャラクタなど、基本映像に登場する特定のオブジェクトをクローズアップした映像（以下「クローズアップ映像」という）とを、切り替えて表示する。これにより、キャラクタの顔の表情といった細かな動きを、把握し易くすることができる。

また、特許文献２記載の技術では、基本映像の表示領域とは別にあらかじめ用意された領域に、クローズアップ映像を表示する。これにより、オブジェクトの細かな動きを、把握し易くすることができる。
特開２００３−３２３６２８号公報 特開２００２−１５０３１７号公報

しかしながら、上記した特許文献１記載の技術では、クローズアップ映像が表示されている間、基本映像が表示されないという問題がある。たとえば、あるキャラクタがクローズアップ表示されている間に、他のキャラクタがアクションを起こしていても、そのアクションの様子が表示することができない。また、キャラクタの顔部分といった特定部位のみをクローズアップの対象としている場合には、そのキャラクタが全身動作を行っていても、その全身動作の様子を表示することができない。すなわち、特許文献１記載の技術は、クローズアップ表示されているオブジェクトの全体動作や周囲状況などが把握できないという課題を有している。

また、上記した特許文献２記載の技術では、あらかじめ用意された限られた画面上に、基本映像の表示領域とクローズアップ映像の表示領域の両方を配置しなければならないため、基本映像の表示領域が狭くなるという問題がある。特に、携帯電話機やＰＤＡ（personal digital assistant）の液晶パネルのように、小さくて解像度の低い画面で表示が行われる場合、クローズアップ表示されているオブジェクト自身の全体動作や周囲状況などが把握しづらくなる。各種ハードウェアの処理能力の向上や、コンピュータグラフィックス技術の発達により、このような小型の機器においても、ＣＧアニメーション映像を利用したアプリケーションソフトウェアが多く開発されている。

したがって、小さくて解像度の低い画面においても、基本映像とクローズアップ映像の両方を効果的に表示できることが望ましい。

本発明の目的は、基本映像とクローズアップ映像の両方を、より効果的に表示することができる映像表示装置および映像表示方法を提供することである。

本発明の映像表示装置は、表示の対象となる基本映像における特定のオブジェクトの表示領域を判別する表示領域判別部と、前記基本映像における特定のオブジェクトの表示領域に応じて、基本映像のクローズアップ映像の表示領域を決定するクローズアップ領域決定部とを具備する構成を採る。

本発明の映像表示方法は、表示の対象となる基本映像における特定のオブジェクトの表示領域を判別する表示領域判別ステップと、前記表示領域判別ステップで判別した前記基本映像における特定のオブジェクトの表示領域に応じて、基本映像のクローズアップ映像の表示領域を決定するクローズアップ領域決定ステップとを有するようにした。

本発明によれば、クローズアップ映像の表示領域を、基本映像における特定のオブジェクトの表示領域に応じて決定することにより、基本映像とクローズアップ映像の両方を、より効果的に表示することができる。

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る映像表示装置としてのＣＧアニメーション表示システムの構成を示すシステム構成図である。

図１において、ＣＧアニメーション表示システム１００は、映像素材データベース２００、ＣＧアニメーション生成部３００、および映像表示部４００を有する。ＣＧアニメーション生成部３００は、カメラワーク決定部３１０、ＣＧ描画部３２０、クローズアップ領域決定部３３０、スムージング補間決定部３４０、およびクローズアップ領域制御部３５０を有する。ＣＧ描画部３２０は、基本映像生成部３２１およびクローズアップ映像生
成部３２２を有する。映像表示部４００は、映像表示領域４１０およびクローズアップ表示領域４２０を有する。また、ＣＧアニメーション表示システム１００は、ＣＧアニメーションの基となるアニメーションシナリオ６００を入力する。

図２は、アニメーションシナリオ６００の記述例を示す説明図である。アニメーションシナリオ６００は、映画やドラマの台本のようなものである。アニメーションシナリオ６００には、「Ｓｃｅｎｅ（場面）」６１０が複数記述されている。各「Ｓｃｅｎｅ」６１０は、背景セットを示す属性「ｌｏｃａｔｉｏｎ」６１１を有している。また、各「Ｓｃｅｎｅ」６１０は、複数の「Ｄｉｒｅｃｔｉｏｎ（ト書き）」６２０を子要素として有している。各「Ｄｉｒｅｃｔｉｏｎ」６２０には、「Ｓｕｂｊｅｃｔ（動作主）」、「Ａｃｔｉｏｎ（動作）」、「Ｏｂｊｅｃｔ（目的語）」、などの情報が記述されている。また、各「Ｄｉｒｅｃｔｉｏｎ」６２０には、動作主がキャラクタの場合には、「Ｅｘｐｒｅｓｓｉｏｎ（表情）」などの付加情報も記述されている。

さらに、アニメーションシナリオ６００には、「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０が記述されている。「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０は、各「Ｓｃｅｎｅ」６１０で記述される各種名称と、ＣＧアニメーション映像として表示するのに必要な映像素材とを対応付けたものである。具体的には、各「Ｒｅｓｏｕｒｃｅ」６３０は、映像素材の識別子を示す属性「ｕｒｉ」と、「Ｓｃｅｎｅ」６１０や「Ｓｕｂｊｅｃｔ」などで記述される名称を示す属性「ｎａｍｅ」とを有している。

たとえば、「Ｓｃｅｎｅ」６１０ａの「Ｄｉｒｅｃｔｉｏｎ」６２０ａには、キャラクタの名称である「あきら」が、動作主として記述されている。また、「Ｒｅｓｏｕｒｃｅ」６３０ａには、「あきら」という名称に対応付けて、「ｈｔｔｐ：／／ｍｅｄｉａ．ｄｂ／ｉｄ／ｃｈａｒａｃｔｅｒ／ａｋｉｒａ」という映像素材の識別子が記述されている。

図１に示す映像素材データベース２００は、ＣＧアニメーションを生成するのに必要な映像素材を格納している。映像素材は、少なくとも、キャラクタや背景セットなどの各種オブジェクトの形状や外観を示す３Ｄ（dimension）モデルデータを含む。また、映像素材には、他にも、モーションデータ、静止画データ、動画データ、音声データ、および楽譜データなどが含まれる。モーションデータは、３Ｄモデルデータの動きを示すデータである。静止画データおよび動画データは、３Ｄモデルデータのテクスチャや背景などの描画に用いられるデータである。音声データは、効果音や合成音声などの出力に用いられるデータである。楽譜データは、ＢＧＭ（back ground music）などの出力に用いられるデータである。

ＣＧアニメーション生成部３００は、映像素材データベース２００から必要な映像素材を取得して、アニメーションシナリオ６００の記述に沿った内容のＣＧアニメーションを生成する。

ＣＧアニメーション生成部３００は、生成したＣＧアニメーションの基本映像と、生成したＣＧアニメーションに登場するオブジェクトのクローズアップ映像とを、映像表示部４００に表示させる。

ＣＧアニメーション生成部３００において、カメラワーク決定部３１０は、アニメーションシナリオ６００の記述を基に、アニメーション空間におけるキャラクタや背景セットなどのオブジェクトの位置を決定する。そして、カメラワーク決定部３１０は、位置を決定したオブジェクトを撮影するカメラワークを決定する。具体的には、カメラワーク決定部３１０は、たとえば、アニメーション空間のあらかじめ定められた位置にカメラを配置
して、基本のカメラワークを決定する。または、カメラワーク決定部３１０は、特定のオブジェクトを基準として撮影を行うように、基本のカメラワークを決定する。なお、アニメーションシナリオからＣＧアニメーションのカメラワークを決定する技術は既知であり、たとえば、特開２００５−４４１８１号公報に記載されているため、ここでの説明を省略する。

また、カメラワーク決定部３１０は、基本映像にキャラクタが登場するシーンでは、基本のカメラワークと併せて、キャラクタの顔部分をクローズアップで撮影するカメラワークも決定する。そして、カメラワーク決定部３１０は、決定した各オブジェクトの位置とカメラワークの内容を、座標データなどにより内部的にパラメータ化したデータを生成し、生成したデータをＣＧ描画部３２０へ出力する。

ＣＧ描画部３２０は、カメラワーク決定部３１０から入力されるデータと、アニメーションシナリオ６００の記述とに基づいて、映像素材データベース２００から、描画に必要な映像素材を取得し、ＣＧアニメーション映像を生成する。具体的には、ＣＧ描画部３２０は、まず、アニメーションシナリオ６００の記述に従って映像素材を映像素材データベース２００から取得する。そして、ＣＧ描画部３２０は、取得した各映像素材を、カメラワーク決定部３１０により決定された位置に配置する。

たとえば、ＣＧ描画部３２０は、アニメーションシナリオ６００の「Ｄｉｒｅｃｔｉｏｎ」６２０ａの記述内容をＣＧアニメーション化する際には、識別子「ｈｔｔｐ：／／ｍｅｄｉａ．ｄｂ／ｉｄ／ｃｈａｒａｃｔｅｒ／ａｋｉｒａ」に該当する映像素材を、映像素材データベース２００から取得し、動作主として配置する。

ＣＧ描画部３２０は、取得した各映像素材を配置すると、カメラワーク決定部３１０で決定されたカメラワークを実現したときの映像を生成する。そして、ＣＧ描画部３２０は、映像表示部４００に対して、生成した映像を描画させる。具体的には、ＣＧ描画部３２０において、基本映像生成部３２１は、基本のカメラワークを基に基本映像を生成し、生成した基本映像をクローズアップ領域決定部３３０および映像表示部４００へ出力する。また、クローズアップ映像生成部３２２は、クローズアップのカメラワークを基にクローズアップ映像を生成し、生成したクローズアップ映像を映像表示部４００へ出力する。

なお、各映像素材はコンピュータグラフィックスであるため、基本映像が映像表示部４００の映像表示領域４１０に描画されたときに映像表示領域４１０のどの部分にどのような画像が表示されるかを判別することは、容易である。

クローズアップ領域決定部３３０は、クローズアップ表示領域４２０のサイズや位置を決定する。そして、クローズアップ領域決定部３３０は、決定したクローズアップ表示領域４２０のサイズや位置を示す情報を、映像表示部４００およびスムージング補間決定部３４０へ出力する。ただし、クローズアップ領域決定部３３０は、ＣＧ描画部３２０から入力される基本映像を解析し、映像表示領域４１０の内部のうち、優先的に表示すべきオブジェクトの表示領域以外の領域を判別する。そして、クローズアップ領域決定部３３０は、優先的に表示すべきオブジェクトの表示領域以外の領域と判別した領域に、クローズアップ表示領域４２０を決定する。なお、たとえば、上記した特許文献１記載の技術のように、映像表示領域４１０とクローズアップ表示領域４２０とが、別々の表示領域としてあらかじめ用意されている場合には、このようなクローズアップ領域決定部３３０の機能が不要であることは、いうまでもない。

スムージング補間決定部３４０は、クローズアップ領域決定部３３０から入力された情報を基に、クローズアップ表示領域４２０の変化を解析する。そして、スムージング補間
決定部３４０は、解析したクローズアップ表示領域４２０の変化を補間し、クローズアップ表示領域４２０の変化が、滑らかにまたは自然に行われるようにする。

クローズアップ領域制御部３５０は、クローズアップ映像生成部３２２によって生成されるクローズアップ映像を、映像表示部４００で表示させるか否かを判断する。

映像表示部４００は、液晶パネルなどの表示画面（図示せず）を有しており、表示画面に、ＣＧアニメーションの基本映像を表示させるための領域である映像表示領域４１０を配置している。また、映像表示部４００は、表示画面に、ＣＧアニメーションのクローズアップ映像を表示させるための領域であるクローズアップ表示領域４２０を配置している。そして、映像表示部４００は、ＣＧアニメーション生成部３００から入力される基本映像を、映像表示領域４１０に描画するとともに、ＣＧアニメーション生成部３００から入力されるクローズアップ映像を、クローズアップ表示領域４２０に描画する。ただし、クローズアップ表示領域４２０のサイズや位置および表示／非表示は、ＣＧアニメーション生成部３００から入力される情報によって制御される。

ＣＧアニメーション表示システム１００は、図示しないが、ＣＰＵ（Central Processing Unit）と、制御プログラムを格納したＲＯＭ（Read Only Memory）などの記憶媒体と、ＲＡＭ（Random Access Memory）などの作業用メモリなどによって構成されている。制御プログラムをＣＰＵが実行することで、上記した各部の機能は実現される。

なお、映像素材データベース２００、映像表示領域４１０、およびクローズアップ表示領域４２０は、それぞれバスを介して直接にＣＧアニメーション生成部３００に接続されてもよいし、ネットワークを介してＣＧアニメーション生成部３００に接続されてもよい。

以下、クローズアップ領域決定部３３０の動作について、詳細に説明する。

図３は、クローズアップ領域決定部３３０が実行する処理の流れを示すフローチャートである。また、図４は、ある瞬間の基本映像（以下、単に「基本映像」という）を例として、クローズアップ領域決定部３３０が実行する各処理の内容を示す。ここでは、図３および図４を参照して、クローズアップ領域決定部３３０の動作の説明を行う。

図３のステップＳ１０００において、クローズアップ領域決定部３３０は、基本映像から、キャラクタなどの優先的に表示すべきオブジェクトをピックアップする。そして、クローズアップ領域決定部３３０は、ピックアップしたオブジェクトが表示される領域に基づいて、映像表示領域４１０を、候補対象領域と候補対象外領域とに区分する。候補対象領域は、クローズアップ表示領域４２０の候補として扱う領域である。候補対象外領域は、クローズアップ表示領域４２０の候補のとして扱わない領域である。ここでは、クローズアップの対象となるオブジェクトが、優先的に表示すべきオブジェクトであるものとする。

図４Ａに示すように、アニメーションシナリオ６００に基づいて、キャラクタ「あきら」７０２ａと、キャラクタ「なつこ」７０２ｂが配置された基本映像７０１が、ＣＧ描画部３２０の基本映像生成部３２１で生成されたとする。この場合、クローズアップ領域決定部３３０は、キャラクタ「あきら」７０２ａおよびキャラクタ「なつこ」７０２ｂをピックアップする。

そして、クローズアップ領域決定部３３０は、図４Ｂに示すように、基本映像７０１が表示される映像表示領域４１０をＮ×Ｍ（いずれも自然数）の領域に分割し、個々の分割
領域に対して、ピックアップしたキャラクタの表示領域が存在するか否かを判別する。そして、クローズアップ領域決定部３３０は、映像表示領域４１０のうち、キャラクタの表示領域が存在しない分割領域を、クローズアップ表示領域４２０の候補対象領域に決定する。また、クローズアップ領域決定部３３０は、キャラクタの表示領域が存在する分割領域を、クローズアップ表示領域４２０の候補対象外領域７０３（図中斜線部分）に決定する。

なお、図４では、映像表示領域４１０を、横方向に８つ、縦方向に６つに、矩形状に４８分割しているが、分割の方向や数および形状は、これに限定されるものではない。たとえば、ドット単位で処理を行い、キャラクタの輪郭で閉じられた領域のみを対象外領域としてもよい。

次に、図３のステップＳ２０００において、クローズアップ領域決定部３３０は、クローズアップすべきオブジェクト（優先的に表示すべきオブジェクト）のうち、クローズアップ候補領域の決定の処理を行っていないものが残っているか否かを判別する。クローズアップ候補領域は、後述するクローズアップ表示領域４２０となり得る領域である。クローズアップ領域決定部３３０は、クローズアップすべきオブジェクトが残っている場合には（Ｓ２０００：ＹＥＳ）、ステップＳ３０００の処理へ進む。また、クローズアップ領域決定部３３０は、クローズアップすべきオブジェクトが残っていない場合には（Ｓ２０００：ＮＯ）、ステップＳ４０００の処理へ進む。

次に、ステップＳ３０００において、クローズアップ領域決定部３３０は、クローズアップすべきオブジェクトを１つ選択し、選択したオブジェクトに基づいて、クローズアップ候補領域を決定する。ここでは、まず、キャラクタ「あきら」７０２ａに基づいて、クローズアップ候補領域を決定する場合を例として説明を行う。

クローズアップすべきオブジェクトが複数存在する場合の選択順序は、たとえば、アニメーションシナリオ６００における登場順序とすればよい。または、各オブジェクトにあらかじめ重要度を設定し、重要度に応じた順序で選択したり、その都度ランダムに選択を行うようにしてもよい。

図５は、図３のステップＳ３０００で実行される処理の流れを示すフローチャートである。

ステップＳ３１００において、クローズアップ領域決定部３３０は、処理の対象としているオブジェクトの表示領域が存在する分割領域（以下「オブジェクト配置領域」という）７０４を判別する。そして、クローズアップ領域決定部３３０は、映像表示領域４１０の各分割領域のうち、判別したオブジェクト配置領域７０４から最も遠い距離に位置する分割領域を選択する。最も遠い距離に位置する分割領域の算出は、単純な直線距離を用いたり、縦横など特定の方向に重みを付けて行うようにしてもよい。

または、最も遠い距離に位置する分割領域の算出は、隣り合う分割領域の距離を「１」とし、距離の計測方向を縦と横のみとして、各分割領域のオブジェクト配置領域７０４からの距離を示す数値を算出することにより行ってもよい。この場合には、クローズアップ領域決定部３３０は、最も数値の高い分割領域を、オブジェクト配置領域７０４から最も遠い距離に位置する領域とすればよい。この手法を用いて、図４Ｂの各分割領域に対してキャラクタ「あきら」７０２ａのオブジェクト配置領域７０４ａからの距離を示す数値を算出し、各分割領域の中に算出結果を示すと、図４Ｃのようになる。

ここでは、図４Ｃに示すように、映像表示領域４１０の左上の隅に位置する分割領域７
０５ａの数値が最も高くなる。したがって、この分割領域７０５ａが、クローズアップ候補領域の基準となる分割領域（以下「候補基準領域」という）として選択される。なお、この候補基準領域は、オブジェクト配置領域７０４以外の領域であれば、必ずしもオブジェクト配置領域７０４から最も遠い距離に位置する領域である必要はない。

次に、図５のステップＳ３２００において、クローズアップ領域決定部３３０は、候補基準領域として選択した分割領域の１つを、あらかじめ定められた条件に従って拡張し、拡張後の領域を、クローズアップ候補領域として選択する。

たとえば、拡張後の領域の条件として、「分割領域の縦２つ×横２つ分であり、候補対象外領域７０３が含まれない」という内容が設定されているとする。この場合、キャラクタ「あきら」７０２ａが処理対象のオブジェクトのときには、図４Ｄに示すように、映像表示領域４１０の左上の隅の４つの分割領域からなる拡大領域７０６ａが、クローズアップ候補領域として選択される。なお、拡張後の領域の条件として、たとえば、「分割領域の縦横の個数が同一であり、候補対象外領域７０３が含まれない最大領域」という内容を採用してもよい。

次に、図５のステップＳ３３００において、クローズアップ領域決定部３３０は、オブジェクト配置領域から最も遠い距離位置する分割領域で、まだステップＳ３２００で処理の対象となっていない他の分割領域が存在するか否かを判別する。すなわち、クローズアップ領域決定部３３０は、オブジェクト配置領域から、既にステップＳ３２００の処理の対象となった分割領域と同じ距離に位置する分割領域が存在するか否かを判別する。クローズアップ領域決定部３３０は、該当する分割領域が存在する場合には（Ｓ３３００：ＹＥＳ）、ステップＳ３２００に戻って、該当する分割領域に基づいてクローズアップ候補領域の選択を行う。また、クローズアップ領域決定部３３０は、該当する分割領域が存在しない場合には（Ｓ３３００：ＮＯ）、一連の処理を終了する。

ここでは、図４Ｃに示すように、数値が最も高くなる分割領域は１つしか存在しないため（Ｓ３３００：ＮＯ）、クローズアップ領域決定部３３０は、クローズアップ候補領域を１つ選択した後、そのまま処理を終了する。

このようにして図３のステップＳ３０００の処理が完了すると、クローズアップ領域決定部３３０は、図３のステップＳ２０００へ戻る。ここでは、クローズアップすべきオブジェクトのうち、クローズアップ候補領域決定の処理の対象となっていないものとして、キャラクタ「なつこ」７０２ｂがまだ残っている（Ｓ２０００：ＹＥＳ）。したがって、クローズアップ領域決定部３３０は、再びステップＳ３０００の処理へ進む。そして、クローズアップ領域決定部３３０は、図５で説明した一連の処理を、今度はキャラクタ「なつこ」７０２ｂを処理対象として実行する。

キャラクタ「あきら」７０２ａ対象とした処理と同様に、キャラクタ「なつこ」７０２ｂのオブジェクト配置領域７０４ｂからの距離を示す数値を算出した場合の算出結果を、各分割領域の中に示すと、図４Ｅのようになる。ここでは、図４Ｅに示すように、映像表示領域４１０の四隅に位置する４つの分割領域の数値が、最も高くなる。

したがって、映像表示領域４１０の右上の隅に位置する分割領域７０５ｂを含めた四隅の分割領域が、候補基準領域として選択され、映像表示領域４１０の右上の隅に位置する拡大領域７０６ｂを含めた四隅の拡大領域が、クローズアップ候補領域として選択される。

このようにして、クローズアップすべきオブジェクトのすべてについてクローズアップ
アップ候補領域決定の処理が行われると（Ｓ２０００：ＮＯ）、クローズアップ領域決定部３３０は、ステップＳ４０００の処理へ進む。

ステップＳ４０００において、クローズアップ領域決定部３３０は、クローズアップ表示の対象となる各オブジェクトに対し、決定されたクローズアップ候補領域を、クローズアップ表示領域４２０としてそれぞれ割り当てる。

たとえば、図４に示す基本映像７０１の場合には、上記したように、映像表示領域４１０の四隅の拡大領域が、クローズアップ候補領域して決定される。ここで、クローズアップ表示領域４２０の割り当てのルールとして、たとえば、「上側のクローズアップ候補領域を優先的に割り当てるとともに、クローズアップ候補領域の候補から距離が近い順に割り当てを行う」という内容が、あらかじめ設定されているものとする。

映像表示領域４１０の四隅に位置する拡大領域の上側の２つについて、各キャラクタ７０２からの距離を比較すると、最も距離が近いのは、キャラクタ「あきら」７０２ａから分割領域７０６ｂまでの距離である。したがって、クローズアップ領域決定部３３０は、図４Ｆに示すように、まず、分割領域７０６ｂを、キャラクタ「あきら」７０２ａのクローズアップ表示領域４２０ａに割り当てる。そして、次に、クローズアップ領域決定部３３０は、図４Ｆに示すように、残った分割領域７０６ａを、キャラクタ「なつこ」７０２ｂのクローズアップ表示領域４２０ｂに割り当てる。

なお、クローズアップ表示領域４２０の割り当てのルールとして、「１つ前に割り当てられたクローズアップ候補領域に最も近いクローズアップ候補領域を、優先的に割り当てる」という内容が設定されていてもよい。このようなルールを適用することにより、同一キャラクタ７０２のクローズアップ候補領域４２０の移動を、できるだけ抑えることが可能となる。

このようにして、クローズアップ領域決定部３３０は、必要なクローズアップ表示領域４２０のすべてを決定すると、一連の処理を終了する。

クローズアップ領域制御部３５０は、クローズアップ領域決定部３３０によって決定されるクローズアップ表示領域４２０を表示すべきか否かを逐次判別する。そして、クローズアップ領域決定部３３０は、クローズアップ表示領域４２０を表示すべきか否かの判別結果に応じてクローズアップ表示領域４２０の表示／非表示を制御する。

たとえば、クローズアップ領域決定部３３０は、クローズアップ領域決定部３３０によって決定されるクローズアップ表示領域４２０が、あらかじめ決められた面積以上確保できた場合のみ、クローズアップ表示領域４２０を表示するように制御する。または、クローズアップ領域決定部３３０は、キャラクタ７０２のアクションに同期して、対応するクローズアップ表示領域４２０の表示を制御する。より具体的には、クローズアップ領域決定部３３０は、キャラクタ７０２が発話するときだけ、またはキャラクタ７０２の表情が変化する一定区間だけ、対応するクローズアップ表示領域４２０を表示するよう制御する。これにより、効果の低いクローズアップ表示を低減し、画面の煩雑さや装置負荷を軽減することが可能となる。

なお、クローズアップ領域決定部３３０は、たとえば、キャラクタ７０２の発話している区間や表情が変化する区間を、アニメーションシナリオ６００の記述から判別する。具体的には、たとえば、「Ｅｘｐｒｅｓｓｉｏｎ（表情）」が記述されている「Ｄｉｒｅｃｔｉｏｎ（ト書き）」６２０に対応する区間を特定し、その区間を前後数秒間だけ拡大した区間を、キャラクタ７０２の表情が変化する区間と判別する。

以上の処理により各クローズアップ表示領域４２０が表示されると、図４Ｆに示すように、キャラクタ「あきら」７０２ａのクローズアップ映像７０７ａが、基本映像７０１の右上に表示され、キャラクタ「なつこ」７０２ｂのクローズアップ映像７０７ｂが、基本映像７０１の左上に表示される。

図４Ｆからも分かるように、クローズアップ領域決定部３３０による処理の結果として、各クローズアップ映像７０７は、いずれも、キャラクタ７０２に重ならない位置に表示される。すなわち、各キャラクタ７０２の全身と顔部分の両方が表示される。また、キャラクタ７０２の全身のアクションと、顔の表情とが、効率よく表示され、表現豊かな映像が実現される。さらに、映像表示領域４１０の内部にクローズアップ映像７０７が表示されるので、基本映像７０１の表示領域のサイズおよび各キャラクタ７０２の全身の表示サイズはそのままとなる。

なお、クローズアップ領域決定部３３０は、分割領域７０５や拡大領域７０６を決定した後、クローズアップ表示領域を矩形以外の形状に変化させるようにしてもよい。

図６は、クローズアップ表示領域を変形させた場合の映像の一例を示す説明図である。ここでは、矩形状のクローズアップ表示領域に対して、対応するキャラクタ７０２のクローズアップの中心点に最も近い頂点を当該中心点に移動させる形で、変形を加えた場合を図示している。ただし、変形されたクローズアップ表示領域７０８よりも手前側に、オブジェクトを表示させるようにしている。このように変形されたクローズアップ表示領域７０８は、どのオブジェクトのクローズアップ映像であるのかをより分かり易くすることができる。

また、クローズアップ表示領域４２０の決定後、または変形後に、再度カメラワーク決定部３１０で新たなクローズアップのカメラワークを決定するようにしてもよい。または、クローズアップのカメラワークの決定自体を、クローズアップ表示領域４２０の決定後に行うようにしてもよい。

さらに、図４および図６では、クローズアップ映像の撮影方向が、基本映像の撮影方向と同じ場合を図示しているが、これに限るものではない。たとえば、常にキャラクタの顔正面から撮影を行うようなクローズアップのカメラワークを決定するようにしてもよい。これにより、たとえば、基本映像では後ろ向きとなっているキャラクタでも、その表情を表示させることができる。

また、上記の説明では、図３のステップＳ１０００の説明で記載したとおり、クローズアップの対象となるオブジェクトが、優先的に表示すべきオブジェクトであるとしたが、クローズアップの対象となるオブジェクトを、優先的に表示すべきオブジェクトの全部または一部としてもよい。この場合には、クローズアップ領域決定部３３０は、図３のステップＳ１０００で、優先的に表示すべきオブジェクトを、候補対象領域と候補対象外領域との区分の決定のために用い、図４のステップＳ３０００で、優先的に表示すべきオブジェクトの全部また一部であるクローズアップの対象となるオブジェクトを、クローズアップ候補領域の決定のために用いることになる。

クローズアップの対象となるオブジェクトと、クローズアップの対象とならないオブジェクトの区別には、各種の規則を適用できる。たとえば、図２に示す「Ｄｉｒｅｃｔｉｏｎ（ト書き）」６２０のうち「Ｅｘｐｒｅｓｓｉｏｎ（表情）」が定義されているものをクローズアップの対象にする、という規則を適用する。また、たとえば、図２に示す「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０にそのオブジェクトが対象であるか否かを示す
属性が定義されている場合にはクローズアップの対象にする、という規則を適用する。

オブジェクトがクローズアップの対象であるか否かを示す属性としては、たとえば、オブジェクトが人であるか否かを示す属性を用いればよい。オブジェクトが人であるか否かを示す属性は、たとえば「ａｔｔｒ」とし、「ｐｅｒｓｏｎ」が設定されているか否かにより人であるか否かを示す。この場合、アニメーションシナリオ６００の「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０として、たとえば、「Ｒｅｓｏｕｒｃｅ ｎａｍｅ＝“あきら” ａｔｔｒ＝ｐｅｒｓｏｎ ｕｒｉ＝・・・」が記述される。また、アニメーションシナリオ６００の「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０として、たとえば、「Ｒｅｓｏｕｒｃｅ ｎａｍｅ＝“椅子” ａｔｔｒ＝ｃｈａｉｒ ｕｒｉ＝・・・」が記述される。これらの「Ｒｅｓｏｕｒｃｅ（リソース情報）」６３０からは、「あきら」というオブジェクトが人であり、「椅子」というオブジェクトが人ではないということが分かる。

これにより、クローズアップ領域決定部３３０は、特に表情の変化が与えられないキャラクタや人以外のオブジェクトに対して、優先的な表示を保証する一方で、クローズアップは行なわないようにすることができる。

さらに、クローズアップの対象となるオブジェクトの個数が候補対象領域に比べて多すぎる場合には、クローズアップ領域決定部３３０は、クローズアップの対象を削減するようにしてもよい。たとえば、クローズアップ領域決定部３３０は、「Ｅｘｐｒｅｓｓｉｏｎ（表情）」の定義の有無や人のオブジェクトであるか否かに応じて、各オブジェクトに優先順位を決定する。そして、クローズアップ領域決定部３３０は、候補対象領域との関連で、優先順位の高いオブジェクトから順にクローズアップの対象を決定する。これにより、たとえば、オブジェクトが離散的に配置されているシーンでは、候補対象領域が狭くなることから、クローズアップの対象となるオブジェクトは少なくなり、逆に、オブジェクトが密集して配置されているシーンでは、候補対象領域が広くなることから、クローズアップの対象なるオブジェクトは多くなる。すなわち、シーンの状況に応じて、異なるクローズアップ表示の効果を得ることができる。

以上、ある瞬間の基本映像について、ＣＧアニメーション表示システム１００がどのように映像を表示するかについて説明した。ところが、アニメーションシナリオに基づいて生成される基本映像では、通常、オブジェクトの表示領域は、時々刻々と変化する。したがって、クローズアップ領域決定部３３０は、オブジェクトの表示領域が変化するたびに、上記したクローズアップ表示領域４２０の決定処理を動的に行う。または、クローズアップ領域決定部３３０は、オブジェクトの表示領域の変化の速度に比べて十分に細かい周期（１秒間に１５回など）で、上記したクローズアップ表示領域４２０の決定処理を動的に行う。

以下、基本映像におけるオブジェクトの表示領域の変化に応じて、クローズアップ表示領域４２０が変化する様子を、基本映像の変化の一例を挙げて説明する。

図７は、クローズアップ表示の対象となる基本映像の変化の様子を示す説明図である。ここで、クローズアップ領域決定部３３０によって、クローズアップ表示領域４２０の決定の処理が９回連続して行われる際の各基本映像を、時系列で図示する。以下、クローズアップ領域決定部３３０によるクローズアップ表示領域４２０の決定の処理の対象となるアニメーション時刻を、領域決定時刻というものとする。

図７Ａ〜図７Ｉに示すように、基本映像７０１には、キャラクタ「あきら」７０２ａとキャラクタ「なつこ」７０２ｂが登場している。そして、各キャラクタ７０２のアニメー
ション空間における移動に伴って、各キャラクタ７０２の表示領域は、時間経過とともに変化している。

クローズアップ領域決定部３３０は、基本映像において、クローズアップ表示の対象となるオブジェクトごとに、オブジェクト配置領域７０４を判別する。

図８は、オブジェクト配置領域７０４の変化の様子を示す説明図である。図８Ａ〜図８Ｉは、それぞれ図７Ａ〜図７Ｉに対応している。

クローズアップ領域決定部３３０は、映像表示領域４１０を分割し、ここでは、キャラクタ「あきら」７０２ａのオブジェクト配置領域７０４ａと、キャラクタ「なつこ」７０２ｂのオブジェクト配置領域７０４ｂが、図７Ａ〜図７Ｉに示す各基本映像７０１について決定される。

図８に示すように、各オブジェクト配置領域７０４も、時間経過とともに変化する。なお、キャラクタ「あきら」７０２ａのオブジェクト配置領域７０４ａと、キャラクタ「なつこ」７０２ｂのオブジェクト配置領域７０４ｂとを合わせた領域が、候補対象外領域７０３となる。

クローズアップ領域決定部３３０は、映像表示領域４１０の内部に、候補対象外領域７０３に重ならないように、クローズアップ表示領域４２０を決定する。

図９は、クローズアップ表示領域４２０の変化の様子を示す説明図である。図９Ａ〜図９Ｉは、それぞれ図７Ａ〜図７ＡＩおよび図８Ａ〜図８Ｉに対応している。

クローズアップ領域決定部３３０は、映像表示領域４１０のうち、候補対象外領域７０３以外の領域（候補対象領域）であり、かつ、あらかじめ設定された条件を満たす領域を、クローズアップ表示領域４２０に決定する。ここでは、映像表示領域４１０が、横方向に８つ、縦方向に８つに、矩形状に６４分割され、クローズアップ候補領域の条件として、「分割領域の縦横の個数が同一であり、縦３つ分×横３つ分を超えない最大領域」が設定されている場合を図示している。

図９に示すように、クローズアップ表示領域４２０も、時間経過とともに変化するが、常にキャラクタ７０２の表示領域と重ならないようになっている。

クローズアップ領域決定部３３０は、クローズアップ表示の対象となる各オブジェクトに対して、あらかじめ設定された条件に従って、クローズアップ表示領域４２０を割り当てる。ＣＧ描画部３２０は、この割り当てに従って、各クローズアップ表示領域４２０に、該当するクローズアップ７０７映像を表示させることによって、最終的なＣＧアニメーション映像（以下「最終映像」という）を表示させる。

図１０は、最終映像の変化の様子を示す説明図である。図１０Ａ〜図１０Ｉは、それぞれ図９Ａ〜図９Ｉに対応している。

ＣＧ描画部３２０は、クローズアップ表示の対象となる各オブジェクトのクローズアップ映像７０７を、割り当てられたクローズアップ表示領域４２０に表示させる。これにより、図１０に示すように、各クローズアップ映像７０７は、各キャラクタ７０２の表示を阻害せずに基本映像７０１に割り込む形で表示される。

なお、図９Ｃおよび図１０Ｃに示すように、上記したクローズアップ候補領域を決定す
る際の条件と候補対象領域との関係により、クローズアップ表示領域４２０が一時的に小さくなる場合がある。また、図１０Ａ〜図１０Ｉに示すように、あるオブジェクトについてのクローズアップ表示領域４２０の位置は、領域決定時刻によって異なる。このようなクローズアップ表示領域４２０のサイズや位置の切り替えを、各領域決定時刻のみで離散的に行うと、不自然で見づらい最終映像となるおそれがある。

そこで、スムージング補間決定部３４０は、クローズアップ表示領域４２０のサイズや位置が連続的または自然に変化するように、各領域決定時刻の間の区間におけるクローズアップ表示領域４２０のサイズや位置を補間する。

スムージング補間決定部３４０は、クローズアップ領域決定部３３０によって決定されたクローズアップ表示領域４２０のサイズや位置を示す情報を、領域決定時刻ごとに取得する。そして、スムージング補間決定部３４０は、隣り合う領域決定時刻の間で、クローズアップ表示領域４２０の変化があるか否かを判別する。スムージング補間決定部３４０は、変化がある場合には、あらかじめ設定されたルールに従って、前後の領域決定時刻の間の区間におけるクローズアップ表示領域４２０の変化のさせ方を決定し、クローズアップ表示領域４２０の変化のスムージング処理を行う。

スムージング補間決定部３４０は、このクローズアップ表示領域４２０の変化のさせ方を決定するためのルールとして、たとえば、「前後の領域決定時刻の間でクローズアップ表示領域４２０が重なっている場合には、クローズアップ表示領域４２０の輪郭を連続的に変化させる」という内容を適用する。また、スムージング補間決定部３４０は、たとえば、「前後の領域決定時刻の間でクローズアップ表示領域４２０が重なっておらず、クローズアップ表示領域４２０を連続的に移動させることができる候補対象領域が存在する場合には、クローズアップ表示領域４２０を連続的に移動させる」という内容を適用する。さらに、スムージング補間決定部３４０は、たとえば、「前後の領域決定時刻の間でクローズアップ表示領域４２０が重なっておらず、クローズアップ表示領域４２０を連続的に移動させることができる候補対象領域が存在しない場合には、クローズアップ表示領域４２０を一旦消えるまで小さくし、位置を移動してから本来のサイズまで大きくしていく」という内容を適用する。

なお、各領域決定時刻の間の区間におけるクローズアップ表示領域４２０のサイズや位置の決定は、スムージング補間決定部３４０で行ってもよい。または、スムージング補間決定部３４０が、決定したスムージングの変化のさせ方をクローズアップ領域決定部３３０に出力し、上記クローズアップ表示領域４２０のサイズや位置の決定を、クローズアップ領域決定部３３０で行うようにしてもよい。決定された各領域決定時刻の間の区間におけるクローズアップ表示領域４２０のサイズや位置を示す情報は、映像表示部４００へと出力される。

図１１は、スムージング補間決定部３４０がクローズアップ表示領域４２０のサイズおよび位置を補間する様子の一例を示す説明図である。横軸８００は、アニメーション時刻を示している。また、横軸８００の上側は領域決定時刻に関する説明に対応し、横軸８００の下側は各領域決定時刻の間の区間に関する説明に対応している。

図１１に示すように、領域決定時刻である時刻ｔ−１０と、次の領域決定時刻である時刻ｔ−２０との間で、キャラクタ７０２が移動する場合、候補対象外領域７０３も移動する。その結果、時刻ｔ−１０、ｔ−２０について、クローズアップ表示領域４２０−１０、４２０−２０がそれぞれ決定されたとする。また、これらクローズアップ表示領域４２０−１０、４２０−２０は、図１１に示すように、異なるサイズではあるものの、領域が重なっているものとする。

スムージング補間決定部３４０は、上記したルールを適用した場合、時刻ｔ−１０、ｔ−２０の間で、クローズアップ表示領域４２０の輪郭を連続的に変化させる。この結果、たとえば、時刻ｔ−１０、ｔ−２０の間の時刻ｔ−１１では、図１１に示すように、クローズアップ表示領域４２０−１０、４２０−２０の間の大きさであるクローズアップ表示領域４２０−１１を用いて補間が行われる。このようにして、クローズアップ表示領域４２０のサイズは、スムーズに変化する。

図１２は、スムージング補間決定部３４０がクローズアップ表示領域４２０のサイズおよび位置を補間する様子の他の一例を示す説明図であり、図１１に対応している。

図１２に示すように、領域決定時刻である時刻ｔ−３０と、次の領域決定時刻である時刻ｔ−４０について決定されたクローズアップ表示領域４２０−３０、４２０−４０が、重なっていないとする。また、クローズアップ表示領域４２０−３０からクローズアップ表示領域４２０−４０へと、クローズアップ表示領域４２０を連続的に移動させることができる候補対象領域も存在していないとする。

スムージング補間決定部３４０は、上記したルールを適用した場合、時刻ｔ−３０、ｔ−４０の間で、クローズアップ表示領域４２０を一旦消えるまで小さくし、位置を移動してから本来のサイズまで大きくしていく。

この結果、図１２に示すように、時刻ｔ−３０、ｔ−４０の間の時刻ｔ−３３におけるクローズアップ表示領域４２０−３３は、クローズアップ表示領域４２０−３０よりも小さくなる。そして、クローズアップ表示領域４２０の位置は移動し、移動直後の時刻ｔ−３４におけるクローズアップ表示領域４２０−３４は、時刻ｔ−４０のクローズアップ表示領域４２０−４０の位置に重なる。さらに、時刻ｔ−３４、ｔ−４０の間の時刻ｔ−３６におけるクローズアップ表示領域４２０−３６は、時刻ｔ−３４のクローズアップ表示領域４２０−３４と、時刻ｔ−４０のクローズアップ表示領域４２０−４０の、中間の大きさとなる。

なお、図１２に示すように、時刻ｔ−３３、ｔ−３０の間には、クローズアップ表示領域４２０−３０、４２０−３３の間の大きさのクローズアップ表示領域４２０−３１、４２０−３２を用いて補間が行われる。また、時刻ｔ−３４、ｔ−３６の間には、クローズアップ表示領域４２０−３４、４２０−３６の間の大きさのクローズアップ表示領域４２０−３５によって、補間が行われる。このようにして、クローズアップ表示領域４２０の位置は、スムーズに変化する。

以上説明したように、本実施の形態によれば、基本映像から、オブジェクト配置領域を判別するので、クローズアップ表示領域４２０を、基本映像７０１のオブジェクト配置領域に応じて決定することができる。また、特定のオブジェクトについてオブジェクト配置領域を判別し、判別したオブジェクト配置領域に重ならないようにクローズアップ表示領域４２０を決定するので、キャラクタなど基本映像で全体像を必ず表示させたいようなオブジェクトの表示を阻害することなく、クローズアップ映像を表示することができる。すなわち、基本映像への影響を抑えた状態で、クローズアップ映像を表示することができる。また、拡大しても画質が劣化しないコンピュータグラフィックスの利点を活かして、１つの画面上に複数のカメラワークや複数の角度から撮影したＣＧアニメーション映像を表示することができるため、ユーザに対し、より表現に富んだ映像を提供することができる。

また、映像表示領域４１０の内部にクローズアップ表示領域４２０を決定するので、映
像表示領域４１０のサイズをそのままとすることができる。したがって、基本映像とクローズアップ映像の両方を、より効果的に表示することができる。具体的には、たとえば、図７に示すような、キャラクタの全身動作しか表示できなかったＣＧ映像から、図１０に示すような各キャラクタの表情がはっきりと分かり、しかもキャラクタの全身動作も表示できるようなＣＧ映像を表示することができる。

さらに、本実施の形態によれば、アニメーションシナリオ６００の記述を解析し、必要な映像素材を映像素材データベース２００から取得するとともに、適切なカメラワークを決定し、基本映像およびクローズアップ映像を生成する。これにより、アニメーションシナリオ６００の内容に沿ったＣＧアニメーションを生成し、生成したＣＧアニメーションで上記した効果的な映像表示を実現することができる。また、各領域決定時刻の間の区間のクローズアップ表示領域４２０のサイズや位置を補間する。これにより、クローズアップ表示領域４２０の変化がスムーズに行われ、ＣＧアニメーション映像を見る側にとって、クローズアップ表示領域４２０を目で追い易くなり、より質の高い映像表示を実現することができる。

なお、以上説明した実施の形態では、基本映像に表示されているオブジェクトをクローズアップ表示の対象としたが、これに限るものではない。たとえば、クローズアップ表示の対象を、基本映像に表示されていないオブジェクトとしたり、クローズアップ映像を基本映像とは独立した映像として用意するようにしてもよい。また、表示の対象となる映像がＣＧアニメーション映像の場合について説明したが、実写映像に対して上記した技術を適用することは可能である。たとえば、既知の画像解析技術により、実写映像を解析して、人物などの特定のオブジェクトの表示領域を検出し、検出された領域以外の領域で、クローズアップ映像を表示するようにすればよい。

２００６年８月２日出願の特願２００６−２１１３３６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る映像表示装置および映像表示方法は、基本映像とクローズアップ映像の両方を、より効果的に表示することができる映像表示装置および映像表示方法として有用である。特に、本発明に係る映像表示装置および映像表示方法は、携帯電話機やＰＤＡ、携帯ゲーム機など、表示画面の小さい機器に好適である。

本発明の一実施の形態に係る映像表示装置としてのＣＧアニメーション表示システムの構成を示すシステム構成図 本実施の形態におけるアニメーションシナリオの記述例を示す説明図 本実施の形態におけるクローズアップ領域決定部が実行する処理の流れを示すフローチャート 本実施の形態におけるクローズアップ領域決定部が実行する各処理の内容を示す説明図 本実施の形態における図３のステップＳ３０００で実行される処理の流れを示すフローチャート 本実施の形態におけるクローズアップ表示領域を変形させた場合の映像の一例を示す説明図 本実施の形態におけるクローズアップ表示の対象となる基本映像の変化の様子を示す説明図 本実施の形態におけるオブジェクト配置領域の変化の様子を示す説明図 本実施の形態におけるクローズアップ表示領域の変化の様子を示す説明図 本実施の形態における最終映像の変化の様子を示す説明図 本実施の形態におけるスムージング補間決定部がクローズアップ表示領域のサイズおよび位置を補間する様子の一例を示す説明図 本実施の形態におけるスムージング補間決定部がクローズアップ表示領域のサイズおよび位置を補間する様子の他の一例を示す説明図

Claims (11)

1. 表示の対象となる基本映像における特定のオブジェクトの表示領域を判別する表示領域判別部と、
   前記基本映像における特定のオブジェクトの表示領域に応じて、基本映像のクローズアップ映像の表示領域を決定するクローズアップ領域決定部と、
   を有する映像表示装置。
2. 前記基本映像を表示する映像表示部、をさらに有し、
   前記特定のオブジェクトは、前記基本映像に配置されるオブジェクトのうち、優先的に表示すべきオブジェクトであり、
   前記クローズアップ領域決定部は、
   前記映像表示部による前記基本映像の表示領域のうち、前記特定のオブジェクトの表示領域以外の領域を、前記クローズアップ映像の表示領域に決定する、
   請求項１記載の映像表示装置。
3. 前記クローズアップ領域決定部により決定される前記クローズアップ映像の表示領域が、あらかじめ定められた面積以上のとき、前記クローズアップ映像を表示させるクローズアップ領域制御部、
   をさらに有する請求項２記載の映像表示装置。
4. 前記クローズアップ映像として、前記特定のオブジェクトをクローズアップした映像を生成するクローズアップ映像生成部、をさらに有し、
   前記クローズアップ領域制御部は、
   前記特定のオブジェクトのアクションに同期して、前記クローズアップ映像の表示を制御する、
   請求項３記載の映像表示装置。
5. 前記基本映像および前記クローズアップ映像は、コンピュータグラフィックスのオブジェクトを配置したコンピュータグラフィックスアニメーション映像である、
   請求項２記載の映像表示装置。
6. アニメーションシナリオから、前記基本映像のカメラワークを決定するカメラワーク決定部と、
   前記アニメーションシナリオと、前記カメラワーク決定部によって決定される前記基本映像のカメラワークとに基づいて、前記基本映像を生成する基本映像生成部と、
   前記アニメーションシナリオから、前記クローズアップ映像を生成するクローズアップ映像生成部と、
   をさらに有する請求項５記載の映像表示装置。
7. 前記カメラワーク決定部は、
   前記アニメーションシナリオから、前記クローズアップ映像のカメラワークを決定し、
   前記クローズアップ映像生成部は、
   前記カメラワーク決定部によって決定される前記クローズアップ映像のカメラワークに基づいて、前記クローズアップ映像を生成する、
   請求項６記載の映像表示装置。
8. 前記コンピュータグラフィックスアニメーション映像を生成するのに必要な映像素材を格納した映像素材データベース、をさらに有し、
   前記基本映像生成部および前記クローズアップ映像生成部は、
   それぞれ前記映像素材データベースから必要な映像素材を取得してコンピュータグラフィックスアニメーション映像を生成する、
   請求項７記載の映像表示装置。
9. 前記クローズアップ領域決定部によって決定されるクローズアップ映像の表示領域が変化する区間において、その変化の補間を行うスムージング補間決定部、
   をさらに有する請求項２記載の映像表示装置。
10. 前記表示領域判別部は、
    表示の対象となる基本映像における特定のオブジェクトの表示領域を、動的に判別する、
    請求項１記載の映像表示装置。
11. 表示の対象となる基本映像における特定のオブジェクトの表示領域を判別する表示領域判別ステップと、
    前記表示領域判別ステップで判別した前記基本映像における特定のオブジェクトの表示領域に応じて、基本映像のクローズアップ映像の表示領域を決定するクローズアップ領域決定ステップと、
    を有する映像表示方法。

Images