JP5097636B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

コンピュータグラフィックス（ＣＧ）に関する様々な技術が存在する。例えば、仮想三次元空間内に配置されたキャラクタの顔などを示す三次元形状データを視線方向に垂直な投影面に投影することによって生成される画像を、ディスプレイなどに表示する技術が存在する。このような技術を用いることで、例えば、ディスプレイなどに表示されるキャラクタの顔などを示す画像を仮想三次元空間内における視線方向に応じて変化させることができる。

また、ＣＧに関する別の技術として、所定の形状から別の形状へ徐々に変化していく様子を動画で表現するために、変化の途中を補うモーフィング技術が存在する。例えば、特許文献１に示されているように、モーフィング技術を用いると、キャラクタの顔の表情をスムーズに変化させることができる。
米国特許出願公開第２００１／００３６８６０号明細書

三次元形状データを投影することなどによって生成される画像をディスプレイなどに表示する技術では、表示される画像の基礎となるオブジェクトが三次元形状データとしてモデリングされている必要がある。そして、三次元形状データと、仮想三次元空間内における視線方向と、の関係によって、表示される画像が決定されてしまう。そのため、視線方向に対応する所望の画像がディスプレイなどに表示されるようユーザが制御することは困難であった。

本発明は、上記課題に鑑みてなされたものであって、仮想三次元空間内における視線方向に対応する所望の画像を容易に表示することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、複数の基礎特徴点それぞれの位置を示す基礎特徴点群位置データと、当該基礎特徴点群位置データと仮想三次元空間内における視線方向との関係を示す基礎視線方向関係データと、を含む基礎データを複数記憶する基礎データ記憶手段と、前記仮想三次元空間内における視線方向を示す受付視線方向データを受け付ける視線方向データ受付手段と、前記受付視線方向データと前記各基礎視線方向関係データとの関係、及び、前記基礎データ記憶手段に記憶されている基礎特徴点群位置データのうちの複数に基づく、互いに対応する基礎特徴点同士の位置関係に基づいて、複数の算出特徴点の位置を算出する特徴点位置算出手段と、前記特徴点位置算出手段により算出される複数の算出特徴点の位置に基づいて、画像を生成する画像生成手段と、を含むことを特徴とする。

また、本発明に係る画像処理方法は、複数の基礎特徴点それぞれの位置を示す基礎特徴点群位置データと、当該基礎特徴点群位置データと仮想三次元空間内における視線方向との関係を示す基礎視線方向関係データと、を含む基礎データを複数、基礎データ記憶手段に記憶させるステップと、前記仮想三次元空間内における視線方向を示す受付視線方向データを受け付ける視線方向データ受付ステップと、前記受付視線方向データと前記各基礎視線方向関係データとの関係、及び、前記基礎データ記憶手段に記憶されている基礎特徴点群位置データのうちの複数に基づく、互いに対応する基礎特徴点同士の位置関係に基づいて、複数の算出特徴点の位置を算出する特徴点位置算出ステップと、前記特徴点位置算出ステップにより算出される複数の算出特徴点の位置に基づいて、画像を生成する画像生成ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、複数の基礎特徴点それぞれの位置を示す基礎特徴点群位置データと、当該基礎特徴点群位置データと仮想三次元空間内における視線方向との関係を示す基礎視線方向関係データと、を含む基礎データを複数、基礎データ記憶手段に記憶させる手段、前記仮想三次元空間内における視線方向を示す受付視線方向データを受け付ける視線方向データ受付手段、前記受付視線方向データと前記各基礎視線方向関係データとの関係、及び、前記基礎データ記憶手段に記憶されている基礎特徴点群位置データのうちの複数に基づく、互いに対応する基礎特徴点同士の位置関係に基づいて、複数の算出特徴点の位置を算出する特徴点位置算出手段、前記特徴点位置算出手段により算出される複数の算出特徴点の位置に基づいて、画像を生成する画像生成手段、としてコンピュータを機能させることを特徴とする。

また、上記のプログラムはコンピュータ読み取り可能な情報記憶媒体に格納することもできる。

本発明によると、仮想三次元空間内における視線方向に関連付けられる基礎特徴点群位置データに基づいて、受付視線方向データが示す視線方向に応じた画像が生成されるので、仮想三次元空間内における視線方向に対応する所望の画像を容易に表示することができる。

本発明の一態様では、前記画像生成手段による画像生成の単位であるターゲットの前記仮想三次元空間内における方向を示すターゲット方向データと、前記受付視線方向データと、の関係に基づいて、前記複数の算出特徴点の位置を算出することを特徴とする。こうすれば、ターゲット方向データが示す方向に基づく算出特徴点の位置の算出が可能となる。

また、本発明の一態様では、前記受付視線方向データと前記各基礎視線方向関係データとの関係に基づいて、前記基礎データ記憶手段に記憶されている基礎データのうちの複数について、当該基礎データに関連付けられる重みを示す重み係数を算出する重み係数算出手段、をさらに含み、前記特徴点位置算出手段が、前記重み係数が示す重みに基づいて、前記複数の算出特徴点の位置を算出することを特徴とする。こうすれば、重み係数に基づいて算出特徴点の位置が算出されるので、算出特徴点の位置を容易に算出することができる。

また、本発明の一態様では、基礎データ記憶手段に記憶されている基礎データのうちから、前記受付視線方向データと前記各基礎視線方向関係データとの関係に基づいて、複数の基礎データを選択する基礎データ選択手段、をさらに含み、前記特徴点位置算出手段が、前記基礎データ選択手段により選択される基礎データに含まれる基礎特徴点群位置データに基づく、互いに対応する基礎特徴点同士の位置関係に基づいて、複数の算出特徴点の位置を算出することを特徴とする。こうすれば、選択される基礎データに含まれる基礎特徴点群位置データに基づいて、算出特徴点の位置が算出されるので、算出特徴点を算出する処理の負荷を低減することができる。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本実施形態に係る画像処理装置１０のハードウェア構成を示す図である。

画像処理装置１０は、制御部１２、記憶部１４、ユーザインタフェース（ＵＩ）部１６を含んで構成される。制御部１２、記憶部１４、ＵＩ部１６は、バスを介して接続される。

制御部１２はCentral Processing Unit（ＣＰＵ）等のプログラム制御デバイスであり、記憶部１４に格納されたプログラムに従って動作する。

記憶部１４は、Random Access Memory（ＲＡＭ）等の記憶素子やハードディスクなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが格納される。また、制御部１２のワークメモリとしても動作する。

ＵＩ部１６は、ディスプレイ、キーボード、マウス、ゲームパッドなどであり、画像処理装置１０のユーザが行った操作の内容を制御部１２に出力する。また、このＵＩ部１６は、制御部１２から入力される指示に従って情報を表示する。

本実施形態では、画像処理装置１０は、仮想三次元空間１８内の視点２０から、視線方向２２を見た様子を示す画像（以下、表示画像２４という。）をディスプレイなどのＵＩ部１６に表示する（図２及び図３参照）。図２に仮想三次元空間１８の一例を示す。図３に、表示画像２４の一例を示す。なお、図２に示されているターゲット代表点２６（顔代表点２６ａ及び胴体代表点２６ｂ）、ターゲット方向２７（顔方向２７ａ及び胴体方向２７ｂ）の詳細については後述する。

本実施形態において、表示画像２４は、ターゲット画像２８を含んでいる。ここで、ターゲット画像２８は、後述する画像生成部４２による画像生成処理の単位となる画像をいう。具体的には、例えば、図３に示す表示画像２４には、２つのターゲット画像２８（顔画像２８ａ及び胴体画像２８ｂ）が含まれている。なお、表示画像２４に含まれるターゲット画像２８の数はもちろん２つに限定されない。

そして、画像処理装置１０のユーザは、マウスなどのＵＩ部１６を操作することによって、視点２０の位置や視線方向２２を自由に移動することができる。

図４は、本発明の一実施形態に係る画像処理装置１０の機能ブロック図である。図４に示すように、本発明の一実施形態に係る画像処理装置１０は、機能的には、ターゲットデータ記憶部３０、基礎データ記憶部３２、視点データ受付部３４、基礎データ選択部３６、重み係数算出部３８、特徴点位置算出部４０、画像生成部４２、を含むものとして機能する。これらの要素のうち、ターゲットデータ記憶部３０、基礎データ記憶部３２は、記憶部１４を主として実現されており、視点データ受付部３４、基礎データ選択部３６、重み係数算出部３８、特徴点位置算出部４０、画像生成部４２は、制御部１２を主として実現されている。そして、視点データ受付部３４は、視点位置データ受付部３４ａ、視線方向データ受付部３４ｂ、を含む。

これらの要素は、コンピュータである画像処理装置１０にインストールされたプログラムを、画像処理装置１０が備える制御部１２で実行することにより実現されている。なお、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の情報伝達媒体を介して、あるいは、インターネット等の通信ネットワークを介して画像処理装置１０に供給される。

ターゲットデータ記憶部３０は、ターゲットデータ４４を記憶する（図５参照）。図５は、ターゲットデータ４４のデータ構造の一例を示す図である。図５に示すように、ターゲットデータ４４は、ターゲットＩＤ４６と、ターゲット位置データ４８と、ターゲット方向データ４９と、を含んでいる。

ターゲットＩＤ４６は、各ターゲット画像２８（本実施形態では、顔画像２８ａや胴体画像２８ｂ）に対応するＩＤを示す。すなわち、ターゲットデータ４４はターゲット画像２８に対応する。ターゲット位置データ４８は、仮想三次元空間１８内におけるターゲット代表点２６の位置を示す。ターゲット方向データ４９は、仮想三次元空間１８内におけるターゲット代表点２６に関連付けられる方向を示す。なお、図２に示すように、本実施形態では、ターゲット代表点２６の位置及びターゲット方向データ４９が示す方向は、ワールド座標系（Ｘｗ、Ｙｗ、Ｚｗ）により表現されている。

基礎データ記憶部３２は、各ターゲットデータ４４について、そのターゲットデータ４４に関連付けられる基礎データ５０を複数記憶する（図６参照）。図６は、基礎データ５０のデータ構造の一例を示す図である。図６に示すように、基礎データ５０は、ターゲットＩＤ４６と、基礎データＩＤ５２と、基礎形状データ５４と、基礎視線方向関係データ５６と、を含む。

ターゲットＩＤ４６は、上述のとおり、各ターゲット画像２８に対応するＩＤを示す。基礎データＩＤ５２は、基礎データ５０のＩＤを示す。そして、ターゲットＩＤ４６によって、ターゲットデータ４４と基礎データ５０とは関連付けられている。このようにして、ターゲット画像２８と複数の基礎データ５０とが関連づけられる。本実施形態では、顔画像２８ａに対応するターゲットデータ４４（顔ターゲットデータ）は、６つの基礎データ５０（第ｎ顔基礎データ５０ａ−ｎ（ｎ＝１，２，３，４，５，６））に関連付けられている。そして、第ｎ顔基礎データ５０ａ−ｎには、第ｎ顔基礎形状データ５４ａ−ｎと、第ｎ顔基礎視線方向関係データ５６ａ−ｎと、が少なくとも含まれる。

そして、胴体画像２８ｂに対応するターゲットデータ４４（胴体ターゲットデータ）は、４つの基礎データ５０に関連付けられている。このように、各ターゲットデータ４４に関連付けられている基礎データ５０の数が異なっていても構わない。

基礎形状データ５４は、ターゲット画像２８の形状の基礎となる基礎形状５８（例えば、顔基礎形状５８ａ）を示している（図７Ａ〜図７Ｆ参照）。そして、基礎視線方向関係データ５６は、基礎形状データ５４が示す基礎形状５８と視線方向２２との関係を示している。本実施形態では、具体的には、基礎視線方向関係データ５６は、基礎形状５８に関連付けられる、視点２０を原点とする視点座標系におけるターゲット方向データ４９が示す方向に対応するベクトルを示している。

図７Ａに、第１顔基礎形状データ５４ａ−１が示す第１顔基礎形状５８ａ−１の一例を表現した図を示す。図７Ｂに、第２顔基礎形状データ５４ａ−２が示す第２顔基礎形状５８ａ−２の一例を表現した図を示す。図７Ｃに、第３顔基礎形状データ５４ａ−３が示す第３顔基礎形状５８ａ−３の一例を表現した図を示す。図７Ｄに、第４顔基礎形状データ５４ａ−４が示す第４顔基礎形状５８ａ−４の一例を表現した図を示す。図７Ｅに、第５顔基礎形状データ５４ａ−５が示す第５顔基礎形状５８ａ−５の一例を表現した図を示す。図７Ｆに、第６顔基礎形状データ５４ａ−６が示す第６顔基礎形状５８ａ−６の一例を表現した図を示す。

基礎形状データ５４は、本実施形態では、具体的には、例えば、目や口などの基礎形状５８を特徴付ける、複数の三角形のポリゴン（基礎ポリゴン６０）を示す基礎ポリゴンデータ６２を複数含む。そして、本実施形態では、各基礎ポリゴンデータ６２は、基礎ポリゴン６０を構成する三角形の頂点を示す３つの基礎特徴点６４それぞれの位置を示す基礎特徴点群位置データ６６を含む（図７Ａ〜図７Ｆ、及び、図８参照）。なお、基礎形状５８が、上述のデータ構造とは異なるデータ構造によって表現されていても構わない。本実施形態においては、基礎特徴点群位置データ６６が示す各基礎特徴点６０の位置は、それぞれの基礎形状５８について、ローカル座標系（（Ｘｌ１，Ｙｌ１，Ｚｌ１）乃至（Ｘｌ６，Ｙｌ６，Ｚｌ６））における三次元位置座標で表現されている。

図７Ａに示す第１顔基礎形状５８ａ−１には、第１顔基礎ポリゴン６０ａ−１がｌ個含まれている（６０ａ−１−１，６０ａ−１−２，・・・，６０ａ−１−ｌ）。図７Ｂに示す第２顔基礎形状５８ａ−２には、第２顔基礎ポリゴン６０ａ−２がｌ個含まれている（６０ａ−２−１，６０ａ−２−２，・・・，６０ａ−２−ｌ）。図７Ｃに示す第３顔基礎形状５８ａ−３には、第３顔基礎ポリゴン６０ａ−３がｌ個含まれている（６０ａ−３−１，６０ａ−３−２，・・・，６０ａ−３−ｌ）。図７Ｄに示す第４顔基礎形状５８ａ−４には、第４顔基礎ポリゴン６０ａ−４がｌ個含まれている（６０ａ−４−１，６０ａ−４−２，・・・，６０ａ−４−ｌ）。図７Ｅに示す第５顔基礎形状５８ａ−５には、第５顔基礎ポリゴン６０ａ−５がｌ個含まれている（６０ａ−５−１，６０ａ−５−２，・・・，６０ａ−５−ｌ）。図７Ｆに示す第６顔基礎形状５８ａ−６には、第６顔基礎ポリゴン６０ａ−６がｌ個含まれている（６０ａ−６−１，６０ａ−６−２，・・・，６０ａ−６−ｌ）。そして、本実施形態では第１顔基礎ポリゴン６０ａ−１−ｐ、第２顔基礎ポリゴン６０ａ−２−ｐ、第３顔基礎ポリゴン６０ａ−３−ｐ、第４顔基礎ポリゴン６０ａ−４−ｐ、第５顔基礎ポリゴン６０ａ−５−ｐ、第６顔基礎ポリゴン６０ａ−６−ｐ（ｐ＝１，２，・・・，ｌ）は互いに対応づけられている。なお、それぞれの基礎形状５８に含まれる基礎ポリゴン６０の数は異なっていてもよい。

そして、本実施形態では、各顔基礎形状５８ａには、各顔基礎ポリゴン６０ａの頂点である顔基礎特徴点６４ａがｍ個含まれている。そして、本実施形態では、顔基礎特徴点６４ａ同士も互いに対応付けられている。具体的には、例えば、第１顔基礎形状５８ａ−１に含まれる第１顔基礎特徴点６４ａ−１−ｑ（図７Ａ参照）、第２顔基礎形状５８ａ−２に含まれる第２顔基礎特徴点６４ａ−２−ｑ（図７Ｂ参照）、第３顔基礎特徴点６４ａ−３−ｑ（図７Ｃ参照）、第４顔基礎特徴点６４ａ−４−ｑ（図７Ｄ参照）、第５顔基礎特徴点６４ａ−５−ｑ（図７Ｅ参照）、第６顔基礎特徴点６４ａ−６−ｑ（図７Ｆ参照）（ｑ＝１，２，・・・，ｍ）は互いに対応づけられている。なお、それぞれの基礎形状５８に含まれる基礎特徴点６４の数は異なっていてもよい。

本実施形態では、それぞれの顔基礎形状５８ａは、板状の形状をしている。そして、本実施形態では、それぞれの基礎ポリゴン６０の前後関係が、絶対値の比較的小さなＺ座標値の大小によって表現されている。例えば、図７Ｅに示す例では、左目の形状を示す第５顔基礎特徴点６４ａ−５−７などのＺ座標値が、顔を構成する第５顔基礎ポリゴン６０ａ−５（例えば、第５顔基礎ポリゴン６０ａ−５−１）の頂点の各第５顔基礎特徴点６４ａ−５のＺ座標値よりも大きく設定されており、目の形状が表示されないようになっている。

図８に、基礎形状データ５４のデータ構造の一例を示す。本実施形態では、図８に示すように、基礎形状データ５４は、ポリゴンＩＤ６８と、基礎特徴点群位置データ６６（第１基礎特徴点位置データ７０−１乃至第３基礎特徴点位置データ７０−３）と、を少なくとも含む基礎ポリゴンデータ６２を複数含んでいる。なお、各基礎ポリゴンデータ６２は、後述する属性データを含んでいてもよい。ポリゴンＩＤ６８は、基礎ポリゴン６０のＩＤであり、各基礎データ５０に含まれる基礎形状データ５４について、互いに対応する基礎ポリゴン６０には共通するポリゴンＩＤ６８が設定されている。基礎特徴点位置データ７０は、基礎形状５８に含まれる基礎ポリゴン６０の頂点である基礎特徴点６４の位置を示す。本実施形態では、図７Ａ〜図７Ｆに示すように、基礎特徴点位置データ７０が示す基礎特徴点６４の位置は、ローカル座標系（（Ｘｌ１，Ｙｌ１，Ｚｌ１）乃至（Ｘｌ６，Ｙｌ６，Ｚｌ６））における三次元位置座標で表現されている。このように、本実施形態では、顔基礎形状５８ａを構成する各顔基礎ポリゴン６０ａは三角形である。

各顔基礎視線方向関係データ５６ａ−１は、視点２０を原点とする視点座標系におけるターゲット方向データ４９が示す方向に対応するベクトルを示している。具体的には、第１顔基礎視線方向関係データ５６ａ−１は、視点２０を原点とする視点座標系におけるＸ軸正方向に対応するベクトルを示している。第２顔基礎視線方向関係データ５６ａ−２は、視点２０を原点とする視点座標系におけるＸ軸負方向に対応するベクトルを示している。第３顔基礎視線方向関係データ５６ａ−３は、視点２０を原点とする視点座標系におけるＹ軸正方向に対応するベクトルを示している。第４顔基礎視線方向関係データ５６ａ−４は、視点２０を原点とする視点座標系におけるＹ軸負方向に対応するベクトルを示している。第５顔基礎視線方向関係データ５６ａ−５は、視点２０を原点とする視点座標系におけるＺ軸正方向に対応するベクトルを示している。第６顔基礎視線方向関係データ５６ａ−６は、視点２０を原点とする視点座標系におけるＺ軸負方向に対応するベクトルを示している。このように、各顔基礎データ５０ａは、ターゲット方向データ４９が示す方向が、視線方向２２に対して上下左右前後それぞれの方向である場合それぞれに関連付けられている。なお、本実施形態では、各胴体基礎データ５０ｂは、ターゲット方向データ４９が示す方向が、視線方向２２に対して左右前後それぞれの方向である場合それぞれに関連付けられており、ターゲット方向データ４９が示す方向が、視線方向２２に対して上向き、あるいは、下向きである場合には関連付けられていない。

視点データ受付部３４は、仮想三次元空間１８内における視点２０の位置及び視線方向２２を示す受付視点データ７２を受け付ける（図９参照）。より具体的には、視点位置データ受付部３４ａが、仮想三次元空間１８内における視点２０の位置を示す受付視点位置データ７２ａを受け付ける。そして、視線方向データ受付部３４ｂが、仮想三次元空間１８内における視線方向２２を示す受付視線方向データ７２ｂを受け付ける。本実施形態では、視点データ受付部３４は、画像処理装置１０のユーザが、ＵＩ部１６を操作することによって設定される、視点２０の位置を示す受付視点位置データ７２ａ、及び、視線方向２２を示す受付視線方向データ７２ｂ、を含む受付視点データ７２を、所定時間（例えば１／６０秒）ごとに受け付ける。

図９に、受付視点データ７２のデータ構造の一例を示す。図９に示すように、本実施形態における受付視点データ７２は、受付視点位置データ７２ａと、受付視線方向データ７２ｂと、を含む。本実施形態では、受付視点位置データは、図２に示す仮想三次元空間１６内における視点２０の位置は、ワールド座標系（Ｘｗ，Ｙｗ，Ｚｗ）における三次元位置座標で表現されており、受付視線方向データ７２ｂは、図２に示す仮想三次元空間１６内における視線方向２２は、ワールド座標系（Ｘｗ，Ｙｗ，Ｚｗ）おける三次元ベクトルで表現されている。

基礎データ選択部３６は、基礎データ記憶部３２に記憶されている基礎データ５０のうちから、受付視線方向データ７２ｂと各基礎視線方向関係データ５６との関係に基づいて、複数の基礎データ５０を選択する。

具体的には、例えば、本実施形態では、視点データ受付部３４が受け付ける受付視線方向データ７２ｂに基づいて算出される視点２０を原点とする視点座標系における、ターゲット方向データ４９が示す方向に対応するベクトル（ターゲットベクトル）が（Ｖｘ，Ｖｙ，Ｖｚ）である際に、基礎データ選択部３６は、Ｖｘの値に基づいて、第１顔基礎データ５０ａ−１と、第２顔基礎データ５０ａ−２のうちのいずれを選択するかを判断する。具体的には、Ｖｘ＞０の場合は、基礎データ選択部３６は、第１顔基礎データ５０ａ−１を選択する。そして、Ｖｘ＜０の場合は、基礎データ選択部３６は、第２顔基礎データ５０ａ−２を選択する。なお、Ｖｘ＝０の場合は、基礎データ選択部３６は、第１顔基礎データ５０ａ−１も第２顔基礎データ５０ａ−２も選択しない。

また、本実施形態では、基礎データ選択部３６は、Ｖｙの値に基づいて、第３顔基礎データ５０ａ−３と、第４顔基礎データ５０ａ−４のうちのいずれを選択するかを判断する。具体的には、Ｖｙ＞０の場合は、基礎データ選択部３６は、第３顔基礎データ５０ａ−３を選択する。そして、Ｖｙ＜０の場合は、基礎データ選択部３６は、第４顔基礎データ５０ａ−４を選択する。なお、Ｖｙ＝０の場合は、基礎データ選択部３６は、第３顔基礎データ５０ａ−３も第４顔基礎データ５０ａ−４も選択しない。

また、本実施形態では、基礎データ選択部３６は、Ｖｚの値に基づいて、第５顔基礎データ５０ａ−５と、第６顔基礎データ５０ａ−６のうちのいずれを選択するかを判断する。具体的には、Ｖｚ＞０の場合は、基礎データ選択部３６は、第５顔基礎データ５０ａ−５を選択する。そして、Ｖｚ＜０の場合は、基礎データ選択部３６は、第６顔基礎データ５０ａ−６を選択する。なお、Ｖｚ＝０の場合は、基礎データ選択部３６は、第５顔基礎データ５０ａ−５も第６顔基礎データ５０ａ−６も選択しない。

このようにして、本実施形態では、基礎データ選択部３６は、最大３つの顔基礎データ５０ａを選択する。

なお、基礎データ選択部３６が、基礎データ５０を選択する方法は上述の方法に限定されない。例えば、基礎データ選択部３６が、ターゲットベクトル（Ｖｘ，Ｖｙ，Ｖｚ）と、各基礎データ５０に含まれる基礎視線方向関係データ５６が示すベクトルと、がなす角が小さいものから順に、所定数の基礎データ５０を選択するようにしてもよい。また、基礎データ選択部３６が、ターゲットベクトル（Ｖｘ，Ｖｙ，Ｖｚ）と、各基礎データ５０に含まれる基礎視線方向関係データ５６が示すベクトルと、がなす角が所定値以下である基礎データ５０を選択するようにしてもよい。

また、基礎データ選択部３６が、受付視点位置データ７２ａが示す位置を始点として、ターゲット位置データ４８が示す位置を終点とするベクトルを示す位置関係データを生成し、位置関係データが示すベクトル及び受付視線方向データ７２ｂが示すベクトルを、ＸＺ平面に、ＹＺ平面、ＺＹ平面のそれぞれに投影した際における、各平面についての、それぞれのベクトルがなす角の組合せと、選択されるべき基礎データ５０の組合せと、の対応関係を示す対応関係テーブルなどを記憶部１４が予め記憶していてもよい。そして、基礎データ選択部３６が、位置関係データが示すベクトル及び受付視線方向データ７２ｂが示すベクトルを、ＸＺ平面に、ＹＺ平面、ＺＹ平面のそれぞれに投影した際における、各平面についての、それぞれのベクトルがなす角の組合せを算出して、算出された、なす角の組合せと、記憶部１４に記憶されている対応関係テーブルと、に基づいて、基礎データ５０を選択するようにしてもよい。

重み係数算出部３８は、本実施形態では、基礎データ選択部３６により選択された複数の基礎データ５０について、基礎データ５０に関連付けられる重みを示す重み係数ｗを算出する。このとき、重み係数算出部３８は、受付視線方向データ７２ｂと各基礎視線方向関係データ５６との関係に基づいて、重み係数ｗを算出する。

具体的には、例えば、重み係数算出部３８は、基礎データ選択部３６により選択される基礎データ５０に含まれる基礎視線方向関係データ５６が示すベクトルと、ターゲットベクトル（Ｖｘ，Ｖｙ，Ｖｚ）と、の関係に基づいて、その基礎データ５０に関連付けられる重み係数ｗを算出する。なお、本実施形態では、重み係数ｗは、０以上１以下の値をとる。

より具体的には、例えば、Ｖｘ＞０であり、基礎データ選択部３６が第１顔基礎データ５０ａ−１を選択する場合に、重み係数算出部３８は、ターゲットベクトル（Ｖｘ，Ｖｙ，Ｖｚ）が示す方向と、視点２０を原点とする視点座標系におけるＸ軸正方向とが対応する場合は、第１顔基礎データ５０ａ−１に関連付けられる重み係数（第１重み係数ｗ１）を、１と算出する。そして、ターゲットベクトル（Ｖｘ，Ｖｙ，Ｖｚ）が示す方向とベクトルと、視点２０を原点とする視点座標系におけるＸ軸正方向に対応するベクトルと、がなす角の絶対値が増加するに従って、第１重み係数ｗ１が減少するよう、重み係数算出部３８は、第１重み係数ｗ１を算出する。さらに具体的には、例えば、重み係数算出部３８は、ターゲットベクトル（Ｖｘ，Ｖｙ，Ｖｚ）が示す方向と、視点２０を原点とする視点座標系におけるＸ軸正方向が示すベクトルとがなす角の絶対値が、θ度である場合における第１重み係数ｗ１が、ｗ１＝１−θ／９０の関係となるよう第１重み係数ｗ１を算出する。

同様にして、重み係数算出部３８は、基礎データ選択部３６により選択される基礎データ５０に関連付けられる重み係数ｗの値を算出する。なお、重み係数算出部３８は、算出される重み係数ｗの値の和が１となるように、各重み係数ｗを算出してもよい。また、重み係数算出部３８が、各重み係数ｗを算出してから、その総和が１となるよう正規化するようにしてもよい。

なお、基礎データ選択部３６により、基礎データ５０を選択せず、重み係数算出部３８が、すべての基礎データ５０のそれぞれについて、基礎データ５０に関連付けられる重み係数ｗを算出するようにしてもよい。

特徴点位置算出部４０は、基礎データ選択部３６により選択される基礎データ５０に含まれる基礎特徴点群位置データ６６に基づいて、算出特徴点７４の位置を算出する（図１０参照）。図１０は、算出特徴点７４の位置の一例を示す図である。

具体的には、例えば、基礎データ選択部３６が、第１顔基礎データ５０ａ−１、第４顔基礎データ５０ａ−４、第５顔基礎データ５０ａ−５を選択し、重み係数算出部３８が、第１顔重み係数ｗ１、第４顔重み係数ｗ４、第５顔重み係数ｗ５を算出している場合は、特徴点位置算出部４０は、第１顔基礎データ５０ａに含まれる基礎特徴点群位置データ６６（第１顔基礎特徴点群位置データ６６ａ−１）、第４顔基礎データ５０ａに含まれる基礎特徴点群位置データ６６（第４顔基礎特徴点群位置データ６６ａ−４）、第５顔基礎データ５０ａに含まれる基礎特徴点群位置データ６６（第５顔基礎特徴点群位置データ６６ａ−５）を取得する。

そして、特徴点位置算出部４０が、互いに対応するすべての基礎ポリゴン６０の、互いに対応する頂点である、すべての基礎特徴点６４それぞれについて、その基礎特徴点６４の位置を示す基礎特徴点位置データ７０に基づいて、その基礎特徴点６４に対応する算出特徴点７４の位置（具体的には、例えば、ローカル座標系（Ｘｌｃ，Ｙｌｃ，Ｚｌｃ）における三次元位置座標）を算出する。そして、特徴点位置算出部４０が、算出特徴点７４の位置を示す算出特徴点位置データと、算出特徴点７４を頂点とする三角形の算出ポリゴン７５を示す算出ポリゴンデータと、を含む算出形状データを生成する。図１１に、算出形状データが示す算出形状７６（本実施形態では、顔算出形状７６ａ）の一例を示す。

例えば、図１０に示すように、特徴点位置算出部４０は、第１顔基礎特徴点６４ａ−１−１、第４顔基礎特徴点６４ａ−４−１、及び、第５顔基礎特徴点６４ａ−５−１の位置により構成される三角形の内部の、これらの顔基礎特徴点６４ａに対応する顔算出特徴点７４ａの位置を算出する。このとき、特徴点位置算出部４０は、関連付けられている重み係数ｗが示す値が大きな顔基礎特徴点６４ａほど、顔算出特徴点７４ａとの距離が短くなるように、顔算出特徴点７４ａの位置を算出するようにしてもよい。本実施形態では、特徴点位置算出部４０は、顔算出特徴点７４ａの、ローカル座標系（Ｘｌｃ，Ｙｌｃ，Ｚｌｃ）におけるＸ座標及びＹ座標だけではなく、Ｚ座標についても算出する。そのため、視線方向２２が変化するにつれて、各算出ポリゴン７５の前後関係が変化していく。このようにして、視線方向２２に応じて、例えば、左目の形状を示す顔算出特徴点７４ａ−７などのＺ座標値が、顔を構成する顔算出ポリゴン７５ａ（例えば、顔算出ポリゴン７５ａ−１）の頂点の各顔算出特徴点７４ａのＺ座標値よりも大きくなったり、小さくなったりする。

なお、特徴点位置算出部４０は、重み係数ｗが示す値に基づいて、三角形を線形的に内分したり、非線形的に内分したりすることにより、算出特徴点７４の位置を算出してもよい。

なお、上述の方法は算出特徴点７４の位置を算出する方法の一例にすぎず、特徴点位置算出部４０は、例えば、公知のモーフィング技術などを用いて、基礎形状５８に含まれる互いに対応する基礎特徴点６４の位置関係に基づいて、算出特徴点７４の位置を算出してもよい。例えば、特徴点位置算出部４０は、基礎特徴点６４の位置を補間することによって、算出特徴点７４の位置を算出してもよい。

また、基礎特徴点位置算出部４０は、上述の例のように、３つの基礎特徴点６４の位置関係に基づいて、算出特徴点７４の位置を算出する必要はなく、１つの基礎特徴点６４の位置、２つの基礎特徴点６４の位置関係、あるいは、４つ以上の基礎特徴点６４の位置関係などに基づいて、算出特徴点７４の位置を算出してもよい。

また、特徴点位置算出部４０は、重み係数ｗを用いて算出特徴点７４の算出する必要はなく、基礎特徴点６４同士の位置関係に基づいて、算出特徴点７４の位置を算出すればよい。特徴点位置算出部４０は、例えば、ターゲット方向データ４９と、受付視線方向データ７２ｂと、の関係に基づいて、算出特徴点７４の位置を算出してもよい。

また、基礎データ選択部３６による基礎データ５０の選択を行わずに、特徴点位置算出部４０が基礎特徴点群位置データ６６に基づいて算出特徴点７４の位置を算出するようにしてもよい。

画像生成部４２は、特徴点位置算出部４０により算出される複数の算出特徴点７４の位置に基づいて、画像を生成する。本実施形態では、画像生成部４２は、例えば、算出形状データに基づいて、図３に示す顔画像２８ａが含まれる表示画像２４を生成する。

本実施形態では、画像生成部４２が、ターゲット位置データ４８が示す位置と、ローカル座標系（Ｘｌｃ，Ｙｌｃ，Ｚｌｃ）の原点と、が対応し、視点２０を原点とする視点座標系と、ローカル座標系（Ｘｌｃ，Ｙｌｃ，Ｚｌｃ）とが対応するようにして、算出形状データが示す各算出ポリゴン７５を仮想三次元空間１６内に配置する。具体的には、例えば、画像生成部４２は、顔算出形状７６ａに表されている顔が視点２０に対して正対するよう、各顔算出ポリゴン７５ａを仮想三次元空間１６内に配置する。

そして、画像生成部４２が、受付視点位置データ７２ａが示す視点２０の位置から、受付視線方向データ７２ｂが示す視線方向２２に向かって形成されるビューボリューム内の、受付視線方向データ７２ｂが示す視線方向２２に垂直な投影面に対して、各顔算出ポリゴン７５ａを投影して、顔画像２８ａを含む表示画像２４を生成する。

本実施形態では、上述のとおり、特徴点位置算出部４０は、顔算出特徴点７４ａの、ローカル座標系（Ｘｌｃ，Ｙｌｃ，Ｚｌｃ）におけるＸ座標及びＹ座標だけではなく、Ｚ座標についても算出しているので、視点２０から見て、ある算出ポリゴン７５の裏側に配置される算出ポリゴン７５は表示画像２４には表示されない。このようにして、目の形状など、顔を構成する各パーツが表示されるか否かが制御される。

そして、本実施形態では、画像生成部４２は、胴体ターゲットデータに関連付けられている４つの基礎データ５０に対して、上述の方法を同様に適用して、図３に示す胴体画像２８ｂが含まれる表示画像を生成する。このように、表示画像２４に含まれる複数のターゲット画像２８について、各ターゲット画像２８が独立に生成される。

なお、画像生成部４２が、表示画像２４を生成する方法は上述の方法に限定されない。例えば、画像生成部４２が、受付視点位置データ７２ａが示す視点２０の位置から、受付視線方向データ７２ｂが示す視線方向２２に向かって形成されるビューボリューム内の、受付視線方向データ７２ｂが示す視線方向２２に垂直な投影面に対して、ターゲット位置データ４８が示す位置を投影させた位置である、表示画像内ターゲット位置を算出してもよい。そして、画像生成部４２が、表示画像内ターゲット位置と、ローカル座標系（Ｘｌｃ，Ｙｌｃ，Ｚｌｃ）における顔画像２８ａの原点とが対応するようにして、特徴点位置算出部４０が生成する算出形状データが示す算出形状７６（本実施形態では、顔算出形状７６ａ）を、ローカル座標系（Ｘｌｃ，Ｙｌｃ，Ｚｌｃ）におけるＺ軸に沿って見た様子を示す顔画像２８ａや胴体画像２８ｂを、図３に示すように、表示画像２４内に配置してもよい。そして、画像生成部４２が、表示画像２４内における、顔画像２８ａの大きさを、受付視点位置データ７２ａが示す視点２０の位置と、顔画像２８ａに対応するターゲット位置データ４８が示す位置との距離に基づいて決定してもよい。このとき、画像生成部４２が、受付視点位置データ７２ａが示す視点２０の位置と、顔画像２８ａに対応するターゲット位置データ４８が示す位置との距離が短くなるほど、表示画像２４内における、顔画像２８ａの大きさが大きくなるようにしてもよい。

なお、基礎ポリゴンデータ６２や基礎特徴点位置データ７０が、色を示す値（例えば、ＲＧＢ値）を示す色属性データを含んでいてもよい。すなわち、基礎ポリゴン６０や基礎特徴点６４が、色属性データが示す色に関連付けられていてもよい。

そして、特徴点位置算出部４０が、互いに対応する基礎特徴点位置データ７０に含まれる色属性データが示す色を内挿して、算出特徴点位置データに対応する算出特徴点７４に関連付けられる色を示す色属性データを生成してもよい。また、特徴点位置算出部４０が、互いに対応する基礎ポリゴンデータ６２に含まれる色属性データが示す色を内挿して、算出ポリゴンデータが示す算出ポリゴン７５に関連付けられる色を示す色属性データを生成してもよい。そして、画像生成部４２が、表示画像２４内に表示される点やポリゴンの色が色属性データに対応する色となるよう表示画像２４を生成してもよい。

また、基礎特徴点位置データ７０が、二次元テクスチャ画像（図示せず）内の位置座標（Ｘ，Ｙ）を示すテクスチャ座標属性データを含んでいてもよい。そして、特徴点位置算出部４０が、互いに対応する基礎特徴点位置データ７０に含まれるテクスチャ座標属性データが示す位置座標（Ｘ，Ｙ）を内挿して、算出特徴点位置データに対応する算出特徴点７４に関連付けられるテクスチャ画像内の位置座標（Ｘ，Ｙ）を示すテクスチャ座標属性データを算出するようにしてもよい。そして、特徴点位置算出部４０が、算出ポリゴンの各頂点に対応するテクスチャ画像内の位置座標（Ｘ，Ｙ）により切り出されるテクスチャ画像を、算出ポリゴンに貼ってもよい。そして、画像生成部４２が、算出ポリゴンに貼られたテクスチャ画像を含む表示画像２４を生成してもよい。

また、基礎特徴点位置データ７０が、二次元テクスチャ画像（図示せず）内の位置座標（Ｘ，Ｙ）を示すテクスチャ座標属性データを含む場合に、特徴点位置算出部４０が、互いに対応する基礎特徴点位置データ７０に含まれるテクスチャ座標属性データが示す位置座標（Ｘ，Ｙ）に対応するテクスチャ画像の画素の色を示す値（例えば、ＲＧＢ値）を内挿して、算出特徴点位置データに対応する算出特徴点７４に関連付けられる色を示す色属性データを生成してもよい。そして、画像生成部４２が、表示画像２４内に表示される点やポリゴンの色が色属性データに対応する色となるよう表示画像２４を生成してもよい。

もちろん、算出特徴点７４や算出ポリゴン７５に関連付けられる属性は上述のものには限定されない。また、上述の属性算出方法を複数組み合わせて、画像生成部４２が、表示画像２４内の各画素の色を決定するようにしてもよい。

なお、本実施形態では、算出ポリゴン７５の前後関係が、Ｚ座標値の大小によって表現され、Ｚ座標値に基づいて、算出ポリゴン７５が表示画像２４内に表示されるか否かが決定されているが、算出ポリゴン７５が表示画像４２内に表示されるか否かを決定する方法は、上述の方法に限定されない。

具体的には、例えば、画像生成部４２が、三角形である算出ポリゴン７５の頂点である３つの算出特徴点７４の並びが、視点２０から見て反時計回りである場合に、この算出ポリゴン７５を表示画像４２内に表示し、視点２０から見て時計回りである場合には、この算出ポリゴン７５を表示画像４２内に表示しないようにしてもよい。すなわち、算出ポリゴン７５の頂点の並びに基づいて決定されるポリゴン法線ベクトルの方向と、視線方向２２との関係に基づいて、算出ポリゴン７５を表示画像２４内に表示するか否かを決定するようにしてもよい。

また、例えば、仮想三次元空間１８内に光源が配置されていてもよい。そして、各基礎特徴点位置データ７０に、法線ベクトルを示す基礎特徴点法線ベクトルデータが関連付けられていてもよい。そして、特徴点位置算出部４０が、各基礎特徴点法線ベクトルデータが示す法線ベクトルと、その基礎部分形状データを含む基礎データ５０に関連付けられる重み係数ｗと、に基づいて、基礎特徴点位置データ７０に対応する算出特徴点位置データに関連付けられる算出特徴点法線ベクトルを示す算出特徴点法線ベクトルデータを生成してもよい。なお、特徴点位置算出部４０は、重み係数ｗを用いずに、算出特徴点法線ベクトルデータを生成してもよい。そして、画像生成部４２が、、算出法線ベクトルデータが示すベクトルと、光源との位置関係に基づいて、バンプマッピングなどの方法を用いてシェーディング処理が施されたターゲット画像２８が含まれる表示画像２４を生成してもよい。

また、基礎形状データ５４や、算出形状データは、点やポリゴンを示すデータには限定されない。具体的には、例えば、リンクを示すデータを含んでいても構わない。

次に、画像処理装置１０において所定時間（例えば、１／６０秒）毎に実行される処理のうち、本実施形態に関連する処理の一例を、図１２に示すフロー図を参照しながら説明する。ここで、ターゲットデータ記憶部３０には、顔画像２８ａに対応するターゲットデータ４４及び胴体画像２８ｂに対応するターゲットデータ４４が予め記憶されていることとする。また、基礎データ記憶部３２には、顔ターゲットデータに関連付けられる６つの顔基礎データ５０ａ、及び、胴体ターゲットデータに関連付けられる４つの胴体基礎データ５０ｂが予め記憶されていることとする。

まず、視点データ受付部３４が、受付視点データ７２を受け付ける（Ｓ１０１）。そして、基礎データ選択部３６が、視点２０を原点とする視点座標系における、ターゲット方向データ４９が示す方向に対応するベクトルに基づいて、６つの顔基礎データ５０ａから少なくとも１つの顔基礎データ５０ａを選択する。そして、基礎データ選択部３６が、視点２０を原点とする視点座標系における、ターゲット方向データ４９が示す方向に対応するベクトルに基づいて、４つの胴体基礎データ５０ｂのうちから少なくとも１つの胴体基礎データ５０ｂを選択する（Ｓ１０２）。

そして、重み係数算出部３８が、Ｓ１０２に示す処理で選択された各顔基礎データ５０ａに含まれる顔基礎視線方向関係データ５６ａが示すベクトルと、受付視線方向データ７２ｂに基づいて算出される視点２０を原点とする視点座標系における、ターゲット方向データ４９が示す方向に対応するベクトルと、の関係に基づいて、Ｓ１０２に示す処理で選択された顔基礎データ５０ａそれぞれに関連付けられる重み係数ｗを算出する。そして、重み係数算出部３８が、Ｓ１０２に示す処理で選択された各胴体基礎データ５０ｂに含まれる胴体基礎視線方向関係データ５６ｂが示すベクトルと、受付視線方向データ７２ｂに基づいて算出される視点２０を原点とする視点座標系における、ターゲット方向データ４９が示す方向に対応するベクトルと、に基づいて、Ｓ１０２に示す処理で選択された胴体基礎データ５０ｂそれぞれに関連付けられる重み係数ｗを算出する（Ｓ１０３）。

そして、特徴点位置算出部４０が、Ｓ１０２に示す処理で選択された顔基礎データ５０ａに含まれる顔基礎形状データ５４ａと、Ｓ１０３に示す処理で算出された顔基礎データ５０ａに関連付けられる重み係数ｗと、に基づいて、顔算出ポリゴンデータを含む顔算出形状データを生成する。そして、特徴点位置算出部４０が、Ｓ１０２に示す処理で選択された胴体基礎データ５０ｂに含まれる胴体基礎形状データ５４ｂと、Ｓ１０３に示す処理で算出された胴体基礎データ５０ｂに関連付けられる重み係数ｗと、に基づいて、胴体算出ポリゴンデータを含む胴体算出形状データを生成する（Ｓ１０４）。

そして、画像生成部４２が、算出ポリゴンデータが示す各顔算出ポリゴン７５ａと、胴体算出ポリゴンデータが示す各胴体算出ポリゴンと、を、ターゲット位置データ４８が示す位置と、ローカル座標系（Ｘｌｃ，Ｙｌｃ，Ｚｌｃ）の原点と、が対応し、視点２０を原点とする視点座標系と、ローカル座標系（Ｘｌｃ，Ｙｌｃ，Ｚｌｃ）とが対応するようにして、仮想三次元空間１６内に配置する。（Ｓ１０５）。

そして、画像生成部４２は、受付視点位置データ７２ａが示す視点２０の位置から、受付視線方向データ７２ｂが示す視線方向２２に向かって形成されるビューボリューム内の、受付視線方向データ７２ｂが示す視線方向２２に垂直な投影面に対して、各顔算出ポリゴン７５ａ及び各胴体算出ポリゴンを投影して、顔画像２８ａ及び胴体画像２８ｂが含まれる表示画像２４を生成して、ディスプレイなどのＵＩ部１６に表示する（Ｓ１０６）。

本実施形態によれば、視線方向２２に対応づけられる基礎特徴点６４に基づいて、受付視線方向データ７２ｂが示す視線方向に応じた表示画像２４が生成されるので、仮想三次元空間１８内における視線方向２２に対応する所望の画像を容易に表示することができる。

そして、本実施形態では、顔基礎形状５８ａに含まれる目や鼻や口などの顔のパーツを形成する顔基礎特徴点６４ａの位置は、各顔基礎形状５８ａによって大きく異なっているので、表示画像２４に含まれる顔画像２８ａ内における、目や鼻や口などの顔のパーツの相対的な位置は、受付視線方向データ７２ｂが示すベクトルの変化に応じて大きく変化する。一方、顔基礎形状５８ａに含まれる顔の輪郭を形成する顔基礎特徴点６４ａの位置（例えば、第１顔基礎特徴点６４ａ−１−８や第１顔基礎特徴点６４ａ−１−９など）は、各顔基礎形状５８ａについて大きな差異がないので、表示画像２４にふくまれる顔画像２８ａ内における、顔の輪郭の相対的な位置は、受付視線方向データ７２ｂが示すベクトルの変化に応じてそれほど変化しない。このように、本実施形態によれば、基礎形状５８を構成するそれぞれのパーツ（部分形状）について、受付視線方向データ７２ｂが示すベクトルの変化に応じて異なった変化を示すようにすることができる。

なお、本発明は上記実施形態に限定されるものではない。

例えば、基礎視線方向関係データ５６が示すデータは上述のデータに限定されない。例えば、基礎視線方向関係データ５６は、ワールド座標系（Ｘｗ、Ｙｗ、Ｚｗ）における視線方向２２を示すデータであってもよい。

また、例えば、仮想三次元空間１８において、ユーザが、マウスなどのＵＩ部１６を操作することによって、ターゲット位置データ４８が示す位置、及び、ターゲット方向データ４９が示す方向について操作できるようにして、それぞれのターゲット位置データ４８が示す位置、及び、ターゲット方向データ４９が示す方向に基づいて、表示画像２４に含まれる顔画像２８ａや胴体画像２８ｂの形状が決定されるようにしてもよい。こうすれば、例えば、キャラクタの体がひねられた際の動きなど、複数のパーツをそれぞれ異なる方向から見た様子を一つの表示画像２４内に容易に表現することができる。

また、例えば、画像生成部４２が、表示画像４２内の所定の位置にターゲット画像２８が含まれるように、表示画像４２を生成してもよい。また、画像生成部４２が、表示画像４２内に所定の大きさでターゲット画像２８が含まれるように、表示画像４２を生成してもよい。

また、例えば、基礎データ記憶部３２が、ターゲット位置データ４８が示す位置と受付視点位置データ７２ａが示す視点２０の位置との距離に応じた、基礎データ５０の組合せである、基礎データ集合を複数記憶してもよい。そして、基礎データ記憶部３２が、ターゲット位置データ４８が示す位置と受付視点位置データ７２ａが示す視点２０の位置との距離が短くなるほど、基礎データ集合に含まれる基礎データ５０の数を多くするようにしてもよい。

そして、基礎データ選択部３６が、ターゲット位置データ４８が示す位置と受付視点位置データ７２ａが示す視点２０の位置との距離に基づいて、基礎データ集合を選択してから、この基礎データ集合に含まれる基礎データ５０を選択してもよい。

また、画像生成部４２は、複数の基礎画像（ビットマップ画像など）それぞれに対し、ユーザが予め複数の基礎特徴点６４を設定し、モーフィング技術を用いて、ターゲット画像２８が含まれる表示画像２４を生成するようにしてもよい。

また、上述の実施形態では、基礎形状データ５４が示す形状は板状の形状であったが、基礎形状データ５４が示す形状は、二次元座標系における平面形状や、三次元座標系における三次元形状であってもよい。

本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。 仮想三次元空間の一例を示す図である。 表示画像の一例を示す図である。 本発明の一実施形態に係る画像処理装置の機能の一例を示す機能ブロック図である。 ターゲットデータのデータ構造の一例を示す図である。 基礎データのデータ構造の一例を示す図である。 顔基礎形状の一例を表現した図である。 顔基礎形状の一例を表現した図である。 顔基礎形状の一例を表現した図である。 顔基礎形状の一例を表現した図である。 顔基礎形状の一例を表現した図である。 顔基礎形状の一例を表現した図である。 基礎形状データのデータ構造の一例を示す図である。 受付視点データのデータ構造の一例を示す図である。 算出特徴点の位置の一例を示す図である。 算出形状の一例を示す図である。 本実施形態に係る画像処理装置で行われる処理のフローの一例を示す図である。

符号の説明

１０ 画像処理装置、１２ 制御部、１４ 記憶部、１６ ユーザインタフェース（ＵＩ）部、１８ 仮想三次元空間、２０ 視点、２２ 視線方向、２４ 表示画像、２６ ターゲット代表点、２６ａ 顔代表点、２６ｂ 胴体代表点、２７ ターゲット方向、２７ａ 顔方向、２７ｂ 胴体方向、２８ ターゲット画像、２８ａ 顔画像、２８ｂ 胴体画像、３０ ターゲットデータ記憶部、３２ 基礎データ記憶部、３４ 視点データ受付部、３４ａ 視点位置データ受付部、３４ｂ 視線方向データ受付部、３６ 基礎データ選択部、３８ 重み係数算出部、４０ 特徴点位置算出部、４２ 画像生成部、４４ ターゲットデータ、４６ ターゲットＩＤ、４８ ターゲット位置データ、４９ ターゲット方向データ、５０ 基礎データ、５０ａ 顔基礎データ、５２ 基礎データＩＤ、５４ 基礎形状データ、５４ａ 顔基礎形状データ、５６ 基礎視線方向関係データ、５６ａ 顔基礎視線方向関係データ、５８ 基礎形状、５８ａ 顔基礎形状、６０ 基礎ポリゴン、６０ａ 顔基礎ポリゴン、６２ 基礎ポリゴンデータ、６４ 基礎特徴点、６４ａ 顔基礎特徴点、６６ 基礎特徴点群位置データ、６８ ポリゴンＩＤ、７０ 基礎特徴点位置データ、７２ 受付視点データ、７２ａ 受付視点位置データ、７２ｂ 受付視線方向データ、７４ 算出特徴点、７４ａ 顔算出特徴点、７５ 算出ポリゴン、７５ａ 顔算出ポリゴン、７６ 算出形状、７６ａ 顔算出形状。

Claims (6)

1. 複数の基礎特徴点それぞれの位置を示す基礎特徴点群位置データと、当該基礎特徴点群位置データと仮想三次元空間内における視線方向との関係を示す基礎視線方向関係データと、を含む基礎データを複数記憶する基礎データ記憶手段と、
   前記仮想三次元空間内における視線方向を示す受付視線方向データを受け付ける視線方向データ受付手段と、
   画像生成の単位であるターゲットの前記仮想三次元空間内における位置又は方向を示すデータと、前記受付視線方向データと、に基づいて、前記基礎データ記憶手段に記憶されている複数の基礎データのうちから複数を選択する基礎データ選択手段と、
   前記基礎データ選択手段により選択される基礎データに含まれる基礎特徴点群位置データに基づく、互いに対応する基礎特徴点同士の位置関係に基づいて、複数の算出特徴点の位置を算出する特徴点位置算出手段と、
   前記特徴点位置算出手段により算出される複数の算出特徴点の位置に基づいて、画像を生成する画像生成手段と、
   を含むことを特徴とする画像処理装置。
2. 前記特徴点位置算出手段が、前記画像生成手段による画像生成の単位であるターゲットの前記仮想三次元空間内における方向を示すターゲット方向データと、前記受付視線方向データと、の関係に基づいて、前記複数の算出特徴点の位置を算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記受付視線方向データと前記各基礎視線方向関係データとの関係に基づいて、前記基礎データ記憶手段に記憶されている基礎データのうちの複数について、当該基礎データに関連付けられる重みを示す重み係数を算出する重み係数算出手段、をさらに含み、
   前記特徴点位置算出手段が、前記重み係数が示す重みに基づいて、前記複数の算出特徴点の位置を算出する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 複数の基礎特徴点それぞれの位置を示す基礎特徴点群位置データと、当該基礎特徴点群位置データと仮想三次元空間内における視線方向との関係を示す基礎視線方向関係データと、を含む基礎データを複数、基礎データ記憶手段に記憶させるステップと、
   前記仮想三次元空間内における視線方向を示す受付視線方向データを受け付ける視線方向データ受付ステップと、
   画像生成の単位であるターゲットの前記仮想三次元空間内における位置又は方向を示すデータと、前記受付視線方向データと、に基づいて、前記基礎データ記憶手段に記憶されている複数の基礎データのうちから複数を選択する基礎データ選択ステップと、
   前記基礎データ選択ステップにより選択される基礎データに含まれる基礎特徴点群位置データに基づく、互いに対応する基礎特徴点同士の位置関係に基づいて、複数の算出特徴点の位置を算出する特徴点位置算出ステップと、
   前記特徴点位置算出ステップにより算出される複数の算出特徴点の位置に基づいて、画像を生成する画像生成ステップと、
   を含むことを特徴とする画像処理方法。
5. 複数の基礎特徴点それぞれの位置を示す基礎特徴点群位置データと、当該基礎特徴点群位置データと仮想三次元空間内における視線方向との関係を示す基礎視線方向関係データと、を含む基礎データを複数、基礎データ記憶手段に記憶させる手段、
   前記仮想三次元空間内における視線方向を示す受付視線方向データを受け付ける受付手段、
   画像生成の単位であるターゲットの前記仮想三次元空間内における位置又は方向を示すデータと、前記受付視線方向データと、に基づいて、前記基礎データ記憶手段に記憶されている複数の基礎データのうちから複数を選択する基礎データ選択手段、
   前記基礎データ選択手段により選択される基礎データに含まれる基礎特徴点群位置データに基づく、互いに対応する基礎特徴点同士の位置関係に基づいて、複数の算出特徴点の位置を算出する特徴点位置算出手段、
   前記特徴点位置算出手段により算出される複数の算出特徴点の位置に基づいて、画像を生成する画像生成手段、
   としてコンピュータを機能させることを特徴とするプログラム。
6. 請求項５に記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。

Images