JP7276968B2 - ３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびプログラム - Google Patents

Description

本発明は、３次元データを対象人物に近似する顔形状に更新する３次元データ更新装置、顔向き推定装置、および３次元データ更新方法に関し、さらには、これらを実現するためのプログラムに関する。

近年、撮像装置で人物の顔を撮像して得られた撮像データから、例えば、その人物の顔の表情または感情を読み取る技術が提案されている。撮像データを用いて顔の表情などを読み取る場合、撮像データにおける顔の向きを考慮する必要がある。顔の向きを検出する技術として、例えば、特許文献１には、３次元モデルを用いて、顔の向きを推定する技術が開示されている。

また、特許文献２には、２次元顔画像から顔特徴点を抽出し、機械学習により生成される角度予測モデルを用いて、顔特徴点の座標から撮影された向きを特定する技術が開示されている。この機械学習では、正面向きの２次元顔画像を変換した３次元顔データの３次元相同モデルを、所定角度に回転させながらＸＹ平面に射影することにより生成した、２次元相同モデルを生成して角度予測モデルを学習している。

国際公開第２０１８／１６８０４１号 特開２０１６－１９４８９２号公報

特許文献１に記載の従来の手法では、平均的な顔形状の３次元モデルが用いられる。この場合、人の顔は、目鼻立ちに個人差があるため、撮像された顔が３次元モデルと隔たりがある場合、精度よく顔の向きの推定できないおそれがある。また、特許文献２に記載の手法では、正面向きの２次元顔画像を３次元顔画像に変換しているため、高精度な３次元画像が得られず、顔の向き特定の結果の信頼度が低下するおそれがある。

本発明の目的の一例は、データ比較用の３次元データを高精度にする３次元データ更新装置、３次元データ更新方法、および、それを用いた顔向き推定装置、並びに、これらを実現するためのプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における３次元データ更新装置は、
記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新装置であって、
前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
前記３次元データを前記記憶装置から取得する３次元データ取得部と、
前記撮像データ取得部が取得した前記撮像データと、前記３次元データ取得部が取得した３次元データとを用いて、前記３次元データを調整する調整部と、
前記記憶装置に記憶される３次元データを、前記調整部による調整後の３次元データに更新する更新部と、
を備える、ことを特徴とする。

上記目的を達成するため、本発明の一側面における顔向き推定装置は、
記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新装置であって、
前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
前記３次元データを前記記憶装置から取得する３次元データ取得部と、
前記撮像データ取得部が取得した前記撮像データと、前記３次元データ取得部が取得した３次元データとを用いて、前記３次元データを調整する調整部と、
前記記憶装置に記憶される３次元データを、前記調整部による調整後の３次元データに更新する更新部と、
を備える、ことを特徴とする。

また、上記目的を達成するため、本発明の一側面における３次元データ更新方法は、
記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新方法であって、
前記撮像装置により撮像された撮像データを取得するステップと、
前記３次元データを前記記憶装置から取得するステップと、
取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整するステップと、
前記記憶装置に記憶される３次元データを、調整後の３次元データに更新するステップと、
を備える、ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新するコンピュータに、
前記撮像装置により撮像された撮像データを取得するステップと、
前記３次元データを前記記憶装置から取得するステップと、
取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整するステップと、
前記記憶装置に記憶される３次元データを、調整後の３次元データに更新するステップと、
を実行させる命令を含む、ことを特徴とする。

本発明によれば、平均的な顔形状の３次元データを撮像装置が撮像する人物に近似する顔形状に更新して、３次元データを高精度にすることができる。

図１は、実施形態における３次元データ更新装置の構成を示すブロック図である。 図２は、３次元データ更新装置を備えた顔向き推定装置の具体的構成を示す図である。 図３は、調整部が検出する特徴点を示す図である。 図４は、実施形態における３次元データ更新装置の動作を示すフロー図である。 図５は、実施形態における３次元データ更新装置および顔向き推定装置を実現するコンピュータの一例を示すブロック図である。

以下、本発明における一実施形態の３次元データ更新装置、３次元データ更新方法、および、顔向き推定装置について、図面を参照しながら説明する。

［装置構成］
図１は、本実施形態における３次元データ更新装置１の構成を示すブロック図である。

３次元データ更新装置１は、記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する装置である。３次元データ更新装置１は、撮像データ取得部２と、３次元データ取得部３と、調整部４と、更新部５と、を備えている。

撮像データ取得部２は、撮像装置により撮像された人物の顔の撮像データを取得する。

３次元データ取得部３は、３次元データを記憶装置から取得する。３次元データは、人物の顔の３次元画像データである。

調整部４は、撮像データ取得部２が取得した撮像データと、３次元データ取得部３が取得した３次元データとを用いて、３次元データを調整する。

更新部５は、記憶装置に記憶される３次元データを、調整部４による調整後の３次元データに更新する。

この３次元データ更新装置１は、平均的な顔形状の３次元データを撮像装置が撮像する人物に近似する顔形状に更新して、３次元データを高精度にすることができる。この３次元データを、例えば顔認証の認証用のデータに用いることで、認証精度を高めることができる。

続いて、図２および図３を用いて、本実施形態の３次元データ更新装置１の構成について具体的に説明する。本実施形態の３次元データ更新装置１は、顔向き推定装置の一部構成として用いられる。以下では、顔向き推定装置について具体的に説明することで、３次元データ更新装置１について説明する。なお、３次元データ更新装置１は、顔向き推定装置とは独立して設けられていてもよいし、３次元データを用いる他の装置の一部構成として用いられてもよい。

図２は、３次元データ更新装置１を備えた顔向き推定装置１０の具体的構成を示す図である。顔向き推定装置１０は、例えば自動車に搭載される。自動車には、撮像装置７０が搭載されている。その撮像装置７０は、少なくとも運転者（以下、対象人物と言う）の顔を撮像するように設置されている。顔向き推定装置１０は、その撮像装置７０と接続されている。なお、撮像装置７０は、顔向き推定装置１０のために設けられた装置でなくてもよい。

顔向き推定装置１０は、３次元データ更新装置１と、角度推定部１１とを備えている。３次元データ更新装置１は、上記したように、撮像データ取得部２と、３次元データ取得部３と、調整部４と、更新部５とを備えている。

撮像データ取得部２は、撮像装置７０により撮像された対象人物の顔の撮像データ７０Ａを取得する。撮像装置７０は、対象人物の顔を随時撮像する。撮像データ取得部２は、所定のタイミングで撮像データ７０Ａを随時取得する。

３次元データ取得部３は、記憶装置７１から人物の顔の３次元データ７１Ａを取得する。記憶装置７１には、予め３次元データ７１Ａが記憶されている。予め記憶装置７１に記憶される３次元データ７１Ａは、平均的な顔形状の画像データである。

調整部４は、撮像データ取得部２が取得した撮像データ７０Ａと、３次元データ取得部３が取得した３次元データ７１Ａと用いて、３次元データ７１Ａの顔特徴点の位置座標を調整する。顔特徴点とは、顔を構成する器官（例えば、目、鼻、口など）の特徴点、例えば「鼻の頂点」などである。

具体的には、調整部４は、撮像データ７０Ａから対象人物の顔を検出する。調整部４は、例えばエッジ検出または形状パターン検出によって、撮像データ７０Ａにおける顔の候補領域を抽出する。調整部４は、抽出した候補領域を小領域に分割し、各小領域の特徴点を、顔認証パターンとパターン照合することで、顔を検出する。顔認証パターンは、外部からネットワークを介して取得してもよいし、３次元データ更新装置１内の記憶装置に記憶されていてもよい。

続いて、調整部４は、検出した撮像データ７０Ａから顔特徴点を検出する。図３は、調整部４が検出する特徴点を示す図である。例えば、調整部４は、撮像データ７０Ａにおいて、検出した顔から、「左の目じりの端」、「右の目じりの端」、「鼻の頂点」、「左の口角」、「右の口角」および「あご先」の６点の顔特徴点（図３の黒丸）を検出する。同様に、調整部４は、３次元データ取得部３が取得した３次元データ７１Ａから６点の顔特徴点を検出する。調整部４は、撮像データ７０Ａおよび３次元データ７１Ａそれぞれから検出した顔特徴点を比較して変化量を検出する。２次元データである撮像データ７０Ａと、３次元データ７１Ａとを比較して変化量を検出する手法は、射影変換などが挙げられる。

例えば、調整部４は、撮像データ７０Ａから検出した「左の目じりの端」の位置座標を、３次元データ７１Ａから検出した「左の目じりの端」の位置座標に合わせたときの、位置座標の変化量を検出する。調整部４は、他の顔特徴点についても同様に、位置座標の変化量を検出する。

調整部４は、「左の目じりの端」の位置座標の変化量を基準として、「鼻の頂点」の変化量が基準よりも大きいか小さいかを判定する。変化量が基準より大きい場合、調整部４は、撮像データ７０Ａの「鼻の頂点」の位置座標は、３次元データ７１Ａの「鼻の頂点」の位置座標より高いと判定する。この場合、調整部４は、３次元データ７１Ａにおける「鼻の頂点」の顔特徴点の位置座標を高くする。変化量が基準より小さい場合、調整部４は、撮像データ７０Ａの「鼻の頂点」の位置座標は、３次元データ７１Ａの「鼻の頂点」の位置座標より低いと判定する。この場合、調整部４は、３次元データ７１Ａにおける「鼻の頂点」の顔特徴点の位置座標を低くする。

また、「あご先」の位置座標の変化量を基準として、「左の口角」および「右の口角」それぞれの位置座標の変化量が基準よりも大きく、３次元データ７１Ａにおける顔の中心から外側に大きく動いた場合は、調整部４は、左右の口角は広いと判断して補正する。逆に、内側に大きく動いた場合は、調整部４は、左右の口角が狭いと判断して補正する。同様に、「左の目じりの端」および「右の目じりの端」については、「鼻の頂点」の位置座標の変化量を基準として、３次元データ７１Ａにおける顔の中心から内側または外側のどちらに大きく動いたかによって、目じりの端の間が狭いか広いかを判断して補正する。

更新部５は、記憶装置７１に記憶されている３次元データ７１Ａを、調整部４が調整した３次元データに更新する。

角度推定部１１は、撮像データ７０Ａ内の顔の角度を推定する。顔の角度は、対象人物が撮像装置７０に対して正面を向いた状態を基準とする。角度推定部１１は、撮像データ７０Ａ内の顔の複数の顔特徴点、例えば、鼻の先端、あご、左目の左隅、右目の右隅、口の左隅、および口の右隅の座標を検出する。そして、角度推定部１１は、記憶装置７１に記憶され、３次元データ更新装置１により更新される３次元データ７１Ａからも顔特徴点を検出する。角度推定部１１は、撮像データ７０Ａから検出した顔特徴点と、３次元データ７１Ａから検出した顔特徴点とから、行列変換などの計算を行い、角度を求める。

［動作説明］
次に、本実施形態における３次元データ更新装置１の動作について説明する。図４は、本実施形態における３次元データ更新装置１の動作を示すフロー図である。本実施形態では、３次元データ更新装置１を動作させることによって、３次元データ更新方法が実施される。よって、本実施形態における３次元データ更新方法の説明は、以下の３次元データ更新装置１の動作説明に代える。

まず、前提として、撮像装置７０により対象人物の顔が撮像される。この前提において、撮像データ取得部２は、撮像装置７０により撮像された撮像データ７０Ａを取得する（Ｓ１）。次に、調整部４は、撮像データ７０Ａから顔特徴点を検出する（Ｓ２）。例えば、調整部４は、撮像データ７０Ａから、「左の目じりの端」、「右の目じりの端」、「鼻の頂点」、「左の口角」、「右の口角」および「あご先」の６点の顔特徴点を検出する。次に、３次元データ取得部３は、記憶装置７１から３次元データ７１Ａを取得する（Ｓ３）。調整部４は、３次元データ７１Ａから、上記６点の顔特徴点を検出する（Ｓ４）。なお、撮像データ７０Ａおよび３次元データ７１Ａを取得する順序、顔特徴点を検出する順序はこれに限定されない。また、調整部４が検出する顔特徴点の種類および数も、これに限定されない。

調整部４は、検出した撮像データ７０Ａおよび３次元データ７１Ａそれぞれの顔特徴点の位置座標を比較して、位置座標の変位量を検出する（Ｓ５）。調整部４は、検出した位置座標の変化量に基づいて、３次元データ７１Ａの各顔特徴点の位置座標を調整する（Ｓ６）。更新部５は、記憶装置７１に記憶される３次元データ７１Ａを、Ｓ６で調整された３次元データ７１Ａに更新する（Ｓ７）。

このように、平均的な顔形状の３次元データ７１Ａは、図４に示す動作を繰り返し実行することで、対象人物の顔形状に近似するようになる。この図４に示す動作は、顔向き推定装置１０が対象人物の顔向きを推定するたびに実行されてもよいし、顔向き推定とは関係なく、定期的に実行されてもよい。

［実施形態による効果］
以上の構成の３次元データ更新装置１により、平均的な顔形状の３次元データ７１Ａを撮像装置が撮像する人物に近似する顔形状に更新して、３次元データ７１Ａを高精度にすることができる。この３次元データ７１Ａを、例えば顔認証の認証用のデータに用いることで、認証精度を高めることができる。

［プログラム］
本実施形態におけるプログラムは、コンピュータに、図４に示すステップＳ１～Ｓ７を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における３次元データ更新装置１、顔向き推定装置１０および３次元データ更新方法を実現することができる。この場合、コンピュータのプロセッサは、撮像データ取得部２、３次元データ取得部３、調整部４および更新部５として機能し、処理を行なう。

また、本実施形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、撮像データ取得部２、３次元データ取得部３、調整部４および更新部５のいずれかとして機能してもよい。

［物理構成］
ここで、本実施形態におけるプログラムを実行することによって、３次元データ更新装置１および顔向き推定装置１０を実現するコンピュータについて図５を用いて説明する。図５は、本実施形態における３次元データ更新装置１および顔向き推定装置１０を実現するコンピュータの一例を示すブロック図である。

図５に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２５を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、またはＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、またはＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））およびＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、またはＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施形態における顔向き推定装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、３次元データ更新装置１および顔向き推定装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施形態の一部または全部は、以下に記載する（付記１）～（付記１０）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新装置であって、
前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
前記３次元データを前記記憶装置から取得する３次元データ取得部と、
前記撮像データ取得部が取得した前記撮像データと、前記３次元データ取得部が取得した３次元データとを用いて、前記３次元データを調整する調整部と、
前記記憶装置に記憶される３次元データを、前記調整部による調整後の３次元データに更新する更新部と、
を備える、ことを特徴とする３次元データ更新装置。

（付記２）
付記１に記載の３次元データ更新装置であって、
前記調整部は、前記３次元データ内の顔特徴点の位置座標を調整する、
ことを特徴とする３次元データ更新装置。

（付記３）
付記２に記載の３次元データ更新装置であって、
前記調整部は、
前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点の位置座標を調整する、
ことを特徴とする３次元データ更新装置。

（付記４）
撮像装置が撮像した対象の顔の撮像データと、記憶装置に記憶される３次元データとを比較して、前記対象人物の顔の角度を推定する顔向き推定装置であって、
前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
前記３次元データを前記記憶装置から取得する３次元データ取得部と、
前記撮像データ取得部が取得した前記撮像データと、前記３次元データ取得部が取得した３次元データとを用いて、前記３次元データを調整する調整部と、
前記記憶装置に記憶される３次元データを、前記調整部による調整後の３次元データに更新する更新部と、
を備える、ことを特徴とする顔向き推定装置。

（付記５）
記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新方法であって、
前記撮像装置により撮像された撮像データを取得するステップと、
前記３次元データを前記記憶装置から取得するステップと、
取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整するステップと、
前記記憶装置に記憶される３次元データを、調整後の３次元データに更新するステップと、
を有することを特徴とする３次元データ更新方法。

（付記６）
付記５に記載の３次元データ更新方法であって、
前記取得した３次元データを調整するするステップでは、前記３次元データ内の顔特徴点の位置座標を調整する、
ことを特徴とする３次元データ更新方法。

（付記７）
付記６に記載の３次元データ更新方法であって、
前記取得した３次元データを調整するするステップでは、
前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点の位置座標を調整する、
ことを特徴とする３次元データ更新方法。

（付記８）
記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新するコンピュータに、
前記撮像装置により撮像された撮像データを取得するステップと、
前記３次元データを前記記憶装置から取得するステップと、
取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整するステップと、
前記記憶装置に記憶される３次元データを、調整後の３次元データに更新するステップと、
を実行させる命令を含むプログラム。

（付記９）
付記８に記載のプログラムであって、
前記コンピュータに、
前記取得した３次元データを調整させるときは、前記３次元データ内の顔特徴点の位置座標を調整するステップ、
を実行させる命令を含む、プログラム。

（付記１０）
付記９に記載のプログラムであって、
前記取得した３次元データを調整するステップでは、
前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点を調整する、
プログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１９年６月２０日に出願された日本出願特願2019-114767を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように、本発明によれば、予め記憶した３次元データと、撮像して得られる撮像データとを比較する技術に利用できる。

１ ３次元データ更新装置
２ 撮像データ取得部
３ ３次元データ取得部
４ 調整部
５ 更新部
１０ 顔向き推定装置
１１ 角度推定部
７０ 撮像装置
７０Ａ 撮像データ
７１ 記憶装置
７１Ａ ３次元データ
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２５ バス

Claims (4)

1. 記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新装置であって、
   前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
   前記３次元データを前記記憶装置から取得する３次元データ取得部と、
   前記撮像データ取得部が取得した前記撮像データと、前記３次元データ取得部が取得した３次元データとを用いて、前記３次元データを調整する調整部と、
   前記記憶装置に記憶される３次元データを、前記調整部による調整後の３次元データに更新する更新部と、
   を備え、
   前記調整部は、前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点の位置座標を調整し、
   前記顔特徴点は、左右目じり端、鼻の頂点、左右の口角、あご先であり、
   前記調整部は、前記目じりの端の位置座標の変化量を基準として前記鼻の頂点の位置座標の大小を判定し、前記鼻の頂点の位置座標の高低を補正し、
   前記あご先の位置座標の変化量を基準として前記口角の位置座標の前記３次元データにおける顔の中心からの移動方向の内外を判定し、前記口角の位置座標の広狭を補正し、
   前記鼻の頂点の位置座標の変化量を基準として前記目じりの端の位置座標の前記３次元データにおける顔の中心からの移動方向の内外を判定し、前記目じりの端の間の広狭を補正する、
   ３次元データ更新装置。
2. 撮像装置が撮像した対象の顔の撮像データと、記憶装置に記憶される３次元データとを比較して、対象人物の顔の角度を推定する顔向き推定装置であって、
   前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
   前記３次元データを前記記憶装置から取得する３次元データ取得部と、
   前記撮像データ取得部が取得した前記撮像データと、前記３次元データ取得部が取得した３次元データとを用いて、前記３次元データを調整する調整部と、
   前記記憶装置に記憶される３次元データを、前記調整部による調整後の３次元データに更新する更新部と、
   を備え、
   前記調整部は、前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点の位置座標を調整し、
   前記顔特徴点は、左右目じり端、鼻の頂点、左右の口角、あご先であり、
   前記調整部は、前記目じりの端の位置座標の変化量を基準として前記鼻の頂点の位置座標の大小を判定し、前記鼻の頂点の位置座標の高低を補正し、
   前記あご先の位置座標の変化量を基準として前記口角の位置座標の前記３次元データにおける顔の中心からの移動方向の内外を判定し、前記口角の位置座標の広狭を補正し、
   前記鼻の頂点の位置座標の変化量を基準として前記目じりの端の位置座標の前記３次元データにおける顔の中心からの移動方向の内外を判定し、前記目じりの端の間の広狭を補正する、
   顔向き推定装置。
3. 記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新方法であって、
   前記撮像装置により撮像された撮像データを取得し、
   前記３次元データを前記記憶装置から取得し、
   取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整し、
   前記記憶装置に記憶される３次元データを、調整後の３次元データに更新し、
   前記３次元データを調整する場合、前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点の位置座標を調整し、
   前記顔特徴点は、左右目じり端、鼻の頂点、左右の口角、あご先であり、
   前記３次元データを調整する場合、前記目じりの端の位置座標の変化量を基準として前記鼻の頂点の位置座標の大小を判定し、前記鼻の頂点の位置座標の高低を補正し、
   前記あご先の位置座標の変化量を基準として前記口角の位置座標の前記３次元データにおける顔の中心からの移動方向の内外を判定し、前記口角の位置座標の広狭を補正し、
   前記鼻の頂点の位置座標の変化量を基準として前記目じりの端の位置座標の前記３次元データにおける顔の中心からの移動方向の内外を判定し、前記目じりの端の間の広狭を補正する、
   ３次元データ更新方法。
4. 記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新するコンピュータに、
   前記撮像装置により撮像された撮像データを取得させ、
   前記３次元データを前記記憶装置から取得させ、
   取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整させ、
   前記記憶装置に記憶される３次元データを、調整後の３次元データに更新させる、
   命令を含み、
   前記３次元データを調整する場合、前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点の位置座標を調整し、
   前記顔特徴点は、左右目じり端、鼻の頂点、左右の口角、あご先であり、
   前記３次元データを調整する場合、前記目じりの端の位置座標の変化量を基準として前記鼻の頂点の位置座標の大小を判定し、前記鼻の頂点の位置座標の高低を補正し、
   前記あご先の位置座標の変化量を基準として前記口角の位置座標の前記３次元データにおける顔の中心からの移動方向の内外を判定し、前記口角の位置座標の広狭を補正し、
   前記鼻の頂点の位置座標の変化量を基準として前記目じりの端の位置座標の前記３次元データにおける顔の中心からの移動方向の内外を判定し、前記目じりの端の間の広狭を補正する、
   プログラム。

Images