JP4216824B2

JP4216824B2 - ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム

Info

Publication number: JP4216824B2
Application number: JP2005062653A
Authority: JP
Inventors: 朗子中島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-03-07
Filing date: 2005-03-07
Publication date: 2009-01-28
Anticipated expiration: 2025-03-07
Also published as: JP2006244387A; US20060210148A1; US7706602B2

Description

本発明は、３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラムに係わり、特に、高精度な物体の３次元モデルを生成できるようにした３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラムに関する。

従来から、物体を撮影した画像から、その物体の高精度な３次元モデルを生成する方法が提案されている。

特に、あらかじめ作成された物体の標準モデルの表面上に設定された点（以下、頂点と呼ぶ）と、撮影された画像上の点との間で対応づけを行い、その対応づけにしたがって標準モデル上の頂点の座標を修正することで、その物体の３次元モデルを生成する方法が広く用いられている。この方法によれば、例えば、顔の３次元モデルを生成する場合、顔の標準モデル上の頂点として目や鼻孔などを定義しておけば、生成された３次元モデル上の目や鼻孔などの点は、常に標準モデル上の同じ頂点と対応づけられるため、顔の部位と標準モデル上の頂点の対応づけが顔によらず共通しているという利点があった。

このように物体の標準モデル上の頂点と撮影された画像上の点との間で対応づけを行い、標準モデル上の頂点の座標を修正して、その物体の３次元モデルを生成する方法として、人の顔を正面から撮影した画像から顔の中心線を検出し、人の顔を側面から撮影した画像から顔の輪郭線を検出し、その中心線と輪郭線との関係から、画像上の点と標準モデル上の頂点との間で対応づけを行って顔の３次元モデルを生成する顔画像モデル生成装置が開示されている（例えば、特許文献１を参照）。

しかし、この方法によれば、画像上の点と標準モデル上の頂点との間の対応づけを３次元空間上で行うため、生成されたモデルと実際の物体の形状との間の誤差が大きくなり、正確な形状の３次元モデルを得ることができなかった。
特許第２７８７６１２号公報（２頁、図２）

上述したように、従来技術では画像上の点と標準モデル上の頂点との間の対応づけを３次元区間上で行うため、生成されたモデルと実際の物体の形状との間の誤差が大きくなり、正確な形状の３次元モデルを得ることができない、という問題があった。

本発明は、上記従来技術の問題点を解決するためになされたものであって、高精度な物体の３次元モデルを生成することを可能とする３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラムを提供することを目的とする。

上記目的を達成するために、本発明の３次元モデル生成装置は、あらかじめ記憶された物体の標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を、その物体を撮影した複数の画像に基づいて更新することによって、その物体の３次元モデルを生成する３次元モデル生成装置であって、物体の標準モデル上の複数の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を記憶する記憶手段と、前記物体を撮影した複数の画像を入力する画像入力手段と、前記入力された複数の画像より選択された基準画像から、前記標準モデル上の頂点に対応する点の座標（ｘ，ｙ）を検出する第１の検出手段と、前記画像入力手段で入力されたほかの画像から、前記第１の検出手段で検出された前記基準画像上の点に対応する点の座標（ｘ´，ｙ´）を検出する第２の検出手段と、前記基準画像上の点の座標（ｘ，ｙ）と前記ほかの画像の対応する点の座標（ｘ´，ｙ´）とを用いて、前記基準画像上の点の奥行きを求める奥行き算出手段と、前記基準画像上の点の座標（ｘ，ｙ）と前記奥行き算出手段で得られた奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新する第１の更新手段とを備え、前記第１の検出手段は、前記標準モデル上の頂点のうち、あらかじめ定められた一部の頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）と前記標準モデル上の対応する頂点の３次元座標（Ｘ，Ｙ，Ｚ）とを用いて、前記標準モデル上のほかの頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）を補間して求める補間手段を有し、前記第１の更新手段は、更に、前記補間手段で求められた座標（ｘ，ｙ）と前記奥行き算出手段で得られた、前記補間手段で求められた基準画像上の点の奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新することを特徴とする。

また、本発明の３次元モデル生成方法は、あらかじめ記憶された物体の標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を、その物体を撮影した複数の画像に基づいて変更することによって、その物体の３次元モデルを生成する３次元モデル生成方法であって、物体を撮影した複数の画像を入力する画像入力ステップと、前記入力された複数の画像より選択された基準画像から、前記標準モデル上の頂点に対応する点の座標（ｘ，ｙ）を検出する第１の検出ステップと、前記画像入力ステップで入力されたほかの画像から、前記第１の検出ステップで検出された前記基準画像上の点に対応する点の座標（ｘ´，ｙ´）を検出する第２の検出ステップと、前記基準画像上の点の座標（ｘ，ｙ）と前記ほかの画像の対応する点の座標（ｘ´，ｙ´）とを用いて、前記基準画像上の点の奥行きを求める奥行き算出ステップと、前記基準画像上の点の座標（ｘ，ｙ）と前記奥行き算出ステップで得られた奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新する更新ステップとを有し、前記第１の検出ステップは、前記標準モデル上の頂点のうち、あらかじめ定められた一部の頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）と前記標準モデル上の対応する頂点の３次元座標（Ｘ，Ｙ，Ｚ）とを用いて、前記標準モデル上のほかの頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）を補間して求める補間ステップを含み、前記更新ステップでは、更に、前記補間ステップで求められた座標（ｘ，ｙ）と前記奥行き算出ステップで得られた、前記補間ステップで求められた基準画像上の点の奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新することを特徴とする。

また、本発明の３次元モデル生成プログラムは、コンピュータに、あらかじめ記憶された物体の標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を、その物体を撮影した複数の画像に基づいて更新させることによって、その物体の３次元モデルを生成させる３次元モデル生成プログラムであって、物体を撮影した複数の画像を入力する画像入力機能と、前記入力された複数の画像より選択された基準画像から、前記標準モデル上の頂点に対応する点の座標（ｘ，ｙ）を検出する第１の検出機能と、前記画像入力機能で入力されたほかの画像から、前記第１の検出機能で検出された前記基準画像上の点に対応する点の座標（ｘ´，ｙ´）を検出する第２の検出機能と、前記基準画像上の点の座標（ｘ，ｙ）と前記ほかの画像の対応する点の座標（ｘ´，ｙ´）とを用いて、前記基準画像上の点の奥行きを求める奥行き算出機能と、前記基準画像上の点の座標（ｘ，ｙ）と前記奥行き算出機能で得られた奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新する更新機能とを備え、前記第１の検出機能は、前記標準モデル上の頂点のうち、あらかじめ定められた一部の頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）と前記標準モデル上の対応する頂点の３次元座標（Ｘ，Ｙ，Ｚ）とを用いて、前記標準モデル上のほかの頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）を補間して求める補間機能を含み、前記更新機能は、更に、前記補間機能で求められた座標（ｘ，ｙ）と前記奥行き算出機能で得られた、前記補間機能で求められた基準画像上の点の奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新することを特徴とする。

本発明によれば、高精度な物体の３次元モデルを生成することが可能となるので、高精度な人物認証や物体認証あるいは物体追跡などに利用することができる。

以下、本発明の実施形態について説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる３次元モデル生成装置を示すブロック図である。なお、本実施形態では、３次元モデルを生成する対象物体は、人の顔であるとする。

この第１の実施形態に係わる３次元モデル生成装置は、人の顔の標準モデルを、その標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）とともに記憶する頂点座標記憶部１０１と、３次元モデルを生成しようとする人の顔を撮影した複数の画像を入力する画像入力部１０２と、画像入力部１０２で入力された画像より選択された基準画像上から、頂点座標記憶部１０１に記憶された標準モデル上の頂点に対応する点の座標（ｘ，ｙ）を検出する頂点対応づけ部１０３と、画像入力部１０２で入力された基準画像以外の画像から、頂点対応づけ部１０３で検出された基準画像上の点に対応する点の座標（ｘ´，ｙ´）を検出する対応点検出部１０４と、頂点対応づけ部１０３で検出された基準画像上の点の座標（ｘ，ｙ）と、対応点検出部１０４で検出されたほかの画像上の対応する点の座標（ｘ´，ｙ´）とから、その基準画像上の点の奥行きを算出する奥行き算出部１０５と、奥行き算出部１０５で算出された基準画像上の点の奥行きに基づいて、物体の標準モデルの頂点座標（X，Y，Z）を更新する頂点座標更新部１０６とを備える。

また、頂点対応づけ部１０３は、基準画像から、頂点座標記憶部１０１に記憶されている頂点のうち、あらかじめ定められた特徴的な頂点（以下、特徴点と呼ぶ）に対応する点の座標（ｘ，ｙ）を検出する特徴点対応づけ部１０３ａと、特徴点対応づけ部１０３ａで検出された基準画像上の点の座標（ｘ，ｙ）から、特徴点以外の頂点に対応する点の座標（ｘ，ｙ）を補間して求める座標補間部１０３ｂとを備える。

次に図１および図２を用いて、本発明の第１の実施形態に係わる３次元モデル生成装置の動作について説明する。なお、図２は、本発明の第１の実施形態に係わる３次元モデル生成装置の動作を示すフローチャートである。

まず、画像入力部１０２から、３次元モデルを生成しようとする人の顔を撮影した複数の画像が入力される（ステップＳ１０１）。ここでは、入力される画像は、図３に示すように、人の顔を正面から撮影した画像（図３（ａ））と、顔を左方向から撮影した画像（図３（ｂ））からなるステレオ画像であるとする。なお、このようなステレオ画像は、例えば、図４（ａ）に示すように、水平に設置された２台のカメラ（４１、４２）によって人の顔を撮影することによって得ることができる。また、図４（ｂ）に示すように、１台のカメラ（４３）で人の顔を正面から撮影したのち、カメラを移動させて再度撮影することによっても得ることができる。また、図４（ｃ）に示すように、１台のカメラ（４４）で人の顔を正面から撮影したのち、撮影対象である顔を移動させて再度撮影することによっても得ることができる。

画像入力部１０２で入力された画像は、次に、頂点対応づけ部１０３に送られる。

頂点対応づけ部１０３は、まず、特徴点対応づけ部１０３ａにおいて、画像入力部１０２で入力された画像より選ばれた基準画像から、頂点座標記憶部１０１に記憶された顔の標準モデル上の特徴点に対応する点の座標（ｘ，ｙ）を検出し（ステップＳ１０２）、次に、座標補間部１０３ｂにおいて、標準モデル上のほかの頂点に対応する点の座標（ｘ，ｙ）を、検出された特徴点に対応する点の座標（ｘ，ｙ）を用いて補間することにより求める（ステップＳ１０３）。なお、ここでは、基準画像は、画像入力部１０２で入力される２枚の画像のうち、顔を正面から撮影した画像であるとする。

ここで、頂点座標記憶部１０１には、人の顔の標準モデルが、その標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）とともに記憶されている。また、その標準モデル上の頂点のうち特徴的な頂点は、特徴点として頂点座標記憶部１０１に記憶されている。ここで、特徴的な頂点とは、例えば、目、鼻、鼻孔、口などの人の顔の特徴を表すあらかじめ定められた頂点をいう。

次に、頂点対応づけ部１０３の各部の動作について説明する。

特徴点対応づけ部１０３ａは、標準モデル上の特徴点に対応する基準画像上の点の座標（ｘ，ｙ）を検出する。標準モデル上の特徴点に対応する基準画像上の点の座標（ｘ，ｙ）の検出方法としては、例えば、基準画像の輝度の分散を利用した分離度フィルターを用いる方法（例えば、特許第３４９０４８２号公報を参照）を用いることができる。また、実際に基準画像を観察して、特徴点ごとに、基準画像上に表れた目、鼻、鼻孔、口などの座標を手動で指定していくことによっても行うことができる。

次に、座標補間部１０３ｂは、特徴点対応づけ部１０３ａで検出された基準画像上の点から、標準モデル上の特徴点以外の頂点に対応する点を補間して求める。ここで、標準モデル上の特徴点以外の頂点とは、例えば、顔の頬や額などに設定された頂点をいう。

補間の方法としては、例えば、補間しようとする頂点の座標を、その頂点の周囲に存在する特徴点の座標、および、その特徴点に対応する基準画像上の点の座標から線形補間する方法を用いることができる。

すなわち、まず、補間しようとする標準モデル上の頂点ごとに、その頂点との間の距離が小さい順に標準モデル上の特徴点をＮ点選択する。ここで選択された第ｉ番目の特徴点のXＹ座標を（X_ｉ，Ｙ_ｉ）とする。また、その特徴点に対応する基準画像上の点の座標を（x_ｉ，ｙ_ｉ）とする。そして、選択された特徴点ごとに、特徴点と基準画像上の点との間のXＹ座標の差分の重み付け和（ｄx，ｄｙ）を（１）式にしたがって求める。

ここで、ｗ_ｉは、補間しようとする標準モデル上の頂点と標準モデル上の特徴点との間の距離に基づいて定まる重み係数であり、距離が小さくなるほど大きな値となるように設定すればよい。

そして、補間しようとする標準モデル上の頂点のＸＹ座標を（Ｘ_Ｔ，Ｙ_Ｔ）とすると、（２）式にしたがって、その頂点に対応する基準画像上の点の座標（ｘ_Ｔ，ｙ_Ｔ）を求めればよい。

なお、上述した例では、補間しようとする標準モデル上の頂点ごとに、その頂点との間の距離が小さい順に標準モデル上の特徴点をＮ点選択して線形補間を行っていたが、補間しようとする頂点と補間に用いるための特徴点との間の距離の閾値をあらかじめ設定しておき、その閾値よりも小さい距離に存在する特徴点をすべて用いて線形補間することも可能である。

また、特徴点の数が少ない場合には、例えば、２次元スプラインによる補間法（例えば、大西：「スプライン法を用いた２次元補間について」、ＪｏｕｒｎａｌｏｆｔｈｅＯｃｅａｒｎｏｇｒａｐｈｉｃａｌＳｏｃｉｅｔｙｏｆＪａｐａｎ、Ｖｏｌ．３１、ｐｐ．２５９−２６４、１９７５を参照）などを用いてもよい。

このように頂点対応づけ部１０３で検出された標準モデル上の頂点に対応する基準画像上の点の座標（ｘ，ｙ）は、次に、対応点検出部１０４に送られる。

対応点検出部１０４は、画像入力部１０２で入力された基準画像以外の画像から、頂点対応づけ部１０３で検出された点に対応する点の座標（ｘ´，ｙ´）を検出する（ステップＳ１０４）。基準画像上の点に対応する別画像上の点を検出する方法としては、例えば、図５に示すように、基準画像上の点ごとに、その点を中心とする一定の大きさの領域（ウィンドウ）を設定し、そのウィンドウ内の輝度分布と最もよく一致する輝度分布を有する別の画像上のウィンドウを探索し、その別画像上のウィンドウの中心点を、基準画像上の点に対する対応点とすればよい。なお、基準画像と別画像を水平に設置された２台のカメラを用いて撮影する場合には、別画像上のｙ´＝ｙとなる点の中から、対応点ｘ´を探索すればよい。

このようにして検出された基準画像上の点の座標（ｘ，ｙ）と別画像上の対応する点の座標（ｘ´，ｙ´）は、次に、奥行き算出部１０５に送られる。

奥行き算出部１０５は、基準画像上の点の座標（ｘ，ｙ）と別画像上の対応する点の座標（ｘ´，ｙ´）とから、ステレオ法を用いて、基準画像上の点の奥行きｚを算出する。ここで基準画像上の点の奥行きｚとは、図６に示すように、ステレオ画像を撮影したカメラのレンズの中心点を含み、撮影方向に対して直交する面からの基準画像上の点に対応する顔上の点までの距離をいう。また、ここでは、ステレオ法とは、少なくとも２枚のステレオ画像から三角測量の原理を用いて、そのステレオ画像に含まれる物体の３次元的な形状や、その物体の置かれている位置（奥行きなど）を求める方法をいう。

ステレオ法を用いて２枚の画像の対応する点の座標から、その点の３次元空間における奥行きを求める場合、例えば、上述したように、水平に設置された２台のカメラを用いて基準画像と別画像を撮影した場合には、奥行きｚは、２台のカメラのレンズの中心点間の距離をＢ、各カメラのレンズの焦点距離をＦとすると、（３）式によって求めることができる。

奥行き算出部１０５で算出された基準画像上の点の奥行きｚは、次に、頂点座標更新部１０６に送られる。

頂点座標更新部１０６は、頂点座標記憶部１０１に記憶された顔の標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を更新する。更新は、標準モデル上の頂点ごとに、（４）式によって行えばよい。

ここで（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）、（ｘ_ｉ，ｙ_ｉ）、（ｘ_ｉ´，ｙ_ｉ´）およびｚ_ｉは、それぞれ、第ｉ番目の頂点の３次元座標、第ｉ番目の頂点に対応する基準画像上の点の座標、第ｉ番目の頂点に対応する別画像上の点の座標および、第ｉ番目の頂点に対応する基準画像上の点の奥行きである。

このように標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を更新することで、顔の標準モデルを、画像入力部１０２に入力された２枚の画像に表れた顔に対応する３次元モデルとすることができる。

そして、このように生成された３次元モデルに、例えば、頂点対応づけ部１０３で得られた対応づけに基づいて基準画像から生成されるテクスチャ画像をマッピングすれば、撮影された人の顔の３次元形状に加えて、色や質感なども付加することが可能になる。また、別の人の顔を撮影した画像を用いて、同様に３次元モデルを生成しておけば、その別の人の顔の画像から生成されるテクスチャ画像を、他の人の顔の３次元モデルにマッピングすることも可能である。

このように、第１の実施形態に係わる３次元モデル生成装置によれば、まず、２次元平面上で、顔の標準モデル上の頂点と基準画像上の点との間で対応づけが行われ、次に、ステレオ法を用いて、対応づけが行われた基準画像上の点の奥行きが求められる。そのため、２次元平面上での対応づけを誤った場合であっても、その点の奥行き座標は、ステレオ法によって正確に求めることが可能であり、実際の顔の形状を正確に表したモデルとなる。したがって、３次元空間上で対応づけを行って３次元モデルを生成する場合に比べて、精度のよい３次元モデルを生成することが可能となる。

なお、上述した実施形態では、３次元モデルを生成する対象物体を人の顔であるとして説明したが、３次元モデルを生成する対象物体は人の顔に限定されない。例えば、対象物体は、車、眼鏡、急須あるいはテレビなどであってもよい。この場合、例えば、車上のミラーや窓枠などの特徴的な部位をあらかじめ特徴点として定めておき、この特徴点を基準画像上の点と対応づけるようにすればよい。

なお、この３次元モデル生成装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、画像入力部１０２、頂点対応づけ部１０３、対応点検出部１０４、奥行き算出部１０５および頂点座標更新部１０６は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、３次元モデル生成装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、頂点座標記憶部１０１は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

（第２の実施形態）
第１の実施形態では、画像入力部１０２で入力される画像のうち、顔を正面から撮影した画像を基準画像としていた。

第２の実施形態では、傾いた顔を撮影した画像を基準画像とするために、まず、標準モデルの顔の向きを、基準画像上に表れた顔の向きと一致させるよう変更したのちに、その変更された標準モデル上の頂点と基準画像上の点との間で対応づけを行う実施の形態について説明する。

図７は、本発明の第２の実施形態に係わる３次元モデル生成装置を示すブロック図である。

この第２の実施形態に係わる３次元モデル生成装置は、人の顔の標準モデルを、その標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）とともに記憶する頂点座標記憶部２０１と、３次元モデルを生成しようとする人の顔を撮影した複数の画像を入力する画像入力部２０２と、画像入力部２０２で入力された画像より選択された基準画像から、頂点座標記憶部２０１に記憶された標準モデル上の頂点に対応する点の座標（ｘ，ｙ）を検出する頂点対応づけ部２０３と、画像入力部２０２で入力された基準画像以外の画像から、頂点対応づけ部２０３で検出された基準画像上の点に対応する点の座標（ｘ´，ｙ´）を検出する対応点検出部２０４と、頂点対応づけ部２０３で検出された基準画像上の点の座標（ｘ，ｙ）と、対応点検出部２０４で検出されたほかの画像上の対応する点の座標（ｘ´，ｙ´）とから、その基準画像上の点の奥行きを算出する奥行き算出部２０５と、奥行き算出部２０５で算出された基準画像上の点の奥行きに基づいて、物体の標準モデルの頂点座標（Ｘ，Ｙ，Ｚ）を更新する頂点座標更新部２０６とを備える。

また、頂点対応づけ部２０３は、基準画像から、頂点座標記憶部２０１に記憶されている頂点のうち、あらかじめ定められた特徴的な頂点（特徴点）に対応する点の座標（ｘ，ｙ）を検出する特徴点対応づけ部２０３ａと、特徴点対応づけ部２０３ａで検出された基準画像上の点の座標（ｘ，ｙ）と、標準モデル上の特徴点の座標（Ｘ，Ｙ，Ｚ）とから、基準画像に表れた顔の向きと標準モデルの顔の向きとの間の傾きを算出する傾き算出部２０３ｂと、傾き算出部２０３ｂで算出された傾きに基づいて、標準モデルの顔の向きを基準画像に表れた顔の向きと一致させるように、標準モデル上の頂点の３次元座標を更新する顔向き変更部２０３ｃと、特徴点対応づけ部２０３ａで検出された基準画像上の点の座標（ｘ，ｙ）から、顔向き変更部２０３ｃで変更された標準モデル上の、そのほかの頂点に対応する点の座標（ｘ，ｙ）を補間して求める座標補間部２０３ｄとを備える。

すなわち、第１の実施形態とは、画像入力部２０２で入力された画像に表れた顔の向きと、頂点対応づけ部２０３の動作が異なる。したがって、第１の実施形態と共通の動作をする部分（対応点検出部２０４、奥行き算出部２０５、頂点座標更新部２０６）については説明を省略する。

次に図７および図８を用いて、本発明の第２の実施形態に係わる３次元モデル生成装置の動作について説明する。なお、図８は、本発明の第２の実施形態に係わる３次元モデル生成装置の動作を示すフローチャートである。

まず、画像入力部２０２から、３次元モデルを生成しようとする人の顔を撮影した複数の画像が入力される（ステップＳ２０１）。ここでは、入力される画像は、図９に示すような、人の顔を左方向から撮影した画像（図９（ａ））と、右方向から撮影した画像（図９（ｂ））であるとする。なお、以下では、基準画像は、図９（ａ）に示すような、人の顔を左方向から撮影した画像であるとして説明する。

画像入力部２０２で入力された画像は、次に、頂点対応づけ部２０３に送られる。

頂点対応づけ部２０３では、まず、特徴点対応づけ部２０３ａが、画像入力部１０２で入力された画像より選ばれた基準画像から、頂点座標記憶部２０１に記憶された顔の標準モデル上の特徴点に対応する点の座標（ｘ，ｙ）を検出する（ステップＳ２０２）。

標準モデル上の特徴点に対応する基準画像上の点の座標（ｘ，ｙ）の検出方法としては、例えば、上述したように、基準画像の輝度の分散を利用した分離度フィルターを用いる方法などを用いることができる。

次に、傾き算出部２０３ｂは、標準モデル上の特徴点の座標（Ｘ，Ｙ，Ｚ）と特徴点対応づけ部２０３ａで検出された対応する基準画像上の点の座標（ｘ，ｙ）を用いて、基準画像に表れた顔の向きと標準モデルの顔の向きとの間の傾きを算出する（ステップＳ２０３）。ここで、基準画像に表れた顔の向きと標準モデルの顔の向きとの間の傾きとは、標準モデルの顔の向きを基準画像に表れた顔の向きに一致させるように回転させる場合の標準モデル上の頂点の座標（Ｘ，Ｙ，Ｚ）に対する回転行列Ｒをいう。このような回転行列Ｒを顔の標準モデルの特徴点の３次元座標（Ｘ，Ｙ，Ｚ）と基準画像上の対応する点の座標（ｘ，ｙ）とから求める方法としては、例えば、特開２００３−１４１５５２公報において開示された方法を用いることができる。

このようにして算出された回転行列Ｒは、次に、顔向き変更部２０３ｃに送られる。

顔向き変更部２０３ｃは、標準モデルの顔の向きを基準画像に表れた顔の向きと一致させるように、標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を更新する（ステップＳ２０４）。具体的には、傾き算出部２０３ｂから送られる回転行列Ｒを用いて（５）式にしたがって、標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を更新すればよい。

ここで、（Ｘ´，Ｙ´，Ｚ´）が更新後の標準モデルの頂点の３次元座標である。

次に座標補間部２０３ｄは、顔向きが変更された標準モデル上の特徴点の３次元座標（Ｘ´，Ｙ´，Ｚ´）と、特徴点対応づけ部１０３ａで検出された標準モデル上の特徴点に対応する基準画像上の点の座標（ｘ，ｙ）とから、標準モデル上の特徴点以外の頂点に対応する点の座標を補間して求める。補間は、上述した第1の実施形態における座標補間部１０３ｂと同様の方法を用いて行えばよい。

このようにして頂点対応づけ部２０３において検出された基準画像上の点の座標（ｘ，ｙ）は、次に、対応点検出部２０４に送られる。対応点検出部２０４では、画像入力部２０２で入力されたほかの画像から、頂点対応づけ部２０３で検出された基準画像上の点に対応する点が検出される。そしれ、これらの基準画像上の点とほかの画像上の点とから、奥行き算出部２０５において、基準画像上の点の奥行きが求められる。頂点座標更新部２０６では、（４）式にしたがって、頂点座標が更新され、画像入力部２０２で入力された画像に表れた顔の３次元モデルが生成される。

このように、第２の実施形態に係わる３次元モデル生成装置によれば、画像入力部２０２で入力される顔の画像が、顔を正面から撮影した画像でない場合であっても、顔の標準モデルの傾きを、その画像に表れた顔の向きに一致するように変更したのちに、標準モデル上の特徴点以外の頂点の補間を行うので、精度のよい３次元モデルを生成することが可能となる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係わる３次元モデル生成装置の構成を示すブロック図。本発明の第１の実施形態の動作を示すフローチャート。本発明の第１の実施形態の入力画像の一例を示す図。本発明の第１の実施形態の入力画像の撮影方法の例を示す図。本発明の第１の実施形態の基準画像と別画像上の対応点の探索方法の一例を示す図。本発明の第１の実施形態の基準画像上の点の奥行きを示す図。本発明の第２の実施形態に係わる３次元モデル生成装置の構成を示すブロック図。本発明の第２の実施形態の動作を示すフローチャート。本発明の第２の実施形態の入力画像の一例を示す図。

符号の説明

１０１、２０１・・・頂点座標記憶部
１０２、２０２・・・画像入力部
１０３、２０３・・・頂点対応づけ部
１０３ａ、２０３ａ・・・特徴点対応づけ部
１０３ｂ、２０３ｄ・・・座標補間部
１０４、２０４・・・対応点検出部
１０５、２０５・・・奥行き算出部
１０６、２０６・・・頂点座標更新部
２０３ｂ・・・傾き算出部
２０３ｃ・・・顔向き変更部

Claims

あらかじめ記憶された物体の標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を、その物体を撮影した複数の画像に基づいて更新することによって、その物体の３次元モデルを生成する３次元モデル生成装置であって、
物体の標準モデル上の複数の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を記憶する記憶手段と、
前記物体を撮影した複数の画像を入力する画像入力手段と、
前記入力された複数の画像より選択された基準画像から、前記標準モデル上の頂点に対応する点の座標（ｘ，ｙ）を検出する第１の検出手段と、
前記画像入力手段で入力されたほかの画像から、前記第１の検出手段で検出された前記基準画像上の点に対応する点の座標（ｘ´，ｙ´）を検出する第２の検出手段と、
前記基準画像上の点の座標（ｘ，ｙ）と前記ほかの画像の対応する点の座標（ｘ´，ｙ´）とを用いて、前記基準画像上の点の奥行きを求める奥行き算出手段と、
前記基準画像上の点の座標（ｘ，ｙ）と前記奥行き算出手段で得られた奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新する第１の更新手段と
を備え、
前記第１の検出手段は、
前記標準モデル上の頂点のうち、あらかじめ定められた一部の頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）と前記標準モデル上の対応する頂点の３次元座標（Ｘ，Ｙ，Ｚ）とを用いて、前記標準モデル上のほかの頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）を補間して求める補間手段を有し、
前記第１の更新手段は、
更に、前記補間手段で求められた座標（ｘ，ｙ）と前記奥行き算出手段で得られた、前記補間手段で求められた基準画像上の点の奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新することを特徴とする３次元モデル生成装置。
前記奥行き算出手段は、
前記基準画像上の点の座標（ｘ，ｙ）と前記ほかの画像の対応する点の座標（ｘ´，ｙ´）とを用いてステレオ法により前記基準画像上の点の奥行きを求めることを特徴とする請求項１に記載の３次元モデル生成装置。
前記第１の検出手段は、
前記標準モデル上の頂点のうち、あらかじめ定められた一部の頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）と前記標準モデル上の対応する頂点の座標（Ｘ，Ｙ，Ｚ）とを用いて、前記基準画像に含まれる物体に対する前記標準モデルの傾きを求める手段と、
前記求められた傾きに基づいて、前記標準モデルの傾きが前記基準画像に含まれる物体の傾きと一致するように前記標準モデルの３次元座標を更新する第２の更新手段と、
を備え、
前記補間手段は、更に、前記あらかじめ定められた一部の頂点に対応する基準画像上の点の座標（ｘ，ｙ）と前記第２の更新手段により更新された標準モデル上の対応する頂点の３次元座標（Ｘ，Ｙ，Ｚ）とを用いて、前記第２の更新手段により更新された標準モデル上のほかの頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）を補間することを特徴とする請求項１に記載の３次元モデル生成装置。
あらかじめ記憶された物体の標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を、その物体を撮影した複数の画像に基づいて変更することによって、その物体の３次元モデルを生成する３次元モデル生成方法であって、
物体を撮影した複数の画像を入力する画像入力ステップと、
前記入力された複数の画像より選択された基準画像から、前記標準モデル上の頂点に対応する点の座標（ｘ，ｙ）を検出する第１の検出ステップと、
前記画像入力ステップで入力されたほかの画像から、前記第１の検出ステップで検出された前記基準画像上の点に対応する点の座標（ｘ´，ｙ´）を検出する第２の検出ステップと、
前記基準画像上の点の座標（ｘ，ｙ）と前記ほかの画像の対応する点の座標（ｘ´，ｙ´）とを用いて、前記基準画像上の点の奥行きを求める奥行き算出ステップと、
前記基準画像上の点の座標（ｘ，ｙ）と前記奥行き算出ステップで得られた奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新する更新ステップと
を有し、
前記第１の検出ステップは、前記標準モデル上の頂点のうち、あらかじめ定められた一部の頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）と前記標準モデル上の対応する頂点の３次元座標（Ｘ，Ｙ，Ｚ）とを用いて、前記標準モデル上のほかの頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）を補間して求める補間ステップを含み、
前記更新ステップでは、更に、前記補間ステップで求められた座標（ｘ，ｙ）と前記奥行き算出ステップで得られた、前記補間ステップで求められた基準画像上の点の奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新することを特徴とする３次元モデル生成方法。
コンピュータに、あらかじめ記憶された物体の標準モデル上の頂点の３次元座標（Ｘ，Ｙ，Ｚ）を、その物体を撮影した複数の画像に基づいて更新させることによって、その物体の３次元モデルを生成させる３次元モデル生成プログラムであって、
物体を撮影した複数の画像を入力する画像入力機能と、
前記入力された複数の画像より選択された基準画像から、前記標準モデル上の頂点に対応する点の座標（ｘ，ｙ）を検出する第１の検出機能と、
前記画像入力機能で入力されたほかの画像から、前記第１の検出機能で検出された前記基準画像上の点に対応する点の座標（ｘ´，ｙ´）を検出する第２の検出機能と、
前記基準画像上の点の座標（ｘ，ｙ）と前記ほかの画像の対応する点の座標（ｘ´，ｙ´）とを用いて、前記基準画像上の点の奥行きを求める奥行き算出機能と、
前記基準画像上の点の座標（ｘ，ｙ）と前記奥行き算出機能で得られた奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新する更新機能と
を備え、
前記第１の検出機能は、前記標準モデル上の頂点のうち、あらかじめ定められた一部の頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）と前記標準モデル上の対応する頂点の３次元座標（Ｘ，Ｙ，Ｚ）とを用いて、前記標準モデル上のほかの頂点に対応する前記基準画像上の点の座標（ｘ，ｙ）を補間して求める補間機能を含み、
前記更新機能は、更に、前記補間機能で求められた座標（ｘ，ｙ）と前記奥行き算出機能で得られた、前記補間機能で求められた基準画像上の点の奥行きに基づいて前記標準モデルの３次元座標（Ｘ，Ｙ，Ｚ）を更新することを特徴とする３次元モデル生成プログラム。