JP4687449B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、複数の画像から物体の３次元形状を生成する画像処理装置および画像処理方法に関する。

複数の異なる方向から撮像されたステレオ画像から、物体の３次元形状を自動生成する技術が従来から提案されている（例えば、特許文献１参照）。特許文献１記載の技術では、まず、複数の異なる方向から撮像されたステレオ画像から３次元輪郭線を復元するとともに、該ステレオ画像に基づいて３次元領域を復元する。そして、これら復元された３次元輪郭線および３次元領域の情報を、３次元モデルの３次元輪郭線および３次元領域の情報と位置合わせをして統合し、物体の３次元形状を生成する。
特開２０００−９９７６０号公報

しかしながら、上述した技術では、３次元輪郭線および３次元領域の情報の位置合わせを行うときの計算負荷が非常に高く、リアルタイム処理が要求されるアプリケーションに適用することが困難であった。そのため、物体の３次元形状を生成する処理の高速化が望まれていた。

本発明は、上記問題点を解消する為になされたものであり、複数の撮像画像から物体の３次元形状を高速に生成することが可能な画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、周囲を撮像して第１撮像画像を取得する第１撮像手段と、周囲を撮像して第２撮像画像を取得する第２撮像手段と、物体の３次元モデルを生成する３次元モデル生成手段と、第１撮像画像と３次元モデルとから第１の３次元形状を生成し、該第１の３次元形状を第１撮像手段と第２撮像手段との間の位置に仮想的に設けられた仮想撮像手段の撮像面に投射して第１仮想画像を生成する第１仮想画像生成手段と、第２撮像画像と３次元モデルとから第２の３次元形状を生成し、該第２の３次元形状を仮想撮像手段の撮像面に投射して第２仮想画像を生成する第２仮想画像生成手段と、第１仮想画像と第２仮想画像との差分を取得する差分取得手段とを備え、上記３次元モデル生成手段は、差分取得手段により取得された差分が小さくなるように３次元モデルを修正することを特徴とする。

また、本発明に係る画像処理方法は、第１撮像手段で周囲を撮像して第１撮像画像を取得する第１撮像ステップと、第２撮像手段で周囲を撮像して第２撮像画像を取得する第２撮像ステップと、物体の３次元モデルを生成する３次元モデル生成ステップと、第１撮像画像と３次元モデルとから第１の３次元形状を生成し、該第１の３次元形状を第１撮像手段と第２撮像手段との間の位置に仮想的に設けられた仮想撮像手段の撮像面に投射して第１仮想画像を生成する第１仮想画像生成ステップと、第２撮像画像と３次元モデルとから第２の３次元形状を生成し、該第２の３次元形状を仮想撮像手段の撮像面に投射して第２仮想画像を生成する第２仮想画像生成ステップと、第１仮想画像と第２仮想画像との差分を取得する差分取得ステップとを備え、上記３次元モデル生成ステップでは、差分取得ステップにおいて取得された差分が小さくなるように３次元モデルを修正することを特徴とする。

本発明に係る画像処理装置または画像処理方法によれば、第１撮像画像と３次元モデルとから生成される第１の３次元形状が仮想の撮像面に投射されて第１仮想画像が生成されるとともに、第２撮像画像と３次元モデルとから生成される第２の３次元形状が仮想の撮像面に投射されて第２仮想画像が生成される。そして、第１仮想画像と第２仮想画像との差分が小さくなるように３次元モデルが修正される。そのため、物体の３次元形状を生成する際に、３次元モデルと撮像画像との位置合わせを行う必要がないため、計算負荷を低減することができる。その結果、処理時間が短縮され、物体の３次元形状を高速に生成することが可能となる。

上記第１仮想画像生成手段および第２仮想画像生成手段は、３次元形状を生成するときに、３次元モデルを構成する部分の位置情報から、該部分に対応する撮像画像中の被撮像物が有する撮像画像面に対する傾きを演算し、該傾きを考慮して、３次元モデルを構成する部分に該部分に対応する撮像画像を貼り付けることが好ましい。

また、上記第１仮想画像生成ステップおよび第２仮想画像生成ステップでは、３次元形状を生成するときに、３次元モデルを構成する部分の位置情報から、該部分に対応する撮像画像中の被撮像物が有する撮像画像面に対する傾きを演算し、該傾きを考慮して、３次元モデルを構成する部分に該部分に対応する撮像画像を貼り付けることが好ましい。

この場合、物体の撮像画像面に対する傾きを考慮して、すなわち物体の奥行きを考慮して、３次元モデルを構成する部分に該部分に対応する撮像画像が貼り付けられるため、撮像画像の貼り付けをより高精度に行うことが可能となる。

上記第１の仮想画像生成手段および第２の仮想画像生成手段は、３次元形状を生成するときに、３次元モデルを２次元平面に投影して、３次元モデルを構成する部分を特定するための識別情報を有する２次元画像を生成し、該２次元画像が有する識別情報に基づいて、該識別情報により特定される３次元モデルを構成する部分の位置情報を探索し、３次元モデルを構成する部分に対応する撮像画像中の部分の位置情報を取得することが好ましい。

また、上記第１の仮想画像生成ステップおよび第２の仮想画像生成ステップでは、３次元形状を生成するときに、３次元モデルを２次元平面に投影して、３次元モデルを構成する部分を特定するための識別情報を有する２次元画像を生成し、該２次元画像が有する識別情報に基づいて、該識別情報により特定される３次元モデルを構成する部分の位置情報を探索し、３次元モデルを構成する部分に対応する撮像画像中の部分の位置情報を取得することが好ましい。

この場合、識別情報と３次元モデルを構成する部分の位置情報とが関係付けられており、識別情報を特定することによって対応部分の３次元の位置情報を得ることができる。ここで、識別情報は２次元画像に付加されているので、位置情報を取得したい撮像画像中の部分に対応する識別情報を該２次元画像から取得することにより、３次元の位置情報を取得することができる。そのため、３次元モデル上で撮像画像と対応する位置を探索する必要がなく、撮像画像中の部分の位置情報を高速に取得することができる。

本発明によれば、第１撮像画像と３次元モデルとから生成される第１の３次元形状を仮想の撮像面に投射して第１仮想画像を生成するとともに、第２撮像画像と３次元モデルとから生成される第２の３次元形状を仮想の撮像面に投射して第２仮想画像を生成し、第１仮想画像と第２仮想画像との差分が小さくなるように３次元モデルを修正する構成としたので、複数の撮像画像から物体の３次元形状を高速に生成することが可能となる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。

まず、図１を用いて、実施形態に係る画像処理装置１の全体構成について説明する。図１は、実施形態に係る画像処理装置１の全体構成を示すブロック図である。画像処理装置１は、周囲の風景を撮像して画像を取得する第１カメラ（第１撮像手段）１０および第２カメラ（第２撮像手段）１１と、第１カメラ１０により撮像された画像（以下「第１撮像画像」という）と第２カメラ１１により撮像された画像（以下「第２撮像画像」という）とから、物体の３次元形状を生成する画像処理用電子制御装置（以下「画像処理ＥＣＵ」という）２０とを備えている。

第１カメラ１０および第２カメラ１１は、ＣＣＤカメラである。両カメラは、水平（左右）方向に所定距離（例えば１００ｍｍ）離間して設置されている。また、両カメラの光軸は略平行で、かつ撮像面の水平軸が同一線上に揃うように配置されている。第１カメラ１０および第２カメラ１１は、それぞれ周囲の風景を撮像して画像を取得し、取得した画像を画像処理ＥＣＵ２０に出力する。

画像処理ＥＣＵ２０は、データの演算などを行うＣＰＵ（Central Processing Unit）、３次元グラフィックスの表示に必要な計算処理を行うＧＰＵ（Graphic Processing Unit）、ＣＰＵやＧＰＵに各処理を実行させるためのプログラムやデータなどを記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ、およびバッテリによってその記憶内容が保持されるバックアップＲＡＭなどにより構成されている。

上記構成により、画像処理ＥＣＵ２０には、第１仮想画像生成部２１、第２仮想画像生成部２２、３次元モデル生成部２３、および差分取得部２４が構築されている。

第１仮想画像生成部２１は、３次元モデル生成部２３から入力される３次元モデルに第１カメラ１０から入力される第１撮像画像を貼り付けることにより第１の３次元形状を生成し、該第１の３次元形状を第１カメラ１０と第２カメラ１１との中間位置に仮想的に設けられた仮想カメラ（仮想撮像手段）の撮像面に投射して第１仮想画像を生成する。生成された第１仮想画像は、差分取得部２４に出力される。第１仮想画像生成部２１は、特許請求の範囲に記載の第１仮想画像生成手段として機能し、第１仮想画像生成ステップを実行する。

第２仮想画像生成部２２は、３次元モデル生成部２３から入力される３次元モデルに第２カメラ１１から入力される第２撮像画像を貼り付けることにより第２の３次元形状を生成し、該第２の３次元形状を上記仮想カメラの撮像面に投射して第２仮想画像を生成する。生成された第２仮想画像は、差分取得部２４に出力される。第２仮想画像生成部２２は、特許請求の範囲に記載の第２仮想画像生成手段として機能し、第２仮想画像生成ステップを実行する。

差分取得部２４は、第１仮想画像生成部２１から入力される第１仮想画像と、第２仮想画像生成部２２から入力される第２仮想画像との差分を求めるとともに、該差分を小さくする３次元モデルの修正データを取得する。取得された３次元モデルの修正データは３次元モデル生成部２３に出力される。

３次元モデル生成部２３は、物体の３次元モデルを生成するとともに、差分取得部２４から入力される３次元モデルの修正データに基づいて、第１仮想画像と第２仮想画像との差異が小さくなるように３次元モデルを修正する。

画像処理装置１は、上記一連の処理（第１仮想画像の生成、第２仮想画像の生成、第１仮想画像と第２仮想画像との差分取得、および３次元モデルの修正など）を繰り返して実行することにより物体の３次元形状を生成し、その３次元形状および／または３次元モデルを外部に出力する。なお、出力としての３次元形状および／または３次元モデルは、例えば、ロボットの制御や車両の自動走行などに利用される。より具体的な例を挙げると、ロボット制御において、物体を避けて移動する経路を演算する際や、物体を越えて物をつかみに行くときなどに、３次元形状の生成結果を用いることができる。

次に、図２〜９を併せて参照して、画像処理装置１の動作および画像処理方法について説明する。図２は、画像処理装置１による３次元形状生成処理の処理手順を示すフローチャートである。この処理は、画像処理装置１の電源がオンされてからオフされるまでの間、所定のタイミングで繰り返し実行される。

ステップＳ１００では、第１カメラ１０から第１撮像画像（以下「左画像」ということもある）が読み込まれるとともに、読み込まれた左画像に対して前処理が施される。ここで、左画像に施される前処理は、後の処理を容易にするために行われるものである。前処理としては、例えば、読み込まれた左画像を第１カメラ１０が第２カメラ１１と平行に取り付けられていると仮定した場合に得られる画像に変換する処理や、レンズの歪みを補正する処理などが挙げられる。

続いて、ステップＳ１０２では、第２カメラ１１から第２撮像画像（以下「右画像」ということもある）が読み込まれるとともに、この右画像に対して前処理が施される。ここで、右画像に施される前処理は、上述した左画像に施される前処理と同一または同様である。

続くステップＳ１０４では、左画像および右画像を構成する各ピクセルが有する色のＲＧＢ値が、次式により重み付きＲＧＢ値（Ｒ’、Ｇ’、Ｂ’）に変換される。
Ｒ’＝０．２９８９×Ｒ ・・・（１）
Ｇ’＝０．５８６６×Ｇ ・・・（２）
Ｂ’＝０．１１４５×Ｂ ・・・（３）
ここで、各係数は、ＣＣＤカメラを構成するＲＧＢそれぞれの素子数の比率に応じて定められる。

次に、ステップＳ１０６では、ステップＳ１００で読み込まれ、前処理が施された左画像（以下、画像を「テクスチャ」ということもある）が、物体の３次元モデルに貼り付けられ（以下「テクスチャマッピング」ということもある）第１の３次元形状（テクスチャド３次元モデル）が生成される。ここで、図３および図４を併せて参照して、左画像の貼り付け方法について詳細に説明する。図３は、画像の貼り付け処理の処理手順を示すフローチャートである。図４は、画像の貼り付け方法を説明するための図である。なお、ここでは、撮像画像中の家の屋根Ｒｒ部分を３次元モデルの屋根Ｒｍ部分に貼り付ける場合を例にして説明する。

まず、ステップＳ２００では、３次元モデルから屋根Ｒｍ部分に含まれる点Ｐｍの奥行き距離ｚが取得される。次に、ステップＳ２０２において、図４の上側に示されるように、点Ｐｍの属する面（屋根Ｒｍ部分）の角度φ、すなわち点Ｐｍの属する面の傾きが、点Ｐｍにおける法線ベクトルから求められる。

続いて、ステップＳ２０４では、奥行き距離ｚおよび面の角度φに基づいて、撮像画像中の点Ｐｒ（３次元モデルの点Ｐｍに対応する点）を含む屋根Ｒｒ部分のテクスチャが変換される。より詳細には、奥行き距離ｚおよび面の角度φに基づいて、カメラから遠い部分はテクスチャの密度が大きくなるように、すなわちテクスチャが細かくなるように変換される。逆に、カメラから近い部分はテクスチャの密度が小さくなるように、すなわちテクスチャが粗くなるように変換される。

ステップＳ２０６では、図４の下側に示されるように、テクスチャが変換された後の屋根Ｒｒ部分の画像が、３次元モデルの屋根Ｒｍ部分に貼り付けられる。他の部分も同様にして、奥行き距離ｚおよび面の角度φに基づいてテクスチャが変換されて３次元モデルに貼り付けられ、テクスチャ付き３次元モデル、すなわち３次元形状が生成される。

図２のフローチャートに戻って説明を続ける。ステップＳ１０８では、ステップＳ１０２で読み込まれ、前処理が施された右画像が、物体の３次元モデルに貼り付けられ第２の３次元形状が生成される。ここで、右画像の貼り付け方法は、上述した左画像の場合と同一または同様であるので、ここでは説明を省力する。

次に、ステップＳ１１０では、図５に示されるように、ステップＳ１０６で生成された第１の３次元形状が第１カメラ１０と第２カメラ１１との中間位置に仮想的に設けられた仮想カメラの撮像面Ｃｖに投射されて、第１仮想画像が生成される。また、ステップＳ１０８で生成された第２の３次元形状が仮想カメラの撮像面Ｃｖに投射されて、第２仮想画像が生成される。

続いて、ステップＳ１１２では、第１仮想画像および第２仮想画像それぞれについて、画像を構成する各ピクセルの輝度値Ｙが、次式により求められる。
Ｙ＝Ｒ’＋Ｇ’＋Ｂ’ ・・・（４）

次に、ステップＳ１１４では、ピクセルごとに輝度値Ｙを比較し、その比較結果をすべて合計することによって、図６に示されるように、第１仮想画像と第２仮想画像との差分が取得される。また、差分の前回値と今回値との差が求められる。また、３次元モデルを構成する部分（以下「メッシュ」ということもある）の面の滑らかさを考慮するために、隣り合うピクセルの差も求められる。

さらに、ステップＳ１１４では、各ピクセルがどのメッシュに属しているかを高速に探索するためのルックアップテーブル（参照表）が作成され、ピクセルと該ピクセルが属するメッシュの頂点との関係（距離や角度など）が求められる。ここで、図７〜９を併せて参照して、各ピクセルが属するメッシュの頂点情報取得処理について説明する。図７は、頂点情報取得処理の処理手順を示すフローチャートである。図８は、ＩＤ（identification）画像の取得方法を説明するための図である。また、図９は、ルックアップテーブル（参照表）の一例を示す図である。

まず、図８に示されるように、７つの頂点１〜７により形成されるメッシュＡ〜Ｆから構成される３次元モデルが２次元平面に投影されて、各メッシュＡ〜Ｆを特定するための識別情報（以下「ＩＤ番号」ということもある）を有する２次元画像（「ＩＤ画像」ということもある）が生成される（ステップＳ３００）。２次元画像上の各頂点１’〜７’に囲まれた部分Ａ’〜Ｆ’それぞれを構成するピクセルには、対応する３次元モデルのＩＤ番号が関係付けられている。

続いて、ＩＤ画像中のピクセルが選択され（ステップＳ３０２）、ＩＤ画像からＩＤ番号が取得される（ステップＳ３０４）。次に、ＩＤ番号とメッシュの頂点番号とを関連付けたルックアップ・テーブル（図９参照）から、ＩＤ番号に対応する頂点番号が取得される（ステップＳ３０６）。そして、各頂点の３次元座標に基づいて、頂点間の関係が演算される（ステップＳ３０８）。なお、本処理は、上述したステップＳ２００において奥行き情報を取得する場合や、ステップＳ２０２において角度情報を取得するときなどに好適に用いられる。

ステップＳ３１０では、ＩＤ画像中の全ピクセルが選択されたか否かについての判断が行われる。ここで、全てのピクセルが選択された場合には、本処理から一旦抜ける。一方、まだ選択されていないピクセルが残っている場合には、全てのピクセルが選択されるまで、ステップＳ３００〜ステップＳ３１０が繰り返し実行される。

図２のフローチャートに戻って説明を続ける。ステップＳ１１６では、まず、３次元モデルを構成するメッシュの頂点ごとに、重みが設定される。その際、各頂点から近いピクセルはウエイトが高く、遠いピクセルはウエイトが低くなるように重み付けがなされる。そして、重み付けされたピクセルの輝度値Ｙが評価関数に入力され、評価関数を最小化する３次元モデルの修正データが取得される（ステップＳ１１８）。ここで、重みは、評価関数を最小化する際に、そのピクセルを重視する程度を示すものである。重み付けを行うことによって、評価値を適切に収束させることができる。

ステップＳ１２０では、評価値が収束したか否かについての判断が行われる。ここで、第１仮想画像と第２仮想画像との差分が小さくなり、例えば、評価値の前回値と今回値との減少幅が所定値以下になった場合に評価値が収束したと判断される。評価値が収束したと判断された場合には、生成された３次元モデルおよび／または３次元形状が出力された後、本処理から抜ける。一方、まだ評価値が充分に収束していないと判断された場合には、ステップＳ１２２に処理が移行される。

ステップＳ１２２では、取得された修正データに基づいて３次元モデルが更新される。なお、３次元モデルの初期値としては、例えば、平面や球などが用いられる。モデル更新後、ステップＳ１０６に処理が移行し、評価値が収束したと判断されるまで、上述したステップＳ１０６〜ステップＳ１２０の処理、すなわち３次元モデルの修正および評価が繰り返し行われることによって、適切な形状の３次元モデルが生成される。

本実施形態によれば、第１撮像画像と３次元モデルとから生成される第１の３次元形状が仮想の撮像面Ｃｖに投射されて第１仮想画像が生成されるとともに、第２撮像画像と３次元モデルとから生成される第２の３次元形状が仮想の撮像面Ｃｖに投射されて第２仮想画像が生成され、第１仮想画像と第２仮想画像との差分が小さくなるように３次元モデルが修正される。そのため、物体の３次元形状を生成する際に、３次元モデルと撮像画像との位置合わせを行う必要がなくなり、計算負荷が低減される。その結果、処理時間が短縮され、物体の３次元形状を高速に生成することが可能となる。

また、本実施形態によれば、第１仮想画像と第２仮想画像との差分を取る際に、第１カメラ１０と第２カメラ１１との真中に仮想カメラが設置されているため、投影時の変換距離が小さい。そのため、３次元形状を撮像面Ｃｖに投影したときの歪みを小さくできるので、差分を取得する際の精度を向上することが可能となる。

画像は、手前にあるものは粗く、遠くにあるものは細かく表現されるので、３次元形状もこれに合わせる必要がある。本実施形態によれば、３次元モデルを構成するメッシュの面が傾いている場合であっても、奥行き情報や角度情報を用いて、カメラから遠いところはテクスチャの密度が大きく、近いところは密度が小さくされて３次元モデルのメッシュに貼り付けられるので、差分をとる際の比較精度を向上することができ、３次元形状の復元精度を向上させることが可能となる。

本実施形態によれば、重み付きＲＧＢ値を用いてテクスチャマッピングが行われるので、輝度値変換後にテクスチャマッピングを行う場合と比較して、用いられる情報量が多く、より高精度な処理を行うことができる。また、重み付きＲＧＢ値への変換が、３次元モデルの更新・評価のループ外で行われるため、ループ内で行う場合と比較して、計算負荷を低減することができ、処理速度を向上させることができる。

従来の３次元モデルは、ピクセルがどのメッシュに属しているかという情報を持っていないため、ピクセルが属するメッシュを演算するための計算負荷が大きかった。本実施形態によれば、ＩＤ番号とメッシュの頂点番号とがルックアップ・テーブルにより関係付けられており、ＩＤ番号を特定することによってメッシュの３次元座標を得ることができる。一方、ＩＤ番号はＩＤ画像に付加されているので、３次元座標を取得したい被撮像物に対応するＩＤ番号をＩＤ画像から取得することにより、被撮像物の３次元座標を取得することができる。そのため、３次元モデル上で撮像画像との対応位置を探索する必要がなく、撮像画像中の被撮像物の３次元座標を高速に取得することが可能となる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記実施形態では、３次元モデルの初期値として平面や球などの形状を用いたが、他のセンサを用いておおよその３次元形状を検出し、その３次元形状を初期値として用いることもできる。また、使用するカメラの台数は、２台以上であってもよい。

上記実施形態では、３次元モデルに第１撮像画像が貼り付けられ生成された第１の３次元形状が仮想カメラの撮像面Ｃｖに投射されて得られる第１仮想画像と、３次元モデルに第２撮像画像が貼り付けられ生成された第２の３次元形状が仮想カメラの撮像面Ｃｖに投射されて得られる第２仮想画像との差分が小さくなるように３次元モデルを更新したが、３次元モデルに第１撮像画像が貼り付けられ生成された第１の３次元形状が第２カメラ１１の撮像面に投射されて得られる画像と、第２撮像画像との差分が小さくなるように３次元モデルを更新するような構成としてもよい。同様に、３次元モデルに第２撮像画像が貼り付けられ生成された第２の３次元形状が第１カメラ１０の撮像面に投射されて得られる画像と、第１撮像画像との差分が小さくなるように３次元モデルを更新する構成としてもよい。

実施形態に係る画像処理装置の全体構成を示すブロック図である。 実施形態に係る画像処理装置による３次元形状生成処理の処理手順を示すフローチャートである。 ３次元形状生成処理におけるテクスチャマッピング処理の処理手順を示すフローチャートである。 テクスチャマッピング処理の処理方法を説明するための模式図である。 仮想画像の取得方法を説明するための図である。 差分画像の取得方法を説明するための模式図である。 ３次元形状生成処理における頂点情報取得処理の処理手順を示すフローチャートである。 ＩＤ画像の取得方法を説明するための図である。 ルックアップテーブル（参照表）の一例を示す図である。

符号の説明

１…画像処理装置、１０…第１カメラ、１１…第２カメラ、２０…画像処理ＥＣＵ、２１…第１仮想画像生成部、２２…第２仮想画像生成部、２３…３次元モデル生成部、２４…差分取得部。

Claims (2)

1. 周囲を撮像して第１撮像画像を取得する第１撮像手段と、
   周囲を撮像して第２撮像画像を取得する第２撮像手段と、
   物体の３次元モデルを生成する３次元モデル生成手段と、
   前記第１撮像画像と前記３次元モデルとから第１の３次元形状を生成し、該第１の３次元形状を前記第１撮像手段と前記第２撮像手段との間の位置に仮想的に設けられた仮想撮像手段の撮像面に投射して第１仮想画像を生成する第１仮想画像生成手段と、
   前記第２撮像画像と前記３次元モデルとから第２の３次元形状を生成し、該第２の３次元形状を前記仮想撮像手段の撮像面に投射して第２仮想画像を生成する第２仮想画像生成手段と、
   前記第１仮想画像と前記第２仮想画像との差分を取得する差分取得手段と、を備え、
   前記第１仮想画像生成手段および前記第２仮想画像生成手段は、３次元形状を生成するときに、前記３次元モデルを構成する部分の位置情報から、該部分に対応する前記撮像画像中の被撮像物が有する撮像画像面に対する傾きを演算し、該傾きを考慮して、前記３次元モデルを構成する部分に該部分に対応する撮像画像を貼り付け、前記３次元モデルを２次元平面に投影して、前記３次元モデルを構成する部分を特定するための識別情報を有する２次元画像を生成し、該２次元画像が有する識別情報に基づいて、該識別情報により特定される前記３次元モデルを構成する前記部分の位置情報を探索し、前記３次元モデルを構成する前記部分に対応する前記撮像画像中の部分の位置情報を取得し、
   前記３次元モデル生成手段は、前記差分取得手段により取得された前記差分の前回値と今回値との減少幅が所定値以下になるように前記３次元モデルを修正することを特徴とする画像処理装置。
2. 第１撮像手段で周囲を撮像して第１撮像画像を取得する第１撮像ステップと、
   第２撮像手段で周囲を撮像して第２撮像画像を取得する第２撮像ステップと、
   物体の３次元モデルを生成する３次元モデル生成ステップと、
   前記第１撮像画像と前記３次元モデルとから第１の３次元形状を生成し、該第１の３次元形状を前記第１撮像手段と前記第２撮像手段との間の位置に仮想的に設けられた仮想撮像手段の撮像面に投射して第１仮想画像を生成する第１仮想画像生成ステップと、
   前記第２撮像画像と前記３次元モデルとから第２の３次元形状を生成し、該第２の３次元形状を前記仮想撮像手段の撮像面に投射して第２仮想画像を生成する第２仮想画像生成ステップと、
   前記第１仮想画像と前記第２仮想画像との差分を取得する差分取得ステップと、を備え、
   前記第１仮想画像生成ステップおよび前記第２仮想画像生成ステップでは、３次元形状を生成するときに、前記３次元モデルを構成する部分の位置情報から、該部分に対応する前記撮像画像中の被撮像物が有する撮像画像面に対する傾きを演算し、該傾きを考慮して、前記３次元モデルを構成する部分に該部分に対応する撮像画像を貼り付け、前記３次元モデルを２次元平面に投影して、前記３次元モデルを構成する部分を特定するための識別情報を有する２次元画像を生成し、該２次元画像が有する識別情報に基づいて、該識別情報により特定される前記３次元モデルを構成する前記部分の位置情報を探索し、前記３次元モデルを構成する前記部分に対応する前記撮像画像中の部分の位置情報を取得する、
   前記３次元モデル生成ステップでは、前記差分取得ステップにおいて取得された前記差分の前回値と今回値との減少幅が所定値以下になるように前記３次元モデルを修正することを特徴とする画像処理方法。

Images