JP5043023B2 - 画像処理方法および装置 - Google Patents

Description

本発明は、一般に、画像処理方法、装置およびコンピュータプログラムコードに係り、特に、たとえば、照明された物体の３次元形状を再生するため個々の照明条件を決定するために画像の集合を特徴付けることに関係する。

複数の画像から任意の３次元形状の物体を再構成する問題は、特に、物体が非ランバート性であるとき、または、光沢があるときには難しい問題である。照明条件および物体反射率が既知であるとき、物体の幾何的性質を決定する作業は、一般に照度差ステレオと呼ばれる。ランバート物体は全方向に均等に反射し、非ランバート物体はこの条件を充足せず、このカテゴリーには顕著なハイライト部を伴う光沢物体が含まれる。ランバート物体と非ランバート物体の両方に役立つ技術が記載されている。

非ランバート物体の幾何的性質を計算する１つの公知の技術は、Ａａｒｏｎ Ｈｅｒｔｚｍａｎｎ，Ｓｔｅｖｅｎ Ｍ．Ｓｅｉｔｚ，“Ｓｈａｐｅ ａｎｄ Ｍａｔｅｒｉａｌｓ ｂｙ Ｅｘａｍｐｌｅ：Ａ Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ａｐｐｒｏａｃｈ”，ＣＶＰＲ，ｖｏｌ ０１，ｐ５３３，２００３ ２００３に記載されている。この技術は、形状が決定されるべき物体と一緒に撮影されたシーンに含まれている見本物体を使用する。物体の見本は、公知形状（たとえば、球体）および同じ表面反射率を有し、論文中では球体および瓶形が同じ材料で塗装され、同様に照明されている。これは瓶形の表面上の点における法線の方向がこの点の反射率と球体上の対応する点とを照合することにより決定されることを可能にする。しかし、未知物体と同じ反射率をもつ見本物体を用意する必要性はこの方法を多くの状況で非実用的にする。

見本物体を必要としない別の技術は、“Ｒｅｃｏｖｅｒｉｎｇ ３−Ｄ ｓｈａｐｅ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｆｒｏｍ ａ ｓｍａｌｌ ｎｕｍｂｅｒ ｏｆ ｐｈｏｔｏｇｒａｐｈｓ”，ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇ Ｓｅｒｉｅｓ； Ｖｏｌ ４４，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １４^ｔｈ Ｂｕｒｏｇｒａｐｈｉｃｓ ｗｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇ，Ｌｅｕｖｅｎ，Ｂｅｌｇｉｕｍ，Ａｔｈｉｎｏｄｏｒｏｓ Ｓ．Ｇｅｏｒｇｈｉａｄｅｓ，ｐ ２３０−２４０，２００３に記載されている。

しかし、この技術は、光方向に関する情報を提供するハイライト部が物体表面に存在すること（すなわち、物体は非常に光沢性であるべきこと）に頼っている。このようなハイライト部の無い物体に適用されるとき、この方法は再構成された物体が実際より平坦に見えるというバスレリーフ曖昧性に陥る。

さらなる従来技術は、ＷＯ０２／４１２４９と、ＵＳ６，５９０，６６９と、ＥＰ０３５８６２８Ａと、ＥＰ０６４９７０９Ａと、ＵＳ６，５９０，５２１と、ＥＰ０８１０４９６Ａと、Ｒａｖｉ Ｒａｍａｍｏｏｒｔｈｉ，Ｐａｔ Ｈａｎｒａｈａｎ，“Ａ ｓｉｇｎａｌ−ｐｒｏｃｅｓｓｉｎｇ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｉｎｖｅｒｓｅ ｒｅｎｄｅｒｉｎｇ”，ＳＩＧＧＲＡＰＨ ’０１，ｐ １１７−１２８，ＡＣＭ Ｐｒｅｓｓ，２００１と、シルエットベースの再生とテクスチャマッピングに関するＣａｒｌｏｓ Ｈｅｒｍａｎｄｅｚ−Ｅｓｔｅｂａｎの業績について記載するウェブサイト論文ｈｔｔｐ：／／ｗｗｗ．ｅｎｇ．ｃａｍ．ａｃ．ｕｋ／ｎｅｗｓ／ｓｔｏｒｉｅｓ／２００５／ｄｉｇｉｔａｌ＿ｐｙｇｍａｌｉｏｎ／ （２００５年８月１日）と、任意物体の未較正画像からプロファイルだけを使用して３Ｄモデルを生成する完全かつ実際的なシステムについて記載し、境界点の使用について言及するＷｏｎｇ ＆ Ｃｉｐｐｏｌｌａ ｈｔｔｐ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｉｅｌ５／８３／２８５８１／０１２７８３６１．ｐｄｆと、Ｓａｔｏ，Ｊ．Ｃｉｐｏｌｌａ，Ｒ．Ｕｎｃａｌｉｂｒａｔｅｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｃｕｒｖｅｄ ｓｕｒｆａｃｅｓ，Ｐｒｏｃｅｅｄｉｎｇｓ，８^ｔｈ Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｎｅｎｃｅ，Ｃｏｌｃｈｅｓｔｅｒ （Ｓｅｐｔｅｍｂｅｒ １９９７）、Ａ．Ｆ．Ｃｌａｒｋ編、２，６８９−６９８（ＢＭＶＡ，１９９７）と、たとえば、Ｋ．Ｋｕｔｕｌａｋｏｓ，Ｓ．Ｓｅｉｔｚ，“Ａ Ｔｈｅｏｒｙ ｏｆ Ｓｈａｐｅ ｂｙ Ｓｐａｃｅ Ｃａｒｖｉｎｇ”，Ｉｎｔ’ｌ Ｊ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ ３８，ｎｉ ３，２０００，ｐ１９９−２１８のような「スペースカービング」に関するＫｕｔｕｌａｋｏｓの業績に見出される。

本発明によれば、物体の画像の集合を特徴付けるデータを決定する方法であって、複数の異なる位置から撮影された前記物体の第１の画像の集合からデータを入力するステップと、前記第１の画像の集合の前記データと前記画像が撮影された位置を画定するデータとから前記物体上の複数の境界点と前記境界点毎に境界点での物体の表面に対する法線の方向とを画定する境界点データを決定するステップと、実質的に同じ視点および異なる照明条件を有する前記物体の撮影された第２の画像の集合からデータを入力するステップと、前記第２の画像の集合に関する前記データおよび前記境界点データを使用して、物体反射率パラメータデータ（β）、および、前記第２の集合の中の画像毎に画像の照明方向および照明強度を画定するデータを含む照明データ（Ｌ）を含み、前記第２の画像の集合を特徴付けるデータを決定するステップと、を備える方法が提供される。

好ましい実施形態では、画像の集合を特徴付けるデータは、その後に、物体表面の幾何的性質を画定する幾何データを決定するために使用されるが、このデータは、方法の他の実施形態では、他の目的のため利用されることがある。

物体反射率パラメータデータは、好ましくは、物体の全体的な反射率パラメータを画定する複数個のパラメータ、たとえば、１個から１０個のパラメータを含む。Ｗａｒｄモデル（Ｇ．Ｗａｒｄ，“Ｍｅａｓｕｒｉｎｇ ａｎｄ Ｍｏｄｅｌｌｉｎｇ ａｎ Ｉｓｏｔｒｏｐｉｃ Ｒｅｆｌｅｃｔｉｏｎ”，ＳＩＧＧＲＡＰＨ，ページ２５６−２７２，１９９９）、または、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル（Ｋ．Ｅ．ＴｏｒｒａｎｃｅとＥ．Ｍ．Ｓｐａｒｒｏｗ，“Ｔｈｅｏｒｙ ｆｏｒ Ｏｆｆ−Ｓｐｅｃｕｌａｒ Ｒｅｆｌｅｃｔｉｏｎ ｆｒｏｍ Ｒｏｕｇｈｅｎｅｄ Ｓｕｒｆａｃｅｓ”，Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ，５７； １１０５−１１１４，１９６７）のような標準モデルのパラメータが利用されることもある。たとえば、一実施形態では、光沢度または表面粗さパラメータ（α）、拡散反射率係数（ρ_ｄ）および鏡面反射率係数（ρ_ｓ）の３個のパラメータが利用され、これら３個の数は物体全体に適用され、物体を特徴付ける。照明データは、典型的に、方向（たとえば、高度および方位）を画定する２個のパラメータおよび照明強度レベルを画定する３番目のパラメータの３個のパラメータを含む。方法の実施形態では、照明源は実質的に無限遠であると仮定される。この情報を用いて、最良適合物体形状が、たとえば、物体上のある既知点で、特に、境界点での実際の強度と予想強度との間の差に依存するコスト関数を最小化する形状を決定することにより、第２の画像の集合の画像データから決定され得る。第２の集合の中の画像の個数は利用された反射率モデル、たとえば、ランバート物体に部分的に依存し、原理的には（３方向に対応する）３個の画像が未知パラメータを解決するために十分であるが、実際には、４個が雑音除去のため望ましい。非ランバート物体では、より多くの画像、たとえば、約１０個の画像が必要とされる。一般に、第２の集合の中の画像の個数は５から５０の間である。

決定された境界点の個数は、典型的に、５ないし５００であり、好ましくは、８０ないし１００である。一般的に言うと、境界点は、点と点を観察する２台のカメラの中心とによって画定される平面が物体と接する物体表面上の３次元の点を含む。境界点の詳細、および、関連したエピポーラ幾何の詳細は、参照によって全体が本明細書に組み込まれている、Ｒ．Ｃｉｐｏｌｌａ，Ｐ．Ｊ．Ｇｉｂｌｉｎ，Ｖｉｓｕａｌ Ｍｏｔｉｏｎ ｏｆ Ｃｕｒｖｅｓ ａｎｄ Ｓｕｒｆａｃｅｓ，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，１９９９； Ｐ．Ｇｉｂｌｉｎ，Ｆ．Ｐｏｌｌｉｃｋ，ａｎｄ Ｊ．Ｒｙｅｃｒｏｆｔ，Ｒｅｃｏｖｅｒｙ ｏｆ ａｎ ｕｎｋｎｏｗｎ ａｘｉｓ ｏｆ ｒｏｔａｔｉｏｎ ｆｒｏｍ ｔｈｅ ｐｒｏｆｉｌｅｓ ｏｆ ａ ｒｏｔａｔｉｎｇ ｓｕｒｆａｃｅ，Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ，１１Ａ：１９７６−１９８４，１９９４、および、Ｄ．Ｍａｒｒ，Ａｎａｌｙｓｉｓ ｏｆ ｏｃｃｌｕｄｉｎｇ ｃｏｎｔｏｕｒ，ｉｎ Ｐｒｏｃ．Ｒｏｙａｌ Ｓｏｃ．Ｌｏｎｄｏｎ，Ｖｏｌｕｍｅ １９７，ｐａｇｅ４４１ ４７５，１９９７に記載されている。

境界点データを決定する好ましい方法は画像のペアを使用し、各ペア中の第１の画像および第２の画像は対応する第１のカメラおよび第２のカメラによって撮影される。画像のペアの個数を増加させるため、第１のカメラによって撮影される各画像は、第２のカメラによって（異なる位置で）撮影される複数の画像と対にされ、以下同様である。これらの撮影画像は好ましくはその後に境界点を決定するのに備えてシルエット化される。境界点の決定は、好ましくは、（カメラ画像平面内で）それぞれのシルエットと接触する第１のカメラおよび第２のカメラの両方のカメラのそれぞれの第１の画像平面および第２の画像平面におけるエピポーラ線によって決定されるように、物体と接触するように仮想的なエピポーラ平面を移動させることを備える。カメラ中心をＣ_１およびＣ_２と呼ぶと、エピポーラ平面はＣ_１とＣ_２を結ぶ線を含み、この線が各カメラの画像平面内のエピポーラ線を画定する。エピポーラ平面の移動は各画像平面内でエピポーラ線を移動させ、エピポーラ平面は、これらのエピポーラ線がそれらの２つの画像平面内でそれらの対応するシルエットに接触するまで移動させられ、この点で（仮想的な）エピポーラ平面は接線に沿って物体と接触し、この平面に対する法線がこのとき、平面が物体に接触する点における物体に対する法線を画定する。このようにして、３次元空間内の点と、この点での物体表面に対する法線を画定する方向とを備える境界点が決定される。

第１の画像の集合は、たとえば、ストロボ撮影を含む、ほぼあらゆるタイプの照明条件下で決定され得る。（正確な位置は画像のペア毎に変化するとしても）ほぼ同じ位置にあるカメラ位置を仮定すると、境界点の集合は、物体の一方側に存在するように一般的に画定される。第２の画像の集合を撮影するカメラは、したがって、物体のこの一方側をほぼ向くように位置決めされ、このようにして、第２の画像の集合のそれぞれは複数の点を含むことが可能である（ただし、方法の他の実施形態では、他の技術が利用されることもある）。比較的低解像度のカメラが境界点データを決定するため利用されることがあるが、好ましくは、高解像度カメラが第２の画像の集合を撮影するため使用される。第２の画像の集合の間での照明の変化は、たとえば、画像が収集されるときに単に光源を揺らすことによって手動で実現され、または、半自動的若しくは全自動的に実現されることがある。

一般的に言うと、境界点は、物体の形状の（凸状部分の）粗い表現を提供する。この情報は、可変照明条件下で獲得された２次元画像の集合が与えられた場合に、（３次元において）最良適合物体表面を決定する問題を扱いやすくするために利用されることがある。実際上、後述されているように、３次元物体表面の法線またはニードルマップ（「はりねずみ」タイプの表現）が最初に決定され、次に、３次元表面を再生するために（様々な標準的な技術の何れかを用いて）「積分」される。

方法の好ましい実施形態では、画像の集合を特徴付けるデータの決定は、第２の画像の集合の各画像への（境界点データによって画定された）境界点の投影位置を（第２の画像の集合の各画像におけるこれらの境界点の場所を特定するために）決定することと、次に、これらの投影位置のそれぞれで（たとえば、画素レベル、振幅、または、色データによって画定される）画像強度データを決定することと、次に、これらの投影位置および投影位置における画像強度データに応じてデータを特徴付ける画像の集合を決定することとを含む。より詳細には、これは、仮定された物体反射率パラメータデータおよび仮定された照明データを含むデータを特徴付ける画像の集合を仮定し（すなわち、物体反射率および照明を仮定し）、次に、少なくとも境界点位置において、仮定されたデータから予測データを決定し、次に、予測された画像データと実際の（第２の集合の）画像データとの間の差異を最小化することによって行われる。この差異は、少なくとも境界点に関して合計された差異を含むコスト関数によって画定されることもある。換言すると、一般的には、照明および物体反射率が仮定され、境界点における最良適合を獲得するために調節される。

物体反射率および照明が決定されると、物体形状の決定が今度は物体反射率および照明データを仮定して形状を実際の画像に当てはめることにより実質的に従来の手法で実行され得るので、境界点情報は廃棄されてもよい。しかし、実際には、境界点は（少なくともある程度の精度で）物体表面上の既知点を表現するので、これらの境界点は、３次元における最良適合物体表面の探索を初期化するために使用されることがある。

物体の表面の幾何データの決定は、好ましくは、照度差ステレオ幾何的性質決定手順によって行われる。画像の集合の各画素は実質的に独立に取り扱われ、したがって、幾何データの決定は（直列に、若しくは、並列に、または、直列と並列のある組み合わせで）画素単位で行われることがある。換言すると、たとえば、第２の画像の集合の各画像の第１の画素は実質的に同じ空間的場所に対応するので（第２の画像の集合は実質的に同じ視点から撮影されているので）、幾何的性質決定手順は、前に決定された画像の集合を特徴付けるデータを仮定して、第２の集合の各画像から１つずつの画素値の集合に対して物体の表面法線の最良適合を実行する。好ましくは、第２の集合の画像の画像エリア全体が処理されるが、任意的には、物体を収容することが予測または決定された画像の部分だけが処理される必要がある。かくして、この方法の中間出力は、第２の集合の中の画像の画素毎に、したがって、第２の集合の各画像の画素毎に、表面法線方向からなるマップを備える。表面法線データは、積分によって明示的に３次元表面幾何的性質を決定するために利用されることがある。たとえば、Ｒ．Ｂａｓｒｉ ａｎｄ Ｄ．Ｊａｃｏｂｓ，“Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ ｗｉｔｈ Ｇｅｎｅｒａｌ，Ｕｎｋｎｏｗｎ Ｌｉｇｈｔｉｎｇ”，Ｐｒｏｃ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｏｎｆ．，ｐｐ．３７４−３８１，２００１を参照のこと。

方法の実施形態が物体の形状を再生するためにどのように利用されるかを説明したが、方法の変形例が光フィールドまたは照明マップを再構成するために利用されることがある。本変形例では、第２の画像の集合は、異なる視点からの、しかも、異なる照明を有する画像を含む。原理的に、同じ画像が第１の画像の集合と第２の画像の集合の両方のため利用され、すなわち、境界点は、光フィールドまたは照明を決定するために後で使用される同じ画像の集合から決定される。光フィールドの複雑さに依存して、典型的に１０〜１００個の画像が必要とされる。

したがって、関連した態様では、本発明は物体の画像の集合を特徴付けるデータを決定する方法であって、複数の異なる位置から撮影された前記物体の第１の画像の集合からデータを入力するステップと、前記第１の画像の集合に関する前記データおよび前記画像撮影位置を画定するデータから、前記物体上の複数の境界点と、前記境界点毎に境界点での物体の表面に対する法線の方向とを画定する境界点データを決定するステップと、異なる視点および照明条件を有する前記物体の第２の撮影画像の集合からデータを入力するステップと、前記第２の画像の集合に関する前記データおよび前記境界点データを使用して、物体反射率パラメータデータ（β）と、前記第２の画像の集合の全部の画像に関する共通照明強度角度分布を画定するデータを備える照明データとを含む、前記第２の画像の集合を特徴付けるデータを決定するステップと、を備える方法を提供する。

一般的に言うと、方法の実施形態によって決定される照明データは、物体の３次元表面を再構成するため使用されるパラメータより多くのパラメータを有し、強度角度分布を画定する。しかし、この強度角度分布は、完全な（第２の）画像の集合に関する強度角度分布と実質的に同じであり、この場合も、この分布は、画像内の１個または複数の物体上の境界点における予測された強度データと実際の強度データとの間で合計された差異に依存してコスト関数を最小化することによって決定されることがある。照明マップは、比較的粗く、たとえば、２個、３個または数個の光源（強度および方向）を指定するだけであり、または、より複雑な強度角度分布が決定され、この場合により多くの画像が雑音除去のため必要とされる。この技術は、たとえば、フィルムシーケンスからの画像の集合における照明の強度角度分布を画定する照明マップを決定するために使用される。

本発明は、特に、ディスク、ＣＤ−ＲＯＭ若しくはＤＶＤ−ＲＯＭ、読み出し専用メモリ（ファームウェア）のようなプログラムされたメモリのようなデータ担体上に、または、光信号担体若しくは電気信号担体のようなデータ担体上に上記のシステムおよび方法を実施するプロセッサ制御コードをさらに提供する。本発明の実施形態を実施するコード（および／またはデータ）は、Ｃのような従来のプログラミング言語（インタープリター型またはコンパイル型）におけるソースコード、オブジェクトコード、若しくは、実行可能コード、アセンブリコード、ＡＳＩＣ（特定用途向け集積回路）若しくはＦＰＧＡ（フィールドプログラマブルゲートアレイ）をセットアップ若しくは制御するコード、または、Ｖｅｒｉｌｏｇ（商標）若しくはＶＨＤＬ（超高速集積回路ハードウェア記述言語）のようなハードウェア記述言語のためのコードを含む。当業者が認識するように、このようなコードおよび／またはデータは、相互に通信する複数台の連結されたコンポーネントの間で分配されることもある。

さらなる態様では、本発明は、たとえば、上述されているようなプロセッサ制御コードを伝達する担体を含めて、上記の方法を実施する手段を含む装置を提供する。

したがって、さらなる態様では、本発明は、物体の画像の集合を特徴付けるデータを決定するシステムであって、複数の異なる位置から撮影された前記物体の第１の画像の集合からのデータと、実質的に同じ視点および異なる照明条件を有する前記物体の第２の撮影された画像の集合からのデータとを入力する入力と、処理されるべきデータを記憶するデータメモリと、プロセッサ制御コードを記憶するプログラムメモリと、前記入力、データメモリおよびプログラムメモリに結合され、前記第１の画像の集合に関する前記データおよび前記画像撮影位置を画定するデータから、前記物体上の複数の境界点と前記境界点毎に境界点における物体の表面に対する法線の方向とを画定する境界点データを決定し、前記第２の画像の集合に関する前記データおよび前記境界点データを使用して、物体反射率パラメータデータ（β）と、前記第２の集合中の画像毎にこの画像の照明方向および照明強度を画定するデータを含む照明データ（Ｌ）とを備える前記第２の画像の集合を特徴付けるデータを決定するために、プロセッサを制御するコードを含む前記記憶されたコードをロードし実施するプロセッサと、を備えるシステムを提供する。

好ましい実施形態では、方法は物体の３次元表面を画定する幾何データを決定するコードを含む。好ましくは、装置は、第１の画像の集合に関して画像を撮影するために、少なくとも１台、好ましくは、２台のカメラを制御する少なくとも１台のカメラコントローラと、第１の画像の集合および第２の画像の集合の両方のための画像を撮影する画像撮影システムとを含む。コードは、したがって、カメラコントローラを制御し、第１の画像の集合および第２の画像の集合のための画像を撮影するコードを含むことがある。システムは画像撮影を制御するために押しボタンを含むことがある。照明変動は、たとえば、１台以上の照明源を制御するために照明コントローラを使用して手動および／または自動で行われてもよい。カメラおよび／または照明は、骨組みに設けられるが、好ましくは、使用の柔軟性のため、画像撮影カメラのペアはそれぞれの架台部（三脚）に設けられることがあり、各架台部は、上記画像を撮影するためにカメラコントローラにより制御されるそれぞれの位置（高さ）調節システムを伴う。第２の画像の集合を撮影するカメラは、同様に固定位置に設けられてもよく、たとえば、架台部または三脚に取り付けられることがある。

本発明はさらに、車両自体が移動することを可能にする移動機能を含む車両であって、点からの車両の相対位置を決定するシステムと、画像を撮影する少なくとも１台のカメラと、車両を移動させることにより前記カメラによって撮影された画像から１個以上の物体の形状を再構成し、それによって、前記１個以上の物体によって占領されていないエリアを検出するために前記相対車両位置を利用するシステムと、をさらに含む車両を提供する。好ましくは、車両は日光の方向を決定するシステムをさらに備え、前記形状再構成システムは前記物体形状再構成の際に前記日光の方向へ構成されている。このようにして、車両は、それ自体で、車両を駐車するため車両の近くに駐車スペースを検出可能である。これは、運転手に見えるようにされてもよく、および／または、自動駐車のため使用されてもよい。よって、自動駐車システムもまた本発明の態様によって提供される。

本発明の上記態様およびその他の態様は、添付図面を参照して、ほんの一例として、さらに説明されている。

最初に手順の詳細な実施形態が説明され、次に実施される可能性のあるシステムの例が与えられる。説明されるシステムは、画像の集合から非ランバート物体の反射率および３次元形状を再生する問題を再生する問題と関係している。主要な課題は、空間内の同じ３次元点の投影である画像領域間の対応関係を確立するための方法である。ランバート物体の場合、画像領域の直接的な照合によって対応関係を解決することが可能であるが、非ランバートの場合、このような照合は、測定された強度が、たとえば、反射率の未知の鏡面成分に起因して、画像間で大幅に変化するので、不可能である。したがって、一般に、非ランバート表面の対応関係は確立されるが、物体の反射率および表面を、照明分布と一緒に再生することは、非常に不良設定であり、かつ、計算的に困難な問題である。

ここでの解決策は、このような厄介な最適化問題に挑戦することではなく、オクルージョンを利用することにより、より厳密には、境界点を利用することにより対応関係を確立することを提案する（１つずつが異なるカメラ視野から獲得された２つの画像を仮定すると、境界点は、（２台のカメラによって画定された）エピポーラ平面が物体の表面と接する３次元的な場所である。さらに、境界点における平面に対する法線はエピポーラ平面に対する法線と一致する）。オクルージョンは、照明または反射率特性の変化に対する耐性が他の視覚的な手掛かりより大きく、非ランバート物体に適していることに注意すべきである。画像強度を照合するのではなく、各画像領域から遮蔽境界を抽出し、次に、エピポーラ平面に位置する接線を有する２次元点を境界に沿って探索することにより、対応関係を自動的に決定することが可能である。この手順は、表面上の点（境界点）の３次元的な場所を再生するだけでなく、この点の対応する法線ベクトルを再生することを可能にする。したがって、境界点で機能することにより、形状が局所的に与えられるより簡単な問題を解法することが可能であり、ブラインド・デコンボリューション問題として提示する反射率および照明を再生することだけが残される。さらに、物体が同じ材料で作られているならば、境界点で再生された反射率および照明分布は、その後に、物体の完全な３次元形状を推定するために使用され得る。このスキームは、本発明者らが操作する一般的なシナリオにおいて非常に僅かな研究しか行われていない均一なアルベドのケースに適用される。

大規模な物体のクラスの反射率は、いわゆる双方向反射分布関数（ＢＲＤＦ）によって巧く近似される。この関数は、表面の各点Ｐにおいて、入射光方向の半球（θ_ｉ，φ_ｉ）と出射光方向の半球（θ_ｏ，φ_ｏ）との間のデカルト積を非負値に写像する関数β（θ_ｉ，φ_ｉ，θ_ｏ，φ_ｏ）として画定される（局所座標におけるＢＲＤＦが画定され、すなわち、物体の表面上の各点Ｐで基準系が画定され、表面に対する法線と平行なｚ軸が設定され、一方、ｘ軸およびｙ軸は接平面に位置する）ａ。ＢＲＤＦは入射光が表面上の点である方向に沿って反射される光の量を予測する。最も簡単なランバート物体の例では、ＢＲＤＦは一定であり、すなわち、光は全方向へ均等に反射される。非ランバート物体の場合、ＢＲＤＦはかなり複雑であり、多数のモデルが提案され、各モデルは多数のパラメータで記述されている。典型的な例は、Ｗａｒｄモデル、すなわち、

であり、式中、ｈがベクトル（θ_ｉ，φ_ｉ）と（θ_ｏ，φ_ｏ）の二等分線であるならば、δはｈとＮとの間の角度であり、ＮはＰにおける表面に対する法線である。このモデルは、３個の自由パラメータ、すなわち、ρ_ｄ、ρ_ｓおよびαを有する。このとき、画素ｐにおける放射照度、すなわち、画像平面上のＰの投影は、

によって与えられ、式中、画素ｐは局所方向（θ_ｏ，φ_ｏ）を画定する。Ｌは光分布であり、光分布は大域座標で画定されているので、Ｐにおける局所座標を大域座標に変換する回転Ｒ_Ｐを導入する必要がある。

上記の放射照度は、一般的に、すべてが未知である法線場Ｎを経由した物体の形状と、各点ＰでのＢＲＤＦと、大域照明Ｌとに依存することに注意すべきである。簡単にするために、同じ材料で作られている物体に焦点を合わせ、すなわち、ＢＲＤＦは表面上の各点で同じであると仮定する。次のセクションでは、放射照度式のモデルを測定画像と照合することによりこれらの未知数を再生する問題が提示されている。

Ｋ個の異なる視点およびＭ個の異なる照明条件から取得された多数の画像Ｌ_１，１、．．．，Ｌ_Ｋ，Ｍが与えられていると仮定するならば、前のセクションで説明されているように、法線場Ｎと、３次元点と、ＢＲＤＦと、光分布Ｌとを用いて特定することができるシーン内の物体の形状Ｓを再生することに関心が持たれる。この問題は、

という最小化として提示されることがあり、式中、Ｉ_ｋ（Ｓ，Ｉ_ｍ）は、モデル（２）の省略表記であり、未知数に対するモデルの依存性が明示されている。Φは、Ｉ_ｋ，ｍとＩ（Ｓ，Ｌ_ｍ）との間の差異に相当する関数である。Φは、Ｉ_ｋ，ｍ＝Ｉ_ｋ（Ｓ，Ｌ_ｍ）であり、かつ、この場合に限り零であり、それ以外の場合には、厳密に正であることが要求される。

未知数のうちの１つ、たとえば、物体の形状Ｓが与えられるならば、最小化タスク（３）は大幅に簡略化される。Ｍ＝１である場合、すなわち、一定照明条件を仮定すると、最小化（３）は、古典的なブラインド・デコンボリューション問題として定型化され、βは畳み込みカーネルであり、Ｌは入力信号であることが容易に明らかにされる。同様に、βおよびＬが与えられるならば、形状Ｓの再生が著しく簡略化される。

本方法はこの目的のために境界点を利用する。境界点はβおよびＬを解くために使用され得るある種の部分的な形状情報を与えること、βおよびＬが次に完全な形状Ｓを推定するために使用され得ることが明らかにされる。本解決策を提示する前に、境界点と、境界点が画像から自動的に抽出される方法とを簡単に紹介する必要がある。

同じ物体についての２つの異なる視点からの２個の画像が与えられたと仮定する。境界点は、物体と、物体に接するエピポーラ平面Ｔとの交点によって与えられる（複数の）点（のうちの１個）として画定される。（図９参照）このようにして、表面上の点Ｐと、この点での表面に対する法線Ｎとが同時に画定されることに注意すべきである。

境界点を取得するための代替的かつ実際的な方法は、物体の外形を観察することである。外形は物体上に位置する３次元曲線の画像平面への投影として画定され、この３次元曲線をカメラ中心と結ぶ線は物体に接する。２つの外形が与えられるならば、境界点Ｐは、以下の特性を同時に満たす空間内の場所として画定され得る。
・各カメラ上でのＰの投影ｐは両方の外形上に位置している。
・境界点の投影における各外形の接線ベクトルは同じエピポーラ平面上に位置しなければならない。

本アルゴリズムでは、上記の２つの特性が満たされるときに限り最小化されるコスト関数を画定することにより境界点が見つけられる。物体の表面上の境界点の自動抽出のためのスキーム全体は次の通りである。（ａ）物体のある程度の個数の画像を取得する（姿勢および内部パラメータに関して較正済み）。（ｂ）これらの画像内の物体の外形を抽出する。（ｃ）抽出された外形上に位置し、かつ、上記特性を満たしているある程度の個数の境界点を計算する。

上述されているように、境界点は、物体上の点Ｐを画定するだけでなく、Ｐにおいて物体に対して垂直なベクトルＮをも画定する。ここで、上述の手順に従うことによって再生されたペア（Ｐ，Ｎ）の集合が与えられたと仮定する。選択された境界点での強度を単一のベクトルＩに集めるならば、形状が与えられているので、未知の光分布ＬおよびＢＲＤＦ βに関して問題（３）を解法することが可能である。次に、Ｍ＝１かつＫ＞１、すなわち、固定照明および可変視点のケース、ならびに、Ｍ＞１かつＫ＝１、すなわち、可変照明および固定視点のケースの２つの別個の環境でこの問題が検討される。

ケースＩ：固定照明（Ｍ＝１かつＫ＞１）
ここでは、差異の測度として、カルバック・ライブラー擬似距離を選択し、すなわち、

を設定すると、最適化問題（３）は、

となる。

Ｊ_ｋは式（２）から直接的に、

のように導出される。

この問題をブラインド・デコンボリューションに適合させるため、（θ_ｉ’，φ_ｉ’）＝Ｒ_Ｐｋ（θ_ｉ，φ_ｉ）となるように（θ_ｉ，φ_ｉ）上の座標を変更し、次に、ｈ（θ_ｉ’，φ_ｉ’；θ_ｋ，φ_ｋ）＝β（θ_ｉ’，φ_ｉ’；θ_ｋ，φ_ｋ）ｃｏｓθ_ｉ’ｓｉｎθ_ｉ’Δ_ｋを設定し、ここで、Δ_ｋは座標の変化のヤコビアンである。その結果として、

が得られる。

［Ｐ．Ｆａｖａｒｏ ａｎｄ Ｓ．Ｓｏａｔｔｏ，Ｓｈａｐｅ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｔｈｅ ｉｎｆｏｒｍａｔｉｏｎ ｄｉｖｅｒｇｅｎｃｅ ｏｆ ｂｌｕｒｒｅｄ ｉｍａｇｅｓ，Ｉｎ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｐａｇｅｓ ７５５−７６８，Ｊｕｎｅ ２００１］において利用され、Ｌの非負性を維持したまま選択されたΦを最小化することが可能である交互最小化スキームを動かすことにより、Ｌと、ｈのパラメータ（すなわち、ＢＲＤＦ βのパラメータ）とを推定することを選択する。このスキームは以下の反復により構成される。
１．ＢＲＤＦのパラメータを固定し、ルーシー・リチャードソン反復法を使用してＬを再生する（上記の引用文献を参照）。
２．光分布Ｌを固定し、勾配降下法によってｈにおけるＢＲＤＦのパラメータを再生する。

このセクションに記載された技術を使用する複雑な照明環境の再生の例は図１０に示されている。

図１０は境界点を用いる一般的な光分布再生法を示している。（ａ）８０個の境界点が球上に画定されているプラスチック球である。（ｂ）左：球に写像されたこのシーンに関して再生された光場である。右：光源の図（２個の明るいスポット点）−２個の光分布ピークが推定場内でどのように保存されているかに注意すべきである。（ｃ）球上の鏡面反射の拡大図である。各図に関して、実際の画像内の鏡面反射の後に、推定された光場およびＢＲＤＦを使用する同じ図の合成レンダリングが続けられている。鏡面反射の構造は正確に捉えられている。

ケースＩＩ：可変照明（Ｍ＞１かつＫ＝１）
今度は、Ｋ＝１かつＭ＞１を仮定する。これは典型的に、カメラ視点が固定され、一方、照明が画像撮影の間に変化する照度差ステレオにおいて起こる。最適化問題（３）は、

になり、この光分布の表現は単一の移動点光源に限定され、すなわち、Ｌ（Ｒ_Ｐ１（θ_ｉ，φ_ｉ））＝λδ（θ_１−θ_Ｌ）δ（φ_１−φ_Ｌ）であることが仮定され、式中、δはディラックのデルタ関数である。したがって、直ちに、

が得られる。

このケースでは、Ｌの非負性は自動的に保証されているので、カルバック・ライブラー疑似距離および対応する交互最小化スキームに頼る必要がない。簡単にするために、Φは単に測定された強度とモデル（９）により予想された強度の差異のＬ_２ノルムとなるように選ばれ、すなわち、
Φ（Ｉ_ｍ，Ｊ_ｍ）＝（Ｉ_ｍ−Ｊ_ｍ）^２
である。

問題（８）を解くために、未知数の空間は非常に狭いので（実際上、ＢＲＤＦ βのための４個のパラメータ、および、照明のための３Ｍ個のパラメータ）、勾配降下法または標準的な非線形最適化法を実行する。非線形最適化法の一例として、Ｍａｔｌａｂ（登録商標）におけるｌｓｑｎｏｌｉｎの実施が挙げられる。本セクションに記載された技術の例は図１１に与えられている。

図１１は、境界点を使用する磁器製置物の再構成の例を示している。（ａ）左から右へ：輪郭が抽出された置物の画像である。境界点が置物の小さな凸状領域に画定されている。（ｂ）光源が変化する３個の入力画像である。（ｃ）同じ照明下で合成的に描写された、同じ材料で作られた例示的な球の隣の本物の置物の画像の２組のペアである。例示的な球を合成的に描写するため、推定された照明およびＢＲＤＦパラメータが使用されている。（ｄ）磁器製物体の３次元再構成物の正面、側面、および、上面からの３個の画像である。

図１〜５と図８は、発明の実施形態を実施するフローチャートを示している。

図１を参照すると、画像を撮影し、境界点を決定する手順のフローチャートが示されている。図１におけるステップは次の通りである。
ステップ１−（適切な照明を使用して）複数の異なる方向から物体の画像の集合を撮影する。
ステップ２−２台のカメラを使用し、たとえば、各カメラを用いて１０個の画像を撮影し、画像毎にカメラ位置を記録する。
ステップ３−画像毎にシルエットを生成し、たとえば、１ペア＝各カメラからの１個の画像として、１００組の画像ペアを生成する。
ステップ４−たとえば、１００個の境界点を計算する。境界点は、Ｘ、Ｙ、Ｚ＋法線方向（φ、θ）である。

図２を参照すると、境界点の場所を決定する手順が示されている。図２のステップは次の通りである。
ステップ１−カメラ位置ｃ１、ｃ２に対し、ｃ１、ｃ２の両方の画像平面内のエピポーラ線が物体シルエット（すなわち、物体画像の接線）に接触するまでエピポーラ平面を動かす。
ステップ２−（線がｘ、ｙ、ｚと交わる）境界点の場所を決定するために、それぞれのカメラ画像平面内で接点を通るカメラ中心から三角測量する。平面の法線は境界点が法線である。

図３を参照すると、データ集合毎に、（たとえば、標準的なデジタルカメラからの）照明方向および強度を個々に備える画像（「強度画像」）の集合と、強度が関連付けられている境界点の集合とを決定し、物体毎に、反射率パラメータの集合を決定する手順が示され、画像の集合において、
１）画像撮影カメラの視点は同一（すなわち、視点一定）であり、
２）照明は変化する。
ステップ１−物体を照明する。
ステップ２−画像を撮影（かつ記憶）する。
ステップ３−照明を変える。
ステップ４−ｎ回繰り返す。但し、５＜ｎ＜５０。

図４を参照すると、図３の手順によって撮影された画像から照明パラメータおよび物体反射パラメータを決定する手順のフローチャートが示されている。

ステップは次の通りである。
ステップ１−（全画像に対し同じ）画像平面内で境界点の場所（投影）を決定する。
ステップ２−画像毎に
ステップ３−境界点の場所の画像強度を境界点強度データ構造体（ベクトル）に書き込む。
ステップ４−各画像Ｌ_ｉ；全てに対するβを特徴付けるために境界点データを使用する。
ステップ５−画像毎の照明データ（Ｌ_ｉ：｛θ，φ，強度｝）および（全てに対して同一の）物体反射率βを決定するために、境界点強度データ（構造体）を使用する。
ステップ６−仮定されたＬ_ｉ；βから予測された境界点強度データと、実際の境界点強度データとの間の合計された差異に依存してコスト関数を決定し、Ｌ_ｉ；βを決定するためにコスト関数を最小化する。
ステップ７−画像毎のＬと物体反射率パラメータ（β）

図５は、図４の手順によって提供されたデータから物体幾何的性質を決定し、幾何的性質によって画像毎に予測された画像強度と、（境界点強度データから決定された）画像毎のＬ_ｉおよびβによって画像毎に予測された画像強度との間の合計差異が最小化される物体幾何的性質を決定する手順（「照度差ステレオ法」）を示している。

ステップは次の通りである。
ステップ１−画素毎に以下を実行する。
ステップ２−幾何的性質によって画像毎に予測された画像強度と、（境界点強度データから決定された）画像毎のL_ｉおよびβによって画素毎に予測された画像強度との間の合計差異を画素に関して最小化することにより画素の表面法線方向を決定し、ここで、決定されるべき幾何的性質は（ニードルマップを提供するために）表面法線である。
ステップ３−積分定数（空間内の絶対的な物体の場所）を固定するため境界点の場所を使用して、表面幾何的性質を決定するために法線（ニードル）マップを積分する（たとえば、固定された境界点を用いて初期化された奥行き値の展開）。
ステップ４−表面画定データを出力および／または記憶する。

図６は本発明の一態様を具現化する画像処理システムのブロック図を示している。本システムは、任意にはフロッピーディスクによって例示的に表されている取り外し可能な記憶媒体に設けられている記憶されているプログラムコードを含み、コードは、画像撮影コードと、シルエット抽出（セグメンテーション）コードと、境界点決定コードと、画像照明および物体反射特徴化コードと、物体表面法線決定コードと、非線形最適化コード（たとえば、勾配降下法）と、法線マップ積分コードと、ユーザインターフェイスコードと、カメラ位置制御コードと、オペレーティングシステムコードとを備えている。

図７は本発明の一態様を具現化する画像撮影処理システムのブロック図を示している。

図８は固定された照明変形手順（上述のケースＩ）を実施するフローチャートを示している。ステップは次の通りである。
ステップ１−異なる視点（たとえば、１０＜ｎ＜１００）から照明物体の画像の集合を入力する。
ステップ２−画像毎に、画像平面内の境界点の投影を決定し、データ構造体に書き込む。
ステップ３−予測された境界点と実際の境界点との間の合計差異と、仮定されたβおよび角度分布（Ｌ）から導出された予測境界点データとに依存して、コスト関数を最小化することにより（画像の集合に対し一定である）強度角度分布−「照明マップ」−を指定する照明データを決定する。

図１２を参照すると、上記システムの実施形態を使用する自動駐車システムが示されている。

一般的に言うと、本明細書に記載されている技術の実施形態は、最初に境界点データを決定し、次に物体反射率と、集合の画像毎の照明データとを決定するために画像の集合を特徴付けることにより、物体の３次元表現の構成を可能にさせ、この情報はその後に画像化された物体の表面の幾何的性質を決定するために使用されることに注意を要する。境界点データを決定するために、２個の異なる位置から撮影された画像は、物体上の境界点を決定するために、シルエット化され、処理され、その後に、好ましくは、おおよそ物体上の境界点の方に向けて、さらなる画像が撮影される。

図１２のシステムでは、１台以上のカメラ（１２０２）は、境界点を決定し、物体表面幾何的性質を決定するためにも使用される画像を撮影するために移動車両（１２００）上に設置されている。車両は、図１２（ａ）において、（処理のための）起点からの車両の相対位置の決定を可能にするシステムが装備されている。このシステムは、たとえば、ステアリング角度計、走行距離計、または、代替的に、ジャイロスコープ位置決定システムのようなその他の機器を備えることがある。これは、ある程度の個数の異なる位置（図１２の位置（ａ）、（ｂ）、（ｃ））で画像が撮影されることを可能にし、これらの位置の場所は、上述された技術で使用するため少なくとも互いに対して既知である。

好ましくは、車両は、緯度および経度を測定し、日時を決定するクロックを提供するＧＰＳ（全地球測位システム）のようなシステムをさらに装備している。これは、日光の方向を決めることを可能にし、上記技術の実施を容易化する。より詳細には、照明が未知であり、物体反射率を決定するために変化させられる技術について記載したが、照明方向が既知であるならば、物体反射率は照明を変化させることを要することなく決定され得る。しかし、代替的に、このシステムは、省略されるか、または、使用されずに、照明条件の自然変動が利用されることもある。

自動駐車システムは、（カメラ付きの車両が位置を変えながら画像を撮影し、さらに、いかなる点においても相対位置を決定することが可能であるため）このようにして、既知位置で、この情報を用いて、任意には、日光の方向を用いて、画像を撮影することが可能であり、周囲の物体、特に、近くに駐車されている車両（１２０４）の形状を再構成することが可能である。これらの車両の形状を知ることにより、目標駐車スペース（１２０６）の形状を決定することが可能であり、したがって、従来の自動ステアリング／駐車システムが車両をこのスペースに駐車するために使用され得る。

おそらく、当業者は多数のその他の効果的な代替案を想起する。本発明は記載されている実施形態に限定されることがなく、本明細書に添付された特許請求の範囲の精神および範囲に含まれ当業者に明らかである変形例を包含することが理解される。

画像を撮影し境界点の集合を決定する手順のフローチャートを示す図である。 境界点場所を決定する手順を示す図である。 処理のための画像を撮影する手順のフローチャートを示す図である。 図３の手順によって撮影された画像から照明パラメータおよび物体反射パラメータを決定する手順のフローチャートを示す図である。 図４の手順によって提供されたデータから物体幾何的性質を決定する手順を示す図である。 本発明の態様を具現化する画像処理システムのブロック図を示している。 本発明の態様を具現化する画像撮影および処理システムのブロック図である。 画像の集合から照明データを決定する手順のフローチャートである。 境界点幾何的性質を示す図である。 境界点を使用する一般的な光分布再生の例を示す図である。 境界点を使用する磁器製置物の再構成の例を示す図である。 本発明の実施形態を使用する自動駐車システムを示す図である。

Claims (16)

1. 物体の画像の集合を特徴付けるデータを決定する方法であって、
   複数の異なる位置から撮影された前記物体の第１の画像の集合からデータを入力するステップと、
   前記第１の画像の集合の前記データと前記画像が撮影された位置を画定するデータとから、前記物体上の複数の境界点と前記境界点毎に前記境界点での前記物体の表面に対する法線の方向とを画定する境界点データを決定するステップと、
   実質的に同じ視点および異なる照明条件を有する前記物体の撮影された第２の画像の集合からデータを入力するステップと、
   前記第２の画像の集合に関する前記データおよび前記境界点データを使用して、物体反射率パラメータデータ（β）と前記第２の集合の中の画像毎にこの画像の照明方向および照明強度を画定するデータを備える照明データ（Ｌ）とを含み、前記第２の画像の集合を特徴付けるデータを決定するステップと、
   を備える方法。
2. 前記境界点データを決定するステップが前記第１の画像の集合の中の画像のペアを使用し、前記ペア中の２個の画像がそれぞれ第１のカメラおよび第２のカメラによって撮影される、請求項１に記載の方法。
3. 第１の位置で前記第１のカメラによって撮影された画像を、複数の異なる第２の位置で前記第２のカメラによって撮影された複数の画像とペア化することにより、複数の前記画像のペアを生成するステップをさらに備える、請求項２に記載の方法。
4. 前記境界点を決定するステップが前記第１の画像の集合の画像毎にシルエットデータシルエットを決定し、前記シルエットデータを使用して前記境界点データを決定することを含む、請求項１〜３のいずれか一項に記載の方法。
5. 前記画像の集合を特徴付けるデータを決定するステップが、
   前記境界点データによって画定された前記境界点が前記第２の画像の集合の中の画像に投影される位置を決定するステップと、
   前記投影された位置の１つずつで画像強度データを決定するステップと、
   前記投影された位置および前記投影された位置における前記画像強度データに応じて前記画像の集合を特徴付けるデータを決定するステップと、
   をさらに備える、請求項１〜４のいずれか一項に記載の方法。
6. 前記画像の集合を特徴付けるデータを決定するステップが、
   前記第２の画像の集合の中の画像に対する仮定された物体反射率パラメータおよび仮定された照明データを含む仮定された画像の集合を特徴付けるデータを決定するステップと、
   前記仮定された画像の集合を特徴付けるデータおよび前記境界データから、前記第２の画像の集合の中の前記画像に対し、前記第２の画像の集合の中の前記画像への前記境界点の投影における予測された画像値を画定する予測された第２の画像の集合を決定するステップと、
   前記予測された第２の画像の集合のデータおよび前記第２の画像の集合の前記データとの間の合計差異に依存してコスト関数を最小化するステップと、
   をさらに備える、請求項１〜５のいずれか一項に記載の方法。
7. 前記画像の集合を特徴付けるデータを使用して前記物体の表面の幾何的性質を画定する幾何データを決定するステップをさらに備える、請求項１〜６のいずれか一項に記載の方法。
8. 前記幾何データを決定するステップが照度差ステレオ法の幾何的性質決定手順を用いて前記幾何データを決定するステップを備える、請求項７に記載の方法。
9. 前記第２の画像の集合の中の画像の画素が前記第２の画像の集合の中の別の画像毎に実質的に空間的に対応する相手方を有し、
   前記幾何データを決定するステップが、対応する画素の集合に対し、前記画素の集合の画素値および前記画像の集合を特徴付けるデータが与えられるならば、前記物体に対する表面法線の最良適合を決定するステップを備える、
   請求項７または８に記載の方法。
10. 物体の画像の集合を特徴付けるデータを決定する方法であって、
    複数の異なる位置から撮影された前記物体の第１の画像の集合からデータを入力するステップと、
    前記第１の画像の集合に関する前記データおよび前記画像撮影位置を画定するデータから、前記物体上の複数の境界点と、前記境界点毎に前記境界点での前記物体の表面に対する法線の方向とを画定する境界点データを決定するステップと、
    異なる視点および照明条件を有する前記物体の撮影された第２の画像の集合からデータを入力するステップと、
    前記第２の画像の集合に関する前記データおよび前記境界点データを使用して、物体反射率パラメータデータ（β）と、前記第２の画像の集合の全部の画像に関する共通照明強度角度分布を画定するデータを備える照明データとを含む、前記第２の画像の集合を特徴付けるデータを決定するステップと、
    を備える方法。
11. 請求項１〜１０のいずれか一項に記載の方法を使用する駐車支援方法。
12. 実行されるときに請求項１〜１１のいずれか一項に記載の方法を実施するためプロセッサ制御コードを伝達する担体。
13. 物体の画像の集合を特徴付けるデータを決定するシステムであって、
    複数の異なる位置から撮影された前記物体の第１の画像の集合からのデータと、実質的に同じ視点および異なる照明条件を有する前記物体の撮影された第２の画像の集合からのデータとを入力する入力と、
    処理されるべきデータを記憶するデータメモリと、
    プロセッサ制御コードを記憶するプログラムメモリと、
    前記入力、前記データメモリおよび前記プログラムメモリに結合され、前記記憶されたコードをロードし実施するプロセッサと、
    を備え、
    前記コードが、
    前記第１の画像の集合に関する前記データおよび前記画像撮影位置を画定するデータから、前記物体上の複数の境界点と前記境界点毎に前記境界点における前記物体の表面に対する法線の方向とを画定する境界点データを決定し、
    前記第２の画像の集合に関する前記データおよび前記境界点データを使用して、物体反射率パラメータデータ（β）と、前記第２の集合中の画像毎に該画像の照明方向および照明強度を画定するデータを含む照明データ（Ｌ）とを備える前記第２の画像の集合を特徴付けるデータを決定するために、
    前記プロセッサを制御するコードを含む、
    システム。
14. 前記コードが、前記画像の集合を特徴付けるデータを使用して前記物体の幾何的性質を画定する幾何データを決定するコードをさらに備える、請求項１３に記載のシステム。
15. 前記第１の画像の集合のための画像を撮影するためにカメラの位置を制御する少なくとも１台のカメラコントローラと、
    前記第１の画像の集合および前記第２の画像の集合のための画像を撮影する画像撮影システムと、
    をさらに備え、
    前記コードが、前記カメラコントローラを制御し、前記第１の画像の集合および前記第２の画像の集合のための画像を撮影するコードをさらに備える、
    請求項１３または１４に記載のシステム。
16. 請求項１３〜１５のいずれか一項に記載のシステムを含む駐車支援システム。

Images