JP4784270B2 - 三次元計測方法、計測装置、復元方法および復元装置 - Google Patents

Description

本発明は、光学的に差異となる差異領域を用いたステレオ視により物体の形状を高精度で計測することができる方法および装置、差異領域を用いたステレオ視により物体の形状を高精度で計測し、その三次元形状を表示画面上に三次元モデルとして復元する方法および装置に関する。

惑星における鉱物資源の調査において、コストや安全性の点からローバを用いた惑星探索が注目されている。ローバは、その鉱物資源の三次元形状等を測定するための測定装置を搭載している。測定装置の測定精度を向上させる場合、その重量が大きくなり、消費電力が増大するため、ローバに搭載できる測定装置には限界がある。このため、ローバに搭載した測定装置を用いて三次元形状等を測定する方法では、測定精度に限界があった。

この問題に鑑み、高精度で測定するには、例えば、ローバにマニピュレータを搭載し、鉱物資源を、マニピュレータを用いて採取し、持ち帰る方法が考えられる。マニピュレータに関しては、ジョイスティックやスレーブアームを用いた遠隔操作に関する研究が数多く行われているが、惑星は地球からの空間的距離が大きく、通信時間遅れの問題が生じるため、正確に目標物体を把握することは困難である。このため、マニピュレータを用いて目標とする鉱物資源を採取することは困難であると考えられる。

三次元形状を測定する方法として、ステレオ視による方法、光レーダ法、アクティブステレオ法等がある。ステレオ視による方法は、２台のカメラを使用して異なる２つの視点から同一対象を観測し、それぞれの画像上への投影位置の違いから、対象の三次元情報を得ようとするものである。この方法は、少ない装置で、簡単に計測することができるという利点を有するものの、高精度で測定することができないといった問題がある。光レーダ法は、測定対象となる物体に光を当て、その光が戻ってくるまでの時間を計測することにより、距離画像を得る方法である。また、アクティブステレオ法は、カメラを２台使用する代わりに、１台を、光を発生する機械に置き換えて計測する方法である。これらの方法は、ステレオ視による方法に比較して、高精度な測定結果を得ることができるという利点を有するものの、光や超音波等のエネルギーを放出する機器が必要であり、装置が大きく、重量が増大し、さらには消費電力も増大するといった問題があり、特に、上記ローバに搭載することは困難であった。

そこで、上記ステレオ視による方法を用い、高精度の三次元形状を復元する方法および装置が提案されている（例えば、特許文献１〜３参照）。ここで提案されている特許文献１に記載の装置は、カメラで撮影可能な範囲に存在する対象物の三次元形状データをステレオ計測処理によって生成し、三次元位置データが得られた点と得られなかった点との境界をチェーン状につなぎ合わせ、そのつなぎ合わせた閉曲線を抽出することによりデータ欠落部を抽出し、閉曲線上の点の高さデータの平均値とデータ欠落部内の各点の位置データからデータ欠落部の各点の三次元位置データを計算し、設定するものである。この装置では、データ欠落点のない三次元形状データを生成するため、高精度の三次元モデルを復元することができる。

上記特許文献２に記載のシステムは、測定対象物を異なるアングルから撮影して得られた複数の画像データから測定対象物のエッジ等を示す特徴データを抽出し、特徴データに基づいて画像データ間の拘束条件を算出し、この拘束条件を満たすような特徴データの対応付けを行い、与えられた画像データ中の一箇所の長さのデータと、特徴データと拘束条件とから算出される透視投影変換行列とから、三次元形状を復元するものである。このシステムでは、誤対応や精度の低い特徴データ間の対応付けを防止して、対応付けの精度を向上させ、高精度の三次元形状を復元することができる。

上記特許文献３に記載の装置は、物体を撮影した二次元輝度画像データについてエッジを検出し、エッジから物体の表面の滑らかさを示すパラメータを算出し、このパラメータを用いて陰影情報として反射地図パラメータを決定し、この反射地図パラメータを用いて三次元形状を復元する画像データを生成するものである。

これらの装置およびシステムは、カメラといった撮影手段と、画像データを処理する処理手段とを備えた簡単な装置で、高精度の三次元形状を復元することができるものの、閉曲線を生成および抽出して三次元位置データを計算する必要があり、画像データ中の一箇所の長さのデータを与えるとともに、特徴データを抽出して拘束条件を計算し、その特徴データと拘束条件から透視投影変換行列を算出する必要があり、また、物体の表面の滑らかさを示すパラメータを算出し、このパラメータを用いて陰影情報として反射地図パラメータを決定する必要があり、計算時間がかかるといった問題があった。計算時間を短縮するため、高い計算処理性能を有するコンピュータを使用することができるが、上記ローバのように搭載できる装置の重量、消費電力等が限定される場合、コンピュータの処理性能も限定されるため、できるだけ簡単で、高精度で、消費電力に鑑み短い計算時間で三次元形状を復元できる装置および方法が望まれている。

ステレオ視における画像間の対応付けにおいて、曖昧さは必ず生じる重要な問題である。この問題を解決するべく、局所的な濃度パターン（ローカルサポート）を手がかりとして画像間を対応付けする方法が多く提案されている。例えば、左右一方の画像内の注目点の周りにウィンドウを設定し、そのウィンドウをテンプレートとして他方の画像のエピポーラ線（他方の撮影手段に投影された、一方の撮影手段と注目点とを結ぶ直線）上のあらかじめ設定した探索範囲内でマッチングを行う方法や、ウィンドウ内の中心からの距離に応じてガウス分布型の重みを付けたローカルサポートを利用する方法や、ウィンドウ内の濃度と視差の分布を考慮したウィンドウ内で可変なローカルサポートを利用する方法等が提案されている。これらのローカルサポートを利用した方法は、多くの仮定や推測をベースとしているため、この曖昧さの問題を本質的に解決することはできず、例えば、ローカルサポートによる対応付けを強くすると、視差の細かい変化や急激な変化が抑制され、全体的に滑らかな形状になってしまうといった問題があった。
特開２００１−２８３２００号公報 特開２００２−１０９５１８号公報 特開平５−１８１９８０号公報

本発明は、上記課題に鑑みてなされたものであり、対応付けの曖昧さを除去でき、簡単かつ高精度で三次元形状を計測することが可能な方法および装置を提供することを目的とする。また、本発明は、三次元形状を計測し、その三次元形状を表示画面上に三次元モデルとして復元する方法および復元装置も提供することを目的とする。

本発明者等は、上記課題に鑑みて鋭意検討を加えてきたところ、焦点距離が等しく、較正が正確に行われており、光軸が互いに平行で、かつ各画像面が同一平面上に載るように左右に並んだレンズを備えるカメラを配置し、光学的に差異となる差異領域として影を用い、まず、カメラで影のない画像を取得し、次に、地面に影を投影することができる棒等をスライドさせ、その影が写るように連続して複数撮影し、影が写った複数の画像の各領域の輝度値を、該各領域と同じ座標位置にある影のない画像の各領域の輝度値で減算処理して影の領域のみに輝度を有する画像を生成させることで、カメラで撮影した２つの画像をマッチングする際の探索範囲を限定してマッチング精度を向上させることができ、これにより、対応付けの曖昧さを除去でき、簡単に、かつ高精度の三次元形状を計測できることを見出した。上記課題は、本発明の三次元計測方法、計測装置、三次元形状の復元方法および復元装置を提供することにより達成される。

本発明の三次元計測方法は、同時に２つの画像を撮影可能な撮影手段により物体を撮影するステップと、光学的に差異となる差異領域を発生させ、物体上を、差異領域を移動させるステップと、撮影手段により差異領域が含まれるように物体を複数撮影するステップと、差異領域と物体とを含む複数の画像の各領域の輝度値と、該各領域と同じ二次元座標位置にある差異領域を含まない画像の各領域の輝度値との差分を求め、差異領域に輝度を有する複数の減算処理画像を生成するステップと、複数組の減算処理画像の、撮影手段の一方の側から撮影され減算処理された複数の第１減算処理画像に含まれる差異領域の各部分に対応する、撮影手段の他方の側から撮影され減算処理された複数の第２減算処理画像に含まれる差異領域の各部分を、該差異領域の特徴を有する形状部分に基づいて探索するステップと、第１減算処理画像に含まれる差異領域の各部分の二次元座標位置データと第２減算処理画像に含まれる差異領域の探索された対応する各部分の二次元座標位置データとを用いて、該各部分の三次元座標位置を計算するステップとを含む。

輝度変化がほとんどない差異領域以外の部分、差異領域内における輝度変化の小さい領域では、視点が異なる投影による幾何学的な歪みやランダムノイズの影響により、正確なマッチングポイント（他方の減算処理画像の対応する各部分）を見つけることが困難である。差異領域のエッジ（縁部）は、輝度の変化が大きいという特徴を有しているため、マッチング処理の際の曖昧さを軽減し、正確なマッチングポイントを容易に見つけることを可能にする。このため、同一の二次元座標位置に輝度値を持つ第１減算処理画像が複数存在する場合、マッチング対象となる画素の周辺領域の類似度を元にマッチングを行う領域ベースの対応点探索手法を用いることが好ましく、マッチング対象となるすべての二次元座標位置に対して、周辺画素を含む所定領域を指定するウィンドウ内に差異領域のエッジが入る第１減算処理画像を探索し、検出された第１減算処理画像と、対応する第２減算処理画像を用いてマッチングを行うことが好ましい。

このウィンドウ内の輝度値の分散が最大になる第１減算処理画像（左右同時に撮影可能な撮影手段であれば、例えば左画像）を探索するステップを含むことが好ましい。探索時間を短縮するため、特に、エピポーラ線に平行な方向の分散の平均値が最大になる第１減算処理画像を探索することが好ましい。この分散または分散の平均値が最大になる第１減算処理画像には、差異領域のエッジが含まれる確率が高く、上述したようにエッジは、正確なマッチングポイントを容易に見つけることができるからである。また、上記探索するステップは、ウィンドウの二次元座標位置を保持しつつ、ウィンドウ内の画素の輝度値の分散が最大となる１つの第１減算処理画像を探索するステップと、ウィンドウを移動させるステップと、移動した二次元座標位置において分散が最大となる他の第１減算処理画像を探索するステップと、移動させるステップと他の第１減算処理画像を探索するステップとを繰り返すステップとを含むことができる。このウィンドウを移動させるステップでは、ウィンドウを、エピポーラ線に沿って移動させることができる。また、ウィンドウ内の中心に位置する中心画素が１画素ずつ紙面に対して右方向に移動するように、ウィンドウを移動させることができる。

本発明では、三次元計測方法を実施するための装置も提供する。この装置は、同時に２つの画像を撮影可能な撮影手段と、光学的に差異となる差異領域を発生させる手段と、物体上を、差異領域を移動させる可動手段と、差異領域と物体とを含む複数の画像の各領域の輝度値と、該各領域と同じ二次元座標位置にある差異領域を含まない画像の各領域の輝度値との差分を求め、差異領域に輝度を有する複数の減算処理画像を生成させ、複数組の減算処理画像の、撮影手段の一方の側から撮影され減算処理された複数の第１減算処理画像に含まれる差異領域の各部分に対応する、撮影手段の他方の側から撮影され減算処理された複数の第２減算処理画像に含まれる差異領域の各部分を、該差異領域の特徴を有する形状部分に基づいて探索し、第１減算処理画像に含まれる差異領域の各部分の二次元座標位置データと第２減算処理画像に含まれる差異領域の探索された対応する各部分の二次元座標位置データとを用いて、該各部分の三次元座標位置を計算する計算処理手段とを含む。この計算処理手段は、減算処理、マッチング（対応付け）のための探索、三次元座標位置の計算を、プログラムを実行することにより処理することができ、具体的には、そのプログラムが記録された記録媒体と、そのプログラムを読み出して実行するプロセッサとを含んで構成することができる。

本発明の三次元形状の復元方法は、上記計測方法における各ステップに加え、各組の減算処理画像について計算された差異領域の各部分における三次元座標位置データを用いて、差異領域の三次元形状をそれぞれ生成し、該三次元形状を撮影時刻順に配列させ、表示装置に三次元モデルとして表示させるステップを含むものである。

本発明の復元装置は、上記計測装置に、物体の三次元モデルを表示する表示装置を含み、上記計測装置の計算処理手段が、各組の減算処理画像について計算された差異領域の各部分における三次元座標位置データを用いて、差異領域の三次元形状をそれぞれ生成させ、該三次元形状を撮影時刻順に配列させ、表示装置に三次元モデルとして表示させる。

本発明の三次元計測方法および計測装置を提供することにより、対応付けの曖昧さを除去でき、簡単かつ高精度で三次元形状を計測することができる。また、本発明の三次元形状の復元方法および復元装置を提供することにより、遠隔地にある物体の三次元形状を、表示画面上に正確に復元することができる。本発明の装置は、装置数が少なくて済み、マッチング処理の時間を短縮することができるため、装置重量を軽くすることができ、計算処理に必要とされる消費電力を低減することができるため、積載可能な装置が限定されるローバに好適である。

以下、本発明を図面に示した具体的な実施の形態をもって説明するが、本発明は、後述する実施の形態に限定されるものではない。また、光学的に差異となる差異領域として影を用いて本発明を詳細に説明するが、この差異領域としては、光が照射された領域を用いることもでき、例えば、スリット光照射領域、背景色以外の例えば赤色ライト照射領域や青色ライト照射領域等を用いることができる。まず、図１に鉱物資源を観測するためのローバを例示する。図１には、三次元計測を行うため、マニピュレータ１０を移動させているところが示されている。マニピュレータ１０は、手の構造をした機械を遠隔より作動させて人間の代わりに作業をする装置である。マニピュレータ１０は、鉱物資源等を採取し、持ち帰るために使用することができる。

図１に示すローバは、様々な鉱物資源を観測するために、撮影対象領域の少なくとも一部が重複するように同時に２つの画像を撮影可能な撮影手段１１と、移動手段として車輪１２と、撮影した画像データを計算処理する図示しない計算処理手段とを備えている。マニピュレータ１０は、影（光学的に差異となる差異領域）を発生させる手段として用いることができ、図示しない可動手段に連結されており、この可動手段によって図１の矢線Aで表されるように移動させることができる。マニピュレータ１０の影１３は、ハロゲンランプ等の光源１４によって発生し、マニピュレータ１０の移動に伴って移動する。

ローバに設けられた撮影手段１１は、地面上の鉱物資源１５を撮影することができ、鉱物資源１５上にマニピュレータ１０の影１３が発生している場合、鉱物資源１５と影１３とを撮影することができる。撮影手段１１は同時に２つの画像を、例えば、数十〜数百ミリ秒の時間間隔で連続して撮影することができる。また、撮影手段１１は、ローバの車輪１２を回転させない限り、地面上の特定位置を撮影する。図１に示す実施形態では、マニピュレータ１０のみが移動しているため、撮影された画像は、影１３のみの位置が異なる画像となる。

撮影された画像は、画像データとして図示しない計算処理手段に送られる。図示しない計算処理手段では、影１３と物体である鉱物資源１５とを含む複数の画像の各領域の輝度値を、その各領域と同じ二次元座標位置にある影を含まない画像の各領域の輝度値で減算し、影領域に輝度を有する複数の減算処理画像を生成し、撮影手段１１により撮影され、減算処理された複数組の減算処理画像に含まれる影領域の各部分を、影領域の特徴を有する形状部分に基づき探索して対応付けを行い、対応する各部分の二次元座標位置データを用いて、その各部分の三次元座標位置を計算する。この計算処理については、以下に詳述する。

図１に示す実施形態において三次元計測装置は、上記撮影手段１１と、影を発生させるマニピュレータ１０および光源１４と、マニピュレータ１０を移動可能にさせる可動手段と、計算処理手段とを含む構成とされている。

図２は、光学的に差異となる差異領域として影を用いた場合の三次元計測装置を詳細に示した図である。図２に示す装置は、光軸２０、２１が平行で、かつ画像面が同一平面上となる同時に２つの画像を撮影可能な撮影手段２２と、影２３を発生させる棒状部材２４および光源２５と、棒状部材２４を連結し、物体２６上を影２３ａが横断するように棒状部材２４を移動可能にさせる可動手段２７と、撮影された複数の画像を用いて三次元座標位置を計算する計算処理手段２８とを含む構成とされる。ここでは光軸２０、２１が平行とされているが、本発明では撮影対象領域の少なくとも一部が重複するように撮影できれば良い。

図２に示す撮影手段２２は、焦点距離が等しく、カメラパラメータが既知で、較正が正確に行われており、同時に２つの画像を撮影することができるステレオカメラとすることができる。また、撮影手段２２は、上述したように、数十〜数百ミリ秒といった時間間隔で連続撮影できるものとされる。

棒状部材２４は、単なる棒のほか、マニピュレータを挙げることができる。光源２５は、太陽光であっても良いが、ハロゲンランプ等の照明装置とすることができる。可動手段２７は、棒やマニピュレータ等の棒状部材２４を連結し、影２３を地面に投影させた状態でスライドさせることができるものとすることができる。なお、影２３を発生させることができる部材であれば、いかなる形状の部材であっても良いが、撮影手段２２で同時に撮影された左右画像において、例えば、左画像を右画像にマッチング処理する際の探索範囲を限定するためには、幅が細長い影を発生させることができる棒状部材２４であることが好ましい。また、本発明では、上述したように、光を用いることもでき、差異領域を発生させる手段として、スリット光照射手段、赤色ライトや青色ライト等を挙げることができる。可動手段は、これら照射手段またはライトの照射領域を移動させることができ、これらの照射手段またはライトを載置することができる、例えば、回転盤等とすることができる。

ここで、撮影手段２２で撮影された２つの画像をそれぞれ、左画像、右画像とし、図３に撮影された複数の画像を示す。図３（ａ）は、左画像を示し、図３（ｂ）は右画像を示す。番号１で示された画像は、影を発生させていないときの１回目のシャッターを押して撮影した影のない画像である。番号２で示された画像は、影を発生させ、紙面に対して右側から左側に向けて影の移動を開始した後、２回目のシャッターを押して撮影した画像で、番号ｋで示された画像は、ｋ回目のシャッターを押して撮影した画像で、番号ｎで示された画像は、ｎ回目のシャッターを押して撮影した画像である。撮影手段２２の向き、位置は変更しないため、図３（ａ）に示されるように番号１の左画像に表される地面および物体の輝度値と、番号２〜ｎの左画像に表される地面および物体の輝度値は影の領域を除いてほぼ同じ値となる。

図２に示す計算処理手段２８は、番号２〜ｎの左画像を、番号１の左画像で減算処理する。具体的には、図４に示すような処理を行う。図４（ａ）は、番号ｋの左画像を減算処理しているところを示した図で、図４（ｂ）は、番号ｋの右画像を減算処理しているところを示した図である。番号１の左画像および右画像の輝度値をＩ_１（Ｘ，Ｙ）とし、番号ｋの左画像および右画像の輝度値Ｉ_ｋ（Ｘ，Ｙ）とし、減算処理した減算処理画像の輝度値Ｉ’_ｋ（Ｘ，Ｙ）とすれば、以下の式を用いて減算処理を行うことができる。ただし、差異領域として光が照射された領域を用いる場合には、Ｉ_ｋ（Ｘ，Ｙ）からＩ_１（Ｘ，Ｙ）を減算することになる。

減算処理後の左画像および右画像は、図４（ａ）、（ｂ）に示すように、差異領域（ここでは影領域）のみに輝度を有する画像となる。撮影手段で撮影された影の領域は輝度値が０となるため、減算処理後の影領域の輝度値はＩ_１に等しい値となる。撮影手段により撮影された左画像および右画像の影領域の空間的位置は等しく、また、影領域以外はすべて輝度値が０となる。したがって、左画像と右画像とをマッチングする際の探索範囲は、影領域が存在する部分に限定することができ、これにより、マッチングを容易にするとともにマッチング精度を向上させることができる。なお、マッチング処理の詳細については後述する。

左画像と右画像とのマッチングが完了した後、物体における点Ｐの三次元座標位置（Ｘ，Ｙ，Ｚ）を以下の式を用いて計算する。まず、点Ｐの左画像への投影点（ｘ_１，ｙ_１）、点Ｐの右座標への投影点（ｘ_２，ｙ_２）を抽出する。具体的には、左画像において点Ｐに対応する投影点（ｘ_１，ｙ_１）を選択し、マッチング処理によって対応付けが完了しているため、右画像の投影点（ｘ_２，ｙ_２）を左画像の投影点（ｘ_１，ｙ_１）から導出する。２つのレンズを備える撮影手段の焦点距離ｆ、基線長（焦点間距離）ｂは予め設定されており、既知であるため、次に、上記投影点座標および以下の式を用いて、点Ｐの三次元座標位置を計算する。

式２〜式４中のｄ（＝ｘ_１−ｘ_２）は、視差である。これらの計算および処理は、上記のように、プログラムを実行することによって行うことができ、計算処理手段は、このプログラムが記録された記録媒体、このプログラムを読み出し、実行するプロセッサを含むコンピュータとすることができる。

ここで、計算処理手段による処理を図５に示すフローチャートを参照して説明する。計算処理手段は、撮影手段によって撮影された画像データを撮影時間順に受け取り、メモリやハードディスクといった記憶装置に記憶する（ステップ５００）。例えば、１〜ｎの番号とともに、左画像、右画像に分けてデータを記憶する。各画像データには、各画素における輝度値データが含まれる。次に、番号１の左画像データおよび右画像データを読み出す（ステップ５１０）。番号２の左画像データおよび右画像データを読み出し（ステップ５２０）、減算処理する（ステップ５３０）。番号を１つ増加し（ステップ５４０）、番号がｎ＋１に到達したか判定する（ステップ５５０）。ｎは、撮影回数で、例えば、記憶装置に記憶する左画像データの数として決定することができる。計算処理手段は、受け取ったデータの数をカウントし、そのデータ数をｎとして設定することができる。番号がｎ＋１に到達していない場合、ステップ５３０に戻り、減算処理する。番号がｎ＋１に到達した場合には、減算処理する画像がないため、ステップ５６０へ進み、左画像に含まれる影領域の各部分に対応する右画像に含まれる影領域の各部分をそれぞれ探索する。すなわち、左画像に対応する右画像のマッチングポイントを探索する。マッチングポイントが探索された後、上記式（２）〜式（４）を用いて、物体の各点における三次元座標位置を計算する（ステップ５７０）。

本発明では、正確なマッチングポイントを見つけるのを容易にするため、差異領域のエッジを利用することができる。エッジは、差異領域の縁部であり、輝度値が大きく変化する部分である。この輝度値が大きく変化する部分は、形状的に大きな特徴を有している。

図６に示すように、所定領域を指定するウィンドウ６０の二次元座標位置を固定し、撮影手段により撮影された複数の左画像の中から、ウィンドウ６０内の輝度値の分散が最大となる左画像を探索することが好ましい。これは、分散が最大になる左画像には影領域６１のエッジが含まれる確率が高いからである。なお、この探索は、左画像に限らず、右画像であってもよい。ウィンドウ６０は、所定数の画素を含み、その位置での分散が最大となる左画像を探索した後、ウィンドウ６０内の中心に位置する中心画素が１画素ほど紙面に対して右に向けて移動するように移動される。すなわち、次のウィンドウ６０の位置で分散が最大となる左画像を探索する。ウィンドウ６０をエピポーラ線に沿って移動させ、Ｂで示される範囲のみを探索することで、探索範囲をさらに絞り込むことができる。

図７は、ウィンドウ６０を所定位置に固定し、複数の左画像の中から分散が最大となる左画像を探索しているところを示した図である。図７では、ウィンドウが各左画像の同一の二次元座標位置（ｘ，ｙ）に固定されており、数個の画素（ピクセル）を指定している。各左画像に付された番号は、撮影順に付された画像番号である。図７には、番号７および１１が付されている左画像のウィンドウ内に、影領域のエッジが含まれているのが示されている。

図８は、画像番号と、画素（ｘ，ｙ）を中心としたウィンドウ内のエピポーラ線に平行方向の分散の平均値である評価値Ｃｉ（ｘ，ｙ）との関係を示した図である。画素（ｘ，ｙ）の画像番号ｉにおける評価値Ｃｉ（ｘ，ｙ）は、以下に示す評価関数を用いて計算される。

上記２Ｗはウィンドウの幅であり、２ｈがウィンドウの高さである。また、Ｉ（ｘ，ｙ）は二次元座標位置（ｘ，ｙ）における輝度値である。図８では、ウィンドウ内に輝度値を有する画素がない場合、すなわち番号１〜６、１３〜３２の場合には評価値０であり、ウィンドウ内に影領域が含まれる場合、すなわち番号７〜１２の場合には輝度値を有し、ウィンドウ内の画素の輝度値に分散があるため、評価値を有する。特に、影領域のエッジを含む番号７、１１は、輝度値の分散が大きいため、番号７、１１における評価値Ｃが番号８〜１０、１２に比較して大きくなっている。評価値が最大となる左画像は、番号７で表される画像であり、このウィンドウの位置における左右画像のマッチングは番号７の左画像およびそれに対応する右画像を用いることにより、容易にマッチングすることができる。実際にマッチングは、番号７の左画像のウィンドウ内の画素を、それに対応する右画像の画素と対応付けることにより行うことができる。

図９を参照して、影領域のエッジを探索する処理を詳細に説明する。画像中の画素数と同じ数の値を保持できる二次元配列ＭａｘＣ（二次元座標ごとに最大の評価値を保持する配列）とＭａｘＣＩｍａｇｅ（二次元座標ごとに評価値が最大となる画像番号を保持する配列）を準備する。例えば、これらの配列は、テーブルとして記憶装置内に保持することができる。ステップ９００として、番号ｉの左画像を記憶装置から読み出す。番号ｉの左画像は撮影手段によりｉ番目に撮影された画像である。ｘ＝０、ｙ＝０を初期値とし、二次元座標位置（ｘ，ｙ）の画素を中心とした幅２Ｗ、高さ２ｈのウィンドウを生成する（ウィンドウが画像からはみ出る場合は、画素の存在する領域をウィンドウとする）（ステップ９１０）。ウィンドウ内の中心画素（ｘ，ｙ）に輝度値があるか否かを判定する（ステップ９２０）。輝度値を有する場合、ウィンドウ内に影領域を含んでおり、ステップ９３０で上記式５および６を用いて評価値Ｃｉ（ｘ，ｙ）を計算する。次に、その評価値Ｃｉ（ｘ，ｙ）がこれまでに計算され、記憶されている同一二次元座標位置の評価値の最大値ＭａｘＣ（ｘ，ｙ）より大きいか否かを判定する（ステップ９４０）。大きい場合には、最大の評価値としてＭａｘＣ（ｘ，ｙ）の値を更新し、画像番号ｉをＭａｘＣＩｍａｇｅ（ｘ，ｙ）に記憶する（ステップ９５０）。ステップ９２０で輝度値を有しないと判定された場合、または、ステップ９５０で記憶した後、次の画像に移動し（ステップ９６０）、画像ｉにおいてすべての画素の評価が終わったか否かを判定する（ステップ９７０）。評価が終わっているのであれば、画像番号ｉを１つ増加し（ステップ９８０）、その増加した番号がｎ＋１と等しいか否かを判定する（ステップ９９０）。ｎ＋１に等しくない場合には、ステップ９００に戻り、その番号の画像を読み出す。ｎ＋１に到達した場合は、それ以上の画像はないため、その二次元座標位置（Ｗ，ｈ）の画素を中心としたウィンドウ内の輝度値の分散が最大となる画像の探索を終了する（ステップ１０００）。

図１０は、評価値が最大となる左画像を探索した後、二次元座標位置（ｘ，ｙ）において、評価値Ｃが最大となる左画像のＭａｘＣＩｍａｇｅ（ｘ，ｙ）と、それと対応する右画像を読み出し、左画像のＭａｘＣＩｍａｇｅ（ｘ，ｙ）を中心としたウィンドウに対して、右画像からウィンドウ内の輝度分布が最も一致する（一致度の高い）ウィンドウを求めた図である。なお、求め方については後述する。図１０に示すように、ウィンドウ内に影領域のエッジが入ることにより、マッチングを正確に行うことが可能になる。また、１つの二次元位置座標に対して、１つの画像を対応させることにより、同一の二次元座標位置に輝度値を有する減算画像が複数存在しても、マッチングを行う回数が１回のみ（すなわち、１つの画像の画素数のみ）となるため、画像の取得数は増加するものの、マッチング回数を減少させることができ、マッチング処理を高速化することができる。

左画像の画素（ｘ_Ｌ，ｙ_Ｌ）に対応する右画像の画素（ｘ_Ｒ，ｙ_Ｒ）が検出された場合、左画像においてｘ_Ｌよりも右側の画素に対応する右画像の画素はｘ_Ｒよりも右側に存在するという拘束条件を用いることにより、マッチングの際の探索範囲を限定し、さらに、マッチング処理を高速化することができる。しかしながら、この拘束条件を用いた探索方法は、誤差の伝播を生じる可能性があり、連続した画素で、画像番号が同じ左右画像を用いる場合のみこの方法を採用し、隣接する二次元座標位置にある画素であっても、画像番号が異なる左右画像を用いて探索する場合には、この拘束条件を用いることなくマッチングを行う。これにより、誤差の伝播を抑制しつつ、マッチング処理を高速化することができる。

本発明では、上記計測方法の各ステップを含む復元方法および上記計測装置を含む復元装置を提供することができる。物体を三次元モデルとして復元する方法では、各組の減算処理画像について、差異領域の各部分における三次元座標位置データを計算した後、その三次元座標位置データを用いて、差異領域の三次元形状をそれぞれ生成する。次に、生成した各三次元形状を撮影時刻順に配列させ、表示装置に表示させる。これにより、三次元モデルとして物体の三次元形状を復元することができる。上述したように、物体の各点の三次元座標位置を、高精度で計測することができるため、高精度で三次元形状を復元することができる。

復元装置は、上記計測装置に、物体の三次元モデルを表示する表示装置を含んで構成される。ただし、計測装置に含まれる計算処理手段は、各組の減算処理画像について計算された差異領域の各部分における三次元座標位置データを用いて、差異領域の三次元形状をそれぞれ生成させ、該三次元形状を撮影時刻順に配列させ、表示装置に三次元モデルとして表示させる機能をさらに有するものとされる。これもまた、プログラムを実行することにより処理することができ、プログラムとして記録媒体に含めることができる。表示装置としては、ディスプレイを用いることができる。

ここで、ステレオカメラ、光学的に差異となる差異領域としての影を発生させる手段として、ハロゲンランプと棒状部材を使用し、画像処理手段としてパーソナルコンピュータを使用して、三次元形状の復元を、本発明による方法と、従来のステレオ視による方法とを使用して行った結果を以下に示す。

ステレオカメラにより同時に撮影される左右画像のマッチングに、領域ベースマッチングにおいて代表的で、高速演算が可能な二乗残差法（ＳＳＤ）が広く用いられている。このＳＳＤは、左画像のウィンドウの輝度値と右画像のウィンドウの輝度値の差分を評価値Ｒ（ｘ，ｙ）とし、評価値が最小となる位置を最良のマッチングポイントとするものであり、以下の式によって評価値Ｒ（ｘ，ｙ）を算出することができる。

しかしながら、ＳＳＤは、ウィンドウ内の輝度差をそのまま比較するため、輝度変化の少ない部分では高い一致度を示すが、輝度値が急激に変化するエッジ部分では一致度が低くなる。そこで、本発明では、分散の類似度により対応付けするＺＮＣＣ法を採用する。このＺＮＣＣ法を採用することにより、急激な輝度値の変化に対して正確に対応付けすることができる。ＺＮＣＣ法は、以下の式により得られる相関係数Ｒ_ＺＮＣＣが最大となる画素を対応点とする方法である。

上記と同様、２Ｗがウィンドウの幅であり、２ｈがウィンドウの高さであり、Ｉ（ｘ，ｙ）は二次元座標位置（ｘ，ｙ）における輝度値である。Ｉ_Ｌは左画像の輝度値、Ｉ_Ｒは右画像の輝度値を示す。

図１１を参照して、対応点を探索する処理を詳細に説明する。ステップ１１００において、番号ｉの左右画像を記憶装置から読み出す。保存されている配列の要素ＭａｘＣＩｍａｇｅ（ｘ_Ｌ，ｙ_Ｌ）が現在の画像番号ｉと等しいか否か（現在の画像の画素（ｘ_Ｌ，ｙ_Ｌ）が、二次元座標位置（ｘ_Ｌ，ｙ_Ｌ）における最大の評価値ＭａｘＣ（ｘ_Ｌ，ｙ_Ｌ）を有するか）を判定する（ステップ１１１０）。等しい場合、ステップ１１２０に進み、ｘ_Ｌ＝０、ｙ_Ｌ＝０を初期値とし、左画像に二次元座標位置（ｘ_Ｌ，ｙ_Ｌ）の画素を中心とした幅２Ｗ、高さ２ｈのウィンドウを生成する（ステップ１１２０）。また、右画像に、ｘ_Ｒ＝０、ｙ_Ｒ＝ｙ_Ｌを初期値とし、二次元座標位置（ｘ_Ｒ，ｙ_Ｒ）を中心とした幅２Ｗ、高さ２ｈのウィンドウを生成する（ステップ１１３０）。等しくない場合、その読み出した画像以外にエッジを含む可能性を持つ画像が存在することを示し、この画像からマッチングは行われない。ステップ１１４０で、右画像のウィンドウ内に輝度値があるかを判定する。輝度値がある場合、ステップ１１５０に進み、左右画像のウィンドウを用い、評価値Ｒ_ＺＮＣＣを上記式８〜１３を使用して算出する。輝度値がない場合、上記のように、その読み出した画像以外にエッジを含む可能性を持つ画像が存在することを示し、この画像からマッチングは行われない。ステップ１１６０で、評価値Ｒ_ＺＮＣＣが、記憶装置に記憶されている最大の評価値ＭａｘＲ_ＺＮＣＣより大きいか否かを判定する。大きい場合にはその算出した評価値Ｒ_ＺＮＣＣを最大の評価値ＭａｘＲ_ＺＮＣＣとして記憶し、二次元座標位置（ｘ_Ｒ，ｙ_Ｒ）を（ｘ_Ｌ，ｙ_Ｌ）の対応点として記憶する（ステップ１１７０）。小さい場合またはステップ１１７０で記憶後、右画像の二次元座標位置のｘ軸座標を１増加させ（ステップ１１８０）、ステップ１１１０に戻る。このようにして、ｘ軸座標上の対応点を探索する。なお、対応点は、エピポーラ線上にあるため、ｘ軸座標上のみを探索すればよい。すなわち、左画像の探索対象画素を１つ移動する（ステップ１１９０）。番号ｉの画像の全ての画素に対してステップ１１１０〜ステップ１１９０の処理を行った後（ステップ１２００）、画像番号を１つ増加させ（ステップ１２１０）、上記の処理を繰り返す。画像番号がｎ＋１に達したところで（ステップ１２２０）、全てのマッチング処理を終了する（ステップ１２３０）。

従来のステレオ法による三次元計測において、図２に示す撮影手段２２により同時に撮影された影のない２つの画像（図３（ａ）の番号１で示される左画像、図３（ｂ）の番号１で示される右画像）から、上記ＺＮＣＣ法を用いてマッチング処理を行った結果を、図１２（ａ）に示す。

本発明の方法により、図２に示す撮影手段２２により同時に撮影した、影のない２つの画像および影のある複数の画像（図３（ａ）の番号１〜ｎで示される複数の左画像、図３（ｂ）の番号１〜ｎで示される複数の右画像）から、探索範囲が限定された複数の減算処理画像を得、これらを影のエッジによってマッチング処理を行った結果を図１２（ｂ）に示す。

従来のステレオ法では、左右１組の画像のみの利用でマッチング処理できるが、本発明の方法では、複数組の画像、例えば、３２組の画像を利用してマッチング処理する必要があり、利用する画像数は増加する。しかしながら、それぞれの画像の探索範囲が限定されており、無駄な探索、すなわち輝度値が０となる減算処理画像をスキップさせることができるため、計算コストに抑制することができる。また、本発明の方法で復元された三次元形状モデルは、図１２（ａ）と図１２（ｂ）とを比較してもわかるように、従来の方法によるマッチング処理では困難な、画面を合成する際の背景に利用する画像であるテクスチャの少ない領域に対しても有効であることが見出された。

ここに、本発明の方法によりマッチング処理した場合と従来のステレオ法によりマッチング処理した場合のマッチング点数、ミスマッチ点数（孤立点数）、計算時間を以下の表１に示す。画像は３２０×２４０画素のものと、６４０×４８０画素のものについて計算を行った。なお、ウィンドウのサイズはそれぞれ、１１×７画素、２１×１３画素の領域を指定するものを用いた。対応点数は、マッチングが取れた画素のうち、孤立点と判定されないかった点の数とし、孤立点は周囲４８画素のｚ軸方向の値の平均値との差が１ｃｍ以上あるものとした。

表１に示すように、本発明の方法を用いた場合、従来のステレオ法に比べ、孤立点数を大幅に減少させることができ、マッチング処理におけるミスマッチングを軽減していると言える。相関係数Ｒ_ＺＮＣＣの平均値は、従来のステレオ法に比べて大きな値を示しており、多くの画素で、高い一致度が得られている。また、本発明の方法は従来のステレオ法に比較して大幅に計算時間を短縮することができ、これにより、マッチング精度を向上させることができ、計算コストを削減することができることが見出された。

本発明の計測装置は、簡単な装置であるため、小型かつ軽量とすることができ、計算時間を短縮することができるため、消費電力を低減することができる。また、高精度で三次元計測することができるため、ローバに搭載するのに好適である。

ローバを例示した図。 本発明の三次元計測装置を例示した図。 撮影手段により撮影された画像を示した図。 減算処理しているところを示した図。 計算処理手段による処理のフローを示した図。 減算処理後の影領域のみ輝度を有する左画像の１つを示した図。 ウィンドウを所定位置に固定し、複数の左画像の中から分散が最大となる左画像を探索しているところを示した図。 画像番号と、ウィンドウ内の分散の平均値である評価値Ｃｉ（ｘ，ｙ）との関係を示した図。 影領域のエッジを探索する処理のフローを示した図。 評価値が最大となる左画像を探索した後、その左画像のウィンドウ内の画素と、それに対応する右画像の画素とを対応付けしているところを例示した図。 対応点を探索する処理のフローを示した図。 従来のステレオ視による方法で三次元モデルを復元した画像および本発明の方法で三次元モデルを復元した画像。

符号の説明

１０…マニピュレータ、１１…撮影手段、１２…車輪、１３…影、１４…光源、１５…鉱物資源、２０、２１…光軸、２２…撮影手段、２３、２３ａ…影、２４…棒状部材、２５…光源、２６…物体、２７…可動手段、２８…計算処理手段、６０…ウィンドウ、６１…影領域

Claims (8)

1. 物体の三次元形状を計測する方法であって、
   同時に２つの画像を撮影可能な撮影手段により前記物体を撮影するステップと、
   光学的に差異となる差異領域を発生させ、前記物体上を、前記差異領域を移動させるステップと、
   前記撮影手段により前記差異領域が含まれるように前記物体を複数撮影するステップと、
   前記差異領域と前記物体とを含む各画像の各領域の輝度値を、該各領域と同じ二次元座標位置にある前記差異領域を含まない画像の各領域の輝度値で減算し、差異領域に輝度を有する複数組の減算処理画像を生成するステップと、
   前記複数組の減算処理画像の、前記撮影手段の一方の側から撮影され減算処理された複数の第１減算処理画像に含まれる差異領域の各部分に対応する、前記撮影手段の他方の側から撮影され減算処理された複数の第２減算処理画像に含まれる差異領域の各部分を、該差異領域の特徴を有する形状部分に基づいて探索するステップと、
   前記第１減算処理画像に含まれる差異領域の各部分の二次元座標位置データと前記第２減算処理画像に含まれる差異領域の探索された対応する各部分の二次元座標位置データとを用いて、該各部分の三次元座標位置を計算するステップとを含む、方法。
2. 前記探索するステップは、前記差異領域のエッジを探索するステップを含む、請求項１に記載の方法。
3. 前記探索するステップは、前記複数の第１減算処理画像の中から、画像の所定領域を指定するウィンドウ内の画素の輝度値の分散が最大となる第１減算処理画像を探索するステップを含む、請求項１に記載の方法。
4. 前記探索するステップは、前記ウィンドウの二次元座標位置を保持しつつ、前記ウィンドウ内の画素の輝度値の分散が最大となる１つの第１減算処理画像を探索するステップと、前記ウィンドウを移動させるステップと、移動した二次元座標位置において前記分散が最大となる他の第１減算処理画像を探索するステップと、前記移動させるステップと前記他の第１減算処理画像を探索するステップとを繰り返すステップとを含む、請求項１に記載の方法。
5. 前記ウィンドウを移動させるステップは、前記ウィンドウを、エピポーラ線に沿って移動させるステップを含む、請求項４に記載の方法。
6. 物体の三次元形状を計測する装置であって、
   同時に２つの画像を撮影可能な撮影手段と、
   光学的に差異となる差異領域を発生させる手段と、
   前記物体上を、前記差異領域を移動させる可動手段と、
   前記差異領域と前記物体とを含む各画像の各領域の輝度値を、該各領域と同じ二次元座標位置にある前記差異領域を含まない画像の各領域の輝度値で減算して、差異領域に輝度を有する複数組の減算処理画像を生成させ、前記複数組の減算処理画像の、前記撮影手段の一方の側から撮影され減算処理された複数の第１減算処理画像に含まれる差異領域の各部分に対応する、前記撮影手段の他方の側から撮影され減算処理された複数の第２減算処理画像に含まれる差異領域の各部分を、該差異領域の特徴を有する形状部分に基づいて探索し、前記第１減算処理画像に含まれる差異領域の各部分の二次元座標位置データと前記第２減算処理画像に含まれる差異領域の探索された対応する各部分の二次元座標位置データとを用いて、該各部分の三次元座標位置を計算する計算処理手段とを含む、計測装置。
7. 物体の三次元形状を計測し、前記三次元形状を復元する方法であって、
   同時に２つの画像を撮影可能な撮影手段により前記物体を撮影するステップと、
   光学的に差異となる差異領域を発生させ、前記物体上を、前記差異領域を移動させるステップと、
   前記２つの撮影手段により前記差異領域が含まれるように前記物体を複数撮影するステップと、
   前記差異領域と前記物体とを含む各画像の各領域の輝度値を、該各領域と同じ二次元座標位置にある前記差異領域を含まない画像の各領域の輝度値で減算し、差異領域に輝度を有する複数組の減算処理画像を生成するステップと、
   前記複数組の減算処理画像の、前記撮影手段の一方の側から撮影され減算処理された複数の第１減算処理画像に含まれる差異領域の各部分に対応する、前記撮影手段の他方の側から撮影され減算処理された複数の第２減算処理画像に含まれる差異領域の各部分を、該差異領域の特徴を有する形状部分に基づいて探索するステップと、
   前記第１減算処理画像に含まれる差異領域の各部分の二次元座標位置データと前記第２減算処理画像に含まれる差異領域の探索された対応する各部分の二次元座標位置データとを用いて、前記差異領域の三次元形状をそれぞれ生成し、該三次元形状を撮影時刻順に配列させ、表示装置に三次元モデルとして表示させるステップとを含む、復元方法。
8. 物体の三次元形状を計測し、前記三次元形状を復元する装置であって、
   同時に２つの画像を撮影可能な撮影手段と、
   光学的に差異となる差異領域を発生させる手段と、
   前記物体上を、前記差異領域を移動させる可動手段と、
   前記物体の三次元モデルを表示する表示装置と、
   前記差異領域と前記物体とを含む各画像の各領域の輝度値を、該各領域と同じ二次元座標位置にある前記差異領域を含まない画像の各領域の輝度値で減算して、差異領域に輝度を有する複数組の減算処理画像を生成させ、前記複数組の減算処理画像の、前記撮影手段の一方の側から撮影され減算処理された複数の第１減算処理画像に含まれる差異領域の各部分に対応する、前記撮影手段の他方の側から撮影され減算処理された複数の第２減算処理画像に含まれる差異領域の各部分を、該差異領域の特徴を有する形状部分に基づいて探索し、前記第１減算処理画像に含まれる差異領域の各部分の二次元座標位置データと前記第２減算処理画像に含まれる差異領域の探索された対応する各部分の二次元座標位置データとを用いて、該各部分の三次元座標位置を計算し、各組の前記減算処理画像について計算された前記差異領域の各部分における三次元座標位置データを用いて、前記差異領域の三次元形状をそれぞれ生成させ、該三次元形状を撮影時刻順に配列させ、前記表示装置に前記三次元モデルとして表示させる計算処理手段とを含む、復元装置。