JPWO2020183711A1 - 画像処理装置及び３次元計測システム - Google Patents

Abstract

画像処理装置が、ステレオマッチングとは異なる方式により第１画像と第２画像の間の視差を予測し、前記予測視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、前記設定された探索範囲に限定して前記第１画像と前記第２画像の間の各画素の対応点を探索し視差マップを生成する視差マップ生成手段と、複数の画像ペアのそれぞれから生成された複数の視差マップを合成する視差マップ合成手段と、を有する。

Description

本発明は、画像を用いた３次元計測に関する。

従来、対象物の３次元計測を行うための種々の手法が知られており、それらは、光の性質に着目して、光の直進性を用いる手法と光の速度を用いる手法に大別される。これらのうち、光の直進性を用いる手法には、アクティブ計測（能動型計測）及びパッシブ計測（受動型計測）の何れかに分類される方式が含まれ、光の速度を用いる手法には、アクティブ計測（能動型計測）に分類される方式が含まれる。

非特許文献１には、アクティブ計測方式の一例である空間コード化パターン投影方式の具体例として、空間的な符号化（コード化）がなされたパターン照明を対象物に投影し、そのパターンが投影された対象物を撮影した画像を解析することにより３次元形状を取得する方法が記載されている。

また、パッシブ計測方式の一例として、異なる視点から撮影された２つの画像を用いて対象物の３次元形状を計測する、いわゆるステレオマッチング（ステレオビジョンとも呼ばれる）が知られている（特許文献１、２参照）。図１４にステレオマッチングの原理を示す。ステレオマッチングでは、例えば左右に配置した２台のカメラで対象物Ｏを同時に撮影し、２枚の画像を得る。一方を基準画像Ｉ１、他方を比較画像Ｉ２とし、基準画像Ｉ１中の画素（基準点Ｐ１）と画像特徴が最も近い画素（対応点Ｐ２）を、比較画像Ｉ２中のエピポーラ線Ｅに沿って探索し、基準点Ｐ１と対応点Ｐ２の間の座標の差（視差）を求める。各カメラの幾何学的な位置は既知であるので、三角測量の原理により、視差から奥行方向の距離Ｄ（デプス）を算出でき、対象物Ｏの３次元形状を復元することができる。

特開平５−３０３６２９号公報 特開２０１２−２４８２２１号公報

P. Vuylsteke and A. Oosterlinck, Range Image Acquisition with a Single Binary-Encoded Light Pattern, IEEE PAMI 12(2), pp. 148-164, 1990.

ステレオマッチングのような画像を用いた計測方式は、対象物表面の反射特性の違いや、照明などの環境変動が、計測精度のばらつき及び低下を招きやすい。例えば、金属部品の表面で照明光が鏡面反射しハレーションが発生したり、ゴムなど反射率の低い物体で暗部階調が潰れてしまうと、距離推定に必要な情報量が不足し、精度が著しく低下し又は計測不能になるケースがある。また、照明の光量不足の場合、他の物体の陰となり対象物に照明が十分に当たらない場合、他の物体での反射光が対象物に当たる場合（いわゆる相互反射）なども、計測精度に影響を及ぼし得る。

特許文献１、２には、計測精度の向上を図るために、同じ対象物に対し複数回のステレオマッチングを行い、それらの結果を合成するというアイデアが開示されている。しかしながら、従来型のステレオマッチングを複数回繰り返すだけでは、ばらつきの低減効果はあるかもしれないが、画像の情報量が不足しているケースには効果が期待できない。

本発明は、上記実情に鑑みてなされたものであり、ステレオマッチングによる計測において、精度及びロバスト性の向上を図るための技術を提供することを目的とする。

本発明の一側面は、画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置であって、
異なる視点から撮影された第１画像及び第２画像からなる画像ペアを取得する画像取得手段と、ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段と、前記予測視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、前記設定された探索範囲に限定して前記第１画像と前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段と、複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成する視差マップ合成手段と、前記合成視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段と、を有することを特徴とする画像処理装置を提供する。

上記構成では、予測された視差に基づき対応点の探索範囲が限定される。これにより、従来の一般的なステレオマッチングに比べて、対応点探索に要する時間を大幅に短縮することができるだけでなく、対応点が存在する蓋然性が高い範囲に絞り込んで探索を行うことができることから、対応点探索の精度及び信頼性を向上できる。また、ステレオマッチングとは異なる方式により生成された予測視差を利用することによって、ステレオマッチングでは計測が困難な部分を補完する効果も期待できる。そして、複数の画像ペアから得られた視差マップを合成することから、計測のばらつきを低減することもできる。したがって、総じて、高精度かつ信頼性の高い計測結果を安定して得ることができる。

前記視差予測手段は、複数の予測視差を生成し、前記設定手段は、前記複数の予測視差を合成した合成予測視差を、前記複数の画像ペアの探索範囲の設定に用いてもよい。このように予測視差の生成（計測）も複数回行うことによって、精度及びロバスト性をさらに向上することができる。

前記視差予測手段は、複数の予測視差を生成し、前記設定手段は、探索範囲の設定に用いる予測視差を、画像ペアごとに変えてもよい。このように予測視差の生成（計測）も複数回行うことによって、精度及びロバスト性をさらに向上することができる。

前記視差予測手段が、カメラで撮影された画像から前記予測視差の生成を行うものである場合、前記複数の予測視差は、カメラ及び／又は撮影条件を変えて撮影された、異なる画像から生成されたものであってもよい。視野内に異なる反射特性をもつ物体が存在していたり、物体の陰や相互反射が懸念されるような場合でも、カメラ及び／又は撮影条件を変えて撮影をすれば、少なくともいずれかの画像から視差情報を抽出できる可能性が高まる。

例えば、前記画像取得手段が、第１の画像ペアと第２の画像ペアを取得し、前記視差予測手段が、前記第１の画像ペアのうちの第１画像から第１の予測視差を生成するとともに、前記第２の画像ペアのうちの第２画像から第２の予測視差を生成し、前記設定手段が、前記第１の予測視差と前記第２の予測視差を合成した合成予測視差を、前記第１の画像ペア及び前記第２の画像ペアの探索範囲の設定に用いてもよい。あるいは、前記画像取得手段が、第１の画像ペアと第２の画像ペアを取得し、前記視差予測手段が、前記第１の画像ペアのうちの第１画像から第１の予測視差を生成するとともに、前記第２の画像ペアのうちの第２画像から第２の予測視差を生成し、前記設定手段が、前記第１の予測視差と前記第２の予測視差のうちの一方の予測視差を前記第１の画像ペアの探索範囲の設定に用い、他方の予測視差を前記第２の画像ペアの探索範囲の設定に用いてもよい。

第１画像と第２画像は視点が異なるため、両方の画像から視差を予測することで高精度な予測視差を得ることができる。また、仮に一方の画像の情報が欠損していたとしても、他方の画像を使って視差を予測できる可能性が高い。したがって、対応点の探索範囲をより適切に設定でき、精度及びロバスト性をさらに向上することができる。また、予測視差の生成とステレオマッチングとで、画像を共通化することにより、撮像及び画像転送の回数を削減できるため、処理全体の効率化及び高速化を図ることができる。また、同じカメラを利用できることから、装置構成の簡易化及び小型化を図ることができるという利点もある。

前記複数の画像ペアは、異なる撮影条件で撮影された２以上の画像ペアを含んでもよい。このようにステレオマッチングに用いる画像のバリエーションを増すことで、視野内に異なる反射特性をもつ物体が存在していたり、物体の陰や相互反射が懸念されるような場合でも、少なくともいずれかの画像ペアから３次元情報を抽出できる可能性が高まる。例えば、前記異なる撮影条件で撮影された２以上の画像ペアは、露光条件及び／又は照明条件を変えて撮影された画像ペアを含んでもよい。

前記視差予測手段は、前記ステレオマッチングとは異なる前記方式として、空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測してもよい。空間コード化パターン投影方式は、ステレオマッチングと同じ解像度のイメージセンサを用いた場合、ステレオマッチングよりも格段に短い処理時間で距離情報を得ることができるからである。なお、空間コード化パターン投影方式の測距の空間分解能は、ステレオマッチング方式に比べて低いものの、視差の予測に用いる目的であれば必要十分といえる。

本発明の一側面は、少なくとも２つのカメラを有するセンサユニットと、前記センサユニットから取り込まれる画像を用いてデプスマップを生成する画像処理装置と、を有することを特徴とする３次元計測システムを提供する。

本発明は、上記手段の少なくとも一部を有する画像処理装置として捉えてもよいし、センサユニットと画像処理装置を有する３次元計測システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む画像処理、３次元計測方法、測距方法、画像処理装置の制御方法などとして捉えてもよく、または、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、ステレオマッチングによる計測において、精度及びロバスト性の向上を図ることが可能である。

図１は、本発明の適用例の一つである３次元計測システムの構成例を模式的に示す図である。 図２は、３次元計測システムの機能及び処理の概要を模式的に示す図である。 図３は、第１実施形態に係る３次元計測システムの機能ブロック図である。 図４は、第１実施形態の計測処理の流れを示すフロー図である。 図５は、第１実施形態のタイミングチャートである。 図６は、第２実施形態の計測処理の流れを示すフロー図である。 図７は、第２実施形態のタイミングチャートである。 図８は、第３実施形態のセンサユニットの構成例を示す図である。 図９は、第４実施形態の計測処理の流れを示すフロー図である。 図１０は、第４実施形態のタイミングチャートである。 図１１は、第５実施形態の計測処理の流れを示すフロー図である。 図１２は、第５実施形態のタイミングチャートである。 図１３Ａ〜図１３Ｂは、パターン投光部の明るさの制御例を示す図である。 図１４は、ステレオマッチングの原理を説明する図である。

＜適用例＞
図１は、本発明の適用例の一つである３次元計測システムの構成例を模式的に示す図である。３次元計測システム１は、画像センシングによって対象物１２の３次元形状を計測するためのシステムであり、概略、センサユニット１０と画像処理装置１１から構成される。センサユニット１０は、少なくともカメラ（イメージセンサや撮像装置とも呼ばれる）を備えており、必要に応じて他のセンサを備える場合もある。センサユニット１０の出力は画像処理装置１１に取り込まれる。画像処理装置１１は、センサユニット１０から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置１１の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。画像処理装置１１の処理結果は、例えば、ディスプレイなどの出力装置に出力されたり、外部に転送されて検査や他の装置の制御等に利用される。このような３次元計測システム１は、例えば、コンピュータビジョン、ロボットビジョン、マシンビジョンをはじめとして、幅広い分野に適用される。

なお、図１の構成はあくまで一例であり、３次元計測システム１の用途に応じてそのハードウェア構成は適宜設計すればよい。例えば、センサユニット１０と画像処理装置１１は無線で接続されてもよいし、センサユニット１０と画像処理装置１１が一体の装置で構成されていてもよい。また、センサユニット１０と画像処理装置１１をＬＡＮ又はインターネット等の広域ネットワークを介して接続してもよい。また、１つの画像処理装置１１に対し複数のセンサユニット１０を設けてもよいし、逆に、１つのセンサユニット１０の出力を複数の画像処理装置１１に提供してもよい。さらに、センサユニット１０をロボットや移動体に取り付けるなどしてセンサユニット１０の視点を移動可能にしてもよい。

図２は、３次元計測システム１の機能及び処理の概要を模式的に示す図である。３次元計測システム１は、対象物１２の距離を計測するための計測系として、第１の計測系２１と第２の計測系２２の２つを備えている。各計測系２１、２２の機能及び処理は、センサユニット１０と画像処理装置１１とが協働して実現されるものである。

第１の計測系２１は、ステレオマッチング（ステレオビジョン、ステレオカメラ方式などとも呼ばれる）によって対象物１２までの奥行距離（デプス）を計測する。ステレオマッチングは空間分解能の高い計測が可能であることから、本システム１では第１の計測系２１によって生成される距離情報を最終的な出力とする。

他方、第２の計測系２２も対象物１２の測距を行うものであるが、第２の計測系２２で得られる距離情報は、第１の計測系２１で観測される視差を大まかに予測しステレオマッチングにおける探索範囲を絞り込むという目的で、補助的に利用される。第２の計測系２２としては、ステレオマッチングとは異なる方式で測距を行うものであれば如何なる方式の計測系を用いてもよい。

３次元計測方式のうち光の直進性を用いるアクティブ計測方式としては、例えば、三角測量を基本原理とする空間コード化パターン投影方式、時間コード化パターン投影方式、モアレトポグラフィ方式（等高線方式）、照度差ステレオ方式（照射方向／Photometric Stereo）等、及び、同軸測距を基本原理とする照度差方式、レーザ共焦点方式、白色共焦点方式、光干渉方式等が挙げられる。また、光の直進性を用いるパッシブ計測方式としては、例えば、視体積交差方式（Shape from silhouette）、因子分解方式（factorization）、Depth from Motion（Structure from Motion）方式、Depth from Shading方式等、及び、同軸測距を基本原理とするDepth from focusing方式、Depth from defocus方式、Depth from zoom方式等が挙げられる。さらに、光の速度を用いるアクティブ計測方式としては、例えば、同時測距を基本原理とする光時間差（TOF）測定方式、光位相差（TOF）測定方式、並びに、電波、音波及びミリ波による（TOF）方式等が挙げられる。

上記したいずれの方式を第２の計測系２２として採用してもよい。ただし、第２の計測系２２は視差の大まかな予測が目的であるため、ステレオマッチングより計測精度や空間分解能が低くて構わないので、ステレオマッチングに比べて計測時間が短い高速な方式を用いることが好ましい。後述する実施形態では、計測時間が短いという利点、及び、第１の計測系２１とセンサ及び画像を共用できるという利点から、空間コード化パターン投影方式を用いる。

続いて、図２を参照して、３次元計測システム１による計測処理の大まかな流れを説明する。

（１）第１の計測系２１が、センサユニット１０から２枚の画像（第１画像、第２画像と呼ぶ）からなるステレオ画像ペアを取得する。この２枚の画像は、対象物１２に対する視差が生ずるように、対象物１２を異なる視点（視線方向）から撮影したものである。センサユニット１０が複数のカメラを備えている場合には、２台のカメラで第１画像と第２画像を同時に撮影してもよい。あるいは、カメラを移動させながら連続的に撮影することで、単一のカメラで第１画像と第２画像を取得してもよい。

（２）第２の計測系２２が、対象物１２の距離計測を行い、得られた距離情報に基づき第１画像と第２画像の間の視差を予測し、その予測した視差を参考視差マップとして出力する。本明細書では、第１の計測系２１のステレオマッチングで生成される視差マップと区別するため、第２の計測系２２で生成される視差マップを「参考視差マップ」と呼ぶ。参考視差マップは、第１の計測系２１のステレオマッチングにおける探索範囲を絞り込むために補助的に用いられるものであるため、第１画像及び第２画像よりも空間分解能が低い（粗い）もので構わない。なお、参考視差マップは、センサユニット１０から得られる画像又はその他のセンシングデータに基づき画像処理装置１１側で生成されてもよいし、センサユニット１０自身が測距機能を具備する場合（ＴＯＦ方式のイメージセンサなど）にはセンサユニット１０側で参考視差マップが生成されてもよい。

（３）第１の計測系２１が、第２の計測系２２から取得した参考視差マップを用いて、ステレオマッチングにおける対応点の探索範囲を設定する。前述のように参考視差マップの空間分解能ないし精度はそれほど高くないため、予測視差がある程度の誤差を含むことは避けられない。したがって、対応点の探索範囲は、その誤差範囲を包含するように設定するとよい。例えば、予測視差の値がｄ［画素］であり、誤差が±ｄｅｒｒ［画素］である場合には、探索範囲をｄ−ｄｅｒｒ−ｃ〜ｄ＋ｄｅｒｒ＋ｃのように設定してもよい。ｃはマージンである。なお、第１画像のすべての画素に対し個別に探索範囲を設定してもよいし、画像内での局所的な視差の変化が大きくない場合などは、第１画像を複数のエリアに分割してエリア単位で探索範囲を設定してもよい。

（４）第１の計測系２１が、設定された探索範囲の中から、第１画像と第２画像の間の各画素の対応点を探索する。例えば、第１画像を基準画像、第２画像を比較画像とした場合、第１画像中の画素（基準点）と画像特徴が最も近い第２画像中の画素が対応点として選ばれ、基準点と対応点の座標の差が、当該基準点における視差として求まる。第１画像中のすべての画素について対応点の探索が行われ、その探索結果から視差マップが生成される。視差マップは、各画素の座標に視差情報が関連付けられたデータである。

（５）第１の計測系２１が、上述した（１）〜（４）の処理を２回以上行い、複数の視差マップを得る。そして、第１の計測系２１が、複数の視差マップを合成することにより合成視差マップを生成する。

（６）第１の計測系２１は、三角測量の原理を用いて、合成視差マップの視差情報を距離情報（デプス）に変換し、デプスマップを生成する。

上記構成では、予測された視差に基づき対応点の探索範囲が限定される。これにより、従来の一般的なステレオマッチングに比べて、対応点探索に要する時間を大幅に短縮することができるだけでなく、対応点が存在する蓋然性が高い範囲に絞り込んで探索を行うことができることから、対応点探索の精度及び信頼性を向上できる。また、ステレオマッチングとは異なる方式により生成された予測視差を利用することによって、ステレオマッチングでは計測が困難な部分を補完する効果も期待できる。そして、複数の画像ペアから得られた視差マップを合成することから、計測のばらつきを低減することもできる。したがって、総じて、高精度かつ信頼性の高い計測結果を安定して得ることができる。

＜第１実施形態＞
図３を参照して、第１実施形態に係る３次元計測システム１の構成例について説明する。図３は、３次元計測システム１の機能ブロック図である。

（センサユニット）
センサユニット１０は、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、照明部１０４、画像転送部１０５、駆動制御部１０６を有する。

第１カメラ１０１と第２カメラ１０２は、いわゆるステレオカメラを構成するカメラ対であり、所定の距離だけ離れて配置されている。２つのカメラ１０１、１０２で同時に撮影を行うことで、異なる視点から撮影した画像ペアを得ることができる（第１カメラ１０１の画像を第１画像、第２カメラ１０２の画像を第２画像と呼ぶ）。２つのカメラ１０１、１０２は、互いの光軸が交差し、且つ、水平ライン（又は垂直ライン）が同一平面上にくるように、配置されるとよい。このような配置をとることで、エピポーラ線が画像の水平ライン（又は垂直ライン）と平行になるため、ステレオマッチングにおける対応点を同じ位置の水平ライン（又は垂直ライン）内から探索すればよく、探索処理の簡易化が図れるからである。なお、カメラ１０１、１０２としては、モノクロのカメラを用いてもよいし、カラーのカメラを用いてもよい。

パターン投光部１０３は、空間コード化パターン投影方式の測距で用いるパターン照明を対象物１２に投影するための装置であり、プロジェクタとも呼ばれる。パターン投光部１０３は、例えば、光源部、導光レンズ、パターン生成部、投写レンズなどから構成される。光源部としては、ＬＥＤ、レーザー、ＶＣＳＥＬ（Vertical cavity Surface-emitting Laser）などを用いることができる。導光レンズは光源部からパターン生成部に光を導くための光学素子であり、レンズ又はガラスロッドなどを用いることができる。パターン生成部は、コード化されたパターンを生成する部材ないし装置であり、フォトマスク、回折光学素子（例えばDOE（Diffractive Optical Element））、光変調素子（例えば、ＤＬＰ（Digital Light Processing）、ＬＣＤ（Liquid Crystal Display）、ＬＣｏＳ（Liquid Crystal on Silicon）、ＭＥＭＳ（Micro Electro Mechanical Systems））などを用いることができる。投写レンズは生成されたパターンを拡大し投写する光学素子である。

照明部１０４は、一般的な可視光画像を撮影するために用いられる均一照明である。例えば白色ＬＥＤ照明などが用いられる。もしくはアクティブ投光と同じ波長帯の照明でもよい。

画像転送部１０５は、第１カメラ１０１で撮影された第１画像のデータ、及び、第２カメラ１０２で撮影された第２画像のデータを、画像処理装置１１へ転送する。画像転送部１０５は、第１画像と第２画像を別々の画像データとして転送してもよいし、第１画像と第２画像を繋ぎ合わせてサイドバイサイド画像を生成し単一の画像データとして転送してもよい。また、画像転送部１０５は、撮影条件を変えて撮影した複数の画像（例えば露光時間の異なる複数の画像）を繋ぎ合わせてサイドバイサイド画像を生成し単一の画像データとして転送してもよい。駆動制御部１０６は、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、及び、照明部１０４を制御するユニットである。なお、画像転送部１０５と駆動制御部１０６は、センサユニット１０側ではなく、画像処理装置１１側に設けてもよい。

（画像処理装置）
画像処理装置１１は、画像取得部１１０、パターン復号部１１１、視差予測部１１２、前処理部１１３、探索範囲設定部１１５、対応点探索部１１６、視差マップ合成部１１４、視差マップ後処理部１１７、デプスマップ生成部１１８を有する。

画像取得部１１０は、センサユニット１０から必要な画像データを取り込む機能を有する。画像取得部１１０は、第１画像及び第２画像からなる画像ペアを、パターン復号部１１１及び前処理部１１３に送る。

パターン復号部１１１は、空間コード化パターン投影方式によって、第１画像又は第２画像から距離情報を取得する機能をもつ。空間コード化パターン投影方式は、用いる単位パターンのサイズに依存して空間分解能が決まる。例えば、５画素×５画素の単位パターンを用いる場合、距離情報の空間分解能は入力画像の１／２５となる。視差予測部１１２は、パターン復号部１１１で得られた距離情報に基づき第１画像と第２画像の間の視差を予測し参考視差マップを出力する機能を有する。

前処理部１１３は、第１画像と第２画像に対して、必要な前処理を行う機能を有する。探索範囲設定部１１５は、予測視差に基づいて対応点の探索範囲を設定する機能を有する。対応点探索部１１６は、第１画像と第２画像の間の対応点を探索し、その探索結果に基づき視差マップを生成する機能を有する。視差マップ合成部１１４は、複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成する機能を有する。視差マップ後処理部１１７は、合成視差マップに対して必要な後処理を行う機能を有する。デプスマップ生成部１１８は、合成視差マップの視差情報を距離情報に変換し、デプスマップを生成する機能を有する。

画像処理装置１１は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、上述した各種の機能が実現される。ただし、画像処理装置１１の構成はこれに限られず、上述した機能のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

本例では、第１カメラ１０１、パターン投光部１０３、画像転送部１０５、画像取得部１１０、駆動制御部１０６、パターン復号部１１１、視差予測部１１２によって、図２の第２の計測系２２が構成されており、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、画像転送部１０５、駆動制御部１０６、前処理部１１３、探索範囲設定部１１５、対応点探索部１１６、視差マップ合成部１１４、視差マップ後処理部１１７、デプスマップ生成部１１８によって、図２の第１の計測系２１が構成されている。

（計測処理）
図４及び図５を参照して、第１実施形態の計測処理の流れを説明する。図４は、画像処理装置１１により実行される処理の流れを示すフロー図である。図５は、タイミングチャートである。

駆動制御部１０６からの開始信号をトリガとして、１回目の計測が実施される。まずパターン投光部１０３が点灯し、所定のパターン照明を対象物１２に投影する。そして、第１カメラ１０１と第２カメラ１０２で同時に撮像が行われ、画像転送部１０５から第１画像及び第２画像の転送が行われる。ステップＳ４００、Ｓ４０１において、画像取得部１１０が、第１画像及び第２画像からなる第１の画像ペアを取得する。画像取得部１１０は、パターン復号部１１１に第１画像を送り、前処理部１１３に第１画像と第２画像を送る。

続いて、駆動制御部１０６からの開始信号をトリガとして、２回目の計測が実施される。まずパターン投光部１０３が点灯し、所定のパターン照明を対象物１２に投影する。そして、第１カメラ１０１と第２カメラ１０２で同時に撮像が行われ、画像転送部１０５から第１画像及び第２画像の転送が行われる。ステップＳ４１０、Ｓ４１１において、画像取得部１１０が、第１画像及び第２画像からなる第２の画像ペアを取得する。画像取得部１１０は、パターン復号部１１１に第２画像を送り、前処理部１１３に第１画像と第２画像を送る。

２回目の計測と並列に、１回目の計測で得られた第１の画像ペアに対する画像処理が開始される。ステップＳ４０２において、前処理部１１３が、第１画像及び第２画像に対し平行化処理（レクティフィケーション）を行う。平行化処理とは、２つの画像の間の対応点が画像中の同じ水平ライン（又は垂直ライン）上に存在するように、一方又は両方の画像を幾何変換する処理である。平行化処理によりエピポーラ線が画像の水平ライン（又は垂直ライン）と平行になるため、後段の対応点探索の処理が簡単になる。なお、センサユニット１０から取り込まれる画像の平行度が十分高い場合には、平行化処理は省略してもよい。

ステップＳ４０３において、前処理部１１３が、平行化された第１画像及び第２画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。ハッシュ特徴量は、注目画素を中心とする局所領域の輝度特徴を表すものであり、ここでは、８要素のビット列からなるハッシュ特徴量を用いる。このように、各画像の輝度値をハッシュ特徴量に変換しておくことで、後段の対応点探索における局所的な輝度特徴の類似度計算が極めて効率化される。

ステップＳ４０４において、パターン復号部１１１が、第１画像を解析しパターンを復号することによって、第１画像上の複数の点における奥行方向の距離情報を取得する。

ステップＳ４０５において、視差予測部１１２が、ステップＳ４０４で得られた各点の距離情報に基づき、各点を平行化された第１画像の画像座標系に射影したときの２次元座標と、同じ点を平行化された第２画像の画像座標系に射影したときの２次元座標とを計算し、２つの画像の間での座標の差を計算する。この差が予測視差である。視差予測部１１２は、ステップＳ４０４で距離情報が得られたすべての点についての予測視差を求め、そのデータを参考視差マップとして出力する。

なお、第１画像に対する処理は、第１画像の転送が完了した時点（図５のα）から開始することにより全体の処理時間の短縮を図ってもよい。

２回目の計測で得られた第２の画像ペアの転送が完了すると、第２の画像ペアに対する画像処理が開始される。ステップＳ４１２において、前処理部１１３が、第１画像及び第２画像に対し平行化処理（レクティフィケーション）を行う。ステップＳ４１３において、前処理部１１３が、平行化された第１画像及び第２画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。ステップＳ４１４において、パターン復号部１１１が、第２画像を解析しパターンを復号することによって、第２画像に基づく距離情報を取得する。そして、ステップＳ４１５において、視差予測部１１２が、距離情報に基づいて予測視差を計算する。

理論上は、１回目（ステップＳ４０５）で得られる予測視差と２回目（ステップＳ４１５）で得られる予測視差は同じになるはずであるが、実際は完全に同一にはならない。１回目と２回目では異なるカメラ（視点）で撮影された画像を用いるため、画像の見え（つまり画像情報）に差異があるからである。それゆえ、１回目と２回目で予測視差の値に差が生じたり、一方は視差の予測に成功したが他方は失敗するということもあり得る。そこで、ステップＳ４２０において、視差予測部１１２が１回目の予測視差と２回目の予測視差を合成し、合成予測視差を求める。合成方法は特に限定されないが、例えば、１回目と２回目の両方で予測視差が得られている場合はそれらの平均値を合成予測視差とし、１回目と２回目のいずれか一方だけで予測視差が得られた場合はその値をそのまま合成予測視差とすればよい。

ステップＳ４２１において、探索範囲設定部１１５が、合成予測視差に基づいて、第１の画像ペアと第２の画像ペアのそれぞれに対し、対応点の探索範囲を設定する。探索範囲の大きさは、予測の誤差を考慮して決定される。例えば、予測の誤差が±１０画素である場合には、マージンを含めても、予測視差を中心とした±２０画素程度を探索範囲に設定すれば十分と考えられる。仮に水平ラインが６４０画素である場合に、探索範囲を±２０画素（つまり４０画素）に絞り込むことができれば、水平ライン全体を探索するのに比べて探索処理を単純に１／１６に削減することができる。

ステップＳ４２２において、対応点探索部１１６が、第１の画像ペアの間で対応点の探索を行い、各画素の視差を求める。対応点探索部１１６は、対応点の検出に成功した点（画素の座標）に視差情報を関連付けた視差データを生成する。この情報が視差マップ１である。同様に、ステップＳ４２３において、対応点探索部１１６が、第２の画像ペアの間で対応点の探索を行い、視差マップ２を生成する。

ステップＳ４２４において、視差マップ合成部１１４が、第１の画像ペアから得られた視差マップ１と第２の画像ペアから得られた視差マップ２を合成し、合成視差マップを生成する。合成方法は特に限定されないが、例えば、視差マップ１と視差マップ２の両方で視差が得られている場合はそれらの平均値を合成視差とし、視差マップ１と視差マップ２のいずれか一方だけで視差が得られた場合はその値をそのまま合成視差とすればよい。

ステップＳ４２５において、視差マップ後処理部１１７が、合成視差マップの修正を行う。対応点探索によって推定された視差マップには誤計測点や計測抜けなどが含まれるため、周囲の画素の視差情報に基づき誤計測点の修正や計測抜けの補完を行う。なお、ステップＳ４２４とＳ４２５の処理はどちらを先に行ってもよい。ステップＳ４２６において、デプスマップ生成部１１８が、合成視差マップの各画素の視差情報を３次元情報（奥行方向の距離情報）に変換し、デプスマップを生成する。このデプスマップ（３次元点群データ）は、例えば、対象物１２の形状認識、物体認識などに利用される。

上記で述べた第１実施形態の構成及び処理によれば、従来の一般的なステレオマッチングに比べて、対応点探索に要する時間を大幅に短縮することができるだけでなく、対応点探索の精度及び信頼性を向上できる。また、空間コード化パターン投影方式により生成された予測視差を利用することによって、ステレオマッチングでは計測が困難な部分を補完する効果も期待できる。そして、複数の画像ペアから得られた視差マップを合成することから、計測のばらつきを低減することもできる。したがって、総じて、高精度かつ信頼性の高い計測結果を安定して得ることができる。

また、第１画像と第２画像の両方から視差を予測することで、高精度な予測視差を得ることができる。また、仮に一方の画像の情報が欠損していたとしても、他方の画像を使って視差を予測できる可能性が高い。したがって、対応点の探索範囲をより適切に設定でき、精度及びロバスト性をさらに向上することができる。また、予測視差の生成とステレオマッチングとで、画像を共通化することにより、撮像及び画像転送の回数を削減できるため、処理全体の効率化及び高速化を図ることができる。また、同じカメラを利用できることから、装置構成の簡易化及び小型化を図ることができるという利点もある。

＜第２実施形態＞
図６及び図７を参照して、第２実施形態の計測処理の流れを説明する。図６は、画像処理装置１１により実行される処理の流れを示すフロー図である。図７は、タイミングチャートである。第１実施形態では、第１画像から求めた予測視差と第２画像から求めた予測視差を合成し、合成予測視差に基づき探索範囲を設定したのに対し、第２実施形態では、個別の予測視差に基づき探索範囲を設定する（ステップＳ６００、Ｓ６１０）。それ以外の処理は第１実施形態と同様であるため、図４と同一の符号を付して説明を省略する。

本実施形態の構成及び処理によっても、第１実施形態と同様の作用効果を得ることができる。加えて、本実施形態の処理では、予測視差の合成を行わないため、図７に示すように、画像処理１が完了したら（つまり、第１の画像ペア用の予測視差が得られたら）直ぐに視差マップ１の生成処理を開始できる。したがって、第１実施形態よりもトータルの処理時間を短縮することができる。

＜第３実施形態＞
図８に第３実施形態に係る３次元計測システムのセンサユニット１０の構成を模式的に示す。本実施形態のセンサユニット１０は、パターン投光部８０を中心にして４つのカメラ８１、８２、８３、８４が配置された構造を有している。

計測処理においては、パターン投光部８０から対象物１２にパターン照明を投影した状態で、４つのカメラ８１〜８４が同時に撮影を行い、互いに視点の異なる４つの画像が取り込まれる。ステレオマッチングには、この４つの画像の中から選択された画像ペアが用いられる。画像ペアの組み合わせは６通りあるが、その中のいずれのペアを選択してもよいし、２つ以上のペアを選択してもよい。例えば、エピポーラ線に対し水平ライン又は垂直ラインが平行な画像ペアを優先的に選択してもよいし、あるいは、画像情報の欠損が少ない画像ペアを優先的に選択してもよい。それ以外の構成及び処理は前述の実施形態と同様であるため説明を省略する。

本実施形態の構成及び処理によっても、前述の実施形態と同様の作用効果を得ることができる。加えて、本実施形態では、多視点でのステレオ計測が実現できるため、計測のロバスト性をさらに向上することができる。なお、図８の構成は例示であり、パターン投光部及びカメラの配置や、パターン投光部の数、カメラの数などは任意に設計できる。

＜第４実施形態＞
図９及び図１０を参照して、第４実施形態の計測処理の流れを説明する。図９は、画像処理装置１１により実行される処理の流れを示すフロー図である。図１０は、タイミングチャートである。第１実施形態では、同一の撮影条件で１回目の計測と２回目の計測を行ったのに対し、第４実施形態では、１回目の計測と２回目の計測とで露光時間を変える。

具体的には、図１０に示すように、１回目の計測においては「露光時間１」で第１カメラ及び第２カメラによる撮影を行い、２回目の計測においては「露光時間２」で第１カメラ及び第２カメラによる撮影を行う（露光時間２＞露光時間１）。そして、画像処理装置１１は、図９に示すように、露光時間１で撮影された第１画像及び第２画像の画像ペア（ステップＳ９００、Ｓ９０１）によりステレオマッチングを行うと共に、露光時間２で撮影された第１画像及び第２画像の画像ペア（ステップＳ９１０、Ｓ９１１）によりステレオマッチングを行い、得られた２つの視差マップ１及び２を合成して最終的な計測結果を出力する。

短い露光時間１で撮影した場合は、ハレーション（いわゆる白飛び）を低減できると共に、画像中の明部領域の階調性を高めることができる。それゆえ、鏡面物体や明るい色の物体の３次元情報（視差情報）を得るには、露光時間１で撮影した画像の方が適している。他方、長い露光時間２で撮影した場合は、暗部領域の階調性を高めることができるため、低反射率の物体や陰になっている部分の３次元情報（視差情報）を得るには、露光時間２で撮影した画像の方が適している。したがって、本実施形態のように、露光時間１の画像ペアから得た視差マップ１と露光時間２の画像ペアから得た視差マップ２を合成することで、反射特性の違いや照明の状況などに対してロバストな３次元計測が実現できる。なお、図９の例では、露光時間１で撮影された第１画像と露光時間２で撮影された第１画像の２つを視差の予測に用いたが、第１実施形態と同じように第１画像と第２画像の２つを視差の予測に用いてもよい。また、第３実施形態で述べた３台以上のカメラを設ける構成を本実施形態に適用してもよい。

＜第５実施形態＞
図１１及び図１２を参照して、第５実施形態の計測処理の流れを説明する。図１１は、画像処理装置１１により実行される処理の流れを示すフロー図である。図１２は、タイミングチャートである。第４実施形態では、合成予測視差に基づき探索範囲を設定したのに対し、第５実施形態では、個別の予測視差に基づき探索範囲を設定する（ステップＳ１１００、Ｓ１１１０）。それ以外の処理は第４実施形態と同様であるため、図９と同一の符号を付して説明を省略する。

本実施形態の構成及び処理によっても、第４実施形態と同様の作用効果を得ることができる。加えて、本実施形態の処理では、予測視差の合成を行わないため、図１２に示すように、画像処理１が完了したら（つまり、第１の画像ペア用の予測視差が得られたら）直ぐに視差マップ１の生成処理を開始できる。したがって、第４実施形態よりもトータルの処理時間を短縮することができる。また、第３実施形態で述べた３台以上のカメラを設ける構成を本実施形態に適用してもよい。

＜第６実施形態＞
第４及び第５実施形態では、カメラの露光条件を変化させたが、代わりに照明条件を変化させることによっても、同様の処理を行うことが可能である。すなわち、１回目の計測ではパターン投光部１０３を第１の明るさに設定して撮影を行い、２回目の計測ではパターン投光部１０３を第２の明るさに変更して撮影を行う。このとき、「第１の明るさ＜第２の明るさ」のように設定し、１回目の計測と２回目の計測でカメラの露光条件を同一にすれば、１回目の計測では鏡面物体や明るい色の物体の３次元情報（視差情報）を得るのに適した画像が得られ、２回目の計測では低反射率の物体や陰になっている部分の３次元情報（視差情報）を得るのに適した画像が得られる。したがって、それぞれの画像ペアでステレオマッチングを行い、得られた視差マップを合成し、最終的な計測結果を生成することにより、反射特性の違いや照明の状況などに対してロバストな３次元計測が実現できる。

パターン投光部１０３の明るさを制御する方法としては、点灯時間を制御する方法、デューティ比を制御する方法、点灯強度を制御する方法などがあり、いずれの方法を用いてもよい。図１３Ａ〜図１３Ｃは、パターン投光部１０３の駆動信号の例を示している。

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば上記実施形態では、空間コード化パターン投影方式を例示したが、第２の計測系の測距方式はステレオマッチング以外の方式であれば如何なる方式を採用してもよい。また、上記実施形態では、ステレオマッチングにハッシュ特徴量を利用したが、対応点の類似度評価には他の手法を用いてもよい。例えば、類似度の評価指標としてはSAD（Sum of Absolute Difference）、SSD（Sum of Squared Difference）、NC（Normalized Correlation）などによる左右画像の画素の類似度計算法がある。また、上記実施形態では、参考デプスマップの生成（視差の予測）とステレオマッチングとで共有するカメラの画像を用いたが、それぞれ異なる三次元計測用のカメラの画像を用いてもよい。

＜付記＞
（１） 画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置（１１）であって、
異なる視点から撮影された第１画像及び第２画像からなる画像ペアを取得する画像取得手段（１１０）と、
ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段（１１２）と、
前記予測視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段（１１５）と、
前記設定された探索範囲に限定して前記第１画像と前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段（１１６）と、
複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成する視差マップ合成手段（１１４）と、
前記合成視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段（１１８）と、
を有することを特徴とする画像処理装置（１１）。

１：３次元計測システム
１０：センサユニット
１１：画像処理装置
１２：対象物
２１：第１の計測系
２２：第２の計測系

Claims (12)

1. 画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置であって、
   異なる視点から撮影された第１画像及び第２画像からなる画像ペアを取得する画像取得手段と、
   ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段と、
   前記予測視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、
   前記設定された探索範囲に限定して前記第１画像と前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段と、
   複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成する視差マップ合成手段と、
   前記合成視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記視差予測手段は、複数の予測視差を生成し、
   前記設定手段は、前記複数の予測視差を合成した合成予測視差を、前記複数の画像ペアの探索範囲の設定に用いる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記視差予測手段は、複数の予測視差を生成し、
   前記設定手段は、探索範囲の設定に用いる予測視差を、画像ペアごとに変える
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記視差予測手段は、カメラで撮影された画像から前記予測視差の生成を行うものであり、
   前記複数の予測視差は、カメラ及び／又は撮影条件を変えて撮影された、異なる画像から生成されたものである
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記画像取得手段が、第１の画像ペアと第２の画像ペアを取得し、
   前記視差予測手段が、前記第１の画像ペアのうちの第１画像から第１の予測視差を生成するとともに、前記第２の画像ペアのうちの第２画像から第２の予測視差を生成し、
   前記設定手段が、前記第１の予測視差と前記第２の予測視差を合成した合成予測視差を、前記第１の画像ペア及び前記第２の画像ペアの探索範囲の設定に用いる
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記画像取得手段が、第１の画像ペアと第２の画像ペアを取得し、
   前記視差予測手段が、前記第１の画像ペアのうちの第１画像から第１の予測視差を生成するとともに、前記第２の画像ペアのうちの第２画像から第２の予測視差を生成し、
   前記設定手段が、前記第１の予測視差と前記第２の予測視差のうちの一方の予測視差を前記第１の画像ペアの探索範囲の設定に用い、他方の予測視差を前記第２の画像ペアの探索範囲の設定に用いる
   ことを特徴とする請求項３に記載の画像処理装置。
7. 前記複数の画像ペアは、異なる撮影条件で撮影された２以上の画像ペアを含む
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記異なる撮影条件で撮影された２以上の画像ペアは、露光条件及び／又は照明条件を変えて撮影された画像ペアを含む
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記視差予測手段は、空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測する
   ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 少なくとも２つのカメラを有するセンサユニットと、
    前記センサユニットから取り込まれる画像を用いてデプスマップを生成する請求項１〜９のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする３次元計測システム。
11. コンピュータを、請求項１〜９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
12. 画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理方法であって、
    異なる視点から撮影された第１画像及び第２画像からなる画像ペアを複数取得するステップと、
    前記複数の画像ペアのそれぞれについて、ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測するステップと、
    前記予測視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定するステップと、
    前記複数の画像ペアのそれぞれについて、前記設定された探索範囲に限定して前記第１画像と前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成するステップと、
    複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成するステップと、
    前記合成視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するステップと、
    を有することを特徴とする画像処理方法。

Images