WO2020183710A1

WO2020183710A1 - 画像処理装置及び３次元計測システム

Info

Publication number: WO2020183710A1
Application number: PCT/JP2019/010582
Authority: WO
Inventors: 松本　慎也
Original assignee: オムロン株式会社
Priority date: 2019-03-14
Filing date: 2019-03-14
Publication date: 2020-09-17
Also published as: JP7078172B2; EP3832600A1; JPWO2020183710A1; US11348271B2; EP3832600A4; US20220012905A1; CN112602117A

Abstract

画像処理装置が、ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段と、第１画像及び第２画像のそれぞれに対し、水平方向及び／又は垂直方向の画素数を減じる変換処理を施す変換手段と、前記予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、前記設定された探索範囲に限定して前記変換処理後の前記第１画像と前記変換処理後の前記第２画像の間の各画素の対応点を探索する手段とを備える。

Description

画像処理装置及び３次元計測システム

　本発明は、画像を用いた３次元計測に関する。

　従来、対象物の３次元計測を行うための種々の手法が知られており、それらは、光の性質に着目して、光の直進性を用いる手法と光の速度を用いる手法に大別される。これらのうち、光の直進性を用いる手法には、アクティブ計測（能動型計測）及びパッシブ計測（受動型計測）の何れかに分類される方式が含まれ、光の速度を用いる手法には、アクティブ計測（能動型計測）に分類される方式が含まれる。

　非特許文献１には、アクティブ計測方式の一例である空間コード化パターン投影方式の具体例として、空間的な符号化（コード化）がなされたパターン照明を対象物に投影し、そのパターンが投影された対象物を撮影した画像を解析することにより３次元形状を取得する方法が記載されている。

　また、パッシブ計測方式の一例として、異なる視点から撮影された２つの画像を用いて対象物の３次元形状を計測する、いわゆるステレオマッチング（ステレオビジョンとも呼ばれる）が知られている（特許文献１参照）。図１１にステレオマッチングの原理を示す。ステレオマッチングでは、例えば左右に配置した２台のカメラで対象物Ｏを同時に撮影し、２枚の画像を得る。一方を基準画像Ｉ１、他方を比較画像Ｉ２とし、基準画像Ｉ１中の画素（基準点Ｐ１）と画像特徴が最も近い画素（対応点Ｐ２）を、比較画像Ｉ２中のエピポーラ線Ｅに沿って探索し、基準点Ｐ１と対応点Ｐ２の間の座標の差（視差）を求める。各カメラの幾何学的な位置は既知であるので、三角測量の原理により、視差から奥行方向の距離Ｄ（デプス）を算出でき、対象物Ｏの３次元形状を復元することができる。

特開２０１２－２４８２２１号公報

P. Vuylsteke and A. Oosterlinck, Range Image Acquisition with a Single Binary-Encoded Light Pattern, IEEE PAMI 12(2), pp. 148-164, 1990.

　ステレオマッチングは、高解像のカメラを用いることによって、計測精度の向上を図ることができるとともに、計測点（対応点が見つかり、距離情報の取得に成功した画素）の数及び空間分解能を高めることができる、という特性をもつ。しかしその反面、カメラから取り込まれる入力画像の画素数が多くなるほど、対応点の探索に時間を要し、計測時間が著しく増大するというデメリットがある。また、計測点群の数が増えると、後段の処理（例えば物体認識や形状認識など）の開始タイミングが計測点群データの転送時間に律速されてしまったり、後段の処理の演算量が増えてしまったりすることで、システム全体としての処理の遅延を招くおそれがある。特にロボットビジョンやマシンビジョンの分野ではリアルタイム処理のニーズが高く、計測時間及びデータ転送時間の短縮は実用上の重要な技術課題の一つである。とはいえ、処理高速化を優先して、単純に低解像度の画像を用いるだけでは、計測精度及び信頼性の低下を招いてしまい、望ましくない。

　本発明は、上記実情に鑑みてなされたものであり、ステレオマッチングによる計測において、高い精度と高速な処理を両立するための技術を提供することを目的とする。

　本発明の一側面は、画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置であって、異なる視点から撮影された第１画像及び第２画像を取得する画像取得手段と、ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段と、前記第１画像及び前記第２画像のそれぞれに対し、水平方向及び／又は垂直方向の画素数を減じる変換処理を施す変換手段と、前記予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、前記設定された探索範囲に限定して前記変換処理後の前記第１画像と前記変換処理後の前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段と、前記視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段と、を有することを特徴とする画像処理装置を提供する。

　上記構成では、画素数が減じられた画像をステレオマッチングに用いると共に、予測された視差に基づき対応点の探索範囲を限定する。これにより、従来の一般的なステレオマッチングに比べて、対応点探索に要する時間を大幅に短縮することができる。また、ステレオマッチングの結果である、デプスマップのデータ点数（データ量）も削減されるため、データ転送時間の短縮ならびに後段の処理時間の短縮も図ることができるという効果もある。加えて、上記構成では、予測された視差に基づいて探索範囲（つまり、対応点が存在する蓋然性が高い範囲）が絞り込まれることから、対応点探索の精度及び信頼性の低下を抑えつつ、処理の高速化を図ることが可能となる。

　前記変換手段は、前記第１画像及び前記第２画像のそれぞれに対し、水平方向と垂直方向の両方向の画素数を減じてもよい。対応点探索処理の前に両方向の画素数を減じておくことで、対応点探索に要する時間を最大限短縮することができるからである。

　前記視差マップ生成手段により生成された前記視差マップに対し、水平方向又は垂直方向の画素数を減じる第２変換処理を施す第２変換手段をさらに有してもよい。この場合、前記変換手段は、前記第１画像及び前記第２画像のそれぞれに対し、水平方向及び垂直方向のうちの一方の方向の画素数を減じる前記変換処理を施し、前記第２変換手段は、前記視差マップに対し、前記変換手段とは異なる方向の画素数を減じる前記第２変換処理を施し、前記デプスマップ生成手段は、前記第２変換処理後の前記視差マップから前記デプスマップを生成してもよい。このように、一方の方向の画素数のみを減じた画像を対応点探索に用いることで、従来（画素数を減じない場合）よりも対応点探索に要する時間の短縮を図りつつ、両方向の画素数を減じる場合よりも対応点探索の信頼性を高めることができる。すなわち、高速性と信頼性のバランスがとれた処理を実現できる。

　前記一方の方向は、エピポーラ線に対して垂直な方向であってもよい。対応点はエピポーラ線上に存在する。したがって、エピポーラ線に平行な方向の画素数を減じない（つまり、エピポーラ線に平行な方向の情報量を残した）状態で対応点探索を行う方が、対応点探索の精度及び信頼性を維持することができる。

　前記変換処理は、画素を間引く処理であってもよい。処理が簡便で高速だからである。また、間引き処理であれば、対応点探索に悪影響を与えるようなアーチファクトも発生しないからである。

　前記視差予測手段は、前記ステレオマッチングとは異なる前記方式として、空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測してもよい。空間コード化パターン投影方式は、ステレオマッチングよりも格段に短い処理時間で距離情報を得ることができるからである。なお、空間コード化パターン投影方式の測距の空間分解能は、ステレオマッチング方式に比べて低いものの、視差の予測に用いる目的であれば必要十分といえる。

　この場合に、前記第１画像及び前記第２画像は、空間コード化パターン投影方式のためのパターン照明を投影して撮影された画像であり、前記視差予測手段は、前記第１画像又は前記第２画像を用いた空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測してもよい。ステレオマッチングに用いる画像と空間コード化パターン投影方式に用いる画像を共通化することにより、撮像及び画像転送の回数を削減できるため、処理全体の効率化及び高速化を図ることができる。また、同じカメラを利用できることから、装置構成の簡易化及び小型化を図ることができるという利点もある。

　前記視差予測手段は、前記ステレオマッチングとは異なる前記方式として、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式により得られた距離情報に基づいて、視差を予測するものであってもよい。ＴＯＦ方式は、ステレオマッチングよりも格段に短い処理時間で距離情報を得ることができるからである。なお、ＴＯＦ方式の測距の空間分解能は、ステレオマッチング方式に比べて低くてもよい。

　本発明の一側面は、少なくとも２つのカメラを有するセンサユニットと、前記センサユニットから取り込まれる画像を用いてデプスマップを生成する画像処理装置と、を有することを特徴とする３次元計測システムを提供する。

　本発明は、上記手段の少なくとも一部を有する画像処理装置として捉えてもよいし、センサユニットと画像処理装置を有する３次元計測システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む画像処理、３次元計測方法、測距方法、画像処理装置の制御方法などとして捉えてもよく、または、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

　本発明によれば、ステレオマッチングによる計測において、高い精度と高速な処理を両立することが可能である。

図１は、本発明の適用例の一つである３次元計測システムの構成例を模式的に示す図である。図２は、３次元計測システムの機能及び処理の概要を模式的に示す図である。図３は、第１実施形態に係る３次元計測システムの機能ブロック図である。図４は、第１実施形態の計測処理の流れを示すフロー図である。図５は、第１実施形態の計測処理の変形例を示すフロー図である。図６は、第２実施形態の計測処理の流れを示すフロー図である。図７は、第２実施形態の計測処理の変形例を示すフロー図である。図８は、第３実施形態の計測処理の流れを示すフロー図である。図９は、第３実施形態の計測処理の変形例を示すフロー図である。図１０は、第４実施形態に係る３次元計測システムの機能ブロック図である。図１１は、ステレオマッチングの原理を説明する図である。

　＜適用例＞
　図１は、本発明の適用例の一つである３次元計測システムの構成例を模式的に示す図である。３次元計測システム１は、画像センシングによって対象物１２の３次元形状を計測するためのシステムであり、概略、センサユニット１０と画像処理装置１１から構成される。センサユニット１０は、少なくともカメラ（イメージセンサや撮像装置とも呼ばれる）を備えており、必要に応じて他のセンサを備える場合もある。センサユニット１０の出力は画像処理装置１１に取り込まれる。画像処理装置１１は、センサユニット１０から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置１１の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。画像処理装置１１の処理結果は、例えば、ディスプレイなどの出力装置に出力されたり、外部に転送されて検査や他の装置の制御等に利用される。このような３次元計測システム１は、例えば、コンピュータビジョン、ロボットビジョン、マシンビジョンをはじめとして、幅広い分野に適用される。

　なお、図１の構成はあくまで一例であり、３次元計測システム１の用途に応じてそのハードウェア構成は適宜設計すればよい。例えば、センサユニット１０と画像処理装置１１は無線で接続されてもよいし、センサユニット１０と画像処理装置１１が一体の装置で構成されていてもよい。また、センサユニット１０と画像処理装置１１をＬＡＮ又はインターネット等の広域ネットワークを介して接続してもよい。また、１つの画像処理装置１１に対し複数のセンサユニット１０を設けてもよいし、逆に、１つのセンサユニット１０の出力を複数の画像処理装置１１に提供してもよい。さらに、センサユニット１０をロボットや移動体に取り付けるなどしてセンサユニット１０の視点を移動可能にしてもよい。

　図２は、３次元計測システム１の機能及び処理の概要を模式的に示す図である。３次元計測システム１は、対象物１２の距離を計測するための計測系として、第１の計測系２１と第２の計測系２２の２つを備えている。各計測系２１、２２の機能及び処理は、センサユニット１０と画像処理装置１１とが協働して実現されるものである。

　第１の計測系２１は、ステレオマッチング（ステレオビジョン、ステレオカメラ方式などとも呼ばれる）によって対象物１２までの奥行距離（デプス）を計測する。ステレオマッチングは空間分解能の高い計測が可能であることから、本システム１では第１の計測系２１によって生成される距離情報を最終的な出力とする。

　他方、第２の計測系２２も対象物１２の測距を行うものであるが、第２の計測系２２で得られる距離情報は、第１の計測系２１で観測される視差を大まかに予測しステレオマッチングにおける探索範囲を絞り込むという目的で、補助的に利用される。第２の計測系２２としては、ステレオマッチングとは異なる方式で測距を行うものであれば如何なる方式の計測系を用いてもよい。

　３次元計測方式のうち光の直進性を用いるアクティブ計測方式としては、例えば、三角測量を基本原理とする空間コード化パターン投影方式、時間コード化パターン投影方式、モアレトポグラフィ方式（等高線方式）、照度差ステレオ方式（照射方向／Photometric Stereo）等、及び、同軸測距を基本原理とする照度差方式、レーザ共焦点方式、白色共焦点方式、光干渉方式等が挙げられる。また、光の直進性を用いるパッシブ計測方式としては、例えば、視体積交差方式（Shape from silhouette）、因子分解方式（factorization）、Depth from Motion（Structure from Motion）方式、Depth from Shading方式等、及び、同軸測距を基本原理とするDepth from focusing方式、Depth from defocus方式、Depth from zoom方式等が挙げられる。さらに、光の速度を用いるアクティブ計測方式としては、例えば、同時測距を基本原理とする光時間差（TOF）測定方式、光位相差（TOF）測定方式、並びに、電波、音波及びミリ波による（TOF）方式等が挙げられる。

　上記したいずれの方式を第２の計測系２２として採用してもよい。ただし、第２の計測系２２は視差の大まかな予測が目的であるため、ステレオマッチングより計測精度や空間分解能が低くて構わないので、ステレオマッチングに比べて計測時間が短い高速な方式を用いることが好ましい。後述する実施形態では、計測時間が短いという利点、及び、第１の計測系２１とセンサ及び画像を共用できるという利点から、空間コード化パターン投影方式を用いる。

　続いて、図２を参照して、３次元計測システム１による計測処理の大まかな流れを説明する。

　（１）第１の計測系２１が、センサユニット１０から２枚の画像（第１画像、第２画像と呼ぶ）からなるステレオ画像ペアを取得する。この２枚の画像は、対象物１２に対する視差が生ずるように、対象物１２を異なる視点（視線方向）から撮影したものである。センサユニット１０が複数のカメラを備えている場合には、２台のカメラで第１画像と第２画像を同時に撮影してもよい。あるいは、カメラを移動させながら連続的に撮影することで、単一のカメラで第１画像と第２画像を取得してもよい。

　（２）第２の計測系２２が、対象物１２の距離計測を行い、得られた距離情報に基づき第１画像と第２画像の間の視差を予測し、その予測した視差を参考視差マップとして出力する。本明細書では、第１の計測系２１のステレオマッチングで生成される視差マップと区別するため、第２の計測系２２で生成される視差マップを「参考視差マップ」と呼ぶ。参考視差マップは、第１の計測系２１のステレオマッチングにおける探索範囲を絞り込むために補助的に用いられるものであるため、第１画像及び第２画像よりも空間分解能が低い（粗い）もので構わない。なお、参考視差マップは、センサユニット１０から得られる画像又はその他のセンシングデータに基づき画像処理装置１１側で生成されてもよいし、センサユニット１０自身が測距機能を具備する場合（ＴＯＦ方式のイメージセンサなど）にはセンサユニット１０側で参考視差マップが生成されてもよい。

　（３）第１の計測系２１が、第１画像及び第２画像のそれぞれに対し、画素数を減じる変換処理を施す。ここでは、画像の垂直方向（縦方向）の画素数を減じる処理（水平ラインの数を減じる処理）のみ行ってもよいし、画像の水平方向（横方向）の画素数を減じる処理（垂直ラインの数を減じる処理）のみ行ってもよいし、垂直方向と水平方向の両方の画素数を減じる処理を行ってもよい。変換処理は、例えば、画素（又はライン）を間引く処理でもよい。間引き処理は、処理が簡便で高速であるし、後段のステレオマッチングに悪影響を与えるようなアーチファクトも発生しないからである。縮小率（間引き間隔）は任意に設定でき、例えば、１画素（１ライン）ずつ間引くと画素数は１／２となり、２画素（２ライン）ずつ間引くと画素数は１／３、・・・、ｎ画素（ｎライン）ずつ間引くと画素数は１／（ｎ＋１）となる。変換処理としては、間引き以外にも、補間による解像度低減処理を用いてもよい。補間法としては、ニアレストネイバー、バイリニア、バイキュービックなど如何なる方法を用いてもよい。これ以後の処理には、オリジナルの第１画像及び第２画像の代わりに、変換処理後の第１画像及び第２画像（画素数が削減された第１画像及び第２画像）が用いられる。

　（４）第１の計測系２１が、第２の計測系２２から取得した参考視差マップを用いて、ステレオマッチングにおける対応点の探索範囲を設定する。前述のように参考視差マップの空間分解能ないし精度はそれほど高くないため、予測視差がある程度の誤差を含むことは避けられない。したがって、対応点の探索範囲は、その誤差範囲を包含するように設定するとよい。例えば、予測視差の値がｄ［画素］であり、誤差が±ｄｅｒｒ［画素］である場合には、探索範囲をｄ－ｄｅｒｒ－ｃ～ｄ＋ｄｅｒｒ＋ｃのように設定してもよい。ｃはマージンである。なお、第１画像のすべての画素に対し個別に探索範囲を設定してもよいし、画像内での局所的な視差の変化が大きくない場合などは、第１画像を複数のエリアに分割してエリア単位で探索範囲を設定してもよい。

　（５）第１の計測系２１が、設定された探索範囲の中から、第１画像と第２画像の間の各画素の対応点を探索する。例えば、第１画像を基準画像、第２画像を比較画像とした場合、第１画像中の画素（基準点）と画像特徴が最も近い第２画像中の画素が対応点として選ばれ、基準点と対応点の座標の差が、当該基準点における視差として求まる。第１画像中のすべての画素について対応点の探索が行われ、その探索結果から視差マップが生成される。視差マップは、各画素の座標に視差情報が関連付けられたデータである。

　（６）第１の計測系２１は、三角測量の原理を用いて、視差マップの視差情報を距離情報（デプス）に変換し、デプスマップを生成する。

　従来の一般的なステレオマッチングでは、比較画像の全体から対応点の探索を行うため、高解像度の画像を用いると不可避的に処理時間が長くなってしまう。これに対し、上記構成では、予測された視差に基づき対応点の探索範囲が限定される。これにより、探索範囲を格段に狭くできるため、対応点の探索に要する時間を大幅に短縮することができる。また、画素数が減じられた画像をステレオマッチングに利用するため、対応点探索に要する時間を一層短縮できる。さらに、画素数を減じることによって、最終的なデプスマップのデータ点数（データ量）も削減されるため、データ転送時間の短縮ならびに後段の処理時間の短縮も図ることができるという効果もある。これらの利点は、リアルタイム処理を実現する上で、極めて有効である。

　なお、従来の一般的なステレオマッチングにおいて画像の画素数を単純に減じただけでは、必要な情報量が欠落してしまい、対応点探索の精度が低下したり、対応点が見つからない画素が増加するおそれがある。これに対し、上記構成では、ステレオマッチングとは異なる方式で予測された視差に基づいて探索範囲（つまり、対応点が存在する蓋然性が高い範囲）が絞り込まれることから、対応点探索の精度及び信頼性の低下を抑えつつ、処理の高速化を図ることが可能となる。

　＜第１実施形態＞
　図３を参照して、第１実施形態に係る３次元計測システム１の構成例について説明する。図３は、３次元計測システム１の機能ブロック図である。

　（センサユニット）
　センサユニット１０は、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、照明部１０４、画像転送部１０５、駆動制御部１０６を有する。

　第１カメラ１０１と第２カメラ１０２は、いわゆるステレオカメラを構成するカメラ対であり、所定の距離だけ離れて配置されている。２つのカメラ１０１、１０２で同時に撮影を行うことで、異なる視点から撮影した画像ペアを得ることができる（第１カメラ１０１の画像を第１画像、第２カメラ１０２の画像を第２画像と呼ぶ）。２つのカメラ１０１、１０２は、互いの光軸が交差し、且つ、水平ライン（又は垂直ライン）が同一平面上にくるように、配置されるとよい。このような配置をとることで、エピポーラ線が画像の水平ライン（又は垂直ライン）と平行になるため、ステレオマッチングにおける対応点を同じ位置の水平ライン（又は垂直ライン）内から探索すればよく、探索処理の簡易化が図れるからである。なお、カメラ１０１、１０２としては、モノクロのカメラを用いてもよいし、カラーのカメラを用いてもよい。

　パターン投光部１０３は、空間コード化パターン投影方式の測距で用いるパターン照明を対象物１２に投影するための装置であり、プロジェクタとも呼ばれる。パターン投光部１０３は、例えば、光源部、導光レンズ、パターン生成部、投写レンズなどから構成される。光源部としては、ＬＥＤ、レーザー、ＶＣＳＥＬ（Vertical cavity Surface-emitting Laser）などを用いることができる。導光レンズは光源部からパターン生成部に光を導くための光学素子であり、レンズ又はガラスロッドなどを用いることができる。パターン生成部は、コード化されたパターンを生成する部材ないし装置であり、フォトマスク、回折光学素子（例えばDOE（Diffractive Optical Element））、光変調素子（例えば、ＤＬＰ（Digital Light Processing）、ＬＣＤ（Liquid Crystal Display）、ＬＣｏＳ（Liquid Crystal on Silicon）、ＭＥＭＳ（Micro Electro Mechanical Systems））などを用いることができる。投写レンズは生成されたパターンを拡大し投写する光学素子である。

　照明部１０４は、一般的な可視光画像を撮影するために用いられる均一照明である。例えば白色ＬＥＤ照明などが用いられる。もしくはアクティブ投光と同じ波長帯の照明でもよい。

　画像転送部１０５は、第１カメラ１０１で撮影された第１画像のデータ、及び、第２カメラ１０２で撮影された第２画像のデータを、画像処理装置１１へ転送する。画像転送部１０５は、第１画像と第２画像を別々の画像データとして転送してもよいし、第１画像と第２画像を繋ぎ合わせてサイドバイサイド画像を生成し単一の画像データとして転送してもよい。駆動制御部１０６は、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、及び、照明部１０４を制御するユニットである。なお、画像転送部１０５と駆動制御部１０６は、センサユニット１０側ではなく、画像処理装置１１側に設けてもよい。

　（画像処理装置）
　画像処理装置１１は、画像取得部１１０、パターン復号部１１１、視差予測部１１２、前処理部１１３、解像度変換部１１４、探索範囲設定部１１５、対応点探索部１１６、視差マップ後処理部１１７、デプスマップ生成部１１８を有する。

　画像取得部１１０は、センサユニット１０から必要な画像データを取り込む機能を有する。画像取得部１１０は、パターン復号部１１１に第１画像を送り、前処理部１１３に第１画像と第２画像からなるステレオ画像ペアを送る。

　パターン復号部１１１は、空間コード化パターン投影方式によって、第１画像から距離情報を取得する機能をもつ。空間コード化パターン投影方式は、用いる単位パターンのサイズに依存して空間分解能が決まる。例えば、５画素×５画素の単位パターンを用いる場合、距離情報の空間分解能は入力画像の１／２５となる。視差予測部１１２は、パターン復号部１１１で得られた距離情報に基づき第１画像と第２画像の間の視差を予測し参考視差マップを出力する機能を有する。

　前処理部１１３は、第１画像と第２画像に対して、必要な前処理を行う機能を有する。解像度変換部１１４は、第１画像と第２画像に対して、画素数を減じる変換処理を行う機能を有する。探索範囲設定部１１５は、予測視差に基づいて対応点の探索範囲を設定する機能を有する。対応点探索部１１６は、第１画像と第２画像の間の対応点を探索し、その探索結果に基づき視差マップを生成する機能を有する。視差マップ後処理部１１７は、視差マップに対して必要な後処理を行う機能を有する。デプスマップ生成部１１８は、視差マップの視差情報を距離情報に変換し、デプスマップを生成する機能を有する。

　画像処理装置１１は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、上述した各種の機能が実現される。ただし、画像処理装置１１の構成はこれに限られず、上述した機能のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

　本例では、第１カメラ１０１、パターン投光部１０３、画像転送部１０５、画像取得部１１０、駆動制御部１０６、パターン復号部１１１、視差予測部１１２によって、図２の第２の計測系２２が構成されており、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、画像転送部１０５、駆動制御部１０６、前処理部１１３、解像度変換部１１４、探索範囲設定部１１５、対応点探索部１１６、視差マップ後処理部１１７、デプスマップ生成部１１８によって、図２の第１の計測系２１が構成されている。

　（計測処理）
　図４を参照して、第１実施形態の計測処理の流れを説明する。図４は、画像処理装置１１により実行される処理の流れを示すフロー図である。

　ステップＳ４００、Ｓ４０１において、画像取得部１１０が、センサユニット１０から第１画像と第２画像を取得する。第１画像及び第２画像はそれぞれ、パターン投光部１０３から対象物１２にパターン照明を投影した状態で、第１カメラ１０１及び第２カメラ１０２で撮影された画像である。なお、センサユニット１０からサイドバイサイド画像形式のデータが取り込まれた場合は、画像取得部１１０がサイドバイサイド画像を第１画像と第２画像に分割する。画像取得部１１０は、パターン復号部１１１に第１画像を送り、前処理部１１３に第１画像と第２画像を送る。

　ステップＳ４０２において、前処理部１１３が、第１画像及び第２画像に対し平行化処理（レクティフィケーション）を行う。平行化処理とは、２つの画像の間の対応点が画像中の同じ水平ライン（又は垂直ライン）上に存在するように、一方又は両方の画像を幾何変換する処理である。平行化処理によりエピポーラ線が画像の水平ライン（又は垂直ライン）と平行になるため、後段の対応点探索の処理が簡単になる。なお、センサユニット１０から取り込まれる画像の平行度が十分高い場合には、ステップＳ４０２の平行化処理は省略してもよい。

　ステップＳ４０３において、前処理部１１３が、平行化された第１画像及び第２画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。ハッシュ特徴量は、注目画素を中心とする局所領域の輝度特徴を表すものであり、ここでは、８要素のビット列からなるハッシュ特徴量を用いる。このように、各画像の輝度値をハッシュ特徴量に変換しておくことで、後段の対応点探索における局所的な輝度特徴の類似度計算が極めて効率化される。

　ステップＳ４０４において、解像度変換部１１４が、第１画像及び第２画像のそれぞれに対し解像度変換処理を施す。本実施形態では、画像の水平ラインを１ラインおきに間引くことで、各画像の垂直方向の画素数を１／２に削減する。エピポーラ線が画像の水平方向と平行な場合には、本実施形態のように、垂直方向の画素数のみ削減し、水平方向の画像情報は残したままにすることで、対応点探索の精度及び信頼性を維持することができる。

　ステップＳ４０５において、パターン復号部１１１が、オリジナルの第１画像を解析しパターンを復号することによって、第１画像上の複数の点における奥行方向の距離情報を取得する。

　ステップＳ４０６において、視差予測部１１２が、ステップＳ４０５で得られた各点の距離情報に基づき、各点を平行化された第１画像の画像座標系に射影したときの２次元座標と、同じ点を平行化された第２画像の画像座標系に射影したときの２次元座標とを計算し、２つの画像の間での座標の差を計算する。この差が予測視差である。視差予測部１１２は、ステップＳ４０５で距離情報が得られたすべての点についての予測視差を求め、そのデータを参考視差マップとして出力する。

　ステップＳ４０７において、探索範囲設定部１１５が、予測視差に基づいて、画素削減後の第１画像及び第２画像に対し、対応点の探索範囲を設定する。探索範囲の大きさは、予測の誤差を考慮して決定される。例えば、予測の誤差が±１０画素である場合には、マージンを含めても、予測視差を中心とした±２０画素程度を探索範囲に設定すれば十分と考えられる。仮に水平ラインが６４０画素である場合に、探索範囲を±２０画素（つまり４０画素）に絞り込むことができれば、水平ライン全体を探索するのに比べて探索処理を単純に１／１６に削減することができる。

　ステップＳ４０８において、対応点探索部１１６が、画素削減後の第１画像と第２画像の間で対応点の探索を行い、各画素の視差を求める。対応点探索部１１６は、対応点の検出に成功した点（画素の座標）に視差情報を関連付けた視差データを生成する。この情報が視差マップである。

　ステップＳ４０９において、視差マップ後処理部１１７が、視差マップに対し解像度変換処理を施す。本実施形態では、視差マップの垂直ラインを１ラインおきに間引くことで、視差マップの水平方向の画素数を１／２に削減する。

　ステップＳ４１０において、視差マップ後処理部１１７が、視差マップの修正を行う。対応点探索によって推定された視差マップには誤計測点や計測抜けなどが含まれるため、周囲の画素の視差情報に基づき誤計測点の修正や計測抜けの補完を行う。なお、ステップＳ４０９とＳ４１０の処理はどちらを先に行ってもよい。

　ステップＳ４１１において、デプスマップ生成部１１８が、視差マップの各画素の視差情報を３次元情報（奥行方向の距離情報）に変換し、デプスマップを生成する。このデプスマップ（３次元点群データ）は、例えば、対象物１２の形状認識、物体認識などに利用される。

　以上述べた第１実施形態の構成及び処理によれば、従来の一般的なステレオマッチングに比べて、対応点探索に要する時間を大幅に短縮することができる。また、ステレオマッチングの結果である、デプスマップのデータ点数（データ量）も削減されるため、データ転送時間の短縮ならびに後段の認識処理時間の短縮も図ることができるという効果もある。また、本実施形態では、対応点探索の前にエピポーラ線に垂直な方向の画素数のみを減じ、エピポーラ線に平行な方向の情報量を残したままにしているので、対応点探索の精度及び信頼性を低下させることなく、処理の高速化を図ることが可能となる。

　図５に、第１実施形態の計測処理の変形例を示す。この変形例では、ステップＳ４０６の後に参考視差マップの水平ラインを間引く処理（ステップＳ５００）を加えている。これにより探索範囲設定（ステップＳ４０７）の処理時間を短縮でき、計測処理全体として一層の高速化を図ることができる。なお、ステップＳ５００の処理はステップＳ４０６の前に行ってもよい。

　＜第２実施形態＞
　図６は、第２実施形態の計測処理の流れを示すフロー図である。第１実施形態では、対応点探索の前に水平ラインの間引きを行い、対応点探索の後で視差マップに対して垂直ラインの間引きを行ったのに対し、第２実施形態では、対応点探索の前に垂直ラインの間引きを行い（ステップＳ６０４）、対応点探索の後で視差マップに対して水平ラインの間引きを行う（ステップＳ６０９）。それ以外の処理は第１実施形態と同様であるため、図４と同一の符号を付して説明を省略する。

　本実施形態の構成及び処理によっても、第１実施形態と同様の作用効果を得ることができる。本実施形態の処理は、垂直方向の情報量を保ったまま対応点探索を行うことができるため、例えば、第１カメラと第２カメラが垂直ラインに平行に並べられ、エピポーラ線が垂直ラインに平行となる構成の場合に好適である。

　図７に、第２実施形態の計測処理の変形例を示す。この変形例では、ステップＳ４０６の後に参考視差マップの垂直ラインを間引く処理（ステップＳ７００）を加えている。これにより探索範囲設定（ステップＳ４０７）の処理時間を短縮でき、計測処理全体として一層の高速化を図ることができる。なお、ステップＳ７００の処理はステップＳ４０６の前に行ってもよい。

　＜第３実施形態＞
　図８は、第３実施形態の計測処理の流れを示すフロー図である。第１及び第２実施形態では、対応点探索の前に一方のラインの間引きを行い、対応点探索の後で他方のラインの間引きを行ったのに対し、第３実施形態では、対応点探索の前に水平ラインと垂直ラインの両方の間引きを行う（ステップＳ８０４）。それ以外の処理は第１実施形態と同様であるため、図４と同一の符号を付して説明を省略する。

　本実施形態の構成及び処理によっても、第１実施形態に準じた作用効果を得ることができる。本実施形態の処理は、第１及び第２実施形態に比べ対応点探索の精度及び信頼性がやや低下する可能性があるが、第１及び第２実施形態よりも対応点探索の処理時間を短縮することができるという利点がある。

　図９に、第３実施形態の計測処理の変形例を示す。この変形例では、ステップＳ４０６の後に参考視差マップの水平ラインと垂直ラインを間引く処理（ステップＳ９００）を加えている。これにより探索範囲設定（ステップＳ４０７）の処理時間を短縮でき、計測処理全体として一層の高速化を図ることができる。なお、ステップＳ９００の処理はステップＳ４０６の前に行ってもよい。

　＜第４実施形態＞
　図１０は、第４実施形態に係る３次元計測システムの構成例を示している。第１～第３実施形態では、参考視差マップを取得するために空間コード化パターン投影方式を用いたのに対し、本実施形態ではＴＯＦ方式を用いる。具体的には、センサユニット１０において、パターン投光部１０３の代わりにＴＯＦ用照明部１０７を設け、画像処理装置１１において、パターン復号部１１１の代わりに距離計算部１１９を設ける。

　ＴＯＦ方式には、大きく分けて、光時間差測定法と光位相差測定法がある。光時間差測定法はフォトンの到達時間を直接的に検出しＴＤＣ（Time to Digital Converter）により距離を計算する手法である。光時間差測定法の場合は、ＴＯＦ用照明部１０７として、パルス光を照射する光源を用いる。他方、光位相差測定法はフォトンの強度を周期的に変調し、光の位相差から距離を計算する手法である。光位相差測定法の場合は、ＴＯＦ用照明部１０７として、輝度を周期的に変調可能な光源を用いる。距離計算部１１９は、到達時間あるいは位相差から、対象物までの距離を計算する。

　一般的なＴＯＦ方式では、計測値をロバストにするために、複数枚の距離画像を時間方向に重畳する必要がある。しかし、本実施形態の場合は、ＴＯＦ方式での測距結果は視差を大まかに予測する目的で使われるものであり、厳密な精度は要求されないことから、１枚（あるいは少数）の距離画像を得るだけでも十分である。すなわち、ＴＯＦ方式とステレオマッチングとを組み合わせることで、ロバスト性の低下を抑えつつ、ステレオマッチング方式の高速化を図ることができる。

　なお、計測処理の流れについては、前述の実施形態の計測処理（図４～図９）の中のパターン復号処理（ステップＳ４０５）を距離計算部１１９による距離計算処理に置き換え、他は前述の実施形態のものと同じでよい。

　＜その他＞
　上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば上記実施形態では、空間コード化パターン投影方式とＴＯＦ方式を例示したが、第２の計測系の測距方式はステレオマッチング以外の方式であれば如何なる方式を採用してもよい。また、上記実施形態では、ステレオマッチングにハッシュ特徴量を利用したが、対応点の類似度評価には他の手法を用いてもよい。例えば、類似度の評価指標としてはSAD（Sum of Absolute Difference）、SSD（Sum of Squared Difference）、NC（Normalized Correlation）などによる左右画像の画素の類似度計算法がある。また、上記実施形態では、参考デプスマップの生成（視差の予測）とステレオマッチングとで共通するカメラの画像を用いたが、それぞれ異なる三次元計測用のカメラ画像を用いてもよい。

　＜付記＞
（１）　画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置（１１）であって、
　異なる視点から撮影された第１画像及び第２画像を取得する画像取得手段（１１０）と、
　ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段（１１２）と、
　前記第１画像及び前記第２画像のそれぞれに対し、水平方向及び／又は垂直方向の画素数を減じる変換処理を施す変換手段（１１４）と、
　前記予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段（１１５）と、
　前記設定された探索範囲に限定して前記変換処理後の前記第１画像と前記変換処理後の前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段（１１６）と、
　前記視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段（１１８）と、
を有することを特徴とする画像処理装置。

１：３次元計測システム
１０：センサユニット
１１：画像処理装置
１２：対象物
２１：第１の計測系
２２：第２の計測系

Claims

　画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置であって、
　異なる視点から撮影された第１画像及び第２画像からなる画像ペアを取得する画像取得手段と、
　ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段と、
　前記第１画像及び前記第２画像のそれぞれに対し、水平方向及び／又は垂直方向の画素数を減じる変換処理を施す変換手段と、
　前記予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、
　前記設定された探索範囲に限定して前記変換処理後の前記第１画像と前記変換処理後の前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段と、
　前記視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段と、
を有することを特徴とする画像処理装置。
　前記視差マップ生成手段により生成された前記視差マップに対し、水平方向又は垂直方向の画素数を減じる第２変換処理を施す第２変換手段をさらに有し、
　前記変換手段は、前記第１画像及び前記第２画像のそれぞれに対し、水平方向及び垂直方向のうちの一方の方向の画素数を減じる前記変換処理を施し、
　前記第２変換手段は、前記視差マップに対し、前記変換手段とは異なる方向の画素数を減じる前記第２変換処理を施し、
　前記デプスマップ生成手段は、前記第２変換処理後の前記視差マップから前記デプスマップを生成する
ことを特徴とする請求項１に記載の画像処理装置。
　前記一方の方向は、エピポーラ線に対して垂直な方向である
ことを特徴とする請求項２に記載の画像処理装置。
　前記変換処理は、画素を間引く処理である
ことを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。
　前記視差予測手段は、空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測する
ことを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。
　前記第１画像及び前記第２画像は、空間コード化パターン投影方式のためのパターン照明を投影して撮影された画像であり、
　前記視差予測手段は、前記第１画像又は前記第２画像を用いた空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測する
ことを特徴とする請求項５に記載の画像処理装置。
　前記視差予測手段は、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式により得られた距離情報に基づいて、視差を予測する
ことを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。
　少なくとも２つのカメラを有するセンサユニットと、
　前記センサユニットから取り込まれる画像を用いてデプスマップを生成する請求項１～７のいずれか１項に記載の画像処理装置と、
を有することを特徴とする３次元計測システム。
　コンピュータを、請求項１～７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
　画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理方法であって、
　異なる視点から撮影された第１画像及び第２画像を取得するステップと、
　ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測するステップと、
　前記第１画像及び前記第２画像のそれぞれに対し、水平方向及び／又は垂直方向の画素数を減じる変換処理を施すステップと、
　前記予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定するステップと、
　前記設定された探索範囲に限定して前記変換処理後の前記第１画像と前記変換処理後の前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成するステップと、
　前記視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するステップと、
を有することを特徴とする画像処理方法。