JP6550013B2 - 視差検出装置 - Google Patents

Description

本発明は、ステレオカメラから得られた画像から視差を求める技術に関する。

下記特許文献１には、ステレオカメラから得られた左右の画像のうちの基準画像の画素毎にコストを求め、該コストが最小となる画素を比較画像から探索することによって、各画素に対応する視差を求める技術が開示されている。

特開２０１５−１１４２６９号公報

しかしながら、上記技術では、ノイズの影響を軽減できるものの、さらにノイズの影響を軽減することに対する要求がある。そこで、ステレオカメラから得られた画像から視差を求める視差検出装置において、ノイズの影響をより軽減できるようにすることを本発明の目的とする。

本発明の視差検出装置（１０）において、画像取得部は、同期して撮像を行うステレオカメラ（２１，２２）から一組の撮像画像を取得する（Ｓ１１０）。また、小領域設定部は、一組の撮像画像のうちの１の画像である基準画像における画素を順に選択し、該基準画像にて選択された画素を表す注目画素を含む予め設定された範囲内を小領域として設定する（Ｓ４１０）。また、類似探索部は、小領域における特徴量と類似する特徴量を有する類似領域を、基準画像中から探索する（Ｓ４２０、Ｓ４３０）。

また、コスト算出部は、一組の撮像画像のうちの基準画像を除く画像である比較画像における予め設定された範囲内にある画素を順に選択し、該比較画像にて選択された画素を比較画素として、該比較画素を含む領域である比較領域における特徴量を表す比較特徴量と、小領域における特徴量および類似領域における特徴量から求められる統合特徴量と、の差異の大きさを、注目画素についてのコストとして求める（Ｓ４４０〜Ｓ５１０）。また、視差算出部は、基準画像における画素毎に、コストが最小となる画素を比較画像から探索することによって、基準画像における画素に対応する視差を求める（Ｓ２１０〜Ｓ２８０）。

このような視差検出装置によれば、コストを求める際に、小領域における特徴量だけでなく、類似領域における特徴量も加味した統合特徴量を用いることになる。すなわち、より多くの情報を用いるので、ノイズに対する耐性を向上させることができる。よって、より精度よく視差を求めることができる。

なお、この欄および特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

本発明が適用された距離検出装置の概略構成を示すブロック図である。 処理部が実行する距離演算処理を示すフローチャートである。 距離演算処理のうちの対応点探索処理を示すフローチャートである。 対応点探索処理のうちの節点コスト算出処理を示すフローチャートである。 基準画像において小領域および探索領域の設定方法を示す模式図である。 比較画像において比較領域の設定方法を示す模式図である。 撮像画像の一例を示す画像図である。 撮像画像に対して実施形態の処理を実施することで得られた視差画像である。 撮像画像に対して従来の処理を実施することで得られた視差画像である。

以下、本発明の例示的な実施形態について図面を参照しながら説明する。
［１．第１実施形態］
［１−１．構成］
本発明が適用された距離検出装置１は、複数の撮像画像の視差を検出することによって撮像画像中の各点（歩行者、他車両等の立体物や路面等の任意の物体を表す物標）までの距離を検出する装置である。特に、本実施形態の距離検出装置１では、動的計画法であるビタビアルゴリズムを複数の方向に適用することで複数の撮像画像を構成する画素間の対応関係（視差）を高精度に求めることができるよう配慮されている。

詳細には、距離検出装置１は、乗用車等の車両に搭載されており、図１に示すように、処理部１０と、２つの撮像部２１，２２と、車両制御部３０とを備えている。なお、撮像部は２つに限られることなく、３以上設けられていてもよい。

撮像部２１，２２は、それぞれ車両の進行方向が撮像範囲内となる周知のカメラとして構成されている。撮像部２１，２２は、中心軸が平行かつ水平方向に所定の距離だけ離れて配置されたカメラ群を表すステレオカメラを構成している。これらの撮像部２１，２２は、予め決まった時間で周期的に同時に撮像を行うよう設定されている。

処理部１０は、ＣＰＵ１１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ１２）と、を有する周知のマイクロコンピュータを中心に構成される。処理部１０の各種機能は、ＣＰＵ１１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１２が、プログラムを格納した非遷移的実体的記録媒体に該当する。なお、非遷移的実体的記録媒体とは、記録媒体のうちの電波を除く任意のものである。

また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、処理部１０を構成するマイクロコンピュータの数は１つでも複数でもよい。処理部１０は、ＣＰＵ１１がプログラムを実行することで実現される機能の構成として、距離演算機能を備える。

距離演算機能は、後述する距離演算処理が実施されることによって実現される。処理部１０において各種機能を実現する手法はソフトウェアに限るものではなく、その一部または全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

車両制御部３０は、処理部１０による処理結果を利用して車両を制御する処理を行う。例えば、車両制御部３０は、撮像部２１，２２による撮像範囲内の各点（各画素）における距離の情報を処理部１０から取得し、この距離の情報に基づいて物標位置および相対速度を認識する。そして、物標が走行に支障を来す虞がある場合、走行軌道を変更する等の車両制御を行う。

［１−２．処理］
このように構成された距離検出装置１において、処理部１０、すなわちＣＰＵ１１は、図２以下に示す距離演算処理を実施する。距離演算処理は、撮像画像中の各点までの距離を演算する処理である。距離演算処理は、例えば距離検出装置１の電源が投入されると開始され、その後、一定周期毎に繰り返し実施される。

この処理では、まず、Ｓ１１０にて、撮像部２１，２２によって撮像された撮像画像を取得する。この処理によって同期した一組の撮像画像が得られる。
続いて、Ｓ１２０にて、撮像された画像を平行化する。ここで、画像の平行化とは、撮像画像のレンズによる画像の歪みや姿勢のずれを補正する処理等を示す。

続いて、Ｓ１３０にて、対応点探索処理を実施する。対応点探索処理は、基準画像（例えば撮像部２１による撮像画像）を構成する各画素と比較画像（例えば撮像部２２による撮像画像）を構成する各画素との対応関係、すなわち、同じものが写っている場所を関連付ける処理である。

なお、基準画像における座標値に対して、比較画像において同じものが写っている座標値との水平方向の座標の差異を視差と呼ぶ。また、比較画像とは、一組の撮像画像のうちの基準画像を除く画像を表す。

詳細には図３に示すように、まずＳ２１０にて、節点コスト算出処理を実施する。ここで、節点とは、基準画像の画素位置を横軸に取り、基準画像の画素位置と比較画像の画素位置との視差を縦軸に取ったマトリクスにおいて、このマトリクスを構成する要素（基準画像の画素位置と視差との関係）の１つ１つを示す。

なお、節点についての詳細は、上記特許文献１の図４（ａ）に記載されているためここでの説明を省略する。また、この処理では、基準画像の画素位置毎に、比較画像の視差探索する範囲内にある画素に対するコストを算出する。すなわち、接点コスト算出処理は、基準画像おける画素を順に選択し、選択した画素毎に実施される。

節点コスト算出処理では、図４に示すように、まずＳ４１０にて、小領域を設定する。小領域とは、例えば、注目画素を含む周囲数画素の領域を表す。例えば小領域を、注目画素の周囲の２画素を含む領域とする場合、注目画素を中心に、５×５ピクセルの領域が小領域となる。なお、注目画素とは、基準画像を構成する画素のうちの、節点コスト算出処理の開始時において選択された画素を表す。

続いて、Ｓ４２０にて、探索対象領域（以下、探索領域）を設定する。探索領域とは、図５に示すように、小領域のさらに周囲に設けられた領域であって、基準画像の一部に注目画素の位置に応じて予め設定される。例えば、基準画像を３２×３２ピクセル毎に分割することで複数の領域を準備しておき、これらの領域のうちの注目画素が含まれる領域を探索領域とする。

続いて、Ｓ４３０にて、類似領域を探索する。類似領域とは、注目画素が含まれる小領域における特徴量と類似する特徴量を有する領域である。特に、本実施形態では、小領域と同じ大きさである複数の領域が類似領域として探索される。

詳細には、図５に示すように、小領域と同じ大きさの領域を探索領域内において移動させつつ、この領域における特徴量と、小領域における特徴量とを比較する。ここで、特徴量とは、領域に含まれる画素群が有する画像としての特徴を表す。特徴量には、例えば、領域に含まれる画素群における輝度、色度、コントラスト、分散等の値が含まれうる。領域における特徴量では、各画素における特徴量の加算値や平均値等を採用しうる。

このような移動する領域における特徴量と、小領域における特徴量とが概ね一致する場合、すなわち、特徴量の差分がある閾値未満である場合、その領域が類似領域として設定される。図５に示す例では、ＳＰ１，ＳＰ２の２つの類似領域が設定されている。この際、小領域と、類似領域との位置関係は、メモリ１２において記録される。

なお、本実施形態においては、ある注目画素について探索された類似領域を、当該注目画素について設定された探索対象領域内に位置する他の注目画素の類似領域としても利用する。つまり、Ｓ４３０の処理は、探索領域毎に少なくとも１回だけ実施され、Ｓ４３０の処理が実施されないときには、既に得られた探索領域が利用される。この場合、例えば、探索領域の中央付近に位置する画素を最初に選択する選択画素とするとよい。

続いて、Ｓ４４０にて、比較範囲を設定する。比較範囲とは、比較画像において注目画素に対応する比較画素を探索する範囲、つまり視差の探索範囲を示す。比較範囲は、注目画素と同座標値となる比較画像中の画素を中心に、予め設定された所定の範囲内に設定される。

続いて、Ｓ４５０にて、比較範囲内から１つの画素を比較画素として選択する。続いて、Ｓ４６０にて、比較領域を設定する。比較領域とは、基準画像における小領域および類似領域に対応する比較画像中の領域である。

比較領域は、小領域および類似領域の和と等しい画素数を有する。すなわち、比較領域を設定する際には、図６に示すように、まず、比較画素を中心とする小領域と同じ大きさの領域を抽出し、この領域に対して、小領域および類似領域の位置関係と同じ位置関係となる複数の領域を比較画像から抽出する。これら抽出された領域の全てが比較領域として設定される。

続いて、Ｓ４７０にて、比較特徴量および統合特徴量を算出する。ここで、比較特徴量とは、比較領域における特徴量を表す。また、統合特徴量とは、小領域における特徴量および類似領域における特徴量の和や平均値等、これらの特徴量から求められる特徴量を表す。

続いて、Ｓ４８０にて、比較特徴量および統合特徴量の差を算出する。ここで、本実施形態においては、比較特徴量および統合特徴量の差として、ＳＳＩＭ（Structual Similarity）を求める。ＳＳＩＭを求める際の定義は下記に示す。

上記定義を用いると、ＳＳＩＭは以下の式で求めることができる。

なお、上記式中のｌ、ｃ、ｓ、Ｃ１、Ｃ２、Ｃ３、α、β、γは、任意の定数である。

続いて、Ｓ４９０にて、この差の値、つまりＳＳＩＭを、注目画素についてのコスト、すなわち節点のコストＤ（ｐ，ｕｐ）として設定する。ここで、ｐは注目画素の位置、ｕｐは、視差の大きさを表す。

続いて、Ｓ５００にて、比較領域内に未選択の比較画素があるか否かを判定する。未選択の比較画素があれば、Ｓ５１０にて、未選択の比較画素のうちの１つを比較画素として選択し、Ｓ４６０の処理に戻る。この場合、Ｓ４６０〜Ｓ５１０の処理が繰り返され、図６に示すように、比較画素を変更しながらコストＤが求められることになる。また、未選択の比較画素がなければ、節点コスト算出処理を終了する。

次に、Ｓ２２０〜Ｓ２６０にて、ビタビアルゴリズムによるコストＥを求める。Ｓ２２０〜Ｓ２６０の処理は、上記特許文献１における段落［００２２］〜［００５２］の記載と同様であるため記載を省略する。

続いて、Ｓ２７０にて、上記処理にて得られたコストＥ（Ｅ（ｐ，ｕ））が最小となる視差を選択する。続いて、Ｓ２８０にて、基準画像における各画素と比較画像における各画素との対応関係をメモリ１２に記録し、対応点探索処理を終了する。

このような対応点探索処理が終了すると、図２に戻り、Ｓ１４０にて、各画素における対応点の視差に応じて各画素に写っている物標までの距離を算出する。そして、Ｓ１５０にて、これらの画素と距離との対応データを車両制御部３０に対して出力し、距離演算処理を終了する。

［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。
（１ａ）上記の距離検出装置１において処理部１０は、同期して撮像を行う撮像部２１，２２から一組の撮像画像を取得し（Ｓ１１０）、一組の撮像画像のうちの１の画像である基準画像における画素を順に選択し、該基準画像にて選択された画素を表す注目画素を含む予め設定された範囲内を小領域として設定するように構成される（Ｓ４１０）。また、処理部１０は、小領域における特徴量と類似する特徴量を有する類似領域を、基準画像中から探索するように構成される（Ｓ４２０、Ｓ４３０）。

また、処理部１０は、一組の撮像画像のうちの基準画像を除く画像である比較画像における予め設定された範囲内にある画素を順に選択し、該比較画像にて選択された画素を比較画素として、該比較画素を含む領域である比較領域における特徴量を表す比較特徴量と、小領域における特徴量および類似領域における特徴量から求められる統合特徴量と、の差異の大きさを、注目画素についてのコストとして求めるように構成される（Ｓ４４０〜Ｓ５１０）。また、処理部１０は、基準画像における画素毎に、コストが最小となる画素を比較画像から探索することによって、基準画像における画素に対応する視差を求めるように構成される（Ｓ２１０〜Ｓ２８０）。

このような距離検出装置１によれば、コストを求める際に、小領域における特徴量だけでなく、類似領域における特徴量も加味した統合特徴量を用いる。すなわち、より多くの情報を用いるので、ノイズに対する耐性を向上させることができる。よって、より精度よく視差を求めることができる。

具体的には、例えば、図７に示すような撮像画像について本処理を適用すると、図８に示すような視差画像が得られる。特許文献１に示す構成で得られる図９に示す視差画像と比較すると、図８に示す視差画像では、路面や立体物がより鮮明に得られていることが分かる。よって、この視差画像を用いて物標の識別等を実施すれば、より正確に物標の位置や種別を認識することができる。

（１ｂ）上記の距離検出装置１において処理部１０は、比較領域として、小領域および類似領域の和と等しい画素数を有する領域を設定する。
このような距離検出装置１によれば、比較特徴量と統合特徴量とのスケールを等しくすることができるので、比較特徴量と統合特徴量との差異をそのまま演算することができる。

（１ｃ）上記の距離検出装置１において処理部１０は、比較領域として、小領域および類似領域の位置関係と同じ位置関係となる複数の領域を比較画像から抽出する。
このような距離検出装置１によれば、小領域および類似領域の位置関係と同じ位置関係になる領域を比較領域として抽出するので、比較特徴量と統合特徴量とを同じ条件で求めることができる。

（１ｄ）上記の距離検出装置１において処理部１０は、基準画像におけるある端部に位置する画素を始点として、他の端部に位置する画素に対して動的計画法によりコストを積算することによって、コストが最小となる画素を探索する。

このような距離検出装置１によれば、動的計画法により視差を求めるので、ある画素の視差を求める際に、近接する画素の視差も加味することができる。よって、より精度よく視差を求めることができる。特に、本実施形態では、動的計画法のうちのビタビアルゴリズムを利用するので、ノイズの影響をより軽減することができる。

（１ｅ）上記の距離検出装置１において処理部１０は、類似領域を、基準画像の一部であって注目画素の位置に応じて予め設定された探索対象領域から探索する。
このような距離検出装置１によれば、類似領域を画像の一部から探索するので、画像全体から探索する構成と比較して処理負荷を軽減することができる。

（１ｆ）上記の距離検出装置１において処理部１０は、ある注目画素について探索された類似領域を、当該注目画素について設定された探索対象領域内に位置する他の注目画素の類似領域としても利用する。

このような距離検出装置１によれば、ある注目画素について探索された類似領域を他の注目画素の類似領域としても利用するので、類似領域を探索する際の処理負荷を軽減することができる。

［２．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２ａ）上記実施形態では、下記ＳＳＩＭを用いて節点のコストＤ（ｐ，ｕｐ）を求めたが、ＳＳＩＭ以外の手法を用いて求めてもよい。例えば、輝度やコントラストの差のみ等から節点のコストをＤ（ｐ，ｕｐ）求めてもよい。

（２ｂ）上記実施形態では、ビタビアルゴリズムを用いてコストＥを算出したが、例えば、節点のコストが最小となる視差を画素毎に選択するなど、その他の任意の手法を採用してもよい。また、動的計画法を採用する場合、ビタビアルゴリズム以外にも、例えば、ＳＧＭ（Semi Global Matching）等の手法を採用してもよい。

（２ｃ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（２ｄ）上述した距離検出装置１の他、当該距離検出装置１を構成要素とするシステム、当該距離検出装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、距離検出方法など、種々の形態で本発明を実現することもできる。

［３．実施形態の構成と本発明の構成との関係］
上記実施形態において処理部１０は本発明でいう視差検出装置の一例に相当し、上記実施形態において撮像部２１，２２は本発明でいうステレオカメラの一例に相当する。また、上記実施形態において処理部１０が実行する処理のうちのＳ１１０の処理は本発明でいう画像取得部の一例に相当し、上記実施形態においてＳ２１０〜Ｓ２８０の処理は本発明でいう視差算出部の一例に相当する。

また、上記実施形態においてＳ４１０の処理は本発明でいう小領域設定部の一例に相当し、上記実施形態においてＳ４２０、Ｓ４３０の処理は本発明でいう類似探索部の一例に相当する。また、上記実施形態においてＳ４４０〜Ｓ５１０の処理は本発明でいうコスト算出部の一例に相当する。

１…距離検出装置、１０…処理部、１１…ＣＰＵ、１２…メモリ、２１，２２…撮像部、３０…車両制御部。

Claims (6)

1. 複数の撮像画像間の視差を検出するように構成された視差検出装置（１０）であって、
   同期して撮像を行うステレオカメラ（２１，２２）から一組の撮像画像を取得するように構成された画像取得部（Ｓ１１０）と、
   前記一組の撮像画像のうちの１の画像である基準画像における画素を順に選択し、該基準画像にて選択された画素を表す注目画素を含む予め設定された範囲内を小領域として設定するように構成された小領域設定部（Ｓ４１０）と、
   前記小領域における特徴量と類似する特徴量を有する類似領域を、前記基準画像中から探索するように構成された類似探索部（Ｓ４２０、Ｓ４３０）と、
   前記一組の撮像画像のうちの前記基準画像を除く画像である比較画像における予め設定された範囲内にある画素を順に選択し、該比較画像にて選択された画素を比較画素として、該比較画素を含む領域である比較領域における特徴量を表す比較特徴量と、前記小領域における特徴量および前記類似領域における特徴量から求められる統合特徴量と、の差異の大きさを、前記注目画素についてのコストとして求めるように構成されたコスト算出部（Ｓ４４０〜Ｓ５１０）と、
   前記基準画像における画素毎に、前記コストが最小となる画素を比較画像から探索することによって、前記基準画像における画素に対応する視差を求めるように構成された視差算出部（Ｓ２１０〜Ｓ２８０）と、
   を備えた視差検出装置。
2. 請求項１に記載の視差検出装置であって、
   前記コスト算出部は、前記比較領域として、前記小領域および前記類似領域の和と等しい画素数を有する領域を設定する
   ように構成された視差検出装置。
3. 請求項２に記載の視差検出装置であって、
   前記コスト算出部は、前記比較領域として、前記小領域および前記類似領域の位置関係と同じ位置関係となる複数の領域を前記比較画像から抽出する
   ように構成された視差検出装置。
4. 請求項１〜請求項３の何れか１項に記載の視差検出装置であって、
   前記視差算出部は、前記基準画像におけるある端部に位置する画素を始点として、他の端部に位置する画素に対して動的計画法により前記コストを積算することによって、前記コストが最小となる画素を探索する
   ように構成された視差検出装置。
5. 請求項１〜請求項４の何れか１項に記載の視差検出装置であって、
   前記類似探索部は、前記類似領域を、前記基準画像の一部であって前記注目画素の位置に応じて予め設定された探索対象領域から探索する
   ように構成された視差検出装置。
6. 請求項５に記載の視差検出装置であって、
   前記類似探索部は、ある注目画素について探索された類似領域を、当該注目画素について設定された探索対象領域内に位置する他の注目画素の類似領域としても利用する
   ように構成された視差検出装置。