JP7521940B2 - 演算装置、視差探索方法 - Google Patents

Description

本発明は、演算装置、および視差探索方法に関する。

一対のカメラを有するステレオカメラで撮影されたステレオ画像に基づき、カメラ視野内に存在する物体までの距離を三角測量の原理で計測する位置測定装置が知られている。三角測量の原理とはすなわち、左右のカメラによって撮影された同一の物体の像の位置のずれである視差を用いて、カメラからその物体までの距離を算出するものである。視差の導出は、一方の画像上における物体像が、他方の画像上のどこに存在するかを特定することによって実現する。視差の導出としては様々な手法が提案されている。例えば古典的手法では、一方の画像中の複数画素からなる領域に対して、他方の画像中で最も非類似度の低い領域を探索するブロックマッチングが知られている。ブロックマッチングにおいて、領域の対応付けを誤る誤マッチングが発生すると、視差が大きく異なる問題が知られている。

特許文献１には、対象物を撮像する撮像手段と、前記撮像手段で撮像した一対の画像の小領域毎に、互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、ステレオマッチング処理結果である評価関数、該評価関数に基づいて得られる前記対象物までの距離情報及びその信頼度を示す信頼度情報を取得するステレオ処理手段と、前記信頼度に応じて対象となる小領域の周辺に再探索範囲を設定し、前記再探索範囲内の小領域について求めた前記評価関数に基づいて、前記対象となる小領域について求めた評価関数を修正して修正評価関数を求め、求めた修正評価関数に基づいて距離情報を補正する視差補正手段とを備えたことを特徴とするステレオ画像処理装置が開示されている。

特開２００６－０９０８９６号公報

特許文献１に記載されている発明では、誤マッチングへの対応が十分でない。

本発明の第１の態様による演算装置は、第１撮像部が撮影して得られる基準画像、および第２撮像部が撮影して得られる参照画像を取得する取得部と、前記基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、前記参照画像を参照して前記算出対象画素の視差である初回視差を算出する初回探索部と、前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する孤立判定部と、前記乖離画素を対象とした前記参照画像における再度の探索の範囲である再探索範囲を設定する探索範囲設定部と、前記参照画像において前記探索範囲設定部が設定した前記再探索範囲を探索することで、前記乖離画素の視差である再探索視差を算出する再探索部と、を備える。
本発明の第２の態様による視差探索方法は、第１撮像部が撮影して得られる基準画像、および第２撮像部が撮影して得られる参照画像を取得する取得部を有する演算装置が実行する視差探索方法であって、前記基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、前記参照画像を参照して前記算出対象画素の視差である初回視差を算出することと、前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断することと、前記乖離画素を対象とした前記参照画像における再度の探索の範囲である再探索範囲を設定することと、前記参照画像において前記再探索範囲を探索することで、前記乖離画素の視差である再探索視差を算出することとを含む。

本発明によれば、誤マッチングの発生に対応できる。

第１の実施の形態における演算装置の構成を示すブロック図 孤立視差の有無を示す概念図 第１の実施の形態における周辺画素を示す図 孤立視差の判定を説明する図 演算装置の処理を示すフローチャート 第２の実施の形態における演算装置の構成を示すブロック図 第３の実施の形態における演算装置の構成を示すブロック図 第４の実施の形態における演算装置の構成を示すブロック図

―第１の実施の形態―
以下、図１～図５を参照して、本発明に係る演算装置の第１の実施の形態を説明する。本実施の形態では、演算装置が車両に搭載される例を説明するが、演算装置は車両に搭載されなくてもよい。

図１は、第１の実施の形態における演算装置１の構成を示すブロック図である。演算装置１は、取得部１０７と、初回探索部１０３と、孤立判定部１０４と、探索範囲設定部１０５と、再探索部１０６と、出力部１０８とを備える。取得部１０７、初回探索部１０３、孤立判定部１０４、探索範囲設定部１０５、再探索部１０６、および出力部１０８のそれぞれは、たとえば不図示の中央演算装置が、読み出し専用の記憶装置であるＲＯＭに格納されるプログラムを、読み書き可能な記憶装置であるＲＡＭに展開して実行することで実現する。

ただしこれらのそれぞれは、ＣＰＵ、ＲＯＭ、およびＲＡＭの組み合わせの代わりに書き換え可能な論理回路であるＦＰＧＡ（Field Programmable Gate Array）や特定用途向け集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現されてもよい。またこれらは、ＣＰＵ、ＲＯＭ、およびＲＡＭの組み合わせの代わりに、異なる構成の組み合わせ、たとえばＣＰＵ、ＲＯＭ、ＲＡＭとＦＰＧＡの組み合わせにより実現されてもよい。本実施の形態では、それぞれの機能を実現する演算リソースは共有されてもよいし独立してもよい。たとえば、１つのＣＰＵコアの演算リソースを時分割方式により全機能で共有してもよい。また、いくつかの機能だけが演算リソースを共有してもよい。

演算装置１は、第１撮像部１０１および第２撮像部１０２と接続される。第１撮像部１０１および第２撮像部１０２はたとえば車両に搭載されるカメラであり、略同一の方向を撮影し、撮影して得られた画像を演算装置１に送信する。以下では、第１撮像部１０１が撮影して得られた画像を「基準画像」と呼び、第２撮像部１０２が撮影して得られた画像を「参照画像」と呼ぶ。また第１撮像部１０１および第２撮像部１０２の位置関係は本発明の実施上は何ら制限されないが、本実施の説明の都合により、第１撮像部１０１および第２撮像部１０２は水平方向に並んで配置されていることとする。また第１撮像部１０１および第２撮像部１０２の地面に対する位置や姿勢は既知である。

取得部１０７は、第１撮像部１０１から基準画像を取得し、第２撮像部１０２から参照画像を取得する。取得部１０７は取得した基準画像および参照画像を初回探索部１０３に出力する。

初回探索部１０３は、基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、参照画像を参照して算出対象画素の視差の候補の値である視差候補値を算出する。詳述すると、基準画像には視差を算出すべき領域（以下、「算出範囲」とも呼ぶ）が、たとえば全域や中央部の３００画素角の領域とあらかじめ設定されており、初回探索部１０３はその領域内の画素を順番に算出対象画素とする。そして初回探索部１０３は、算出範囲の全ての画素を対象に視差を算出する。以下では、初回探索部１０３が算出する視差を「初回視差」と呼ぶ。

この視差の算出では、たとえばまず算出対象画素に対応する可能性がある参照画像上の比較的広範囲、たとえばエピポーラ線上の全ての画素を対象に非類似度を算出する。次に、非類似度が最も小さい参照画像上の画素、または極小値を有する参照画像上の画素を特定する。そして、その画素の参照画像上のたとえばＹ座標値と、算出対象画素の基準画像上のＹ座標値との差を初回視差とする。

ただし後述するように、この探索では真の視差が得られないことがある。また初回探索部１０３による探索は、後述する再探索部１０６による探索と対比すると「初回の探索」とも呼べる。初回探索部１０３は、算出した視差を孤立判定部１０４および出力部１０８に出力する。初回探索部１０３は、それぞれの算出対象画素の視差を孤立判定部１０４および出力部１０８に出力する。

孤立判定部１０４は、後述する孤立条件を満たす算出対象画素を乖離画素と判断する。たとえば孤立判定部１０４は、初回探索部１０３が算出した算出対象画素の視差の値を、算出対象画素の周辺の画素における視差の値と比較し、算出対象画素が孤立視差を有する乖離画素に相当するか否かを判断する。孤立視差とは、初回探索部１０３により探索された視差が周辺の画素と乖離していることである。すなわち本実施の形態における「周辺」とは、空間的な位置関係における周辺を意味する。孤立判定部１０４が乖離画素と判断した算出対象画素は更なる処理が行われ、乖離画素と判断されなかった算出対象画素は初回探索部１０３により探索された視差が採用される。孤立判定部１０４の処理は後に詳述する。

探索範囲設定部１０５は、孤立判定部１０４が乖離画素と判断した算出対象画素を処理対象とし、再探索のための探索範囲を決定する。再探索部１０６は、孤立判定部１０４の判定結果と探索範囲設定部１０５の設定した再探索範囲を用いて再探索を実施し、得られた視差情報を出力部１０８に出力する。再探索部１０６が算出した視差は、初回探索部１０３が算出した視差と区別するために「再探索視差」とも呼ぶ。孤立判定部１０４で孤立視差と判定されなかった視差に関しては、そのまま初回探索部１０３より視差情報として出力する。

出力部１０８は、初回探索部１０３および再探索部１０６の出力に基づき基準画像の少なくとも一部分に関する視差情報を出力する。図１では出力部１０８は視差情報を演算装置１の外部に出力するように記載しているが、演算装置１の内部で利用されてもよい。出力部１０８はたとえば、再探索部１０６が出力する視差情報は全て出力に利用し、初回探索部１０３が出力する視差情報は再探索部１０６が出力しない視差情報のみを利用する。すなわち出力部１０８は、ある画素について初回視差と再探索視差の両方が得られた場合には再探索視差のみを出力する。

（孤立視差）
図２は、孤立視差の有無を示す概念図である。ただし図２に示す情報から孤立視差の有無が判断されるわけではなく、図２はどのような場合に孤立視差が発生しやすいのかを概念的に示しているにすぎない。孤立視差の具体的な判断は後述する。図２は、横軸に参照画像の位置を示し、縦軸に算出対象画素と参照画像上の特定の画素との非類似度を示す。非類似度とはたとえばＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-means Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）などである。

図２には、基準画像において近接する異なる２つの算出対象画素の非類似度を示している。具体的には、孤立視差を有さない傾向にある実線Ｌ２０１で示す例と、孤立視差を有する傾向にある破線Ｌ２０３で示す例を示している。実線Ｌ２０１は、非類似度が最小となるピーク２０２が明確に１つだけ存在し、他に近い値のピークが無いため、マッチング点を特定でき正確な視差を出力することが可能である。破線Ｌ２０３は、本来特定すべきマッチング点２０４に対し、同程度の非類似度を持つピーク２０５が他に存在する。

そのため、真のマッチング点２０４と異なる点２０５をマッチング点と誤判定して、本来と大きく異なる値の視差値、すなわち孤立視差を出力することがある。本実施の形態では、破線２０１で示したような周辺視差を参照して、探索範囲を周辺視差に近い値の範囲に限定して局所再探索することで真のマッチング点２０４に修正することができる。

（孤立視差の判定）
孤立判定部１０４による算出対象画素が孤立視差を有するか否かの判定は、換言すると孤立条件に該当するか否かの判定は、算出対象画素の周辺の画素（以下、「周辺画素」と呼ぶ）における初回視差を用いて行われる。孤立視差の判定は、初回視差が算出対象画素よりも所定の閾値以上乖離している周辺画素が所定の数以上存在するか否かにより行われる。まず周辺画素の定義を説明し、次に判定方法を説明する。

本実施の形態における周辺画素とは、算出対象画素を基準として定義される空間的に相対的な位置を有する画素である。周辺画素はたとえば算出対象画素の上下左右に隣接する合計４画素でもよいし、斜め方向を加えた８画素でもよい。さらに２画素離れた合計２４画素でもよいし、さらに他のバリエーションでもよい。図を参照して周辺画素を詳しく説明する。

図３は、周辺画素を示す図である。図３において中央のＣ３が算出対象画素である。この場合に周辺画素は、上下左右に隣接するＣ２，Ｃ４、Ｂ３，Ｄ３の合計４画素でもよい。また周辺画素は、上下左右に斜め方向を加えたＢ２～Ｂ４、Ｃ３，Ｃ４，Ｄ２～Ｄ４の８画素でもよい。さらに周辺画素は、上下左右斜めに２画素離れたＡ１～Ａ５、Ｂ１～Ｂ５、Ｃ１，Ｃ２，Ｃ４，Ｃ５，Ｄ１～Ｄ５，Ｅ１～Ｅ５の２４画素でもよい。ただし以下の説明では、周辺画素は算出対象画素の上下左右に斜め方向を加えた８画素とする。

乖離画素の判定は、それぞれの周辺画素を対象として算出対象画素との初回視差の差の絶対値を算出し、その絶対値が所定の閾値（以下、「視差閾値」と呼ぶ）以上である周辺画素の数をカウントする。そしてそのカウント数が所定の閾値（以下、「カウント閾値」と呼ぶ）以上である場合にその算出対象画素を乖離画素と判定する。視差閾値およびカウント閾値は、あらかじめ定められる固定値でもよいし、動的に設定されてもよい。たとえば視差閾値は算出対象画素の初回視差の値に基づいて動的に設定されてもよいし、カウント閾値は周辺画素に含まれる画素の数に基づいて動的に設定されてもよい。この例では孤立条件は、算出対象画素との初回視差の差の絶対値が視差閾値以上である周辺画素の数がカウント閾値以上であることである。

図４は、孤立視差の判定を説明する図である。図４に示す例では、中央に示す符号４０１の画素が算出対象画素、その周辺の８画素が周辺画素である。図中の数字は、各画素における初回視差を示す。ここで、視差閾値を「２０」、カウント閾値を「６」とする。この場合に、算出対象画素４０１に対して絶対値が「２０」以上異なる初回視差を有する周辺画素は、ハッチングで示す「７」画素である。「７」はカウント閾値である「６」よりも大きいので、図４に示す例では算出対象画素は孤立視差を有する乖離画素と判断される。

孤立視差は次のように判定してもよい。たとえば、カウント閾値との比較対象となる周辺画素が、所定の閾値（以下、「密集閾値」と呼ぶ）以内に収まっていることを追加の条件としてもよい。たとえば図４に示した例では、密集閾値が「２０」であれば算出対象画素４０１は乖離画素と判断され、密集閾値が「１０」であれば算出対象画素４０１は乖離画素と判断されない。この場合には計算量は増加するが、孤立視差の修正後の値の信頼性を高めることができる。

また孤立条件は、周辺画素の初回視差の平均値に基づいてもよい。たとえば孤立条件が、算出対象画素の初回視差が、周辺画素の初回視差の平均値の２倍以上、または周辺画素の初回視差の平均値の半分以下と設定されてもよい。

（再探索範囲の決定）
再探索部１０６による再探索範囲の決定には、周辺画素の初回視差が利用される。再探索部１０６はたとえば、算出対象画素との初回視差の差の絶対値が視差閾値以上である周辺画素の初回視差を平均し、その平均値から所定の範囲（以下、「規定探索範囲」と呼ぶ）、たとえばプラスマイナス１０を再探索範囲とする。たとえば図４に示す例では、算出対象画素４０１に対して絶対値が「２０」以上異なる初回視差を有する周辺画素は、前述のとおりハッチングで示す７画素である。この７画素の初回視差の平均値は「５０」なので、「４０～６０」が再探索範囲に設定される。

再探索範囲はたとえば、次のように規定探索範囲を用いずに決定されてもよい。すなわち、算出対象画素との初回視差の差の絶対値が視差閾値以上である周辺画素の初回視差の最大値と最小値の間を再探索範囲としてもよい。さらに別の例として、規定探索範囲を算出対象画素の初回視差の値に基づき決定してもよい。この場合はたとえば、規定探索範囲は算出対象画素の初回視差の半分の値に設定される。

（フローチャート）
図５は、演算装置１の処理を示すフローチャートである。演算装置１は、第１撮像部１０１および第２撮像部１０２から画像を取得するたびに図５に示す処理を実行する。演算装置１の初回探索部１０３は、まずステップＳ３０１において、算出対象画素を選択する。初回探索部１０３はたとえばあらかじめ定められた基準画像の領域から未処理の画素を選択する。続くステップＳ３０２では初回探索部１０３は、参照画像における算出対象画素の対応画素を探索して初回視差を算出する。具体的には、算出対象画素に対応する可能性がある参照画像上の比較的広範囲の画素を対象に非類似度を算出し、たとえば非類似度が最も小さい参照画像上の画素を特定する。そしてその画素の参照画像上のたとえばＹ座標値と、算出対象画素の基準画像上のＹ座標値との差を初回視差とする。

続くステップＳ３０３では初回探索部１０３は、算出範囲の初回視差の算出が全て完了したか否かを判断する。初回探索部１０３は算出範囲における初回視差の算出がすべて完了したと判断する場合はステップＳ３０４に進み、初回視差の算出が完了していない画素が存在すると判断する場合はステップＳ３０１に戻る。

ステップＳ３０４では孤立判定部１０４は、ステップＳ３０１と同様に算出対象画素を選択する。ステップＳ３０４とステップＳ３０１の処理内容に違いはなく、異なるのは実行主体である。続くステップＳ３０５では孤立判定部１０４は、ステップＳ３０４において選択した算出対象画素が乖離画素に相当するか否かを判断する。

孤立判定部１０４は、算出対象画素が乖離画素に相当すると判断する場合はステップＳ３０６に進み、算出対象画素が乖離画素に相当しないと判断する場合はステップＳ３０８に進む。ステップＳ３０６では探索範囲設定部１０５は、再探索範囲を決定して再探索部１０６にその範囲を出力する。続くステップＳ３０７では再探索部１０６は、探索範囲設定部１０５が出力する再探索範囲を対象として非類似度を算出し、その再探索範囲で最も小さい非類似度を有する画素のたとえばＹ座標値と、算出対象画素のＹ座標値との差を再探索視差として算出する。

ステップＳ３０８では出力部１０８は、視差情報を出力する。ただし再探索部１０６が出力する視差情報は全て出力に利用し、初回探索部１０３が出力する視差情報は再探索部１０６が出力しない視差情報のみを利用する。続くステップＳ３０９では孤立判定部１０４は、算出範囲を対象とするステップＳ３０５の処理が全て完了したか否かを判断する。孤立判定部１０４は算出範囲におけるステップＳ３０５の処理がすべて完了したと判断する場合は図５の処理を完了し、ステップＳ３０５の処理が完了していない画素が存在すると判断する場合はステップＳ３０４に戻る。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）第１撮像部１０１が撮影して得られる基準画像、および第２撮像部１０２が撮影して得られる参照画像を取得する取得部１０７と、基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、参照画像を参照して算出対象画素の視差である初回視差を算出する初回探索部１０３と、算出対象画素の初回視差と、算出対象画素の周辺の画素における視差との比較に基づき、算出対象画素が周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する孤立判定部１０４と、乖離画素を対象とした参照画像における再度の探索の範囲である再探索範囲を設定する探索範囲設定部１０５と、参照画像において探索範囲設定部１０５が設定した再探索範囲を探索することで、乖離画素の視差である再探索視差を算出する再探索部１０６と、を備える。そのため演算装置１は算出対象画素の初回視差が周辺画素から乖離していると再探索を行うので、誤マッチングへの対応、すなわち誤マッチングの解消が可能である。

（２）算出対象画素の周囲の画素とは、空間的に周辺に存在する画素である。孤立判定部１０４は、算出対象画素の初回視差と、算出対象画素の周辺の画素における初回視差との比較に基づき、算出対象画素が周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する。そのため演算装置１は、算出対象画素の視差が隣接する画素などの初回視差と大きく異なることを解消できる。

（３）孤立条件は、算出対象画素の周囲の画素における初回視差の平均値に基づく。そのため演算装置１は、撮影された基準画像および参照画像に基づき柔軟な閾値を設けることができる。

（４）探索範囲設定部１０５は、乖離画素に対して空間的に周辺に存在する画素の初回視差に基づき再探索範囲を設定する。そのため演算装置１は、乖離画素の視差を空間的に周囲の画素にそろえることができる。

（５）探索範囲設定部１０５は、乖離画素の周囲の画素における初回視差の平均値に基づき再探索範囲を設定する。そのため演算装置１は、乖離画素の視差を空間的に周囲の画素にそろえることができる。

（変形例１）
孤立判定と再探索範囲の設定に、基準画像における算出対象画素の位置を利用してもよい。第１撮像部１０１の取り付け位置および地面に対する姿勢は既知なので、被写体が地面上に存在することを仮定すれば、基準画像における被写体の位置により第１撮像部１０１から被写体までの距離が推定できる。被写体は距離が遠いほど小さく、近いほど大きく撮影されるので、被写体が基準画像の下部に近いほど周辺画素の範囲を狭くする。前述のように孤立判定および再探索範囲の設定は周辺画素を対象に行われるので、周辺画素の範囲が拡大すれば孤立判定および再探索範囲の設定範囲も拡大され、周辺画素の範囲が縮小すれば孤立判定および再探索範囲の設定範囲も縮小される。

たとえば、基準画像を垂直方向に３分割し、算出対象画素が３分割した上中下のいずれに属するかにより以下のように周辺画素の定義を変更する。算出対象画素が下部に属する場合は、周辺画素を算出対象画素から２画素離れた合計２４画素とする。算出対象画素が中部に属する場合は、周辺画素を算出対象画素の上下左右および斜めの合計８画素とする。算出対象画素が上部に属する場合は、周辺画素を算出対象画素の上下左右の合計４画素とする。

なお、孤立判定の際の周辺画素の定義と、再探索範囲の設定の際の周辺画素の定義は異なっていてもよい。たとえば、孤立判定の際には周辺画素は算出対象画素の基準画像内の位置によらず一定とし、再探索範囲の設定の際のみ基準画像における算出対象画素の位置を利用してもよい。

この変形例１によれば、次の作用効果が得られる。
（６）算出対象画素の周辺の画素の数は、基準画像における算出対象画素の位置に基づく。そのため、算出対象画素が基準画像の上部、すなわち第１撮像部１０１から遠方に存在する場合には周辺の画素を減らすことで演算の負荷を軽減できる。また被写体までの距離に応じて被写体の撮影画像上の大きさも変化するので、算出対象画素の位置に応じて参照する画素の数を変化させることが合理的である。

（７）探索範囲設定部１０５は、基準画像における算出対象画素の位置に基づき、再探索範囲の設定に用いる算出対象画素の周辺の画素の数を決定する。そのため、算出対象画素が基準画像の上部、すなわち第１撮像部１０１から遠方に存在する場合には周辺の画素を減らすことで演算の負荷を軽減できる。また被写体までの距離に応じて被写体の撮影画像上の大きさも変化するので、算出対象画素の位置に応じて参照する画素の数を変化させることが合理的である。

―第２の実施の形態―
図６を参照して、演算装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、初回探索部と再探索部が一体化している点で、第１の実施の形態と異なる。

図６は、第２の実施の形態における演算装置１Ａの構成を示すブロック図である。演算装置１Ａは、第１の実施の形態における演算装置１の初回探索部１０３および再探索部１０６を一体化した探索部１０９を備える。演算装置１Ａが実行する処理の内容は演算装置１と同一である。演算装置１Ａは、初回探索部１０３および再探索部１０６の演算リソースを共通化している。

たとえばある１つのハードウエア回路を初回探索部１０３および再探索部１０６で共通して利用するのが本実施の形態における探索部１０９である。またたとえば、同一のＣＰＵが初回探索部１０３および再探索部１０６を実現すると本実施の形態における探索部１０９に相当する。

上述した第２の実施の形態によれば、ハードウエアのコストを低減できるので、同一コストでより複雑な処理が可能になり、結果として間接的に出力品質を上げることができる。

―第３の実施の形態―
図７を参照して、演算装置の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第２の実施の形態と同じである。本実施の形態では、主に、時間の管理を行う点で、第２の実施の形態と異なる。

図７は、第３の実施の形態における演算装置１Ｂの構成を示すブロック図である。演算装置１Ｂは、第２の実施の形態における演算装置１Ａの構成に加えて、探索部１０９に対して再探索の可否を通知する探索時間管理部６０１をさらに備える。本実施の形態では、第１撮像部１０１および第２撮像部１０２が一定の時間フレーム、たとえば１６ｍｓごとに周期的に撮影する。この場合に探索部１０９は、この時間フレーム内に初回探索部１０３の処理だけでなく再探索部１０６の処理も完了させなければ、次の時間フレームに取得した画像の処理が不可能になる。

そのため探索時間管理部６０１は、たとえば当該時間フレーム内の累計処理時間を記録して、再探索処理が当該時間フレーム内に可能か否かを判定する。探索部１０９は、探索時間管理部６０１による判定の結果に基づいて再探索を実施して結果を出力するか、実施を実施せずに最初の探索結果、すなわち初回視差を出力するかを決定する。

上述した第３の実施の形態によれば、次の作用効果が得られる。
（８）演算装置１Ｂでは、初回探索部１０３および再探索部１０６が同一の演算リソースを利用して探索部１０９として実現される。演算装置１Ｂは、再探索部１０６による再探索視差の算出が所定の時間内に完了するか否かを判断する探索時間管理部６０１を備える。再探索部１０６は、探索時間管理部が所定の時間内に完了すると判断すると再探索視差を算出する。そのため、演算装置１Ｂは必ず所定時間内に処理を完了できる。

（第３の実施の形態の変形例）
探索部１０９は、再探索が必要であるが当該時間フレーム内に再探索処理が不可能であると判断する場合には、乖離画素について無効フラグを付加して出力してもよい。無効フラグとは、視差が不確かであることを示すフラグである。さらに探索部１０９は、孤立視差について初回視差を出力する代わりに無効フラグを出力してもよい。

本変形例によれば次の作用効果が得られる。
（９）再探索部１０６は、探索時間管理部６０１が所定の時間内に完了しないと判断すると乖離画素について視差が無効である旨を出力する。そのため、明確に無効である旨を伝達することができる。

―第４の実施の形態―
図８を参照して、演算装置の第４の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、算出した視差情報を一時的に記憶し、孤立判定および再探索範囲の決定に利用する点で、第１の実施の形態と異なる。また「周辺」および「周辺画素」の定義も第１の実施の形態と異なる。

図８は、第４の実施の形態における演算装置１Ｃの構成を示すブロック図である。演算装置１Ｃは、第１の実施の形態の構成に加えて、視差記憶部７０１をさらに備える。視差記憶部７０１はたとえばＲＡＭにより実現される。視差記憶部７０１には、従前の、少なくとも直前の時間フレームにおける視差の算出結果（以下、「過去視差」と呼ぶ）が格納される。視差記憶部７０１には、初回視差しか算出されていない画素については初回視差の情報が格納され、初回視差および再探索視差が算出された画素については再探索視差の情報が格納される。視差記憶部７０１に格納された情報は、孤立判定部１０４および探索範囲設定部１０５から読み出される。

本実施の形態における「周辺」とは、時間的な相対関係における周辺を意味する。本実施の形態における「周辺画素」とは、算出対象画素と同一の座標であり時間的に周辺に存在する画素である。

孤立判定部１０４は、初回探索部１０３が算出した算出対象画素の視差の値を、周辺画素、すなわち視差記憶部７０１に格納されている算出対象画素の過去の視差と比較し、算出対象画素が孤立視差を有する乖離画素に相当するか否かを判断する。たとえば孤立判定部１０４は、算出対象画素の基準画像における座標が（１００，２００）の場合に、直前の時間フレームにおける同一の座標の視差を視差記憶部７０１から読み出し、算出対象画素の初回視差と視差記憶部７０１から読み出した視差とを比較する。孤立判定部１０４は、これらの差が所定の閾値以上である場合に算出対象画素を乖離画素と判断してもよいし、これらの比が所定の閾値以上である場合に算出対象画素を乖離画素と判断してもよい。

さらに孤立判定部１０４は、視差記憶部７０１に複数フレームの視差情報が格納されている場合には、たとえば同一座標における過去１０フレームの視差の単純平均値を比較対象に用いてもよい。また単純平均値の代わりに、現在に近いほど重みを大きくする重みづけを施して比較対象を算出してもよい。

再探索部１０６は、乖離画素の再探索範囲を決定するために視差記憶部７０１に格納された乖離画素と同一の座標の視差値を参照する。再探索部１０６はたとえば、視差記憶部７０１に格納された直前の時間フレームにおける同一座標の視差値を中心とする所定の範囲を再探索範囲に設定する。たとえば同一座標の視差値が「５０」で所定の範囲が「２０」の場合には、再探索部１０６は「４０～６０」を再探索範囲に設定する。

また、視差記憶部７０１に複数フレームの視差情報が格納されている場合には、再探索部１０６はたとえば同一座標における過去１０フレームの視差の単純平均値を中心とする所定の範囲を再探索範囲に設定してもよい。さらに再探索部１０６は、また単純平均値の代わりに、現在に近いほど重みを大きくする重みづけを施して中心とする視差を算出してもよい。

上述した第４の実施の形態によれば、次の作用効果が得られる。
（１０）算出対象画素の周囲の画素とは、時間的に周辺に存在する画素である。孤立判定部１０４は、算出対象画素の初回視差と、算出対象画素の周辺の画素における初回視差または再探索視差との比較に基づき、算出対象画素が周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する。そのため演算装置１Ｃは、時系列的に急激に視差の値が変化すると乖離画素として検出できる。

（１１）孤立判定部１０４は、算出対象画素の初回視差と、算出対象画素が属する基準画像に対して直前に撮影された基準画像における乖離画素と同一の座標における初回視差または再探索視差との比較に基づき、算出対象画素が周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する。そのため、時系列の変化をとらえる際に最も重要な直前との比較ができる。

（１２）探索範囲設定部１０５は、従前に撮影された基準画像において乖離画素と同一の座標における初回視差または再探索視差と、乖離画素の初回視差とに基づき再探索範囲を設定する。そのため演算装置１Ｃは、時系列の視差を参照して乖離画素の再探索範囲を設定できる。

（１３）探索範囲設定部１０５は、直前に撮影された基準画像において乖離画素と同一の座標における初回視差または再探索視差と、乖離画素の初回視差とに基づき再探索範囲を設定する。そのため演算装置１Ｃは、時系列の視差情報において最も重要な直前の視差の値を参照して乖離画素の再探索範囲を設定できる。

（第４の実施の形態の変形例１）
本実施の形態と他の実施の形態とを組み合わせてもよい。たとえば、孤立判定部１０４による判定に第１～第３の実施の形態のように算出対象画素の空間的な周辺の画素の視差を用い、再探索部１０６による再探索範囲の決定に第４の実施の形態のように算出対象画素の時間的な周辺の画素の視差を用いてもよい。また、孤立判定部１０４による判定に第４の実施の形態のように算出対象画素の時間的な周辺の画素の視差を用い、再探索部１０６による再探索範囲の決定に第４の実施の形態のように算出対象画素の空間的な周辺の画素の視差を用いてもよい。換言すると、「周辺」および「周辺画素」の定義が孤立判定部１０４と再探索部１０６とで異なってもよい。

上述した各実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、１つの機能ブロック図で表した構成を２以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。

上述した各実施の形態および変形例において、プログラムは不図示のＲＯＭに格納されるとしたが、プログラムは書き込み可能な記憶装置に格納されていてもよい。また、演算装置が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと演算装置が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１、１Ａ、１Ｂ、１Ｃ…演算装置
１０１…第１撮像部
１０２…第２撮像部
１０３…初回探索部
１０４…孤立判定部
１０５…探索範囲設定部
１０６…再探索部
１０７…取得部
１０９…探索部
６０１…探索時間管理部
７０１…視差記憶部

Claims (14)

1. 第１撮像部が撮影して得られる基準画像、および第２撮像部が撮影して得られる参照画像を取得する取得部と、
   前記基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、前記参照画像を参照して前記算出対象画素の視差である初回視差を算出する初回探索部と、
   前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する孤立判定部と、
   前記乖離画素を対象とした前記参照画像における再度の探索の範囲である再探索範囲を設定する探索範囲設定部と、
   前記参照画像において前記探索範囲設定部が設定した前記再探索範囲を探索することで、前記乖離画素の視差である再探索視差を算出する再探索部と、を備える演算装置。
2. 請求項１に記載の演算装置において、
   前記算出対象画素の周囲の画素とは、空間的に周辺に存在する画素であり、
   前記孤立判定部は、前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における前記初回視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する演算装置。
3. 請求項２に記載の演算装置において、
   前記孤立条件は、前記算出対象画素の周囲の画素における前記初回視差の平均値に基づく演算装置。
4. 請求項２に記載の演算装置において、
   前記算出対象画素の周辺の画素の数は、前記基準画像における前記算出対象画素の位置に基づく演算装置。
5. 請求項１に記載の演算装置において、
   前記算出対象画素の周囲の画素とは、時間的に周辺に存在する画素であり、
   前記孤立判定部は、前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における前記初回視差または再探索視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する演算装置。
6. 請求項５に記載の演算装置において、
   前記孤立判定部は、前記算出対象画素の前記初回視差と、前記算出対象画素が属する前記基準画像に対して直前に撮影された前記基準画像における前記乖離画素と同一の座標における前記初回視差または再探索視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断する演算装置。
7. 請求項１に記載の演算装置において、
   前記探索範囲設定部は、前記乖離画素に対して空間的に周辺に存在する画素の前記初回視差に基づき前記再探索範囲を設定する演算装置。
8. 請求項７に記載の演算装置において、
   前記探索範囲設定部は、前記乖離画素の周囲の画素における前記初回視差の平均値に基づき前記再探索範囲を設定する演算装置。
9. 請求項７に記載の演算装置において、
   前記探索範囲設定部は、前記基準画像における前記算出対象画素の位置に基づき、前記再探索範囲の設定に用いる前記算出対象画素の周辺の画素の数を決定する演算装置。
10. 請求項１に記載の演算装置において、
    前記探索範囲設定部は、従前に撮影された前記基準画像において前記乖離画素と同一の座標における前記初回視差または前記再探索視差と、前記乖離画素の前記初回視差とに基づき前記再探索範囲を設定する演算装置。
11. 請求項１０に記載の演算装置において、
    前記探索範囲設定部は、直前に撮影された前記基準画像において前記乖離画素と同一の座標における前記初回視差または前記再探索視差と、前記乖離画素の前記初回視差とに基づき前記再探索範囲を設定する演算装置。
12. 請求項１に記載の演算装置において、
    前記初回探索部および前記再探索部が同一の演算リソースを利用して実現され、
    前記再探索部による前記再探索視差の算出が所定の時間内に完了するか否かを判断する探索時間管理部をさらに備え、
    前記再探索部は、前記探索時間管理部が所定の時間内に完了すると判断すると前記再探索視差を算出する演算装置。
13. 請求項１２に記載の演算装置において、
    前記再探索部は、前記探索時間管理部が所定の時間内に完了しないと判断すると前記乖離画素について視差が無効である旨を出力する演算装置。
14. 第１撮像部が撮影して得られる基準画像、および第２撮像部が撮影して得られる参照画像を取得する取得部を有する演算装置が実行する視差探索方法であって、
    前記基準画像に含まれる視差を算出する対象の画素である算出対象画素を決定し、前記参照画像を参照して前記算出対象画素の視差である初回視差を算出することと、
    前記算出対象画素の前記初回視差と、前記算出対象画素の周辺の画素における視差との比較に基づき、前記算出対象画素が前記周辺の画素から孤立している孤立条件を満たす乖離画素であるか否かを判断することと、
    前記乖離画素を対象とした前記参照画像における再度の探索の範囲である再探索範囲を設定することと、
    前記参照画像において前記再探索範囲を探索することで、前記乖離画素の視差である再探索視差を算出することとを含む、視差探索方法。
    

Images