JP6429101B2 - 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体 - Google Patents

Description

本発明は、画像判定装置と、画像処理装置と、画像判定プログラムと、画像判定方法と、移動体とに関するものである。

近年、移動体の一例である車両の周辺情報を運転者に提供して運転の安全性を向上させるための運転支援システムが搭載されている車両が知られている。

ここで、運転支援システムは、車両の周辺情報を得るために、レーダセンサや車載用カメラなどの物体検知装置を搭載する。

特に、車載用カメラとして人間の目と同様に距離測定方向に向かい合う方向において異なる位置に設置された複数のカメラから情報を取得するステレオカメラを有する画像処理装置を使用した運転支援システムは、さまざまな運転支援に用いられている。

ステレオカメラは、距離測定方向に向かい合う方向において異なる位置に設置された複数のカメラが距離測定した検知対象の画像を取得し、複数のカメラが撮像した画像における像位置の差（視差）を用いて、検知対象までの距離や検知対象の位置を測定する。

ところで、ステレオカメラは、例えばレンズ表面や車両のフロントガラスなどに、画像の取得を妨げる物体（視野阻害物）が存在する場合には、検知対象の検知や検知対象までの距離測定ができない。

ここで、車両は、主に屋外で使用されるため、レンズ表面やレンズ前面に配置される車両のフロントガラスやリアガラスに、視野阻害物として砂塵・雨水・雪・氷などの物体が付着することが多い。

また、ステレオカメラは、フロントガラスやリアガラスの周囲に置かれた物体がガラス面に映り込むことにより、映り込んだ物体を検知対象として誤検出してしまうおそれがある。

なお、運転支援システムに用いられる車載用カメラの撮像領域にある付着物などの異常の有無を検出する技術として、取得した画像の特徴量を抽出して評価することにより異常の有無を検出する技術が提案されている（例えば、特許文献１参照）。

しかしながら、従来の技術では、画像の特徴量に基づいて異常の有無を検出するため、画像の特徴量に変化が生じなければ異常を検出できないという問題があった。

また、従来の技術では、画像の特徴量に基づいて異常の有無を検出するため、あらかじめ定めた画像の特徴量のモデルと比較しなければ異常を検出できないという問題があった。

本発明は、画像に基づいて視差値を取得することができるか否かを判定することができる画像判定装置を提供することを目的とする。

本発明は、複数の撮像部のそれぞれが取得した画像を読み込む画像読込部と、画像中の判定領域の視差値を演算する視差値演算部と、画像に基づいて視差値を取得することができるか否かを、視差値演算部の演算結果に基づいて判定する判定部と、を有し、判定部は、判定領域内の所定の領域に含まれる画素ごとの視差値の平均値が無効判定閾値より小さいときに、所定の領域を、視差値を取得することができない無効視差値領域であると判定し、判定部は、無効視差値領域の数が所定の数より小さいか否かに基づいて、画像に基づいて視差値を取得することができるか否かを判定する。

本発明によれば、画像に基づいて視差値を取得することができるか否かを判定することができる。

本発明に係る車両の実施の形態を示す模式図である。 本発明に係る画像処理装置の実施の形態を示すブロック図である。 本発明に係る画像判定装置の実施の形態を示すブロック図である。 図３の画像判定装置の撮像領域を示す模式図である。 図３の基準画像撮像部が取得した画像の例を示す模式図である。 図３の比較画像撮像部が取得した画像の例を示す模式図である。 視差画像の例を示す模式図である。 視差演算の方向を示す模式図である。 図３の画像処理装置の撮像領域に視野阻害物が付着した例を示す模式図である。 図９の画像処理装置の撮像領域に視野阻害物が付着した画像の例を示す模式図である。 図１１の画像に基づいて取得された視差値を示す模式図である。 視差値演算部による視差値の平均化処理を示す模式図である。 無効視差パターンの例を示す模式図である。 本発明に係る画像判定方法を示すフローチャートである。

以下、本発明に係る画像判定装置と、画像処理装置と、画像判定プログラムと、画像判定方法と、車両との実施の形態について、図面を参照しながら説明する。

●移動体●
まず、本発明に係る移動体の実施の形態について説明する。ここで、本発明に係る移動体とは、車両、船舶、航空機など、空間内を移動する物体をいう。

図１は、本発明に係る移動体の実施の形態である車両を示す模式図である。同図に示すように、本実施の形態に係る車両５００は、車両５００の進行方向前方の車両外の状況を検知するために、フロントガラス５１０の内側（車室側）上部の不図示のインナーリアビューミラー付近に本発明に係る画像処理装置１００を備える。

なお、画像処理装置１００の取付位置は、上述の位置に限定されず、車両外の状況を検知することができる位置であればよい。

ここで、図１において車両５００の幅方向（紙面上下方向）を車幅方向、車両５００の長さ方向（紙面左右方向）を車両進行方向とする。

車両５００は、動力制御、ブレーキ制御、操舵力制御、ディスプレイ（不図示）の表示制御など、車両５００の各種機構の制御を行う不図示の車両制御装置を備える。車両制御装置は、画像処理装置１００が検知した検知対象に関する情報（検知対象の存否、検知対象までの距離や方向、検知対象の大きさなど）に基づいて、車両５００の走行を支援して安全性能を向上させるアクティブセーフティを実現する各種動作を実行する。

すなわち、画像処理装置１００は、車両進行方向前方を複数の撮像部により撮像して画像を取得し、複数の撮像部それぞれが取得した画像に基づいて視差値を取得し、視差値に基づいて車両進行方向前方に存在する検知対象までの距離を算出する。

車両５００の車両制御装置は、検知対象までの距離に基づいて、所定の距離範囲内であれば車両５００の速度を低下させる、あるいは車両５００を停止させる、音声や画像を用いて運転者に注意喚起するなどのアクティブセーフティを実現する制御を行う。

また、画像処理装置１００は、車両５００の進行方向前方の状況を撮像する。車両５００の車両制御装置では、撮像した画像から検知対象を検知する画像認識を行う。つまり、車両制御装置は、検知対象が車両であるか人であるかなどの属性を認識することで、アクティブセーフティを実現する各種動作の精度を向上させている。

また、車両制御装置は、画像処理装置１００が撮像した画像から、道路上の白線の位置や、路面の端部を検知し、車両５００の車線逸脱防止制御などを行う。

●画像処理装置●
次に、本発明に係る画像処理装置の実施の形態について説明する。本実施の形態に係る画像処理装置は、以上説明した車両５００に搭載される。

図２は、本発明に係る画像処理装置の実施の形態を示すブロック図である。同図に示すように、本実施の形態に係る画像処理装置１００は、ステレオカメラ１１０と、画像判定装置１２０と、距離情報取得部１３０と、を有する。画像処理装置１００は、車両に備えられる車両制御装置１４０と接続する。

ステレオカメラ１１０は、複数の撮像部として基準画像撮像部１１１と比較画像撮像部１１２とを備え、基準画像撮像部１１１と比較画像撮像部１１２のそれぞれが画像を取得する。

画像判定装置１２０は、複数の撮像部のそれぞれが取得した画像を読み込み、画像の判定領域の視差値を演算する。その上で、画像判定装置１２０は、視差値の演算結果に基づいて、運転支援に適した視差値を得られているか否かを判定する。なお、画像判定装置１２０の構成は後述する。

距離情報取得部１３０は、画像判定装置１２０が演算した視差値に基づいて検知対象の距離情報を取得する。

車両制御装置１４０は、検知対象までの距離に基づいて、所定の距離範囲内であれば車両の速度を低下させる、あるいは車両を停止させる、音声や画像を用いて運転者に注意喚起するなどのアクティブセーフティを実現する制御を行う。

また、車両制御装置１４０では、画像処理装置１００が撮像した画像から検知対象を検知する画像認識を行う。つまり、車両制御装置１４０は、検知対象が車両であるか人であるかなどの属性を認識することで、アクティブセーフティを実現する各種動作の精度を向上させている。

また、車両制御装置１４０は、画像処理装置１００が撮像した画像から、道路上の白線の位置や、路面の端部を検知し、車両の車線逸脱防止制御などを行う。

ここで、画像処理装置１００は、例えば車両５００に搭載され、車両進行方向を撮影するドライブレコーダ用カメラや物体検知用カメラ、あるいは車両の側後方などの確認用カメラなど、各種車載用の画像処理装置として適用される。

ただし、本発明に係る画像処理装置の用途はこれに限定されない。すなわち、本発明に係る画像処理装置は、例えば、スーパー、コンビニエンスストア等に設置される監視用の画像処理装置としても適用することができる。また、本発明に係る撮像装置は、鉄道、船舶、鉄道等の安全装置やＦＡ（Factory Automation）分野の物体認識用の画像処理装置としても適用することができる。

また、本発明に係る画像処理装置は、撮像装置に搭載されるものに限定されず、例えば画像表示装置など、画像処理装置を有する各種装置に搭載することができる。

●画像判定装置●
次に、本発明に係る画像判定装置の実施の形態について説明する。

図３は、本発明に係る画像判定装置の実施の形態を示すブロック図である。同図に示すように、本実施の形態に係る画像判定装置１２０は、視差値演算部１２１と、視差値記憶部１２２と、判定部１２３と、出力部１２４と、無効視差パターンデータベースＤ３とを有する。

視差値演算部１２１は、基準画像撮像部１１１と比較画像撮像部１１２とが取得した画像を読み込み、撮像対象視野の画像の判定領域にある被写体（検知対象）の視差値を演算する。つまり、視差値演算部１２１は、画像読込部としての機能も有する。

図４は、図２の画像処理装置１００の撮像領域を示す模式図である。同図に示すように、画像処理装置１００のステレオカメラ１１０の基準画像撮像部１１１の撮像領域Ａ１と比較画像撮像部１１２の撮像領域Ａ２とが異なる位置にある。

つまり、基準画像撮像部１１１と比較画像撮像部１１２とは、車幅方向で異なる位置から撮影した画像を取得する。視差値演算部１２１は、それぞれの画像の画素の位置の違い(視差)から、物体や風景の立体的な位置関係に関する情報や、形状に関する情報として視差値を演算する。

図５は、図３の基準画像撮像部１２１が取得した画像の例を示す模式図である。同図に示すように、基準画像撮像部１２１が取得した画像２００には、先行車２１０と、路面２２０と、白線２３０と、ガードレール２４０と、建物２５０と、空２６０とが被写体として含まれている。

図６は、図３の比較画像撮像部１２２が取得した画像の例を示す模式図である。同図に示すように、比較画像撮像部１２２が取得した画像２００ｂは、基準画像撮像部１２１が取得した画像２００とわずかに視野が異なる。

視差値演算部１２１は、視差値演算の基準となる画像２００（以下「基準画像」という。）の画素の位置と視差値演算の比較対象の画像２００ｂ（以下「比較画像」という。）の画素の位置に基づいて、画素ごとに相関値の計算を行い視差値を演算する。

なお、画素ごとに視差値を演算するとは、画像を構成する１画素についてそれぞれ視差値を演算する場合に加え、画像を構成する複数の画素について視差値を演算する場合とを含んでもよい。

ここで、ステレオカメラ１１０が撮像した画像による視差値演算部１２１が行う測距原理の一例について説明する。

ステレオカメラ１１０は、異なる視点位置から同じ対象物体を撮影した時に、撮影画像上での結像位置が物体の距離によって変化することを利用して物体の距離や位置を計測する。

ここで、基準画像撮像部１１１と比較画像撮像部１１２との間の撮像領域に正対する方向の距離を基線長Ｂ、焦点距離ｆ、及び、視差ｄ（視点による物体の結像点の位置の差）から、物体までの距離Ｚは以下の式（１）で表す。

Ｚ＝Ｂ・ｆ／ｄ ・・・（１）

また、視差ｄの算出には、左右の基準画像撮像部１１１と比較画像撮像部１１２とから得られた一対の画像のある小領域の相関値を計算し、最も相関が高い画素位置が得られた際の画像間のシフト量を視差として算出するブロックマッチングがよく用いられる。

視差値演算部１２１は、基準画像撮像部１１１により撮像された基準画像データと比較画像撮像部１１２により撮像された比較画像データとの領域ごとの相違度を求めて対応点を検出（ステレオマッチング）して、両画像間の対応点の画素のずれ（視差）を算出する。

視差値演算部１２１は、視差の算出過程で、画素ごとに算出対象の視差値を分析し、ノイズの除去や、運転支援に必要な情報（特徴）の得られない視差値であるかの判定を行う。視差値演算部１２１は、視差値が得られないと判断した場合には算出対象の画素ごとの視差値を無効な値にする。

図７は、視差画像の例を示す模式図である。視差画像において、暗い（黒色）の部分は遠い距離の視差値を示し、明るい（灰色）部分になるにつれて近い距離の視差値を示す。

図８は、視差演算の方向を示す模式図である。同図に示すように、視差値演算部１２１は、画像データの垂直上方の例えば左隅の位置から順次視差演算処理を開始する。

なお、視差値演算部１２１による画像データ内の視差演算処理の開始位置は、上述の例には限定されない。

また、画像において視差演算処理を行う判定領域は、基準画像撮像部１１１と比較画像撮像部１１２との撮像領域の一部または全部である。つまり、視差演算処理は、例えば走行時の進行方向に相当する部分や路面に相当する部分などの視差値を優先的に演算するために、検知対象となる被写体が存在する確率が高い場所のみ処理を行ってもよい。

視差値記憶部１２２は、視差値演算部１２１が演算した視差値を一時的に記憶する。

判定部１２３は、基準画像撮像部１１１と比較画像撮像部１１２とのそれぞれが取得する画像に基づいて視差値を取得することができるか否か（取得された視差値が有効であるか否か）を、演算結果に基づいて判定する。判定部１２３は、無効視差パターンデータベースＤ３に接続する。

ここで、ステレオカメラ１１０は、視差を得るために検知対象から一定の距離だけ離れていることを要する。これは、運転支援に必要な精度の測距を行うためには、ステレオカメラ１１０の撮像部の基線長や焦点距離に制限があるためである。そのため、ステレオカメラ１１０は、一定距離よりも近い位置にある物体が検知対象である場合には視差を得ることができない。

ここで、視差が得られない状態とは、一定距離よりも近い位置にある物体が検知対象である場合に限らず、上述のように視差値演算部１２１において算出対象の画素の視差が無効であると判定され視差が無効な値になることを指す。

つまり、判定部１２３は、視差値が無効となった画素の範囲・量・形状などから、運転支援に適した視差値を得られているか否かを判定することで、撮像領域（視野）上の状態が異常であるか否かを判定する。ここで、撮像領域上の状態が異常であるとは、視野阻害物（付着物、降雪など、視差を演算することを阻害する物体）がある、写り込みが生じている、フレアが生じている、撮像部の撮像素子などの故障、壁などの平坦なものが写っている、ことを含む。また、撮像領域上の状態が異常であるとは、降雪により視差値に変化がない、色・テクスチャーに特徴がない風景・物体が写り視差値が得られない、などを含む。

判定部１２３は、無効判定閾値Ｓ_ｔｈと演算した視差値とに基づいて視差値が無効であるか否かを判定する。ここで、無効判定閾値Ｓ_ｔｈは、判定部１２３が視差値が無効であるか否かを判定するために用いられる。つまり、以下で説明されるように、平均化された視差値が無効判定閾値Ｓ_ｔｈを下回る場合に、判定部１２３によりその視差値は無効であると判定される。

図９は、図３の画像処理装置１００の撮像領域に視野阻害物が付着した例を示す模式図である。同図に示すように、車両５００のフロントガラス５１０には視野阻害物２７０が付着しているため、図３に示したステレオカメラの基準画像撮像部の撮像領域Ａ１と比較して、基準画像撮像部の撮像領域Ａ１１が大きく遮られている。

図１０は、図９の画像処理装置１００の撮像領域Ａ１１に視野阻害物２７０が付着した画像２０１の例を示す模式図である。同図に示すように、画像２０１には、先に説明した画像２００と比較して先行車２１０と空２６０との付近に視野阻害物２７０が含まれる。

図１１は、図１０の画像２０１に基づいて演算された画像領域３０１ごとの視差値を色分けした画像を示す模式図である。同図に示すように、画素ごとの視差値を平均化して画像領域３０１ごとに視差値を色分けした画像（以下「視差値平均化画像」という。）３００は、画素ごとの視差値を平均化して画像領域３０１ごとに視差値を色分けされる。ここで、視差値平均化画像３００は、以下の処理により算出される。なお、視差値平均化画像３００は、視差値平均化の模式図であり、実際には視差値平均化画像３００を生成する必要はない。つまり、所定の領域に含まれる画素の視差値を平均すればよい。

図１２は、判定部１２３による視差値の平均化処理を示す模式図である。同図に示すように、所定の領域に相当する画素分の演算結果が得られた時点で、判定部１２３は、所定の領域に相当する画素分の視差値を平均化する。さらに判定部１２３は、この平均値が、無効判定閾値Ｓ_ｔｈを下回るか否かを判定し、判定結果を判定結果記憶部１２５に記憶する。なお、所定の領域に相当する画素数は、複数に限定されない。つまり、所定の領域を構成する画素は１画素であってもよい。

ここで、視差値平均化画像３００は、画像領域３０１の色が濃い場合には視差値が小さく、画像領域３０１の色が薄い場合には視差値が大きいことを示している。

視差値平均化画像３００において、画像２０１に含まれる視野阻害物２７０の位置には、画像２０１上において上述の視差値の平均値が無効判定閾値を下回った画像領域である、無効視差値領域３１０がある。

なお、無効視差値領域であることを特定する他の方法としては、視差値が演算できない画像領域、あるいは、他の画像領域３０１の視差値と比較して大きく異なる視差値である画像領域であることを特定してもよい。

そして、判定部１２３は、所定の領域ごとに平均化された視差値のうち、無効判定閾値を下回る領域数に基づいて、視差値が無効であるか否かを判定する。

ここで、判定部１２３による判定処理について説明する。

視差値平均化画像３００のうち、所定の領域に相当する画像領域３０１に含まれる複数の画素の画素数をＮ_ｐｉｘ、画素ごとの視差値をＳ_ｘとする。

ここで、画像領域３０１に含まれる画素全体の視差値の平均値Ｓ_ａｖｒは、以下の式（２）により求めることができる。

Ｓ_１＋Ｓ_２＋Ｓ_３＋Ｓ_４＋Ｓ_５＋…．Ｓ_ｎ ／ Ｎ_ｐｉｘ ・・・（２）

また、画像領域３０１を無効視差値領域３１０と判定する無効判定閾値は、Ｓ_ｔｈと定める。

そして、判定部１２３は、式（３）に示すように画像領域３０１の視差値の平均値Ｓ_ａｖｒが閾値Ｓ_ｔｈ未満である場合に、その画像領域３０１が無効視差値領域３１０（無効視差である画素が多く含まれる領域）であると判断する。

Ｓ_ｔｈ ＞ Ｓ_１＋Ｓ_２＋Ｓ_３＋Ｓ_４＋Ｓ_５＋…Ｓ_ｎ ／ Ｎ_ｐｉｘ ・・・（３）

なお、判定部１２３は、あらかじめ定められた無効視差値と判断される閾値と演算した画像領域３０１の視差値とを比較して無効視差値領域３１０の判定を行ってもよい。

判定部１２３は、取得した視差値平均化画像３００の画像領域３０１ごとに以上の処理を繰り返し、例えば無効視差値領域３１０の数が一定量を超える場合に、撮像領域の状態が視差値の演算に支障がある（異常である）と判定する。

また、判定部１２３は、演算した結果得られる無効視差値領域３１０の位置パターンと無効視差パターンとを比較し、撮像領域の状態を判定する。この場合の判定は、例えば、無効視差パターンと無効視差値領域３１０の位置パターンとの一致度が高い場合に視差値が無効である（異常である）と判定する。

判定部１２３は、無効視差パターンと取得した画像の視差値平均化画像３００の無効視差値領域３１０とが一致するか否か判断して、撮像領域の視差値が無効であるか否かを判定してもよい。

ここで、判定部１２３は、無効視差パターンに対応する位置から優先的に視差値が無効であるか否かを判定してもよい。

図１３は、無効視差パターンの例を示す模式図である。同図に示すように、無効視差パターンデータベースＤ３に格納される無効視差パターンとしては、例えば無効視差値領域が連続して水平方向に任意の数続くパターン４０１、無効視差値領域が連続して垂直方向に任意の数続くパターン４０２が考えられる。

また、図１３に示すように、無効視差パターンとしては、無効視差値領域が斜めに続くパターン４０３、縦横の４角形に無効視差値領域が続くパターン４０４が考えられる。

さらに、図１３に示すように、無効視差パターンとしては、車両５００の走行時の画像において検知対象が存在する可能性が高い領域（例えば、走行時の進行方向に相当する部分など）を重点的に無効視差値領域と定めるパターン４０５が考えられる。なお、検知対象が存在する可能性が高い領域としては、他に走行時に変化の大きい部分や路面に相当する部分などが考えられる。

なお、判定部１２３は、例えば視差値平均化画像３００をＮ個の画像領域３０１に分割したときに、例えば所定の数（例えば０．５Ｎ）を上回る数の画像領域３０１が無効視差値領域３１０である場合に、視差値が無効であると判定してもよい。

出力部１２４は、判定部１２３が出力した撮像状態の判定結果を出力する。

以上説明したように、画像判定装置１２０は、基準画像撮像部１１１と比較画像撮像部１１２とが取得したそれぞれの画像に基づく視差値に基づいて撮像領域での視差値が無効であるか否かを判定する。つまり、画像判定装置１２０によれば、撮像領域での視差値が無効であるか否かを判定することができる。

また、画像判定装置１２０によれば、パターン４０１〜４０５と取得した画像の視差値平均化画像３００の無効視差値領域３１０とを比較して撮像領域上の状態を判定するため、迅速に高い精度で撮像領域での視差値が無効であるか否かを判定することができる。

●画像判定方法●
次に、本発明に係る画像判定方法の実施の形態について説明する。本実施の形態において、本発明に係る画像判定方法は、コンピュータに画像判定プログラムを実行させて、コンピュータを先に説明した画像判定装置１２０として機能させることにより実行される。

図１４は、本発明に係る画像判定方法を示すフローチャートである。同図に示すように、画像判定装置１２０の視差値演算部１２１は、ステレオカメラ１１０が撮像した基準画像（基準画）と比較画像（比較画）と（Ｓ１０１）を取得し、両画像の視差を演算する（Ｓ１０２）。

視差値演算部１２１により演算された視差値は、一時的に視差値記憶部１２２に記憶される（Ｓ１０３）。

判定部１２３は、所定の領域に相当する画素分の視差値の平均値Ｓ_ａｖｒを上述の式（２）に基づいて算出する（Ｓ１０４）。

判定部１２３は、上述の式（３）に示すように画像領域３０１の画素値の平均値Ｓ_ａｖｒと閾値Ｓ_ｔｈとを比較する。判定部１２３は、所定の領域に含まれる画素分の視差値の平均値Ｓ_ａｖｒが閾値Ｓ_ｔｈ未満である場合に、その画像領域３０１が無効視差値領域３１０（無効視差である画素が多く含まれる領域）であると判断する（Ｓ１０５）。判定部１２３は、無効視差値領域３１０であるか否かの判定結果を出力する。

判定部１２３は、平均値が無効判定閾値Ｓ_ｔｈを下回るか否かを判定し、その結果（無効判定結果）を、判定結果記憶部１２５に記憶する（Ｓ１０６）。

判定部１２３は、領域分割数に基づいて分割した所定の数の画像領域３０１について無効判定を行ったか否かを判断する（Ｓ１０７）。

全ての画像領域３０１について無効判定を行っていない場合には（Ｓ１０７：Ｎｏ）、判定部１２３は、Ｓ１０５の処理に戻り無効判定を行う。

全ての画像領域３０１について無効判定を行った場合には（Ｓ１０７：Ｙｅｓ）、判定部１２３は、無効視差値領域３１０の数やパターン４０１〜４０５とのマッチングにより、以下の処理に基づいて撮像領域での視差値が無効であるか否かを判定する。

無効視差値領域３１０の数に基づく場合には、判定部１２３は、無効視差値領域３１０と判定された数を算出する（Ｓ１０８）。

判定部１２３は、算出した無効視差値領域３１０の数が、視差値が無効であると判定するための閾値（異常判定閾値）を上回るか否かを判定する（Ｓ１０９）。

算出した無効視差値領域３１０の数が異常判定閾値を上回る場合には（Ｓ１０９：Ｎｏ）、判定部１２３は、撮像領域の状態が異常である（視差値の演算に適していない）と判断して、異常を車両制御装置１４０に通知する（Ｓ１１２）。

算出した無効視差値領域３１０の数が異常判定閾値を下回る場合には（Ｓ１０９：Ｙｅｓ）、判定部１２３は、撮像領域の状態が正常である（視差値の演算に適している）と判断して、処理を終了する。

パターン４０１〜４０５とのマッチングに基づく場合には、判定部１２３は、パターン４０１〜４０５と演算した結果得られる視差値平均化画像３００の無効視差値領域３１０とのパターンマッチングを行う（Ｓ１１０）。

判定部１２３は、パターン４０１〜４０５と演算した結果得られる視差値平均化画像３００の無効視差値領域３１０とが一致するか否かを判定する（Ｓ１１１）。

パターン４０１〜４０５と演算した結果得られた無効視差値領域３１０とが一致する場合には（Ｓ１１１：Ｙｅｓ）、判定部１２３は、撮像領域の状態が異常である（視差値の演算に適していない）と判断して、車両制御装置１４０に通知する（Ｓ１１２）。

パターン４０１〜４０５と演算した結果得られた無効視差値領域３１０とが一致しない場合には（Ｓ１１１：Ｎｏ）、判定部１２３は、撮像領域の状態が正常である（視差値の演算に適している）と判断して、処理を終了する。

●効果●
以上説明したように、画像判定装置１２０が実行する画像判定方法によれば、以下の効果が得られる。

画像判定装置１２０は、複数の撮像部が取得したそれぞれの画像中の視差値を取得することができるか否かを判定する。

また、画像判定装置１２０は、複数の撮像部が取得した画像に基づいて視差値を取得することができるか否かを、視差値の閾値と演算した視差値とに基づいて判定する。

つまり、画像判定装置１２０によれば、画像判定装置１２０が取り付けられる車両５００等が静止状態など、取得する画像に経時的変化がない（特徴量に変化がない）場合であっても撮像領域での異常を判定することができる。

また、画像判定装置１２０によれば、判定領域が複数の撮像部の撮像領域の一部または全部であるため、特定の撮像領域について重点的・優先的に異常を判定することができる。

また、画像判定装置１２０によれば、視差値の閾値と視差値に基づいて視差値が無効であるか否かを判定するため、付着物や撮像領域への写り込みなどの異常を、形状や色などの特徴を問わず判定することができる。

また、画像判定装置１２０は、画像を構成する画素ごと、または判定領域を構成する複数の画素からなる画像領域ごとに視差値を演算する。このため、画像判定装置１２０によれば、付着物や撮像領域への写り込みなどの異常を精度よく判定することができる。

また、画像判定装置１２０によれば、あらかじめ定められた画素または画像領域について撮像領域での異常を判定するため、特定の撮像領域について重点的・優先的に異常を判定することができる。

また、画像判定装置１２０は、無効視差値領域の数が所定の数より大きいか否かに基づいて、撮像領域での異常を判定する。このため、画像判定装置１２０によれば、付着物や撮像領域への写り込みなどの異常を精度よく判定することができる。

また、画像判定装置１２０によれば、あらかじめ定められたパターン４０１〜４０５と比較して撮像領域での異常を判定するため、視差値が無効であるか否かを精度よく判定することができる。

また、画像判定装置１２０によれば、撮像状態の判定結果を出力するため、出力された判定結果と画像とに基づいて車両制御装置１４０等の外部機器に撮像領域での異常を容易に認識させることができる。

また、以上説明したように、画像処理装置１００によれば、画像判定装置１２０の判定結果に基づいて撮像領域での異常を容易に認識することができる。

また、以上説明したように、車両５００によれば、画像判定装置１２０の判定結果に基づいて撮像領域での異常を容易に認識することができる。

１００ 画像処理装置
１１０ ステレオカメラ
１１１ 基準画像撮像部
１１２ 比較画像撮像部
１２０ 画像判定装置
１２１ 視差値演算部
１２２ 視差値記憶部
１２３ 判定部
１２４ 出力部
１２５ 判定結果記憶部
１３０ 距離情報取得部
１４０ 車両制御装置
２００ 画像
２０１ 画像
２１０ 先行車
２２０ 路面
２３０ 白線
２４０ ガードレール
２５０ 建物
２６０ 空
２７０ 視野阻害物
３００ 視差値平均化画像
３０１ 画像領域
３１０ 無効視差値領域
４０１ パターン
４０２ パターン
４０３ パターン
４０４ パターン
４０５ パターン
５００ 車両
５１０ フロントガラス

特許第４３４６２７５号公報

Claims (13)

1. 複数の撮像部のそれぞれが取得した画像を読み込む画像読込部と、
   前記画像中の判定領域の視差値を演算する視差値演算部と、
   前記画像に基づいて前記視差値を取得することができるか否かを、前記視差値演算部の演算結果に基づいて判定する判定部と、
   を有し、
   前記判定部は、前記判定領域内の所定の領域に含まれる画素ごとの視差値の平均値が無効判定閾値より小さいときに、前記所定の領域を、視差値を取得することができない無効視差値領域であると判定し、
   前記判定部は、前記無効視差値領域の数が所定の数より小さいか否かに基づいて、前記画像に基づいて前記視差値を取得することができるか否かを判定する、
   画像判定装置。
2. 前記判定部は、前記画像に基づいて距離情報を取得することができるか否かを、前記視差値演算部の演算結果に基づいて判定する、
   請求項１記載の画像判定装置。
3. 前記判定部は、あらかじめ定められた前記判定領域における前記無効視差値領域の位置パターンに基づいて、前記画像に基づいて前記視差値を取得することができるか否かを判定する、
   請求項１又は２記載の画像判定装置。
4. 前記判定領域は、前記画像の一部の領域である、
   請求項１乃至３のいずれかに記載の画像判定装置。
5. 前記判定部は、前記判定領域内の一部の領域について前記画像に基づいて前記視差値を取得することができるか否かを判定する、
   請求項１乃至４のいずれかに記載の画像判定装置。
6. 前記所定の領域は、１つの画素である、
   請求項１乃至５のいずれかに記載の画像判定装置。
7. 前記所定の領域は、複数の画素からなる、
   請求項１乃至５のいずれかに記載の画像判定装置。
8. 前記判定部が出力した前記視差値が無効であるか否かの判定結果を出力する出力部、
   を有する、
   請求項１乃至７のいずれかに記載の画像判定装置。
9. 前記複数の撮像部、
   を有する、
   請求項１乃至８のいずれかに記載の画像判定装置。
10. 画像に基づいて検知対象の距離情報を取得する画像処理装置であり、
    前記視差値に基づいて検知対象の距離情報を取得する距離情報取得部と、
    請求項１乃至９のいずれかに記載の画像判定装置と、
    を有する、
    ことを特徴とする画像処理装置。
11. コンピュータを、請求項１乃至１０のいずれかに記載の画像判定装置として機能させる、
    ことを特徴とする画像判定プログラム。
12. 複数の撮像部の撮像領域での視差値が無効であるか否かを判定する方法であり、
    複数の撮像部のそれぞれが取得した画像を読み込むステップと、
    前記画像中の判定領域の視差値を演算するステップと、
    前記画像に基づいて前記視差値を取得することができるか否かを、前記視差値の演算結果に基づいて判定するステップと、
    前記判定領域内の所定の領域に含まれる画素ごとの視差値の平均値が無効判定閾値より小さいときに、前記所定の領域を視差値を取得することができない無効視差値領域であると判定するステップと、
    前記無効視差値領域の数が所定の数より小さいか否かに基づいて、前記画像に基づいて前記視差値を取得することができるか否かを判定するステップと、
    を実行する、
    ことを特徴とする画像判定方法。
13. 移動体と検知対象との距離情報を取得する画像処理装置を有してなり、
    前記画像処理装置は、請求項１０記載の画像処理装置である、
    ことを特徴とする移動体。