JP6054777B2 - ステレオカメラ装置 - Google Patents

Description

本発明は、複数の撮像素子で撮像された画像を用いて対象物を検出するステレオカメラ装置に関する。

複数の撮像素子で撮像された画像を用いて対象物を検出する手法としては、一対の画像を用いて三角測量の原理により画像の各画素について実空間における距離を算出し、立体物を検出する手法が従来知られている（特許文献１）。この手法は、画像上の位置が近く、かつ算出された各画素についての実空間における距離も近い画素のかたまりを見つけ、一定以上の大きさのものを立体物として検出するものである。これにより、立体物を確度高く検出することが可能となる。

また、複数の撮像素子で撮像された画像を用いて対象物を正確に検出する他の手法としては、横断歩道上を特定の速度で動く物体を検出すると、それを高い確度で歩行者として認識する手法も従来知られている（特許文献２）。これは、横断歩道上を横断中の歩行者に対して、検出の感度を上げ、高い信頼度で歩行者を検出して、歩行者との衝突を回避するものである。これにより、事故の起きやすい横断歩道における歩行者との衝突事故を防ぐことができる。

特開平５−２６５５４７号公報 特表２０１１−５２５００５号公報

しかしながら、特許文献１，２に記載の技術によっては、例えば車載のステレオカメラ装置を用いて歩行者を検出し、その歩行者との衝突を回避する場合において、車両が右折又は左折することにより画角内に急に歩行者が入るようなシーンでは、その歩行者を迅速に対象物として確定することができないという問題がある。

即ち、特許文献１には、各画素の距離より近い位置のかたまりを立体物として検出する技術が開示されているが、実用上は、立体物を検出する際、実空間の近くにおいてこの立体物の候補が一定期間内に一定回数以上、連続的もしくは断続的に検出された場合にのみ制御対象としている。これは、各画素の距離を算出する際に誤マッチにより間違った距離が算出された場合にも、立体物の誤検出を防止し、誤検出された立体物に基づく誤ブレーキ等を防ぐための手法であり、一般的に用いられている。このように、特許文献１に記載の手法は、立体物の検出に比較的長時間を要するので、例えば車両が右折又は左折し、画角内に急に歩行者が現れるような場合には、その歩行者を制御対象として迅速に確定することができない。

また、特許文献２には、横断歩道を検出し、横断歩道上を一定速度以上で移動している立体物を歩行者として高い信頼度で検出させる技術が開示されているが、これも特許文献１に記載の技術と同様に、立体物の誤検出を防ぐことを目的として、立体物の検出から制御対象として確定するまでに一定の時間を要すると考えられる。また、立体物を検出する手段が撮像素子による場合、直接的には相対速度を算出することができないため、一定速度以上で走行しているかどうかを確定させるためにも一定の時間を要する。さらに、直接的に相対速度を算出できるミリ波レーダで検出したとしても、横方向の移動速度は直接算出することができないため、結局、制御対象の確定までに長時間を要する。

したがって、特許文献１，２に記載の技術によっては、車両が右折又は左折することにより画角内に急に歩行者が入るようなシーンで、ドライバーに対する警報が遅れたり、自動ブレーキの作動が遅れやすい。

本発明は、このような事情に鑑みてなされたものであり、画角内に急に立体物が入るようなシーンでも、当該立体物を迅速かつ正確に検出可能なステレオカメラ装置を提供することを目的とする。

前記課題を解決するために、本発明は、第一及び第二の撮像素子より取得した画像から、ステレオ視により、少なくとも立体物までの実空間における距離、横位置及び幅を算出する立体物検出手段と、前記第一及び第二の撮像素子のいずれか一方の撮像素子より取得した画像から、既知形状の被遮蔽物を検出する被遮蔽物検出手段と、前記被遮蔽物検出手段により前記被遮蔽物が検出された場合に、前記立体物検出手段により得られた立体物が、前記被遮蔽物を遮蔽しているかどうかを検出する被遮蔽物遮蔽検出手段とを備え、前記被遮蔽物遮蔽検出手段は、前記被遮蔽物が前記立体物で遮蔽されていることを検出した場合に、前記被遮蔽物が前記立体物で遮蔽されていないことを検出した場合よりも、前記立体物の存在を確定するための処理を簡易化して、前記被遮蔽物を遮蔽している前記立体物の検出を行うことを特徴とする。

本発明によれば、ステレオ視による立体物検知だけでなく、既知形状の被遮蔽物に対する立体物による遮蔽の有無を確認し、被遮蔽物が立体物により遮蔽されていると検出された場合に、被遮蔽物遮蔽検出手段による立体物の存在を確定するための処理を簡易化するので、短時間で被遮蔽物に位置に立体物が存在することを確定することができる。したがって、車両が右折又は左折することにより画角内に急に歩行者が入るようなシーンにおいても、ドライバーに対する警報や自動ブレーキの作動を適正に行うことができる。

実施例１に係るステレオカメラ装置の構成図である。 ステレオカメラ装置の距離計測原理を示す図である。 実施例１に係るステレオカメラ装置に備えられる距離算出処理部で行われる距離算出処理の手法を示す図である。 実施例１に係るステレオカメラ装置に備えられる距離算出処理部で求められる画素ごとの一致度グラフである。 実施例１に係るステレオカメラ装置に備えられる横断歩道検出処理部で行われる横断歩道検出枠の設定手法を示す図である。 実施例１に係るステレオカメラ装置に備えられる横断歩道検出処理部で行われる横断歩道検出の手法と、当該手法により得られる輝度投影グラフ及び輝度分布グラフを示す図である。 実施例１に係るステレオカメラ装置に備えられる制御対象選定処理部の処理手順を示すフロー図である。 実施例２に係るステレオカメラ装置の構成図である。 実施例２に係るステレオカメラ装置に備えられる横断歩道検出処理部で行われる横断歩道検出枠の設定手法を示す図である。 実施例２に係るステレオカメラ装置に備えられる制御対象選定処理部の処理手順を示すフロー図である。

以下、本発明に係るステレオ装置の実施形態を、実施例毎に、図面を参照しながら説明する。なお、以下においては、２つのカメラを持つステレオカメラ装置を例にとって説明するが、本発明の要旨はこれに限定されるものではなく、３つ以上のカメラを持つステレオカメラ装置にも適用することができる。

図１に、実施例１に係るステレオカメラ装置１００の全体構成を示す。本例のステレオカメラ装置１００は、歩行者を立体物、横断歩道を被遮蔽物として検出し、制御対象の選定と選択とを行う。即ち、本例のステレオカメラ装置１００は、図１から明らかなように、カメラ１０１とカメラ１０２の２つの撮像手段を備え、画像取得部１０３と画像取得部１０４でそれぞれカメラ１０１とカメラ１０２で撮像された画像を取得する。距離算出処理部１０５では、画像取得部１０３と画像取得部１０４で取得された画像を用いて、予め設定された固定のブロックサイズ毎に、実空間での距離を算出する。立体物抽出処理部１０６では、距離算出処理部１０５で得られた距離を用いて、立体物である歩行者を抽出する。立体物追跡処理部１０７では、立体物抽出処理部１０６で得られた立体物情報を、時系列で追跡し、相対速度の算出と、立体物の各種パラメータをフィルタリングした結果を出力する。横断歩道検出処理部１０８では、立体物抽出処理部１０７で得たフィルタ後の立体物情報と画像取得部１０４で得た画像を用いて、立体物周辺における横断歩道の検出と立体物である歩行者が被遮蔽物である横断歩道を遮蔽しているかどうかの判別を行う。制御対象選定処理部１０９では、横断歩道検出処理部１０８で得られた立体物周辺における横断歩道の有無情報を用いて、立体物追跡処理部１０７で得られた追跡立体物を制御対象の候補とするかどうか選定する。制御対象選択処理部１１０では、制御対象選定処理部１０９で得られた制御対象候補より制御対象を選択し、制御対象となった場合は、その情報を車両制御装置１１１に送信する。

以下、図１に記載した各部の構成を詳細に説明する。

カメラ１０１とカメラ１０２は、水平方向に一定距離を置き、高さ位置を同じにし、かつ車両の前方に向けて、車室内に備えられたルームミラーの周辺に設置される。これらのカメラ１０１，１０２は、ＣＣＤやＣＭＯＳ等のイメージセンサを備えており、それぞれ同期がとられ、同じタイミングでサンプリングされるように調整されている。

画像取得部１０３は、カメラ１０１で撮像された画像を取り込んで、以降の処理部で画像処理ができるように輝度値をデジタルに変換する。画像取得部１０４は、カメラ１０２で撮像された画像を取り込んで、以降の処理部で画像処理ができるように輝度値をデジタルに変換する。また、これらの画像取得部１０３及び画像取得部１０４は、カメラ１０１で撮像された画像とカメラ１０２で撮像された画像を、２つのカメラ間の撮像環境や撮像特性の差異をなくすように補正して、次の処理に画像データを渡す。

距離算出処理部１０５は、画像取得部１０４で取得された画像を予め設定された一定のブロックサイズ（例えば、４×４［ｐｉｘ］）で分割し、分割されたブロック毎に実空間での距離を算出する。図２に、ステレオカメラ装置を用いた一般的な距離計測の原理を示す。図中の記号Ｄはレンズ３０２及びレンズ３０３の設置位置から計測点３０１までの距離を表し、記号ｆはレンズ３０２と撮像面３０４との距離（レンズ３０２の焦点距離）及びレンズ３０３と撮像面３０５との距離（レンズ３０３の焦点距離）を表し、記号ｂはレンズ３０２とレンズ３０３の中心間の距離（基線長）を表し、記号ｄは計測点３０１がレンズ３０２を通して撮像面３０４に撮像される位置と、計測点３０１がレンズ３０３を通して撮像面３０５に撮像される位置との差（視差）を表す。これらの記号の間には、三角形の相似の関係より以下の数式が成り立つ。

Ｄ＝ｂ×ｆ／ｄ …（１）
数式（１）中の焦点距離ｆと基線長ｂは、カメラの構成により決まる定数であるので、距離Ｄを求めるには、左右のレンズでの見え方のズレである視差ｄを求めれば良い。この視差ｄを求める方法を、図３を用いて説明する。なお、本例では、左側に設置したカメラ１０１で撮像した画像を左画像、右側に設置したカメラ１０２で撮像した画像を右画像とし、さらには左画像を基準画像とし、右画像を参照画像としている。

基準画像を一定のブロックサイズ（例えば、４×４［ｐｉｘ］サイズ）で区切った画像２０１と、参照画像上における画像２０１と同じ高さ及び同じ大きさの画像２０２を対比し、画像の一致度を算出する。画像の一致度は、例えば各画素同士の輝度差の絶対値の総和（Sum of the Absolute Differences：SAD）を用いて算出できる。この一致度の算出を、画像２０２から所定の画素数だけ離れた画像２０３まで１画素ずつずらしながら繰り返し行い、最も一致度の高いブロックを探索する。即ち、画像２０２から画像２０３まで１画素ずつずらしながら一致度の算出を繰り返すと、図４のようなグラフが得られ、最大値３０１が最も一致度の高い視差となる。これにより、両画像の差から視差ｄを求めることができるので、数式（１）を用いて、ブロック毎の実空間での距離Ｄを算出することができる。なお、一致度が最大となった視差の前後周辺のＳＡＤ結果に対して、例えば二次関数近似によりその頂点を求めることにより、ピクセル単位ではなく、サブピクセル単位で視差を算出することも可能となる。

立体物抽出処理部１０６は、距離算出処理部１０５で求めた画像全体に渡りブロック毎に距離の求まった距離画像を用いて立体物を抽出する。まず、ブロックの列毎に、距離のヒストグラムを作成し、ピークとなった距離のヒストグラムの数が閾値以上であれば、その列には立体物候補が有るとする。次に、隣接する列において、立体物候補あり、かつヒストグラムのピークとなった距離が閾値以下の場合には、同じ立体物としてグルーピングする。最終的に、グルーピングされた立体物の幅が閾値以上の場合、立体物として登録する。立体物として登録された後、同じ立体物となった列の距離周辺のブロックを距離画像上でグルーピングし、距離画像上での位置（画像上での下端、上端、左端、右端）と、グルーピングされた距離の平均により立体物までの実空間での距離を算出する。以下、この結果求まった立体物を、位置、距離などをパラメータとして持つ抽出立体物と呼ぶ。なお、ヒストグラムのピーク値は立体物までの距離に応じて変化するので、距離が異なる各種の立体物を確度高く抽出するため、前出の各閾値は、距離に応じて適宜変更される。

立体物追跡処理部１０７は、立体物抽出処理部１０６で求まった抽出立体物を時系列で追跡し、距離の変化量より相対速度を算出し、さらには、距離、相対速度等のパラメータのフィルタリングを行い、フィルタされた位置、距離、相対速度などをパラメータとして持つ追跡立体物として出力する。具体的には、以下の処理の繰り返しとなる。即ち、１つ前の処理フレームの追跡立体物がある場合は、今回の処理フレームで検出された抽出立体物と比較し、各パラメータの差分が閾値以下の場合には、マッチングしたとして、前回の処理フレームの追跡立体物のパラメータを、今回の処理フレームの抽出立体物のパラメータを用いて更新する。更新の方法についての詳細は述べないが、例えばカルマンフィルタを用いて観測値として抽出立体物を設定し、誤差分散は実際に計測される値から求めることで実現できる。また、１つ前の処理フレームの追跡立体物のどれともマッチングしない抽出立体物は、初期検知の立体物として、そのまま追跡立体物に新規で登録する。

横断歩道検出処理部１０８は、立体物追跡処理部１０７で得られた追跡立体物と、画像取得部１０３で得られた画像を用いて、各追跡立体物が横断歩道を遮蔽しているかどうかを判別する。まずは、図５に示すように、追跡立体物のパラメータとして得られている位置情報５００よりその左右に横断歩道があるかどうかを判別する横断歩道検出枠５０１、５０２を設定する。このとき、立体物より左側又は右側に画像がない場合、もしくは、立体物より左側又は右側に、設定された閾値より小さな横断歩道検出枠しか取れない場合は、横断歩道検出枠は設定しない。横断歩道検出枠を設定する位置としては、上端は立体物の真ん中あたり、下端は立体物の下端よりも下あたりとし、幅は実験的に決める。

次に、横断歩道検出枠５０１、５０２を、図６に示すように、短冊状６０１（例えば、幅３［ｐｉｘ］）に区画し、区画された短冊について、それぞれ１行ずつ輝度平均（例えば、幅３［ｐｉｘ］の輝度の平均）を取り、横断歩道検出枠の高さ分処理する。この平均により画像のノイズを低減できる。その結果得られる輝度投影グラフ６０２をすべての短冊に対して作成し、その値のヒストグラムを取り、輝度分布グラフ６０３を作成する。このとき得られる輝度ピークの分布の分散を取ることにより、その分散の大きさで横断歩道かどうかを判別する。例えば、横断歩道の場合は、明暗が明るい箇所と暗い箇所の２箇所に集中するので分散値が大きくなり、逆に横断歩道以外は、どこかに偏るか、明暗のはっきりした箇所以外にも分布が現れるため、分散値が小さくなる。この性質を利用して、横断歩道かどうかの閾値を実験的に設定し、判別する。このとき、横断歩道検出枠のどちらか一方でも、横断歩道と判別された場合は、横断歩道を立体物が遮蔽していると判別する。このように、追跡立体物の周辺のみで判定することにより、画像全体を用いて横断歩道が存在するかどうかを検出する場合に比べて、処理負荷を抑えることができる。

制御対象選定処理部１０９は、立体物追跡処理部１０７で得られた追跡立体物と、横断歩道検出処理部１０８で得られたそれぞれの追跡立体物に対する横断歩道遮蔽情報を用いて、制御対象の候補とするか判別する。図７に処理のフローを示す。まず、横断歩道検出処理部１０８で得られた横断歩道遮蔽情報が、追跡立体物は横断歩道を遮蔽していないというものである場合は、通常信頼度検証処理７０２を行う。また、遮蔽しているというものである場合は、簡易信頼度検証処理を行う。

通常信頼度検証処理７０２では、例えば過去の処理フレームにおいて、同一の追跡立体物に連続５フレーム以上、抽出立体物がマッチしているかどうかを検証し、条件を満たす場合にのみ、制御候補立体物として登録する。これにより、ノイズによる画像の乱れや距離算出処理部１０５における誤マッチングによる間違った距離の影響により、たまたま検出してしまった立体物に対して、制御をかけてしまう危険を避けることができる。一方、簡易信頼度検証処理７０１では、基本的には検証処理は行わずに、制御候補立体物として登録する。これは、横断歩道を遮断しているという情報と立体物を検出しているという状況から、立体物が確度高く存在していることを表しているので、時間をかけて検証しなくても、確度高く立体物の存在を示すことができるためである。なお、簡易信頼度検証処理７０１は、通常信頼度検証処理７０２に比べて、制御候補立体物の登録を迅速に行えればよく、必ずしも検証処理を行わないことに限定されるものではない。例えば横断歩道遮蔽情報の精度が良くない場合等においては、横断歩道遮蔽状態が２回連続して続く場合にはという条件で、制御候補立体物の登録を行うこともできる。

制御対象選択処理部１１０では、制御対象選定処理部１０９で選定された制御候補立体物のうち、どれが最も制御対象としてふさわしいかを選択する。具体的には、舵角やヨーレート、車速をＣＡＮ経由で取得し、また、画像取得部で得られた画像から白線を認識し、これらの情報を加味して自車両の進行路を予測し、その進行路上で最も手前にある制御候補立体物を制御対象として出力する。

車両制御装置１１１は、ステレオカメラ装置１００から、ＣＡＮバス等を介して送られてくる制御対象の情報、例えば、実空間での距離、相対速度等より、衝突の危険性があるかどうかを判別し、危険性がある場合は、まずは警報を鳴らして衝突の回避行動をドライバーに促し、最終的に回避ができなくなった場合には、自動ブレーキを作動して、衝突の回避もしくは衝撃の軽減を行う。

以上説明した通り、実施例１に係るステレオカメラ装置は、立体物による横断歩道の遮蔽の有無を情報として加味し、立体物により横断歩道が遮蔽されていると判定された場合には、制御候補立体物の登録を簡易な信頼度検証処理で行うので、制御候補立体物の登録を迅速に行うことができ、車両の右折時又は左折時のように、カメラの画角内に立体物が急に入るようなシーンにおいても、事故を未然に防ぐことができる。また、実施例１に係るステレオカメラ装置は、ステレオ視することで、例えば道路標示が汚れや擦れ、影などにより通常とは異なる画像になっていても、既知形状に対しても距離が算出されるので、立体物の遮蔽によるものなのか、単純に汚れや擦れ、影などの影響によるものなのかを判別することができ、誤検出を防ぐことができる。さらに、実施例１に係るステレオカメラ装置は、立体物の抽出処理を横断歩道の検出処理よりも前に行うので、立体物の抽出を確度高く行うことができる。

図８に、実施例２に係るステレオカメラ装置８００の全体構成を示す。ステレオカメラ装置８００は、カメラ８０１とカメラ８０２の２つの撮像手段を備え、画像取得部８０３と画像取得部８０４でそれぞれカメラ８０１とカメラ８０２で撮像された画像を取得する。横断歩道検出処理部８０８では、画像取得部８０３で得た画像より、横断歩道を検出する。距離算出処理部８０５では、８０３と８０４で取得された画像を用いて、固定のブロックサイズ毎に、実空間での距離を算出する。立体物抽出処理部８０６では、距離算出処理部８０５で得られた距離を用いて、立体物を抽出する。このとき、横断歩道検出処理部８０８で得た横断歩道検出情報も加味することで、立体物の抽出を早める。立体物追跡処理部８０７では、立体物抽出処理部８０６で得られた立体物情報を、時系列で追跡し、相対速度の算出と、立体物の各種パラメータをフィルタリングした結果を出力する。制御対象選定処理部８０９では、横断歩道検出処理部８０８で得られた立体物周辺における横断歩道の有無情報を用いて、立体物追跡処理部８０７で得られた追跡立体物から、制御対象の候補とするかどうか選定する。制御対象選択処理部８１０では、制御対象選定処理部８０９で得られた制御対象候補より制御対象を選択し、制御対象となった場合は車両制御装置８１１にその情報を送信する。

以下、図８に記載した各部の構成について説明する。

カメラ８０１及びカメラ８０２は、実施例１に係るステレオカメラ装置１００のカメラ１０１及びカメラ１０２に相当する。画像取得部８０３及び画像取得部８０４は、実施例１に係るステレオカメラ装置１００の画像取得部１０３及び画像取得部１０４に相当する。距離算出処理部８０５は、実施例１に係るステレオカメラ装置１００の距離算出処理部１０５に相当する。立体物追跡処理部８０７は、実施例１に係るステレオカメラ装置１００の立体物追跡処理部１０７に相当する。制御対象選択処理部８１０は、実施例１に係るステレオカメラ装置１００の制御対象選択処理部１１０に相当する。車両制御装置８１１は、実施例１に係るステレオカメラ装置１００の車両制御装置１１１に相当する。したがって、これらの各部については、倒伏を避けるため、これ以上の説明を省略する。

横断歩道検出処理部８０８は、画像取得部１０３で得られた画像を用いて、画像内に横断歩道が存在しているかどうかを検出する。具体的には、まず、図９に示すように、画像取得部８０３に取り込まれた画像に、左横断歩道検知枠９０１と右横断歩道検知枠９０２を設定する。横断歩道検知枠９０１、９０２の設定位置は、上端は画像の半分程度、下端は画像下端と一致させ、左右端は、それぞれ画像の左右端に合わせる。また、その幅は、例えば３［ｐｉｘ］とする。左横断歩道検知枠９０１は、左折時に用い、右横断歩道検知枠９０２は、右折時に用いる。

次に、実施例１と同様にして、図６に示した短冊の１つして横断歩道検知枠９０１、９０２を扱い、輝度投影グラフ６０２を作成し、これより輝度分布グラフ６０３を作る。そして、この輝度分布グラフ６０３の分布を求めることで、その時点での画像の横断歩道検知枠９０１、９０２内に横断歩道らしさを求めることができる。この横断歩道らしさを時系列で追っていくと、左折の場合には、横断歩道の右奥（Ａ点側）から見え始め、徐々に横断歩道検知枠内に横断歩道の模様が占める割合が多くなり、その割合のピークを迎えたあと、徐々に割合が下がっていく。これを、輝度分布グラフ６０３の分散値で表すと、最初、分散値は低く、横断歩道の画像が横断歩道検知枠内に入り始めると徐々に高くなり、ピークを迎えたあと、徐々に分散値が低くなっていくことになる。このときに、もし立体物が横断歩道上にある場合には、横断歩道の模様は立体物によって遮蔽されるため、この分散値が低くなる。この性質を利用し、分散が徐々に上がり、設定された閾値以上の分散になった場合は、その時点で車両が横断歩道を左折（もしくは右折）していると判断し、その後、急に分散が設定された閾値以上下がった場合は、画面の左端（右折の場合は右端）から立体物がでてきている可能性があるとして、左遮蔽フラグ（右折の場合は右遮蔽フラグ）を立てる。

なお、この方法によると、横断し始めの歩行者に関しては、遮蔽が小さために正確に検出することができないが、この状態においては、車両と歩行者との距離が離れているので、実用上は危険度が低いと判断して、問題ないものと考えられる。

立体物抽出処理部８０６での処理は、実用例１における立体物抽出処理部１０６の処理とほぼ同様であるが、より早期に立体物を検出するため、横断歩道検出処理部８０８で得られた左遮蔽フラグ（右折の場合は右遮蔽フラグ）が立っているおり、かつ画面左端（右折の場合は右端）の横断歩道検知枠周辺にグルーピングされた立体物がある場合には、幅の閾値（距離に応じて可変）の値を下げて、立体物が抽出されやすくする。

制御対象選定処理部８０９では、立体物追跡処理部８０７で得られた追跡立体物と、横断歩道検出処理部８０８で得られた遮蔽フラグを用いて、制御対象の候補とするか判別する。図１０に左折時の処理フローを示す（右折時のフローは、左を右に置き換えた処理となる。）。各追跡立体物に対して、左遮蔽フラグが立っており、かつ、追跡立体物の位置が左端領域内に入っている場合は、簡易信頼度検証処理１００１を実施する。それ以外は、通常信頼度検証処理１００２を実施する。ここで、簡易信頼度検証処理１００１は、実施例１における簡易信頼度検証処理７０１と同様に、通常信頼度検証処理１００２よりも検証処理の条件を下げるか、あるいは検証処理を行わないことで行う。なお、上述の「左端領域内」とは、例えば画像の左端から歩行者が入る程度の幅を設けた領域を言う。この幅は、歩行者までの距離を考慮に入れて、適宜変更される。これにより、歩行者の急な飛び出しに対する安全性を高めることができる。

実施例２に係るステレオカメラ装置は、立体物抽出処理の前に横断歩道検出処理を行うので、横断歩道検出処理の結果を利用して立体物の抽出処理を行うことができ、立体物抽出処理を容易化することができる。よって、装置全体の処理速度をより高めることができる。

なお、実施例１、２においては、車両が右折又は左折する際の歩行者による横断歩道の遮蔽を例にとって説明したが、本発明のステレオカメラ装置によれば、車両の直進時に車両の前方に現れる横断歩道についても検出を早めることができる。この場合には、例えば立体物周辺の画像を立体物の下端より少し下側から横方向にスキャンし、明暗の変化が規則正しくなくなった箇所を立体物による横断歩道の遮蔽と推定する。

また、実施例１、２においては、被遮蔽物を横断歩道としたが、本発明のステレオカメラ装置によれば、横断歩道だけではなく、形が既知である横断歩道以外の道路標示、例えば「止まれ」などの文字でも、同様の処理を実現することができる。この場合、道路上の標示の画像をアフィン変換等により、道路を真上から見た画像に変換し、事前に学習しておいた「止まれ」の画像と比較し、「止まれ」の標示であると認識する。また、差分の大きい箇所を抽出し、その箇所に立体物がある場合には、立体物による遮蔽を検出することができるので、実施例１、２と同様に、制御対象の選定及び選択処理を早めることができる。加えて、実施例１、２においては、立体物を歩行者としたが、他の車両などを立体物として処理を行うこともできる。

さらに、本発明のステレオカメラ装置によれば、被遮蔽物として、区画線や縁石、ガードレールなどの直線性の高く同一の色となる確率が高い道路構造物を設定した場合にも、同様の処理を実施することができる。この場合、白線を例にとると、画像の下端から、暗→明→暗となっている箇所である白線候補点を画像下半分で算出し、それを左右それぞれの白線としてつなぐことで、白線を検出することができる。そして、その検出結果が白線検出可能な距離よりも著しく短く、かつ、検出ができなくなっている箇所に立体物が検出されている場合は、その立体物による遮蔽と推定することで、実施例１、２と同様の検知を早める処理を実現することができる。

１００…実施例１に係るステレオカメラ装置、１０１、１０２…カメラ、１０３、１０４…画像取得部、１０５…距離算出処理部、１０６…立体物抽出処理部、１０７…立体物追跡処理部、１０８…横断歩道検出処理部、１０９…制御対象選定処理部、１１０…制御対象選択処理部、１１１…車両制御装置、２０１、２０２、２０３…画像、３０２、３０３…レンズ、３０４、３０５…撮像面、５０１、５０２…横断歩道検出枠、６０１…短冊状の区切り、６０２…輝度投影グラフ、６０３…輝度分布グラフ、７０１…簡易信頼度検証処理、７０２…通常信頼度検証処理、８００…実施例２に係るステレオカメラ装置、８０１、８０２…カメラ、８０３、８０４…画像取得部、８０５…距離算出処理部、８０６…立体物抽出処理部、８０７…立体物追跡処理部、８０８…横断歩道検出処理部、８０９…制御対象選定処理部、８１０…制御対象選択処理部、８１１…車両制御装置、９０１…左横断歩道検知枠、９０２…右横断歩道検知枠、１００１…簡易信頼度検証処理、１００２…通常信頼度検証処理。

Claims (8)

1. 第一及び第二の撮像素子より取得した画像から、ステレオ視により、少なくとも立体物までの実空間における距離、横位置及び幅を算出する立体物検出手段と、
   前記第一及び第二の撮像素子のいずれか一方の撮像素子より取得した画像から、既知形状の被遮蔽物を検出する被遮蔽物検出手段と、
   前記被遮蔽物検出手段により前記被遮蔽物が検出された場合に、前記立体物検出手段により得られた立体物が、前記被遮蔽物を遮蔽しているかどうかを検出する被遮蔽物遮蔽検出手段を備え、
   前記被遮蔽物遮蔽検出手段は、前記被遮蔽物が前記立体物で遮蔽されていることを検出した場合に、前記被遮蔽物が前記立体物で遮蔽されていないことを検出した場合よりも、前記立体物の存在を確定するための処理を簡易化して、前記被遮蔽物を遮蔽している前記立体物の検出を行うことを特徴とするステレオカメラ装置。
2. 請求項１に記載のステレオカメラ装置において、
   前記立体物検出手段による処理を、前記被遮蔽物検出手段による処理よりも先に行うことを特徴とするステレオカメラ装置。
3. 請求項２に記載のステレオカメラ装置において、
   前記立体物検出手段は、前記第一及び第２の撮像素子より取得した画像から、ステレオ視により距離画像を算出する距離算出処理手段と、前記距離算出処理手段で求められた距離画像から、位置、距離及び幅をパラメータとして持つ抽出立体物を求める立体物抽出処理手段と、該立体物抽出処理手段で求められた前記抽出立体物から時系列でフィルタリングされた位置、距離、幅及び相対速度のパラメータを持つ追跡立体物を求める立体物追跡処理手段から構成され、
   前記被遮蔽物遮蔽検出手段は、前記立体物追跡処理手段で求められた前記追跡立体物の位置情報の左右に、横断歩道があるかどうかを判別するための横断歩道検出枠を設定することを特徴とするステレオカメラ装置。
4. 請求項１に記載のステレオカメラ装置において、
   前記立体物検出手段による処理より前に、前記被遮蔽物検出手段による処理を行うことを特徴とするステレオカメラ装置。
5. 請求項４に記載のステレオカメラ装置において、
   前記被遮蔽物検出手段は、前記第一及び第二の撮像素子のいずれか一方の撮像素子より取得した画像の左右の端部に、横断歩道があるかどうかを判別するための横断歩道検出枠を設定することを特徴とするステレオカメラ装置。
6. 請求項４に記載のステレオカメラ装置において、
   前記立体物検出手段は、前記第一及び第２の撮像素子より取得した画像から、ステレオ視により距離画像を算出する距離算出処理手段と、前記距離算出処理手段で求められた距離画像から、位置、距離及び幅をパラメータとして持つ抽出立体物を求める立体物抽出処理手段と、該立体物抽出処理手段で求められた前記抽出立体物から時系列でフィルタリングされた位置、距離、幅及び相対速度のパラメータを持つ追跡立体物を求める立体物追跡処理手段から構成され、
   前記立体物抽出処理手段は、前記距離算出処理手段で求められた前記距離画像と、前記被遮蔽物検出手段で求められた既知形状の被遮蔽物とから、前記抽出立体物の抽出を行うことを特徴とするステレオカメラ装置。
7. 請求項３及び請求項６のいずれか１項に記載のステレオカメラ装置において、
   前記被遮蔽物遮蔽検出手段は、前記被遮蔽物が前記追跡立体物で遮蔽されていないことを検出した場合には、予め設定された複数フレーム以上に亘って、同一の追跡立体物に前記抽出立体物がマッチしているかどうかの検証を行って、条件を満たす場合のみ当該追跡立体物を制御候補立体物として登録し、前記被遮蔽物が前記追跡立体物で遮蔽されていることを検出した場合には、前記予め設定された複数フレームよりも少ない複数フレーム以上に亘って、同一の追跡立体物に前記抽出立体物がマッチしているかどうかの検証を行って、条件を満たす場合のみ当該追跡立体物を制御候補立体物として登録するか、検証を行わずに、当該追跡立体物を制御候補立体物として登録することを特徴とするステレオカメラ装置。
8. 請求項１乃至請求項７のいずれか１項に記載のステレオカメラ装置において、
   前記被遮蔽物が、道路に表記された道路標示、道路に表記された白線を含む区画線、道路に表記された横断歩道、道路に沿って設置された縁石を含む直線性の高い道路構造物のいずれか１つ又は複数であることを特徴とするステレオカメラ装置。

Images