JP6456499B2

JP6456499B2 - 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法

Info

Publication number: JP6456499B2
Application number: JP2017524646A
Authority: JP
Inventors: 知文小石
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2015-06-23
Filing date: 2016-06-23
Publication date: 2019-01-23
Anticipated expiration: 2036-06-23
Also published as: US10567736B2; US20180324406A1; EP3316006B1; JPWO2016208198A1; WO2016208198A1; EP3316006A4; EP3316006A1

Description

関連出願の相互参照

本出願は、２０１５年６月２３日に出願された日本国特許出願２０１５−１２５８７５号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本発明は、立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法に関する。

近年、自動車等の車両に、複数のカメラを用いて被写体までの距離を測定するステレオカメラ装置が用いられている。ステレオカメラを用いた立体物の検出及び距離測定では、実際に撮像される画像が複雑な場合、それぞれの画像から立体物を検出することが、必ずしも容易ではない。このため、撮像した画像全体に渡って距離分布を求め、この距離分布の情報から、立体物検出装置を用いた障害物を判別する方法が提案されている（例えば、特許文献１参照）。

特開平５−２６５５４７号公報

本開示の立体物検出装置は、入力部と、制御部とを備える。前記入力部は、互いに第１方向に視差を有する第１画像及び第２画像の入力を受け付け可能である。前記制御部は、前記制御部は、前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成する。前記制御部は、前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分ける。前記制御部は、それぞれの前記部分領域について、前記被写体に向かう方向における距離を複数の距離区間に区分する。前記制御部は、前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間に属する画素の画素数に基づいて算出する。前記制御部は、該評価値に基づいて前記距離区間ごとの立体物の存在を判定する。前記制御部は、前記距離区間ごとに異なる閾値を用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する。

本開示のステレオカメラ装置は、ステレオカメラと、制御部とを備える。前記ステレオカメラは、互いに第１方向に視差を有する第１画像及び第２画像を出力する。前記制御部は、前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成する。前記制御部は、前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分ける。前記制御部は、それぞれの前記部分領域について、前記被写体に向かう方向における距離を複数の距離区間に区分する。前記制御部は、前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間に属する画素の画素数に基づいて算出する。前記制御部は、該評価値に基づいて前記距離区間ごとの立体物の存在を判定する。前記制御部は、前記距離区間ごとに異なる閾値を用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する。

本開示の立体物検出装置は、入力部と、制御部とを備える。前記入力部は、互いに第１方向に視差を有する第１画像及び第２画像の入力を受け付け可能である。前記制御部は、前記制御部は、前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成する。前記制御部は、前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分ける。前記制御部は、それぞれの前記部分領域について、前記被写体に向かう方向における距離を複数の距離区間に区分する。前記制御部は、前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間ごとの画素数を前記部分領域の第１方向の画素数で除算して算出する。前記制御部は、該評価値に基づいて前記距離区間ごとの立体物の存在を判定する。前記制御部は、前記距離区間ごとに次の条件式を満足する閾値Ｔｈを用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する。

但し、前記第１画像及び前記第２画像を撮像した光学系の焦点距離をｆ、前記第１画像及び前記第２画像を撮像した光学系の俯角をθ ₀ 、前記第１画像及び前記第２画像を撮像した光学系の取付け高さをｈ ₀ 、判定対象の距離区間の近距離側境界をＺ ₁ 、遠距離側境界をＺ ₂ 、該距離区間について予め定められた立体物までのみなし距離をＺ ₃ 、検出すべき立体物の最小の高さをＹ _min 、画像の画素ピッチをＰとする。

本開示のステレオカメラ装置は、ステレオカメラと、制御部とを備える。前記ステレオカメラは、互いに第１方向に視差を有する第１画像及び第２画像を出力する。前記制御部は、前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成する。前記制御部は、前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分ける。前記制御部は、それぞれの前記部分領域について、前記被写体に向かう方向における距離を複数の距離区間に区分する。前記制御部は、前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間ごとの画素数を前記部分領域の第１方向の画素数で除算して算出する。前記制御部は、該評価値に基づいて前記距離区間ごとの立体物の存在を判定する。前記制御部は、前記距離区間ごとに次の条件式を満足する閾値Ｔｈを用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する。

本開示の車両は、ステレオカメラと、制御部とを備える。前記ステレオカメラは、互いに第１方向に視差を有する第１画像及び第２画像を出力する。前記制御部は、前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成する。前記制御部は、前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分る。前記制御部は、それぞれの前記部分領域について、前記被写体に向かう方向における距離を複数の距離区間に区分する。前記制御部は、前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間ごとの画素数を前記部分領域の第１方向の画素数で除算して算出する。前記制御部は、該評価値に基づいて前記距離区間ごとの立体物の存在を判定する。前記制御部は、前記距離区間ごとに次の条件式を満足する閾値Ｔｈを用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する。前記ステレオカメラは、前記車両の外部環境を撮像する。

本開示の立体物検出方法は、ステレオカメラによる、互いに第１方向に視差を有する第１画像及び第２画像の入力を受け付ける。前記立体物検出方法は、前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成する。前記立体物検出方法は、前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分ける。前記立体物検出方法は、それぞれの前記部分領域について、前記被写体に向かう方向における距離を複数の距離区間に区分し、前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間ごとの画素数を前記部分領域の第１方向の画素数で除算して算出する。前記立体物検出方法は、前記距離区間ごとに次の条件式を満足する閾値Ｔｈを用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する。

図１において、車両１の進行方向（図１において上方向）をＺ方向、車両１の車幅方向（図１において右方向）をＸ方向、Ｘ方向及びＺ方向に直交する方向（図１において紙面に直交する方向）である高さ方向をＹ方向とする。Ｚ方向は、被写体に向かう方向でもある。ここで、本願における「車両」は、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば、車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、トライク、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。

ステレオカメラ装置１０は、左側カメラ１１ａ及び右側カメラ１１ｂの２つのカメラを含んで構成されるステレオカメラ１１と、ステレオカメラ１１に電気的に接続された立体物検出装置１２とを備える。ここで、「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも２つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラには、複数のカメラを協働させて被写体を同時に撮像することができるものが含まれる。撮影の「同時」は、完全な同じ時刻に限られない。例えば、（i）複数のカメラが同時刻に撮像すること、（ii）複数のカメラが同じ信号に基づいて撮像すること、及び（iii）複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、及び画像データを相手機器が受信した時刻が含まれる。ステレオカメラは、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラは互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。本実施形態においては、左側カメラ１１ａ及び右側カメラ１１ｂの２台のカメラをＸ方向に並べたものをステレオカメラ１１とする。左側カメラ１１ａ及び右側カメラ１１ｂの光軸方向は互いに平行且つ略Ｚ方向を向いている。光軸方向は、Ｚ方向から垂直方向に傾いていてもよい。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラとして採用できる。ステレオカメラ装置１０においては、互いに独立する左側カメラ１１ａ及び右側カメラ１１ｂの２台が並んでいる。本開示では、同じ被写体を異なる視点から撮像した複数の画像を「ステレオ画像」と呼ぶことがある。なお、本実施の形態において、左側カメラ１１ａおよび右側カメラ１１ｂにより撮像される対象物全体を総称して「被写体」とする。被写体には、道路、前方の車両、路上の障害物、背景等を含む。「立体物」は、実空間における物体であって、特に高さ方向の大きさを有する物体を意味する。

左側カメラ１１ａ及び右側カメラ１１ｂは、撮像素子を含む。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。左側カメラ１１ａ及び右側カメラ１１ｂは、レンズ機構を含んでよい。左側カメラ１１ａ及び右側カメラ１１ｂの光軸は、同じ対象物を撮像可能な方向を向いている。左側カメラ１１ａ及び右側カメラ１１ｂは、互いの光軸が異なる。左側カメラ１１ａ及び右側カメラ１１ｂは、撮像した画像に少なくとも同じ対象物が含まれるように、光軸及び位置が定められる。左側カメラ１１ａ及び右側カメラ１１ｂの光軸は、互いに平行になるように向けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容する。左側カメラ１１ａ及び右側カメラ１１ｂの光軸は、平行に限られず、互いに異なる方向でよい。左側カメラ１１ａ及び右側カメラ１１ｂは、車両１に対する位置及び向きの変化が少なくなるように、車両１の車体に対して固定される。左側カメラ１１ａ及び右側カメラ１１ｂの光軸は、Ｚ方向を向いていてよく、Ｚ方向から空側に傾いていてよい。左側カメラ１１ａ及び右側カメラ１１ｂの光軸の向きは、用途に応じて適宜変更される。複数の実施形態の一つにおいて、左側カメラ１１ａ及び右側カメラ１１ｂの光軸は、前方、すなわちＺ方向やや下向きに向けて配置される。ステレオカメラ装置１０は、車両の外部環境に含まれる路面１３上の先行車両、障害物、白線１４ａ，１４ｂ等の種々の被写体を、走行中に撮像することができる。白線は、区画線といってよい。左側カメラ１１ａ及び右側カメラ１１ｂは、車幅方向、すなわちＸ方向に沿って並んで位置している。左側カメラ１１ａは、前方を向いたときに右側カメラ１１ｂの左側に位置し、右側カメラ１１ｂは、前方を向いたときに左側カメラ１１ａの右側に位置する。左側カメラ１１ａと右側カメラ１１ｂとの位置の違いにより、左側カメラ１１ａで撮像した第１画像及び右側カメラ１１ｂで撮像した第２画像の２つの画像において、互いに対応する被写体の位置は、異なる。左側カメラ１１ａから出力される第１画像と、右側カメラ１１ｂから出力される第２画像とは、異なる視点から撮像したステレオ画像である。複数の実施形態の一つにおいて、左側カメラ１１ａ及び右側カメラ１１ｂは、光軸を車両１のＺ方向に向けて、車両１のウインドシールドの内側に設置することができる。複数の実施形態のうちの一つにおいて、左側カメラ１１ａ及び右側カメラ１１ｂは、それぞれ車両１のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかに固定されていてよい。

左側カメラ１１ａ及び右側カメラ１１ｂは、それぞれ撮像した画像をデジタルデータとして立体物検出装置１２に出力する。立体物検出装置１２は、左側カメラ１１ａから出力される第１画像と、右側カメラ１１ｂから出力される第２画像とに対して、画像の較正、明るさの調整等、種々の処理を行うことができる。さらに立体物検出装置１２は、以下に説明する視差画像の作成及び立体物の判別等の処理を行う。視差画像は、第１画像における被写体の位置、及び、第２画像における前記被写体の位置の第１方向における差を画素値で表現したものである。視差画像の各画素の画素値は被写体の距離に対応する。本実施形態で、「距離」とは、左側カメラ１１ａ及び右側カメラ１１ｂから被写体に向かう方向における距離である。言い換えれば「距離」は、左側カメラ１１ａ及び右側カメラ１１ｂからＺ方向の距離を意味する。「距離」は、ステレオカメラ１１によるステレオ画像の奥行き方向の距離ということがある。

ステレオカメラ装置１０は、図２に示すように、ステレオカメラ１１と立体物検出装置１２とを備える。立体物検出装置１２は、入力部１５、制御部１６、出力部１７、画像メモリ１８を備える。

入力部１５は、立体物検出装置１２へ画像を入力する入力インタフェースである。入力部１５は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ ＲC-5237に規定されるＤ端子に対応するコネクタを含む。電気コネクタには、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。入力部１５は、左側カメラ１１ａおよび右側カメラ１１ｂからそれぞれ撮像した画像の入力を受け付け可能である。入力部１５は受け付けた画像を、制御部１６に引き渡す。入力部１５への入力は、有線ケーブルを介した信号入力、及び無線接続を介した信号入力を含む。入力部１５は、ステレオカメラ１１の撮像信号の伝送方式に対応してよい。

制御部１６は、一つまたは複数のプロセッサ並びにプログラム及びデータを記憶するＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を備え、種々の処理を実行する。プロセッサとしては、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、または、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ：Programmable Ｌogic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１６は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。制御部１６は、入力部１５から入力された第１画像および第２画像を前処理した後、視差画像を生成する画像処理部１９と、画像処理部１９で生成した視差画像に基づいて立体物の判別を行う判定部２０を備える。画像処理部１９及び判定部２０の各々は、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。画像処理部１９及び判定部２０の各々が行える動作を、制御部１６は実行できる。制御部１６は、画像処理部１９及び判定部２０を含む形態に限られず、画像処理部１９及び判定部２０の１つが省略されてよい。複数の実施形態のうちの１つにおいて、制御部１６は、画像処理部１９及び判定部２０の双方の動作を実行してよい。画像処理部１９及び判定部２０が行う動作は、制御部１６が行う動作として言い換えてよい。制御部１６が画像処理部１９及び判定部２０のいずれかを使役して行う処理は、制御部１６が自ら実行してよい。

出力部１７は、立体物検出装置１２からデータを出力する出力インタフェースである。出力部１７は、物理コネクタ、及び無線通信機が採用できる。複数の実施形態の１つにおいて、出力部１７は、ＣＡＮ（Control Area Network）等の車両１のネットワークに接続している。立体物検出装置１２は、ＣＡＮを介して車両１の制御装置、及び警報装置等に接続される。立体物検出装置１２は、画像処理により検出された立体物情報、立体物までの距離情報等を、出力部１７から制御装置及び警報装置等に出力する。それらの情報は、制御装置、及び警報装置の各々で適宜利用される。複数の実施形態の１つにおいて出力部１７は入力部１５と分かれているが、これに限られない。複数の実施形態の１つにおいて、入力部１５および出力部１７は１つの通信部であってよい。この通信部は、ステレオカメラ装置１０の通信インタフェースとなる。通信部は、物理コネクタ、及び無線通信機が採用できる。

画像メモリ１８は、入力部１５から入力された左側カメラ１１ａ及び右側カメラ１１ｂで撮像した画像を一時記憶するメモリである。画像メモリ１８は、プロセッサと独立しているメモリ、及び、プロセッサに内蔵されるキャッシュメモリが含まれる。メモリとしてはＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等を含んでよい。

次に、制御部１６が行う立体物検出方法の処理を、図３を用いて説明する。以下では、一例として、図４に示されるような前方車両２１を含む画像を処理する場合について説明する。

まず、画像処理部１９が入力部１５から第１画像及び第２画像の入力を受ける（ステップＳ０１）。画像処理部１９は、入力された左側カメラ１１ａによる第１画像と右側カメラ１１ｂによる第２画像とのそれぞれについて画像の調整を行う。この画像の調整は、左側カメラ１１ａ及び右側カメラ１１ｂの向きずれの補正を含んでよい。画像処理部１９は、予め測定された向きずれに基づいて、画像の補正を行う。この画像の調整は、外部環境に応じた画像の明るさ及びコントラストの調整を含んでよい。この画像の調整は、ステレオカメラ１１がその一部及び全てを実行してよい。画像処理部１９は、これら画像の調整を行った第１画像及び第２画像を画像メモリ１８に格納する。第１画像および第２画像は、互いに実空間のＸ方向に対応するｘ方向に視差を有する。ｘ方向は、第１方向である。ｘ方向に交差する方向をｙ方向とする。ｙ方向はｘ方向に直交してよい。ｙ方向は第２方向である。

次に、画像処理部１９は、第２画像を小領域に分割する（ステップＳ０２）。小領域とは、ｘ方向及びｙ方向の画素数がそれぞれ２画素から１０画素程度の矩形状の小さい領域である。例えば、小領域は、ｘ方向及びｙ方向がそれぞれ４画素の領域である。第２画像を小領域に分割した場合、画像処理部１９は、第１画像上で第２画像の小領域に対応する位置からｘ方向に１画素ずつずらして、第２画像の輝度または色のパターンと一致する小領域を探索する小領域のマッチング処理を行う（ステップＳ０３）。画像処理部１９は、例えば、対応する４×４の画素について第１画像と第２画像とを比較し、各画素の輝度の差の絶対値を合計した値が最小値になるときに、第１画像と第２画像の小領域が一致したものと判定する。画像処理部１９は、このときの小領域間の第１画像及び第２画像の相互間におけるずれ量を用いて、小領域毎に三角測量の原理を用いて距離を算出することができる。画像処理部１９は、第２画像のすべての領域を小領域に分割して、第１画像とのマッチングを行うことにより、全画面について視差を求めることができる。全画面について視差を求めると、画像処理部１９は、各画素の画素値で距離を表す視差画像を生成する（ステップＳ０４）。視差画像の各画素の画素値は、第１画像における被写体の位置、及び、前記第２画像における被写体の位置の前記第１方向における差を表す。視差画像の各画素の画素値は、当該画素に対応する被写体までの距離を表す。視差画像は、距離画像と呼んでよい。これら、ステップＳ０２からＳ０４の視差画像の作成方法は、例えば、引用文献１等に公知である。よって、より詳細な説明は省略する。

上記説明では、第２画像を小領域に分割し、第１画像上でマッチング処理を行うとした。画像上のマッチング処理は、第１画像を小領域に分割し、第２画像上でマッチング処理を行ってもよい。画像上のマッチング処理は、第２画像から画素ごとに当該画素とその周辺の画素とを含む小領域を抽出し、第１画像上でマッチング処理を行ってよい。この場合、視差画像と、第１画像及び第２画像の画素数は略同じ数となりうる。視差画像は、画素ごとに視差を表す数値が対応付けられる。視差画像は、この視差を表す数値に基づいて各画素に輝度または色が割り当てられた２次元画像として表示可能である。このようにして描画された視差画像は第１画像および第２画像とは大きく異なる。第１画像および第２画像に含まれる立体物は、視差画像上ではほぼ同じ輝度または色の領域として認識されることができる。したがって、視差画像を目視することによって、立体物の距離、位置および大きさを把握することが可能になる。しかし、本実施の形態において、視差画像を生成するとは視差画像を２次元の画像として表示する必要はない。視差画像は、画素に対応付けられた視差を表す数値データとして、制御部１６内で演算処理のためにのみ生成され使用されてよい。

次に、判定部２０は、画像処理部１９によって作成された視差画像に基づいて、立体物の有無及び立体物迄の距離を判定する（ステップＳ０５〜ステップＳ０７）。

まず、判定部２０は、視差画像をｙ方向に沿って長い複数の領域に分ける（ステップＳ０５）。本開示では、分割された視差画像の各領域を部分領域と呼ぶことがある。本開示では、分割された視差画像の各領域をストリップ状の領域と呼ぶことがある。本実施形態において、ストリップ状とは長辺が短辺よりも著しく長い長方形の形状を意味する。ストリップ状の長辺は、例えば短辺の５倍以上であり、１０倍以上さらには２０倍以上としてよい。図５を用いて、視差画像を部分領域Ｒに分割する方法を説明する。この図５では、図４の画像に部分領域Ｒの境界を重ねて示している。上述のように、実際の視差画像は、図４の画像とは異なる。各部分領域は、その領域における立体物の存在とその距離の判定のために用いられる。したがって、各部分領域のｘ方向の幅を細かくすれば、ｘ方向の立体物を検出する分解能が高くなり、異なるｘ方向の位置に位置する複数の立体物を同時に判別することが可能になる。各部分領域のｘ方向の幅は、数画素から数十画素とすることができる。判定部２０は、視差画像の一部を複数の部分領域に分割している。言い換えると、判定部２０は、視差画像の少なくとも一部を複数の部分領域に分割すればよい。図５の部分領域は、画像の最上部および最下部の領域を覆っていない。これらの領域には、立体物が極めて近接した場合を除き、立体物の像が結像されないからである。しかし、部分領域は視差画像の最上部から最下部までを覆うようにしてもよい。

次に、判定部２０は、部分領域Ｒ毎に距離ヒストグラムを作成する（ステップＳ０６）。距離ヒストグラムは、部分領域Ｒに含まれる各画素が属する距離区間を画素値から算出して、距離区間毎の画素数の分布を示したものである。距離区間とは、Ｚ方向の距離に応じて、Ｚ方向を複数の領域に区分したものである。距離ヒストグラムは、横軸に距離区間をとり、距離区間の柱の高さにより各距離区間に属する画素数の多さを表すことができる。判定部２０には予めステレオカメラ１１を起点としてＺ方向（前方）への距離に応じた距離区間が規定されている。

複数の実施形態の一つにおいて、複数の距離区間は、遠距離側境界と近距離側境界との間の幅が各々異なってよい。複数の距離区間は、前の距離区間の幅を基準として次の距離区間の幅を定めてよい。複数の実施形態の一つにおいて、複数の距離区間は、被測定領域の遠距離側境界を起点としてよい。複数の実施形態の一つでは、距離区間としては、例えば、距離５ｍを起点としてよい。複数の実施形態の一つにおいて、最初の距離区間は、例えば、５ｍを近距離側境界とし、５ｍ５０ｃｍを遠距離側境界としてよい。最初の距離区間は、遠距離側境界と近距離側境界との間の区間の幅が５０ｃｍである。複数の距離区間は、２番目以降の距離区間の幅を１０％ずつ広げるように境界を設定してよい。複数の実施形態の他の一つでは、各距離区間の遠距離側境界と近距離側境界との間の幅は、同じ長さとしてよい。図６は、車両１の前方に区分された距離区間の例を示す。図６によれば、画素数のデータを数えない非測定領域は、車両１のステレオカメラ１１の位置を起点として、前方５ｍ迄となっている。この図の複数の距離区間は、車両１に最も近い距離区間Ｓ_１から、順次Ｚ方向に幅を広げながら距離区間が設定されている。図６において、ｎ番目の距離区間Ｓ_ｎの車両１から近距離側の境界までの距離をＺ_１、遠距離側の境界までの距離をＺ_２で表している。

複数の実施形態の一つでは、非測定領域は予め５ｍとしている。しかし、非測定領域は５ｍに限られない。例えば、ステレオカメラ装置１０が検出しなければならない最小の高さの立体物の最上部が、ステレオカメラ１１の設置される位置よりも高い場合を想定する。ステレオカメラ１１が撮像する路面の最も近い距離、及び、ステレオカメラ装置１０が検出しなければならない最小の高さの立体物の最上部がステレオカメラ１１に撮像される最も近い距離を計算し、いずれか長い方の距離までを非測定距離とする。この非測定距離は、これ以遠であれば、測定対象となる最小の高さの立体物全体の高さ方向が、ステレオ画像に収まる距離である。

ステップＳ０６により距離ヒストグラムを作成した後、判定部２０は、距離ヒストグラムから立体物の存在を判定する（ステップＳ０７）。一般に、従来技術では、誤認識を避けるために立体物の存在の判定に用いる閾値はある程度大きな値とする。しかし、立体物が遠距離にある場合は、実際の大きさが大きい立体物でも、画像上では小さく表示されてしまう。このため距離ヒストグラムに一定の閾値を設けると、遠距離の立体物が検出できないことがある。本実施形態では、立体物の判定にあたっては、以下に説明するように、距離区間ごとに距離に応じて異なる閾値を用いる。

図７を用いて、１つの距離区間Ｓ_ｎの路面に対応する画像上の高さを説明する。図７において、ステレオカメラ１１の撮像レンズの焦点距離をｆ、ステレオカメラ１１の撮像レンズの光軸方向の俯角をθ_０、ステレオカメラ１１の取付け高さをｈ_０とする。すなわち、ｆ、θ_０、ｈ_０は、それぞれ、第１画像及び第２画像を撮像した光学系の焦点距離、俯角及び取付け高さである。ピンホールモデルによれば、距離区間Ｓ_ｎの遠距離側の境界と近距離側の境界との間の路面に相当する像の高さｙ_ｒｏａｄは、次の式（１）により表すことができる。

したがって、視差画像の中にｙ_ｒｏａｄよりも低い高さの同じ距離区間に属する一群の画素があったとしても、当該一群の画素は、路面又は路面上の厚みのない平坦なものと区別できない。視差画像において、立体物が存在する距離区間に属する視差画像の画素を部分領域のｘ方向の幅の中に配列したとする。この場合、ｙ方向に並ぶ画素数に画素ピッチを乗じた大きさが、その距離区間の路面の像の高さｙ_ｒｏａｄより大きくなければ、その距離区間に属する立体物は判別できない。

図８を用いて、１つの距離区間Ｓ_ｎに立体物が存在する場合について、その立体物の画像上の高さを説明する。ここで、立体物は距離Ｚ_３（Ｚ_１≦Ｚ_３≦Ｚ_２）に位置するものとし、立体物の高さをＹとする。立体物の像の高さｙ_{ｏｂｊｅｃｔ}は、次の式（２）で表すことができる。

したがって、高さＹの立体物は、視差画像の中で高さｙ_{ｏｂｊｅｃｔ}の同じ距離区間に属する一群の画素として表示される。検出すべき立体物の最小の高さをＹ_ｍｉｎとしたとき、立体物の存在する距離区間に属する一群の画素のｙ方向の長さが、式（２）のＹにＹ_ｍｉｎを代入して得られるｙ_{ｏｂｊｅｃｔ}よりも大きい場合には、常に立体物として判定する。このｙ_{ｏｂｊｅｃｔ}と比較することにより、検出しなければならない高さＹ_ｍｉｎよりも高い立体物は、立体物として判定される。一群の画素のｙ方向の長さは、視差画像の当該距離区間に属する画素を部分領域のｘ方向の幅に配列したときのｙ方向に並ぶ画素数に画素ピッチを乗じた大きさとしてよい。

以上のことから、判定部２０は、それぞれの前記部分領域について、予め区分された距離区間に属する画素の画素数を数え、前記部分領域のｘ方向の画素数で除算した値をその距離区間の評価値とする。評価値は、距離区間に含まれる画素を、部分領域のｘ方向の幅の中に配列したときの、ｙ方向に並ぶ画素数に相当する。画素数に画素ピッチを乗じると長さとなるので、評価値は、当該距離区間に属する物体のｙ方向の長さに対応する。判定部２０は、距離区間毎に異なる値の閾値Ｔｈとこの評価値とを比較する。判定部２０は、この評価値が閾値よりも大きい場合に立体物が存在すると判定する。各距離区間の閾値Ｔｈは、ステレオ画像を撮像した光学系の焦点距離をｆ、ステレオ画像を撮像した光学系の俯角をθ_０、ステレオ画像を撮像した光学系の取付け高さをｈ_０、判定対象の距離区間の近距離側境界をＺ_１、遠距離側境界をＺ_２、距離区間ごとに予め定められた立体物までのみなし距離をＺ_３、検出すべき立体物の最小の高さをＹ_ｍｉｎ、画像の画素ピッチをＰとするとき、以下の条件式（３）を満足するように選定する。

条件式（３）の閾値Ｔｈを閾値Ｔｈの左辺より小さくすると、路面又は路面上の厚みの無い平坦な物を検出してしまうおそれがある。閾値をＴｈの右辺より大きくすると、検出しなければならない垂直方向にＹ_ｍｉｎよりも大きい立体物の一部が検出できないおそれがある。閾値を条件式（３）の範囲にすることによって、立体物のみを検出でき且つ所望の大きさよりも大きい立体物の検出漏れを防ぐことができる。条件式（３）は、Ｚ方向に上述の非測定領域以遠において適用してよい。

次に、一例として、実際の数値を当てはめて、立体物を検出するための閾値を示す。次の表１は、ステレオカメラ１１の仕様及び設定を示す。

この場合に、各距離区間の境界までの距離、算出される路面の像の高さ、及び、検出すべき最小の高さを有する立体物の像の高さは、表２のようになる。

表２において、「距離区間の境界の距離ｚ（ｍｍ）」は、近距離側境界迄の距離Ｚ_１を最初の区間から順に示したものである。２番目以降の距離区間において、距離ｚは、前の距離区間の遠距離側境界迄の距離Ｚ_２でもある。例えば、距離ｚ＝５．５ｍは、最初の距離区間の遠距離側境界且つ２番目の距離区間の近距離側境界である。「路面の像高さ（ｍｍ）」は、距離ｚを近距離側境界とする距離区間の路面の像の高さを表す。「最小の立体物の像高さ（ｍｍ）」は、各距離区間に位置する検出すべき最小の立体物の像の高さである。立体物までのみなし距離Ｚ_３は、各距離区間において、Ｚ_３＝Ｚ_１として計算している。例えば、５ｍから５．５ｍの最初の距離区間では、Ｚ_１＝Ｚ_３＝５．００ｍ、Ｚ_２＝５．５ｍ、路面の像高さは０．０９１ｍｍ、最小の像高さは０．４００ｍｍである。これら０．０９１ｍｍと０．４００ｍｍとの間に閾値Ｔｈを設定することにより、Ｙ_ｍｉｎ＝５００ｍｍよりも高い立体物を良好に発見することができる。

表２から明らかなように、閾値Ｔｈは、距離ｚが大きいほど小さい値としてよい。図９に例示する距離ヒストグラムでは、横軸方向は距離区間を表す。各距離区間の柱の高さは、評価値を示す。評価値は、各距離区間に属する画素数に基づき算出される。図９では、曲線により立体判別用の評価値の閾値の一例を示す。評価値の値は、全体としては近距離が高く、遠距離が低い。図９の例では図４に示した前方車両２１が存在し、その前方車両２１の背面までの距離に相当する距離区間Ｓｎに属する画素数に対応する評価値が高くなっている。これに対して、判定部２０は距離区間ごとに距離に応じて異なる閾値を用い、評価値が閾値よりも大きい場合に立体物が存在することを判別する。判定部２０は、車両１に近い位置の路面等を誤検出するのを低減し、距離区間Ｓ_ｎに位置する立体物を従来技術に比べて正しく検出できる。判定部２０は、閾値Ｔｈが距離に依存して更に低くなるので、更に遠距離に立体物がある場合でも従来技術に比べて正しい検出が可能になる。

以上説明したように本実施形態によれば、判定部２０が、それぞれの部分領域Ｒについて、距離区間ごとに距離に応じて異なる閾値を用い、評価値が閾値より大きい場合に立体物が存在すると判定する。これにより、判定部２０は、測定範囲内で近距離から遠距離まで従来技術に比べて良好に立体物を判別できる。特に、条件式（３）に従って閾値を設定することによって、路面又は路面上の厚みの無い平坦な物を立体物として誤認識することを低減し、且つ、検出すべき高さ以上の立体物を立体物として検出することができる。ｘ方向に分割された部分領域の何れに立体物が存在すると判定されたかによって、判定部２０は、ｘ方向のどの位置に立体物が存在するかも判別してよい。

本発明は、上記実施形態にのみ限定されるものではない。本開示の実施形態は、本発明の範囲内で、幾多の変形または変更が可能である。例えば、ステレオカメラ装置に実装されるカメラの数は２つに限られず、３台以上のカメラを用いることも可能である。評価値の定義および評価値の閾値の設定方法は、上述のものに限られず、種々の評価値および評価値の定義に応じた閾値を設定することが可能である。例えば、制御部１６は、距離ヒストグラムの各距離区間に属する画素の画素数そのものを評価値とし、この評価値に合わせて閾値を設定することが可能である。

上述の実施形態において、制御部１６は、部分領域内の各距離区間に属する画素の画素数を部分領域のｘ方向の画素数で割ったものを、その距離区間の評価値として算出した。制御部１６は、他の値を評価値として算出してよい。制御部１６は、上述の画素数を部分領域のｘ方向の画素数で割った後、補正係数を乗算したものを評価値として算出してよい。補正係数は、部分領域内で得られた画素の数を、部分領域内で得られた有効な画素の数で割った値である。制御部１６は、評価値の算出前に、補正係数を算出してよい。制御部１６は、補正係数を乗算することにより、視差画像における画素の欠落を考慮した立体物検出が可能になる。

１車両
１０ステレオカメラ装置
１１ステレオカメラ
１１ａ左側カメラ
１１ｂ右側カメラ
１２立体物検出装置
１３路面
１４ａ，１４ｂ白線
１５入力部
１６制御部
１７出力部
１８画像メモリ
１９画像処理部
２０判定部
２１前方車両
Ｒ部分領域
Ｓ距離区間

Claims

入力部と、制御部とを備え、
前記入力部は、互いに第１方向に視差を有する第１画像及び第２画像の入力を受け付け可能であり、
前記制御部は、
前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成し、
前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分け、
前記制御部は、それぞれの前記部分領域について、
前記被写体に向かう方向における距離を複数の距離区間に区分し、
前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、
前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間ごとの画素数を前記部分領域の第１方向の画素数で除算して算出し、
該評価値に基づいて前記距離区間ごとの立体物の存在を判定し、
前記制御部は、前記距離区間ごとに以下の条件式（１）を満足する閾値Ｔｈを用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する、立体物検出装置。

但し、前記第１画像及び前記第２画像を撮像した光学系の焦点距離をｆ、前記第１画像及び前記第２画像を撮像した光学系の俯角をθ ₀ 、前記第１画像及び前記第２画像を撮像した光学系の取付け高さをｈ ₀ 、判定対象の距離区間の近距離側境界をＺ ₁ 、遠距離側境界をＺ ₂ 、該距離区間について予め定められた立体物までのみなし距離をＺ ₃ 、検出すべき立体物の最小の高さをＹ _min 、画像の画素ピッチをＰとする。
前記閾値は、前記被写体に向かう方向における距離が遠くなるほど小さい値となる請求項１に記載の立体物検出装置。
前記条件式は、判定対象となる最小の高さの立体物全体が、前記第１画像および前記第２画像に収まる距離から遠い距離において適用される請求項１または２に記載の立体物検出装置。
ステレオカメラと、制御部と、を備え、
前記ステレオカメラは、互いに第１方向に視差を有する第１画像及び第２画像を出力し、
前記制御部は、
前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成し、
前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分け、
前記制御部は、それぞれの前記部分領域について、
前記被写体に向かう方向における距離を複数の距離区間に区分し、
前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、
前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間ごとの画素数を前記部分領域の第１方向の画素数で除算して算出し、
該評価値に基づいて前記距離区間ごとの立体物の存在を判定し、
前記制御部は、前記距離区間ごとに以下の条件式（１）を満足する閾値Ｔｈを用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する、ステレオカメラ装置。

但し、前記第１画像及び前記第２画像を撮像した光学系の焦点距離をｆ、前記第１画像及び前記第２画像を撮像した光学系の俯角をθ ₀ 、前記第１画像及び前記第２画像を撮像した光学系の取付け高さをｈ ₀ 、判定対象の距離区間の近距離側境界をＺ ₁ 、遠距離側境界をＺ ₂ 、該距離区間について予め定められた立体物までのみなし距離をＺ ₃ 、検出すべき立体物の最小の高さをＹ _min 、画像の画素ピッチをＰとする。
ステレオカメラと、制御部と、を備え、
前記ステレオカメラは、互いに第１方向に視差を有する第１画像及び第２画像を出力し、
前記制御部は、
前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成し、
前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分け、
前記制御部は、それぞれの前記部分領域について、
前記被写体に向かう方向における距離を複数の距離区間に区分し、
前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、
前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間ごとの画素数を前記部分領域の第１方向の画素数で除算して算出し、
該評価値に基づいて前記距離区間ごとの立体物の存在を判定し、
前記制御部は、前記距離区間ごとに以下の条件式（１）を満足する閾値Ｔｈを用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定し、
前記ステレオカメラは、前記車両の外部環境を撮像する、車両。

但し、前記第１画像及び前記第２画像を撮像した光学系の焦点距離をｆ、前記第１画像及び前記第２画像を撮像した光学系の俯角をθ ₀ 、前記第１画像及び前記第２画像を撮像した光学系の取付け高さをｈ ₀ 、判定対象の距離区間の近距離側境界をＺ ₁ 、遠距離側境界をＺ ₂ 、該距離区間について予め定められた立体物までのみなし距離をＺ ₃ 、検出すべき立体物の最小の高さをＹ _min 、画像の画素ピッチをＰとする。
ステレオカメラによる、互いに第１方向に視差を有する第１画像及び第２画像の入力を受け付け、
前記第１画像における被写体の位置、及び、前記第２画像における前記被写体の位置の前記第１方向における差を画素値で表現した視差画像を生成し、
前記視差画像の少なくとも一部を前記第１方向に交差する第２方向に沿って広がる複数の部分領域に分け、
それぞれの前記部分領域について、
前記被写体に向かう方向における距離を複数の距離区間に区分し、
前記部分領域のそれぞれの画素の属する前記距離区間を前記画素値から算出し、
前記距離区間に属する立体物の前記第２方向の長さに対応する評価値を当該距離区間ごとの画素数を前記部分領域の第１方向の画素数で除算して算出し、
前記距離区間ごとに以下の条件式（１）を満足する閾値Ｔｈを用い、前記評価値が前記閾値より大きい場合に立体物が存在すると判定する、立体物検出方法。

但し、前記第１画像及び前記第２画像を撮像した光学系の焦点距離をｆ、前記第１画像及び前記第２画像を撮像した光学系の俯角をθ ₀ 、前記第１画像及び前記第２画像を撮像した光学系の取付け高さをｈ ₀ 、判定対象の距離区間の近距離側境界をＺ ₁ 、遠距離側境界をＺ ₂ 、該距離区間について予め定められた立体物までのみなし距離をＺ ₃ 、検出すべき立体物の最小の高さをＹ _min 、画像の画素ピッチをＰとする。