JP6198113B2 - 対象物認識装置、機器制御システム、車両、対象物認識方法及び対象物認識用プログラム - Google Patents

Description

本発明は、撮像手段によって撮像し、その撮像画像に基づいて認識対象物を認識する対象物認識装置、機器制御システム、車両、対象物認識方法及び対象物認識用プログラムに関するものである。

従来、前方を撮影した撮像画像に基づいて対象物を認識する対象物認識装置は、例えば、車両の運転者の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムなどに利用されている。この運転者支援システムは、自車両が障害物等に衝突することを回避したり、衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車両が走行している車線からの逸脱防止を支援する機能などの様々な機能を実現する。

特許文献１には、自車両の前方を撮像手段により撮像して得た画像から、対象物を認識することで、自車両の運転者の運転負荷を軽減させる運転支援装置が開示されている。この特許文献１の運転支援装置では、撮像手段によって、自車両の前方の景観を撮像している。そして、撮像画像に映されている物体を把握するために、撮像画像から対象物の色及び空間周波数を検出する。検出した空間周波数を積算して空間周波数分布を作成することで空間周波数の特徴を検出している。そして、検出した対象物の色と空間周波数の特徴と、予め記憶している認識対象物毎の色及び空間周波数の特徴とを比較する認識処理を行い、認識対象物を認識する。

上記運転支援システムの機能を適切に実現するためには、自車両走行に対する障害物を精度よく、かつできるだけ早く認識することが重要である。しかしながら、上記特許文献１の運転支援装置では、撮影画像に例えば道路以外に建っている建造物などの自車両走行に対する障害物になりにくいものが含まれている。このため、これらの対象物は障害物となる歩行者や車両などの認識対象物ではないので道路以外に建っている建造物などの対象物を検出することは無駄になる。自車両走行に対する障害物となる認識対象物の認識が遅くなる。また、上記空間周波数の検出と空間周波数の積算に要する処理時間はメモリ処理能力に依存し長時間になってしまう。この結果、自車両走行に対するまさに障害物になる認識対象物の認識処理が遅れ、上記運転支援システムの機能を適切に実現することが難しくなる虞がある。また、上記特許文献１の運転支援装置では、撮像した自車両の前方の背景に認識対象物と認識対象物以外の障害物になりにくい対象物も含まれている。このため、対象物を認識対象物と認識してしまう誤認識が生じる虞がある。

本発明は以上の問題点に鑑みなされたものであり、その目的は、認識対象物の認識処理を早くすることができ、誤認識の発生を抑制できる対象物認識装置、機器制御システム、車両、対象物認識方法及び対象物認識用プログムを提供することである。

上記目的を達成するために、請求項１の発明は、撮像手段によって撮像した撮像画像に基づいて認識対象物を認識する対象物認識装置において、ステレオ撮像手段によって撮像したステレオ画像の左右いずれか一方の撮像画像の輝度画像に基づいて矩形の認識候補領域を検出する認識候補領域検出手段と、該認識候補領域検出手段によって検出された矩形の認識候補領域の視差を前記ステレオ画像の左右両方の画像に基づいて計算する視差計算手段と、該視差計算手段によって計算された認識候補領域の視差に基づいて、実の高さ及び幅が予め記憶されている認識候補領域の特徴の閾値範囲内である認識候補領域を、前記認識候補領域検出手段によって検出された矩形の認識候補領域の中から抽出し、抽出した矩形の認識候補領域に含まれている認識対象物を認識する対象物認識手段とを有することを特徴とするものである。

本発明によれば、認識対象物の認識処理を早くすることができ、誤認識の発生を抑制できる、という特有な効果が得られる。

車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 同撮像ユニットの撮像部における画像センサを光透過方向に対して直交する方向から見たときの模式拡大図である。 図２における処理ハードウェア部及び画像解析ユニットによって実現される本実施形態の対象物認識装置の構成を示すブロック図である。 対象物認識処理を示すフローチャートである。 （ａ）は左のカメラレンズとセンサからステレオ画像、（ｂ）は右のカメラレンズとセンサからステレオ画像を示す図である。 測距演算の原理を説明する図である。 画像の範囲内の矩形のブロックを示す図である。 矩形ブロック領域内の特徴パターンの例を示す図である。 階層を持つ対象物識別器の構成を示す図である。 検出された認識候補領域の例を示す図である。 検出された認識候補領域の例を示す図である。 平均視差値に対する対象物における幅の最小値及び最大値、高さの最小値及び最大値を格納するテーブルを示す図である。 別の対象物認識処理を示すフローチャートである。 ステレオカメラのハードウェア構成を示すブロック図である。

以下、本発明に係る対象物認識装置を、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。なお、本発明に係る対象物認識装置は、車載機器制御システムに限らず、例えば撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。

図１は車載機器制御システムの概略構成を示す模式図である。
図１に示す車載機器制御システムは、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像手段としての撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０３のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像領域内に存在する路面上の白線等の車線境界線等を検出したりする。他車両の検出では、視差画像に基づいて路面上の対象物を車両として検出する。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０４にも送られる。車両走行制御ユニット１０４は、画像解析ユニット１０２が検出した歩行者や走行車両等の認識対象物の検出結果に基づいて、自車両１００が障害物に衝突しそうな場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、撮像素子が２次元配置された画像センサ１１２Ａ，１１２Ｂと、画像センサ１１２Ａ，１１２Ｂが設けられたセンサ基板１１３Ａ，１１３Ｂと、センサ基板１１３Ａ，１１３Ｂから出力されるアナログ電気信号（画像センサ１１２Ａ，１１２Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１４Ａ，１１４Ｂとから構成されている。撮像ユニット１０１からは、輝度画像データが出力される。

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部１２１を備えている。ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

一方、画像解析ユニット１０２は、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するメモリ１３０と、認識対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）１４０とを備えている。ＭＰＵ１４０は、メモリ１３０に格納された輝度画像データ及び視差画像データを用いて本実施形態に係る認識対象物の認識処理を実行する。

図３は、画像センサ１１２Ａ，１１２Ｂとを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ１１２Ａ，１１２Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その撮像素子（受光素子）にはフォトダイオード１１２ａを用いている。フォトダイオード１１２ａは、撮像画素ごとに２次元的にアレイ配置されており、フォトダイオード１１２ａの集光効率を上げるために、各フォトダイオード１１２ａの入射側にはマイクロレンズ１１２ｂが設けられている。この画像センサ１１２Ａ，１１２Ｂがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板１１３Ａ，１１３Ｂが形成されている。

次に、本発明の特徴部分である、対象物認識処理について説明する。
図４は、図２における処理ハードウェア部１２０及び画像解析ユニット１０２によって実現される本実施形態の対象物認識装置の構成を示すブロック図である。同図において、本実施形態の対象物認識装置２００は、ステレオ画像入力部２０１、輝度画像入力部２０２、視差画像演算部２０３、認識候補領域検出部２０４、認識用辞書２０５、対象物認識部２０６及び対象物認識結果出力部２０７を含んで構成されている。ステレオ画像入力部２０１には、撮像レンズ及び画像センサを有する撮像部を左右それぞれに備えるステレオカメラ（不図示）からステレオ画像が入力される。輝度画像入力部２０２には、ステレオ画像の左画像又は右画像である輝度画像がステレオ画像入力部２０１から入力される。入力されたステレオ画像や輝度画像はステレオカメラのメモリ１３０に保存される。視差画像演算部２０３は、ステレオ画像入力部２０１に入力されたステレオ画像を用いて、撮影対象が左右画像での結像位置の差である視差を計算する。認識候補領域検出部２０４は、輝度画像入力部２０２に入力された輝度画像を用いて、前方の撮像画角方向に存在する認識対象物の認識候補領域を検出する。認識用辞書２０５は、ＳＶＭ（Support Vector Machine）などの機械学習方法で、事前に対象物認識の画像サンプル学習データを用いて作成される。この認識用辞書２０５は、認識対象物毎に別々に作成される。対象物認識部２０６は、認識処理を行う。対象物認識部２０６は、対象物候補を認識するとき、認識用辞書を用いて認識を行う。対象物認識結果出力部２０７は認識対象物の認識結果を出力する。

ここで、対象物認識部２０６によって行われる認識処理を詳細に説明する。まず、認識された認識候補領域の視差平均値を計算する。視差平均値は視差値のある画素の値を合計し画素で割り算した値であり、あるいは認識候補領域内の中央値（メディアン）フィルタで求められたものでもよい。または、認識候補領域内の頻度の高い最頻値でも良い。この視差平均値から認識候補領域とステレオカメラとの距離を計算する。このステレオカメラからの距離と認識候補領域の画面上の大きさとを用いて、認識候補領域の実の大きさを計算する。認識候補領域の大きさの縦横のそれぞれが、各認識対象物に予め設定したサイズ閾値範囲を超える場合誤検出としてその認識候補領域を認識対象から排除する。大きさ範囲内の認識候補領域に含まれる認識対象物は、対象物認識結果として出力する。このような処理により、対象物候補認識の精度を向上する。なお、上述のサイズ閾値範囲は、ステレオカメラのメモリに記憶されている。

次に、本実施形態の対象物認識装置の動作について当該動作フローを示す図５に従って説明する。
図４のステレオ画像入力部２０１に、ステレオ画像が入力される（ステップＳ１０１）。具体的には、ステレオカメラからステレオ画像を入力する。図６はステレオ画像の例を示す。ステレオ画像においての同じ被写体が左右の画像センサで異なる結像位置に結像されている。そして、図４の輝度画像入力部２０２によってステレオ画像のうち、左画像もしくは右画像のいずれかの輝度画像を入力する（ステップＳ１０２）。入力されたステレオ画像や輝度画像はステレオカメラのメモリに保存される。視差画像演算部２０３は、ステレオ画像入力部２０１に入力されたステレオ画像を用いて、対象画像における左右画像の各結像位置の差である視差値を計算する（ステップＳ１０３）。具体的には、左右の撮像レンズによって結像されたステレオ画像の同じ部分について、ブロックマッチング法によって視差値を画素値とした視差画像を計算する。ブロックマッチング法とは、左右画像をブロックで分割し、左右画像でのブロックの類似度が一番大きいとき、ブロックがマッチングした部分から視差値を求める方法である。例えば、１２８０×９６０画素の画像に対して５×５サイズのブロックで分割する。そして、各ブロックを用いて視差値を求める。ブロックサイズの最適値は実験で調整して設定する。図７に示す例において、被写体上にあるＯ点に対する左右画像での結像位置は、結像中心からの距離はΔ１とΔ２である。このため、その視差Δは、Δ＝Δ１＋Δ２として計算される。認識候補領域検出部２０４は、輝度画像入力部２０２に入力された輝度画像を用いて、車や歩行者などの認識対象物の認識候補領域を検出する（ステップＳ１０４）。対象物認識部２０６は、輝度画像から検出された認識候補領域の視差平均値を計算する（ステップＳ１０５）。対象物認識部２０６は、視差平均値から認識候補領域とステレオカメラとの距離を計算する（ステップＳ１０６）。対象物認識部２０６は、ステレオカメラからの距離と認識候補領域の画面上の大きさとを用いて、認識候補領域の実の大きさを計算する（ステップＳ１０７）。対象物認識部２０６は、認識候補領域の実の大きさと、認識候補領域に対応するサイズ閾値範囲とを比較する（ステップＳ１０８）。対象物認識部２０６は、認識候補領域の実の大きさがサイズ閾値範囲内であれば（ステップＳ１０８：ＹＥＳ）、輝度画像による認識処理を行い、対象物認識結果を出力する（ステップＳ１０９）。対象物認識部２０６は、認識候補領域の実の大きさがサイズ閾値範囲内でなければ（ステップＳ１０８：ＮＯ）、認識候補領域を、誤検出の認識候補領域として検出した認識候補領域のリスト中から削除する（ステップＳ１１０）。

次に、本実施形態の認識対象物の認識処理を説明する。
はじめに、認識対象物の認識を行うために、図８に示すように、撮像画像において対象物の画像に合わせて矩形ブロックを設定する。矩形の左上の座標（Ｘｓ,Ｙｓ）と右下の座標（Ｘｅ,Ｙｅ）とによって、矩形ブロックの撮像画像での位置及び矩形ブロックの大きさが定まる。そして、サイズの大きい矩形ブロック１を用いて撮像画面を走査して矩形ブロック１の大きさと対象物の画像の大きさとがほぼ合う対象物の画像を抽出し、その抽出した各対象物の画像に矩形ブロック１をそれぞれ設定する。その設定が終わったら次に小さい矩形ブロック２を用いて撮像画面を走査して矩形ブロック２の大きさと対象物の画像の大きさとがほぼ合う対象物の画像を抽出し、その抽出した各対象物の画像に矩形ブロック２をそれぞれ設定する。このようにして、対象物の画像に合わせて矩形ブロックが設定される。この矩形ブロックは認識候補領域に相当するものである。

そして、認識用辞書を用いて、対象物識別器による対象物の認識を行う。
ここで、狙いの認識対象物を認識するための認識用辞書について説明する。図９に示すように、矩形ブロック３００内にある、白色の画素のみで構成されている矩形領域３０１と、図中斜線で示した黒色の画素のみで構成されている矩形領域３０２に基づいて、評価対象の矩形ブロック内の特徴量を計算する。矩形ブロック３００内にある矩形領域３０１の白画素値と矩形領域３０２の黒画素値との、評価対象の矩形ブロック内の画素との差分を求め、その絶対値の合計値を矩形ブロック領域内の特徴量ｈ（ｘ）とする。図９に示す、Ａ、Ｂ、Ｃ、Ｄの４つの特徴パターンは、ほぼあらゆる物体の特徴に相当するパターンである。Ａの特徴パターンは、矩形領域３０１と矩形領域３０２とが左右に隣り合って位置し、かつ、矩形ブロック３００の中心からみて左上に位置している。Ｂの特徴パターンは、矩形領域３０１と矩形領域３０２とが上下に隣り合って位置し、かつ、矩形ブロック３００の中心からみて右上に位置している。Ｃの特徴パターンは、矩形領域３０２が２つの矩形領域３０１で隣り合って挟持されて位置し、かつ、矩形ブロック３００の中心からみて上側に位置している。そして、Ｄの特徴パターンは、２つの矩形領域３０１と２つの矩形領域３０２とがそれぞれ対角に位置し、かつ、矩形ブロック３００の中心からみて左側に位置している。そして、下記の式（１）に示すような評価関数により、各認識候補領域における重付け評価値ｆ（ｘ）を計算する。矩形ブロックｔ（＝１〜Ｔ（Ｔは評価に用いるパターンの数））内の特徴量ｈ_ｔ（ｘ）を計算して、矩形ブロック毎に付された重み係数α_ｔを乗算して特徴量の重付け評価値ｆ（ｘ）を計算する。ここで、特徴量ｈ_ｔ（ｘ）と重み係数α_ｔは、認識対象物の画像に対して、学習データを集め、その学習データによって学習させて求める。上述の特徴パターンＡ〜Ｄに対して重付け評価値を計算して、計算した重付け評価値に基づいて特徴パターンと重み係数の組を認識用辞書に記憶しておく。

そして、対象物識別器は、図１０に示すように、複数の階層４００−１〜ｎ（ｎは正の整数）を含んで構成されている。各階層４００−１〜ｎでは上記式（１）に示す評価関数の重付け評価値による評価を行う。各階層では、対象物毎に固有の１又は複数の特徴パターン及びこれに対応する重み係数を用いて、式（１）による評価を行う。通常は、階層４００−１から階層４００−ｎにいくにしたがって、用いるパターン数を徐々に多くする。これによって、認識速度を速くすることができる。例えば階層４００−１に入力された矩形ブロックｔの評価関数の重付け評価値が階層４００−１に予め設定された閾値より小さい矩形ブロックであった場合は、その矩形ブロックには狙い認識対象物の画像はないと判断される。そして、その矩形ブロックでの評価を行わず非対象ブロック４０１−１として処理される。階層４００−２〜ｎ（ｎは正の整数）でも同様な判断がそれぞれ行われる。最後の階層４００−ｎで狙いの認識対象物の画像でないと判断されなかった矩形ブロックが、狙いの認識対象物の画像が存在する矩形ブロックであると判断される。

特徴量の重付け評価値ｆ（ｘ）には、さらに認識重みが乗算される。これにより、例えば路面領域の認識重みを１に設定し、その他領域の認識重みを０に設定した場合、つまり路面領域以外の領域の重み係数は全て０のとき、本実施形態では路面領域での認識処理は行われ、路面領域以外の領域での認識処理は行われない。もしくは、認識重みに相当する重み係数を小数で設定し、各領域に対して異なる重み係数が設定してもよい。この場合、小さい重み係数が設定された領域及び当該領域に設定された重み係数より大きい重み係数が設定された領域に狙いの認識対象物の画像がそれぞれ存在していても、小さい重み係数が設定された領域における重付け評価値は低い値になり、認識対象物の画像ではないと判断される。これにより、認識重みが低い値に設定された領域における認識対象物の認識結果は低くなり、認識対象物の画像に類似している対象物の画像を認識対象の画像から排除でき、誤認識の発生を低減できる。

図４の対象物認識部２０６の各階層での評価値を計算する特徴量と重み係数および、各階層での評価値閾値を予め、認識対象物と認識対象物でない学習画像を用いて学習させて得られる。検出された認識候補領域の例を図１１、図１２に示す。両図において太線の枠で囲まれた領域は検出された認識候補領域である。これらの認識候補領域のうち、上記の対象物認識によって図１２における矩形ブロックＢ、Ｄ、Ｆは誤認識の認識候補領域となる。

そして、図４の対象物認識部２０６は認識候補領域検出部２０４によって検出された認識候補領域を視差画像演算部２０３で計算した視差値を含む視差画像を用いて、誤検出した認識候補領域を、検出した認識候補領域の中から排除する。輝度画像から認識した認識候補領域の視差平均値を計算する。視差平均値Δから認識候補領域のステレオカメラからの距離を計算する。図７に示すように、視差値と認識候補領域からステレオカメラまでの距離との関係を下記の式（２）に示す。ここで、Δは認識候補領域の視差平均値、ｆはステレオカメラの焦点距離、Ｄは左右の撮像レンズ間の距離である。Ｚは認識候補領域とステレオカメラとの距離である。
Δ：ｆ＝Ｄ：Ｚ （２）

よって、認識候補領域からステレオカメラまでの距離Ｚは、以下の（３）式で計算される。
Ｚ＝Ｄ＊ｆ／Δ （３）

図７に示すように、認識候補領域の画面上の大きさと実の大きさを下記の式（４）で表すことができる。距離を計算した場合、認識候補領域の実の大きさを計算できる。ここで、Ｓは認識候補領域の実のサイズ、ｓは認識候補領域の画像上での大きさ、Ｚは認識候補領域からステレオカメラまでの距離である。ｆは撮像レンズの焦点距離である。
Ｓ：Ｚ＝ｓ：ｆ （４）

よって、認識候補領域の実の大きさＳを下記の式（５）で計算できる。
Ｓ＝ｓ＊Ｚ／ｆ （５）

認識候補領域に対応するサイズ認識範囲と、上記式（５）で得られた認識候補領域の実の大きさＳと比較することにより、誤検出の認識候補領域を検出した認識候補領域のリスト中から排除することができる。

例えば、認識候補領域の、幅の最小値Ｗｍｉｎ、幅の最大値Ｗｍａｘ、高さの最小値Ｈｍｉｎ、高さの最大値Ｈｍａｘ、について、歩行者の場合、Ｈｍｉｎ：０．５［ｍ］、Ｈｍａｘ：２．５［ｍ］、Ｗｍｉｎ：０．１［ｍ］、Ｗｍａｘ：１．０［ｍ］のサイズ閾値範囲に設定できる。車の場合、Ｈｍｉｎ：１．０［ｍ］、Ｈｍａｘ：５．０［ｍ］、Ｗｍｉｎ：１．０［ｍ］、Ｗｍａｘ：３．０［ｍ］のサイズ閾値範囲に設定できる。そして、各認識候補領域のサイズ閾値範囲のＷｍｉｎ、Ｗｍａｘ、Ｈｍｉｎ、Ｈｍａｘの範囲により、認識候補領域が誤認識か否かを決める。つまり、認識候補領域の幅Ｗｓと高さＨｓを以下の式（６）、式（７）の範囲に設定できる。
Ｗｍｉｎ＜Ｗｓ＜Ｗｍａｘ （６）
Ｈｍｉｎ＜Ｈｓ＜Ｈｍａｘ （７）

各認識候補領域のＷｍｉｎ、Ｗｍａｘ，Ｈｍｉｎ，Ｈｍａｘはそれぞれの認識対象物の実際に採集した実験データで決める。

認識候補領域が誤検出か否かについては、上記の式（６）、式（７）の範囲のいずれかに入らない場合に、誤検出とする。なお、上記の式（６）、式（７）の双方に入らない場合に、誤検出とするものでも良い。

図１４は本実施形態の対象物認識装置の別の動作を示すフローチャートである。同図に示す対象物認識動作のうちステップＳ２０１〜Ｓ２０７は、上述した図５のステップＳ１０１〜Ｓ１０７と同じである。異なる動作として、認識候補領域に対応するサイズ閾値範囲と、認識候補領域の実の大きさとを比較する（ステップＳ２０８）。認識候補領域の実の大きさがサイズ閾値範囲内であれば（ステップＳ２０８：ＹＥＳ）、輝度画像による認識処理を行い、対象物認識結果を出力する（ステップＳ２０９、Ｓ２１０）。認識候補領域の実の大きさがサイズ閾値範囲内でなければ（ステップＳ２０８：ＮＯ）、認識処理を行わないで認識対象物でないと判断してステップＳ２０４に戻り、再度、認識候補領域の検出を行う。この処理を行うことにより、誤認識を低減することができる。

上述した認識対象物を認識する車載ステレオカメラ撮像装置の一例であるステレオカメラのハードウェア構成について説明する。図１５はステレオカメラのハードウェア構成を示すブロック図である。図１５に示すように、被写体光は、図４の画像レンズ１１１Ａ，１１１Ｂに相当するステレオカメラの左右の撮影レンズ５０１，５０２を通して、図４の画像センサ１１２Ａ，１１２Ｂに相当するＣＭＯＳ（Complementary Metal Oxide Semiconductor）５０３、５０４に入射される。ＣＭＯＳ５０３とＣＭＯＳ５０４は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。そして、図４の信号処理部１１４Ａ，１１４Ｂは、ＣＤＳ（Correlated Double Sampling:相関２重サンプリング）回路５０５、５０６、Ａ／Ｄ変換器５０７、５０８、画像処理回路５０９、５１０をそれぞれ含んで構成されている。図４の処理ハードウェア部１２０及びＭＰＵ１４０は、ＣＰＵ（Central Processing Unit）５１１、ＳＤＲＡＭ（SynchronousＤＲＡＭ）５１２、圧縮伸張回路５１３、ＲＯＭ（Read Only Memory）５１６、ＲＡＭ（Random Access Memory）５１７及びタイミング信号発生器５１８を含んで構成されている。ＣＭＯＳ５０３とＣＭＯＳ５０４から出力されたアナログの画像データは、ＣＤＳ回路５０５、５０６によりノイズ成分を除去され、Ａ／Ｄ変換器５０７、５０８によりデジタル値に変換された後、画像処理回路５０９、５１０に対して出力される。画像処理回路５０９、５１０は、画像データを一時格納するＳＤＲＡＭ５１２を用いて、YCrCb変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。

また、信号処理、画像処理が施された画像情報は、圧縮伸張回路５１３を介して、メモリカード５１４に記録される。圧縮伸張回路５１３は、画像処理回路５０９、５１０から出力される画像情報を圧縮してメモリカード５１４に出力すると共に、メモリカード５１４から読み出した画像情報を伸張して画像処理回路５０９、５１０に出力する回路である。また、ＣＭＯＳ５０３，５０４、ＣＤＳ回路５０５，５０６及びＡ／Ｄ変換器５０７，５０８は、タイミング信号を発生するタイミング信号発生器５１８を介してＣＰＵ５１１によって、タイミングが制御されている。更に、画像処理回路５０９、５１０、圧縮伸張回路５１３、メモリカード５１４も、ＣＰＵ５１１によって制御されている。撮像装置において、ＣＰＵ５１１は対象物認識用プログラムに従って各種演算処理を行う。画像処理プログラムなどを格納した読み出し専用メモリであるＲＯＭ５１６および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ５１７などを内蔵する。これらがバスライン５１９によって相互接続されている。車載ステレオカメラで実行される視差計算、輝度画像による認識候補領域検知、視差画像により、認識候補領域の誤検出を排除する対象物認識を行う処理機能を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵ（プロセッサ）が、ＲＯＭ５１６から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、対象物認識結果を出力する。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様１）
前方を撮像手段によって撮像した撮像画像に基づいて前方に存在する認識対象物を認識する対象物認識装置において、ステレオ撮像手段によって撮像した前方のステレオ画像の左右いずれか一方の撮像画像の輝度画像に基づいて認識候補領域を検出する認識候補領域検出手段と、該認識候補領域検出手段によって検出された認識候補領域の視差をステレオ画像の左右両方の画像に基づいて計算する視差計算手段と、該視差計算手段によって計算された認識候補領域の視差に基づいて、予め記憶されている認識候補領域の特徴の閾値範囲内である認識候補領域を、認識候補領域検出手段によって検出された認識候補領域の中から抽出し、抽出した認識候補領域に含まれている認識対象物を認識する対象物認識手段とを有する。これによれば、上記実施形態について説明したように、認識候補領域検出部２０４によって、ステレオカメラから得られた輝度画像を用いて物体が存在する認識候補領域を検出する。視差画像演算部２０３によってステレオ画像の左右両方の画像に基づいて認識候補領域の視差を計算する。認識候補領域の視差が計算できれば、既知のステレオ撮像手段の焦点距離及び左右のレンズ間の距離により、認識候補領域の位置とステレオ撮像手段との間の距離が計算できる。そして、認識候補領域の位置とステレオ撮像手段との間の距離が計算できれば、認識候補領域の大きさを測定して認識候補領域の実の大きさが計算できる。この認識候補領域の実の大きさに基づいて、認識候補領域に含まれている対象物が障害物にならないものであれば、当該認識候補領域は認識対象から排除できる。そして、対象物認識部２０６によって、残った認識候補領域の認識対象物を認識する。この結果、自車両走行に対するまさに障害物になる認識対象物の認識処理が遅れることが減る。また、抽出した認識候補領域に含まれている認識対象物に対して認識対象物の認識を行う。この結果、類似する認識対象物以外の対象物を予め排除していることにより、誤認識の発生を抑制できる。
（態様２）
（態様１）において、対象物認識手段は、視差計算手段によって計算された認識候補領域の視差の平均値を算出し、算出した視差平均値を用いてステレオ撮像手段から認識候補領域検出手段によって検出された認識候補領域までの距離及び当該認識候補領域の大きさを算出し、距離に対応する認識候補領域の実の大きさが予め記憶されている認識候補領域の特徴の閾値範囲内である認識候補領域を、認識候補領域検出手段によって検出された認識候補領域の中から抽出する。これによれば、上記実施形態について説明したように、認識候補領域の視差の平均を計算する。認識候補領域の視差平均値が計算できれば、既知のステレオ撮像手段の焦点距離及び左右のレンズ間の距離により、認識候補領域の位置とステレオ撮像手段との間の距離が計算できる。そして、認識候補領域の位置とステレオ撮像手段との間の距離が計算できれば、認識候補領域の大きさを測定して認識候補領域の実の大きさが計算できる。計算できた認識候補領域の実の大きさに基づいて、認識候補領域に含まれている対象物が障害物にならないものであれば、当該認識候補領域は認識対象から排除できる。そして、対象物認識部２０６によって、残った認識候補領域の認識対象物を認識する。この結果、自車両走行に対するまさに障害物になる認識対象物の認識処理が遅れることが減る。また、抽出した認識候補領域に含まれている認識対象物に対して認識対象物の認識を行う。この結果、類似する認識対象物以外の対象物を予め排除していることにより、誤認識の発生を抑制できる。
（態様３）
前方を撮像手段によって撮像した撮像画像に基づいて前方に存在する認識対象物を認識する対象物認識方法において、ステレオ撮像手段によって撮像した前方のステレオ画像の左右いずれか一方の撮像画像の輝度画像に基づいて認識候補領域を検出する認識候補領域検出工程と、該認識候補領域検出工程によって検出された認識候補領域の視差をステレオ画像の左右両方の画像に基づいて計算する視差計算工程と、該視差計算工程によって計算された認識候補領域の視差に基づいて、予め記憶されている認識候補領域の特徴の閾値範囲内である認識候補領域を、認識候補領域検出工程によって検出された認識候補領域の中から抽出し、抽出した認識候補領域に含まれている認識対象物を認識する対象物認識工程とを有する。これによれば、上記実施形態について説明したように、障害物になる認識対象物の認識処理を早くすることができ、誤認識の発生を抑制できる。
（態様４）
（態様３）において、対象物認識工程は、視差計算工程によって計算された認識候補領域の視差の平均値を算出し、算出した視差平均値を用いてステレオ撮像手段から対象物までの距離及び対象物の大きさを算出し、距離に対応する対象物の大きさが閾値範囲内であるか否かによって認識対象物に対応する認識候補領域を検出する。これによれば、上記実施形態について説明したように、認識候補領域の視差の平均を計算する。認識候補領域の視差平均値が計算できれば、既知のステレオ撮像手段の焦点距離及び左右のレンズ間の距離により、認識候補領域の位置とステレオ撮像手段との間の距離が計算できる。そして、認識候補領域の位置とステレオ撮像手段との間の距離が計算できれば、認識候補領域の大きさを測定して認識候補領域の実の大きさが計算できる。計算できた認識候補領域の実の大きさに基づいて、認識候補領域に含まれている対象物が障害物にならないものであれば、当該認識候補領域は認識対象から排除できる。そして、対象物認識部２０６によって、残った認識候補領域の認識対象物を認識する。この結果、自車両走行に対するまさに障害物になる認識対象物の認識処理が遅れることが減る。また、抽出した認識候補領域に含まれている認識対象物に対して認識対象物の認識を行う。この結果、類似する認識対象物以外の対象物を予め排除していることにより、誤認識の発生を抑制できる。
（態様５）
前方を撮像手段によって撮像した撮像画像に基づいて前方に存在する対象物を認識する工程をコンピュータによって実行させるための対象物認識用プログラムにおいて、ステレオ撮像手段によって撮像した前方のステレオ画像の左右いずれか一方の撮像画像の輝度画像に基づいて認識候補領域を検出する認識候補領域検出工程と、該認識候補領域検出工程によって検出された認識候補領域を示す画像の視差をステレオ画像の左右両方の画像に基づいて計算する視差計算工程と、該視差計算工程によって計算された認識候補領域を示す画像の視差を含む視差画像に基づいて、予め記憶されている認識候補領域の特徴の閾値範囲内である認識候補領域を、認識候補領域検出工程によって検出された認識候補領域の中から抽出し、抽出した認識候補領域に含まれている認識対象物を認識する対象物認識工程とをコンピュータに実行させる。これによれば、上記実施形態について説明したように、障害物になる認識対象物の認識処理を早くすることができ、誤認識の発生を抑制できる。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ フロントガラス
１０４ 車両走行制御ユニット
２００ 対象物認識装置
２０１ ステレオ画像入力部
２０２ 輝度画像入力部
２０３ 視差画像演算部
２０４ 認識候補領域検出部
２０５ 認識用辞書
２０６ 対象物認識部
２０７ 対象物認識結果出力部

特許第４６７０８０５号公報

Claims (7)

1. 撮像手段によって撮像した撮像画像に基づいて認識対象物を認識する対象物認識装置において、
   ステレオ撮像手段によって撮像したステレオ画像の左右いずれか一方の撮像画像の輝度画像に基づいて矩形の認識候補領域を検出する認識候補領域検出手段と、
   該認識候補領域検出手段によって検出された矩形の認識候補領域の視差を前記ステレオ画像の左右両方の画像に基づいて計算する視差計算手段と、
   該視差計算手段によって計算された認識候補領域の視差に基づいて、実の高さ及び幅が予め記憶されている認識候補領域の特徴の閾値範囲内である認識候補領域を、前記認識候補領域検出手段によって検出された矩形の認識候補領域の中から抽出し、抽出した矩形の認識候補領域に含まれている認識対象物を認識する対象物認識手段と
   を有することを特徴とする対象物認識装置。
2. 請求項１記載の対象物認識装置において、
   前記対象物認識手段は、前記視差計算手段によって計算された認識候補領域の視差の平均値を算出し、算出した視差平均値を用いて前記ステレオ撮像手段から前記認識候補領域検出手段によって検出された矩形の認識候補領域までの距離及び当該認識候補領域の大きさを算出し、距離に対応する矩形の認識候補領域の実の大きさが予め記憶されている認識候補領域の特徴の閾値範囲内である認識候補領域を、前記認識候補領域検出手段によって検出された矩形の認識候補領域の中から抽出することを特徴とする対象物認識装置。
3. 請求項１または２に記載の対象物認識装置を備えることを特徴とする機器制御システム。
4. 請求項１または２に記載の対象物認識装置を備えることを特徴とする車両。
5. 撮像手段によって撮像した撮像画像に基づいて認識対象物を認識する対象物認識方法において、
   ステレオ撮像手段によって撮像したステレオ画像の左右いずれか一方の撮像画像の輝度画像に基づいて矩形の認識候補領域を検出する認識候補領域検出工程と、
   該認識候補領域検出工程によって検出された矩形の認識候補領域の視差を前記ステレオ画像の左右両方の画像に基づいて計算する視差計算工程と、
   該視差計算工程によって計算された認識候補領域の視差に基づいて、実の高さ及び幅が予め記憶されている認識候補領域の特徴の閾値範囲内である認識候補領域を、前記認識候補領域検出工程によって検出された矩形の認識候補領域の中から抽出し、抽出した矩形の認識候補領域に含まれている認識対象物を認識する対象物認識工程と
   を有することを特徴とする対象物認識方法。
6. 請求項５記載の対象物認識方法において、
   前記対象物認識工程は、前記視差計算工程によって計算された認識候補領域の視差の平均値を算出し、算出した視差平均値を用いて前記ステレオ撮像手段から前記認識候補領域検出工程によって検出された矩形の認識候補領域までの距離及び当該認識候補領域の大きさを算出し、距離に対応する矩形の認識候補領域の実の大きさが予め記憶されている認識候補領域の特徴の閾値範囲内である認識候補領域を、前記認識候補領域検出工程によって検出された矩形の認識候補領域の中から抽出することを特徴とする対象物認識方法。
7. 撮像手段によって撮像した撮像画像に基づいて認識対象物を認識する工程をコンピュータによって実行させるための対象物認識用プログラムにおいて、
   ステレオ撮像手段によって撮像したステレオ画像の左右いずれか一方の撮像画像の輝度画像に基づいて矩形の認識候補領域を検出する認識候補領域検出工程と、
   該認識候補領域検出工程によって検出された矩形の認識候補領域の視差を前記ステレオ画像の左右両方の画像に基づいて計算する視差計算工程と、
   該視差計算工程によって計算された認識候補領域の視差に基づいて、実の高さ及び幅が予め記憶されている認識候補領域の特徴の閾値範囲内である認識候補領域を、前記認識候補領域検出工程によって検出された矩形の認識候補領域の中から抽出し、抽出した矩形の認識候補領域に含まれている認識対象物を認識する対象物認識工程と
   を前記コンピュータに実行させることを特徴とする対象物認識用プログラム。