JP6077785B2

JP6077785B2 - 対象物検出装置及びプログラム

Info

Publication number: JP6077785B2
Application number: JP2012182567A
Authority: JP
Inventors: 邦博後藤; 貴史町田; 清水　宏明; 宏明清水
Original assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Current assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Priority date: 2012-08-21
Filing date: 2012-08-21
Publication date: 2017-02-08
Anticipated expiration: 2032-08-21
Also published as: JP2014041427A

Description

本発明は、対象物検出装置及びプログラムに係り、特に、撮像した画像から対象物を検出するための対象物検出装置及びプログラムに関する。

従来より、画像パタンを用いた歩行者検出においては、性能向上のために様々な向きの歩行者モデルを利用するなどして検出を行っていた。

しかし、歩行者の姿勢は非常に多様性があるため歩行者を未検出する場合や、歩行者と類似した物体を誤検出する場合があった。誤検出として頻度が高く検出されるものとして、電柱やガードレールなどの人工構造物があり、これらの人工構造物には直線成分が含まれているという特徴がある。

そのため、この直線成分の特徴を利用した誤検出除去手法が提案されている（特許文献１参照）。具体的には、画像中からハフ変換などを用いて直線成分を検出し、検出した直線成分が歩行者候補領域内に存在すれば非歩行者と判定するものである。

特開２００９−２７６９１０号公報

しかしながら、特許文献１の歩行者検出装置では、直線成分の位置と歩行者候補領域の位置の関係を考慮しておらず一律に非歩行者と判定してしまうため、図１に示すような中距離から遠方に存在する歩行者が電柱の線分と重なるように存在した場合に、誤って歩行者を非歩行者と判定してしまう、という問題がある。

また、パタン認識による識別スコアは直線成分による判定には全く利用されておらず、どんなに識別スコアが高くても図１のように直線成分が検出されてしまった場合には、非歩行者と判定されてしまう、という問題がある。

本発明は、上述した問題を解決するために成されたものであり、非対象物を精度良く排除し、ドライバにとって危険度の高い対象物を精度良く検出することができる対象物検出装置及びプログラムを提供することを目的とする。

上記目的を達成するために第１の発明の対象物検出装置は、自装置の周辺を撮像した撮像画像から直線を検出する直線検出手段と、前記撮像画像からウインドウ画像を抽出する抽出手段と、前記抽出手段によって抽出された前記ウインドウ画像について、前記ウインドウ画像から抽出される特徴量と、対象物を識別するための識別モデルとに基づいて、前記対象物らしさを示すスコアを算出するスコア算出手段と、前記直線検出手段による検出結果から得られる、前記抽出手段によって抽出された前記ウインドウ画像内の直線の長さ、前記ウインドウ画像内の直線の位置、及び前記ウインドウ画像内の直線の数の少なくとも１つに基づいて前記スコア算出手段によって算出されたスコアを補正するスコア補正手段と、前記スコア補正手段によって補正されたスコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。

第２の発明のプログラムは、コンピュータを、自装置の周辺を撮像した撮像画像から直線を検出する直線検出手段、前記撮像画像からウインドウ画像を抽出する抽出手段、前記抽出手段によって抽出された前記ウインドウ画像について、前記ウインドウ画像から抽出される特徴量と、対象物を識別するための識別モデルとに基づいて、前記対象物らしさを示すスコアを算出するスコア算出手段、前記直線検出手段による検出結果から得られる、前記抽出手段によって抽出された前記ウインドウ画像内の直線の長さ、前記ウインドウ画像内の直線の位置、及び前記ウインドウ画像内の直線の数の少なくとも１つに基づいて前記スコア算出手段によって算出されたスコアを補正するスコア補正手段、及び前記スコア補正手段によって補正されたスコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。

第１の発明及び第２の発明によれば、直線検出手段によって、自装置の周辺を撮像した撮像画像から直線を検出し、抽出手段によって、前記撮像画像からウインドウ画像を抽出し、スコア算出手段によって、前記抽出手段によって抽出された前記ウインドウ画像について、前記ウインドウ画像から抽出される特徴量と、対象物を識別するための識別モデルとに基づいて、前記対象物らしさを示すスコアを算出し、スコア補正手段によって、前記直線検出手段による検出結果から得られる、前記抽出手段によって抽出された前記ウインドウ画像内の直線の長さ、前記ウインドウ画像内の直線の位置、及び前記ウインドウ画像内の直線の数の少なくとも１つに基づいて前記スコア算出手段によって算出されたスコアを補正する。

そして、識別手段によって、前記スコア補正手段によって補正されたスコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する。

このように、識別モデルに基づいて、スコアを算出し、算出したスコアをウインドウ画像内の直線の長さ、ウインドウ画像内の直線の位置、及びウインドウ画像内の直線の数の少なくとも１つに基づいて補正し、補正されたスコアに基づいて、ウインドウ画像が対象物を表す画像か否かを識別することにより非対象物を精度良く排除し、ドライバにとって危険度の高い対象物を精度良く検出することができる。

また、上記の対象物を、歩行者とすることができる。

また、スコアを補正する手段は、前記ウインドウ画像内における直線の長さが、長いほど前記スコア算出手段によって算出されたスコアの対象物らしさが低くなるようにスコアを補正するように構成することができる。

また、スコアを補正する手段は、前記ウインドウ画像内における直線の位置が、ウインドウ画像の中心近くに存在するほど前記スコア算出手段によって算出されたスコアの対象物らしさが低くなるようにスコアを補正するように構成することができる。

また、スコアを補正する手段は、前記ウインドウ画像内における直線の数が、ウインドウ画像に多く存在するほど前記スコア算出手段によって算出されたスコアの対象物らしさが低くなるようにスコアを補正するように構成することができる。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明によれば、識別モデルに基づいて、スコアを算出し、算出したスコアをウインドウ画像内の直線成分の状態に基づいて補正し、補正されたスコアに基づいて、ウインドウ画像が対象物を表す画像か否かを識別することにより非対象物を精度良く排除し、ドライバにとって危険度の高い対象物を精度良く検出することができる。

中距離から遠方に存在する歩行者が電柱の線分と重なるように存在するイメージ図である。本実施の形態に係る対象物検出装置の構成を示すブロック図である。道路構造物が歩行者の後方に存在する場合のイメージ図である。道路構造物がウインドウ画像の端の部分に存在する場合のイメージ図である。ウインドウ画像内を同心の矩形領域に分割して、中心の領域に直線が存在しているほど大きい値を付与するような処理の例のイメージ図である。本実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、対象物として歩行者を検出する対象物検出装置に本発明を適用した場合について説明する。

図２に示すように本実施の形態に係る対象物検出装置１０は、識別対象領域を含む範囲を撮像する撮像装置１４と、撮像装置１４から出力される撮像画像に基づいて歩行者を検出する対象物検出処理ルーチンを実行するコンピュータ１２と、コンピュータ１２での処理結果を表示するための表示装置３４と、を備えている。

撮像装置１４は、識別対象領域を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、用いる画像はカラーでもモノクロでも良いし、可視光画像でも近赤画像でもよい。

コンピュータ１２は、対象物検出装置１０全体の制御を司るＣＰＵ、後述する対象物検出処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

このコンピュータ１２をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図２に示すように、撮像装置１４で撮像されコンピュータ１２へ入力された撮像画像を取得する画像取得部１６と、取得した撮像画像から直線を抽出する直線成分抽出部１８と、取得した撮像画像から所定領域のウインドウ画像を抽出するウインドウ画像抽出部２０と、ウインドウ画像抽出部２０により抽出されたウインドウ画像について画像特徴量を抽出する特徴量抽出部２２と、ウインドウ画像について抽出された画像特徴量と識別モデルとを比較して、歩行者らしさを示すスコアを算出するスコア算出部２４と、ウインドウ画像内の直線成分抽出部１８で抽出された直線に基づいてスコア算出部２４で算出されたスコアを補正するスコア補正部３０と、識別モデルが記憶された識別モデル記憶部２６と、ウインドウ画像が検出対象の歩行者を表す画像であるか否かを識別する歩行者識別部３２と、を含んだ構成で表すことができる。

直線成分抽出部１８は、撮像画像から直線を抽出し、メモリ等に記録する。直線を抽出する方法としては、ハフ変換や、高速でより精度の高い線分抽出アルゴリズム（Rafael Grompone von Gioi, Jeremie Jakubowicz, Jean-Michel Morel, Gregory Randall, LSD:A Fast Line Segment Detector with a False Detection Control, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.32, no.4, pp. 722-732, April 2010.)などを利用できる。なお、誤った直線検出を抑制するため、道路に存在する人工構造物はある一定の長さ以上あると仮定して、あらかじめ設定した長さ以下の直線は除外してもよい。

ウインドウ画像抽出部２０は、撮像画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら画像を切り取る。ここでは切り取った画像をウインドウ画像といい、ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）をウインドウサイズと呼称する。ウインドウサイズは様々なサイズの歩行者を検出するために複数種設定されており、ウインドウ画像抽出部２０は、設定されている全てのウインドウサイズの探索ウインドウを用いてウインドウ画像を抽出する。また、ウインドウ画像抽出部２０は、抽出したウインドウ画像を予め設定された画素数の画像に変換する。

特徴量抽出部２２は、各ウインドウ画像について画像特徴量を抽出する。画像特徴量として、Haar-Like Feature、 HOG(Histograms of Oriented Gradients)、FIND(Feature Interaction Descriptor)等が利用できる。なお、FINDについては、非特許文献(Hui CAO, Koichiro YAMAGUCHI, Mitsuhiko OHTA, Takashi NAITO and Yoshiki NINOMIYA:" Feature Interaction Descriptor for Pedestrian Detection", IEICE TRANSACTIONS on Information and Systems, Volume E93-D No.9, pp.2651-2655, 2010)に記載されているものを利用すればよいため、詳細な説明を省略する。

識別モデル記憶部２６には、予め学習により生成され、かつ、スコア算出部２４でスコアを算出する際に参照される識別モデルが記憶されている。なお、ここでは、識別モデル記憶部２６をコンピュータ１２に設ける場合について説明するが、他の外部装置の記憶手段に識別モデルを記憶しておき、ネットワークや通信手段を介して他の外部装置に接続して、他の外部装置の記憶手段に記憶された識別モデルを読み込むような構成としてもよい。

ここで、識別モデル記憶部２６に記憶される識別モデルである歩行者モデルは、歩行者の全身の輪郭形状を学習したものを利用しても良いし、各部位（例えば歩行者の頭部、胴体、脚部など）を学習したものを利用してもよい。また、歩行者の属性（向きや年齢）ごとに学習したモデルを利用しても良い。

スコア算出部２４は、各ウインドウ画像について、特徴量抽出部２２で抽出された特徴量と識別モデル記憶部２６に記憶されている識別モデルを用いてウインドウ画像内に歩行者が存在するかどうかの確信度を示す識別スコアを算出する。なお、識別器としてはBoostingや、SVM等が利用できる。なお、識別器から出力されるスコアを確率値に変換した値をスコアとすることもできる。

スコア補正部３０は、各ウインドウ画像について、各ウインドウ画像内に存在する直線成分抽出部１８で抽出された直線の有無や直線の位置に応じてスコア算出部２４で算出されたスコアを補正する。なお、スコア補正にあたっては、直線を用いて歩行者が存在しない可能性を、直線の長さ、直線のウインドウ画像内の存在位置、及びウインドウ画像内の直線の数を用いて数値化して、スコアの補正を行う。

ここで、ウインドウ画像内に存在する直線の長さについて、図３に示すように、歩行者の後ろに道路構造物が存在する場合には、ウインドウ画像内に存在する直線の長さが短くなる。一方、ウインドウ画像内に存在する直線の長さが長いと、道路構造物の可能性が高くなる。そのため、ウインドウ画像内に存在する直線の長さが長いほど、その直線が道路構造物に由来する可能性が高いと判断し、スコアが低くなるように補正する。

また、図４に示すように直線がウインドウ画像の端の部分に存在する場合には、直線が存在していたとしても、直線が与えるスコアへの影響度は低くなる。一方、ウインドウ画像の中央部を通過するような直線があった場合には、部分画像内に歩行者が存在する可能性が低くなり、道路構造物である可能性が高いと判断し、スコアが低くなるように補正する。具体的には、図５に示すようにウインドウ画像内を同心の矩形領域に分割して、中心の領域に直線が存在しているほど大きい値を付与するような処理を行い、付与される値が大きいほど、スコアが低くなるように補正される。図５の例でいえば、ウインドウ画像内の直線Ｌはウインドウ画像内に設定された領域a、領域b、領域cを通過しているが、このうち最も高い値を持つ領域cの値を採用する。

また、ウインドウ画像内に直線が多く存在すれば、ウインドウ画像内に歩行者が存在する可能性は低いと判断し、スコアが低くなるように補正する。

そのため、直線の長さ、直線のウインドウ画像内の存在位置、及びウインドウ画像内の直線の数に基づいてスコア算出部２４で算出されたスコアを補正する場合には、以下の（１）式を用いて行う。

ここで、Ｓ’は補正後のスコア、Ｓはスコア算出部２４で求められるスコア、Ｎはウインドウ画像内に存在する直線の数、Ｄ_iは直線iの長さ、E_iはウインドウ画像内の存在位置に関する値、α、β（＞０）は補正パラメータで、この値が大きければ補正量が大きくなり、小さければ補正量が小さくなる。

歩行者識別部３２は、各ウインドウ画像について、スコア補正部３０で補正されたスコアを閾値処理することにより、対象物が歩行者であるか否かの判定を行う。

次に、本実施の形態の対象物検出装置１０の作用について説明する。
まず、歩行者モデル学習処理について説明する。

歩行者モデルは、予め歩行者が撮像された対象物の学習用画像及び歩行者以外が撮像された非対象物の学習用画像を所定枚数（例えば、各１０００枚）用意し、これらの学習用画像をＳＶＭにより学習して生成される。

そして、学習された歩行者モデルを識別モデル記憶部２６へ記憶する。

また、対象物検出装置１０を搭載した車両が走行しているときに、撮像装置１４によって前方画像が撮像され、コンピュータ１２によって、図６に示す対象物検出処理ルーチンが繰り返し実行される。

ステップ１００で、撮像装置１４で撮像された撮像画像を取得し、次に、ステップ１０２で、撮像画像から直線を抽出する。

次に、ステップ１０４で、撮像画像に対して探索ウインドウを撮像画像に設定し、設定した探索ウインドウを用いて、撮像画像からウインドウ画像ｘを抽出する。

次に、ステップ１０６で、上記ステップ１０４で抽出されたウインドウ画像ｘから画像特徴量を抽出し、ステップ１０８では、上記ステップ１０６で抽出した特徴量と識別モデルとに基づいて、スコアを算出する。

次に、ステップ１１０で、上記ステップ１０２で抽出した直線のうちウインドウ画像ｘ内に存在する直線を抽出する。

次に、ステップ１１２で、上記ステップ１１０で抽出された直線に基づいて、上記（１）式に従って、上記ステップ１０８で算出されたスコアを補正する。

次に、ステップ１１４で、上記ステップ１１２で補正されたスコアに基づいてウインドウ画像ｘが歩行者画像であるか否かを判定する。歩行者と判定された場合にはステップ１６へ移行し、歩行者でないと判定された場合にはステップ１１８へ移行する。

ステップ１１６では、ウインドウ画像ｘを歩行者領域として記録する。

次に、ステップ１１８では、上記ステップ１００で取得された撮像画像の全体について探索ウインドウをスキャンして探索が終了したか否かを判断する。終了していない場合は、ステップ１０４へ戻り、探索ウインドウの位置を予め定められた探索ステップだけ移動させた位置からウインドウ画像を抽出し、ステップ１０４〜ステップ１１８の処理を繰り返す。また、現サイズの探索ウインドウでの画像全体の探索が終了した場合には、同様にステップ１０４へ戻り、探索ウインドウのサイズを変更して、ステップ１０４〜ステップ１１８の処理を繰り返す。撮像画像全体について、全てのサイズの探索ウインドウでの探索が終了した場合には、ステップ１２０へ移行する。

ステップ１２０では、検出結果の出力として、上記ステップ１１６で記録された歩行者領域に基づいて、撮像画像に対して、検出された歩行者がウインドウで囲まれて表示されえるように表示装置３４を制御して、処理を終了する。

以上説明したように、本実施の形態の対象物検出装置１０によれば、識別モデルに基づいて、スコアを算出し、算出したスコアをウインドウ画像内の直線の状態に基づいて補正し、補正されたスコアに基づいて、ウインドウ画像が対象物を表す画像か否かを識別することにより非対象物を精度良く排除し、ドライバにとって危険度の高い対象物を早期に精度良く検出することができる。

なお、上記の実施の形態では、直線の長さ、直線のウインドウ画像内の存在位置、及びウインドウ画像内の直線の数に基づいてスコアを補正したが、これに限定されるものではない。例えば、直線の長さ、直線のウインドウ画像内の存在位置、又はウインドウ画像内の直線の数のうち少なくとも１つに基づいてスコアを補正してもよい。

また、上記実施の形態では、対象物を歩行者とした場合を例に説明したが、これに限定されるものではなく、直線成分が少ない対象物であれば歩行者以外であってもよい。

１０対象物検出装置
１２コンピュータ
１４撮像装置
１６画像取得部
１８直線成分抽出部
２０ウインドウ画像抽出部
２２特徴量抽出部
２４スコア算出部
２６識別モデル記憶部
３０スコア補正部
３２歩行者識別部
３４表示装置

Claims

自装置の周辺を撮像した撮像画像から直線を検出する直線検出手段と、
前記撮像画像からウインドウ画像を抽出する抽出手段と、
前記抽出手段によって抽出された前記ウインドウ画像について、前記ウインドウ画像から抽出される特徴量と、対象物を識別するための識別モデルとに基づいて、前記対象物らしさを示すスコアを算出するスコア算出手段と、
前記直線検出手段による検出結果から得られる、前記抽出手段によって抽出された前記ウインドウ画像内の直線の長さ、前記ウインドウ画像内の直線の位置、及び前記ウインドウ画像内の直線の数の少なくとも１つに基づいて前記スコア算出手段によって算出されたスコアを補正するスコア補正手段と、
前記スコア補正手段によって補正されたスコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、
を含む対象物検出装置。
前記スコア補正手段は、前記直線検出手段による検出結果から得られる、前記抽出手段によって抽出された前記ウインドウ画像内の直線の長さが、長いほど前記スコア算出手段によって算出されたスコアの対象物らしさが低くなるようにスコアを補正する請求項１記載の対象物検出装置。
前記スコア補正手段は、前記直線検出手段による検出結果から得られる、前記抽出手段によって抽出された前記ウインドウ画像内の直線の位置が、ウインドウ画像の中心に近いほど前記スコア算出手段によって算出されたスコアの対象物らしさが低くなるようにスコアを補正する請求項１記載の対象物検出装置。
前記スコア補正手段は、前記直線検出手段による検出結果から得られる、前記抽出手段によって抽出された前記ウインドウ画像内の直線の数が、多いほど前記スコア算出手段によって算出されたスコアの対象物らしさが低くなるようにスコアを補正する請求項１記載の対象物検出装置。
前記対象物を、歩行者とした請求項１〜請求項４の何れか１項記載の対象物検出装置。
コンピュータを、
自装置の周辺を撮像した撮像画像から直線を検出する直線検出手段、
前記撮像画像からウインドウ画像を抽出する抽出手段、
前記抽出手段によって抽出された前記ウインドウ画像について、前記ウインドウ画像から抽出される特徴量と、対象物を識別するための識別モデルとに基づいて、前記対象物らしさを示すスコアを算出するスコア算出手段、
前記直線検出手段による検出結果から得られる、前記抽出手段によって抽出された前記ウインドウ画像内の直線の長さ、前記ウインドウ画像内の直線の位置、及び前記ウインドウ画像内の直線の数の少なくとも１つに基づいて前記スコア算出手段によって算出されたスコアを補正するスコア補正手段、及び
前記スコア補正手段によって補正されたスコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段
として機能させるためのプログラム。