JP4710437B2

JP4710437B2 - 対象物探索装置

Info

Publication number: JP4710437B2
Application number: JP2005193720A
Authority: JP
Inventors: 誠良平塚; 峰樹曽我; 映夫深町
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-07-01
Filing date: 2005-07-01
Publication date: 2011-06-29
Anticipated expiration: 2025-07-01
Also published as: JP2007013773A

Description

本発明は、車両前方などを撮像して得られるフレーム画像から、歩行者などの人物を対象物として探索する対象物探索装置に関する。

夜間走行中などに、運転者の視覚支援を図る車両用撮像装置では、例えば、近赤外光を車両前方に照射し、歩行者などで反射した光（近赤外光）を撮像素子によって受光することにより得られる映像信号をフレーム画像として出力し、このフレーム画像をディスプレイに表示することにより、暗闇の中の歩行者などをディスプレイに映し出して、運転者が認識可能となるようにしている。

このような車両用撮像装置には、フレーム画像から歩行者などの対象物を抽出し、抽出した対象物が明確になるようにディスプレイに表示するものがある。撮像によって得られるフレーム画像から歩行者などを抽出するときには、映像信号に対して二値化処理等を行うことにより、対象物を形成する画素と、非対象物となる画素を明確化し、対象物の画像を抽出する。

このとき、基準画像を用いた形状判定により、人工構造物を除外し、残された対象物を歩行者や動物などの動く物体として検出する提案がなされている（例えば、特許文献１参照。）。

また、映像信号などの画像データから歩行者などの人物を抽出するときには、画像上の人物が有する対称性を用いることが提案されている（例えば、非特許文献１参照。）。

ところで、道路には、ガードレールが設置されていることが多く、車両用撮像装置では、このガードレールも含めて撮像する。撮像したフレーム画像にガードレールが含まれると、人物を抽出するときに、ガードレールを人物として誤検出してしまう可能性があると指摘されている（例えば、非特許文献２参照。）。

一方、撮像したフレーム画像からガードレールを認識して、抽出対象物から除外する方法の提案がなされている（例えば、特許文献２、特許文献３参照。）。

特許文献２の提案では、車両後方を撮像し、移動物体を認識するときに、全画素の濃度微分値を二値化してエッジパターンからなる二値化画像を形成し、撮像方向の一点に対応する拡大焦点からの放射状のラインに並ぶエッジ列をガードレール候補として、このエッジ列の出現周期からガードレールであるか否かを判断している。

また、特許文献３では、ガードレールなどを車両が走行する道路面から直線上に起立した部位を有する対象物として認識するときに、２台のカメラを用いて異なる時系列的に撮像したときに、一方のカメラで撮像した画像平面で、車両の走行に起因した経時的な変化方向と異なる方向に延在する直線要素を含むエリアを第一の選択領域とし、第一の選択領域が他方のカメラの撮像タイミングにおける移動先として推定される領域を第二の選択領域として、第一の選択領域と第二の選択領域の相関の有無から対象物（ガードレールなど）と判断するようにしている。
Proc． of the IEEE Intelligent Vehilces 2002 M． Bertozzi, A. Broggi, A. Fascioli, P. Lombardi,"Vision-based pedestrian detection:will ants help?" Proc． of the IEEE Intelligent Vehilces 200４ A． Shashua, Y. Gdalyahu and G. Hayon, "Pedestrian Detection for Driving Assistance Systems: Single-frame Classification and System Level Performance" 特開２００３−１６４２９号公報特開２００３−１６２７１０号公報特開２００４−１３４００号公報

しかしながら、特許文献２及び特許文献３の提案では、単フレーム処理ではなく時系列処理を必要とし、また、主にガードレールの直線状部分を検出するものであり、歩行者として誤検出されやすいのは、非特許文献２に示すように、ガードレールの先端部分であり、特許文献２及び特許文献３の提案では、歩行者を検出するときの誤検出を防止しうることができず、また、歩行者候補画像を誤って削除してしまう可能性が生じるという問題がある。

本発明は上記事実に鑑みてなされたものであり、歩行者などの人物を対象物として検出するときに、ガードレールの端部を誤検出するのを防止し、対象物を的確に抽出することができる対象物探索装置を提案することを目的とする。

上記目的を達成するために本発明は、対象物を撮像し撮像により得られたフレーム画像を出力する撮像手段と、前記撮像手段から出力された前記フレーム画像に対して前記対象物とする人物の候補画像を含む矩形の候補領域を探索する探索手段と、前記探索された前記候補領域内の前記候補画像が非対称性を有するときに該候補画像をガードレールの端部を含む画像として除去する除去手段と、前記探索された前記候補領域内の前記候補画像が対称性を有するときに該候補画像を前記対象物の画像として抽出する抽出手段と、を含む。

この発明によれば、撮像手段によって撮像されたフレーム画像から人物等の候補画像を含む矩形の候補領域を探索する。このとき、候補領域内の候補画像が非対称性の画像であるときには、候補領域内の候補画像をガードレールの端部の画像として判定する。

これにより、撮像手段によって撮像されたフレーム画像から人物を検出するときに、ガイドレールの端部を誤検出してしまうのを確実に防止することができる。

このような本発明の前記除去手段は、前記候補領域の左右の辺の近傍でかつ該辺の一方に沿った画素が値を持ち、かつ、該辺の他方に沿った画素が値を持っていない前記候補画像を前記ガードレールの端部を含む画像として除去する。

この発明によれば、矩形の候補領域の左辺近傍と右辺近傍の一方側に画像を形成する画素があり、他方側に画像を形成する画素がないときには、非対称性を有する画像であることから、検出する対象から削除する。

また、本発明に適用される前記除去手段は、前記候補領域の左右の辺に沿った画素列の画素値の和のヒストグラムが左右非対称になっている前記候補画像を前記ガードレールの端部を含む画像として除去するものであっても良い。

この発明によれば、候補領域内で、縦方向に並ぶ画素の濃度値の総和であるプロジェクション値を演算し、このプロジェクション値から得られるヒストグラムで、左右が非対称であるときには、該当候補領域にガイドレールの端部が含まれているとして削除するものであっても良い。

さらに、本発明に適用される前記除去手段は、前記候補領域の左右の辺に沿った画素列の画素値の和のヒストグラムにおいて閾値以下の値の差の積が負、前記ヒストグラムの両端側の値の一方のみが０、または前記ヒストグラムの両端側の値の差の絶対値が所定の閾値を越えている場合に、前記候補画像を前記ガードレールの端部を含む画像として除去する。

この発明によれば、左右のプロジェクション値と閾値の差の積が負であるとき、左右のプロジェクション値の一方のみが０であるとき、又は、左右のプロジェクション値の差の絶対値が所定の閾値を越えているときに、ガードレールの端部の画像であるとして除去する。

また、本発明は、前記撮像手段から出力されたフレーム画像に設定された前記候補領域に対して雑音除去処理を行う雑音除去手段を含むことができる。

さらに、本発明の前記雑音除去手段は、メディアンフィルタまたはモロフォジーフィルタを用いることができる。

本発明において、雑音除去手段を設けることにより、画像を形成する画素を明確にすることができ、候補領域内の候補画像の対称性の有無の的確な判断が可能となる。

以上説明したように本発明によれば、候補領域内の候補画像の対称性を判断し、非対称性を有する候補画像を、ガイドレールの端部の画像として削除するので、ガイドレールの端部を人物として誤検出するのを確実に防止することができるという優れた効果が得られる。

以下に図面を参照しながら本発明の実施の形態を説明する。図１には、本実施の形態に適用した車両用撮像システム１０の概略構成を示している。この車両用撮像システム１０は、撮像手段として設けられている撮像装置１２と、本発明を適用した対象物探索装置として設けられて撮像装置１２から出力される映像信号に対して所定の画像処理を施す画像処理装置１４及び、画像処理装置１４から出力される映像出力に応じた画像を表示するディスプレイ１６を含んでいる。

この車両用撮像システム１０は、車両に設けられて、車両の前方を撮像して、車室内に設けているディスプレイ１６に表示することにより、運転者の視覚支援を図る。

撮像装置１２は、ライトユニット１８、カメラユニット２０を含んでいる。ライトユニット１８は、車両の前方へ向けて所定波長の光を発する。カメラユニット２０は、ＣＣＤ、ＣＭＯＳイメージセンサなどの撮像素子及び、入射される光を撮像素子上に結像する光学系（何れも図示省略）を含んでおり、車両前方側から入射される所定波長の光を受光する。

これにより、カメラユニット２０では、光学系によって撮像素子に結像された画像に応じた電気信号が得られ、この電気信号に対してＡ／Ｄ変換、相関二重サンプリング、ゲインコントロールなどの各処理及び、所定のデジタル信号処理を施すことにより、１フレーム分の映像信号（フレーム画像の画像データ）を出力する。

また、撮像装置１２には、撮像制御部２２が設けられている。撮像制御部２２は、ライトユニット１８及びカメラユニット２０に所定の同期信号及び露光制御信号を出力する。これにより、撮像装置１２では、ランプユニット１８及びカメラユニット２０の作動が制御されて撮像が行われる。また、撮像制御部２２では、カメラユニット２０から映像信号を時系列に出力するように制御している。このような撮像装置１２の基本的構成は、撮影画像に応じた映像信号を出力する公知の構成を適用することができる。

車両用撮像システム１０に用いる撮像装置１２では、所定波長の光として、赤外光のうちの近赤外光を用いており、ライトユニット１８が、車両前方へ向けて近赤外光を発し、カメラユニット２０が、例えば、近赤外光透過フィルタ等を用いるなどして、近赤外光の受光が可能となっている。

これにより、撮像装置１２では、ランプユニット１８から照射した光が、車両前方の対象物で反射して、カメラユニット２０に入射されることにより、対象物が撮像される。このとき、近赤外光を用いることにより、夜間走行時に、ヘッドライトの照射領域外で、運転者の視認が難しい領域の撮像が可能となるようにし、車両用撮像システム１０では、この撮像装置１２によって撮像した画像を表示手段に表示することにより、運転者の視覚支援が可能となるようにしている。

なお、撮像手段として設けられる撮像装置としては、これに限らず、対象物が発する赤外線（遠赤外線）をカメラユニット２０で受光するものであってもよく、このときには、ランプユニット１８を不要（省略）とすることができる。また、撮像装置１２としては、近赤外光、遠赤外光などの赤外光に限らず、可視光による撮像を行うものであってもよく、このときには、可視光を発する投光手段を、必要に応じて設ければよい。

フレーム画像を表示するディスプレイ１６としては、ＬＣＤ（液晶ディスプレイ）など、画像を直接又は間接的に表示する任意の表示手段を適用することができる。なお、撮像装置１２で近赤外光を用いた撮像を行うときには、ディスプレイ１６には、単色画像が表示される。また、カメラユニット２０で可視光を受光するときには、ディスプレイ１６にカラー画像を表示してもよい。

画像処理装置１４には、特定画像抽出部２４及び画像重畳部２６が設けられている。特定画像抽出部２４では、撮像装置１２からフレーム画像として入力される映像信号から、例えば、歩行者等の人物などを対象物として、この対象物の画像を抽出する。

特定画像抽出部２４では、フレーム画像から対象物の画像を抽出すると、抽出した画像（画像データ）を画像重畳部２６へ出力する。

画像重畳部２６は、撮像装置１２から入力されるフレーム画像の映像信号に、特定画像抽出部２４から入力される対象物の画像データを合成することにより、フレーム画像に対象物の画像を重畳し、ディスプレイ１６へ出力する。

これにより、車両用撮像システム１０では、カメラユニット２０から出力されたフレーム画像上で、対象物が明確に示された画像がディスプレイ１６に表示される。

ところで、特定画像抽出部２４は、探索処理部３０、二値化処理部３２、雑音除去部３４及び画像抽出部３６を含んで形成されている。探索処理部３０では、撮像装置１２から入力されるフレーム画像を読み込み、このフレーム画像から対象物を探索し、対象物の候補画像を検出すると、候補画像を含む所定領域を候補領域として出力する。

探索処理部３０では、例えば、探索領域として所定サイズの探索ウインドを設定し、この探索ウインドを用いてフレーム画像上をスキャンして、対象物に該当しそうな画像を検出する。また、探索処理部３０では、探索ウインド内に対象物に該当する画像を検出すると、検出した画像を対象物の候補画像とし、候補画像を含む所定の矩形領域を候補領域として出力する。

このような候補画像の探索を行うときには、複数サイズの探索ウインドを設定し、それぞれの探索ウインドを用いて、フレーム画像をスキャンすることにより、大きなサイズの候補画像から小さいサイズの候補画像まで的確に検出することができる。

また、複数の探索ウインドを設定して、それぞれの探索ウインドで、フレーム画像をスキャンすることにより候補画像を探索し、候補画像を検知した最小の探索ウインドを、そのまま、候補画像が含まれる候補領域とすることができる。

本実施の形態では、歩行者などの人物を対象物としており、探索処理部３０では、フレーム画像から人物（歩行者）と判定しうる画像を探索する。図２（Ａ）及び図２（Ｄ）には、人物が対象物となっているときに得られる候補領域４０を例示している。図２（Ａ）には、候補画像として歩行者を含む候補領域４２を示している。また、人物を対象物としたときには、図２（Ｄ）に示すように、ガードレールの端部の画像が候補画像となっている候補領域４４が得られる。なお、以下では、探索処理部３０から出力される候補領域を総称するときには、候補領域４０とする。

図１に示す二値化処理部３２では、探索処理部４０から出力される候補領域４０の画像データに対して二値化処理を施す。これにより、図２（Ｂ）及び図２（Ｅ）に示すように、候補領域４２、４４内の画像の明暗が明確にされた候補領域４２Ａ、４４Ａ（総称するときは、候補領域４０Ａとする）が得られる。

図１に示すように、二値化処理部３２で二値化処理された候補領域４０Ａは、雑音除去部３４へ入力される。雑音除去部３４では、二値化処理された候補領域４０Ａの画像データに対して、雑音（ノイズ）除去処理を行う。

この雑音除去部３４は、雑音除去手段として設けられており、二値化処理された画像データから、メディアンフィルタ（Median Filter）を用いてノイズ成分を除去する。ノイズ成分の除去は、任意の方法を用いることができるが、メディアンフィルタは、局所領域での中間値を出力するものであり、局所領域でのヒストグラムを逐次更新することにより、各画素での中間値を高速で演算することができる。また、メディアンフィルタを用いることにより、単純平均化に比べて、画像の輪郭のボケを抑えて、ノイズ成分のみを除去した画像が得られる。

これにより、二値化処理された候補領域４０Ａ（４２Ａ、４２Ｂ）から、図２（Ｃ）、図２（Ｆ）に示すように、候補画像がより明確化された候補領域４２Ｂ、４４Ｂ（以下、総称するときは、候補領域４０Ｂとする）の画像データが得られる。

すなわち、図２（Ａ）、図２（Ｄ）に示すように、撮像装置１２によって撮像されて出力されるフレーム画像を原画としたときに、対象物やガードレールなどが不明瞭であることが多い。このときに、原画に対して二値化処理及び雑音除去処理を施すことにより、図２（Ｃ）、図２（Ｆ）に示すように、対象物やガードレールなどを明瞭にすることができる。なお、以下では、候補領域４０Ｂ内で白色分が画像を形成する画素部分、黒色部分が非画像部を形成する画素部分としている。

画像抽出部３６には、二値化処理及び雑音除去がなされた候補領域４０Ｂの画像データが入力される。画像抽出部３６では、候補領域４０Ｂ内の候補画像が対称性を有するか否かから、抽出する対象物の画像であるか否かを判断する。画像抽出部３６では、候補領域４０Ｂ内の候補画像が、対称性を有し対象物の画像であると判定すると、該当候補画像（候補領域４０Ｂの画像データ）を画像重畳部２６へ出力する。

これにより、ディスプレイ１６には、撮像装置１２から入力されるフレーム画像に、特定画像抽出部２４で抽出された対象物を囲む枠がオーバーレイ表示される。対象物を枠で囲むことにより、運転者の視認性が高められている。

ここで、ディスプレイ１６に表示する画像に、対象物である歩行者などの人物を的確に表示するためには、探索処理部３０で適正な候補画像（候補領域４０）を得ることが必要であることは勿論、抽出処理部３６で、対象物を含む候補領域４０Ｂの的確な判別が要求される。

ここで、本実施の形態に適用した抽出処理部３６での処理を説明する。抽出処理部３６では、候補領域４０Ｂ内の候補画像の対称性を判断し、この判断結果に基づいて、候補領域４０Ｂ内の候補画像が、対象物か否かを判定するようにしている。

このとき、抽出処理部３６では、候補画像が含まれる候補領域４０Ｂ内の垂直方向（上下方向）に沿ったプロジェクションを生成し、このプロジェクションを用いて、候補画像が対象物であるか否かを判定するようにしている。

プロジェクションの作成は、図３（Ａ）に示すように、矢印Ｖ方向を画像の垂直方向、矢印Ｗ方向を水平方向（画像の幅方向）としたときに、候補画像の幅方向の各画素位置で、垂直方向（候補領域４０Ｂ内の矢印方向）に並ぶ各画素の濃度値の総和をプロジェクション値θとして求める。これにより、図３（Ｂ）に示すように、候補領域４０Ｂのヒストグラムを得ることができる。

一方、図２（Ｃ）に示すように、候補画像が対象物である候補領域４２Ｂでは、領域内の左右が非画像部となっている。これに対して、候補画像が対象物の画像に近いガードレールの端部である候補領域４４Ｂでは、領域内の左側（図２（Ｆ）の紙面左側が非画像部であるのに対して、領域内の右側（図２（Ｆ）の紙面右側）には、画像を形成する白色の画素が存在する。

図４には、このような候補領域４２Ｂ、４４Ｂのプロジェクションから得られるヒストグラムの一例を示ししている。なお、図４では、対象物（人物）が含まれる候補領域４２Ｂのヒストグラムの概略を実線で示し、非対象物であるガードレールの端部が含まれる候補領域４４Ｂのヒストグラムの概略を破線で示している。また、図４では、幅の数値が低い方（０側）が、領域の左側で、幅の数値が高い方（１８側）が領域の右側としている。また、図４における縦軸の数値（プロジェクション値θ）及び横軸（画素数）は一例としている。

候補領域４２Ｂでは、所定値（例えばプロジェクション値θ_th）を越える範囲のプロジェクション値θのヒストグラムが上方へ凸となっており、この範囲では、候補領域４２Ｂ内の画像が左右対称と言える。

これに対して、候補領域４４Ｂでは、所定値（所定のプロジェクション値θ_th）を越える範囲で、ヒストグラムが上方へ凸となっているが、右側の領域のプロジェクション値θが、所定値（プロジェクション値θ_th）を越えており、ここから、候補領域４４Ｂの画像は、非対称であると判断することができる。

ここから、画像抽出部３６では、プロジェクション値θに対する閾値としてしきい値θ_thを予め設定しておき、また、対象物の画像を含む候補領域４２Ｂであるか否かを、候補領域４０Ｂの左辺（図３（Ａ）の左辺４０Ｌ）側のプロジェクション値θ_Lと、右辺（図３（Ａ）の右辺４０Ｒ）側のプロジェクション値θ_Rを求め、しきい値θ_thと、プロジェクション値θ_L、θ_Rから、候補領域４０Ｂ内の候補画像の対称性を判定するようにしている。

このとき、プロジェクション値θ_L、θ_Rは、複数列分（例えば３列分など）のプロジェクション値θを求め、その平均値を用いる。また、以下に示す評価式を用いて評価値Ｄとして評価値Ｄ₁を演算する。

Ｄ₁＝（θ_L−θ_th）×（θ_R−θ_th）
また、評価値Ｄ₁を用いた対称性の判断は、評価値Ｄ₁の符号に基づいて行い、評価値Ｄ₁が正（Ｄ₁≧０）であれば、対称性を有し、評価値Ｄ₁が負（Ｄ₁＜０）であれば、対称性なし（非対称）と判断する。

このときに、対称性を有するときには、候補画像が対象物である候補領域４２Ｂと判定して、候補領域４２Ｂを囲む枠を、フレーム画像にオーバーレイ表示する。ディスプレイ１６上で、対象物である歩行者などを枠で囲むことにより、運転者が容易に、かつ的確に認識することが可能となる。

これに対して、対称性がないと判断されたときには、対象物でなく、ガードレールの端部であるので、候補領域４４Ｂを削除する。

これにより、ガードレールの端部がディスプレイ１６上に鮮明に表示されてしまうことにより、運転者が歩行者などとして誤認識してしまうのを確実に防止することができる。

このように構成されている車両用撮像システム１０では、車両の図示しないイグニッションスイッチがオンされた状態で、図示しない電源スイッチがオンされることにより、ライトユニット１８の投光を制御しながら、カメラユニット２０によって車両前方を撮像し、撮像したフレーム画像を時系列的に撮像装置１２から出力される。

画像処理装置１４では、撮像装置１２から出力されるフレーム画像を読み込むと、このフレーム画像から、対象物として設定している歩行者などの人物を抽出し、抽出した対象物の画像を、元のフレーム画像に重畳して、ディスプレイ１６に表示する。このとき、画像処理装置１４では、対象物の画像を含む所定領域に対して、二値化処理及び雑音除去処理を施す。また、雑音除去処理には、メディアンフィルタを用いている。

これにより、対象物の画像が鮮明となるようにディスプレイ１６上に表示され、運転者が、対象物を的確に認識できるようにしている。

図５には、画像処理装置１４で実行される対象物の抽出処理の概略を示している。このフローチャートは、例えば、撮像装置１２から時系列的に出力されるフレーム画像ごとに実行され、最初のステップ１００では、撮像装置１２から出力される１フレーム分のフレーム画像を読み込む。

次のステップ１０２では、読み込んだフレーム画像から、例えば、所定サイズの探索ウインドを用いるなどして、対象物の候補画像を探索する。このときに、対象物の候補画像を検出すると、検出した候補画像を含む矩形領域を候補領域４０として出力する。

ステップ１０４では、対象物の候補画像が検出されたか否かを確認し、候補画像が検出されているときには、候補画像を含む候補領域４０を取得し、ステップ１０８で二値化処理を行う。これにより、候補領域４０に応じた候補領域４０Ａが得られ、さらに、ステップ１１０で雑音除去処理が施されることにより、候補領域４０Ｂが得られる。

この後、ステップ１１０では、候補領域４０Ｂに対するプロジェクション値θを演算し、ステップ１１２では、この演算結果に基づいて、候補領域４０Ｂに対象物が含まれるか否かの判定処理を行う。

対象物の候補画像が含まれているか否かの判定処理は、候補領域４０Ｂのプロジェクション値θから、プロジェクション値θ_L及びプロジェクション値θ_Rを演算し、この演算結果と、予め設定しているしきい値θ_thに基づいて行う。

すなわち、しきい値θ_th及びプロジェクション値θ_L、θ_Rから、評価値Ｄ₁を演算し、この評価値Ｄ₁の符号を判定する。このときに、評価値Ｄ₁が負（マイナス）であれば、プロジェクション値θ_L、θ_Rの一方のみがしきい値θ_thを越えており、対称性を有しておらず、候補領域４０Ｂの画像は、対象物ではなく、ガードレールの端部の画像であると判定する。

これにより、ステップ１１６で肯定判定されてステップ１１８へ移行する。このステップ１１８では、候補領域４０Ｂが、候補領域４４Ｂであるので、この候補領域４４Ｂ（候補画像）を削除する。

これに対して、評価値Ｄ₁が、正であれば、プロジェクション値θ_L、θ_Rの両方がしきい値θ_thより低いか、プロジェクション値θ_L、θ_Rの両方がしきい値θ_thを越え、候補画像に対称性があるので、少なくともガードレールの端部でないと判断できる。ここから、候補画像が対象物である候補領域４２Ｂとして、ステップ１１６で否定判定してステップ１２０へ移行する。

このステップ１２０では、対象物である候補画像を含む候補領域４２Ｂを、画像重畳部２６へ出力する。これにより、対象物が重畳されたフレーム画像がディスプレイ１６に表示される。

このように、画像処理装置１４では、候補画像が含まれる候補領域４０Ｂに対して、プロジェクション値を演算し、この演算結果から、候補画像の対称性を判断するので、対称性の的確な判断が可能となる。

したがって、ガイドレールの端部などを対象物として誤判断してしまうことがなく、対象物のみを的確に抽出して、ディスプレイ１６に表示することができる。

なお、ここでは、候補領域４０Ｂの左辺４０Ｌ、右辺４０Ｒのプロジェクション値θ_L、θ_Rを演算し、予め設定しているしきい値θ_thを用いて対称性を判断したが、対称性の判断はこれに限るものではない。

例えば、図６（Ａ）に示すように、候補領域４０Ｂ（４４Ｂ）で、左辺４０Ｌの直近近傍のプロジェクション値θを、プロジェクション値θ_Lとし、右辺４０Ｒの直近近傍のプロジェクション値θを、プロジェクション値θ_Rとする（何れも図６（Ａ）で下向きの矢印で示す位置）。このとき、左辺４０Ｌ及び右辺４０Ｒの所定列分のプロジェクション値θの平均値を用いてもよい。

図６（Ｂ）に示すように、候補領域４０Ｂが候補画像としてガードレールの端部を含むときには、少なくとも左辺４０Ｌの直近又は右辺４０Ｒの直近で、プロジェクション値θが「０」となる。なお、図６（Ｂ）では、一例として左辺４０Ｌ側のプロジェクション値θ_Lを「０」としている。

ここで、候補画像がガイドレールの端部であれば、プロジェクションθ_L、θ_Rの一方のみが「０」であるので、候補画像には、対称性はなく、ガイドレールの端部であると判断することができる。

また、候補画像に対する対称性の判断は、以下の評価式によって求める評価値Ｄとして評価値Ｄ₂を用い、Ｄ₂＞θ_thrであるときに、候補画像には、対称性がなくガードレールの端部であると判断するようにしても良い。

Ｄ₂＝｜θ_L−θ_R｜
このとき、しきい値θ_thrは、予め設定した間であり、候補画像が対称性を有しているならば、プロジェクション値θ_Lとプロジェクション値θ_Rの値は、接近している。しかし、ガイドレールの端部などのように左辺４０Ｌ又は右辺４０Ｒのいずれか一方の側に画像を形成する画素が存在して、対称性がないときには、プロジェクション値θ_Lとプロジェクション値θ_Rの差が大きくなる。

ここから、対称性を判断するときのプロジェクション値θの差の許容範囲として、予めしきい値θ_thrを設定しおくことにより、このしきい値θ_thrと、プロジェクション値θ_L、θ_Rの差の絶対値から、候補画像の対称性を的確に判断することができる。

このような判断方法を適用して、候補画像の対称性を判断することにより、候補画像から、ガイドレールの端部を的確に削除することが可能となる。また、時系列的に出力される複数のフレーム画像を用いることなく、個々のフレーム画像上から、歩行者などの人物を対象物として抽出するときに、誤ってガードレールの端部を抽出してしまうのを確実に防止することができる。

なお、本実施の形態に適用した車両用撮像システム１０では、雑音除去手段として、メディアンフィルタを適用したが、これに限らず、モロフォジーフィルタを用いることもできる。また、雑音除去手段としては、これらに限らず、二値化処理した画像からノイズ成分を除去する任意の構成を適用することができる。

また、以上説明した本実施の形態は、本発明の構成を限定するものではない。例えば、本実施の形態では、撮像装置として、車両用撮像システム１０に、画像処理装置１４及びディスプレイ１６を設けて説明したが、本発明は、任意の構成の撮像装置から出力されるフレーム画像から、歩行者などの人物を対象物として、この対象物を抽出する任意の構成の画像処理装置に適用することができる。

また、本実施の形態では、車両２８に設けた車両用撮像システム１０に用いて説明したが、本発明は、これに限らず、撮像した映像信号をディスプレイ１６等の表示手段に表示しながら、画像処理を実行する任意の構成の撮像システムに適用することができる。

本実施の形態に適用した車両用撮像システムの概略構成図である。（Ａ）から（Ｆ）は候補領域の一例を示す概略図であり、（Ａ）及び（Ｄ）は元の画像を示し、（Ｂ）及び（Ｅ）は二値化処理した画像を示し、（Ｃ）及び（Ｆ）はさらに雑音除去処理を施した画像を示している。（Ａ）は候補領域の一例を示す概略図、（Ｂ）は（Ａ）の候補領域内のヒストグラムの一例を示す線図である。人物のヒストグラムの一例とガードレールの端部のヒストグラムの一例を示す線図である。対象物抽出処理の一例を示す流れ図である。（Ａ）は対称性の判断の他の一例に適用する候補領域の概略図、（Ｂ）は（Ａ）の候補領域内のヒストグラムの一例を示す線図である。

符号の説明

１０車両用撮像システム
１２撮像装置（撮像手段、対象物探索装置）
１４画像処理装置（対象物探索装置）
１６ディスプレイ
１８ライトユニット
２０カメラユニット
２２撮像制御部
２４特定画像抽出部
２６画像重畳部
３０探索処理部（探索手段）
３２二値化処理部
３４雑音除去部（雑音除去手段）
３６画像抽出部（除去手段、抽出手段）
４０（４０Ａ、４０Ｂ）、４２（４２Ａ、４２Ｂ）、４４（４４Ａ、４４Ｂ）候補領域
４０Ｌ左辺
４０Ｒ右辺
θ、θ_L、θ_R プロジェクション値
θ_ｔｈ、θ_ｔｈｒしきい値（閾値）

Claims

対象物を撮像し撮像により得られたフレーム画像を出力する撮像手段と、
前記撮像手段から出力された前記フレーム画像に対して前記対象物とする人物の候補画像を含む矩形の候補領域を探索する探索手段と、
前記探索された前記候補領域内の前記候補画像が非対称性を有するときに該候補画像をガードレールの端部を含む画像として除去する除去手段と、
前記探索された前記候補領域内の前記候補画像が対称性を有するときに該候補画像を前記対象物の画像として抽出する抽出手段と、
を含む対象物探索装置。
前記除去手段は、前記候補領域の左右の辺の近傍でかつ該辺の一方に沿った画素が値を持ち、かつ、該辺の他方に沿った画素が値を持っていない前記候補画像を前記ガードレールの端部を含む画像として除去する請求項１記載の対象物探索装置。
前記除去手段は、前記候補領域の左右の辺に沿った画素列の画素値の和のヒストグラムが左右非対称になっている前記候補画像を前記ガードレールの端部を含む画像として除去する請求項１または請求項２記載の対象物探索装置。
前記除去手段は、前記候補領域の左右の辺に沿った画素列の画素値の和のヒストグラムにおいて閾値以下の値の差の積が負、前記ヒストグラムの両端側の値の一方のみが０、または前記ヒストグラムの両端側の値の差の絶対値が所定の閾値を越えている場合に、前記候補画像を前記ガードレールの端部を含む画像として除去する請求項１〜請求項３のいずれか１項記載の対象物探索装置。
前記撮像手段から出力されたフレーム画像に設定された前記候補領域に対して雑音除去処理を行う雑音除去手段を含む請求項１〜請求項４のいずれか１項記載の対象物探索装置。
前記雑音除去手段は、メディアンフィルタまたはモロフォジーフィルタである請求項５記載の対象物探索装置。