JP5484118B2 - 車両の周辺監視装置 - Google Patents

Description

本発明は、車両の周辺を監視するための装置に関し、より具体的には、歩行者を含む車両の周辺の対象物を検出して運転者に知らせるための装置に関する。

特許文献１は、車載された赤外線撮影手段が撮影する赤外線画像から検出対象者の身体領域を判別し、その身体領域をその他の領域と区分して表示する表示処理装置を開示する。

特許第４１３５１２３号公報

特許文献１に記載の表示処理装置では、歩行者が背景に対して高輝度に映ることを前提に、２値化処理で対象物を抽出している。

しかし、赤外線画像中に複数の歩行者が映っている場合や画像のコントラストが低下している場合には、同一の２値化しきい値で全ての歩行者が良好に抽出されるとは限らない。

また、そもそも、赤外線画像からだけでは歩行者等の特徴を確実に安定して抽出することが困難であることが多い。さらに、１つの赤外線画像全体を処理するため、その処理効率が悪い。

したがって、本発明は、これらの従来技術の問題を軽減あるいは解消すること、すなわち、車両の周辺の対象物を確実に安定して抽出して速やかに運転者に知らせることを目的とする。

本発明は、車両の周辺監視装置を提供する。その周辺監視装置は、車両に搭載され、該車両の周辺の物体の位置を特定する物体位置特定手段と、車両に搭載され、該車両の周辺の画像を取得する撮像手段と、撮像手段により取得された画像を多値化する多値化手段と、物体位置検出手段が特定した物体の位置に対応する取得された画像に、該物体の位置の各々に対応する所定サイズのマスクを設定するマスク設定手段と、マスク設定手段により設定されたマスク毎に、対応する画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、多値化手段により対応する多値化しきい値を用いて多値化された画像に基づき所定の対象物の有無を判定する判定手段と、を備える。

本発明によれば、取得された画像に設定したマスク内の画像毎に多値化しきい値を設定するので、当該画像からの対象物の抽出精度を向上させることができる。また、１つの画像上の各マスク内の画像をいわば局所的に処理することになるので、１つの画像全体を処理する場合に比べて、全体の画像処理量が軽減され、その画像処理を迅速に進めることができる。その結果、車両の周辺の対象物を確実に安定して抽出して速やかに運転者に知らせることが可能となる。

本発明の一形態によると、さらに、取得された画像のコントラストを検出する手段を備え、多値化しきい値設定手段は、検出されたコントラストが所定値よりも小さい場合にのみマスク毎の多値化しきい値を設定する。

本発明の一形態によれば、特に取得された画像のコントラストが得にくい場合において、多値化しきい値の設定精度を上げて画像からの対象物の抽出精度を向上させることができる。逆に、コントラストが得やすい場合は、あえてマスク設定処理をすることなく、取得した画像全体に多値化しきい値を設定して処理をしても、当該画像からの対象物の抽出精度を所定のレベルで維持することが可能となる。

本発明の一形態によると、物体位置特定手段はレーザレーダを含み、撮像手段は赤外線カメラを含み、撮像手段により取得される画像はグレースケール画像を含み、さらに、多値化しきい値設定手段は、各マスク内の画像の輝度情報に応じて多値化しきい値を設定する。

本発明の一形態によれば、レーザレーダによって車両の周辺の物体の位置を高速に特定することができる。また、赤外線カメラにより車両の周辺の画像を取得するので、夜間においてもあるいは車両の外気温度が高い場合においても、対象物の抽出を迅速かつ精度良く安定しておこなうことが可能となる。

本発明の一形態によると、判定手段は、多値化された画像において、所定の対象物と思われる領域の輝度が背景領域の輝度よりも低い場合、当該多値化された画像の白黒を反転させて得られる画像に基づいて当該所定の対象物の有無を判定する。

本発明の一形態によれば、多値化された画像において、所定の対象物を含む領域をその背景領域よりも白く（明るく）表示できるので、当該所定の対象物の存在の有無の判定を精度良くおこなうことが可能となる。

本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。 本発明の一実施例に従う、画像処理ユニットにおける処理フローを示す図である。 画像注目領域の設定から２値化までを説明するための図である。 本発明の一実施例に従う、画像処理ユニットにおける処理フローを示す図である。 画像注目領域の設定から２値化までを説明するための図である。

図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーザレーダ１０と、赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、赤外線カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行う表示装置１８とを備える。なお、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。

図１の画像処理ユニット１４は、その構成（機能）としてブロック１４１〜１４７で示される機能を有する。すなわち、画像処理ユニット１４は、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置を特定する物体位置特定手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、取得されたグレースケール画像を多値化する多値化手段１４３と、物体位置検出手段１４が特定した物体の位置に対応するグレースケール画像に、該物体の位置の各々に対応する所定サイズのマスクを設定するマスク設定手段１４４と、マスク設定手段により設定されたマスク毎に、対応するグレースケール画像を多値化する際のしきい値を設定する多値化しきい値設定手段１４５と、取得されたグレースケール画像のコントラストを検出する手段１４６と、多値化手段により、対応する多値化しきい値を用いて多値化された画像に基づき所定の対象物の有無を判定する判定手段１４７として機能する。

各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。

画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーザレーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。

図２は、画像処理ユニット１４によって実行される処理フローである。この処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。なお、以下の説明では、取得したグレースケール画像を多値化の例として、２値化して白黒画像を得る場合を例にとり説明している。３値以上の多値化をする場合は、設定するしきい値の数は増えるが、基本的に２値化の場合と同様な処理をすることにより多値化画像を得ることができる。

ステップＳ１０において、赤外線カメラ１０の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。

ステップＳ１１において、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置を特定する。その特定には任意の方法を用いることができるが、例えば以下のようにおこなう。

レーザレーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置を特定する。具体的には、スキャン式レーザレーダでは、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを歩行者候補とみなしてその位置を特定する。

ステップＳ１２において、取得されたグレースケール画像にマスク設定をする。最初に、グレースケール画像の中から画像注目領域を設定する。画像注目領域とは、ステップＳ１１において特定された物体の位置に対応する、言い換えれば、当該位置を含む画像領域である。

図３は、画像注目領域の設定から２値化までのフローを説明するための図である。図３（ａ）において、１つのグレースケール画像２０の中から画像注目領域２１が特定されている。その特定方法は任意の方法を用いることができるが、例えばステップＳ１２において物体の位置として歩行者の位置を特定する場合を例にとると、上述した歩行者候補の位置を含む所定サイズの領域（検出点群）を赤外線カメラ１２のカメラ座標系に変換し、グレースケール画像２０中にマッピング（重畳）して、対応するグレースケール画像２０の領域を画像注目領域２１として特定する。

次に、特定された画像注目領域２１について、特定された物体の位置の各々に対応する所定サイズのマスクを設定する。図３（ｂ）は画像注目領域２１の拡大図であり、ステップＳ１１で特定された物体の位置として、３つの歩行者候補が表示されている。３つの歩行者候補の各々に図のようにマスクＡ、Ｂ、Ｃを設定する。符号Ｄは背景を意味する。なお、図３（ｂ）では、線図の表示制約の関係から明瞭にはなっていないが、実際には、各マスクＡからＣ内の物体（歩行者候補）および背景Ｄの輝度は、Ａ＜Ｄ＜Ｂ＜Ｃの順で大きくなっている。

ステップＳ１３において、設定されたマスクＡ〜Ｃ毎に対応するグレースケール画像を２値化する際のしきい値を設定する。その設定に際して、ステップＳ１０で取得された輝度情報を利用する。

図３（ｃ）は輝度情報を利用してしきい値を設定する例である。３つのグラフは、各対象の輝度と対応する頻度をヒストグラムとして示している。マスクＡの場合、物体（歩行者候補）Ａの輝度は背景Ｄの輝度よりも小さく、かつその頻度（分布）も背景Ｄよりも小さい。両者の輝度頻度の間の破線で示される位置に２値化のためのしきい値を設定する。マスクＢの場合、逆に物体（歩行者候補）Ｂの輝度は背景Ｄの輝度よりも大きく、かつその頻度は背景Ｄよりも小さい。Ａの場合と同様に、両者間の破線で示される位置に２値化のためのしきい値を設定する。マスクＣの場合、物体（歩行者候補）Ｃの輝度は背景Ｄの輝度よりもかなり大きく、かつその頻度は背景Ｄよりも小さい。この場合、両者間の輝度差が比較的大きいので、図のように、輝度頻度Ｃに近い破線で示される位置に２値化のためのしきい値を設定する。

なお、図３（ｃ）では輝度情報として輝度分布（輝度と対応する頻度）を利用しているが、各対象のピーク輝度や平均輝度等のパラメータを使って２値化のしきい値を設定してもよい。例えば、ピーク輝度を用いる場合、２つの対象について得られたピーク輝度ａ、ｂに対して、その中間の輝度（（ａ＋ｂ）／２）を２値化のしきい値とする。

ステップＳ１４において、マスク毎に設定したしきい値を用いてそれぞれ対応する画像を２値化する。具体的には、しきい値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、たとえば人のような、所定の温度より高い対象物が、白領域として抽出される。図３（ｄ）は、各マスク内グレースケール画像の２値化後の白黒画像である。マスクＡの２値化後の画像２２においては、本来小さいはずの白い領域の面積が、本来大きいはずである黒い領域の面積よりも大きくなっているので、白黒の反転処理をおこなって画像２３を得ている。各マスクについて同様に対象物が抽出可能な白黒画像２３、２４、２５が得られる。

このように、本発明によれば、３つの対象物全てが認識可能な白黒画像２３、２４、２５を得ることができるが、グレースケール画像全体に対して１つの２値化しきい値を設定する従来の方法では、３つの対象物全てを抽出することは困難である。

ステップＳ１５において、２値化後の白黒画像から対象物を照合する。最初に、予めメモリに保管している除外対象物の特徴を有するか否かを調べる。除外対象物とは、例えば発熱体ではあるが明らかに形状等が異なる物体（４足動物、ボイラー、車両等）を意味する。除外対象物に該当しない場合、歩行者の特徴に該当するか否かを調べる。歩行者の特徴には、例えば歩行者の頭部の特徴として丸みを帯びた白部が存在し、その下に胴体、脚部の部分に相当する細長い白部が繋がっていること等が含まれる。また、周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度を歩行者であるか否かの判断材料としてもよい。さらに、歩行者の歩行速度はほぼ一定であることから、レーザレーダ１０から得られる物体の移動速度の情報を判断材料の１つとして用いてもよい。

ステップＳ１６において、判定された対象物が歩行者か否かを判定する。その判定は、例えば、上述した歩行者の特徴に該当するか否か、パターンマッチングの類似度が高いか、移動速度が所定範囲内か等によりおこなう。歩行者に該当しない場合は処理を終了する。

歩行者であると判定された場合、ステップＳ１７において、運転者の注意を喚起するために警報を発する。その際、歩行者が存在する方向に応じて警報の種類を変えると効果的である。例えば、スピーカ１６から音声で「左前方歩行者注意」等の警報を発生することにより、運転者の注意を適切な方向に喚起することができる。画像として警告する場合は、グレースケール画像を表示装置１８上に表示し、画像中の認識された歩行者に対して個別の強調表示（高輝度化、点滅、色表示等）を行うことにより、運転者の注意を促す。

図４は、画像処理ユニット１４によって実行される他の処理フローの例である。この処理フローは、図２の処理フロー同様、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。また、３値以上の多値化に適用できることも、図２の処理フローと同様である。

図４の処理フローでは、図２の処理フローと較べて、ステップＳ２１の判定ステップの追加、およびこの判定ステップの追加にともなってステップＳ２９〜Ｓ３２の４つのステップを追加したことが相違している。図４の他のステップＳ２０、ステップＳ２２〜Ｓ２８は、それぞれ図２のステップＳ１０、ステップＳ１１〜Ｓ１７に対応し各処理内容は両者で同様である。したがって、以下の説明では、図４で追加されたステップについてのみ説明する。

図４のステップＳ２１において、ステップＳ２０において取得された輝度情報からグレースケール画像におけるコントラストが低いか否かを判定する。その判定は、例えば、取得したグレースケール画像の最明部と最暗部との明るさの比（最暗部／最明部）が、所定の値よりも小さいか否かでおこなう。この判定をおこなう理由は、特に外気温度が高い場合のように、画像のコントラストが低下している状態で本発明を利用するためである。判定の結果、コントラストが低い場合は次のステップＳ２２以降の処理に進む。なお、ステップＳ２２以降は、図２のステップＳ１１以降と同様であるので、ここでは説明を省略する。

ステップＳ２１の判定の結果、コントラストが高い場合、ステップＳ２９において、図２のステップＳ１１の場合と同様に、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置を特定する。ステップＳ３０において、特定された物体の位置を含むグレースケール画像を２値化する際のしきい値を設定する。この場合は、ステップＳ２３のマスク設定をおこなうことなく、グレースケール画像全体に対して２値化する際のしきい値を設定する。その際、例えば従来からある、画像の２値化したい領域が全画像の領域に占める割合をパーセント（％）で指定し２値化する、Ｐタイル手法等を利用する。

ステップＳ３１において、設定したしきい値を用いて１つの画像全体を２値化して白黒画像を得る。ステップＳ３２において、図２のステップＳ１５の場合と同様に、２値化後の白黒画像から対象物を照合する。そして、次のステップＳ２７に進み、判定された対象物が歩行者か否かを判定する。

以上、図２〜図４を参照しながら、画像処理ユニット１４によって実行される処理フローを説明したが、本発明の特徴である２値化のしきい値設定に関して、図５を参照しながらさらに説明する。

図５は、グレースケール画像における背景が複雑、すなわち背景の輝度分布が一様でない場合等においてのしきい値設定を説明するための図である。（ａ）に示すように、図２のステップＳ１２において、画像注目領域３０においてマスク３１が設定されたとする。マスク３１内には、対象物となる像Ａと、２領域に区分可能な背景Ｂ、Ｃがあるとする。なお、図で画像注目領域３０内は一様に白くなっているが、実際には３つの領域Ａ、Ｂ、Ｃの輝度分布は異なっているものとする。

図５（ｂ）は、マスク３１内の領域Ａ、Ｂ、Ｃの輝度分布のヒストグラムである。輝度は、Ｂ＜Ａ＜Ｃの順で大きくなって変化しているが、対応する頻度（分布）はほぼ一様で区別をすることができない。このような場合、いずれの分布が求めている歩行者なのかを予測することがほとんどできない。したがって、どこの輝度位置に２値化のしきい値を設定すべきか判断に迷ってしまう。そこで、このように輝度分布（頻度）が一様な場合には、図のように、各輝度分布（ヒストグラム）毎に領域を分けて、各領域においてしきい値を設定する。例えば、図５（ｂ）の例では、各輝度分布Ａ、Ｂ、Ｃが２値化後に白くなるようにしきい値を設定している。

図５（ｃ）は、（ｂ）で設定した各領域について、それぞれのしきい値を用いて対応する画像を２値化した結果である。２値化後の白黒画像３２、３３、３４のうち、真ん中の画像３３において歩行者らしき画像部分を抽出することができる。この画像をさらに上述したステップＳ１７の対象物照合をおこなって歩行者であることを特定することができる。

このように、本発明の実施形態においては、レーザレーダを使って検出したターゲットを画像で認識する際に、その処理領域を局所領域（注目領域）に限定する。そして、その局所領域からの特徴抽出のための２値化しきい値をターゲット毎に自動調整する。その結果、本発明の実施形態によれば、複雑な環境下で今まで不検知だった歩行者でも、安定して検知することができる。特に、映像コントラストが低下する高外気温状態でも、ターゲット毎に最適な特徴抽出をおこなうことができる。

以上、本発明の特定の実施形態について説明したが、本願明は、これら実施形態に限定されるものではない。上述した実施形態では歩行者（人）の検知を例にとり説明したが、検知する車両の周辺の対象物は、歩行者（人）に限られず動物や車両等の基本的に赤外線カメラ等の撮像手段で撮像可能なものであれば何でもよい。

１０ レーザレーダ、
１２ 赤外線カメラ、
１４ 画像処理ユニット
１６ スピーカ、
１８ 表示装置、
２０ グレースケール画像

Claims (3)

1. 車両に搭載され、該車両の周辺の物体の位置を特定する物体位置特定手段と、
   車両に搭載され、該車両の周辺の画像を取得する撮像手段と、
   前記撮像手段により取得された画像を多値化する多値化手段と、
   物体位置検出手段が特定した物体の位置に対応する前記取得された画像に、当該物体の位置の各々に対応する所定サイズのマスクを設定するマスク設定手段と、
   前記マスク設定手段により設定されたマスク毎に、対応する画像を多値化する際のしきい値を設定する多値化しきい値設定手段と、
   前記多値化手段により対応する前記多値化しきい値を用いて多値化された画像に基づいて、所定の対象物の有無を判定する判定手段と、
   を備え、
   さらに、前記取得された画像のコントラストを検出する手段を備え、
   前記多値化しきい値設定手段は、検出されたコントラストが所定値よりも小さい場合にのみ前記マスク毎の多値化しきい値を設定する、
   車両の周辺監視装置。
2. 前記物体位置特定手段はレーザレーダを含み、前記撮像手段は赤外線カメラを含み、前記撮像手段により取得される画像はグレースケール画像を含み、
   前記多値化しきい値設定手段は、各マスク内の画像の輝度情報に応じて前記多値化しきい値を設定する、請求項１に記載の周辺監視装置。
3. 前記判定手段は、前記多値化された画像において、前記所定の対象物と思われる領域の輝度が背景領域の輝度よりも低い場合、当該多値化された画像の白黒を反転させて得られる画像に基づいて当該所定の対象物の有無を判定する、請求項２に記載の周辺監視装置。

Images