JP5117522B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両に取り付けられたカメラの撮像画像により、車両周辺を監視する車両周辺監視装置に関する。

従来より、カメラにより車両の周辺を撮像し、その撮像画像から歩行者等の監視対象物を検知して運転者に報知するようにした車両周辺監視装置が知られている（例えば、特許文献１参照）。

そして、撮像画像からの監視対象物の画像の抽出を容易にするために、撮像画像（グレースケールの原画像）に対して微分フィルタによるフィルタ処理を実施することにより、監視対象物の画像とその背景画像との境界エッジを強調した画像を生成し、このように境界エッジを強調した画像から監視対象物の画像を抽出する処理が行われている。

特開２００３−２８４０５７号公報

本願発明者らは、上述した微分フィルタによるフィルタ処理を行ったグレースケール画像を２値化した２値画像から、歩行者等の画像部分を抽出しようとしたときに、以下の不都合が生じて、歩行者等の検知が困難になる場合があることを知見した。この不都合について、図７（ａ），図７（ｂ）を参照して説明する。

図７（ａ）のＩm10はカメラによるグレースケールの撮像画像（原画像）を示しており、Ｈ1，Ｈ2という二つの画像部分が含まれている。また、Ｌp10はＩm10の垂直座標ｙ₅₀での輝度プロファイル（輝度分布）を、縦軸を輝度（０〜２５５）に設定し、横軸を水平座標（０〜４２０）に設定して示したものである。Ｉm10では、Ｈ1，Ｈ2の輝度とその周囲の輝度との差が小さい（５０程度）ため、２値画像を生成するときの２値化閾値の設定が難しい。

そこで、Ｉm10に微分フィルタによるフィルタ処理を施すことで、図７（ｂ）に示したようにエッジ部が強調されたグレースケール画像Ｉm11が得られる。ここで、Ｉm11の垂直座標ｙ₅₀での輝度プロファイルＬp11は、幅が狭いＨ1については全域に亘って輝度が高くなっているが、幅が広いＨ2については、端部の輝度は高くなっているものの、中間部の輝度の増加は少ない。

そのため、Ｈ1の輝度に合わせて２値化閾値を例えば１８０に設定すると、２値画像を生成したときにＨ2の中間部が大きく欠損して、Ｈ2による対象物の検知ができなくなるという不都合がある。

そこで、本発明は、上記不都合を解消し、グレースケール画像に対して微分フィルタによるフィルタ処理を施してから、２値画像を生成したときに、対象物の画像の欠損が生じることを抑制した車両周辺監視装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車両に搭載されて該車両の周辺の第１監視範囲内に所在する物体と該車両との相対位置を検出する位置検出部と、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像するカメラとを有し、該位置検出部による検出データと該カメラによる撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置に関する。

そして、前記カメラにより撮像されたグレースケール画像に対して、微分フィルタによるフィルタ処理を実施するフィルタ処理部と、前記位置検出部により検出された前記第２監視範囲内に所在する物体と前記車両との相対位置に基づいて、前記フィルタ処理が実施されたフィルタ処理後画像内に、該物体の実空間における位置及び大きさに対応した位置及び大きさの処理対象領域を設定する処理対象領域設定部と、前記フィルタ処理後画像に対して、前記処理対象領域を、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された２値化閾値により２値化する処理を行って、２値画像を生成する２値画像生成部と、前記２値画像から対象物の画像部分を抽出する対象物検知部とを備えたことを特徴とする。

かかる本発明によれば、詳細は後述するが、前記カメラにより撮像されたグレースケール画像における対象物（歩行者等）の画像部分が大きいほど、前記フィルタ処理を実施したときに、該画像部分のエッジ部と中間部の輝度差が大きくなる。そのため、２値画像で該画像部分全体を残すためには、２値化閾値を低く設定する必要がある。そして、前記車両と対象物との距離が短いほど、前記カメラにより撮像されたグレースケール画像における対象物の画像部分が大きくなる。

そこで、前記２値画像生成部は、前記処理対象領域により設定された、前記フィルタ処理後画像内に物体の実空間における位置及び大きさに対応した位置及びサイズの前記処理対象領域を、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された２値化閾値により２値化する処理を行って、２値画像を生成する。これにより、２値画像を生成したときに、対象物の画像部分の欠損が生じることを抑制することができる。

また、前記２値画像生成部は、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された２値化閾値を、該物体の画像の中心部分の輝度に応じて補正し、該補正後の２値化閾値により２値化処理を行って前記２値画像を生成することを特徴とする。

かかる本発明によれば、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された２値化閾値を、実際の物体の画像の輝度に応じたより適切なものとして、前記２値化処理を行うことができる。

車両周辺監視装置の構成図。 車両周辺装置の車両への取付態様の説明図。 微分フィルタによるフィルタ処理の効果の説明図。 ２値画像の生成処理のフローチャート。 グレースケール画像における対象物の画像部分の大きさの説明図。 フィルタ処理後画像における対象物の画像部分の大きさと輝度分布の説明図。 微分フィルタによるフィルタ処理を行ってから、２値画像を生成したときに生じ得る不都合の説明図。

本発明の実施の形態について、図１〜図６を参照して説明する。図１を参照して、本実施の形態の車両周辺監視装置は車両に搭載して使用され、ＥＣＵ（Electronic Control Unit）１と、遠赤外線を検出可能な赤外線カメラ２（本発明のカメラに相当する）と、レーザー光線を物体に照射してその反射波を受信することにより物体と車両間の実空間上の相対位置（相対距離を含む）を検出するレーザーレーダー８（本発明の位置検出部に相当する）と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、スピーカ５と、ヘッドアップディスプレイ７とを備えている。

ＥＣＵ１は、ＣＰＵ、メモリ等により構成された電子ユニットであり、赤外線カメラ２から出力される映像信号（被撮像物の温度を輝度に変換した信号）を、画像メモリ１２に書込む画像入力回路１１と、画像メモリ１２に書込まれたグレースケール画像（原画像Ｉm1）に対して、微分フィルタによるフィルタ処理を実施するフィルタ処理部１３と、レーザーレーダー８により検出された物体の位置（車両からの相対位置）と大きさに応じた処理対象領域を、フィルタ処理後画像Ｉm2に設定する処理対象領域設定部１５と、フィルタ処理後画像Ｉm2に対して、処理対象領域毎に２値化閾値を設定して２値化処理を行うことにより、２値画像Ｉm3を生成する２値画像生成部１４と、２値画像Ｉm3から対象物の画像部分を抽出して対象物を検知する対象物検知部１６とを備えている。

なお、ＣＰＵは、メモリに保持された車両周辺監視用の制御プログラムを実行することによって、フィルタ処理部１３、２値画像生成部１４、処理対象領域設定部１５、及び対象物検知部１６として機能する。

次に、図２を参照して、車両周辺監視装置の車両への取付け態様を説明する。レーザーレーダー８はスキャン方式のレーザーレーダーであり、車両１０の前部に配置されている。そして、レーザーレーダー８は、予め設定された前方（車両１０の進行方向）の第１監視範囲内を水平方向及び垂直方向に走査する。

また、赤外線カメラ２は、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。そして、赤外線カメラ２は、車両１０の前部に配置されて予め設定された前方の第２監視範囲（上記第１監視範囲内に設定される）を撮像する。ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

次に、図３（ａ）及び図３（ｂ）を参照して、フィルタ処理部１３により、微分フィルタによるフィルタ処理を実施することの効果について説明する。図３（ａ）は、輝度が異なる画像部分Ａ，Ｂを含む原画像Ｉm1の、垂直座標がｙ₁である画素の輝度プロファイルを示したものである。図３（ａ）原画像Ｉm1では、画像部分Ａ，Ｂ間の輝度差がＬw1になっている。

また、図３（ｂ）は、図３（ａ）に示した原画像Ｉm1に対して、フィルタ処理部１３により、微分フィルタによるフィルタ処理を実施したフィルタ処理後画像Ｉm2の、垂直座標がｙ₁である画素の輝度プロファイルを示したものである。図３（ｂ）に示したように、微分フィルタによるフィルタ処理を施すことによって、原画像Ｉm1の画像部分Ｂとその周囲部分（背景部分）Ａとの境界エッジが強調され、画像部分Ｂ'とその周囲部分Ａとの輝度差がＬw2に拡大している。このように、画像部分Ｂとその周囲部分Ａとの輝度差を拡大（Ｌw1→Ｌw2）することによって、画像部分Ｂの抽出を容易にすることができる。

しかしながら、画像部分Ｂの幅が広くなるに従って、微分フィルタによるフィルタ処理を実施したときに、境界部と中間部との輝度差が大きくなり、境界部に合わせて２値化閾値を設定すると、２値画像において中間部が欠損してしまうという不都合が生じる。そこで、２値画像生成部１４と処理対象領域設定部１５は、上記不都合が生じることを抑制するために、図４に示したフローチャートによる処理を行って２値画像を生成する。以下、この処理について説明する。

図４のＳＴＥＰ１で、レーザーレーダー８により車両１０の前方に所在する物体の位置が検出されると、ＳＴＥＰ２で、２値画像生成部１４は、物体と車両１０との距離に応じて、２値化閾値を設定する。

ここで、図５（ａ）及び図５（ｂ）は、車両１０と物体（ここでは監視対象物である歩行者）２０，２１との距離と、赤外線カメラ１により撮像されたグレースケール画像Ｉm1における対象物の画像部分２０ａ，２０ｂの大きさとの関係を示したものである。

図５（ａ），図５（ｂ）から、明らかなように、車両１０と距離が短い（Ｚ1）歩行者２０の方が、車両１０との距離が長い（Ｚ2＞Ｚ1）歩行者２１よりも、グレースケール画像Ｉm1における画像部分が大きくなる（画像部分２０ａの方が画像部分２１ａよりも大きくなる）。そこで、２値画像生成部１４は、レーザーレーダー８より検出された各物体について、車両１０からの距離が短いほど輝度を低くした２値化閾値を設定する。

続くＳＴＥＰ３は、処理対象領域設定部１５による処理である。処理対象領域設定部１５は、図６（ａ）に示したように、フィルタ処理後画像Ｉm2に対して、レーダーレーダー８により検出された各物体の位置及び大きさに対応した位置及びサイズの処理対象領域を設定する。

図６（ａ）の例では、対象物の画像部分Ｃ1を含む処理対象領域Ｅ1が設定され、別の対象物の画像部分Ｃ2を含む処理対象領域Ｅ2が設定されている。また、図６（ｂ）は図６（ａ）の垂直座標ｙ₁₀での輝度プロファイルＬp2を、縦軸を輝度（０〜２５５）に設定し、横軸を画像の水平座標（０〜４２０）に設定した示したものである。

図６（ａ）のフィルタ処理後画像Ｉm2に対しては、２値画像生成部１４により、図６（ｂ）に示したように、処理対象領域Ｅ1用の２値閾値Ｔh1が設定されると共に、処理対象領域Ｅ2用の２値閾値Ｔh2が設定される。

そして、続くＳＴＥＰ４で、２値画像生成部１４は、処理対象領域Ｅ1については２値化閾値Ｔh1による２値化処理を行い、処理対象領域Ｅ2については２値化閾値Ｔh2による２値化処理を行って、フィルタ処理後画像Ｉm2の２値画像Ｉm3を生成する。なお、フィルタ処理後画像Ｉm2の処理対象領域Ｅ1，Ｅ2以外の領域については、例えば、輝度の中間値（１２８）を２値化閾値として２値化処理を行えばよい。

また、ＳＴＥＰ４において、２値画像生成部１４は、レーザーレーダー８より検出された各物体について、車両１０からの距離が短いほど輝度を低くして設定した２値化閾値に対して、例えば、図６（ａ）の処理対象領域Ｅ2では、図６（ｂ）に示した画像部分Ｃ2の中心部の輝度（画像部分Ｃ2の輝度のボトム値）Ｂtmに応じた補正を行うようにしてもよい。具体的には、２値画像生成部１４は、例えば、処理対象領域Ｅ2の２値化閾値Ｔh2をボトム値Ｂtmよりも所定輝度以上低くする補正を行う。

対象物検知部１６は、車速センサ４とヨーレートセンサ３の出力を読み込んで、車両１０の回頭角を算出し、レーザーレーダー８による測距データに基いて、回頭角補正を行いつつ、第１監視領域内に所在する物体のトラッキングを行う。そして、対象物検出部１２は、トラッキングを行っている物体の画像を、２値画像生成部１４により生成された２値画像Ｉm3から抽出し、この物体が接触可能性が高い歩行者又は自転車であると判断したときに、ＨＵＤ７への表示とスピーカ５からの音声出力による報知を行なう。

なお、本実施の形態では、本発明のカメラとして赤外線カメラを用いた例を示したが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。

また、本実施の形態では、本発明の位置検出部としてレーザーレーダーを用いた例を示したが、ミリ波レーダー等の他の種類の測距センサや、ステレオカメラを備えて視差により距離を算出する構成を用いてもよい。

また、本実施の形態では、車両の前方に所在する物体を監視する構成を示したが、車両の後方や側方等方、他の方向に所在する物体を監視する構成としてもよい。

また、グレースケール画像における、レーザーレーダー８により検出された物体の画像部分の大きさ（物体の画像領域の大きさ）に応じて、例えば、物体の画像部分が大きいほど２値化閾値を低い輝度に設定するようにしてもよい。

１…ＥＣＵ、２…赤外線カメラ、８…レーザーレーダー、１０…車両（自車両）、１３…フィルタ処理部、１４…２値画像生成部、１５…処理対象領域設定部、１６…対象物検知部。

Claims (2)

1. 車両に搭載されて該車両の周辺の第１監視範囲内に所在する物体と該車両との相対位置を検出する位置検出部と、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像するカメラとを有し、該位置検出部による検出データと該カメラによる撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置であって、
   前記カメラにより撮像されたグレースケール画像に対して、微分フィルタによるフィルタ処理を実施するフィルタ処理部と、
   前記位置検出部により検出された前記第２監視範囲内に所在する物体と前記車両との相対位置に基づいて、前記フィルタ処理が実施されたフィルタ処理後画像内に、該物体の実空間における位置及び大きさに対応した位置及び大きさの処理対象領域を設定する処理対象領域設定部と、
   前記フィルタ処理後画像に対して、前記処理対象領域を、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された２値化閾値により２値化する処理を行って、２値画像を生成する２値画像生成部と、
   前記２値画像から対象物の画像部分を抽出する対象物検知部と
   を備えたことを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記２値画像生成部は、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された２値化閾値を、該物体の画像の中心部分の輝度に応じて補正し、該補正後の２値化閾値により２値化処理を行って前記２値画像を生成することを特徴とする車両周辺監視装置。