JPWO2011043030A1 - 車両用周囲監視装置 - Google Patents

Abstract

低照度下においても、周辺監視状態をユーザへ正確に提示することができる車両用周辺監視装置。照度推定部（２）は撮像手段（１）が撮像した画像から撮像環境の照度を推定し、画像蓄積必要時間算出部（４）は、照度推定部（２）が出力した照度に基づいて、画像認識可能なコントラストを得るために必要な画像蓄積時間を算出する。画像蓄積可能時間算出部（８）は車両情報取得手段（７）で取得した車両速度から画像蓄積可能時間を算出する。認識可否判断部（５）は、画像蓄積必要時間と画像蓄積可能時間を比較して、画像認識可能か否かを判断する。認識可否判断部（５）が、認識可能と判断した場合、撮像された画像データを蓄積／重畳合成し、コントラストを改善した画像を生成し、表示手段（１１）へ表示する。認識可否判断部（５）で認識不可能と判断した場合、認識困難であることを表示手段（１１）へ表示する。

Description

本発明は、車載カメラにより自車両周辺を撮像し、障害物などがあればそれを検知する装置において、特に夜間など暗所における駐車時に車両周辺の状態をユーザへ正確に知らせる車両用周囲監視装置に関するものである。

従来の車両用周囲監視装置として、車両にカメラを搭載し、撮像した車両周囲の映像から障害物までの距離を検出する装置がある（特許文献１参照）。また、被写体の照度が低い暗所においてフレーム数を低減させ、すなわち撮像素子の電荷蓄積時間を増大させ、低照度下においても視認性を向上させる装置がある（特許文献２参照）。

特開２００５−３０９６８号公報 特開２００３−２５００８１号公報

しかしながら、従来の車両用監視装置においては、特許文献１にあるようなカメラを用いて測距対象物と路面との接点を認識する手法では、夜間や屋内暗所などの低照度下において、測距対象物と路面との接点が正しく認識できないという課題がある。また、このような課題に対し、特許文献２にある従来例では、カメラから出力されるフレーム数を、一般的な動画でリアルタイム性を確保できる範囲（〜１５ｆｐｓ）で減らす手法が報告されているが、動画としてのリアルタイム性を確保するためにフレーム数の低減幅が制限され、周辺照度によっては従来技術を用いても認識に十分なコントラストがある映像が得られないという課題があった。また自車両の移動速度によってはフレーム数を落とす（＝露光時間を長くする）場合、画像がぼけてしまうという課題があった。

本発明の目的は、低照度下においても、周辺監視状態をユーザへ正確に提示することができる車両用周囲監視装置を提供することである。

本発明の車両用周囲監視装置は、照度推定部の照度情報に基づき、一定のコントラストを得るのに必要な画像蓄積時間を算出する画像必要時間算出部と、車両情報取得手段で得られた車速に基づき、画像のぶれを一定範囲内に抑制する画像蓄積時間を算出する画像蓄積可能時間算出部と、前記画像蓄積必要時間算出部で算出した画像蓄積必要時間と前記画像蓄積可能時間算出部で算出した蓄積可能時間を比較し、画像認識に必要な蓄積時間を確保可能か否かを判断する認識可否判断部と、画像認識部が検出した障害物の情報、もしくは、前記認識可否判断部が画像蓄積時間を確保できない場合は認識不能状態を示す情報を出力する出力情報生成部とを有する構成である。

本発明の車両用周囲監視装置は、撮像した画像から算出した画像蓄積必要時間と、車速情報から算出した画像蓄積可能時間とを比較判断する認識可否判断部を設けることにより、撮像環境下の照度条件、車両状態に応じて画像認識が可能か否かの判断、および可能な場合は低照度下において障害物を正確に表示すると共に、不可能な場合は認識困難であることを表示することができる。

本発明の一実施の形態における車両用周辺監視装置の構成を示すブロック図 同装置の動作説明のためのフロー図 同装置における照度推定の処理範囲を示す図 同装置における輝度値と蓄積必要時間の関係を示す図 同装置における車両速度と蓄積可能時間の関係を示す図 同装置における撮像画像データを示すイメージ図 同装置における輝度データ分布を示す図 同装置における物体の検出を示す図 同装置におけるユーザへの表示を示す図

以下、本発明の一実施の形態の車両用周囲監視装置について、図面を用いて説明する。

図１は、本発明の一実施の形態における車両用周囲監視装置の構成を示すブロック図である。

図１の車両用周囲監視装置において、撮像手段１は自車両の周囲状況を撮像し、車両情報取得手段７は車速などの情報を取得する。撮像手段１は、デバイスとしてＣＣＤカメラやＣＭＯＳカメラが挙げられる。車両情報取得手段７は、例えば車両から得られる車速信号で、アナログ信号の場合はＡ／Ｄ変換Ｉ／Ｆ、ＣＡＮ情報の場合はＣＡＮ信号を取得するＩ／Ｆにより取得する。なお、この他にも車両情報として照度センサの情報やハンドル舵角の値を取得してもよい。

信号処理手段２は、撮像手段１で撮像された画像データと、車両情報取得手段からの車両情報を用いて、画像データを処理、加工し、周辺監視状態を表示手段１１へ出力する。信号処理手段２は、照度推定部３、画像蓄積必要時間算出部４、認識可否判断部５、出力情報生成部６、画像蓄積可能時間算出部８、画像蓄積部９、画像認識部１０から構成される。照度推定部３は、撮像手段１より入力された画像について、撮像環境の照度を推定し、画像蓄積必要時間算出部４は、照度推定部３で推定した照度から画像認識可能なコントラストを得るために必要な画像蓄積時間を算出する。画像蓄積可能時間算出部８は、車両情報取得手段７から入力される車両速度に応じて蓄積可能時間を算出する。認識可否判断部５は、画像蓄積必要時間算出部４から入力される画像蓄積必要時間と、画像蓄積可能時間算出部８から入力される画像蓄積可能時間を比較して、画像認識が可能か否かを判断する。画像蓄積部９は、認識可否判断部５で認識可能と判断された場合、撮像手段１で撮像された画像データを順次蓄積し、画像認識部１０は画像蓄積部９に蓄積された画像に対して、各画像を重畳合成し、コントラストを改善した画像を生成し、障害物の有無を認識する。出力情報生成部６は、画像認識部１０で認識した障害物の情報、もしくは、認識可否判断部５で認識不可能と判断した情報について、ユーザへ出力するための情報を生成し、この情報を表示手段１１へ出力する。表示手段１１は、例えば運転席周辺に設置されたモニタで、信号処理手段２で生成された情報を表示する。なお、表示手段１１は他の情報出力デバイスでもよく、スピーカや振動装置、またはインパネ内のアイコン表示でもよい。

以上のように構成された車両用周辺監視装置について、以下にその動作を説明する。

図２は、車両用周辺監視装置における信号処理のフロー図を示す。

信号処理の実行時には、まずステップＳ２１で、撮像手段１より新たな画像データを読み込み、メモリに保存する。ステップＳ２２で、照度推定部３は撮像手段１が出力した画像データから撮像している環境の照度を推定する。照度の推定は、例えば、画像データの所定領域について、各画素の輝度値の平均値を照度推定値とする。なお、所定領域として好ましくは車両から一定の距離で、また車両の移動予測範囲に併せて照度推定を行う。図３に、リアカメラＣ３１で撮像した画像の所定領域Ｒ３２の例を示す。図３における所定領域Ｒ３２は、距離を３ｍ、移動予測範囲をハンドル舵角から予測した走行軌跡で囲まれる領域としている。

ステップＳ２３において、画像蓄積必要時間算出部４はステップＳ２２で推定した照度推定値から所定領域について、障害物の有無が認識可能なコントラストを得るのに必要な画像の蓄積時間を算出する。蓄積時間は、カメラの撮像フレームレートと必要な蓄積画像枚数から算出することができ、予め照度推定値（輝度）と蓄積画像枚数とを関連付けたデータを準備する。図４に照度（輝度）と画像蓄積枚数を関連付けたデータの例を示す。図４において所定領域における平均輝度値が３２である場合（Ｐ４１）を例にあげると、その時の蓄積必要時間は１３３ｍｓｅｃとなる。

ステップＳ２４において、車両情報取得手段７より車両速度を取得し、メモリに保存する。ステップＳ２５において、画像蓄積可能時間算出部８はステップＳ２４で取得した車両速度から画像蓄積可能時間を算出する。一般的に車両の速度が上がるにつれて、カメラから撮像した画像データは、被写体の画像データ内での位置も変化するため、蓄積時間を長く取ると蓄積した画像データがボケた画像となる。その結果、画像データ内の物体を画像認識することが困難になったり、ユーザへの表示データとしても理解しづらい画像となる。このような現象を防止するため車両の速度に応じて蓄積時間の上限値を設定したものが蓄積可能時間で、例えば図５に示すように、車両速度と蓄積可能時間を関連付けしたデータとなる。図５において、車両の速度０．９ｋｍ／ｈを示すＰ５１を例にあげると、その時の蓄積可能時間は２００ｍｓｅｃとなる。また、図５から明らかなように車両速度が０ｋｍ／ｈすなわち停止中は蓄積可能時間は無限大となり、画像蓄積必要時間を原理上無限大までとることが可能となる。

ステップＳ２６において、認識可否判断部５はステップＳ２３で算出された画像蓄積必要時間とステップＳ２５で算出された画像蓄積可能時間を入力し、各時間の長さを比較する。画像蓄積可能時間が画像蓄積必要時間より長い場合は、画像のボケが許容範囲内で、認識に必要な画像データを蓄積する時間を確保できると判断して、画像蓄積モードを有効として、画像蓄積を行うステップＳ２７へ進む。一方、蓄積可能時間が蓄積必要時間より短い場合は、画像のボケが許容範囲外で、認識に必要な画像データを蓄積する時間が確保できないと判断して、画像蓄積モードを無効として、画像蓄積を行わずステップＳ２９へ進む。例えば、前述のステップＳ２３、Ｓ２５で例にあげた平均輝度３２、車両速度０．９ｋｍ／ｈの場合は、Ｐ４１（平均輝度が３２の画像）に示すように必要な画像蓄積時間は１３３ｍｓｅｃで、Ｐ５１（車両速度０．９ｋｍ／ｈ）に示すように画像の蓄積可能な時間が２００ｍｓｅｃとなり、この場合は画像蓄積モードが有効となる。

ステップＳ２７では、画像蓄積部９が撮像手段１から入力された画像を蓄積し、画像を合成する。この画像を蓄積し合成させることにより、認識に必要となる画像のコントラストが改善される概要を、図６、図７を用いて説明する。図６（ａ）は、暗所において車両後方をリアビューカメラで撮像した時の画像データのイメージ図である。図６（ａ）において物体Ｏ６１は、周辺のノイズとの輝度差が少なく（コントラストが低く）単一フレームの画像データでは、画像処理により路面と物体の境界を検出することが困難である。次に、図７を用いて、蓄積した画像を合成することによるコントラスト改善のイメージについて説明する。図７（ａ）は図６（ａ）におけるＬ６２のラインでの各画素輝度値をあらわしたものである。図６（ａ）は単一フレームの輝度データで、物体Ｏ６１の該当部分（Ｂ７２）と周辺ノイズとの輝度差が少なく、閾値ＴＨ７１では認識不可能である。次に図７（ｂ）は、画像蓄積必要時間分、画像データを合成した場合の輝度データを示した図である。図７（ｂ）では、周辺のノイズがランダムノイズであるとすると、複数の画像を合成してもノイズ成分は平均化される。一方、物体Ｏ６１の該当部分は合成すると、信号レベルが高くなる（Ｂ７４）ので、閾値ＴＨ７３で周辺ノイズと物体Ｏ６１を切り分けることが可能となる。このように画像を蓄積し合成した結果、コントラストが改善された例を示すイメージ図を図６（ｂ）に示す。

ステップＳ２８において、画像認識部１０はステップＳ２７で得られた蓄積画像に対して画像認識処理を行い、画像認識中であるか否かの判断を行い、認識結果をステップＳ３０へ出力する。画像認識処理は例えば図８に示すように路面と障害物の境界のエッジ（Ｄ８１）を抽出する手法や、パターンマッチング手法などがある。

ステップＳ２９において、ステップＳ２６で蓄積可能時間が蓄積必要時間より短い場合は、すなわち認識に必要な画像データを蓄積する時間が確保できないと判断された場合、画像蓄積モードを無効、画像蓄積時間を０として、所定の範囲の障害物の認識が困難である情報をステップＳ３０へ出力する。

ステップＳ３０において、ステップＳ２８、ステップＳ２９の各状態で生成された出力情報に基づき生成された画面データを、表示手段１１へ出力する。図９にそれぞれのステップで生成された画面データの例を示す。図９において、（ａ）はステップＳ３０で認識困難であるという通知が出力された場合の表示例である。図９（ｂ）は認識可能であるがステップＳ２８で、画像を認識して処理中であることを表示した例である。これによりユーザは、どの程度時間を待てば画像が表示されるかを知ることができる。図９（ｃ）はステップＳ２８で画像認識を終了し、画像を表示できる状態になった場合の表示例で、認識結果によりユーザが注意すべき障害物があるか否かを認知することができる。

なお、本実施の形態では、入力された画像データから撮像している環境の照度を推定する例をあげたが、車両に設置されている照度センサの値（外光の照度）と、車両ライト類のＯＮ／ＯＦＦ状態から所定領域を照らす明るさ（ライト類による照度）から推定される照度値を代わりに用いてもよい。

また、本実施の形態では、コントラスト改善を複数のフレームの画像を蓄積し合成することで改善する例をあげたが、同様に必要なカメラの露光時間を算出しカメラの露光時間を制御することで同様の効果を得る構成にしてもよい。

また、蓄積必要時間や蓄積可能時間について、各々照度や速度と関連付けたデータを準備しておく例をあげたが、より信頼性優先、あるいはより時間優先など複数の関連付けデータを準備し、ユーザが選択して使用してもよい。

また前述のように、車両速度が０ｋｍ／ｈのとき、すなわち車両が停止状態の時、周辺照度が０でなければ、原理上必ず画像蓄積時間を増やすことで認識可能状態とすることができるので、車両の後退開始時や発進時にユーザに認識可能になるまで停車を促すことが可能となる。

このような本実施の形態の車両用周囲監視装置によれば、認識可否判断部５が画像認識に必要な画像蓄積必要時間と、画像蓄積可能な画像蓄積可能時間を比較して、撮像環境下の照度条件、車両状態に応じて画像認識が可能か否かの判断、および可能な場合は低照度下において障害物を正確に表示すると共に、不可能な場合は、認識困難であることを表示することができる。

２００９年１０月９日出願の特願２００９−２３４７８０の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

以上のように、本発明にかかる車両用周囲監視装置は、撮像した画像データから照度を推定し画像認識に必要な画像蓄積時間と、車両の速度から算出した画像蓄積可能な時間を比較する認識可否判断部を設けることにより、撮像環境下の照度条件、車両状態に応じて画像認識が可能か否かの判断、および、可能な場合は低照度下においても障害物を表示し、不可能の場合は認識困難であることを表示し、カメラによって自車両周辺の状態を正確に検出する車両用周囲監視装置として有用である。

１ 撮像手段
２ 信号処理手段
３ 照度推定部
４ 画像蓄積必要時間算出部
５ 認識可否判断部
６ 出力情報生成部
７ 車両情報取得手段
８ 画像蓄積可能時間算出部
９ 画像蓄積部
１０ 画像認識部
１１ 表示手段

Claims (1)

1. 周囲の状況を撮像する撮像手段と、
   前記撮像手段が撮像する画像から照度を推定する照度推定部と、
   前記照度推定部の照度情報に基づき、一定のコントラストを得るのに必要な画像蓄積時間を算出する画像蓄積必要時間算出部と、
   車速を検出する車両情報取得手段と、
   前記車両情報取得手段で得られた車速に基づき、画像のぶれを一定範囲内に抑制する画像蓄積時間を算出する画像蓄積可能時間算出部と、
   前記画像蓄積必要時間算出部で算出した画像蓄積必要時間と、前記画像蓄積可能時間算出部で算出した蓄積可能時間を比較し、画像認識に必要な蓄積時間を確保可能か否かを判断する認識可否判断部と、
   前記認識可否判断部が画像蓄積時間を確保可能な場合、前記撮像手段が撮像する画像データを順次蓄積する画像蓄積部と、
   前記画像蓄積部が蓄積した画像を合成した画像において、障害物の有無を検出する画像認識部と、
   前記画像認識部が検出した障害物の情報、もしくは、前記認識可否判断部が画像蓄積時間を確保できない場合、認識不能状態を示す情報を出力する出力情報生成部と、
   前記出力情報生成部が出力した情報を表示する表示手段と
   を備えた車両用周囲監視装置。