JPWO2011114624A1

JPWO2011114624A1 - 車両の周辺監視装置

Info

Publication number: JPWO2011114624A1
Application number: JP2012505470A
Authority: JP
Inventors: 昌樹根來; 裕次横地; 直人阿久津; 守道西垣; 澤田　健一; 健一澤田; 文則谷口; 藤井　信彦; 信彦藤井
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-03-17
Filing date: 2011-02-21
Publication date: 2013-06-27
Anticipated expiration: 2031-02-21
Also published as: CN103098110B; CN103098110A; EP2533226A4; EP2533226A1; US9123247B2; US20130002874A1; WO2011114624A1; JP5503730B2

Abstract

本発明は、車両の周辺監視装置を提供する。その周辺監視装置は、車両に搭載され、該車両の周辺を撮像する赤外線カメラと、赤外線カメラが撮像した画像データに基づく表示画像を生成して表示する表示手段と、赤外線カメラへ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、赤外線カメラの画素間の出力を校正する校正手段と、車両の運転状態から赤外線カメラの温度の安定の有無を推定する推定手段と、車両の挙動から運転者が表示手段を見ている可能性を判断する判断手段とを備え、校正手段は、赤外線カメラの温度が安定していると推定され、かつ運転者が表示手段を見ている可能性が低いと判断される場合に、校正をおこなう。

Description

本発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺を監視するための赤外線カメラの出力を校正するタイミングの制御に関する。

車載された赤外線カメラの温度は車両の運転状態等に応じて変動する。その結果、赤外線カメラの出力も変動してしまうので、所定のタイミングでその出力を校正する必要がある。

しかし、その校正タイミングを適切に制御しないと、車両の周辺の監視に支障をきたす、すなわち運転者が赤外線カメラによる監視画像を見たい時に見れないような状態が発生してしまう。

特許文献１は、移動体搭載用の赤外線画像撮像装置を開示する。その赤外線画像撮像装置では、移動体の停止あるいは低速走行、または移動体進行方向における検出対象物の有無等に応じて、画像撮像装置の出力の補正タイミングを制御する。

特許第４０１６０２２号公報

しかし、特許文献１に記載の赤外線画像撮像装置では、画像撮像装置の出力の補正をおこなう条件が十分ではなく、必ずしも運転者が監視画像を見ないと思われる場合、あるいは赤外線画像撮像装置の状態から補正に適した状態においてその補正をおこなっているものではない。すなわち、画像撮像装置の出力の補正タイミングの制御が必ずしも適切であるとは言い難い。

そこで、本発明は、運転者が監視画像を見ないと思われる場合および赤外線カメラの補正に適した状態を特定して、その特定した条件（タイミング）下で画像撮像装置の出力の補正（校正）をおこなうことにより、赤外線カメラを車両の周辺の対象物を確実に安定して撮像可能な状態にしておくことを目的とする。

本発明によれば、赤外線カメラの温度が安定していると推定され、かつ運転者が表示手段を見ている可能性が低いと判断される場合に、赤外線カメラの出力を校正するので、車両の周辺の監視に支障をきたすことなく、かつ赤外線カメラにとって校正に適した状態で、適切な校正をおこなうことが可能となる。

本発明の一形態によると、車両の周辺の対象物の位置を特定するレーダをさらに備え、校正手段は、赤外線カメラの温度が安定していると推定され、かつ特定された対象物である前走車までの距離が所定の距離以内である場合に、校正をおこなう。

本発明の一形態によれば、前走車が近くにあって赤外線カメラで車両の周辺を撮像することが難しい場合において、赤外線カメラの出力を校正することができる。

本発明の一形態によると、推定手段は、車両が所定速度以上で所定時間以上走行したときに、赤外線カメラの温度が安定していると推定する。

本発明の一形態によれば、赤外線カメラの温度が安定している、すなわち校正に適した状況下で、その出力の校正をおこなうことができる。

本発明の一形態によると、判断手段は、車両が旋回中あるいは旋回直後であるとき、または急加速あるいは急減速の状態にあるときに、運転者が表示手段を見ている可能性が低いと判断する。

本発明の一形態によれば、運転者が表示装置を見ている可能性が低いときに赤外線カメラの出力の校正をおこなうことができる。

本発明の一形態によると、推定手段は、前回の校正時から現在までの赤外線カメラの温度変化量に応じて赤外線カメラの温度の安定の有無を推定する。

本発明の一形態によれば、例えば前回の校正時から温度変化量が小さい場合は赤外線カメラの校正を抑制し、逆に大きい場合は直ちに校正をおこなう等のように、温度変化量に応じてより迅速かつ適正な校正をおこなうことが可能となる。

本発明の一形態によると、校正手段は、前記赤外線カメラが撮像した画像データに基づいて検知された所定の生体と前記車両とが所定の位置関係にあるときには前記校正をおこなわない。

本発明の一形態によれば、例えば車両から所定の距離で人が移動している場合等のように、走行の安全上カメラ画像を確認すべきときに校正がおこなわれてしまうことを回避することができる。

本発明の一形態によると、校正手段は、ナビゲーション装置からのナビゲーション情報に基づいて前記校正のタイミングを決定する。

本発明の一形態によれば、例えばナビゲーション情報が事故の多い箇所を知らせるような場合に、その箇所の通過するまで校正のタイミングを遅らせたり、あるいはその通過前に校正が終了するように校正のタイミングを早めること等の対応をとることが可能となる。

本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。本発明の一実施例に従う、制御装置によって実行される処理フローを示す図である。校正条件１の確認フローを示す図である。校正条件２の確認フローを示す図である。赤外線カメラの温度安定の有無を判定する方法を説明するための図である。本発明の一実施例に従う、制御装置によって実行される処理フローを示す図である。校正条件０の確認フローを示す図である。

図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置１００は、車両に搭載され、車両の周辺を撮像する赤外線カメラ１０と、制御装置２０と、スピーカ３０と、表示装置４０とを備える。

赤外線カメラ１０は、赤外線を検出するマイクロボロメータなどの赤外線検出器１０１と、被写体から放射される赤外線を赤外線検出器１０１上に結像させるレンズ等からなる光学系１０２と、シャッター１０３と、温度センサ１０４を有する。赤外線検出器１０１は、２次元配置された画素を有する２次元エリアセンサである。

シャッター１０３は、制御装置２０によって制御されるタイミングで開閉するように構成されており、閉状態のとき被写体から光学系１０２に入射する赤外線を遮断する。シャッター１０３は、その表面温度が一様に分布する平板状のものであることが好ましい。温度センサ１０４は、赤外線カメラ１０の内部の温度を検出して制御装置２０にその検出信号を送る。

制御装置２０は、電子制御ユニット（以下、「ＥＣＵ」）という）とも呼ばれ、中央演算処理装置（ＣＰＵ）およびメモリを備えるコンピュータである。制御装置２０は、大きく分けて、（ｉ）赤外線カメラ１０によって撮像された画像データに基づいて車両周辺の対象物を検出する画像処理の機能と、（ｉｉ）赤外線カメラ１０と、車両に搭載されたレーダ１２、車両状態センサ１４、およびナビゲーション装置１６からの信号を受けて、各種制御をおこなう機能の２つを有する。

レーダ１２は、例えばスキャン式レーザレーダが該当し、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体の位置とそれまでの距離を測定する。車両状態センサ１４は、自車両の状態を各種パラメータとして検出する複数のセンサの総称として記載されている。車両状態センサ１４は、例えば、自車両の速度を検出する車速センサ、加速度センサ、ブレーキの踏み具合を検出するブレーキセンサ、ヨーレート（旋回方向への回転角の変化速度）を検出するヨーレートセンサ等を含む。

図１の制御装置２０内の各ブロックは、制御装置２０が実行する各機能（構成）を示す。すなわち、図１の制御装置２０は、レーダ１２からの信号を受けて車両の周辺の物体の位置（距離）を特定する物体位置特定手段２０１と、赤外線カメラ１０が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段２０２と、赤外線カメラ１０がシャッター１０３の表面を撮像した画像データに基づいて、赤外線カメラ１０の赤外線検出器１０１の画素間の出力を校正する校正手段２０３と、赤外線カメラ１０の温度の安定の有無を推定する推定手段２０４と、車両の挙動から運転者が表示手段４０を見ている可能性を判断する判断手段２０５として機能する。

各ブロックの機能は、制御装置２０が有するコンピュータ（ＣＰＵ）によって実現される。なお、制御装置２０の構成は、ナビゲーション装置１６の中に組み込んでもよい。

制御装置２０は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ３０に対する駆動信号および表示装置４０に対する表示信号などを出力する出力回路を備えている。レーダ１２と赤外線カメラ１０の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。

スピーカ３０は、制御装置２０での所定の対象物（歩行者等）の検出結果に基づいて音または音声で警報を発生する。表示装置４０は、赤外線カメラ１０の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行う。なお、スピーカ３０および表示装置４０として、ナビゲーション装置１６が備える該当機能を利用してもよい。

図２は、制御装置２０によって実行される処理フローである。この処理フローは、赤外線カメラ１０の赤外線検出器１０１の画素間の出力を校正するための制御フローであり、制御装置２０のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。

ステップＳ１０において、車両の運転情報を取得する。車両の運転情報は、車両の走行時間、車速の変化履歴等である。ステップＳ１１において、取得した車両の運転情報から、赤外線カメラ１０の温度が安定しているか否かを判定する。この判定がＮｏの場合は、ステップＳ１８のシャッター制御へ進み校正を開始する。赤外線カメラ１０の温度が安定していない場合、校正をして適正なカメラ画像が取得できるようにすることが好ましいからである。

図５は、その判定方法の一例を説明するための図である。図５のグラフでは、車両が、時間０でエンジン始動し、時間Ｔ１で走行開始し、時間Ｔ２で停止し、さらに時間Ｔ３で再びアイドリングを開始した場合における、車速Ｂと赤外線カメラの温度Ａの変化を示している。赤外線カメラの温度Ａは、車両のエンジン始動後のアイドリングにおいて上昇し、時間Ｔ１後の走行により低下していき、その後の定速走行により安定した状態になる。時間Ｔ２での車両の停止直後も温度Ａは安定しており、時間Ｔ３でのアイドリング開始後において再び温度Ａが上昇する。図５の車速Ｂと赤外線カメラの温度Ａの関係から、例えば図中の区間Ｃのような車両の定速走行後の減速時、あるいは車両の停止直後において赤外線カメラの温度が安定していると判定（推定）できる。

赤外線カメラの温度が安定していると推定できる場合、ステップＳ１２において、レーダ１２により検出された車両周辺の物体の情報（位置、距離）を取得する。ステップＳ１３において、取得した車両周辺の物体の情報から、前方に車両や人等の物体が多数、すなわち少なくとも所定数以上あるか否かを判定する。その判定がＹｅｓの場合は処理を終了する。周辺監視の必要性が高い状況下で、校正によって周辺物体の取得画像の確認ができなくなることを防ぐためである。

ステップＳ１３の判定がＮｏの場合、ステップＳ１４において、校正条件１の確認をおこなう。

図３は、校正条件１の確認フローを示す図である。ステップＳ１４１において、車両状態センサ１４の加速度センサが検出した加速度データに基づき加速度の大きさが所定値以上か否かを判定する。その判定がＹｅｓの場合、ステップＳ１４５において校正条件１＝ＴＲＵＥとして校正をおこなう指示を出す。急加速をする場合、運転者は通常表示装置を見ている余裕がない、言い換えれば見ている可能性が低いので、校正しても支障がないからである。

ステップＳ１４１の判定がＮｏの場合、次のステップＳ１４２において、車両状態センサ１４のブレーキセンサが検出したブレーキの踏込み度のデータに基づきブレーキの踏込み度が所定値以上か否かを判定する。その判定がＹｅｓの場合、ステップＳ１４５において校正条件１＝ＴＲＵＥとして校正をおこなう指示を出す。急減速をする場合、運転者は表示装置を見ている余裕がないので、言い換えれば見ている可能性が低いので、校正しても支障がないからである。

ステップＳ１４２の判定がＮｏの場合、次のステップＳ１４３において、車両状態センサ１４のヨーレートセンサが検出した操舵角データに基づき操舵角が所定値以上か否かを判定する。その判定がＹｅｓの場合、ステップＳ１４５において校正条件１＝ＴＲＵＥとして校正をおこなう指示を出す。急旋回をする場合、運転者は表示装置を見ている余裕がないので、言い換えれば見ている可能性が低いので、校正しても支障がないからである。

ステップＳ１４３の判定がＮｏの場合、次のステップＳ１４４において、レーダ１２が検出した前車両までの距離データに基づき前車両までの距離が所定値以内か否かを判定する。その判定がＹｅｓの場合、ステップＳ１４５において校正条件１＝ＴＲＵＥとして校正をおこなう指示を出す。前走車両がすぐ前にいる場合、赤外線カメラ１０での周辺画像の取得が困難なので、校正しても支障がないからである。ステップＳ１４４の判定がＮｏの場合、ステップＳ１４６において校正条件１＝ＦＡＬＳＥとして校正はおこなわない指示を出す。

図２のフローに戻って、ステップＳ１５において校正条件１がクリアしたか否かを判定する。図３のフローにおいて、校正条件１＝ＴＲＵＥの場合に校正条件１がクリアされたと判定し、校正条件１＝ＦＡＬＳＥの場合は校正条件１がクリアされていないと判定する。この判定がＹｅｓの場合、ステップＳ１８〜Ｓ２０の校正へ進む。

ステップＳ１５の判定がＮｏの場合、次のステップＳ１６において、校正条件２の確認をおこなう。

図４は、校正条件２の確認フローを示す図である。ステップＳ１６１において、車両状態センサ１４の車速センサが検出した車速データに基づき現在の車速が所定値以上か否かを判定する。その判定がＹｅｓの場合、ステップＳ１６３において校正条件２＝ＴＲＵＥとして校正をおこなう指示を出す。高速運転をしている場合、運転者は前方から視線をはずせないので、表示装置を見ている可能性が低く、校正しても支障がないからである。

ステップＳ１６１の判定がＮｏの場合、次のステップＳ１６２において、スピーカ３０または表示装置４０から警報が出てから所定の時間以内か否かを判定する。その判定がＹｅｓの場合、ステップＳ１６３において校正条件２＝ＴＲＵＥとして校正をおこなう指示を出す。警報直後の場合、すでに運転者に注意を促したばかりなので、たとえ校正によって表示装置において画像が見れなくても支障がないからである。ステップＳ１６２の判定がＮｏの場合、ステップＳ１６４において校正条件２＝ＦＡＬＳＥとして校正はおこなわない指示を出す。

図２のフローに戻って、ステップＳ１７において校正条件２がクリアしたか否かを判定する。図４のフローにおいて、校正条件２＝ＴＲＵＥの場合に校正条件２がクリアされたと判定し、校正条件２＝ＦＡＬＳＥの場合は校正条件２がクリアされていないと判定する。この判定がＹｅｓの場合、ステップＳ１８〜Ｓ２０の校正へ進む。この判定がＮｏの場合は処理を終了する。

ステップＳ１８において、校正をおこなうために、赤外線カメラ１０のシャッター１０３を閉じる制御をおこない、被写体から光学系１０２に入射する赤外線を遮断する。ステップＳ１９において、赤外線カメラ１０によりシャッター１０３の表面を撮像する。ステップＳ２０において、シャッター１０３の表面を撮像した際の赤外線カメラ１０の出力を校正する。具体的には、シャッター１０３の表面温度は一様に分布する平板状である場合、赤外線カメラ１０の赤外線検出器１０１の２次元配置の各画素から均一な検出信号が得られるように、画素毎あるいは所定の画素領域（ライン、エリア）毎の信号増幅率（ゲイン）等を調整する。この調整（校正）方法は従来からある任意の方法でおこなうことができる。

次に、図２の処理フローの他の実施形態について、図６と図７を参照しながら説明する。

図６は、制御装置２０によって実行される処理フローの他の例である。図６において、図２のフローと主に異なる点は、図２のステップＳ１１〜Ｓ１３の３ステップに代わって、図６ではステップＳ１０２〜Ｓ１０４の３ステップを採用したことである。また、図６のステップＳ１０５〜Ｓ１１１の各ステップの内容、すなわち校正条件１、２の確認およびシャッター制御、校正の内容は、対応する図２のステップＳ１４〜Ｓ２０の各ステップの内容と基本的に同様である。

図６のステップＳ１０１において、車両の運転情報を取得する。車両の運転情報は、車両の走行時間、車速の変化履歴等である。ステップＳ１０２において、校正条件０の確認をおこなう。

図７は、校正条件０の確認フローを示す図である。ステップＳ１０２１において、レーダ１２により検出された車両周辺の物体の情報（位置、距離）を取得する。ステップＳ１０２２において、取得した車両周辺の物体の情報から、前方に車両や人等の物体が多数、すなわち少なくとも所定数以上あるか否かを判定する。このステップＳ１０２２の判定は、図２のステップＳ１３と同様である。この判定がＹｅｓの場合、ステップＳ１０２７において校正条件０＝ＦＡＬＳＥとして校正をおこなわない指示を出す。この判定がＮｏの場合、次のステップＳ１０２３に進む。

ステップＳ１０２３において、赤外線カメラ１０により車両前方の画像を撮像して取得する。ステップＳ１０２４において、取得した画像から所定の生体（例えば人、四足動物等）が存在するか否かを判定する。この判定がＹｅｓの場合、ステップＳ１０２７において校正条件０＝ＦＡＬＳＥとして校正をおこなわない指示を出す。その理由は、人等が存在する場合は安全上画像を確認した方がよいので、校正はおこなうべきではないからである。この判定がＮｏの場合、次のステップＳ１０２５に進む。

ステップＳ１０２５において、ナビゲーション装置１６を介して、前走車両の情報、交通渋滞情報、道路情報等を取得する。ステップＳ１０２６において、取得した情報から危険情報、例えば事故多発の危険な道路を通過する等があるか否かを判定する。この判定がＹｅｓの場合、ステップＳ１０２７において校正条件０＝ＦＡＬＳＥとして校正をおこなわない指示を出す。その理由は、危険情報がある場合は、安全上画像を確認した方がよいので、校正はおこなうべきではないからである。この判定がＮｏの場合、次のステップＳ１０２８において、校正条件０＝ＴＲＵＥとして校正はおこなってもよい指示を出す。

図６のフローに戻って、ステップＳ１０３において校正条件０がクリアしたか否かを判定する。図７のフローにおいて、校正条件０＝ＴＲＵＥの場合に校正条件０がクリアされた（Ｙｅｓ）と判定し、校正条件０＝ＦＡＬＳＥの場合は校正条件０がクリアされていない（Ｎｏ）と判定する。この判定がＹｅｓの場合、ステップＳ１０４へ進む。この判定がＮｏの場合は処理を終了する。

次のステップＳ１０４において、前回の校正時と現在とでの赤外線カメラ１０の温度変化量ΔＴを求め、その絶対値と所定変化量（しきい値）との大小関係を判定する。この温度変化量ΔＴは、温度センサ１０４の検出信号から求める。

温度変化量ΔＴの絶対値が、所定の大きいしきい値ΔＴＬよりも大きい（ΔＴ＞ΔＴＬ）場合、ステップＳ１０９へ進み、直ちに校正をおこなう。赤外線カメラ１０の温度変化量が特に大きい場合は校正を早く行った方がよいからである。温度変化量ΔＴの絶対値が、所定の小さいしきい値ΔＴＳよりも小さい（ΔＴ＜ΔＴＳ）場合、ステップＳ１１２へ進み、校正条件１の確認をおこなう。校正条件１の確認は、既に図３で説明したフローである。温度変化量ΔＴの絶対値が、所定の小さいしきい値ΔＴＳ以上で、かつ所定の大きいしきい値ΔＴＬ以下である（ΔＴＳ≦ΔＴ≦ΔＴＬ）場合、ステップＳ１０５〜Ｓ１０８の校正条件１および校正条件２の確認ステップへ進む。このステップ１０５〜Ｓ１０８の確認は、既に説明した図２のステップＳ１４〜Ｓ１７と同様である。

図６のステップＳ１０６およびＳ１１３において校正条件１がクリアされない（Ｎｏの）場合、あるいはＳ１０８において校正条件２がクリアされた（Ｙｅｓの）場合、ステップＳ１０９〜Ｓ１１１に進み、赤外線カメラ１０のシャッター１０４を制御（閉じる）および校正をおこなう。この校正は、図２のステップＳ１８〜Ｓ２０までと同様である。ステップＳ１１３において校正条件１がクリアされた（Ｙｅｓの）場合、あるいはＳ１０８において校正条件２がクリアされない（Ｎｏの）場合、処理は終了する。

図６のフロー、特にステップＳ１０２〜Ｓ１０４のフローによれば、赤外線カメラの校正の精度を保ちつつ、運転者が画像の確認を必要とするような場合においての校正を制限、すなわちシャッターを閉じる制御を最小限とすることが可能となる。

このように、本発明の実施形態によれば、赤外線カメラの温度が安定した状態で、かつ車両の運転、特に運転者による周辺監視の妨げにならないタイミングで、赤外線カメラの校正（シャッター制御）をおこなうので、精度良くかつ適切なタイミングで効率的にその校正をおこなうことが可能となる。

以上、本発明の特定の実施形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。また、本発明はミリ波レーダ等にも適用可能である。

１０赤外線カメラ
２０制御装置
３０スピーカ
４０表示装置
１００周辺監視装置

Claims

車両に搭載され、該車両の周辺を撮像する赤外線カメラと、
前記赤外線カメラが撮像した画像データに基づく表示画像を生成して表示する表示手段と、
前記赤外線カメラへ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、前記赤外線カメラの画素間の出力を校正する校正手段と、
前記赤外線カメラの温度の安定の有無を推定する推定手段と、
車両の挙動から運転者が前記表示手段を見ている可能性を判断する判断手段とを備え、
前記校正手段は、前記赤外線カメラの温度が安定していると推定され、かつ運転者が前記表示手段を見ている可能性が低いと判断される場合に、前記校正をおこなう、車両の周辺監視装置。
前記車両の周辺の対象物の位置を特定するレーダをさらに備え、
前記校正手段は、前記赤外線カメラの温度が安定していると推定され、かつ特定された対象物である前走車までの距離が所定の距離以内である場合に、前記校正をおこなう、請求項１に記載の車両の周辺監視装置。
前記推定手段は、前記車両が所定速度以上で所定時間以上走行したときに前記赤外線カメラの温度が安定していると推定する、請求項１または２に記載の周辺監視装置。
前記判断手段は、前記車両が旋回中あるいは旋回直後であるとき、または急加速あるいは急減速の状態にあるときに、運転者が前記表示手段を見ている可能性が低いと判断する、請求項１〜３のいずれかに記載の周辺監視装置。
前記推定手段は、前回の校正時から現在までの前記赤外線カメラの温度変化量に応じて当該赤外線カメラの温度の安定の有無を推定する、請求項１に記載の周辺監視装置。
前記校正手段は、前記赤外線カメラが撮像した画像データに基づいて検知された所定の生体と前記車両とが所定の位置関係にあるときには前記校正をおこなわない、請求項１に記載の周辺監視装置。
前記校正手段は、ナビゲーション装置からのナビゲーション情報に基づいて前記校正のタイミングを決定する、請求項１に記載の周辺監視装置。