JP4720386B2 - 運転支援装置 - Google Patents

Description

本発明は運転支援装置に関する。

本発明の技術分野における背景技術として、例えば、特開平１０−２４８０１号公報（特許文献１）がある。該公報には「[課題]狭路から交差道路への進入を安全に行う。[解決手段]車両前方に設置された撮影手段１Ａ，１Ｂと、車両前方の側部に設置され、側部への対向距離を測定する測距手段２Ａ，２Ｂと、撮影手段と測距手段で得られれた画像信号と距離信号とを無線回線を介して送出する送信手段３と、送信手段３から送出された信号を受信する受信手段４と、車両の車速を検知する車速検知手段７と、車速が予め定めた速度以下で、且つ受信手段４で受信された距離信号が示す距離が予め定めた距離以下であるときに撮影手段１Ａ，１Ｂで得られた画像信号から得られる画像を車両のフロントガラス１０の所定部１１Ａ，１１Ｂに表示せしめる制御手段６とを備える。」と記載されている。

また、本発明の技術分野における背景技術として、例えば、特開２００２−４９９９８号公報（特許文献２）がある。該公報には「[課題] ナビゲーションやエアコン等を操作する場合、ドライバが操作盤を見て前方不注意となる衝突事故が多く発生している。そこで、車両周囲の外部情報を得て、操作盤へ向けたドライバの視線方向の領域内に接近車両の情報を提供することによって、ドライバに違和感を与えずに、安全な走行を実現する運転支援装置を提供することを目的とする。[解決手段] 本運転支援装置は、カメラ２１により全周囲をモニタする外部状況監視部２２と、前記外部状況監視部２２による情報から障害物を検出する障害物検知部２３と、ドライバが操作盤を操作するのに視線を向ける方向に設置された障害物情報表示部２４と、障害物検知部２３による情報から障害物を判定する危険障害物判定部３１とを備え、危険障害物判定部３１により危険な障害物が検出された場合にのみ、障害物情報表示部２４に接近物の映像を映す。」と記載されている。

また、本発明の技術分野における背景技術として、例えば、特開平１１−３２１４９４号公報（特許文献３）がある。該公報には「[課題] 自車両に対し、他の車両が衝突する恐れがあるとき、運転者に衝突の恐れがある他の車両の位置、種類などを確認させ、これによって運転者に最終的な判断を行なわせて、高い安全性を確保させる。[解決手段] 車両２が走行しているとき、カメラ３から出力される映像信号を画像処理することにより、ターンシグナルスイッチ５の位置に応じて、真後ろ、または右後方、あるいは左後方から他の車両が近づいてくるとき、これを検知して、ブザー音を発生し、運転者に注意を促すとともに、カメラ３から出力される映像信号に対し、スーパーインポーズ形式で、衝突する恐れがある車両の映像上に四角枠のマーク１１を付けて、ディスプレイ装置１０上に表示し、衝突する恐れがある車両を運転者に認識させる。」と記載されている。

特開平１０−２４８０１号公報 特開２００２−４９９９８号公報 特開平１１−３２１４９４号公報

カメラなどの撮像装置を搭載する機器などの映像情報を処理する機能を有する撮像システムや、カメラや、その他、映像信号処理装置に関し、上記のように、車載カメラとして車両にカメラなど撮像装置を搭載し、車の後方や運転者の死角などを撮像しモニターに表示する仕組みがある。

しかしながら、衝突の危険性があるにもかかわらず、視界を遮る障害物などによって、衝突の危険性がある対象物が隠れてしまう。障害物から飛び出してきた瞬間には、運転者の操作が間に合わず、危険回避が間に合わない可能性がある。本発明は、このような事象を鑑みなされたものであり、障害物により視界を遮られた場合でも利用者に対象物を認知することを可能とさせる装置が求められている。

車が停止中に障害物にさえぎられて、運転者が死角となったところから移動してくる物体が、ミリ波レーダーなどによる衝突回避システムや、衝突する可能性のある物体を認識し、衝突する可能性を予測し、衝突する物体を人間が認識できるように音や映像などで知らせる仕組みはない。さらには、自分のみならず相手や第三者にまでもが同様なシステム、または、危険を報知する装置を身につけるか、または、街中などに装置が存在すればその危険の迫る方向から、聴覚や、視覚など、人間が認識するように知らせる仕組みはない。映像や音声を利用し危険を知らせる仕組みと一つ以上のカメラを利用したステレオカメラ撮像システムにより、物体の衝突を予測する仕組みが重要である。

本発明は、運転支援システムにおいて、安全性をより向上させることを目的とする。

上記目的は特許請求の範囲に記載の発明により達成される。

本発明によれば、運転支援システムにおいて、安全性をより向上させることができる。

以下、本発明の一実施の形態を図面を参照しながら説明する。

本発明の一実施の形態においては、運転支援装置は、車の進行方向や車の周辺を撮像する撮像手段と、自車両の運動方向を検出する検出手段と、撮像した撮像データからオプティカルフローを算出するオプティカルフロー算出手段と、算出したオプティカルフローを前述の自車両の運動方向データにより補正する補正手段を備えることを特徴とする。

また、先述の算出したオプティカルフローデータを元に、視界を遮る物体に隠れた場合でも、既に撮影した画像を元に、隠れた部分を擬似表示するための表示手段と、あらかじめありがちな物体を記憶しておき、撮像した物体とパターンマッチして物体を認識する認識手段と、撮像した情報を蓄積する蓄積手段と、蓄積手段により蓄積した情報から、死角情報を抽出し死角の映像を擬似表示する、死角情報表示手段と、移動物体が視界を遮る障害物に隠れても、移動物体のオプティカルフローを利用して、障害物からいつ飛び出すか予測するための演算手段とを備えることを特徴とする。

以下、具体的に説明する。

図１に複数のカメラを搭載した本発明の一実施例を示す。マルチカメラ運転支援装置搭載車１（以後、自車両と称す）は、複数のカメラ１０を搭載し、自車両１の周辺を視野角４で各々撮像する。自車両１の進行方向ｙに対して、バイクなどの移動体２が移動体の進行方向xで接近している。移動体２の時間経過毎の位置をt0〜t4で示す。また、カメラ１００、１０１で撮像している領域内に移動体２の撮像を遮る障害物３が存在する。この障害物３が存在するために、時刻t2のときの移動体２をカメラ１００、１０１が撮像することが出来ないタイミングがある。カメラ１００、１０１が本来なら撮像できる視野角４に対して、障害物３があるために撮像できない領域を点線で示す。t0〜t2のタイミングの画面表示を図２に示す。t0,t1のの移動体２を撮像しオプティカルフローを検出する。オプティカルフローを利用して、時刻t2時の障害物の実画像に移動体２が存在すると予測される時刻t2時の画像を画面に表示する。もし、この時刻t2のときに自車両１がブレーキ制御やハンドル操作などの衝突回避行動をとることが可能であれば、衝突を避けることが可能となる。

図３に本発明の運転支援装置による衝突回避するための運転支援フローを示す。エンジン入り（ＳＴ１）で、自車両１は、撮像を開始する（ＳＴ２）。撮像している画像情報の中の移動体のオプティカルフローと自車両の運動方向データを検出する（ＳＴ３）。（ＳＴ３）で検出してデータをもとに、衝突する移動体が無いか判定を行なう（ＳＴ４）。模しなければ、（ＳＴ３）と（ＳＴ４）の処理を繰り返す。次に、衝突する可能性のある接近している移動体が検出されたら、聴覚、触覚、視覚など人間が感じる報知手段で衝突する可能性のある移動体、接近している移動体があることを運転者に報知し（ＳＴ５）、モニタに接近している、衝突の可能性のある移動体２を表示する（ＳＴ６）。距離、自官位応じてアラーム音量を上げるなどアラームを調整し（ＳＴ７）、危険回避したかどうか判定し（ＳＴ８）、危険回避しなければ、（ＳＴ７）から（ＳＴ８）を繰り返す。危険を回避したらアラームを消す（ＳＴ９）。運転が継続しているかどうか判定（ＳＴ１０）し、運転が継続されていれば、再び（ＳＴ３）と（ＳＴ４）を繰り返す。運転が終了したら、エンジンを切り撮像を終了（ＳＴ１１）し、運転支援を終了する。

図４に本発明の運転支援装置搭載車の構成図を示す。運転支援装置搭載車１は、車両周辺を撮像する撮像手段１００、１０１、１０２、・・・１０ｎを搭載し、撮像した情報を制御手段１１により、撮像した画像データを制御する。撮像した画像データを元にオプティカルフローを算出する演算手段１２と撮像した画像データや、オプティカルフローデータを記憶する記憶手段１３を備える。記憶手段１３は、撮像した画像データのみならず、各種電子データを記憶する。例えば、パターン認識を行なうためにあらかじめありがちな物体の画像データや特徴などの情報を記憶しておき、撮像手段が一部しか撮像できなかった移動体でもパターン認識により何が存在するかを擬似表示するための情報なども記憶する。出力手段１４は、接近している移動体の方向を音や映像などで報知する機能を有する。外部の端末装置１５１やサーバー１５２と送受信するための通信手段１５を備える。

図５に本発明のt0〜t2の移動体２の擬似表示方法について示す。移動体２のオプティカルフローを用いて、障害物３に一部重なった場合でも、t1時の画面表示の点線で示すように移動体２の画像表示を行ない、移動体２が障害物３に完全に隠れた後でも、t2の画面表示のように点線や重ねて表示し透けて見えるように示し、一連の動きで移動体２が移動していることを示す。

図６に本発明のt0〜t2の移動体２の擬似表示について示す。移動体２を人間として認識したときは、実施例５の表示方法に加えて、t2の画面表示において、障害物３に隠れた状態でも人間の動きを擬似的に表示する。

図７に本発明のt0〜t2の移動体２の擬似表示について示す。移動体２を人間として認識したときは、実施例６の表示方法に加えて、t2の画面表示において、障害物３に隠れた状態で人間を文字で表現したり、枠で囲み表示を行なう。更に矢印などで進行方向を示し、移動方向が直感的に分かるように表示する。

図８に本発明のt0〜t2の移動体２の擬似表示について示す。移動体２を人間として認識したときは、t2の画面表示において、障害物３に隠れた状態で、障害物３事態を枠で囲み表示を行なう。または、障害物に色をつけて移動体が隠れていることを示す。または、枠や、色などを点滅表示させる。または、前記表示を組み合わせて表示して、障害物３に移動体２が隠れていることを示す。

図９に本発明のt0〜t2の移動体２の擬似表示について示す。移動体２を人間として認識したときは、人物の顔を特徴抽出できた場合、顔画像を移動体２として表示する。または、アイコン表示で人間が障害物３に隠れていることを示す。

図１０に本発明の空間の擬似表示について示す。車両が時刻t0,t1で得た画像情報を元に空間の画像情報を抽出する。抽出した空間の画像情報を元に、時刻t2時に障害物３で本来見えない空間であっても、過去に得た画像情報t0,t1時から得た空間の画像データをもとに、空間の擬似表示を行なう。

本発明の一実施形態では、もし、人が車両や物陰などに入ったときに、物陰に入る前の画像情報を利用して、物影に入る前のオプティカルフローにより、いつ、物陰から飛び出してくるかを演算手段により予測し移動体の擬似表示や、アイコン、文字などで表示し、音声手段によりサラウンドで接近する物体の方向から音声を出力したり、人間の音声で分かるように「左前方に移動体あり。」などと言葉で報知する仕組みをもつ事が可能。

また、物陰から、予測より、早く移動体が飛び出してきた場合は、記憶手段に保存していた移動体の映像とのパターンマッチングにより、マッチングした場合は、擬似表示している予想画像から実画像に切り替える。また、予測した飛び出し時刻を過ぎても障害物から移動体が飛び出さない場合は、物陰にいることを表すために、物陰に隠れる前に撮影した映像を模擬的に表示するか、移動体を表すアニメーションや、アイコンや、文字などで、物陰に移動体がいることを表示する。

また、既に画像では、他車両などの障害物により、移動体の全体像が移っていなかった場合でも、カメラが障害物となっている他車両の下側を撮影可能ならば、他車両の下側と路面との間の隙間を撮像して、移動体が撮影できれば、移動体のパターンマッチングにより移動体が何か判断して、障害となる他車両の実画像に重ねて擬似表示して、他車両などの物陰に人等の移動体がいることを表示装置に表示する。また、自転車やバイクなどの車輪を認識した場合は、自転車の車輪の大きさやホイールベースなどから自転車いることを、アニメーションや、アイコンや文字などで、車両に隠れていることを表示する。また、車両の向こうに更に自動車などがあった場合でも、ワンボックスカーや、四輪駆動車などの背の高い車の陰に隠れた他車両は、一部でも撮像可能ならば、あらかじめ登録しておいた車両情報を元にパターンマッチングを行ない、擬似的な映像を表示して車両の向こうにあると想定される他車両をアニメーションや、アイコンや文字などで存在を示し表示を行なうことを可能とし、視界を遮る障害物の向こう側にあるものを人間の目で見て直感的にどのようなものが存在するか認識することを可能とすることを特徴とする装置。

また、過去撮像した画像データをもとに、本来見えない空間や物体でも障害物に重ねて擬似表示することで障害物の向こう側の様子を認識することを可能とする。

以上のように、各実施例によれば、人間の視界に存在しない移動体や障害物などでカメラが撮影できない状況下でもオプティカルフローや過去撮像した情報を利用した擬似表示により、移動体と自車両の衝突を未然に防ぐことを可能とし、交通事故を減少させ安全運転を支援することを可能とする効果が得られる。

マルチカメラ運転支援搭載車構成図である。 擬似表示図である。 衝突回避補助システムフローである。 運転支援装置構成図である。 移動体擬似表示図である。 部分擬似表示図である。 文字と移動方向擬似表示図である。 障害物擬似表示図である。 アイコン擬似表示図である。 空間擬似表示図である。

符号の説明

1 マルチカメラ運転支援装置搭載車
2 移動体
3 障害物
4 カメラ視野角
5 空き空間
１００ 撮像手段
１０１ 撮像手段
１０２ 撮像手段
１０ｎ 撮像手段
11 制御手段
12 記憶手段
13 記憶手段
14 出力手段
15 通信手段
151 端末装置
152 サーバー

Claims (3)

1. 被写体を撮像する撮像手段と、
   撮像した画像データを記憶する記憶手段と、
   該撮像手段で撮像した映像を表示する表示手段と、
   該被写体の中に移動体がある場合に、該移動体のオプティカルフローを算出し、かつ、該移動体が他の物体に隠れて撮像できない場合に、隠れる前に算出した該移動体のオプティカルフローに基づいて該移動体の位置を算出し、該移動体を該他の物体に重ねて表示するように該表示手段を制御するとともに、過去に撮影した画像データをもとに、隠れて見えない空間や物体を該障害物に重ねて擬似表示するように該表示手段を制御する制御手段と、
   を備えることを特徴とする運転支援装置。
2. 請求項１において、
   前記撮像手段は複数あり、
   前記制御手段は、該複数の撮像手段から出力される信号をもとに、前記オプティカルフローを算出すること
   を特徴とする運転支援装置。
3. 請求項１または２において、
   移動体に衝突することを運転手に報知する報知手段を備え、
   前記制御手段は、該運転支援装置の運動方向データを検出し、前記移動体のオプティカルフローと該運転支援装置の運動方向データに基づいて、該移動体に衝突する場合に該報知手段により該移動体に衝突することを運転手に報知すること
   を特徴とする運転支援装置。

Images