JPWO2011114638A1

JPWO2011114638A1 - 車両周囲監視装置および車両周囲監視方法

Info

Publication number: JPWO2011114638A1
Application number: JP2012505479A
Authority: JP
Inventors: 市川　徹; 徹市川
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2010-03-19
Filing date: 2011-03-03
Publication date: 2013-06-27
Anticipated expiration: 2031-03-03
Also published as: US20130009789A1; EP2549751A1; US9131123B2; WO2011114638A1; JP5576472B2; EP2549751A4

Abstract

車両運転の安全性を向上させる事ができる車両周囲監視方法。この車両周囲監視方法は、車両の運転者に対して警報を行う報知部を、車両が発進するときに作動させるステップ（Ｓ１１００：ＹＥＳ、Ｓ１４００）と、警報を解除させる操作を受け付ける表示物を、車両が発進するときに、車両の周囲の撮影映像データに基づく映像と共に車両内の画面に表示させるステップ（Ｓ１４００）とを有する。

Description

本発明は、車両の周囲の障害物を車載カメラによる撮影画像を用いて監視するための車両周囲監視装置および車両周囲監視方法に関する。

車両運転中の安全および安心に対する社会ニーズの高まりを受け、近年、車載カメラで車両の後方を撮影し、撮影映像をモニタ等の画面に表示して運転者に提示する事が広く行われている。これにより、運転者は、死角となり易い車両後方の状況を映像で確認し、歩行者等の障害物の有無を判断する事ができるので、車両が後方発進するときの事故を低減する事ができる。

ところが、運転者が撮影映像を見落としたり、撮影映像の確認を怠ったりした場合、撮影映像に障害物が写っている事に気付かずに、後方発進してしまうおそれがある。

そこで、撮影映像に障害物が写っている事が検出されたときに、撮影画面を見るように運転者に対して警報を行う装置が、例えば特許文献１および特許文献２に記載されている。特許文献１および特許文献２に記載の装置（以下「従来装置」という）は、撮影映像に障害物が写っているとき、画像認識や位置検出等によりその旨を検出する。そして、従来装置は、撮影映像に障害物が写っている事を検出すると、撮影映像の表示画面に対する操作が行われるまで警告を発したり車両を自動停止させる等して、運転者に対する警報を行う。これにより、従来装置は、撮影映像に障害物が写っている事が検出されたときに、運転者により確実に撮影映像の確認を促す事ができる。

特開２００８−４０９７４号公報特開２００７−７６４９６号公報

ところが、従来技術では、障害物の検出が失敗した場合には、警報が行われない。したがって、従来技術では、車両後方に障害物が存在するにもかかわらず運転者が車両を後方発進させてしまう事態が発生するおそれがある。

本発明の目的は、車両運転の安全性を向上させる事ができる車両周囲監視装置および車両周囲監視方法を提供する事である。

本発明の車両周囲監視装置は、車両の運転者に対して警報を行う報知部を、前記車両が発進するときに作動させる報知出力部と、前記警報を解除させる操作を受け付ける表示物、前記車両が発進するときに、前記車両の周囲の撮影映像データに基づく映像と共に前記車両内の画面に表示させる制御部とを有する。

本発明の車両周囲監視方法は、車両の運転者に対して警報を行う報知部を、前記車両が発進するときに作動させるステップと、前記警報を解除させる操作を受け付ける表示物を、前記車両が発進するときに、前記車両の周囲の撮影映像データに基づく映像と共に前記車両内の画面に表示させるステップとを有する。

本発明によれば、車両が発進するときに運転者に撮影画像を確認させるので、車両運転の安全性を向上させる事ができる。

本発明の一実施の形態に係る車両周囲監視システムの構成を示すブロック図本実施の形態に係るＥＣＵの動作を示すフローチャート本実施の形態における画面の一例を示す図

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る車両周囲監視装置を含む車両周囲監視システムの構成を示すブロック図である。本実施の形態は、本発明を、車両内部に設置された、車載カメラ用のＥＣＵ（electronic control unit：電子制御ユニット）に適用した例である。

図１において、車両周囲監視システム１００は、撮像部２００、車両状態検知部３００、外部操作部４００、表示部５００、報知部６００、およびＥＣＵ７００を有する。

撮像部２００は、車両の周囲の映像を撮像し、撮影映像の映像信号（以下「撮影映像信号」という）を、所定の方式（例えばＮＴＳＣ方式）で、後述のＥＣＵ７００へ出力する。具体的には、撮像部２００は、例えば、車両の後方に取り付けられた所謂車載カメラであり、ＣＣＤ（charge coupled devise image sensor）撮像素子やＣＭＯＳ（complementary metal oxide semiconductor）撮像素子を備えたデジタルビデオカメラである。

車両状態検知部３００は、車両が後方発進するとき、その旨を検知し、車両が後方発進する事を示す車両状態信号を、後述のＥＣＵ７００へ出力する。また、車両状態検知部３００は、車両が後方発進しない状態となったとき、その旨を検知し、車両が後方発進しない状態となった事（以下「後方発進解除」という）を示す車両状態信号を、後述のＥＣＵ７００へ出力する。

具体的には、車両状態検知部３００は、例えば、シフト位置検出装置である。この場合、車両状態検知部３００は、シフトレバーがリバース位置へ切り替わったときに、車両が後方発進する事を示す車両状態信号を出力する。そして、車両状態検知部３００は、シフトレバーがリバース位置以外へ切り替わったときに、後方発進解除を示す車両状態信号を出力する。また、車両状態検知部３００は、例えば、シフトチェンジ装置とアクセルペダル踏込検出装置との組み合わせから成る。この場合、車両状態検知部３００は、シフトレバーがリバース位置にある状態でアクセルペダルの踏力または踏込量が所定レベル以上となったときに、車両が後方発進する事を示す車両状態信号を出力する。また、車両状態検知部３００は、例えば、加速度センサや車速センサである。この場合、車両状態検知部３０は、後ろに向かう方向についての計測値が所定レベル以上となったときに、車両が後方発進する事を示す車両状態信号を出力する。

外部操作部４００は、運転者からの入力操作を受け付け、その操作内容を示す操作信号を、後述のＥＣＵ７００へ出力する。ここでは、外部操作部４００は、後述の表示部５００の画面に配置された、抵抗皮膜方式、アナログ静電容量方式、および超音波弾性波方式等のタッチパネルとする。

表示部５００は、ＥＣＵ７００から後述の表示映像信号を入力し、入力した表示映像信号に従い、画面に映像を表示する。ここでは、表示部５００は、車両内の運転席の近く等に取り付けられた、液晶ディスプレイの画面に上述のタッチパネル（外部操作部４００）を配置したタッチパネルモニタとする。表示部５００は、車載テレビジョン装置の表示装置と兼用であっても良い。

報知部６００は、ＥＣＵ７００から後述の報知信号を入力し、入力した報知信号に従い、運転者に対する警報（危険の報知。以下単に「警報」という）を行う。ここでは、報知部６００は、ブザーまたはラウドスピーカを有し、警報として音声の出力を行うものとする。すなわち、警報の開始とは、音声出力を開始させる事、または、所定時間後に音声出力を開始させる設定を行う事である。そして、警報の解除とは、音声出力を開始させない設定を行う事、または、既に開始されている音声出力を停止させる事である。

ＥＣＵ７００は、撮像部２００によって撮影された車両後方の映像（以下単に「撮影映像」という）を、表示部５００にさせる。そして、ＥＣＵ７００は、車両が発進する事を検出したとき、報知部６００のブザーまたはラウドスピーカを作動させ、警報を解除させる操作を受け付ける表示物を、撮影映像と共に、表示部５００の画面に表示させる。すなわち、ＥＣＵ７００は、撮影映像を表示する画面を介した操作が行われた事を検出するまで、運転者に対する警報を解除しない。

ＥＣＵ７００は、上述の外部装置と通信可能に接続するためのインタフェースとして、映像入力部７１０、車両状態入力部７２０、外部操作信号入力部７３０、映像出力部７４０、および報知出力部７５０を有する。そして、ＥＣＵ７００は、上記警報を行うための判断処理および各インタフェースの制御を行うコア演算部である制御部７６０を有する。

映像入力部７１０は、撮像部２００から出力される撮影映像信号を入力し、入力した撮影映像信号を、制御部７６０での処理に適したデータ形式（ＲＧＢ、ＹＵＶ等）のデータにデコードして、内部のメモリに格納する。デコード後のデータ（以下「撮影映像データ」という）は、時系列の複数の画像フレームのデータから構成される。

車両状態入力部７２０は、車両状態検知部３００から出力される車両状態信号を入力し、入力した車両状態信号を、制御部７６０での処理に適した信号に変換して、制御部７６０へ出力する。

外部操作信号入力部７３０は、外部操作部４００から出力される操作信号を入力し、入力した操作信号を、制御部７６０での処理に適した信号に変換して、制御部７６０へ出力する。

映像出力部７４０は、制御部７６０から入力される後述の表示映像信号を、表示部５００での処理に適した方式の信号に変換して、表示部５００へ出力する。

報知出力部７５０は、制御部７６０から入力される後述の報知信号を受けて、報知部６００に対して警報の開始および解除の指示を行う。

制御部７６０は、映像入力部７１０から撮影映像データを取得し、表示映像信号として映像出力部７４０へ出力して、撮影映像を表示部５００に表示させる。また、制御部７６０は、車両状態入力部７２０から車両が後方発進する事を示す車両状態信号が入力されたとき、警報の開始を指示する報知信号を報知出力部７５０へ出力して、報知部６００の警報を開始させる。更に、制御部７６０は、撮影映像に確認ボタンの画像（表示物）を重畳する。そして、制御部７６０は、確認ボタンが表示部５００の画面を介して押下された事を示す操作信号が外部操作信号入力部７３０から入力されると、警報の解除を指示する報知信号を報知出力部７５０へ出力して、報知部６００の警報を解除させる。

ＥＣＵ７００は、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ、各種データを格納するためのハードディスク等の記憶媒体、および通信回路等により実現する事ができる。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行する事により実現される。

このような構成を有する車両周囲監視システム１００は、車両が後方発進する際に、撮影映像が表示される画面に確認ボタンを表示し、画面を介して確認ボタンが押下されるまで、運転者に対する警報を継続する。したがって、運転者は、車両を後方発進させるとき、撮影映像が表示される画面を見て確認ボタンを押下しなければ、警報を解除させる事ができない。これにより、車両周囲監視システム１００は、運転者に対して撮影画像を強制的に確認させる事ができ、車両運転の安全性を向上させる事ができる。

次に、ＥＣＵ７００の動作について説明する。

図２は、ＥＣＵ７００の動作を示すフローチャートである。

まず、ステップＳ１１００において、ＥＣＵ７００は、車両が後方発進を開始するか否かを判断する。すなわち、ＥＣＵ７００は、制御部７６０において、車両が後方発進する事を示す車両状態信号が入力されたか否かを判断する。ＥＣＵ７００は、車両が後方発進を開始しない場合は（Ｓ１１００：ＮＯ）、ステップＳ１２００へ進み、車両が後方発進を開始する場合は（Ｓ１１００：ＹＥＳ）、ステップＳ１３００へ進む。

ステップＳ１２００において、ＥＣＵ７００は、ユーザによる電源オフ操作等により処理の終了を指示されたか否かを判断する。ＥＣＵ７００は、処理の終了を指示されていない場合は（Ｓ１２００：ＮＯ）、ステップＳ１１００へ戻り、後方発進の開始のモニタリングを継続する。

ステップＳ１３００において、ＥＣＵ７００は、確認ボタンの位置をランダムに決定する。これは、確認ボタンの位置を毎回同じとすると、運転者が慣れてしまい、撮影映像を視認せずに確認ボタンを押下するようになる可能性があるからである。確認ボタンの位置をランダムとする事により、運転者に対して、より確実に画面を注視させる事ができる。

なお、ＥＣＵ７００は、撮影映像に写る障害物を検出し、障害物が検出された場合には、撮影映像の障害物の近傍に確認ボタンを表示するようにしても良い。この場合、ＥＣＵ７００は、制御部７６０において、例えば、撮影画像に対する画像認識や位置検出等を行い、撮影画像における障害物の位置を取得し、取得した位置の近傍を、確認ボタンの位置に決定する。これにより、運転者は、障害物に気付き易くなり、障害物の見落としを低減する事ができる。

そして、ステップＳ１４００において、ＥＣＵ７００は、映像表示、確認ボタン表示、および警報をそれぞれ開始する。すなわち、ＥＣＵ７００は、制御部７６０において、撮影映像データの取得と、ステップＳ１３００で決定した位置に確認ボタンの画像を重畳した表示映像信号の出力とを開始すると共に、警報の開始を指示する報知信号を出力する。なお、警報の開始と確認ボタンの表示とは、どちらが先に行われても良い。また、ＥＣＵ７００は、警報における音声出力と確認ボタンの表示とのどちらを先に行っても良い。但し、警報がなくても撮影映像を確認する場合を考慮して、ＥＣＵ７００は、確認ボタンが表示された後、２秒等の所定の時間が経過してから、音声出力を行うことが望ましい。

図３は、表示部５００の画面の一例を示す図である。

図３に示すように、表示部５００の画面９１０には、撮影映像９１１と、撮影映像９１１に重畳された確認ボタン９１２とが表示される。確認ボタン９１２は、撮影映像９１１の表示をできるだけ阻害しない事が望ましく、例えば、図３に示すような透過色の画像とする。このような確認ボタン９１２とタッチパネルによる押下操作とを採用する事により、車両周囲監視システム１００は、運転者への操作負担および撮影映像の視認性の低下を抑えた状態で、運転者に対して撮影画像を強制的に確認させる事ができる。

なお、ＥＣＵ７００は、必要に応じて、撮影画像に対する視点変換処理を行っても良い。例えば、車載カメラが車両後部の高い位置から見下ろす向きに設置されている場合、ＥＣＵ７００は、制御部７６０において、撮影画像を空間モデルにマッピングし、運転者の視線の高さの仮想視点からマッピングされた画像を見たときの映像を生成する。これにより、運転者は、車両後方の状況を、より正確に認識する事が可能となる。

そして、図２のステップＳ１５００において、ＥＣＵ７００は、確認ボタンが画面を介して押下されたか否かを判断する。すなわち、ＥＣＵ７００は、制御部７６０において、確認ボタンの位置に対する押下操作を示す操作信号が入力されたか否かを判断する。ＥＣＵ７００は、確認ボタンが押下されていない場合には（Ｓ１５００：ＮＯ）、ステップＳ１６００へ進む。

ステップＳ１６００において、ＥＣＵ７００は、車両が後方発進を開始すると判断してから所定の時間が経過したか否かを判断する。すなわち、ＥＣＵ７００は、制御部７６０において、ステップＳ１１００でタイマ（図示せず）による計時を開始し、計測時間が所定の時間に達したか否かを判断する。ＥＣＵ７００は、所定の時間がまだ経過していない場合には（Ｓ１６００：ＮＯ）、ステップＳ１７００へ進む。

ステップＳ１７００において、ＥＣＵ７００は、後方発進解除となったか否かを判断する。すなわち、ＥＣＵ７００は、制御部７６０において、後方発進解除を示す車両状態信号が入力されたか否かを判断する。ＥＣＵ７００は、後方発進解除となっていない場合は（Ｓ１７００：ＮＯ）、ステップＳ１５００へ戻る。

そして、ＥＣＵ７００は、所定の時間が経過した場合には（Ｓ１６００：ＹＥＳ）、ステップＳ１８００へ進む。

ステップＳ１８００において、ＥＣＵ７００は、警報のレベルを、より強度の高い不快なレベルに変更して、ステップＳ１７００へ進む。すなわち、ＥＣＵ７００は、例えば、より大きい音声の出力に切り替える事を指示する操作信号を出力する。これにより、ＥＣＵ７００は、警報を発しても確認ボタンを押下しない運転者に対して、注意をより強く喚起し、撮影映像の視認をより強く促す事ができる。なお、ＥＣＵ７００は、経過時間に応じて、３段階以上の警報レベルの切り替えを行っても良い。

そして、ＥＣＵ７００は、確認ボタンが押下されると（Ｓ１５００：ＹＥＳ）、ステップＳ１９００へ進む。

ステップＳ１９００において、ＥＣＵ７００は、確認ボタン表示を停止し、警報を解除して、ステップＳ１７００へ進む。すなわち、ＥＣＵ７００は、制御部７６０において、確認ボタンの画像の重畳を停止すると共に、警報の解除を指示する報知信号を出力する。

そして、ＥＣＵ７００は、後方発進解除となった場合は（Ｓ１７００：ＹＥＳ）、ステップＳ２０００へ進む。

ステップＳ２０００において、ＥＣＵ７００は、映像表示、確認ボタン表示、および警報のうち、継続されているものを停止または解除する。すなわち、ＥＣＵ７００は、制御部７６０において、撮影映像データの取得および表示映像信号の出力が継続されていれば、これらを停止し、警報が継続されていれば、警報の解除を指示する報知信号を出力する。

そして、ＥＣＵ７００は、処理の終了を指示されると（Ｓ１２００：ＹＥＳ）、一連の処理を終了する。

このような動作により、ＥＣＵ７００は、車両が後方発進する際に、撮影映像が表示される画面に確認ボタンを表示し、画面を介して確認ボタンが押下されるまで、運転者に対する警報を継続させる事ができる。

以上説明したように、本実施の形態に係る車両周囲監視装置を含む車両周囲監視システム１００は、車両が後方発進する際に、撮影映像が表示される画面を介した操作が行われるまで、運転者に対する警報を解除しない。したがって、運転者は、車両を後方発進させる際に、その視線を撮影映像に向けざるを得なくなる。すなわち、車両周囲監視システム１００は、障害物の検出の有無にかかわらず車両を後方発進させる際に、常に警報を行う。これにより、車両周囲監視システム１００は、障害物の検出が失敗した場合には警報が行われない従来技術に比べて、車両運転の安全性を向上させる事ができる。

なお、車両周囲監視システム１００は、車両の後方以外の方向の撮影映像についても、同様に警報を行うようにしても良い。例えば、車両周囲監視システム１００は、車両が左前方に発進する際に、車両の左側の撮影画像の表示、確認ボタンの表示、および警報を開始しても良い。これにより、左側の巻き込み事故をより確実に防止する事が可能となる。

また、車両周囲監視システム１００が車両の発進を判断する基準は、上述の例に限定されない。例えば、車両周囲監視システム１００は、車両のエンジンの始動またはシフトレバーへの接触があったとき、車両が発進すると判断しても良い。すなわち、車両周囲監視システム１００は、警報の開始および解除のトリガとして、実際の車両の発進や停止の検出を用いても良いし、車両の発進や停止を意図する運転者の操作を用いても良い。

また、車両周囲監視システム１００は、車両が発進するか否かに関わらず、映像表示を継続して行っても良い。

また、車両周囲監視システム１００が、画面に表示する情報や、画面を介して受け付ける操作は、上述の例に限定されない。例えば、車両周囲監視システム１００は、撮影画像に対するパターンマッチング等により障害物の画像領域や障害物の種別を判定し、確認ボタンとして、障害物の画像領域を囲む輪郭線や障害物の種別を示す文字列または記号等を表示しても良い。

また、車両周囲監視システム１００は、警報を、光の点灯、運転席やハンドルの振動等とし、警報レベルの変更を、光の点滅の間隔や振動の強度の変更等としても良い。また、車両周囲監視システム１００は、複数種類の警報を組み合わせて行っても良い。

更に言えば、車両周囲監視システム１００が行う警報は、車両の動作を制御するものであっても良い。例えば、報知部６００は、車両のサイドブレーキ制御装置を含む。この場合、制御部７６０は、報知部６００に対して、サイドブレーキのロックおよびロックの解除を指示する報知信号を出力する。また、例えば、報知部６００は、車両のフットブレーキ制御装置を含む。この場合、制御部７６０は、報知部６００に対して、車両の停車および停車の解除を指示する報知信号を出力する。また、例えば、報知部６００は、車両のアクセル制御装置を含む。この場合、制御部７６０は、報知部６００に対して、車両の減速および減速の解除を指示する報知信号を出力する。また、この場合、車両周囲監視システム１００は、音声等による警報を行い、更に障害物が検出された場合にのみ、車両の動作を制御するようにしても良い。

２０１０年３月１９日出願の特願２０１０−６４４２３の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る車両周囲監視装置および車両周囲監視方法は、車両運転の安全性を向上させる事ができる車両周囲監視装置および車両周囲監視方法として有用である。

１００車両周囲監視システム
２００撮像部
３００車両状態検知部
４００外部操作部
５００表示部
６００報知部
７００ＥＣＵ
７１０映像入力部
７２０車両状態入力部
７３０外部操作信号入力部
７４０映像出力部
７５０報知出力部
７６０制御部

Claims

車両の運転者に対して警報を行う報知部を、前記車両が発進するときに作動させる報知出力部と、
前記警報を解除させる操作を受け付ける表示物を、前記車両が発進するときに、前記車両の周囲の撮影映像データに基づく映像と共に前記車両内の画面に表示させる制御部と、を有する、
車両周囲監視装置。
前記映像は、前記車両の後方の撮影映像であり、
前記報知出力部は、前記車両が後方発進するときに、前記報知部を作動させる、
請求項１記載の車両周囲監視装置。
前記制御部は、
前記表示物を、前記画面のランダムな位置に表示する、
請求項１記載の車両周囲監視装置。
前記制御部は、
前記表示物を、前記画面のうち、前記映像における障害物の近傍に表示する、
請求項１記載の車両周囲監視装置。
前記警報は、前記車両が発進してからの経過時間に応じて変化する、
請求項１記載の車両周囲監視装置。
前記警報は、音声、振動、または光の出力を含む、
請求項１記載の車両周囲監視装置。
前記警報は、前記車両の停止を含む、
請求項１記載の車両周囲監視装置。
車両の運転者に対して警報を行う報知部を、前記車両が発進するときに作動させるステップと、
前記警報を解除させる操作を受け付ける表示物を、前記車両が発進するときに、前記車両の周囲の撮影映像データに基づく映像と共に前記車両内の画面に表示させるステップと、を有する、
車両周囲監視方法。