JP5513190B2 - 車両後方監視装置および車両後方監視方法 - Google Patents

Description

本発明は、車両の周囲の障害物を車載カメラによる撮影映像を用いて監視する車両後方監視装置および車両後方監視方法に関する。

車両運転中の安全および安心に対する社会ニーズが高まりを受け、近年、車載カメラで車両の後方を撮影し、撮影映像をモニタ等の画面に表示して運転者に提示することが広く行われている。これにより、運転者は、死角となり易い車両後方の状況を映像で確認し、歩行者等の障害物の有無を判断することができるので、車両が後方発進するときの事故を低減することができる。

ところが、運転者が撮影映像を見落としたり、撮影映像の確認を怠ったりした場合、撮影映像に障害物が写っていることに気付かずに、後方発進してしまうおそれがある。

そこで、撮影映像に対する画像認識によって障害物を検出し、障害物が検出されたときに、撮影画面を見るように運転者に警告を発する装置が、例えば特許文献１に記載されている。これにより、特許文献１記載の装置は、撮影映像に障害物が写っていることが検出されたときに、運転者により確実に撮影映像の確認を促す事ができる。

特開２０００−１７７５１３号公報

ところで、装置が画像認識によって障害物を検出したり、運転者が撮影映像から障害物を視認するのには、ある程度の明るさが必要である。したがって、夜間の屋外等の周囲が暗い環境で車両を後方発進するときには、車両の後退灯の可視光（通常は白色光）や、後退灯と連動して車両後方を照射する夜間撮影用の赤外光（以下「後退灯」と総称する）が、障害物の検出および視認をより確実に行うための光量確保に役立つ。

しかしながら、後退灯が正しく点灯しない場合、必要な光量は確保されず、障害物が存在しているにもかかわらず、その障害物が検出されなかったり、その障害物が見落とされる可能性が高くなる。

本発明の目的は、車両の後方発進時における車両運転の安全性を向上させることができる車両後方監視装置および車両後方監視方法を提供することである。

本発明の一態様に係る車両後方監視装置は、後退灯を有する車両の後方を監視する車両後方監視装置であって、前記車両の後方の撮影映像を用いて障害物検出処理を行う制御部を有し、前記制御部は、前記車両が後方発進する前後における前記車両の後方の照度に関するパラメータの差分が閾値より大であるとき、前記車両の後方発進後、前記障害物検出処理を行い、前記車両が後方発進する前後における前記パラメータの差分が前記閾値より小であるとき、前記車両の後方発進後、前記障害物検出処理を行わずに前記車両の運転者に対する警告を発生させる。

本発明の一態様に係る車両後方監視方法は、後退灯を有する車両の後方を監視する車両後方監視方法であって、前記車両の後方の照度に関するパラメータを取得するステップと、前記車両が後方発進する前後における前記パラメータの差分が閾値より大であるとき、前記車両の後方発進後、前記車両の後方の撮影映像を用いて障害物検出処理を行うステップと、前記車両が後方発進する前後における前記パラメータの差分が前記閾値より小であるとき、前記車両の後方発進後、前記障害物検出処理を行わずに前記車両の運転者に対する警告を発生させるステップとを有する。

本発明によれば、後退灯が正しく点灯しないときにこれを検出して障害物検出処理を行わずに警告を行うので、誤った障害物検出結果の提示を回避すると共に、後退灯の修理等を速やかに行うようユーザに促すことができる。したがって、本発明によれば、車両の後方発進時における車両運転の安全性を向上させることができる。

本発明の一実施の形態に係る車両後方監視システムの構成を示すブロック図 本実施の形態における車載カメラの取付位置の一例を示す図 本実施の形態に係るＥＣＵの動作を示すフローチャート

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る車両後方監視装置を含む車両後方監視システムの構成を示すブロック図である。本実施の形態は、本発明を、車両内部に設置された、車載カメラ用のＥＣＵ（electronic control unit：電子制御ユニット）に適用した例である。

図１において、車両後方監視システム１００は、撮像部２００、車両状態検知部３００、外部環境検知部４００、表示部５００、およびＥＣＵ６００を有する。

撮像部２００は、車両の後方の映像を撮像し、撮影映像の映像信号（以下「撮影映像信号」という）を、所定の方式（例えばＮＴＳＣ方式）で、後述のＥＣＵ６００へ出力する。具体的には、撮像部２００は、例えば、車両の後方に取り付けられた所謂車載カメラであり、ＣＣＤ（charge coupled devise image sensor）撮像素子やＣＭＯＳ（complementary metal oxide semiconductor）撮像素子を備えたデジタルビデオカメラである。

図２は、車載カメラとしての撮像部２００の取付位置の一例を示す図である。

図２に示すように、車両７１０の後部には後退灯７２０が備えられている。撮像部２００は、例えば、この車両７１０の後部の高い位置に、車両７１０の後方を見下ろす向きで取り付けられる。

図１の車両状態検知部３００は、車両が後方発進するとき、その旨を検知し、車両が後方発進することを示す車両状態信号を、後述のＥＣＵ６００へ出力する。また、車両状態検知部３００は、車両が後方発進しない状態となったとき、その旨を検知し、車両が後方発進しない状態となったこと（以下「後方発進解除」という）を示す車両状態信号を、後述のＥＣＵ６００へ出力する。

具体的には、車両状態検知部３００は、例えば、シフト位置検出装置である。この場合、車両状態検知部３００は、シフトレバーがリバース位置へ切り替わったときに、車両が後方発進することを示す車両状態信号を出力し、シフトレバーがリバース位置以外へ切り替わったときに、後方発進解除を示す車両状態信号を出力する。車両状態信号は、例えば、後退灯のオンオフ信号であり、オフからオンへの切り替わりが、車両が後方発進することを示す車両状態信号となり、オンからオフへの切り替わりが、後方発進解除を示す車両状態信号となる。

外部環境検知部４００は、車両の後方の照度に関するパラメータを取得し、そのパラメータを、外部環境情報として、後述のＥＣＵ６００へ出力する。ここでは、外部環境検知部４００は、車両の後部に取り付けられ、車両後方の照度を測定する照度センサとし、外部環境情報は、この照度センサの測定値（以下単に「照度値」という）とする。外部環境検知部４００は、後退灯の近傍に後退灯に向けて設けられても良いし、車両後方に向けて設けられても良い。

表示部５００は、ＥＣＵ６００から後述の表示映像信号を入力し、入力した表示映像信号に従い、画面に映像を表示する。ここでは、表示部５００は、運転席の近くに取り付けられた、液晶ディスプレイとする。表示部５００は、車載テレビジョン装置の表示装置と兼用であっても良い。

ＥＣＵ６００は、車両が発進することを検出したとき、その前後における照度値の差分が閾値より小であるか否かを判定し、照度値の差分が閾値より小であるとき、表示部５００を介して警告を行う。

ＥＣＵ６００は、上述の外部装置と通信可能に接続するためのインタフェースとして、映像入力部６１０、車両状態入力部６２０、外部環境情報入力部６３０、および映像出力部６４０を有する。そして、ＥＣＵ６００は、上記警告を行うための判断処理および各インタフェースの制御を行うコア演算部である制御部６５０を有する。

映像入力部６１０は、撮像部２００から出力される撮影映像信号を入力し、入力した撮影映像信号を、制御部６５０での処理に適したデータ形式（ＲＧＢ、ＹＵＶ等）のデータにデコードして、内部のメモリに格納する。デコード後のデータ（以下「撮影映像データ」という）は、時系列の複数の画像フレームのデータから構成される。

車両状態入力部６２０は、車両状態検知部３００から出力される車両状態信号を入力し、入力した車両状態信号を、制御部６５０での処理に適した信号に変換して、制御部６５０へ出力する。

外部環境情報入力部６３０は、外部環境検知部４００から出力される操作信号を入力し、入力した外部環境情報を、制御部６５０での処理に適した信号に変換して、制御部６５０へ出力する。

映像出力部６４０は、制御部６５０から入力される後述の表示映像信号を、表示部５００での処理に適した方式の信号に変換して、表示部５００へ出力する。

制御部６５０は、映像入力部６１０から撮影映像データを取得し、表示映像信号として映像出力部６４０へ出力して、撮影映像を表示部５００に表示させる。また、制御部６５０は、撮影映像から、撮影映像に写る障害物を検出し、障害物が検出された場合には、撮影映像の障害物にマーカを重畳して表示させる。

更に、制御部６５０は、外部環境情報入力部６３０から入力される個々の外部環境情報を、入力されてから所定の時間保持する。制御部６５０は、車両状態入力部６２０から車両が後方発進することを示す車両状態信号が入力されたとき、保持する外部環境情報を参照し、車両状態信号の入力の前後における照度値の差分が閾値より小であるか否かを判定する。そして、制御部６５０は、照度値の差分が閾値より小であるとき、障害物検出処理を行わずに、後退灯が故障している旨を警告する表示内容の表示映像信号を出力する。ここでは、制御部６５０は、後退灯が故障している旨のメッセージを表示する警告画面を生成し、警告画面の表示映像信号を出力するものとする。

ＥＣＵ６００は、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ、各種データを格納するためのハードディスク等の記憶媒体、および通信回路等により実現することができる。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような構成を有する車両後方監視システム１００は、車両が後方発進する際に、本来であれば後退灯の点灯により車両後方の照度値の差分が閾値より大となるところ、その差分が閾値より小である場合には、障害物検出処理を行わずに、車両の運転者に対する警告を発生させる。すなわち、車両後方監視システム１００は、後退灯が正しく点灯しないときにこれを検出して、障害物検出処理を行わずに警告を発生させる。これにより、車両後方監視システム１００は、誤った障害物検出結果の提示を回避すると共に、後退灯の修理等を速やかに行うようユーザに促すことができ、車両の後方発進時における車両運転の安全性を向上させることができる。

次に、ＥＣＵ６００の動作について説明する。

図３は、ＥＣＵ６００の動作を示すフローチャートである。

まず、ステップＳ１１００において、ＥＣＵ６００は、車両後方の照度値の取得を開始する。すなわち、ＥＣＵ６００は、制御部６５０において、外部環境情報の入力を開始し、入力した外部環境情報を保持する。

そして、ステップＳ１２００において、ＥＣＵ６００は、車両が後方発進を開始するか否かを判断する。すなわち、ＥＣＵ６００は、制御部６５０において、車両が後方発進することを示す車両状態信号が入力されたか否かを判断する。ＥＣＵ６００は、車両が後方発進を開始しない場合は（Ｓ１２００：ＮＯ）、ステップＳ１３００へ進み、車両が後方発進を開始する場合は（Ｓ１２００：ＹＥＳ）、ステップＳ１４００へ進む。

ステップＳ１３００において、ＥＣＵ６００は、ユーザによる電源オフ操作等により処理の終了を指示されたか否かを判断する。ＥＣＵ６００は、処理の終了を指示されていない場合は（Ｓ１３００：ＮＯ）、ステップＳ１２００へ戻り、後方発進の開始のモニタリングを継続する。

ステップＳ１４００において、ＥＣＵ６００は、撮影映像の取得を開始する。すなわち、ＥＣＵ６００は、制御部６５０において、撮影映像データの入力を開始する。

そして、ステップＳ１５００において、ＥＣＵ６００は、後方発進前後の照度値の差分（以下、単に「照度値差」という）が、閾値より小であるか否かを判断する。すなわち、ＥＣＵ６００は、制御部６５０において、保持されている外部環境情報を参照し、車両が後方発進することを示す車両状態信号の入力の直前の照度値および直後の照度値を取得し、これらの差分が閾値より小であるか否かを判断する。なお、検出誤差を吸収するため、ＥＣＵ６００は、後方発進前後の照度値として、それぞれ、複数の照度値のデータの平均値を採用しても良い。ＥＣＵ６００は、照度値差が閾値より大である場合には（Ｓ１５００：ＮＯ）、ステップＳ１６００へ進み、照度値差が閾値より小である場合には（Ｓ１５００：ＹＥＳ）、ステップＳ１７００へ進む。

ここで、閾値は、例えば、後退灯が正常に点灯するときに、外部環境検知部４００によって検出される照度値の差分の最小値である。この最小値は、昼間の屋外等、周囲が明るい環境では小さい。したがって、ＥＣＵ６００は、後方発進前の照度値に応じて閾値を変更することが望ましい。

また、ＥＣＵ６００は、撮影映像から障害物検出を行うことができる最小の明るさにおける照度値の差分を、固定の閾値として採用しても良い。この場合、ＥＣＵ６００は、後方発進前の周囲の明るさが、撮影映像から障害物検出を行うことができる明るさであるとき（例えば昼間の屋外等）、照度値差を閾値と比較することなく、ステップＳ１６００へ進む。このような場合には、後退灯が点灯した状態と消灯した状態との間で、照度値や撮影映像にほとんど差が出ず、また、後退灯が仮に点灯しなくても撮影映像から障害物を十分に視認可能なためである。この判断は、外部環境検知部４００によって検知された照度値に基づいて行っても良いし、昼間であるか否かを示す時間情報や、灯火器がオフとなっているか否かを示すスイッチ信号等に基づいて行っても良い。時間情報は、例えば、カーナビゲーションシステム、ＧＰＳ（global positioning system）、時計等から取得される時刻情報を用いる事ができる。

ステップＳ１６００において、ＥＣＵ６００は、障害物検出処理をＯＮにして、ステップＳ１８００へ進む。すなわち、ＥＣＵ６００は、制御部６５０において、撮影映像からの障害物検出および検出結果の表示を開始する。ＥＣＵ６００は、例えば、輝度変化により物体の輪郭を検出し、検出した各物体の輪郭に対して予め用意した障害物の輪郭パターンとのパターンマッチングを行うことにより、撮影映像からの障害物検出を行う。このような障害物検出の手法では、車両後方の明るさが検出精度に大きな影響を及ぼすことになる。

一方、ステップＳ１７００において、ＥＣＵ６００は、障害物検出処理をＯＦＦにし、後退灯の故障をユーザに対し警告して、ステップＳ１８００へ進む。すなわち、ＥＣＵ６００は、制御部６５０において、撮影映像からの障害物検出を開始せず、後退灯が故障している旨のメッセージを表示する警告画面の表示映像信号を出力する。この結果、ユーザは、後退灯が故障している旨、および障害物検出が正しく行われない旨を知ることができる。

なお、ＥＣＵ６００は、表示部５００の画面に、確認ボタンを表示し、確認ボタンに対する押下操作が行われた場合にのみ、ステップＳ１８００へ進むようにしても良い。これにより、ユーザに対して、後退灯が故障している旨を、より確実に知らせることができる。

そして、ステップＳ１８００において、ＥＣＵ６００は、撮影映像の表示を開始する。すなわち、ＥＣＵ６００は、制御部６５０において、表示映像データの出力を開始する。

なお、ＥＣＵ６００は、必要に応じて、撮影映像に対する視点変換処理を行っても良い。例えば、車載カメラが車両後部の高い位置から見下ろす向きに設置されている場合、ＥＣＵ６００は、制御部６５０において、撮影映像を空間モデルにマッピングし、運転者の視線の高さの仮想視点からマッピングされた画像を見たときの映像を生成する。これにより、運転者は、車両後方の状況を、より正確に認識することが可能となる。

そして、ステップＳ１９００において、ＥＣＵ６００は、後方発進解除となったか否かを判断する。すなわち、ＥＣＵ６００は、制御部６５０において、後方発進解除を示す車両状態信号が入力されたか否かを判断する。ＥＣＵ６００は、後方発進解除となっていない間は（Ｓ１９００：ＮＯ）、後方発進解除となったか否かの判断を繰り返し行い、後方発進解除となると（Ｓ１９００：ＹＥＳ）、ステップＳ２０００へ進む。

ステップＳ２０００において、ＥＣＵ６００は、撮影映像の取得、障害物検出、および撮影映像の表示を停止して、ステップＳ１３００へ進む。すなわち、ＥＣＵ６００は、制御部６５０において、撮影映像データの入力と、撮影映像からの障害物検出および検出結果の表示と、表示映像データの出力とをそれぞれ停止する。

そして、ＥＣＵ６００は、処理の終了を指示されると（Ｓ１３００：ＹＥＳ）、一連の処理を終了する。

このような動作により、ＥＣＵ６００は、車両が後方発進する際に、照度値差を利用して後退灯の故障を検出し、ユーザに対する警告を行うことができる。

以上説明したように、本実施の形態に係る車両後方監視部を含む車両後方監視システム１００は、車両が後方発進する際に、後方発進前後の車両後方の照度値差を閾値と比較する。そして、車両後方監視システム１００は、照度値差が閾値より小である場合には、後退灯が故障していると判断し、障害物検出処理を行わずに車両の運転者に対する警告を発生させる。これにより、車両後方監視システム１００は、後退灯が故障している場合に、誤った障害物検出結果の提示を回避すると共に、後退灯の修理等を速やかに行うようユーザに促すことができ、車両の後方発進時における車両運転の安全性を向上させることができる。すなわち、車両後方監視システム１００は、後退灯が正しく点灯しなければ、撮影映像からの障害物の視認や検出に必要な光量を確保できないような場合に、障害物の検出漏れや障害物の見落としの可能性を低減することができる。

車両後方監視システム１００は、後退灯が正しく点灯しない場合だけでなく、正しく消灯しない場合にも、警告を発することになる。したがって、車両後方監視システム１００は、後方発進しないにもかかわらず後退灯が点灯し、他の車両の運転者や歩行者に誤解を与えるといった事態を防ぐことができる。

なお、車両後方監視システム１００は、後退灯が故障していると判断した場合に、撮影映像の表示を停止するようにしても良い。これにより、車両後方監視システム１００は、ユーザに対して目視で車両後方を確認するように促すことができ、車両の後方発進時における車両運転の安全性を更に向上させることができる。

また、車両後方監視システム１００は、車両後方の照度に関する、照度値以外のパラメータの変化に基づいて、後退灯の故障を検出するようにしても良い。例えば、車両後方監視システム１００は、撮影映像の画面全体の輝度平均値を取得し、後方発進前後の輝度平均値の差分が閾値より小であるとき、警告を行う。この場合、外部環境検知部４００および外部環境情報入力部６３０を不要とすることができ、システムの低コスト化および小型化を図ることができる。

また、車両後方監視システム１００が車両が発進すると判断する基準は、上述の例に限定されない。例えば、車両後方監視システム１００は、車両のエンジンの始動またはシフトレバーへの接触があったとき、車両が発進すると判断しても良い。すなわち、車両後方監視システム１００は、警告の開始および停止のトリガとして、実際の車両の発進や停止の検出を用いても良いし、車両の発進や停止を意図する運転者の操作を用いても良い。

また、車両後方監視システム１００は、車両が発進するか否かに関わらず、映像表示および障害物検出を継続して行っても良い。

また、車両後方監視システム１００は、警告を、光の点灯、運転席やハンドルの振動等としても良い。また、車両後方監視システム１００は、複数種類の警告を組み合わせて行っても良い。

更に言えば、車両後方監視システム１００が行う警告は、車両の動作を制御するものであっても良い。この場合、例えば、ＥＣＵ６００は、車両のブレーキ制御装置に対して、車両の停車および停車の解除を指示する制御信号を出力する。または、例えば、ＥＣＵ６００は、車両のアクセル制御装置に対して、車両の減速および減速の解除を指示する制御信号を出力する。

本発明に係る車両後方監視装置および車両後方監視方法は、車両の後方発進時における車両運転の安全性を向上させることができる車両後方監視装置および車両後方監視方法として有用である。

１００ 車両後方監視システム
２００ 撮像部
３００ 車両状態検知部
４００ 外部環境検知部
５００ 表示部
６００ ＥＣＵ
６１０ 映像入力部
６２０ 車両状態入力部
６３０ 外部環境情報入力部
６４０ 映像出力部
６５０ 制御部

Claims (4)

1. 後退灯を有する車両の後方を監視する車両後方監視装置であって、
   前記車両の後方の撮影映像を用いて障害物検出処理を行う制御部を有し、
   前記制御部は、
   前記車両が後方発進する前後における前記車両の後方の照度に関するパラメータの差分が閾値より大であるとき、前記車両の後方発進後、前記障害物検出処理を行い、かつ、前記撮影映像を前記車両内の画面に表示させ、
   前記車両が後方発進する前後における前記パラメータの差分が前記閾値より小であるとき、前記車両の後方発進後、前記障害物検出処理を行わずに前記車両の運転者に対する警告を発生させ、かつ、前記撮影映像を前記画面に表示させない、
   車両後方監視装置。
2. 前記パラメータは、前記車両の後方の照度を測定する照度センサの測定値である、
   請求項１記載の車両後方監視装置。
3. 前記パラメータは、前記撮影映像の輝度に関する値である、
   請求項１記載の車両後方監視装置。
4. 後退灯を有する車両の後方を監視する車両後方監視方法であって、
   前記車両の後方の照度に関するパラメータを取得するステップと、
   前記車両が後方発進する前後における前記パラメータの差分が閾値より大であるとき、前記車両の後方発進後、前記車両の後方の撮影映像を用いて障害物検出処理を行い、かつ、前記撮影画像を前記車両内の画面に表示させるステップと、
   前記車両が後方発進する前後における前記パラメータの差分が前記閾値より小であるとき、前記車両の後方発進後、前記障害物検出処理を行わずに前記車両の運転者に対する警告を発生させ、かつ、前記撮影画像を前記画面に表示させないステップと、を有する、
   車両後方監視方法。

Images