JP4962788B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両周辺監視装置に関するものである。

車両の前方を撮影するフロントカメラ、後方を撮影するバックカメラ（バックモニタともいう）、および側面を撮影するサイドカメラを備え、いずれかのカメラで撮影された車両周辺の画像を車室内の表示器に表示するモニタシステムが普及しつつある。

表示器は、車室内で最も見やすくなるように、車両のセンターコンソール近辺に搭載される場合が多い。この場合、ユーザは前後左右のどのカメラからの画像が表示されている瞬時に識別できないことがある。

そこで、カメラで撮影された画像を変形することで、前後左右のどのカメラからの画像が表示されているかを分かりやすく示す車両周辺モニタシステムおよび車両周辺モニタ方法が考案されている（特許文献１参照）。

特開２００５−１５０９３８号公報

特許文献１の例では、カメラで撮影された画像を変形する必要がある。この場合、カメラのレンズの特性や車体の形状に合わせて、画像を変形しなければならず、画像変形処理が車両毎に異なるという問題がある。

上記問題を背景として、本発明の課題は、カメラのレンズの特性や車体の形状に影響されず、簡易な構成でどのカメラからの画像が表示されているかを分かりやすく示す車両周辺監視装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するための車両周辺監視装置は、車両に搭載され、当該車両の周囲を撮影する複数の車両周囲撮影手段と、車両周囲撮影手段が撮影する車両周囲画像を表示する表示器と、表示器に車両周囲画像を表示する要求が発生したか否かを判定する表示要求判定手段と、表示要求判定手段により表示要求が発生したと判定され、表示器に、該表示要求に対応する車両周囲画像を表示する際に、該車両周囲画像を撮影した車両周囲撮影手段の搭載位置を識別可能とするための視覚効果を適用して該表示器に該車両周囲画像を表示する表示制御手段と、を備えることを前提とする。

視覚効果はアニメーション画像においては一般的に用いられるものである。上記構成によって、カメラ（車両周囲撮影手段）のレンズの特性や車体の形状に影響されず、簡易な構成でどのカメラからの車両周囲画像が表示されているかを分かりやすく示すことが可能となる。

また、本発明の車両周辺監視装置における表示制御手段は、表示要求判定手段により表示要求が発生したと判定され、表示器に車両周囲画像を表示する際に、車両周囲画像の撮影範囲を識別可能とするための視覚効果を適用して表示器に車両周囲画像を表示するように構成することもできる。

上記構成によって、カメラ等の車両周囲撮影手段の撮影範囲が分かる。

また、本発明の車両周辺監視装置における表示器は、複数の車両周囲撮影手段により撮影された前記車両周囲画像を合成表示するものであり、表示制御手段は、表示要求判定手段により表示要求が発生したと判定された場合、合成表示された車両周囲画像のうち、該表示要求の対象となる車両周囲撮影手段が撮影した車両周囲画像に視覚効果を適用して、他の車両周囲撮影手段により撮影された車両周囲画像と合成表示するように構成することもできる。

上記構成によって、複数の車両周囲画像が合成表示されている場合でも、どのカメラ（画像）に対する表示要求が発生したが分かる。

また、本発明の車両周辺監視装置は、ユーザが表示器に車両周囲画像を表示させるための操作入力を行う操作入力部を備え、表示要求判定手段は、検出されたユーザの操作入力に基づいて表示要求が発生したか否かを判定するように構成することもできる。

上記構成によって、ユーザは、操作入力に基づく、ユーザが見たいカメラからの車両周囲画像が表示されているか否かを確認することが可能となる。

また、本発明の車両周辺監視装置は、車両の方向指示器の操作を検出する方向指示器操作検出手段を備え、表示要求判定手段は、検出された方向指示器の操作に基づいて表示要求が発生したか否かを判定するように構成することもできる。

ユーザは、方向指示器の操作時には、方向指示の対象となる方向の状況を確認しようとする。上記構成によって、カメラを自動的に選択することができ、ユーザは見たいカメラからの車両周囲画像が表示されているか否かを識別することが可能となる。

また、本発明の車両周辺監視装置は、車両のシフトポジションを検出するシフトポジション検出手段を備え、表示要求判定手段は、検出されたシフトポジションに基づいて表示要求が発生したか否かを判定するように構成することもできる。

ユーザは、前進中は車両前方の画像を、後退中は車両後方の画像を見たいことが多い。上記構成によっても、カメラを自動的に選択することができ、ユーザは見たいカメラからの車両周囲画像が表示されているか否かを識別することが可能となる。

また、本発明の車両周辺監視装置は、車両が縦列駐車を開始したか否かを判定する縦列駐車開始判定手段を備え、表示要求判定手段は、車両が縦列駐車を開始したと判定された場合に、表示要求が発生したと判定するように構成することもできる。

縦列駐車等の、いわゆる「車庫入れ」は、車両の後方や側方の状況を十分確認しながら行う必要があり、これを苦手とするユーザは少なくない。この場合、バックカメラとサイドカメラの画像を適宜切り替えて確認する必要があるが、いずれのカメラからの画像かを瞬時に識別できない場合もある。上記構成によっても、カメラを自動的に選択することができ、ユーザはどのカメラからの車両周囲画像が表示されているか否かを識別することが可能となる。

また、本発明の車両周辺監視装置は、道路地図データを、道路間の合流地点に関する情報とともに記憶する道路地図データ記憶手段と、道路地図上の車両の現在位置を検出する位置検出手段と、道路地図上において、車両が走行中の道路を走行方向とともに特定する走行中道路特定手段と、道路地図データと車両の現在位置とに基づいて、走行中の道路の走行方向前方に存在する合流地点に、予め定められた距離まで接近したか否かを判定する合流地点接近判定手段と、を備え、表示要求判定手段は、車両が合流地点に、その距離まで接近したと判定された場合に、表示要求が発生したと判定するように構成することもできる。

上記構成によって、例えば、高速道路等の高規格道路の合流点等のような、方向指示器を操作しなければならないポイントに進入する場合に、ユーザの方向指示器の操作がない場合でも、カメラを自動的に選択することができ、ユーザは見たいカメラからの車両周囲画像が表示されているか否かを識別することが可能となる。

また、本発明の車両周辺監視装置は、表示器は、車両の車室内ミラーに隣接する位置に該車室内ミラーと一体に結合され、該車両の車室内にて運転席から視認可能な位置に取り付けられるミラー一体型表示ユニットとして構成されるように構成することもできる。

上記構成によって、車室内ミラーに映し出される映像とともに、撮影手段による車両周囲画像を一括して視認することができる。車室内ミラーに映し出される映像は、ミラーの取付位置から方向等を直感的に把握しやすく、これにそのミラーの死角等を補う撮影画像を組み合せ、同方向の視線にてそれらを一括視認することで、単にミラーのみあるいは撮影画像のみを用いる場合よりも多くの視覚情報により、車両周囲の注意対象物の存在状況をより詳細かつ迅速に把握することができるようになる。さらに、撮影画像がどのカメラからのものかを識別することができるので、車両の周囲の状況把握をより詳細かつ迅速に行うことができる。

また、本発明の車両周辺監視装置における視覚効果は、表示器の表示画面の予め定められた位置から、予め定められた方向へ逐次表示領域を拡大しつつ、撮影された車両周囲画像を表示するように構成することもできる。

画像の表示時の視覚効果として、スライドイン，フェードイン，ズームイン等の技術が知られている。上記構成によって、表示される車両周囲画像がどのカメラからのものかを識別することができる。

また、本発明の車両周辺監視装置における視覚効果は、記車両周囲画像が表示される際に、予め定められた車両周囲画像の撮影範囲を識別可能とするための表示指標画像を表示するように構成することもできる。

上記構成によっても、表示される車両周囲画像がどのカメラからのものかを識別することができる。

また、本発明の車両周辺監視装置は、視覚効果が適用される際に、該視覚効果に対応した効果音を出力する効果音出力手段を備えるように構成することもできる。

上記構成によって、視覚に加えて聴覚によっても、車両周囲画像を撮影した車両周囲撮影手段の搭載位置あるいは車両周囲画像の撮影範囲を識別可能となる。

以下、本発明の車両周辺監視装置を、車両用ナビゲーション装置に適用したものを例に挙げて、図面を参照しながら説明する。無論、車両周辺監視装置を、車両用ナビゲーション装置とは別の、独立した車載装置として構成してもよい。

図１に、車両用ナビゲーション装置（以下、ナビゲーション装置と略称）１００の構成を示すブロック図を示す。ナビゲーション装置１００は、位置検出器１，地図データ入力器６，操作スイッチ群７，リモートコントロール（以下リモコンと称する）センサ１１，音声案内などを行う音声合成回路２４，スピーカ１５，メモリ９，表示器１０，送受信機１３，ハードディスク装置（ＨＤＤ）２１，ＬＡＮ(Local Area Network) Ｉ／Ｆ（インターフェース）２６，これらの接続された制御回路８，リモコン端末１２等を備えている。

位置検出器１は、周知の地磁気センサ２，車両１０１（図２参照）の回転角速度を検出するジャイロスコープ３，車両１０１の走行距離を検出する距離センサ４，および衛星からの電波に基づいて車両１０１の位置を検出するＧＰＳ受信機５を有している。これらのセンサ等２，３，４，５は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリングの回転センサ例えば操舵角センサ３６等や、各転動輪の車輪センサ例えば車速センサ２３等を用いてもよい。なお、位置検出器１が本発明の位置検出手段に相当する。

操作スイッチ群７は、例えば表示器１０と一体になった周知のタッチパネル２２もしくはメカニカルなスイッチが用いられる。メカニカルスイッチの他に、マウスやカーソル等のポインティングデバイスを用いてもよい。

また、マイク３１および音声認識ユニット３０を用いて種々の指示を入力することも可能である。これは、マイク３１から入力された音声信号を、音声認識ユニット３０において周知の隠れマルコフモデル等の音声認識技術により処理を行い、その結果に応じた操作コマンドに変換するものである。これら本発明の操作入力部に相当する、操作スイッチ群７，リモコン端末１２，タッチパネル２２，およびマイク３１により、種々の指示を入力することが可能である。

送受信機１３は、例えば道路に沿って設けられた送信機（図示せず）から出力される光ビーコン、または電波ビーコンによってＶＩＣＳ（Vehicle Information and Communication System：道路交通情報通信システム，登録商標）センタ１４から道路交通情報を受信、あるいはＦＭ多重放送を受信するための装置である。また、送受信機１３を用いてインターネット等の外部ネットワークに接続可能な構成としてもよい。

制御回路８は、周知のＣＰＵ８１，ＲＯＭ８２，ＲＡＭ８３，入出力回路であるＩ／Ｏ８４，Ａ／Ｄ変換部８６，描画部８７，画像処理部８９，およびこれらの構成を接続するバスライン８５が備えられている。ＣＰＵ８１は、ＨＤＤ２１に記憶されたナビプログラム２１ｐおよびデータにより制御を行う。また、ＨＤＤ２１へのデータの読み書きの制御はＣＰＵ８１によって行われる。また、ＣＰＵ８１からＨＤＤ２１に対してデータの読み書きの制御ができなくなった場合のために、ＲＯＭ８２にナビゲーション装置１００として必要最低限の動作を行うためのプログラムを記憶しておいてもよい。

なお、制御回路８が本発明の表示要求判定手段，表示制御手段，縦列駐車開始判定手段，走行中道路特定手段，合流地点接近判定手段に相当する。

Ａ／Ｄ変換部８６は周知のＡ／Ｄ（アナログ／デジタル）変換回路を含み、例えば位置検出器１などから制御回路８に入力されるアナログデータをＣＰＵ８１で演算可能なデジタルデータに変換するものである。

描画部８７は、ＨＤＤ２１等に記憶された道路地図データ２１ｍ（後述），表示用のデータや表示色のデータから表示器１０に表示させるための表示画面データを生成する。

画像処理部８９は、公知のパターン認識などの技術によってフロントカメラ４０，サイドカメラ４１，およびリアカメラ４２（後述）によって撮影された画像に視覚効果を適用する周知の画像処理回路を含んで構成される。

ＨＤＤ２１には、ナビプログラム２１ｐの他に位置検出の精度向上のためのいわゆるマップマッチング用データ、道路の接続を表した道路データを含む地図データベースである道路地図データ２１ｍが記憶される。道路地図データ２１ｍは、表示用となる所定の地図画像情報を記憶するとともに、リンク情報やノード情報等を含む道路網情報を記憶する。リンク情報は、各道路を構成する所定の区間情報であって、位置座標，距離，所要時間，道幅，車線数，制限速度等から構成される。また、ノード情報は、交差点（分岐路）等を規定する情報であって、位置座標，右左折車線数，接続先道路リンク等から構成される。また、リンク間接続情報には、通行の可不可を示すデータなどが設定されている。なお、道路地図データ２１ｍが本発明の道路地図データ記憶手段に相当する。

また、ＨＤＤ２１には経路案内の補助情報や娯楽情報、その他にユーザが独自にデータを書き込むことができ、ユーザデータ２１ｕとして記憶される。また、ナビゲーション装置１００の動作に必要なデータや各種情報はデータベース２１ｄとしても記憶される。

ナビプログラム２１ｐ，道路地図データ２１ｍ，ユーザデータ２１ｕ，およびデータベース２１ｄは、地図データ入力器６を介して記憶媒体２０からそのデータの追加・更新を行うことが可能である。記憶媒体２０は、そのデータ量からＣＤ−ＲＯＭやＤＶＤを用いるのが一般的であるが、例えばメモリカード等の他の媒体を用いてもよい。また、外部ネットワークを介してデータをダウンロードする構成を用いてもよい。

メモリ９はＥＥＰＲＯＭ（Electrically Erasable ＆ Programmable Read Only Memory：電気的消去・プログラム可能・読出し専用メモリ）やフラッシュメモリ等の書き換え可能なデバイスによって構成され、ナビゲーション装置１００の動作に必要な情報およびデータが記憶されている。なお、メモリ９は、ナビゲーション装置１００がオフ状態になっても記憶内容が保持されるようになっている。また、ナビゲーション装置１００の機能あるいは動作に応じて、必要な情報およびデータをメモリ９とＨＤＤ２１に分けて記憶してもよい。

表示器１０は周知のカラー液晶表示器で構成され、ドット・マトリックスＬＣＤ（Liquid Crystal Display）およびＬＣＤ表示制御を行うための図示しないドライバ回路を含んで構成されている。ドライバ回路は、例えば、周知のアクティブマトリックス駆動方式が用いられ、制御回路８（描画部８７）から送られる表示指令および表示画面データに基づいて表示を行う。また、表示器１０として有機ＥＬ（ElectroLuminescence：電界発光）表示器，プラズマ表示器を用いてもよい。表示器１０は、例えば車両のセンターコンソールに配置される（図２２参照）。

スピーカ１５は周知の音声合成回路２４に接続され、ナビプログラム２１ｐの指令によってメモリ９あるいはＨＤＤ２１に記憶されるデジタル音声データが音声合成回路２４においてアナログ音声に変換されたものが送出される。なお、音声合成の方法には、音声波形をそのままあるいは符号化して蓄積しておき必要に応じて繋ぎ合わせる録音編集方式、文字入力情報からそれに対応する音声を合成するテキスト合成方式などがある。なお、スピーカ１５が本発明の効果音出力手段に相当する。

車速センサ２３は周知のロータリエンコーダ等の回転検出部を含み、例えば車輪取り付け部付近に設置されて車輪の回転を検出してパルス信号として制御回路８に送るものである。制御回路８では、その車輪の回転数を車両１０１の速度に換算する他に、車両１０１の現在位置から所定の場所までの予想到達時間を算出したり、車両１０１の走行区間毎の平均車速を算出する。なお、車速センサ２３が本発明の車速検出手段に相当する。

ＬＡＮ Ｉ／Ｆ２６は車内ＬＡＮ２７を介して他の車載機器やセンサとのデータの遣り取りを行うためのインターフェース回路である。また、ＬＡＮ Ｉ／Ｆ２６を介して車速センサ２３等からのデータ取り込みを行ってもよい。

このような構成を持つことにより、ナビゲーション装置１００は、制御回路８のＣＰＵ８１によりナビプログラム２１ｐが起動されると、ユーザが操作スイッチ群７，タッチパネル２２，リモコン端末１２の操作、あるいはマイク３１からの音声入力によって、表示器１０上に表示されるメニュー（図示せず）から目的地経路を表示器１０に表示させるための経路案内処理を選択した場合、次のような処理を実施する。

すなわち、ユーザが目的地を探索して目的地が設定されると、位置検出器１により車両１０１の現在位置が求められ、該現在位置を出発地として目的地までの最適な案内経路を求める処理が行われる。そして、表示器１０上の道路地図に案内経路を重ねて表示し、ユーザに適切な経路を案内する。このような自動的に最適な案内経路を設定する手法は、ダイクストラ法等の手法が知られている。また、表示器１０およびスピーカ１５の少なくとも一方によって、操作時のガイダンスや動作状態に応じたメッセージの報知を行う。

フロントカメラ４０，サイドカメラ４１，およびリアカメラ４２は、車両１０１の周囲を撮影するもので、周知のＣＣＤカメラで構成される。図２のように、フロントカメラ４０は、車両の前方を撮影するもので、例えば、車両１０１のフロントグリルあるいはフロントバンパーに取り付けられ、撮影範囲は例えばＲ１で表される。サイドカメラ４１は、車両１０１の左側方を撮影する左サイドカメラ４１ａおよび車両１０１の右側方を撮影する右サイドカメラ４１ｂを含み、例えば、車両１０１の左右ドアミラー１０２，１０３の筐体下部にそれぞれ取り付けられ、撮影範囲は例えばＲ２ａ，Ｒ２ｂで表される。リアカメラ４２は、車両の後方を撮影するもので、例えば、車両１０１のリアナンバープレート取り付け部近傍あるいはリアバンパーに取り付けられ、撮影範囲は例えばＲ３で表される。なお、フロントカメラ４０，サイドカメラ４１，リアカメラ４２が本発明の車両周囲撮影手段に相当する。

図１に戻り、操舵角センサ３６は、操舵ハンドル３５（図２２参照）の操舵角を検出するもので、周知のレゾルバ等の回転角度を電気信号に変換する素子あるいは回路を用いて構成される。制御回路８では、その電気信号に基づいて操舵角を算出する。なお、操舵角センサ３６が本発明の操舵角検出手段に相当する。

シフトポジションセンサ３９は、シフトレバー３７（図２２参照）あるいは変速機のギア（図示せず）の位置を検出するものである。シフトレバーあるいはギアの位置毎にスイッチが配設され、車両のシフトレバーあるいはギアの位置に応じて該スイッチの状態が変化するようになっている。オートマチックトランスミッション搭載車両の場合には、車両運転席の計器パネルあるいはシフトレバーの近傍に現在のシフト位置が点灯表示されるものがあるので、点灯している位置を検出して現在のシフト位置として判定する方法を用いてもよい。なお、シフトポジションセンサ３９が本発明のシフトポジション検出手段に相当する。

方向指示器スイッチ４３は、例えば操舵ハンドル３５（図２２参照）のステアリングコラムに取り付けられるウィンカーレバーとして構成される。制御回路８は、方向指示器スイッチ４３の動作状況を取得する。なお、方向指示器スイッチ４３が本発明の方向指示器操作検出手段に相当する。

図３を用いて、車両周囲画像（以下、「画像」と略称することもある）の表示制御処理について説明する。なお、本処理はナビプログラム２１ｐに含まれ、ナビプログラム２１ｐの他の処理とともに繰り返し実行される。まず、車両周囲画像の表示要求の有無を判定する表示要求判定処理を実行する（Ｓ１１，後述）。

次に、表示要求があると判定された場合（Ｓ１２：Ｙｅｓ）、すなわち各カメラ（フロントカメラ４０，左サイドカメラ４１ａ，右サイドカメラ４１ｂ，およびリアカメラ４２）に対応してメモリ９等に領域が設定されている表示要求フラグがセットされている場合、その表示要求フラグの内容に基づいて（Ｓ１３：ａ，ｃ，ｂ）、表示する車両周囲画像を取得する（Ｓ１４，Ｓ１５，Ｓ１６）。そして、各カメラで撮影された車両周囲画像毎に設定されている視覚効果を適用して、表示器１０に画像を割り込み（あるいは合成）表示させる（Ｓ１７）。最後に、表示要求フラグをクリアする（Ｓ１８）。

（表示要求判定処理１）
図４を用いて、図３のステップＳ１１に相当する表示要求判定処理について説明する。まず、ユーザの操作スイッチ群７，タッチパネル２２，リモコン端末１２の操作、あるいはマイク３１からの音声入力によって、表示器１０の表示画面に図５のようなカメラ選択画面を表示させる（Ｓ３１）。図５の表示画面上のカメラを示すボタン（フロント，左サイド，右サイド，リア）が押下された場合（Ｓ３２：Ｙｅｓ）、そのカメラ位置に対応した表示要求フラグをセットする（Ｓ３３）。なお、カメラ位置は１ヶ所のみ選択可能であり、複数のボタンを押下した場合は、最後に押下したボタンに対応するカメラに対応した表示要求フラグをセットする。ただし、表示器１０が画面を分割表示可能な構成であったり、複数の画像を合成表示可能な構成である場合には、同時に複数選択することができる。

（表示要求判定処理２）
図７を用いて、図３のステップＳ１１に相当する表示要求判定処理の別例について説明する。まず、車速センサ２３から車速情報を取得する（Ｓ５１）。次に、取得した車速に基づいて、車両１０１が停車中か否かを判定する。例えば、車速が５ｋｍ／ｈのような、予め定められた値を下回る場合に、車両が停車中と判定する。

車両が停車中と判定された場合（Ｓ５２：Ｙｅｓ）、方向指示器スイッチ４３から方向指示器情報を取得する（Ｓ５５）。

一方、車両が停車中と判定されなかった場合（Ｓ５２：Ｎｏ）、位置検出器１から車両１０１の現在位置情報を取得する（Ｓ５３）。そして、道路地図データ２１ｍを参照して、地図上の現在位置を特定し、その現在位置が交差点から予め定められた範囲内に含まれるか否かを判定する。現在位置が交差点から予め定められた範囲内に含まれると判定された場合（Ｓ５４：Ｙｅｓ）、方向指示器スイッチ４３から方向指示器情報を取得する（Ｓ５５）。

方向指示器情報に、右左折あるいは進路変更を行っている内容が含まれている場合、すなわち方向指示器が操作されている場合（Ｓ５６：Ｙｅｓ）、方向指示器の操作方向に対応するサイドカメラ４１（左サイドカメラ４１ａ，右サイドカメラ４１ｂ）の表示要求フラグをセットする（Ｓ５７）。各サイドカメラの代わりに、フロントカメラ４０に対応する表示要求フラグをセットしてもよい。

（表示要求判定処理３）
図８を用いて、図３のステップＳ１１に相当する表示要求判定処理の別例について説明する。まず、車速センサ２３，操舵角センサ３６，シフトポジションセンサ３９のセンサ情報を取得する（Ｓ７１）。

次いで、操舵角が予め定められた閾値（操舵角閾値）を上回り（Ｓ７２：Ｙｅｓ）、車速が予め定められた閾値を下回り停車中であり（Ｓ７３：Ｙｅｓ）、かつシフトポジションが後退位置（「Ｒ」）に遷移した場合（Ｓ７４：Ｙｅｓ）、リアカメラ４２に対応する表示要求フラグをセットする（Ｓ７５）。

縦列駐車や車庫入れの場合、車両を停止させた後に、方向転換のため操舵ハンドルを右あるいは左一杯近くまで回すことが多い。上記処理を実行することによって、ユーザが縦列駐車を行おうとしているか否かを判定できる。

（表示要求判定処理４）
図９を用いて、図３のステップＳ１１に相当する表示要求判定処理の別例について説明する。まず、位置検出器１から車両１０１の現在位置情報を取得する（Ｓ９１）。次いで、道路地図データ２１ｍを参照して、車両１０１の進行方向のリンクに合流地点、すなわち現在走行中のリンクに接続する他のリンクが存在するか否かを調べる。

合流地点が存在する場合（Ｓ９２：Ｙｅｓ）、２つのリンクの交点であるノードにおける退出方向の数を調べる（Ｓ９３）。そして、退出方向が一つの場合（Ｓ９４：Ｙｅｓ）、退出道路が本線か否かを調べる。本線か否かは、２つのリンク（すなわち道路）の種別の位置付けの高いもの（例：国道＞県道＞市道），幅員の広いもの，優先道路であるもの、等により判別する。

退出道路が本線、すなわち車両１０１が本線に合流する道路を走行中の場合（Ｓ９５：Ｙｅｓ）、位置検出器１から車両１０１の現在位置情報を取得する（Ｓ９６）。次いで、車速センサ２３から車両１０１の車速情報を取得する（Ｓ９７）。そして、車両１０１の現在位置と合流地点との距離と、車両１０１の車速とから、車両１０１が現在位置から合流地点へ到達するまでの時間を推定演算する。その結果、車両１０１の合流地点への到達時間が、例えば５秒のような予め定められた値を下回る場合（Ｓ９８：Ｙｅｓ）、当該合流地点での進路変更方向に対応するサイドカメラ４１（左サイドカメラ４１ａ，右サイドカメラ４１ｂ）、あるいはフロントカメラ４０の表示要求フラグをセットする（Ｓ９９）。

（表示要求判定処理５）
図２４を用いて、図３のステップＳ１１に相当する表示要求判定処理の別例について説明する。まず、シフトポジションセンサ３９の情報を取得する（Ｓ１１１）。次に、シフトポジションが「Ｄ」のような前進位置に遷移した場合（Ｓ１１２：Ｙｅｓ）、フロントカメラ４０の表示要求フラグをセットする（Ｓ１１５）。また、シフトポジションが「Ｒ」のような後退位置に遷移した場合（Ｓ１１３：Ｙｅｓ）、リアメラ４２の表示要求フラグをセットする（Ｓ１１４）。

以下、視覚効果の詳細について、左サイドカメラ４１ａの撮影画像の画面表示を例に挙げて説明する。図１０に左サイドカメラ４１ａで撮影され、表示器１０の表示画面上に撮影される画像の例を示す。

図１１，図１２に、視覚効果の一つであるスライドインを用いた切替表示例を示す。図１１では、図１１（ａ）→図１１（ｂ）→図１１（ｃ）→図１１（ｄ）のように、左サイドカメラ４１ａの画像であることを識別可能とするために、画面左側から右側に向かって画像がスライド表示され、最終的に図１０の画像が表示される。同様に、図１２も、図１２（ａ）→図１２（ｂ）→図１２（ｃ）→図１２（ｄ）→図１０のように表示される。図１１の例では、左サイドカメラ４１ａで撮影された画像のみがスライド表示され、背景画像はスライドイン終了後に表示される。また、図１２の例では、表示画面に表示される画像全体がスライド表示される。

図１３に、視覚効果の一つであるフェードインを用いた切替表示例を示す。図１３（ａ）→図１３（ｂ）→図１３（ｃ）→図１３（ｄ）のように、画面の左端から右端に向かって画像が順次表示され、最終的に図１０の画像が表示される。この例でも、左サイドカメラ４１ａの画像であることを識別できる。

図１４に、左サイドカメラ４１ａの画像であることを識別可能とするための表示指標画像を表示する例を示す。図１４（ａ）→図１４（ｂ）→図１４（ｃ）→図１４（ｄ）のように、まず画像全体を表示し、その後で、例えば縦線画像Ｘ（表示指標画像）を画面の左端から右端に向かって移動表示させる。これにより、ユーザは左右いずれのサイドカメラの画像かを識別できる。なお、縦線画像Ｘは、画面の右端に到達すると消える。

図１５に、画像の左右方向の表示領域を段階的に変化させて表示する例を示す。まず図１５（ａ）のように、画像の左右方向が圧縮された画像が表示される。続いて、図１５（ｂ）→図１５（ｃ）→図１５（ｄ）のように、画面横方向の画像表示の圧縮率が１：１に近づくように変化させ、最後に、図１０のように、表示画面全体に画像が表示される。すなわち、画面右側から左側に画像を倒すように描画する。これは、ドアミラーが格納位置から開く際に、ミラーに写し出される風景を擬似的に表したものである。この方法でも、ユーザは左右いずれのサイドカメラの画像かを識別できる。

図１６に、視覚効果の一つであるズームインを用いた切替表示例を示す。図１６（ａ）→図１６（ｂ）→図１６（ｃ）→図１６（ｄ）のように、画面の左上隅からズームインするものである。最後に、図１０のように、表示画面全体に画像が表示される。

図１１〜図１６の画像表示例において、右サイドカメラ４１ｂの画像を表示する場合は、表示・描画の方向が逆向きとなる。

フロントカメラ４０で撮影された画像を表示する際に用いる表示効果は、上述のサイドカメラと同様であるが、画像の表示方向は画面上部→下部となり、ユーザにフロントカメラ４０からの画像であることを識別可能としている。図１７，図１８に画像表示の一例を示す。図１８の例は、図１５と同様の視覚効果を適用したもので、図１８（ａ）→図１８（ｂ）→図１８（ｃ）→図１８（ｄ）のように、画像全体の上下方向の表示圧縮率を段階的に変化させ、最後に、図１７のように、表示画面全体に画像が表示されるものである。

リアカメラ４２で撮影された画像を表示する際に用いる表示効果は、上述のサイドカメラと同様であるが、画像の表示方向は画面下部→上部となり、ユーザにリアカメラ４２からの画像であることを識別可能としている。図１９，図２０に画像表示の一例を示す。図２０の例は、図１５と同様の視覚効果を適用したもので、図２０（ａ）→図２０（ｂ）→図２０（ｃ）→図２０（ｄ）のように、画像全体の上下方向の表示圧縮率を段階的に変化させ、最後に、図１９のように、表示画面全体に画像が表示されるものである。

図１０〜図１８の例では、表示器１０の表示画面に、それぞれのカメラで撮影された車両周囲画像の他に、それぞれのカメラの撮影範囲も表示される。図１０では画面左上、図１７では画面中央上部の画像に相当する。これにより、表示効果を見る機会を逃しても、カメラの撮影範囲とともに、どのカメラからの画像かを識別することができる。

また、上述の視覚効果を適用する際に、視覚効果に対応した効果音を出力してもよい。例えば、図１１，図１２のようなスライドイン表示の場合には、スライド音を出力し、図１５のような画面右側から左側に画像を倒すように描画する場合には、物が倒れる、あるいは扉が開くような音を出力する。

どのカメラ画像にどの視覚効果，効果音を適用するかは、データベース２１ｄあるいはメモリ９に記憶されている。図６にその一例を示す。ユーザの操作スイッチ群７，タッチパネル２２，リモコン端末１２の操作、あるいはマイク３１からの音声入力によって、適用する視覚効果，効果音を設定可能としてもよい。また、ユーザの好みの効果音を、マイク３１、あるいは車内ＬＡＮ等に接続された外部機器から、ユーザデータ２１ｕとして記憶し、その効果音を用いる構成としてもよい。

図２１のように、表示器１０の画面の横方向のサイズが、左サイドカメラ４１ａ，右サイドカメラ４１ｂで撮影された画像の横方向のサイズよりも大きい場合、左サイドカメラ４１ａで撮影された画像は、表示器１０の画面に対して左詰めに表示する。右サイドカメラ４１ｂで撮影された画像は、右詰めに表示する。この場合にも、上述の視覚効果，効果音を適用する。同様に、表示器１０の画面の縦方向のサイズが、フロントカメラ４０，リアカメラ４２で撮影された画像の縦方向のサイズよりも大きい場合にも、それぞれ上詰め、下詰めに表示する。

表示器をミラーに隣接する位置に該車室内ミラーと一体に結合され、該車両の車室内にて運転席から視認可能な位置に取り付けられるミラー一体型表示ユニットととして構成してもよい。図２２に、ミラー一体型表示ユニット２０１Ｍの、車室内における取付形態の一例を模式的に示す。なお、ミラー一体型表示ユニット２０１Ｍが本発明の表示器に相当する。

ミラー一体型表示ユニット２０１Ｍは、車室内ミラー２０２Ｍと、当該車室内ミラー２０２Ｍに隣接する位置に、該車室内ミラー２０２Ｍと一体不可分に結合され、上記のカメラ（フロントカメラ４０，左サイドカメラ４１ａ，右サイドカメラ４１ｂ，およびリアカメラ４２）が撮影する車両周囲画像２３０Ｒ，２３０Ｌを表示する表示装置２０２Ｒ，２０２Ｌとを有し、車両１０１の車室内にて運転席ＤＳから視認可能な位置に取り付けられている。具体的には、ミラー一体型表示ユニット２０１Ｍにおいて車室内ミラーはバックミラー２０２Ｍであり、車両（１０１）のフロントガラスＦＧの中央上方に臨む位置に取り付けられている。

図２３に示すように、バックミラー２０２Ｍは、右側方視野画像表示画面２０２Ｒと左側方視野画像表示画面２０２Ｌとの間に位置する中間領域２５１Ｍとともに、それら右側方視野画像表示画面２０２Ｒおよび左側方視野画像表示画面２０２Ｌとを一括して覆う横長形状のハーフミラー２５０として構成されている。各画面２０２Ｒ，２０２Ｌに表示される画像は、各々ハーフミラー２５０を介して透視される。右側方視野画像表示画面２０２Ｒと左側方視野画像表示画面２０２Ｌが非表示状態のときは、上記の中間領域２５１Ｍとともにこれら表示画面２０２Ｒ，２０２Ｌ側にまで延長配置されたハーフミラー２５０の全面をバックミラーとして使用することができる。

なお、図２３において、右側方視野画像表示画面２０２Ｒと左側方視野画像表示画面２０２Ｌとは、それぞれバックライト２５２を有する液晶ディスプレイ（液晶パネル）にて構成されている。バックライトを点灯／消灯切替可能にしておくことで、バックライト消灯時に上記画面位置のハーフミラー領域をバックミラー領域として拡張活用することができる。図中の断面図に示すように、ハーフミラー２５０の背面側に液晶パネル２５１Ｒ，２５１Ｌ、バックライト２５２およびそれらの制御基板２５３がこの順で積層された状態で筐体枠２５４内に配置され、その背面側開口部を塞ぐ背面蓋２５５が筐体枠２５４に対しビス２５６を用いてねじ止めされている。なお、液晶パネル２５１Ｒ，２５１Ｌ、バックライト２５２および制御基板２５３から延出する配線類２５１Ｈ，２５２Ｈ，２５３Ｈは、図２２において、ミラー一体型表示ユニット２０１Ｍを車両内部に取り付けるためのステー２０２Ｊ内を通されるようになっている。

車両周囲画像２３０Ｒ，２３０Ｌは、バックミラー２０２Ｍによる車両後方の投影視野に対し車幅方向右側に偏った右側方視野画像２３０Ｒと、同じく車幅方向左側に偏った左側方視野画像２３０Ｌとを含むものである。そして、表示装置２０２Ｒ，２０２Ｌは、バックミラー２０２Ｍに対し車幅方向における左右の端縁側に振り分けた形で配置されている。そして、右側方視野画像２３０Ｒとして、フロントカメラ４０，右サイドカメラ４１ｂ，およびリアカメラ４２で撮影された画像が主に用いられる。一方、左側方視野画像２３０Ｌとして、左サイドカメラ４１ａで撮影された画像が主に用いられる。

近年、画像処理技術を用いて、車両を上空から見下ろした画像を生成することで、距離感・方向感覚を掴みやすくして、車庫入れ・幅寄せをアシストする駐車支援システム（通称：「トップビュー」）が開発されている（非特許文献１参照）。また、本システムでは、車両が移動してリアカメラ４２で撮影された画像が変化した際、リアカメラ４２の撮影範囲外については、リアカメラ４２あるいは他のカメラで、過去に撮影された画像を合成して、表示器に表示している。

「株式会社デンソー 第１１回ＩＴＳ世界会議 愛知・名古屋２００４ 製品紹介」（http://www.denso.co.jp/ja/its/2004/products/safety2.html），平成１９年１０月１７日検索

図２５に、トップビューの表示例を示す。表示器１０の表示画面上の表示領域１０ａには、リアカメラ４２で撮影された画像が表示される。無論、表示される際に、図２０のような視覚効果を適用してもよい。また、表示領域１０ｂには、トップビューによる画像が表示される。

図２６（ａ）〜（ｄ）のように、シフトポジションが後退位置（「Ｒ」）に遷移した場合、例えばズームインを用いて、画像のサイズを段階的に大きくして表示すれば、トップビューによる画像表示であることが容易に識別できる。

図２７のように、車両が後退する場合、トップビューによる表示画像のうち、リアカメラ４２で撮影されるのは、１０ｂ２で示される領域のみで、リアカメラ４２の撮影範囲外の領域（１０ｂ１，１０ｂ３）は、過去に撮影された画像により補完される。車両の移動に伴って、リアカメラ４２による撮影範囲は変化し、撮影される画像も変化するので、画像表示を更新する必要がある。このとき、運転者が必要とするのは、領域１０ｂ２に表示される画像である。

そこで、図２７（ａ）〜（ｄ）のように、予め定められた時間が経過したとき、車両が予め定められた距離を移動したとき、あるいは操舵角センサ３６で検出される操舵角の変化が予め定められた値を超えたとき、領域１０ｂ２において、車両の後端部から後方に向けて、スライドインのような視覚効果を適用して表示すれば、どのカメラによる撮影画像であるかを容易に識別できるとともに、そのカメラの撮影範囲も容易に識別できる。

図２５〜図２７の例で、フロントカメラ４０，サイドカメラ４１により撮影された画像を合成表示してもよい。

また、図２のように、カメラの撮影範囲が重複している場合、例えば左サイドカメラ４１ａによる撮影画像の表示要求が発生したときに、左サイドカメラ４１ａによる撮影画像とフロントカメラ４０による撮影画像とを合成して表示器１０に表示することができる。この場合、まず、フロントカメラ４０による撮影画像を表示する。続いて、左サイドカメラ４１ａによる撮影画像を、予め定められた表示効果を適用して表示する。なお、左サイドカメラ４１ａによる撮影画像とフロントカメラ４０による撮影画像とが重複する領域は、左サイドカメラ４１ａによる撮影画像のみを表示する。

以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

車両用ナビゲーション装置の構成を示すブロック図。 各カメラの搭載位置および撮影範囲の例を示す図。 カメラ画像の表示制御処理を説明するフロー図。 表示要求判定処理を説明するフロー図（１）。 図４の表示要求判定処理実行時の表示画面を示す図。 視覚効果，効果音の設定例を示す図。 表示要求判定処理の別例を説明するフロー図（２）。 表示要求判定処理の別例を説明するフロー図（３）。 表示要求判定処理の別例を説明するフロー図（４）。 左サイドカメラの撮影画像の例を示す図。 左サイドカメラの撮影画像の表示例を示す図（スライドイン）。 左サイドカメラの撮影画像の表示の別例を示す図（スライドイン）。 左サイドカメラの撮影画像の表示の別例を示す図（フェードイン）。 左サイドカメラの撮影画像の表示の別例を示す図（表示指標付き）。 左サイドカメラの撮影画像の表示の別例を示す図。 左サイドカメラの撮影画像の表示の別例を示す図（ズームイン）。 フロントカメラの撮影画像の例を示す図。 フロントカメラの撮影画像の表示例を示す図。 リアカメラの撮影画像の例を示す図。 リアカメラの撮影画像の表示例を示す図。 横長画面における撮影画像の表示例を示す図。 ミラー一体型表示ユニットの取付形態の一例を示す図。 ミラー一体型表示ユニットの断面構造の一例を示す図。 表示要求判定処理の別例を説明するフロー図（５）。 トップビューを用いた画面表示例を示す図。 トップビューの表示例を示す図（ズームイン）。 トップビューの合成画像の表示例を示す図。

符号の説明

１ 位置検出器（位置検出手段）
７ 操作スイッチ群（操作入力部）
８ 制御回路（表示要求判定手段，表示制御手段，縦列駐車開始判定手段，走行中道路特定手段，合流地点接近判定手段）
１０ 表示器
１５ スピーカ（効果音出力手段）
２１ ハードディスク装置（ＨＤＤ）
２１ｍ 道路地図データ（道路地図データ記憶手段）
２１ｕ ユーザデータ
２２ タッチパネル（操作入力部）
２３ 車速センサ（車速検出手段）
３１ マイク（操作入力部）
３６ 操舵角センサ（操舵角検出手段）
３９ シフトポジションセンサ（シフトポジション検出手段）
４０ フロントカメラ（車両周囲撮影手段）
４１ サイドカメラ（車両周囲撮影手段）
４１ａ 左サイドカメラ
４１ｂ 右サイドカメラ
４２ リアカメラ（車両周囲撮影手段）
４３ 方向指示器スイッチ（方向指示器操作検出手段）
８９ 画像処理部
１００ 車両用ナビゲーション装置
１０１ 車両
２０１Ｍ ミラー一体型表示ユニット（表示器）
２０２Ｒ 表示装置
２０２Ｌ 表示装置

Claims (13)

1. 車両に搭載され、当該車両の周囲を撮影する複数の車両周囲撮影手段と、
   前記車両周囲撮影手段が撮影する車両周囲画像を表示する表示器と、
   前記表示器に前記車両周囲画像を表示する要求が発生したか否かを判定する表示要求判定手段と、
   前記表示要求判定手段により前記表示要求が発生したと判定され、前記表示器に、該表示要求に対応する前記車両周囲画像を表示する際に、該車両周囲画像を撮影した車両周囲撮影手段の搭載位置を識別可能とするための視覚効果を適用して該表示器に該車両周囲画像を表示する表示制御手段と、
   を備え、
   前記表示器は、複数の前記車両周囲撮影手段により撮影された前記車両周囲画像を合成表示するものであり、
   前記表示制御手段は、前記表示要求判定手段により前記表示要求が発生したと判定された場合、前記合成表示された車両周囲画像のうち、該表示要求の対象となる車両周囲撮影手段が撮影した車両周囲画像に前記視覚効果を適用して、他の車両周囲撮影手段により撮影された前記車両周囲画像と合成表示することを特徴とする車両周辺監視装置。
2. 前記視覚効果は、前記表示器の表示画面の予め定められた位置から、予め定められた方向へ逐次表示領域を拡大しつつ、撮影された前記車両周囲画像を表示するものである請求項１に記載の車両周辺監視装置。
3. 車両に搭載され、当該車両の周囲を撮影する複数の車両周囲撮影手段と、
   前記車両周囲撮影手段が撮影する車両周囲画像を表示する表示器と、
   前記表示器に前記車両周囲画像を表示する要求が発生したか否かを判定する表示要求判定手段と、
   前記表示要求判定手段により前記表示要求が発生したと判定され、前記表示器に、該表示要求に対応する前記車両周囲画像を表示する際に、該車両周囲画像を撮影した車両周囲撮影手段の搭載位置を識別可能とするための視覚効果を適用して該表示器に該車両周囲画像を表示する表示制御手段と、
   を備え、
   前記視覚効果は、前記表示器の表示画面の予め定められた位置から、予め定められた方向へ逐次表示領域を拡大しつつ、撮影された前記車両周囲画像を表示することを特徴とする車両周辺監視装置。
4. 前記表示器は、複数の前記車両周囲撮影手段により撮影された前記車両周囲画像を合成表示するものであり、
   前記表示制御手段は、前記表示要求判定手段により前記表示要求が発生したと判定された場合、前記合成表示された車両周囲画像のうち、該表示要求の対象となる車両周囲撮影手段が撮影した車両周囲画像に前記視覚効果を適用して、他の車両周囲撮影手段により撮影された前記車両周囲画像と合成表示する請求項３に記載の車両周辺監視装置。
5. 前記表示制御手段は、前記表示要求判定手段により前記表示要求が発生したと判定され、前記表示器に前記車両周囲画像を表示する際に、前記車両周囲画像の撮影範囲を識別可能とするための視覚効果を適用して前記表示器に前記車両周囲画像を表示する請求項１ないし請求項４のいずれか１項に記載の車両周辺監視装置。
6. ユーザが前記表示器に前記車両周囲画像を表示させるための操作入力を行う操作入力部を備え、
   前記表示要求判定手段は、検出された前記ユーザの操作入力に基づいて前記表示要求が発生したか否かを判定する請求項１ないし請求項５のいずれか１項に記載の車両周辺監視装置。
7. 前記車両の方向指示器の操作を検出する方向指示器操作検出手段を備え、
   前記表示要求判定手段は、検出された前記方向指示器の操作に基づいて前記表示要求が発生したか否かを判定する請求項１ないし請求項６のいずれか１項に記載の車両周辺監視装置。
8. 前記車両のシフトポジションを検出するシフトポジション検出手段を備え、
   前記表示要求判定手段は、検出された前記シフトポジションに基づいて前記表示要求が発生したか否かを判定する請求項１ないし請求項７のいずれか１項に記載の車両周辺監視装置。
9. 前記車両が縦列駐車を開始したか否かを判定する縦列駐車開始判定手段を備え、
   前記表示要求判定手段は、前記車両が縦列駐車を開始したと判定された場合に、前記表示要求が発生したと判定する請求項１ないし請求項８のいずれか１項に記載の車両周辺監視装置。
10. 道路地図データを、道路間の合流地点に関する情報とともに記憶する道路地図データ記憶手段と、
    道路地図上の前記車両の現在位置を検出する位置検出手段と、
    前記道路地図上において、前記車両が走行中の道路を走行方向とともに特定する走行中道路特定手段と、
    前記道路地図データと前記車両の現在位置とに基づいて、前記走行中の道路の走行方向前方に存在する前記合流地点に、予め定められた距離まで接近したか否かを判定する合流地点接近判定手段と、を備え、
    前記表示要求判定手段は、前記車両が前記合流地点に、前記距離まで接近したと判定された場合に、前記表示要求が発生したと判定する請求項１ないし請求項９のいずれか１項に記載の車両周辺監視装置。
11. 前記表示器は、前記車両の車室内ミラーに隣接する位置に該車室内ミラーと一体に結合され、該車両の車室内にて運転席から視認可能な位置に取り付けられるミラー一体型表示ユニットとして構成される請求項１ないし請求項１０のいずれか１項に記載の車両周辺監視装置。
12. 前記視覚効果は、前記車両周囲画像が表示される際に、予め定められた前記車両周囲画像の撮影範囲を識別可能とするための表示指標画像を表示するものである請求項１ないし請求項１１のいずれか１項に記載の車両周辺監視装置。
13. 前記視覚効果が適用される際に、該視覚効果に対応した効果音を出力する効果音出力手段を備える請求項１ないし請求項１２のいずれか１項に記載の車両周辺監視装置。

Images