JP4556742B2 - 車両直下画像表示制御装置および車両直下画像表示制御プログラム - Google Patents

Description

本発明は、車両底部の直下の撮影画像に基づく画像を表示装置に表示させるための車両直下画像表示制御装置および車両直下画像表示制御プログラムに関する。

従来、車両の周囲を撮影する車載カメラ（例えば後方監視カメラ）の撮影画像を取得し、その撮影画像を加工することで、車両および車両周囲を含む鳥瞰画像を生成し、それを画像表示装置に表示させる装置が提案されている（例えば特許文献１、２参照）。このような装置を用いることで、ドライバーは、自車両と周辺の障害物や駐車スペースとの位置関係を容易に把握することができる。

また、車両が移動することを利用して、車両の周囲を撮影する車載カメラの過去の撮影画像から、現在の車両底部の直下に当たる部分、すなわち、鳥瞰画像中では車両の陰に隠れている部分の画像を生成し、その画像を車両の画像と共に透過的に表示する装置が提案されている（特許文献３参照）。
特開２００２−８７１６０号公報 特開２００２−１２０６７５号公報 特開２００４−３３６６１３号公報

しかし、このようにして生成した車両底部直下の画像は、あくまでも過去の撮影画像に基づく推定画像であって、リアルタイム性が乏しい。したがって、移動物体が車両底部直下に進入することや、何らかの理由で車両底部直下の地形が変形することがあっても、それが直ちに画像表示装置の表示に反映されることがない。また、このような推定画像の配置は、車両の移動量等に基づく位置計算によって間接的に算出されるものであるので、不正確となりがちである。

本発明は上記点に鑑み、車両底部直下の画像を画像表示装置に表示させる装置において、その車両底部直下の画像のリアルタイム性および正確性を従来よりも高めることを目的とする。

上記目的を達成するための本発明の特徴は、車両直下画像表示制御装置が、自車両底部直下を撮影する直下用車載カメラによって撮影された画像（以下、直下撮影画像という）および自車両周囲を撮影する周囲用車載カメラによって撮影された周囲撮影画像を取得するインターフェース回路を有し、さらに、このインターフェース回路が取得した直下撮影画像および周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、直下撮影画像に基づく自車両の陰となる部分の画像が視認できるような表現で生成して表示用画像とし、さらに、この表示用画像を画像表示装置に表示させることである。

このように、車両直下画像表示制御装置は、自車両の陰となる部分の画像を、直下用車載カメラによる、自車両底部を直接撮影した画像に基づいたものとすることで、画像表示装置に表示させる車両直下の画像のリアルタイム性および正確性を高めるようになっている。なお、ここでいう「撮影」とは、外部の風景を画像信号に変換することをいう。

また、車両直下画像表示制御装置は、自車両の近傍に障害物があることを検出することができる場合、その障害物の検出に基づいて、上述の直下撮影画像に基づく自車両の陰となる部分の画像を画像表示装置に表示させるようになっていてもよい。このように、後に自車両底部の直下に障害物が進入する可能性が高い状況において、直下撮影画像を用いた自車両底部の直下の画像表示を画像表示装置に行わせることで、その障害物が直下に進入したときに、ドライバーは、その障害物に対するより正確な位置認識を行うことができるようになる。なお、ここでいう「自車両の近傍」とは、短時間内（例えば３０秒以内）に自車両の直下に入る可能性のあるような位置をいう。

また、車両直下画像表示制御装置は、自車両の周囲または直下に移動物体があることを検出することができる場合、その移動物体の検出に基づいて、上述の直下撮影画像に基づく自車両の陰となる部分の画像を、画像表示装置に表示させるようになっていてもよい。このように、後に移動物体が自車両の底部直下に進入する可能性高い状況において、直下撮影画像を用いた自車両底部の直下の画像表示を画像表示装置に行わせることで、その移動物体が実際に直下に入ってしまった場合に、ドライバーは、その移動物に対してリアルタイムで位置認識を行うことができるようになる。

また、車両直下画像表示制御装置は、自車両の近傍に障害物があることを検出することができ、かつ、自車両の周囲または直下に移動物体があることを検出することができる場合、その障害物の検出および移動物体の検出に基づいて、上述の直下撮影画像に基づく自車両の陰となる部分の画像を画像表示装置に表示させるようになっていてもよい。

さらに、インターフェース回路が、周囲撮影画像を取得するようになっている場合、車両直下画像表示制御装置は、そのインターフェース回路が取得した周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、過去の周囲撮影画像に基づく現在の自車両の陰となる部分の画像が視認できるような表現で生成すると共に、移動物体を検出しなかったことに基づいて、上述の過去の周囲撮影画像に基づく自車両の陰となる部分の画像を画像表示装置に表示させるようになっていてもよい。

このように、移動物体を検出した場合には直下撮影画像を用い、移動物体を検出しない場合には周囲撮影画像を用いて、自車両の陰となる部分の画像を画像表示装置に表示させることで、リアルタイム性がより必要な状況と比較的必要でない状況の違いに対応した表示制御を行うことができる。

また、車両直下画像表示制御装置は、直下撮影画像を用いた、自車両の陰となる部分の画像を含む表示用画像の生成においては、その直下撮影画像に基づく画像中の、検出した移動物体を強調するような表現で、当該表示画像を生成するようになっていてもよい。

このようになっていることで、ドライバーの移動物体に対する注意をより強く喚起することができる。

また、車両直下画像表示制御装置は、自車両の主電源オン直後に、上述の直下撮影画像に基づく自車両の陰となる部分の画像を、画像表示装置に表示させるようになっていてもよい。なお、自車両の「主電源オン」としては、例えばＩＧオン、ＡＣＣオンがある。このような、自車両の主電源オン直後は、車両を長時間駐車した後である可能性が高く、利用できる過去の周囲撮影画像が非常に古いものとなっている可能性があるので、周囲撮影画像ではなく、直下撮影画像を用いた車両底部直下の画像を表示させることで、車両底部直下の画像のリアルタイム性が大きく向上する。

またこの場合も同様に、車両直下画像表示制御装置は、直下撮影画像を用いた、自車両の陰となる部分の画像を含む表示用画像の生成においては、その直下撮影画像に基づく画像中の、検出した移動物体を強調するような表現で、当該表示画像を生成することで、ドライバーの移動物に対する注意をより強く喚起することができる。

また、障害物検知の方法としては、自車両に搭載された無線受信機が、自車両後部近傍の障害物に取り付けられた無線送信装置からの信号を受信したことに基づいて、自車両の近傍に障害物があることを検出するようになっていてもよい。

また、このような本発明の特徴は、自車両底部直下を撮影する直下用車載カメラによって撮影された直下撮影画像および自車両周囲を撮影する周囲用車載カメラによって撮影された周囲撮影画像を取得するインターフェース回路が取得した直下撮影画像および前記周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、当該直下撮影画像に基づく自車両の陰となる部分の画像が視認できるような表現で生成して表示用画像とする第１表示用画像生成機能、インターフェース回路が取得した周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、過去の前記周囲撮影画像に基づく現在の自車両の陰となる部分の画像が視認できるような表現で生成して表示用画像とする第２表示用画像生成機能、自車両の周囲または直下に移動物体があることを検出する移動物体検出機能、および、移動物体検出機能の検出に基づいて、第１表示用画像生成機能によって生成した表示用画像を画像表示装置に表示させ、移動物体検出機能が移動物体を検出しなかったことに基づいて、第２表示用画像生成機能が生成した表示用画像を画像表示装置に表示させる画像表示制御機能を、コンピュータに実現させる車両直下画像表示制御プログラムとして捉えることもできる。

（第１実施形態）
以下、本発明の第１実施形態について説明する。図１に示す本実施形態の車両用ナビゲーション装置１は、以下詳述する通り、自車両の後退時に、自車両の後方および自車両を含む鳥瞰画像を、自車両の底部直下が視認できるように、ドライバーに表示するようになっている。

図１に、本実施形態に係る車両用ナビゲーション装置１のハードウェア構成を示す。この車両用ナビゲーション装置１は、位置検出器１１、操作スイッチ群１２、画像表示装置１３、スピーカ１４、インターフェース回路１５、ＲＡＭ１６、ＲＯＭ１７、外部記憶媒体１８、シフト位置センサ１９、操舵角センサ２０、後方監視カメラ２１、直下監視カメラ２２、および制御回路２３を有している。

後方監視カメラ２１および直下監視カメラ２２は、それぞれ車両に取り付けられ、車両外部を撮影し、その撮影の結果生成した画像信号を、繰り返し（例えば１／３０秒間隔で）インターフェース回路１５に出力するようになっている。図２に、車両用ナビゲーション装置１が搭載された車両２における、後方監視カメラ２１および直下監視カメラ２２の取り付け位置を示す。この図に示す通り、後方監視カメラ２１は、車両２の後部上方に取り付けられ、車両２の後部の路面等を撮影するように配置されている。また、直下監視カメラ２２は、車両２の後部（より具体的には後輪と後端の間）の底面に取り付けられ、その底面の直下の路面等を撮影するように配置されている。

位置検出器１１は、いずれも周知の図示しない地磁気センサ、ジャイロスコープ、車速センサ、およびＧＰＳ受信機等のセンサを有しており、これらセンサの各々の性質に基づいた、車両の現在位置や向きを特定するための情報を制御回路２３に出力する。

操作スイッチ群１２は、車両用ナビゲーション装置１に設けられた複数のメカニカルスイッチ、画像表示装置１３の表示面に重ねて設けられたタッチパネル等の入力装置から成り、ユーザによるメカニカルスイッチの押下、タッチパネルのタッチに基づいた信号を制御回路２３に出力する。

画像表示装置１３は、制御回路２３から出力された映像信号に基づいた映像をユーザに表示する。

インターフェース回路１５は、後方監視カメラ２１、直下監視カメラ２２から受けた画像信号から撮影画像データを生成し、その生成した撮影画像データを制御回路２３に出力する。以下、後方監視カメラ２１からの画像信号に基いて生成された撮影画像データを、後方撮影画像（周囲撮影画像に相当する）といい、直下監視カメラ２２からの画像信号に基いて生成された撮影画像データを、直下撮影画像という。また、インターフェース回路１５は、制御回路２３からの制御信号に基づいて、後方監視カメラ２１および直下監視カメラ２２の作動のオン・オフ（例えば電力供給のオン・オフ）を制御するようになっている。

外部記憶部１８は、ＤＶＤ，ＣＤ、ＨＤＤ等の不揮発性の記憶媒体およびそれら記憶媒体に対してデータの読み出し（および可能ならば書き込み）を行う装置から成り、制御回路２３が読み出して実行するプログラム、経路案内用の地図データ等を記憶している。

地図データは、リンクおよびノードの位置、種別、ノードとリンクとの接続関係情報等を含む道路データ、および施設データを有している。施設データは、施設毎のエントリを複数有しており、各エントリは、対象とする施設の名称情報、所在位置情報、施設種類情報等を示すデータを有している。

シフト位置センサ１９は、車両のシフト位置、またはドライブレンジ（Ｄ、Ｒ、Ｎ、Ｐ等）を検出し、その検出したシフト位置またはドライブレンジの信号をシフト位置センサ１９に出力する。

操舵角センサ２０は、車両のステアリングの回転量を検出し、その検出結果に基づく信号をシフト位置センサ１９に出力する。

制御回路（コンピュータに相当する）２３は、ＲＯＭ１７および外部記憶媒体１８から読み出した車両用ナビゲーション装置１の動作のためのプログラムを実行し、その実行の際にはＲＡＭ１６、ＲＯＭ１７、および外部記憶媒体１８から情報を読み出し、ＲＡＭ１６および外部記憶媒体１８に対して情報の書き込みを行い、位置検出器１１、操作スイッチ群１２、画像表示装置１３、スピーカ１４、インターフェース回路１５、シフト位置センサ１９、後方監視カメラ２１、および直下監視カメラ２２等と信号の授受を行う。

制御回路２３がプログラムを実行することによって行う具体的な処理としては、現在位置特定処理、誘導経路算出処理、経路案内処理等がある。

現在位置特定処理は、位置検出器１１からの信号に基づいて、周知のマップマッチング等の技術を用いて車両の現在位置や向きを特定する処理である。誘導経路算出処理は、操作スイッチ群１２からユーザによる目的地の入力を受け付け、現在位置から当該目的地までの最適な誘導経路を算出する処理である。経路案内処理は、外部記憶媒体１８から地図データを読み出し、算出された誘導経路、目的地、経由地および現在位置等をこの地図データの示す地図上に重ねた画像を、画像表示装置１３に出力し、案内交差点の手前に自車両が到達した等の必要時に、右折、左折等を指示する案内音声信号をスピーカ１４に出力する処理である。

また、本実施形態の制御回路２３は、図３にフローチャートとして示す画像表示制御プログラム１００を、繰り返し実行するようになっている。この画像表示制御プログラム１００の実行において、制御回路２３は、まずステップ１０５で、自車両が後退状態にあるか否かを判定する。自車両が後退状態にあるか否かは、具体的には、シフト位置センサ１９からの信号に基づいて、現在のシフト位置またはドライブポジションが、Ｒ（すなわち後退）であるか否かによって判定する。自車両が後退状態にある場合、続いてステップ１１０を実行し、後退状態にない場合、画像表示制御プログラム１００の一回分の実行を終了する。

ステップ１１０では、後方監視カメラ２１を起動させるための制御信号をインターフェース回路１５に出力する。

続いてステップ１１５では、自車両の予想進行領域を推定する。具体的には、操舵角センサ２０からの信号に基づいて、現在の車輪の向きを推定し、さらにこの推定した車輪の向きに基づいて車両の回転半径および回転中心を推定する。そして、車両の後端から、その推定した回転半径および回転中心によって決まる円の周方向に沿って基準長さだけ続く領域を、自車両の予想進行領域とする。ここで、基準長さは、あらかじめ記憶された一定値（例えば５メートル、車両の全長の３倍等）であってもよいし、車速等の各種条件に基づいて変動する値であってもよいし、一定の範囲内でランダムに決まる値であってもよい。

続いてステップ１２０では、ステップ１１５で推定した予想進行領域中に障害物があるか否かを判定する。ここでいう障害物とは、車止め、石、壁、窪み等、路面と面を同じくしない、車両に対して邪魔になる可能性が高い立体物をいう。

ある物が路面であるか障害物があるかは、例えば後方監視カメラ２１が、車両後端の離れた２点において後方を撮影できるようになっていれば、それら２点で撮影された画像を取得して比較することで、判別することができる。このためには、後方監視カメラ２１がステレオカメラとなっていてもよいし、後方監視カメラ２１は、車両後右端および車両後左端に取り付けられた２つのカメラから成っていてもよい。

また、２点で撮影された画像の比較は、取得した後方撮影画像の色分布や輝度分布に基づいて、個々の物（路面、路面上のペイント等）の表面の輪郭を抽出し、両画像において抽出した輪郭間の同定を、あらかじめＲＯＭ１７または外部記憶媒体１８に記録されている後方監視カメラ２１の両撮影位置および両撮影方向の情報に基づいて行う。そして、同定された輪郭の、両撮影画像中の形状の変化が、両撮影位置および両撮影方向に基づいて決まる、道路表面と面を同じくする表面の変化の特徴と相違するか否かに基づいて、その輪郭に対応する物体が、障害物であるか否かを判定する。また、その障害物が予想進行領域中にあるか否かは、後方撮影画像中のその障害物の位置が、予想進行領域の路面を後方撮影画像に投影した領域内にあるか否かで判定する。

また、平坦な路面に照射すると、その路面上に直線が描かれるようなレーザーを、車両後方の路面の指定された部分に照射するレーザー照射器が、車両に設置されている場合、制御回路２３がこのレーザー照射器に対し、車両の予想進行領域の各部を順次照射するよう指定し、このレーザー照射器によって描かれた線を後方撮影画像から抽出し、その抽出した線が直線であれば、その部分は路面であると判定し、その抽出した線が折れ線または曲線であれば、その部分は障害物であると判定するようになっていればよい。そして、１つでも障害物がある部分を検出した場合、ステップ１２０で障害物があると判定すればよい。なお、平坦な路面に直線が描かれるようなレーザー照射器は、光を特定の方向にのみ拡散させるシリンドリカルレンズまたはシリンドリカルな反射板に対してビーム状の光線を当て、その拡散光を車両後方に射出するような構成のものを用いることによって、実現することができる。

また、ある物が路面であるか障害物があるかは、車両からその物の位置への方向と、車両からその物の位置への距離とを検出し、その物が路面と同じ面の位置にあるか否かで判別することができる。ここで、車両からその物への位置の距離は、例えば車両用ナビゲーション装置１が、指定された方向に音波を発射し、その発射時から、その発射した音波の反射波を受けるまでの待ち時間を検出する音波発射器を有する場合は、制御回路２３が、その音波発射器を、車両進行領域の各部に音波を順次発射するよう制御し、それぞれの待ち時間を取得することで、各部の自車両からの距離を検出することができる。

予想進行領域中に障害物があることを検出した場合、続いてステップ１２５を実行し、障害物を検出しなかった場合、続いてステップ１２３を実行する。

ステップ１２５では、取得した撮影画像中に移動物体、すなわち路面に対して移動している物体が存在するか否かを判定する。ここでいう撮影画像とは、後方監視カメラ２１のみが起動している場合は、後方撮影画像であり、後方監視カメラ２１および直下監視カメラ２２が起動している場合は、後方撮影画像および直下撮影画像である。撮影画像中に移動物体があるか否かの判定は、（１）車両の移動に伴って発生する、隣り合う時刻に撮影された２つの撮影画像間の撮影位置の移動ベクトルの特定、（２）順番に撮影された複数の撮影画像中の、同一物体の同定、（３）およびその同一物体の撮影間隔当たりの移動ベクトルが、（１）で特定した移動速度ベクトルと異なるか否かの判定という、３つの手順によって実現する。

ここで、（１）の移動ベクトルの特定は、例えば特開２００４−２８３９１３号公報に記載のブロックマッチング法用いることで実現する。すなわち、ある時刻に撮影された撮影画像Ａ中の一部画像ａと、その次の時刻に撮影された撮影画像Ｂの、当該一部画像ａと合同な形状の一部画像ｂと、を一致するように重ね、そのとき互いに重なった画素の輝度差を一部画像ａの全画素に渡る総和を算出する。そのような輝度誤差総和の算出を、一部画像ｂの位置を撮影画像Ｂ中で順次ずらしながら複数回行い、その結果、最も輝度誤差総和の少ない一部画像ｂを特定する。そして、この特定した一部画像ｂの撮影画像Ｂ中の相対位置と、一部画像ａの撮影画像Ａ中の相対位置との間のずれの大きさおよび方向を、２つの撮影画像Ａ、Ｂ間の撮影位置の移動ベクトルとして特定する。

また、（２）の、複数の撮影画像間の同一物体の同定は、以下のような手順で実現する。すなわち、各撮影画像を、しきい値輝度より高いか低いかで２値化（高い場合１、低い場合ゼロ）し、値が１の画素が２次元的に多数連続する領域を、１つの物体であるとする。そして、隣り合う撮影時刻の撮影画像の間で、自身の領域が多く（例えば８０パーセント以上）重なりあっている物体を、同一物体であると同定する。なお、しきい値輝度は、あらかじめ記憶された一定値であってもよいし、各種条件（例えば、昼夜の別、時刻、図示しない雨滴センサによる降雨の有無、図示しない日射量センサに基づく日射量等）に基づいて変動する値であってもよいし、一定の範囲内でランダムに決まる値であってもよい。

また、（３）における、同一物体の撮影間隔当たりの移動ベクトルは、同一物体の代表点（例えば重心点、最上側端点、最下側端点、最右側端点、最左側端点）の、隣り合う撮影時刻の画像間の移動ベクトルとなる。

取得した撮影画像中に移動物体が存在しない場合、続いてステップ１３０を実行する。また、取得した撮影画像中に移動物体が存在する場合、続いてステップ１３５で、直下監視カメラ２２を起動させるための制御信号をインターフェース回路１５に出力する。

ステップ１３５に続くステップ１４０では、後方撮影画像および直下撮影画像を用いて、透過鳥瞰画像を生成する。透過鳥瞰画像を生成の手順は、以下の通りである。まず、現在取得した後方撮影画像を、鳥瞰画像に変換する。この鳥瞰画像への変換は、具体的には図４に示すように、地上の画像の位置データを、地上からの高さＨにある後方監視カメラ２１の位置からの焦点距離ｆにあるスクリーン平面Ｔに投影する変換の逆変換である。すなわち、鳥瞰画像への変換は、後方撮影画像の、後方監視カメラ２１を視点として投影した地上面座標系のデータへの座標変換である。

また、生成する鳥瞰画像には、自車両の移動に伴って後方監視カメラ２１の視野の内から外に出た部分についても、その部分の位置を推定して含めるようにする。具体的には、ステップ１１５〜１５５の繰り返し処理において、先述したブロックマッチング法等を用いて、後方監視カメラ２１から取得する時間的に連続した２つの鳥瞰画像の間で一致する領域を抽出し、それに基づいて現在の後方監視カメラ２１の視野から外れている移動領域を抽出する。そして、この一致する領域の鳥瞰画像中における移動量だけ、鳥瞰画像中の後方監視カメラ２１の視野以外の部分の画像をずらし、その後移動領域の画像を描画する。このようにすることで、過去の後方撮影画像と現在の後方撮影画像とが合成された、車両周辺の鳥瞰画像が生成される。

さらに、この生成した車両周辺の鳥瞰画像中の、自車両の位置に該当する部分に、自車両の画像を重ねる。

そしてさらに、取得した直下撮影画像についても、後方撮影画像と同様に、直下監視カメラ２２を視点として投影した地上面座標系のデータへの座標変換を行うことで、後方撮影画像に基づいた車両直下の鳥瞰画像を生成する。そしてこの生成した車両直下の鳥瞰画像を、車両の画像に透過的に重ねる。ここで、透過的に重ねるとは、ユーザが視認できるように重ねることを意味する。このように、車両直下の画像を車両に透過的に重ねて描いた鳥瞰画像が、透過鳥瞰画像である。

このようにして生成した透過鳥瞰画像の例を、図５および図６に示す。図５に示す鳥瞰画像５０においては、車両画像５１の周りに、後方撮影画像に基づいて生成された他車両画像５２がある、また、車両画像５１の後輪の直後の部分には、直下撮影画像に基づいて生成された車止め画像５３、５４がある。ここで、車両画像５１の色は、半透明的になっていることで、車止め画像５３および像５４が、車両を透過して見えるようになる。

また、図６に示す鳥瞰画像６０においては、車両画像５１の後部５１ａにおいては、車両の枠線のみが示されており、その内部に車止め画像５３および車止め画像５３が描かれている。

ステップ１４０に続いてステップ１５０では、鳥瞰画像中の移動物体を強調表示するように、鳥瞰画像を加工する。図７に、加工後の鳥瞰画像７０の一例を示す。この鳥瞰画像７０においては、直下撮影画像に基づいて生成された移動物画像７１が、透過的に描かれており、さらに、その移動物画像７１を囲む円７２が描かれており、さらに、移動物が存在する旨の警告文７３が描かれている。なお、移動物体は、輝度を大きくし、色を目立つものにして描くようになっていてもよい。

また、ステップ１３０では、ステップ１４０と同様の透過鳥瞰画像を生成する。ただし、ここでは、車両に透過的に重ねる画像は、直下撮影画像を変換したものではなく、過去の後方撮影画像を変換したものとする。過去の後方撮影画像を用いる手順は、ステップ１４０における、車両周辺の画像に過去の後方撮影画像を用いる場合と同様である。

また、ステップ１２３では、後方撮影画像に基づいて、車両と車両周囲の鳥瞰画像を生成する。このとき、車両直下の画像は描かない。

ステップ１２３、１３０、１４５に続いては、ステップ１５０で、生成した画像を画像表示装置１３に出力する。これによって、画像表示装置１３は、透過鳥瞰画像または、鳥瞰画像を表示する。

続いてステップ１５５では、鳥瞰画像表示を終了するか否かを、車両の後退状態が終了したか否かで判定する。車両が後退状態であるか否かは、ステップ１０５と同様に判定する。鳥瞰画像表示を終了しない場合、続いてステップ１１５を再度実行し、終了する場合、続いてステップ１６０で、後方監視カメラ２１および後方監視カメラ２１の作動を停止させるための制御信号をインターフェース回路１５に出力し、その後画像表示制御プログラム１００の一回分の実行を終了する。

以上のような画像表示制御プログラム１００を制御回路２３が実行することで、車両用ナビゲーション装置１は、自車両の後退時に（ステップ１０５、１５５参照）、後方監視カメラ２１を起動し（ステップ１１０参照）、＜Ａ＞自車両の予想進行領域に障害物があることを検出し（ステップ１１５、１２０参照）、かつ撮影画像中に移動物体があることを検出した場合（ステップ１２５参照）、直下監視カメラ２２を起動し（ステップ１３５参照）、現在の直下撮影画像に基づく車両直下の透過的な画像を含む透過鳥瞰画像を生成・表示する（ステップ１４０、１４５、１５０参照）。また、＜Ｂ＞自車両の予想進行領域に障害物があることを検出し、かつ撮影画像中に移動物体を検出しなかった場合、過去の後方撮影画像に基づく車両直下の透過的な画像を含む透過鳥瞰画像を生成・表示する（ステップ１３０、１５０参照）。また、＜Ｃ＞自車両の予想進行領域に障害物を検出しなかった場合、現在および過去の後方撮影画像に基づいて、透過部分のない車両および車両周囲の鳥瞰画像を表示する（ステップ１２３、１５０参照）。

このように、車両用ナビゲーション装置１が、移動物体および予想進行領域の障害物があるという、後に自車両底部の直下に障害物、移動物体が進入する可能性が高い状況において、上方から自車両を見た表示用画像を、直下撮影画像に基づく自車両の陰となる部分の画像が視認できるような表現で生成・表示させることで、画像表示装置１３に表示させる車両直下の画像のリアルタイム性および正確性が高まる。そして、その障害物・移動物が自車両直下に進入したときに、ステップ１１５〜１５５の処理が繰り返し実行されることで、ドライバーは、その障害物に対するより正確な位置認識をリアルタイムで行うことができるようになる。

また、車両用ナビゲーション装置１は、現在の直下撮影画像に基づく車両直下の透過的な画像を含む透過鳥瞰画像を生成する場合において（ステップ１４０、１４５参照）、その直下撮影画像に基づく画像中の、検出した移動物体を強調するような表現で、当該表示画像を生成するようになっているので、ドライバーの移動物に対する注意をより強く喚起することができる。

また、車両用ナビゲーション装置１は、予想進行領域の障害物はあるが、移動物体はないという、透過部分の画像のリアルタイム性の要求が比較的低い状況において、上方から自車両を見た表示用画像を、過去の後方撮影画像に基づく自車両の陰となる部分の画像が視認できるような表現で生成・表示させるので、リアルタイム性がより必要な状況と比較的必要でない状況の違いに対応した透過部分の画像のソースの表示制御を行うことができる。

また、車両用ナビゲーション装置１は、予想進行領域の障害物がないという、透過部分の画像の必要性が比較的低い状況において、上方から自車両を見た表示用画像を、自車両の陰となる部分の画像が視認できないような表現で生成・表示させるので、車両直下の透過画像がより必要な状況と比較的必要でない状況の違いに対応した、鳥瞰画像の表示制御を行うことができる。
（第２実施形態）
次に、本発明の第２実施形態について、第１実施形態と異なる部分について説明する。図８に、本実施形態の車両用ナビゲーション装置６のハードウェア構成を示す。車両用ナビゲーション装置６が第１実施形態の車両用ナビゲーション装置１と異なるのは、車両用ナビゲーション装置６が無線通信回路１０を有している点である。

無線通信回路１０は、図示しないアンテナが受信した信号に対して増幅、周波数変換、復調、Ａ／Ｄ変換等、所定の無線通信プロトコルに従った処理を施し、その結果を制御回路２３に出力する。また無線通信回路１０は、制御回路２３から入力されたデータに対してＤ／Ａ変換、変調、周波数変換、増幅等、所定の無線通信プロトコルに従った処理を施し、その結果の信号を上記のアンテナに出力する。このような作動により、無線通信回路１０は、周囲の無線機と通信することができる。なお、この無線通信回路１０の通信可能範囲は、半径１メートル以内程度である。

本実施形態の車両用ナビゲーション装置６の作動は、第１実施形態の車両用ナビゲーション装置１の作動と同等である。ただし、画像表示制御プログラム１００の実行においては、車両用ナビゲーション装置６の制御回路２３は、ステップ１１５を実行せず、ステップ１１０に続いては、ステップ１２０を実行する。さらにステップ１２０では、近傍に障害物があるか否かを判定する。具体的には、無線通信回路１０を用いて所定の無線信号を送信し、それに対して返答の信号があれば、近傍に障害物（具体的には車止め）があると判定して続いてステップ１２５を実行する。そして、返答の信号を基準時間内に受信しない場合、近傍に障害物（具体的には車止め）がないと判定して続いてステップ１２３を実行する。

ここで、図９に、車両用ナビゲーション装置６を搭載する車両２が、車止め３、４のある駐車マス内に停まろうとしている場面を示す。ここで、車止め４の内部また側面には、ＲＦタグ５が取り付けられているものとする。ＲＦタグ５は、無線通信回路１０から所定の無線送信があった場合、内蔵電池の電力またはその送信信号の電力を利用して、所定の無線信号を送信する、周知の無線送信機である。

車両２がこのようなＲＦタグ５の取り付けられている車止め４に近づくことで、無線通信回路１０が無線信号を受信し、その結果ステップ１２０で、近傍に障害物がある旨の判定が為されることになる。
（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態の車両用ナビゲーション装置１のハードウェア構成は、第１実施形態の車両用ナビゲーション装置１のハードウェア構成と同等である。また、本実施形態の車両用ナビゲーション装置１の作動が、第１実施形態の車両用ナビゲーション装置１の作動と異なる部分は、制御回路２３が、画像表示制御プログラム１００に加えて、図１０に示す画像表示制御プログラム２００も実行するようになっていることである。

本実施形態の制御回路２３は、車両のＡＣＣオン時、ＩＧオン時等、車両用ナビゲーション装置１の起動時に、画像表示制御プログラム１００の実行に先立ち、この画像表示制御プログラム２００の実行を開始する。そして、まずステップ２１０で、後方監視カメラ２１を起動させるための制御信号をインターフェース回路１５に出力し、続いてステップ２２０で、直下監視カメラ２２を起動させるための制御信号をインターフェース回路１５に出力する。

続いてステップ２３０で、画像表示制御プログラム１００のステップ１４０と同等の作動で、後方撮影画像および直下撮影画像を用いて、透過鳥瞰画像を生成する。

続いてステップ２４０では、画像表示制御プログラム１００のステップ１２５と同等の作動で、撮影画像中に移動物体があるか否かを判定する。移動物体がある場合、続いてステップ２５０を実行し、移動物体がない場合、続いてステップ２６０を実行する。

ステップ２５０では、画像表示制御プログラム１００のステップ１４５と同等の作動で、透過鳥瞰画像中の移動物体を強調するよう、透過鳥瞰画像中を加工する。ステップ２５０に続いては、ステップ２６０で、生成した透過鳥瞰図画像を画像表示装置１３に出力する。

続いてステップ２７０では、表示終了か否かを判定する。表示終了か否かは、例えば、車速が基準速度を超えたことに基づいて、表示終了であると判定するようになっていてもよい。ここで、基準速度は、あらかじめ記憶された一定値であってもよいし、各種条件に基づいて変動する値であってもよいし、一定の範囲内でランダムに決まる値であってもよい。表示終了でない場合、続いてステップ２３０を再度実行し、表示終了である場合、続いてステップ２８０で、後方監視カメラ２１および直下監視カメラ２２の作動を停止するための制御信号をインターフェース回路１５に出力し、その後画像表示制御プログラム２００の実行を終了する。

以上のような画像表示制御プログラム２００を制御回路２３が実行することで、車両用ナビゲーション装置１は、自車両の主電源オン直後に、現在の直下撮影画像に基づいて車両直下の透過的な画像を生成した透過鳥瞰画像を生成・表示し続ける（ステップ２３０、２６０参照）。このような、自車両の主電源オン直後は、車両を長時間駐車した後である可能性が高く、利用できる過去の周囲撮影画像が非常に古いものとなっている可能性があるので、周囲撮影画像ではなく、直下撮影画像を用いた車両底部直下の画像を表示させることで、車両底部直下の画像のリアルタイム性が大きく向上する。

また、車両用ナビゲーション装置１は、移動物体を検出した場合は（ステップ２４０参照）、その透過鳥瞰画像中の検出した移動物体を、強調するような表現で、当該表示画像を生成するようになっている（ステップ２５０参照）ので、ドライバーの移動物に対する注意をより強く喚起することができる。

なお、上記の各実施形態において、車両用ナビゲーション装置１が車両直下画像表示制御装置に相当し、後方監視カメラ２１が直下用車載カメラに相当し、直下監視カメラ２２が直下撮影画像に相当する。

また、制御回路２３が、画像表示制御プログラム１００のステップ１２０を実行することで、障害物検出手段として機能し、ステップ１２５を実行することで、移動物体検出手段として機能し、ステップ１４０および１５０を実行することで、第１表示用画像生成手段として機能し、ステップ１３０を実行することで、第２表示用画像生成手段として機能し、ステップ１５０を実行することで、画像表示制御手段として機能する。

また、制御回路２３が、画像表示制御プログラム２００のステップ２４０を実行することで、移動物体検出手段として機能し、ステップ２３０および２４０を実行することで、第１表示用画像生成手段として機能し、ステップ２６０を実行することで、画像表示制御手段として機能する。
（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の構成は、上記実施形態のみに限定されるものではなく、本発明の各構成要素の機能を実現し得る種々の形態を包含するものである。

例えば、画像表示制御プログラム１００のステップ１２０においては、車両底面直下に現在障害物があるか否かを、後方監視カメラ２１が過去に撮影した画像や、レーザー照射器による過去の車両後部の障害物の存在の検出や、車両底面直下に取り付けられた音波発射器からの信号等に基づいて判定し、障害物があれば、ステップ１２５以降を実行するようになっていてもよい。

また、制御回路２３が、ステップ１２５、１３０を実行せず、ステップ１２０で肯定と判定した場合、続いてステップ１３５を実行するようになっていてもよい。すなわち、撮影画像中に移動物体がない場合でも、直下画像を用いた透過鳥瞰画像の表示を行うようになっていてもよい。

また、制御回路２３が、ステップ１１５、１２０を実行せず、ステップ１１０に続いては、ステップ１２５を実行するようになっていてもよい。すなわち、車両進行領域に障害物がない場合でも、直下画像を用いた透過鳥瞰画像の表示を行うようになっていてもよい。

また、車両用ナビゲーション装置１は、進行領域に障害物があり、かつ移動物体がある場合に限り、直下画像を用いた透過鳥瞰画像の生成を行うようになっているが、直下画像を用いた透過鳥瞰画像の生成は常に行い、進行領域に障害物があり、かつ移動物体がある場合に限り、その生成した画像を画像表示装置１３に表示させるようになっていてもよい。

また、車両用ナビゲーション装置１は、進行領域に障害物ある場合に限り、後方撮影画像のみを用いた透過鳥瞰画像の生成を行うようになっているが、後方撮影画像のみを用いた透過鳥瞰画像の生成は常に行い、進行領域に障害物がある場合に限り、その生成した画像を画像表示装置１３に表示させるようになっていてもよい。

また、本実施形態では、車両用ナビゲーション装置１は、車両の後退時に、透過鳥瞰図画像等を生成・表示するようになっているが、車両の前進時に、透過鳥瞰図画像等を生成・表示するようになっていてもよい。

また、画像表示制御プログラム１００のステップ１４０では、現在の直下撮影画像に加え、過去の直下撮影画像に基づいて、車両直下の画像を透過的に生成してもよい。このようにすることで、車両直下のうち、ドライバーが視認できる部分を広くすることができる。

また、障害物検出のために車止め等の障害物に取り付けられるのは、ＲＦタグに限らず、どのような送信機であっても、無線通信回路１０が、その送信機からの無線信号の受信に基づいて、障害物があることを検出するようになっていればよい。

また、上記各実施形態では、車両直下画像表示制御装置の一例として車両用ナビゲーション装置を示しているが、車両直下画像表示制御装置は、かならずしもナビゲーション装置の機能を有している必要はない。

また、上記各実施形態で、制御回路２３が画像表示制御プログラム１００や画像表示制御プログラム２００を実行することで実現した機能は、それら機能専用のための回路構成を有するＩＣによって実現されてもよい。

本発明の第１実施形態に係る車両用ナビゲーション装置１のハードウェア構成図である。 後方監視カメラ２１および直下監視カメラ２２の車両２への搭載位置を示す図である。 制御回路２３が実行する画像表示制御プログラム１００のフローチャートである。 撮影画像の鳥瞰画像への変換を説明するための、後方監視カメラ２１の撮影画像と、撮影される路面との関係を示す図である。 画像表示装置１３が表示する透過鳥瞰画像５０を示す図である。 画像表示装置１３が表示する透過鳥瞰画像６０を示す図である。 画像表示装置１３が表示する、移動物体７１が強調された透過鳥瞰画像７０を示す図である。 本発明の第２実施形態に係る車両用ナビゲーション装置１のハードウェア構成図である。 ＲＦタグ５が取り付けられているＲＦタグ５を示す図である。 制御回路２３が実行する画像表示制御プログラム２００のフローチャートである。

符号の説明

１、６…車両用ナビゲーション装置、２…車両、３…車止め、４…車止め、
５…ＲＦタグ、１０…無線通信回路、１１…位置検出器、１２…操作スイッチ群、
１３…画像表示装置、１４…スピーカ、１５…インターフェース回路、１６…ＲＡＭ、
１７…ＲＯＭ、１８…外部記憶媒体、１９…シフト位置センサ、２０…操舵角センサ、
２１…後方監視カメラ、２２…直下監視カメラ、２３…制御回路、
５０、６０、７０…鳥瞰画像、５１…車両画像、５１ａ…車両後方画像、
５２…他車両画像、５３、５４…車止め画像、７１…移動物画像、７２…囲み円、
７３…警告文、１００、２００…画像表示制御プログラム。

Claims (10)

1. 自車両底部直下を撮影する直下用車載カメラによって撮影された直下撮影画像、および自車両周囲を撮影する周囲用車載カメラによって撮影された周囲撮影画像を取得するインターフェース回路と、
   前記インターフェース回路が取得した前記直下撮影画像および前記周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、前記直下撮影画像に基づく自車両の陰となる部分の画像が視認できるような表現で生成して表示用画像とする第１表示用画像生成手段と、
   自車両の近傍に障害物があることを検出する障害物検出手段と、
   前記障害物検出手段の検出に基づいて、前記第１表示用画像生成手段が生成した前記表示用画像を画像表示装置に表示させる画像表示制御手段と、を備えた車両直下画像表示制御装置。
2. 自車両底部直下を撮影する直下用車載カメラによって撮影された直下撮影画像、および自車両周囲を撮影する周囲用車載カメラによって撮影された周囲撮影画像を取得するインターフェース回路と、
   前記インターフェース回路が取得した前記直下撮影画像および前記周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、前記直下撮影画像に基づく自車両の陰となる部分の画像が視認できるような表現で生成して表示用画像とする第１表示用画像生成手段と、
   自車両の周囲または直下に移動物体があることを検出する移動物体検出手段と、
   前記移動物体検出手段の検出に基づいて、前記第１表示用画像生成手段が生成した前記表示用画像を画像表示装置に表示させる画像表示制御手段と、を備えた車両直下画像表示制御装置。
3. 自車両底部直下を撮影する直下用車載カメラによって撮影された直下撮影画像、および自車両周囲を撮影する周囲用車載カメラによって撮影された周囲撮影画像を取得するインターフェース回路と、
   前記インターフェース回路が取得した前記直下撮影画像および前記周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、前記直下撮影画像に基づく自車両の陰となる部分の画像が視認できるような表現で生成して表示用画像とする第１表示用画像生成手段と、
   自車両の近傍に障害物があることを検出する障害物検出手段と、
   自車両の周囲または直下に移動物体があることを検出する移動物体検出手段と、
   前記障害物検出手段の検出および前記移動物体検出手段の検出に基づいて、前記第１表示用画像生成手段が生成した前記表示用画像を画像表示装置に表示させる画像表示制御手段と、を備えた車両直下画像表示制御装置。
4. 前記インターフェース回路が取得した前記周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、過去の前記周囲撮影画像に基づく現在の自車両の陰となる部分の画像が視認できるような表現で生成して表示用画像とする第２表示用画像生成手段を備え、
   前記画像表示制御手段は、前記移動物体検出手段が移動物体を検出しなかったことに基づいて、前記第２表示用画像生成手段が生成した前記表示用画像を画像表示装置に表示させることを特徴とする請求項２または３に記載の車両直下画像表示制御装置。
5. 前記第１表示用画像生成手段は、前記インターフェース回路が取得した前記直下撮影画像および前記周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、前記直下撮影画像に基づく自車両の陰となる部分の画像が視認できるような表現で、かつ、その直下撮影画像に基づく画像中の、前記移動物体検出手段が検出した移動物体を強調するような表現で、生成して表示用画像とすることを特徴とする請求項２ないし４のいずれか１つに記載の車両直下画像表示制御装置。
6. 前記画像表示制御手段は、自車両の主電源オン直後に、前記第１表示用画像生成手段が生成した前記表示用画像を前記画像表示装置に表示させることを特徴とする請求項１ないし５のいずれか１つに記載の車両直下画像表示制御装置。
7. 自車両底部直下を撮影する直下用車載カメラによって撮影された直下撮影画像、および自車両周囲を撮影する周囲用車載カメラによって撮影された周囲撮影画像を取得するインターフェース回路と、
   前記インターフェース回路が取得した前記直下撮影画像および前記周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、前記直下撮影画像に基づく自車両の陰となる部分の画像が視認できるような表現で生成して表示用画像とする第１表示用画像生成手段と、
   自車両の主電源オン直後に、前記第１表示用画像生成手段が生成した前記表示用画像を画像表示装置に表示させる画像表示制御手段と、を備えた車両直下画像表示制御装置。
8. 自車両の周囲または直下に移動物体があることを検出する移動物体検出手段を備え、
   前記第１表示用画像生成手段は、前記インターフェース回路が取得した前記直下撮影画像および前記周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、前記直下撮影画像に基づく自車両の陰となる部分の画像が視認できるような表現で、かつ、その直下撮影画像に基づく画像中の、前記移動物体検出手段が検出した移動物体を強調するような表現で、生成して表示用画像とすることを特徴とする請求項６または７に記載の車両直下画像表示制御装置。
9. 前記障害物検出手段は、自車両に搭載された無線受信機が、自車両後部近傍の障害物に取り付けられた無線送信装置からの信号を受信したことに基づいて、自車両の近傍に障害物があることを検出することを特徴とする請求項１または３に記載の車両直下画像表示制御装置。
10. 自車両底部直下を撮影する直下用車載カメラによって撮影された直下撮影画像および自車両周囲を撮影する周囲用車載カメラによって撮影された周囲撮影画像を取得するインターフェース回路が取得した前記直下撮影画像および前記周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、前記直下撮影画像に基づく自車両の陰となる部分の画像が視認できるような表現で生成して表示用画像とする第１表示用画像生成手段、
    前記インターフェース回路が取得した前記周囲撮影画像に基づいて、自車両および自車両周囲を含む鳥瞰画像を、過去の前記周囲撮影画像に基づく現在の自車両の陰となる部分の画像が視認できるような表現で生成して表示用画像とする第２表示用画像生成手段、
    自車両の周囲または直下に移動物体があることを検出する移動物体検出手段、および、
    前記移動物体検出手段の検出に基づいて、前記第１表示用画像生成手段が生成した前記表示用画像を画像表示装置に表示させ、前記移動物体検出手段が移動物体を検出しなかったことに基づいて、前記第２表示用画像生成手段が生成した前記表示用画像を前記画像表示装置に表示させる画像表示制御手段として、コンピュータを機能させる車両直下画像表示制御プログラム。

Images