JP6375633B2 - 車両周辺画像表示装置、車両周辺画像表示方法 - Google Patents

Description

本発明は、車載カメラを用いて車両の周辺領域を撮影した画像を、表示画面上に表示する技術に関する。

車両の前後左右に搭載した車載カメラで得られた撮影画像に対して、あたかも車両を上方から見たような画像に視線変換する処理を施して、得られた画像（俯瞰画像）を表示する技術が知られている。車両の運転者は俯瞰画像で確認することができれば、周囲に存在する障害物と自車両との位置関係や、路面に描かれた表示などと自車両との位置関係を、距離感も含めて容易に把握することが可能となる。

また、車両の左右には車載カメラを搭載しないにも拘わらず、車両の前後左右方向の周辺領域の俯瞰画像を表示する技術も提案されている（特許文献１）。この技術では、車両の左右方向の周辺領域については車載カメラで直接画像を撮影することはできないが、車両の前後に搭載した車載カメラの画像から、次のような原理で左右方向の俯瞰画像を生成する。

先ず、車両の前方の車載カメラによって得られた撮影画像には、車両の正面の領域だけでなく、その両側には斜め前方の領域も写っている。従って、前方の車載カメラから得られる俯瞰画像にも、車両の左右斜め前方の領域の画像が含まれている。そして、この斜め前方の領域は、車両が前進することによって、やがては車両の左右方向の領域となる。このことから、俯瞰画像中に含まれる車両の斜め前方の領域の画像を記憶しておけば、車両が前進した後は、車両の左右方向の俯瞰画像として用いることができる。車両が更に前進した場合には、その前進よりも前に記憶しておいた俯瞰画像の中から、該当する部分の画像を切り出して用いればよい。こうすれば、車両の左右には車載カメラを搭載しなくても、車両の前後左右方向の周辺領域の俯瞰画像を表示することができる。尚、車両の左右方向に表示される俯瞰画像は、実際には少し前に撮影されていた過去の俯瞰画像である。このことから、過去の俯瞰画像から切り出されて車両の左右方向に表示される画像は「履歴画像」と呼ばれる。

また、車両が後進している場合には、車両の後方の車載カメラによる俯瞰画像を記憶しておき、俯瞰画像の中から切り出した履歴画像を車両の左右方向部分に表示してやればよい。こうすれば、後進時にも車両の前後左右方向の俯瞰画像を表示することができる。

特開２００２−３７３３２７号公報

しかし、上述したように、車載カメラの死角となる領域を含めて俯瞰画像を表示するために履歴画像を利用する技術には、表示する領域内に移動体が存在する場合に、運転者に誤解を与える虞があるという問題があった。
これは次のような理由による。先ず、移動体が車載カメラの撮影範囲内にいる場合は、車載カメラの画像を視線変換して俯瞰画像を表示することで、自車両と移動体との位置関係や、位置関係が変化していく様子を正しく表示することができる。
その後、車両が移動したことに伴って移動体が車載カメラの死角に入ると、車載カメラの画像を視線変換した俯瞰画像では移動体を表示することができなくなるので、履歴画像を用いて表示する必要が生じる。ところが、履歴画像は少し前に撮影された画像なので、移動体の正しい位置を表示しているとは限らない。また、履歴画像を用いて表示された移動体の位置は、車両の進行に伴って、車両の進行方向とは反対側に少しずつ移動していくが、車両が移動した分だけ反対方向に移動するだけなので、あたかも移動体が地面に対しては止まっているかのように見えてしまう。このため、実際には移動体が車両の直ぐ近くまで接近していたとしても、移動体が止まっているので車両に接触する虞はないと、運転者に誤解させてしまう可能性がある。

この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、車両の周辺に移動体が存在する場合でも、運転者に誤解を与えることなく、履歴画像を用いて車両周辺の俯瞰画像を表示することが可能な技術の提供を目的とする。

上述した課題を解決するために本発明の車両周辺画像表示装置および車両周辺画像表示方法は、車載カメラによって得られた撮影画像を視線変換することによって撮影俯瞰画像を生成し、得られた撮影俯瞰画像を記憶する。また、撮影俯瞰画像に移動体が存在する場合には撮影俯瞰画像中での移動体の位置も記憶しておく。そして、車両の移動量に関する移動情報を取得して、記憶しておいた撮影俯瞰画像の中から、車両の死角領域を撮影した部分の画像である履歴画像を切り出して、撮影俯瞰画像と共に表示画面上に表示する。この時、履歴画像中に移動体が存在する場合には、その移動体が撮影俯瞰画像中に存在していた場合とは異なる態様で履歴画像を表示する。

こうすれば、表示画面上で履歴画像の表示態様が変わるので、移動体が履歴画像によって表示されていることを運転者に認識させることができる。その結果、運転者は、例えば直接目視するなどして移動体を確認しようとするので、移動体の位置を誤解する虞を回避することが可能となる。

本実施例の画像表示装置１００を搭載した車両１を示す説明図である。 画像表示装置１００の大まかな内部構成を示す説明図である。 車両１の前方の領域を撮影して得られる撮影画像を示した説明図である。 撮影画像を俯瞰画像に変換する原理についての説明図である。 車両１の周辺に移動体が存在していると運転者に誤解を与える虞がある理由についての説明図である。 本実施例の画像表示処理の前半部分のフローチャートである。 本実施例の画像表示処理の後半部分のフローチャートである。 本実施例の画像表示装置１００によって得られる履歴画像を例示した説明図である。 本実施例の画像表示装置１００によって得られる履歴画像の他の態様を例示した説明図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、画像表示装置１００を搭載した車両１が示されている。尚、本実施例では、画像表示装置１００が、本発明における「車両周辺画像表示装置」に対応する。
図示されるように車両１は、車両１の前方に搭載された車載カメラ１０Ｆと、車両１の後方に搭載された車載カメラ１０Ｒと、車室内に搭載された表示画面１１と、画像表示装置１００などを備えている。尚、本実施例では、車両１の前方および後方にそれぞれ車載カメラ１０Ｆ，１０Ｒが搭載されているものとして説明するが、車載カメラ１０Ｆあるいは車載カメラ１０Ｒの何れか一方を搭載した車両１に対しても、本願発明を適用することができる。
画像表示装置１００は、車載カメラ１０Ｆ，１０Ｒで撮影した車両１の周辺の画像を受け取ると、その画像を、車両１の上方から撮影したような俯瞰画像に変換した後、得られた画像を表示画面１１に表示する。

また、車両１には、操舵ハンドル２の操舵角を検出する操舵角センサー１２や、車速を検出する車速センサー１３や、図示しない変速機のシフトポジションを検出するシフト位置センサー１４などが搭載されている。操舵角センサー１２や、車速センサー１３、シフト位置センサー１４の出力は画像表示装置１００に入力されており、画像表示装置１００は、これらの出力に基づいて車両１の移動量（移動速度および移動方向）に関する移動情報を取得する。そして、画像表示装置１００は、車両１の移動情報と、車載カメラ１０Ｆ，１０Ｒによって得られた俯瞰画像とに基づいて、車載カメラ１０Ｆ，１０Ｒの死角になっている領域（車両１の左右方向の領域）についての俯瞰画像を生成して、表示画面１１に表示する。

図２には、本実施例の画像表示装置１００の大まかな内部構成が示されている。図示されるように本実施例の画像表示装置１００は、撮影画像取得部１０１と、撮影俯瞰画像生成部１０２と、移動体検出部１０３と、撮影俯瞰画像記憶部１０４と、移動情報取得部１０５と、表示画像生成部１０６とを備えている。
尚、これら６つの「部」は、画像表示装置１００が車両１の周辺の画像を表示画面１１に表示する機能に着目して、画像表示装置１００の内部を便宜的に分類した抽象的な概念であり、画像表示装置１００が物理的に６つの部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。

撮影画像取得部１０１は、車載カメラ１０Ｆおよび車載カメラ１０Ｒに接続されており、車載カメラ１０Ｆから車両１の前方の領域を斜め上方から撮影した撮影画像を一定周期（約３０Ｈｚ）で取得する。また、車載カメラ１０Ｒからは、車両１の後方の領域を斜め上方から撮影した撮影画像を一定周期（約３０Ｈｚ）で取得する。
撮影俯瞰画像生成部１０２は、撮影画像取得部１０１から車載カメラ１０Ｆ，１０Ｒによる撮影画像を受け取って俯瞰画像を生成する。すなわち、車載カメラ１０Ｆによって得られる撮影画像は、車両１の前方の領域を斜め上方から撮影した画像であるが、この画像に対して後述する視線変換を施すことにより、車両１の上方から撮影したような俯瞰画像を生成する。同様に、車載カメラ１０Ｒによる撮影画像は、車両１の後方の領域を斜め上方から撮影した画像であるが、この画像を、車両１の上方から撮影したような俯瞰画像に変換する。車載カメラ１０Ｆ，１０Ｒによる撮影画像に視線変換を施して俯瞰画像を生成する方法については後述する。本実施例では、撮影俯瞰画像生成部１０２が本発明における「撮影俯瞰画像生成手段」に対応する。

尚、後述するように、本実施例の画像表示装置１００では、車両１の前後方向の領域だけでなく、車両１の左右方向の領域についても俯瞰画像を生成して、表示画面１１に表示することができる。ここで、車両１の前後方向に表示する俯瞰画像は、車載カメラ１０Ｆ，１０Ｒで撮影した現在の画像を視線変換した画像である。これに対し、車両１の左右方向に表示する俯瞰画像は、車両１の移動情報に基づいて、車両１の前後方向に表示した過去の俯瞰画像から合成した画像である。そこで以下では、車両１の前後方向に表示する俯瞰画像を、車両１の左右方向に表示する合成された俯瞰画像と区別するために「撮影俯瞰画像」と称することにする。また、単に「俯瞰画像」という時は、車両１の上方から見た画像を意味しており、従って、撮影俯瞰画像も履歴画像も「俯瞰画像」に該当する。
撮影俯瞰画像生成部１０２は、生成した撮影俯瞰画像を、移動体検出部１０３と、撮影俯瞰画像記憶部１０４と、表示画像生成部１０６とに出力する。

移動体検出部１０３は、撮影俯瞰画像生成部１０２から供給された撮影俯瞰画像を解析して、撮影俯瞰画像中の移動体を検出する。移動体は、過去に受け取った画像と、新たに受け取った画像とを比較することによって検出することができる。
尚、本実施例では、移動体検出部１０３は、撮影俯瞰画像から移動体を検出するものとして説明するが、図中で破線の矢印で示すように、撮影画像取得部１０１から車載カメラ１０Ｆ，１０Ｒによる撮影画像を受け取って、撮影画像中の移動体を検出しても良い。本実施例では、移動体検出部１０３が、本発明における「移動体検出手段」に対応する。

撮影俯瞰画像記憶部１０４は、撮影俯瞰画像生成部１０２から供給された撮影俯瞰画像を記憶する。また、その撮影俯瞰画像中で移動体検出部１０３によって移動体が検出された場合には、撮影俯瞰画像中で移動体が検出された位置も、撮影俯瞰画像に対応付けて記憶する。本実施例では、撮影俯瞰画像記憶部１０４が、本発明における「撮影俯瞰画像記憶手段」に対応する。
尚、移動体検出部１０３が、撮影俯瞰画像ではなく、その撮影俯瞰画像が視線変換される前の画像（車載カメラ１０Ｆ，１０Ｒによる撮影画像）を用いて移動体を検出する場合は、撮影画像中で検出された移動体の位置に対して視線変換を施すことによって、撮影俯瞰画像中での移動体の位置を求めることができる。

移動情報取得部１０５は、操舵角センサー１２や、車速センサー１３や、シフト位置センサー１４に接続されている。移動情報取得部１０５は、これらセンサーの出力に基づいて、車両１の移動情報を取得する。ここで、車両１の移動情報とは、車両１が前進しているのか、後進しているのか、停車しているのかといった情報や、車両１が真っ直ぐ進んでいるのか、右旋回しているのか、左旋回しているのか、旋回している場合には旋回の大きさに関する情報や、車両１の移動速度に関する情報などである。
移動情報取得部１０５は、取得した車両１の移動情報を表示画像生成部１０６に出力する。本実施例では、移動情報取得部１０５が、本発明における「移動情報取得手段」に対応する。

表示画像生成部１０６は、撮影俯瞰画像生成部１０２からの撮影俯瞰画像と、移動情報取得部１０５からの移動情報と、撮影俯瞰画像記憶部１０４に記憶されている過去の撮影俯瞰画像とを用いて、車両１の全周に亘る周辺領域についての俯瞰画像を生成して、表示画面１１に表示する。
ここで、車両１の前方および後方の領域については、車載カメラ１０Ｆ，１０Ｒの撮影領域なので、車載カメラ１０Ｆ，１０Ｒによる撮影画像を視線変換した俯瞰画像（撮影俯瞰画像）を表示すればよい。しかし、車両１の右方向および左方向の領域については、車載カメラ１０Ｆ，１０Ｒの死角領域となるので、車載カメラ１０Ｆ，１０Ｒによる撮影画像を視線変換しただけでは俯瞰画像は得られない。そこで、撮影俯瞰画像記憶部１０４に記憶されている過去の撮影俯瞰画像の中から、車両１の移動情報に基づいて該当する部分の画像（履歴画像）を切り出すことによって、車両１の左右方向の領域についての俯瞰画像を生成する。本実施例では、表示画像生成部１０６が、本発明における「撮影俯瞰画像表示手段」および「履歴画像表示手段」に対応する。
以下では、車両１の左右方向の領域での俯瞰画像を生成する方法について説明するが、その準備として、先ず始めに、車載カメラ１０Ｆ，１０Ｒによる撮影画像を視線変換して撮影俯瞰画像を生成する方法について説明する。その後、かかる説明を踏まえて、車両１の左右方向の領域での俯瞰画像を生成する方法について説明する。

Ｂ．履歴画像を用いて車両の周辺の俯瞰画像を表示する原理 ：
車両１の車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）で撮影した地面に、複数の目印が等間隔で格子状に描かれていた場合について考える。
図３（ａ）には、車両１の前方の地面に等間隔で格子状に描かれた複数の丸い目印を、車両１の上方から見た状態で示されている。図中で、車載カメラ１０Ｆから斜め方向に伸びる２本の一点鎖線は、車載カメラ１０Ｆの撮影領域と死角領域との境界を表している。また、丸い目印が太い実線で表示されているのは、その目印が車載カメラ１０Ｆの撮影領域内にあることを表しており、丸い目印が細い破線で表示されているのは、その目印が車載カメラ１０Ｆの死角領域内にあることを表している。車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）は、このような地面を斜め上方から撮影する。

図３（ｂ）には、車載カメラ１０Ｆで得られる撮影画像が示されている。撮影画像には、車載カメラ１０Ｆの撮影範囲内に存在する地面の目印が写っている。例えば、撮影画像上での目印ａは、図３（ａ）の地面上の目印Ａが写ったものであり、撮影画像上での目印ｂは、地面上の目印Ｂが写ったものである。同様に、撮影画像上での目印ｃおよび目印ｄは、地面上の目印Ｃおよび目印Ｄが写ったものである。
このように、車載カメラ１０Ｆの撮影範囲内の地面上の座標と、撮影画像上の座標との間には１対１の対応関係が存在する。従って、この対応関係を利用すれば、図３（ｂ）に例示した撮影画像を、図３（ａ）に例示したように車両１の上方から地面を見下ろしたような画像（俯瞰画像）に変換することができる。これが、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）の撮影画像を視線変換して俯瞰画像を生成する際の考え方である。

このような視線変換を行うことにより、図４（ａ）に示した撮影画像は、図４（ｂ）に示すような俯瞰画像に変換される。こうして得られた俯瞰画像は、遠くの位置ほど左右方向に広がった画像となる。これは、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）の撮影範囲が左右両側に広がっていることによる（図３（ａ）参照）。図４（ｂ）では、俯瞰画像中で左側に広がった領域を領域Ｌ、右側に広がった領域を領域Ｒと表示している。

図４（ｂ）に示した状態では、領域Ｌも領域Ｒも、車載カメラ１０Ｆの撮影領域内にある。しかし、車両１が前進すれば、領域Ｌは車両１の左方向の死角領域となり、領域Ｒは車両１の右方向の死角領域となる。
そこで、車載カメラ１０Ｆの撮影画像を視線変換して得られた俯瞰画像（撮影俯瞰画像）を記憶しておき、車両１の移動に伴って、過去の撮影俯瞰画像の中から、現在の死角領域に対応する部分の画像（履歴画像）を切り出して表示してやる。こうすれば、車両１の左右方向の領域についても俯瞰画像を表示することが可能となる。以上が、履歴画像を用いて、車両１の左右方向の領域についての俯瞰画像を表示する基本的な考え方である。

ところが、このようにして履歴画像を用いて車両１の周囲の俯瞰画像を表示した場合、表示範囲内に移動体が存在していると、運転者に誤解を与える虞があった。この理由について、図５を用いて説明する。
図５には、表示画面１１に表示される車両１の周辺の俯瞰画像が、車両１の前進に伴って変化する様子が示されている。尚、図５では、車両１の前側の部分が拡大して表示されている。また、理解の便宜から、車両１の前方の地面には、車両１の進行方向と平行に２本の白線が描かれており、その奥側には、車両１の進行方向と直角に１本の白線が描かれているものとする。更に、ここでは、過去に視線変換して生成された撮影俯瞰画像は、まだ記憶されていないものとする。

図５（ａ）には、一番始めに表示画面１１に表示された車両１の周囲の俯瞰画像が示されている。図示されるように、車両１の前方の撮影領域には、車載カメラ１０Ｆの撮影画像を視線変換して生成した撮影俯瞰画像が表示されている。この撮影俯瞰画像には、白線上に移動体が写っている。また、上述したように、過去に生成した撮影俯瞰画像は記憶されていないものとしているから、車両１の左右の死角領域には履歴画像は表示されていない。

図５（ｂ）には、車両１が少し前進した状態で、表示画面１１に表示される車両１の周囲の俯瞰画像が示されている。車両１の前方の撮影領域に表示される撮影俯瞰画像では、車両１が少し前進したことに伴って、白線の位置が少し車両１に近付いている。また、図５（ａ）では白線上にあった移動体は、白線よりも手前側に移動している。
前述したように撮影俯瞰画像は、車載カメラ１０Ｆで撮影した現在の画像を視線変換した画像だから、撮影俯瞰画像で移動体が白線よりも手前側にあるということは、車載カメラ１０Ｆの撮影画像でも移動体は白線より手前側にあると考えて良い。従って、図５（ｂ）に示した表示画面１１では、実際に移動体が存在する位置が正しく表示されていると考えて良い。
また、図５（ｂ）に示した表示画面１１では、車両１の左右の死角領域には、図５（ａ）で表示されていた過去の撮影俯瞰画像の中から該当する部分の画像（履歴画像）が切り出されて表示されている。尚、以下の図５（ｂ）〜図５（ｄ）では、撮影俯瞰画像と履歴画像とを区別するために、履歴画像には斜線を付して表示してある。

図５（ｃ）には、車両１が更に少し前進した状態で、表示画面１１に表示される車両１の周囲の俯瞰画像が示されている。車両１が前進したことに伴って、車両１の前方の白線が、更に車両１に近付いた位置に表示されている。この結果、車両１の前方の撮影領域内にある白線は僅かな部分となり、白線の大部分は車両１の左右の死角領域に存在している。しかし、死角領域についても、図５（ａ）あるいは図５（ｂ）で表示されていた過去の撮影俯瞰画像の中から該当する部分を切り出した履歴画像が表示されているので、表示画面１１上で白線の位置を確認することができる。

ここで、図５（ｃ）に示した表示画面１１にも移動体が表示されている。移動体と白線とを比較すれば明らかなように、図５（ｃ）に示した移動体の位置は、図５（ｂ）の移動体の位置から変わっていない。これは、図５（ｃ）の移動体の画像は、図５（ｂ）の撮影俯瞰画像に表示されていた画像の中から切り出された履歴画像であり、図５（ｃ）の画像を表示した時点から見れば過去の画像であることによる。
もちろん、実際には移動体は、図５（ｂ）の画像を表示した時点からは、更に移動していると考えられる。仮に、移動体の移動方向および移動速度が変わらないとすれば、図５（ｃ）の画像を表示した時点での移動体は、図中に破線で示した白丸の位置に存在する筈である。すなわち、この場合、運転者は、移動体の位置を実際よりも遠くにあると誤解してしまうことになる。

図５（ｄ）には、図５（ｃ）に示した状態から、車両１が更に少し前進した状態で、表示画面１１に表示される車両１の周囲の俯瞰画像が示されている。図示されるように、図５（ｄ）の画像では、白線全体が履歴画像によって表示されている。また、図５（ｄ）の画像にも移動体が表示されているが、この移動体は履歴画像によって表示されているので、白線に対する移動体の位置は、図５（ｂ）の画像に表示されていた位置から変わっていない。しかし、移動体の移動方向および移動速度が変わらないとすれば、実際には、移動体は、図中に破線で示した白丸の位置に存在する筈である。
また、移動体が歩行者などの場合には、移動体の移動方向および移動速度が一定であるとは限らない。従って、実際の移動体の位置を推定することも困難となる。

このように、履歴画像を用いて車両１の周辺の死角領域の画像を表示する場合、移動体が死角領域に入ると正しい移動体の位置を表示することができなくなって、車両１の運転者に誤解を与える虞がある。そこで、移動体が存在する場合にも運転者に誤解を与えることなく、履歴画像を用いて車両１の周辺の画像を表示するために、本実施例の画像表示装置１００では、次のような画像表示処理を実行する。

Ｃ．本実施例の画像表示処理 ：
図６および図７には、本実施例の画像表示装置１００が実行する画像表示処理のフローチャートが示されている。
図示されるように、画像表示処理を開始すると、先ず始めに車載カメラ１０Ｆおよび車載カメラ１０Ｒから、車両１の前方および後方の撮影画像を取得する（Ｓ１００）。
そして、車載カメラ１０Ｆ，１０Ｒから取得した撮影画像を視線変換して、車両１の前方および後方の撮影領域についての撮影俯瞰画像を生成する（Ｓ１０１）。

続いて、車両１の前方および後方の撮影俯瞰画像の中から移動体を検出する（Ｓ１０２）。移動体の検出には、周知の何れの方法を用いてもよい。
そして、移動体が検出されたか否かを判断する（Ｓ１０３）。その結果、移動体が検出されていなかった場合は（Ｓ１０３：ｎｏ）、前方および後方の撮影俯瞰画像を、撮影タイミングが識別可能な状態で（たとえば、タイムスタンプと共に）メモリーに記憶する（Ｓ１０４）。これに対して、移動体が検出されていた場合は（Ｓ１０３：ｙｅｓ）、撮影俯瞰画像と撮影俯瞰画像中での移動体の位置とを、撮影タイミングが識別可能な状態でメモリーに記憶する（Ｓ１０５）。
たとえば、前方の撮影俯瞰画像で移動体が検出されており、後方の撮影俯瞰画像では移動体が検出されていなかった場合は、前方の撮影俯瞰画像については、撮影俯瞰画像および移動体の位置を記憶し（Ｓ１０５）、後方の撮影俯瞰画像については、撮影俯瞰画像を記憶する（Ｓ１０４）。

その後、表示画面１１上で車載カメラ１０Ｆおよび車載カメラ１０Ｒの撮影領域に対応するフレームメモリーに、前方および後方の撮影俯瞰画像を書き込む（Ｓ１０６）。ここで、フレームメモリーとは、表示画面１１に画像を表示するために用いられるメモリー領域である。表示画面１１に表示される画像はフレームメモリー上に生成される。そして、フレームメモリー上で画像が完成したら、フレームメモリーのデータを映像信号として出力することによって、表示画面１１に画像が表示される。フレームメモリー上の１つ１つのアドレスは、表示画面１１上の１つ１つの画素と対応している。Ｓ１０６では、表示画面１１上で車載カメラ１０Ｆの撮影領域に対応するフレームメモリーの各アドレスには前方の撮影俯瞰画像を書き込み、車載カメラ１０Ｒの撮影領域に対応するフレームメモリーの各アドレスには後方の撮影俯瞰画像を書き込む。

続いて、画像表示装置１００は、車両１の移動情報を取得する（Ｓ１０７）。ここで、車両１の移動情報とは、操舵角センサー１２や、車速センサー１３、シフト位置センサー１４などから取得された情報である。

そして、取得した移動情報に基づいて、車両１が移動中か否かを判断し（図７のＳ１０８）、車両１が移動中であった場合には（Ｓ１０８：ｙｅｓ）、前進中か否かを判断する（Ｓ１０９）。
その結果、車両１が前進中であった場合は（Ｓ１０９：ｙｅｓ）、車両１の前方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に対応する画像（履歴画像）を切り出す（Ｓ１１０）。これに対して、車両１が後進中であった場合は（Ｓ１０９：ｎｏ）、車両１の後方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に対応する画像（履歴画像）を切り出す（Ｓ１１１）。車両１の移動情報はＳ１０７で既に取得しているので、過去の撮影俯瞰画像の中から、現在の車両１の死角領域に該当する部分を決定することができる。

続いて、切り出した履歴画像中に移動体が存在するか否かを判断する（Ｓ１１２）。前述したように本実施例の画像表示処理では、撮影俯瞰画像を記憶する際に、その撮影俯瞰画像中に移動体が存在するか否かを判断して（図６のＳ１０３）、移動体が存在する場合には、その移動体の位置も記憶している（Ｓ１０５）。このため、撮影俯瞰画像から切り出した履歴画像中に移動体が存在するか否かは、容易に判断することができる。
その結果、履歴画像中に移動体が存在していた場合は（図７のＳ１１２：ｙｅｓ）、履歴画像中の移動体の表示態様を、通常とは異なる特殊態様に変更する（Ｓ１１３）。例えば、履歴画像中の移動体の色を変更して（例えば赤色に変更して）表示したり、移動体を赤枠や白枠などで囲って表示したり、更には移動体の画像を予め記憶しておいた図形の画像に差し替えて表示したりする。
これに対して、履歴画像中に移動体が存在しない場合は（Ｓ１１２：ｎｏ）、移動体の表示態様を変更する操作は行わない。

そして、こうして得られた履歴画像を、表示画面１１上で車載カメラ１０Ｆおよび車載カメラ１０Ｒの死角領域に対応するフレームメモリーに書き込む（Ｓ１１４）。履歴画像中に移動体が存在していた場合には、特殊態様に変更された履歴画像が書き込まれることになる。
また、車両１の前方および後方の撮影俯瞰画像は、図６のＳ１０６で既にフレームメモリーに書き込まれているので、履歴画像が書き込まれることによって、フレームメモリー上では、表示画面１１に表示する画像が完成する。

そこで、画像表示装置１００は、フレームメモリー上の画像を表示画面１１に出力する（Ｓ１１５）。その結果、表示画面１１には、車両１の周辺を上方から見たような俯瞰画像が表示される。

以上では、車両１が移動中と判断した場合に（Ｓ１０８：ｙｅｓ）、表示画面１１の死角領域に対応するフレームメモリーに履歴画像を書き込む一連の処理（Ｓ１０９〜Ｓ１１４）について説明した。
これに対して、車両１が停止中と判断した場合は（Ｓ１０８：ｎｏ）、履歴画像を書き込む一連の処理（Ｓ１０９〜Ｓ１１４）は行わずに、フレームメモリー上の画像を表示画面１１に出力する（Ｓ１１５）。この結果、表示画面１１には、車両１の前後に表示される撮影俯瞰画像だけが更新された画像が表示される。また、フレームメモリー上に前に書き込んだ履歴画像が残っている場合には、その履歴画像が、表示画面１１上の死角領域に表示される。
尚、車両１が停止してから所定時間の間は、フレームメモリー上に残っている履歴画像を表示画面１１の死角領域に表示するが、所定時間が経過した後は、フレームメモリー上の履歴画像を消去して、表示画面１１には履歴画像が表示されないようにしても良い。

以上のようにして、フレームメモリー上の画像を表示画面１１に表示したら（Ｓ１１５）、車両１の周辺領域についての俯瞰画像の表示を終了するか否かを判断する（Ｓ１１６）。その結果、まだ表示を終了しない場合は（Ｓ１１６：ｎｏ）、処理の先頭に戻って、再び、車載カメラ１０Ｆ，１０Ｒによって得られた撮影画像を取得した後（図６のＳ１００）、上述した続く一連の処理を実行する。
これに対して、表示を終了すると判断した場合は（図７のＳ１１６：ｙｅｓ）、本実施例の画像表示処理を終了する。

図８には、上述した本実施例の画像表示処理によって表示画面１１に表示される俯瞰画像が例示されている。説明の都合上、図８においても、図５に示した場合と同様に、車両１の前方の地面には、車両１の進行方向と平行な２本の白線と、それら２本の白線と直角な１本の白線とが描かれているものとする。また、移動体についても、図５に示した場合と全く同様に移動しているものとする。尚、図５では、履歴画像に斜線を付して表示したが、図８では、図示が煩雑となることを避けるため、履歴画像に斜線を付さずに表示している。

図８（ａ）と図５（ａ）、あるいは図８（ｂ）と図５（ｂ）とを比較すれば明らかなように、移動体が車載カメラ１０Ｆの撮影領域内にある間は、本実施例の画像表示処理で表示される俯瞰画像も、従来の俯瞰画像と同様である。
図８（ｃ）に示されるように、移動体が死角領域に入って履歴画像で表示されるようになると、本実施例では、移動体が通常とは異なる態様で表示されている。図示した例では、移動体が赤色あるいは黄色などの通常とは異なる色で表示されている。このため運転者は、何が起こったのだろうと思って、表示画面１１を介してではなく、移動体を直接目視しようとして車両１の周囲を確認するので、移動体の正しい位置を認識することができる。
図８（ｄ）についても同様に、表示画面１１上では移動体が通常とは異なる態様で表示されるので、運転者が移動体を直接目視して確認しようとする結果、移動体の正しい位置を認識する。このため、たとえ表示画面１１上では移動体が正しい位置に表示されていなくても、運転者が移動体の位置を誤解してしまうことを回避可能となる。

図８に示した例では、履歴画像中に移動体が存在する場合に、移動体だけを通常とは異なる態様で表示するものとして説明した。しかし、履歴画像中の移動体を通常とは異なる態様で表示することができれば十分である。例えば、履歴画像中に移動体が存在する場合には、その履歴画像全体を通常とは異なる態様で表示してもよい。

図９には、このような態様で履歴画像が表示された変形例が示されている。図９（ａ）および図９（ｂ）では、移動体は撮影俯瞰画像中に存在しており、車両１の左右方向の履歴画像中には存在していない。このため、左右方向の何れの履歴画像も撮影俯瞰画像と同様に、通常と同じ態様で表示されている。
しかし、図９（ｃ）および図９（ｄ）では、車両１に対して右側の履歴画像中に移動体が存在している。そこで、車両１の右側の履歴画像については、通常とは異なる態様で、例えば赤色がかった色彩で、あるいは黄色がかった色彩で表示する。また、車両１の左側の履歴画像については移動体が存在しないので、通常と同じ態様で表示する。
こうすれば、表示画面１１上で車両１の右側の履歴画像が通常とは異なる態様で表示されるので、何が起こったのだろうと思って、車両１の右側の領域を直接目視によって確認する。その結果、移動体の正しい位置を認識することが可能となる。

尚、図９では、車両１に対して移動体が存在する側の履歴画像を、通常とは異なる態様で表示するものとした。従って、例えば、図９（ｂ）〜図９（ｄ）のように、車両１の側方の死角領域に履歴画像が表示されていない部分が存在する場合には、履歴画像の部分だけが通常とは異なる態様で表示される。
しかし、移動体が存在する側の死角領域全体を通常とは異なる態様で表示してもよい。このようにしても、移動体が存在する側の履歴画像が通常とは異なる態様で表示され、更に、移動体自体も通常とは異なる態様で表示される。その結果、運転者が直接目視によって移動体を確認しようとするので、移動体の正しい位置を認識することが可能となる。

以上、本実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

１…車両、 ２…操舵ハンドル、 １０Ｆ…車載カメラ、
１０Ｒ…車載カメラ、 １１…表示画面、 １２…操舵角センサー、
１３…車速センサー、 １４…シフト位置センサー、 １００…画像表示装置、
１０１…撮影画像取得部、 １０２…撮影俯瞰画像生成部、
１０３…移動体検出部、 １０４…撮影俯瞰画像記憶部、
１０５…移動情報取得部、 １０６…表示画像生成部。

Claims (4)

1. 車載カメラを用いて車両（１）の周辺領域を撮影した画像を、表示画面（１１）上に表示する車両周辺画像表示装置（１００）であって、
   前記車載カメラによって得られた撮影画像に対して、該車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成手段（１０２）と、
   前記撮影俯瞰画像または前記撮影画像から移動体を検出する移動体検出手段（１０３）と、
   前記撮影俯瞰画像を記憶すると共に、該撮影俯瞰画像に前記移動体が存在する場合には該撮影俯瞰画像中での該移動体の位置も記憶する撮影俯瞰画像記憶手段（１０４）と、
   前記表示画面上で、前記車載カメラが撮影した前記周辺領域に対応する位置に前記撮影俯瞰画像を表示する撮影俯瞰画像表示手段（１０６）と、
   前記車両の移動量に関する移動情報を取得する移動情報取得手段（１０５）と、
   前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成されて前記撮影俯瞰画像記憶手段に記憶された前記撮影俯瞰画像の中から該死角領域を撮影した部分の画像である履歴画像を、前記移動情報に基づいて切り出して、前記表示画面上の該死角領域に対応する位置に表示する履歴画像表示手段（１０６）と
   を備え、
   前記履歴画像表示手段は、前記履歴画像中に前記移動体が存在する場合には、該履歴画像を、前記撮影俯瞰画像表示手段が表示する態様とは異なる態様で表示する手段である
   車両周辺画像表示装置。
2. 請求項１に記載の車両周辺画像表示装置であって、
   前記車載カメラは、前記車両の前方または後方の少なくとも一方に搭載されている
   車両周辺画像表示装置
3. 請求項２に記載の車両周辺画像表示装置であって、
   前記履歴画像表示手段は、
   前記車両の右側方に存在する前記死角領域と、該車両の左側方に存在する前記死角領域のそれぞれについて前記履歴画像を表示しており、
   前記履歴画像中に前記移動体が存在する場合には、該移動体が存在する側の前記履歴画像を、該移動体が存在しない側の前記履歴画像とは異なる態様で表示する手段である
   車両周辺画像表示装置。
4. 車載カメラを用いて車両の周辺領域を撮影した画像を、表示画面上に表示する車両周辺画像表示方法であって、
   前記車載カメラによって得られた撮影画像に対して、該車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成工程（Ｓ１０１）と、
   前記撮影俯瞰画像または前記撮影画像から移動体を検出する移動体検出工程（Ｓ１０２）と、
   前記撮影俯瞰画像を記憶すると共に、該撮影俯瞰画像に前記移動体が存在する場合には該撮影俯瞰画像中での該移動体の位置も記憶する撮影俯瞰画像記憶工程（Ｓ１０４、Ｓ１０５）と、
   前記表示画面上で、前記車載カメラが撮影した前記周辺領域に対応する位置に前記撮影俯瞰画像を表示する撮影俯瞰画像表示工程（Ｓ１０６）と、
   前記車両の移動量に関する移動情報を取得する移動情報取得工程（Ｓ１０７）と、
   前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に記憶された前記撮影俯瞰画像の中から該死角領域を撮影した部分の画像である履歴画像を、前記移動情報に基づいて切り出して、前記表示画面上の該死角領域に対応する位置に表示する履歴画像表示工程（Ｓ１１０、Ｓ１１１、Ｓ１１３、Ｓ１１４）と
   を備え、
   前記履歴画像表示工程は、前記履歴画像中に前記移動体が存在する場合には、該履歴画像を、前記撮影俯瞰画像が表示される態様とは異なる態様で表示する工程である
   車両周辺画像表示方法。

Images