JP6326869B2 - 車両周辺画像表示装置、車両周辺画像表示方法 - Google Patents
車両周辺画像表示装置、車両周辺画像表示方法 Download PDFInfo
- Publication number
- JP6326869B2 JP6326869B2 JP2014042987A JP2014042987A JP6326869B2 JP 6326869 B2 JP6326869 B2 JP 6326869B2 JP 2014042987 A JP2014042987 A JP 2014042987A JP 2014042987 A JP2014042987 A JP 2014042987A JP 6326869 B2 JP6326869 B2 JP 6326869B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- speed
- display
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 44
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 137
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 134
- 238000003860 storage Methods 0.000 claims description 79
- 230000002093 peripheral effect Effects 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000005520 cutting process Methods 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車載カメラを用いて車両の周辺領域を撮影した画像を、表示画面上に表示する技術に関する。
車両の前後左右に搭載した車載カメラで得られた撮影画像に対して、あたかも車両を上方から見たような画像に視線変換する処理を施して、得られた画像（俯瞰画像）を表示する技術が知られている。車両の運転者は俯瞰画像を確認することができれば、周囲に存在する障害物と自車両との位置関係や、路面に描かれた表示などと自車両との位置関係を、距離感も含めて容易に把握することが可能となる。
また、車両の左右には車載カメラを搭載しないにも拘わらず、車両の前後左右方向の周辺領域の俯瞰画像を表示する技術も提案されている（特許文献１）。この技術では、車両の左右方向の周辺領域については車載カメラで直接画像を撮影することはできないが、車両の前後に搭載した車載カメラの画像から、次のような原理で左右方向の俯瞰画像を生成する。
先ず、車両の前方の車載カメラによって得られた撮影画像には、車両の正面の領域だけでなく、その両側に斜め前方の領域も写っている。従って、前方の車載カメラから得られる俯瞰画像にも、車両の左右斜め前方の領域の画像が含まれている。そして、この斜め前方の領域は、車両が前進することによって、やがては車両の左右方向の領域となる。このことから、俯瞰画像を記憶しておき、車両の移動量に応じて、記憶しておいた俯瞰画像の中から車両の左右方向の領域に対応する画像を切り出して表示すれば、車両の左右方向も含めて周辺領域の俯瞰画像を表示することができる。尚、車両の左右方向に表示される俯瞰画像は、実際には少し前に撮影されていた過去の俯瞰画像である。このため、過去の俯瞰画像から切り出されて車両の左右方向に表示される画像は「履歴画像」と呼ばれる。
また、こうして画面上に表示された俯瞰画像は、車載カメラが新たな画像を撮影する度に更新されており、車載カメラが新たな画像を撮影する周期は一定である。従って、車両の移動速度が分かれば、前回に撮影した画像中でどれだけの領域が死角領域に移動するかを知ることができる。更には、前回に撮影した画像だけでは全ての死角領域に履歴画像を表示することはできないので、死角領域中で前々回に撮影した画像あるいはそれより前に撮影した画像を履歴画像として表示すればよい。
もちろん、上述した内容は、車両が後進している場合にも全く同様に当て嵌まる。従って、車両の後進時にも、車両の前後左右方向の俯瞰画像を表示することができる。
もちろん、上述した内容は、車両が後進している場合にも全く同様に当て嵌まる。従って、車両の後進時にも、車両の前後左右方向の俯瞰画像を表示することができる。
しかし、履歴画像を利用して車載カメラの死角となる領域の俯瞰画像を表示する技術は、車両の移動速度が高くなると表示画質が低下して、運転者に違和感を与える虞があるという問題があった。これは、移動速度が高くなると、車載カメラで撮影した画像中で遠くが写った部分を視線変換して履歴画像として表示しなければならなくなり、遠くを写したことによる画像の分解能の不足や、視線変換による画像の歪みの影響が目立ち易くなるためである。
もちろん、車載カメラが新たな画像を撮影する周期（従って、画面上で俯瞰画像を更新する周期）を短くすればこうした弊害は回避することができるが、俯瞰画像の更新周期を短くすると処理負担が増加するという新たな問題を引き起こしてしまう。
もちろん、車載カメラが新たな画像を撮影する周期（従って、画面上で俯瞰画像を更新する周期）を短くすればこうした弊害は回避することができるが、俯瞰画像の更新周期を短くすると処理負担が増加するという新たな問題を引き起こしてしまう。
この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、車両の移動速度が高い場合でも運転者に違和感を与えることなく、車両の周辺の俯瞰画像を表示することが可能な技術の提供を目的とする。
上述した課題を解決するために本発明の車両周辺画像表示装置および車両周辺画像表示方法は、車載カメラによって得られた撮影画像に視線変換を施して撮影俯瞰画像を生成する。そして、車両の移動速度を含む移動情報を取得して、移動速度が所定の表示速度より大きい場合には、表示画面上で、車載カメラが撮影した前記周辺領域に対応する位置に撮影俯瞰画像を表示する。また、移動速度が所定の表示速度以下の場合には、表示画面上で、車載カメラの死角領域に対応する位置に、履歴画像を表示する。
こうすれば、車両の移動速度が表示速度よりも大きい場合には履歴画像が表示されないので、画質の悪化した俯瞰画像が表示されて運転者に違和感を与えることを回避できる。
尚、本発明の車両周辺画像表示装置は、次のような態様で把握することもできる。すなわち、
車載カメラ（１０Ｆ，１０Ｒ）を用いて車両（１）の周辺領域を撮影した画像を表示画面（１１）上に表示する車両周辺画像表示装置（１００）であって、
前記車載カメラによって得られた撮影画像に対して、該車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成手段（１０２）と、
前記撮影俯瞰画像を記憶する撮影俯瞰画像記憶手段（１０６）と、
前記表示画面上で、前記車載カメラが撮影した前記周辺領域に対応する位置に前記撮影俯瞰画像を表示する撮影俯瞰画像表示手段（１０３）と、
前記車両の移動速度を含む移動情報を取得する移動情報取得手段（１０４）と、
前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成された前記撮影俯瞰画像の中から該死角領域を撮影した部分の画像である履歴画像を、前記移動情報に基づいて切り出して、前記表示画面上の該死角領域に対応する位置に表示する履歴画像表示手段（１０３）と
を備え、
前記撮影俯瞰画像記憶手段は、前記移動速度が所定の記憶速度以下になると前記撮影俯瞰画像の記憶を開始する手段であり、
前記履歴画像表示手段は、前記撮影俯瞰画像の記憶を開始してから前記車両が所定距離を移動した後に、前記履歴画像を表示する手段である
車両周辺画像表示装置として把握することができる。
車載カメラ（１０Ｆ，１０Ｒ）を用いて車両（１）の周辺領域を撮影した画像を表示画面（１１）上に表示する車両周辺画像表示装置（１００）であって、
前記車載カメラによって得られた撮影画像に対して、該車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成手段（１０２）と、
前記撮影俯瞰画像を記憶する撮影俯瞰画像記憶手段（１０６）と、
前記表示画面上で、前記車載カメラが撮影した前記周辺領域に対応する位置に前記撮影俯瞰画像を表示する撮影俯瞰画像表示手段（１０３）と、
前記車両の移動速度を含む移動情報を取得する移動情報取得手段（１０４）と、
前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成された前記撮影俯瞰画像の中から該死角領域を撮影した部分の画像である履歴画像を、前記移動情報に基づいて切り出して、前記表示画面上の該死角領域に対応する位置に表示する履歴画像表示手段（１０３）と
を備え、
前記撮影俯瞰画像記憶手段は、前記移動速度が所定の記憶速度以下になると前記撮影俯瞰画像の記憶を開始する手段であり、
前記履歴画像表示手段は、前記撮影俯瞰画像の記憶を開始してから前記車両が所定距離を移動した後に、前記履歴画像を表示する手段である
車両周辺画像表示装置として把握することができる。
同様に、本発明の車両周辺画像表示方法は、次のような態様で把握することもできる。すなわち、
車載カメラを用いて車両の周辺領域を撮影した画像を表示画面上に表示する車両周辺画像表示装置（Ｓ２００）であって、
前記車載カメラによって得られた撮影画像に対して、該車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成工程（Ｓ２０２）と、
前記撮影俯瞰画像を記憶する撮影俯瞰画像記憶工程（Ｓ２０８、Ｓ２０９）と、
前記表示画面上で、前記車載カメラが撮影した前記周辺領域に対応する位置に前記撮影俯瞰画像を表示する撮影俯瞰画像表示工程（Ｓ２０３、Ｓ２１５）と、
前記車両の移動速度を含む移動情報を取得する移動情報取得工程（Ｓ２０４）と、
前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成された前記撮影俯瞰画像の中から該死角領域を撮影した部分の画像である履歴画像を、前記移動情報に基づいて切り出して、前記表示画面上の該死角領域に対応する位置に表示する履歴画像表示工程（Ｓ２１４、Ｓ２１５）と
を備え、
前記撮影俯瞰画像記憶工程は、前記移動速度が所定の記憶速度以下になると前記撮影俯瞰画像の記憶を開始する工程であり、
前記履歴画像表示工程は、前記撮影俯瞰画像の記憶を開始してから前記車両が所定距離を移動した後に、前記履歴画像を表示する工程である
車両周辺画像表示方法として把握することができる。
車載カメラを用いて車両の周辺領域を撮影した画像を表示画面上に表示する車両周辺画像表示装置（Ｓ２００）であって、
前記車載カメラによって得られた撮影画像に対して、該車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成工程（Ｓ２０２）と、
前記撮影俯瞰画像を記憶する撮影俯瞰画像記憶工程（Ｓ２０８、Ｓ２０９）と、
前記表示画面上で、前記車載カメラが撮影した前記周辺領域に対応する位置に前記撮影俯瞰画像を表示する撮影俯瞰画像表示工程（Ｓ２０３、Ｓ２１５）と、
前記車両の移動速度を含む移動情報を取得する移動情報取得工程（Ｓ２０４）と、
前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成された前記撮影俯瞰画像の中から該死角領域を撮影した部分の画像である履歴画像を、前記移動情報に基づいて切り出して、前記表示画面上の該死角領域に対応する位置に表示する履歴画像表示工程（Ｓ２１４、Ｓ２１５）と
を備え、
前記撮影俯瞰画像記憶工程は、前記移動速度が所定の記憶速度以下になると前記撮影俯瞰画像の記憶を開始する工程であり、
前記履歴画像表示工程は、前記撮影俯瞰画像の記憶を開始してから前記車両が所定距離を移動した後に、前記履歴画像を表示する工程である
車両周辺画像表示方法として把握することができる。
このような態様で把握される本発明の車両周辺画像表示装置および車両周辺画像表示方法においても、車両の移動速度が記憶速度よりも大きい場合には履歴画像が表示されないので、画質の悪化した俯瞰画像が表示されて運転者に違和感を与えることを回避できる。
以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、俯瞰画像表示装置１００を搭載した車両１が示されている。尚、本実施例では、俯瞰画像表示装置１００が、本発明における「車両周辺画像表示装置」に対応する。
図示されるように車両１は、車両１の前方に搭載された車載カメラ１０Ｆと、車両１の後方に搭載された車載カメラ１０Ｒと、車室内に搭載された表示画面１１と、俯瞰画像表示装置１００などを備えている。尚、本実施例では、車両１の前方および後方にそれぞれ車載カメラ１０Ｆ，１０Ｒが搭載されているものとして説明するが、車載カメラ１０Ｆあるいは車載カメラ１０Ｒの何れか一方を搭載した車両１に対しても、本願発明を適用することができる。
俯瞰画像表示装置１００は、車載カメラ１０Ｆ，１０Ｒで撮影した車両１の周辺の画像を受け取ると、その画像を、車両１の上方から撮影したような俯瞰画像に変換した後、得られた画像を表示画面１１に表示する。
Ａ．装置構成 ：
図１には、俯瞰画像表示装置１００を搭載した車両１が示されている。尚、本実施例では、俯瞰画像表示装置１００が、本発明における「車両周辺画像表示装置」に対応する。
図示されるように車両１は、車両１の前方に搭載された車載カメラ１０Ｆと、車両１の後方に搭載された車載カメラ１０Ｒと、車室内に搭載された表示画面１１と、俯瞰画像表示装置１００などを備えている。尚、本実施例では、車両１の前方および後方にそれぞれ車載カメラ１０Ｆ，１０Ｒが搭載されているものとして説明するが、車載カメラ１０Ｆあるいは車載カメラ１０Ｒの何れか一方を搭載した車両１に対しても、本願発明を適用することができる。
俯瞰画像表示装置１００は、車載カメラ１０Ｆ，１０Ｒで撮影した車両１の周辺の画像を受け取ると、その画像を、車両１の上方から撮影したような俯瞰画像に変換した後、得られた画像を表示画面１１に表示する。
また、車両１には、操舵ハンドル２の操舵角を検出する操舵角センサー１２や、車速を検出する車速センサー１３や、図示しない変速機のシフトポジションを検出するシフト位置センサー１４などが搭載されている。操舵角センサー１２や、車速センサー１３、シフト位置センサー１４の出力は俯瞰画像表示装置１００に入力されており、俯瞰画像表示装置１００は、これらの出力に基づいて車両１の移動量（移動速度および移動方向）に関する移動情報を取得する。そして、俯瞰画像表示装置１００は、車両１の移動情報と、車載カメラ１０Ｆ，１０Ｒによって得られた俯瞰画像とに基づいて、車載カメラ１０Ｆ，１０Ｒの死角になっている領域（車両１の左右方向の領域）についての俯瞰画像を生成して、表示画面１１に表示する。
図２には、本実施例の俯瞰画像表示装置１００の大まかな内部構成が示されている。図示されるように本実施例の俯瞰画像表示装置１００は、撮影画像取得部１０１と、撮影俯瞰画像生成部１０２と、表示画像生成部１０３、移動情報取得部１０４と、記憶速度決定部１０５と、撮影俯瞰画像記憶部１０６とを備えている。
尚、これら６つの「部」は、俯瞰画像表示装置１００が車両１の周辺の画像を表示画面１１に表示する機能に着目して、俯瞰画像表示装置１００の内部を便宜的に分類した抽象的な概念であり、俯瞰画像表示装置１００が物理的に６つの部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
尚、これら６つの「部」は、俯瞰画像表示装置１００が車両１の周辺の画像を表示画面１１に表示する機能に着目して、俯瞰画像表示装置１００の内部を便宜的に分類した抽象的な概念であり、俯瞰画像表示装置１００が物理的に６つの部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
撮影画像取得部１０１は、車載カメラ１０Ｆおよび車載カメラ１０Ｒに接続されており、車載カメラ１０Ｆから車両１の前方の領域を斜め上方から撮影した撮影画像を一定周期（約３０Ｈｚ）で取得する。また、車載カメラ１０Ｒからは、車両１の後方の領域を斜め上方から撮影した撮影画像を一定周期（約３０Ｈｚ）で取得する。
撮影俯瞰画像生成部１０２は、撮影画像取得部１０１から車載カメラ１０Ｆ，１０Ｒによる撮影画像を受け取って俯瞰画像を生成する。すなわち、車載カメラ１０Ｆによって得られる撮影画像は、車両１の前方の領域を斜め上方から撮影した画像であるが、この画像に対して後述する視線変換を施すことにより、車両１の上方から撮影したような俯瞰画像を生成する。同様に、車載カメラ１０Ｒによる撮影画像は、車両１の後方の領域を斜め上方から撮影した画像であるが、この画像を、車両１の上方から撮影したような俯瞰画像に変換する。車載カメラ１０Ｆ，１０Ｒによる撮影画像に視線変換を施して俯瞰画像を生成する方法については後述する。本実施例では、撮影俯瞰画像生成部１０２が本発明における「撮影俯瞰画像生成手段」に対応する。
撮影俯瞰画像生成部１０２は、撮影画像取得部１０１から車載カメラ１０Ｆ，１０Ｒによる撮影画像を受け取って俯瞰画像を生成する。すなわち、車載カメラ１０Ｆによって得られる撮影画像は、車両１の前方の領域を斜め上方から撮影した画像であるが、この画像に対して後述する視線変換を施すことにより、車両１の上方から撮影したような俯瞰画像を生成する。同様に、車載カメラ１０Ｒによる撮影画像は、車両１の後方の領域を斜め上方から撮影した画像であるが、この画像を、車両１の上方から撮影したような俯瞰画像に変換する。車載カメラ１０Ｆ，１０Ｒによる撮影画像に視線変換を施して俯瞰画像を生成する方法については後述する。本実施例では、撮影俯瞰画像生成部１０２が本発明における「撮影俯瞰画像生成手段」に対応する。
尚、後述するように、本実施例の俯瞰画像表示装置１００では、車両１の前後方向の領域だけでなく、車両１の左右方向の領域についても俯瞰画像を生成して、表示画面１１に表示することができる。ここで、車両１の前後方向に表示する俯瞰画像は、車載カメラ１０Ｆ，１０Ｒで撮影した現在の画像を視線変換した画像である。これに対し、車両１の左右方向に表示する俯瞰画像は、車両１の移動情報に基づいて、車両１の前後方向に表示した過去の俯瞰画像から合成した画像である。そこで以下では、車両１の前後方向に表示する俯瞰画像を、車両１の左右方向に表示する合成された俯瞰画像と区別するために「撮影俯瞰画像」と称することにする。また、単に「俯瞰画像」という時は、車両１の上方から見た画像を意味しており、従って、撮影俯瞰画像も履歴画像も「俯瞰画像」に該当する。
撮影俯瞰画像生成部１０２は、生成した撮影俯瞰画像を、表示画像生成部１０３と、撮影俯瞰画像記憶部１０６とに出力する。
撮影俯瞰画像生成部１０２は、生成した撮影俯瞰画像を、表示画像生成部１０３と、撮影俯瞰画像記憶部１０６とに出力する。
移動情報取得部１０４は、操舵角センサー１２や、車速センサー１３や、シフト位置センサー１４に接続されている。移動情報取得部１０４は、これらセンサーの出力に基づいて、車両１の移動情報を取得する。ここで、車両１の移動情報とは、車両１が前進しているのか、後進しているのか、停車しているのかといった情報や、車両１が真っ直ぐ進んでいるのか、右旋回しているのか、左旋回しているのか、旋回している場合には旋回の大きさに関する情報や、車両１の移動速度に関する情報などである。
移動情報取得部１０４は、取得した車両１の移動情報を、記憶速度決定部１０５と、撮影俯瞰画像記憶部１０６と、表示画像生成部１０３とに出力する。本実施例では、移動情報取得部１０４が、本発明における「移動情報取得手段」に対応する。
移動情報取得部１０４は、取得した車両１の移動情報を、記憶速度決定部１０５と、撮影俯瞰画像記憶部１０６と、表示画像生成部１０３とに出力する。本実施例では、移動情報取得部１０４が、本発明における「移動情報取得手段」に対応する。
記憶速度決定部１０５は、移動情報取得部１０４から受け取った車両１の移動情報に基づいて、「記憶速度」を決定する。ここで記憶速度とは、撮影俯瞰画像生成部１０２で生成した撮影俯瞰画像を、撮影俯瞰画像記憶部１０６で記憶するか否かを判断するための基準となる速度である。
車両１の移動速度が記憶速度よりも大きい場合には、撮影俯瞰画像は記憶せず、移動速度が記憶速度よりも小さくなると撮影俯瞰画像を記憶する。車両１の移動情報から記憶速度を決定する方法については後述する。尚、本実施例では、記憶速度決定部１０５が、本発明における「記憶速度決定手段」に対応する。
車両１の移動速度が記憶速度よりも大きい場合には、撮影俯瞰画像は記憶せず、移動速度が記憶速度よりも小さくなると撮影俯瞰画像を記憶する。車両１の移動情報から記憶速度を決定する方法については後述する。尚、本実施例では、記憶速度決定部１０５が、本発明における「記憶速度決定手段」に対応する。
撮影俯瞰画像記憶部１０６は、移動情報取得部１０４から受け取った車両１の移動情報と、記憶速度決定部１０５から受け取った記憶速度とに基づいて、俯瞰画像を記憶するか否かを判断する。例えば、車両１の移動速度が、記憶速度決定部１０５から受け取った記憶速度よりも小さかった場合には、俯瞰画像を記憶すると判断する。これに対して、車両１の移動速度が記憶速度よりも大きかった場合には、俯瞰画像を記憶しないと判断する。
そして、俯瞰画像を記憶すると判断した場合に、撮影俯瞰画像生成部１０２から受け取った撮影俯瞰画像を記憶する。尚、本実施例では、撮影俯瞰画像記憶部１０６が、本発明における「撮影俯瞰画像記憶手段」に対応する。
そして、俯瞰画像を記憶すると判断した場合に、撮影俯瞰画像生成部１０２から受け取った撮影俯瞰画像を記憶する。尚、本実施例では、撮影俯瞰画像記憶部１０６が、本発明における「撮影俯瞰画像記憶手段」に対応する。
表示画像生成部１０３は、撮影俯瞰画像生成部１０２からの撮影俯瞰画像を受け取ると、その撮影俯瞰画像を、表示画面１１上で車両１の前後方向に存在する撮影領域に表示する。
また、表示画像生成部１０３は、車両１の移動速度を所定の「表示速度」と比較して、移動速度が表示速度以下であった場合に、車両１の左右方向の領域についての俯瞰画像を生成して、表示画面１１上で車両１の左右方向に存在する死角領域に表示する。死角領域の俯瞰画像は、撮影俯瞰画像記憶部１０６に記憶されている過去の撮影俯瞰画像の中から、車両１の移動情報に基づいて該当する部分の画像（履歴画像）を切り出すことによって生成する。本実施例では、表示画像生成部１０３が、本発明における「撮影俯瞰画像表示手段」および「履歴画像表示手段」に対応する。
また、表示画像生成部１０３は、車両１の移動速度を所定の「表示速度」と比較して、移動速度が表示速度以下であった場合に、車両１の左右方向の領域についての俯瞰画像を生成して、表示画面１１上で車両１の左右方向に存在する死角領域に表示する。死角領域の俯瞰画像は、撮影俯瞰画像記憶部１０６に記憶されている過去の撮影俯瞰画像の中から、車両１の移動情報に基づいて該当する部分の画像（履歴画像）を切り出すことによって生成する。本実施例では、表示画像生成部１０３が、本発明における「撮影俯瞰画像表示手段」および「履歴画像表示手段」に対応する。
以上に説明したように、本実施例の俯瞰画像表示装置１００は、車両１の移動速度が所定の表示速度より小さい場合には、車両１の左右方向を含めた全周の俯瞰画像を表示する。しかし、車両１の移動速度が表示速度よりも大きい場合には、車両１の前後方向については俯瞰画像を表示するが、左右方向については俯瞰画像を表示しないこととしている。こうすることにより、車両の移動速度が大きい時に俯瞰画像を表示して、運転者に違和感を与えることを回避することが可能となる。
以下では、この理由、および本実施例の俯瞰画像表示装置１００が俯瞰画像を表示する処理について説明するが、その準備として、先ず始めに、車載カメラ１０Ｆ，１０Ｒによる撮影画像を視線変換して撮影俯瞰画像を生成する方法について説明する。
以下では、この理由、および本実施例の俯瞰画像表示装置１００が俯瞰画像を表示する処理について説明するが、その準備として、先ず始めに、車載カメラ１０Ｆ，１０Ｒによる撮影画像を視線変換して撮影俯瞰画像を生成する方法について説明する。
Ｂ．履歴画像を用いて車両の周辺の俯瞰画像を表示する原理 ：
車両１の車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）で撮影した地面に、複数の目印が等間隔で格子状に描かれていた場合について考える。
図３（ａ）には、車両１の前方の地面に等間隔で格子状に描かれた複数の丸い目印を、車両１の上方から見た状態で示されている。図中で、車載カメラ１０Ｆから斜め方向に伸びる２本の一点鎖線は、車載カメラ１０Ｆの撮影領域と死角領域との境界を表している。また、丸い目印が太い実線で表示されているのは、その目印が車載カメラ１０Ｆの撮影領域内にあることを表しており、丸い目印が細い破線で表示されているのは、その目印が車載カメラ１０Ｆの死角領域内にあることを表している。車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）は、このような地面を斜め上方から撮影する。
車両１の車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）で撮影した地面に、複数の目印が等間隔で格子状に描かれていた場合について考える。
図３（ａ）には、車両１の前方の地面に等間隔で格子状に描かれた複数の丸い目印を、車両１の上方から見た状態で示されている。図中で、車載カメラ１０Ｆから斜め方向に伸びる２本の一点鎖線は、車載カメラ１０Ｆの撮影領域と死角領域との境界を表している。また、丸い目印が太い実線で表示されているのは、その目印が車載カメラ１０Ｆの撮影領域内にあることを表しており、丸い目印が細い破線で表示されているのは、その目印が車載カメラ１０Ｆの死角領域内にあることを表している。車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）は、このような地面を斜め上方から撮影する。
図３（ｂ）には、車載カメラ１０Ｆで得られる撮影画像が示されている。撮影画像には、車載カメラ１０Ｆの撮影範囲内に存在する地面の目印が写っている。例えば、撮影画像上での目印ａは、図３（ａ）の地面上の目印Ａが写ったものであり、撮影画像上での目印ｂは、地面上の目印Ｂが写ったものである。同様に、撮影画像上での目印ｃおよび目印ｄは、地面上の目印Ｃおよび目印Ｄが写ったものである。
このように、車載カメラ１０Ｆの撮影範囲内の地面上の座標と、撮影画像上の座標との間には１対１の対応関係が存在する。従って、この対応関係を利用すれば、図３（ｂ）に例示した撮影画像を、図３（ａ）に例示したように車両１の上方から地面を見下ろしたような画像（俯瞰画像）に変換することができる。これが、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）の撮影画像を視線変換して俯瞰画像を生成する際の考え方である。
このように、車載カメラ１０Ｆの撮影範囲内の地面上の座標と、撮影画像上の座標との間には１対１の対応関係が存在する。従って、この対応関係を利用すれば、図３（ｂ）に例示した撮影画像を、図３（ａ）に例示したように車両１の上方から地面を見下ろしたような画像（俯瞰画像）に変換することができる。これが、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）の撮影画像を視線変換して俯瞰画像を生成する際の考え方である。
このような視線変換を行うことにより、図４（ａ）に示した撮影画像は、図４（ｂ）に示すような俯瞰画像に変換される。こうして得られた俯瞰画像は、遠くの位置ほど左右方向に広がった画像となる。これは、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）の撮影範囲が左右両側に広がっていることによる（図３（ａ）参照）。図４（ｂ）では、俯瞰画像中で左側に広がった領域を領域Ｌ、右側に広がった領域を領域Ｒと表示している。
図４（ｂ）に示した状態では、領域Ｌも領域Ｒも、車載カメラ１０Ｆの撮影領域内にある。しかし、車両１が前進すれば、領域Ｌは車両１の左方向の死角領域となり、領域Ｒは車両１の右方向の死角領域となる。
そこで、車載カメラ１０Ｆの撮影画像を視線変換して得られた俯瞰画像（撮影俯瞰画像）を記憶しておき、車両１の移動に伴って、過去の撮影俯瞰画像の中から、現在の死角領域に対応する部分の画像（履歴画像）を切り出して表示してやる。こうすれば、車両１の左右方向の領域についても俯瞰画像を表示することが可能となる。
そこで、車載カメラ１０Ｆの撮影画像を視線変換して得られた俯瞰画像（撮影俯瞰画像）を記憶しておき、車両１の移動に伴って、過去の撮影俯瞰画像の中から、現在の死角領域に対応する部分の画像（履歴画像）を切り出して表示してやる。こうすれば、車両１の左右方向の領域についても俯瞰画像を表示することが可能となる。
図５には、時間の経過と共に車両１が移動し、それに伴って車両１の左右の領域に履歴画像が表示される様子が例示されている。以下、時間の経過に沿って説明すると、先ず始めに時刻Ｔａでは、車両１の前後の撮影領域に、撮影俯瞰画像が表示されている。尚、この時点では、車両１の左右の死角領域には、まだ履歴画像が表示されていないものとしている。
時刻Ｔｂでは、車両１が少しだけ前進した結果、時刻Ｔａでは車両１の前方に表示されていた撮影俯瞰画像の一部（車両１から見て手前側）が、死角領域に移動する。そこで、この死角領域については、時刻Ｔａでの撮影俯瞰画像を切り出して履歴画像として表示する。図５の時刻Ｔｂの画像中で、車両１の左右の死角領域に「ａ」と表示しているのは、この部分の画像が、時刻Ｔａで得られた撮影俯瞰画像から切り出された履歴画像であることを表したものである。
また、車両１の前後の撮影領域については、時刻Ｔｂで車載カメラ１０Ｆ，１０Ｒが撮影した画像に基づいて新たな撮影俯瞰画像が生成されるので、この新たな撮影俯瞰画像を表示する。
また、車両１の前後の撮影領域については、時刻Ｔｂで車載カメラ１０Ｆ，１０Ｒが撮影した画像に基づいて新たな撮影俯瞰画像が生成されるので、この新たな撮影俯瞰画像を表示する。
時刻Ｔｃでは、更に車両１が少しだけ前進した結果、時刻Ｔｂで車両１の前方に表示されていた撮影俯瞰画像の一部が死角領域に移動する。そこで、この死角領域については、時刻Ｔｂでの撮影俯瞰画像を切り出して履歴画像として表示する。また、時刻Ｔｂで車両１の死角領域に表示されていた履歴画像も、車両１が前進した分だけ、車両１の後方に移動する。図５の時刻Ｔｃの画像中で、車両１の左右の死角領域に「ａ」または「ｂ」と表示しているのは、これらの部分の画像が、時刻Ｔａまたは時刻Ｔｂで得られた撮影俯瞰画像から切り出された履歴画像であることを表したものである。
また、車両１の前後の撮影領域については、時刻Ｔｃで新たに生成した撮影俯瞰画像を表示する。
また、車両１の前後の撮影領域については、時刻Ｔｃで新たに生成した撮影俯瞰画像を表示する。
時刻Ｔｄ、時刻Ｔｅについても同様に、車両１が前進した分だけ、車両１の前方に表示されていた撮影俯瞰画像の中から履歴画像を切り出して、車両１の左右の死角領域に表示する。また、既に死角領域に表示されていた履歴画像については、車両１が前進した分だけ、車両１の後方に移動させる。
このような操作を続けることにより、時刻Ｔｆでは、車両１の死角領域全体に履歴画像が表示され、その結果、車両１の全周に亘って俯瞰画像を表示することが可能となる。
このような操作を続けることにより、時刻Ｔｆでは、車両１の死角領域全体に履歴画像が表示され、その結果、車両１の全周に亘って俯瞰画像を表示することが可能となる。
もっとも、このようにして車両１の死角領域にも俯瞰画像を表示した場合、車両１の移動速度が大きくなると、死角領域に表示する俯瞰画像の画質が悪化するという問題がある。これは次のような理由による。
図６には、車両１の移動速度が大きい場合に、履歴画像を用いて車両１の死角領域に俯瞰画像を表示する様子が例示されている。
図６においても、時刻Ｔａでは、図５と同様に履歴画像は表示されていないものとする。時刻Ｔｂでは、車両１の移動速度が大きいことに対応して、図５の場合よりも車両１が大きく前進しており、これに伴って、時刻Ｔａで車両１の前方に表示されていた撮影俯瞰画像から切り出される履歴画像（図中で「ａ」と表示）の大きさも大きくなる。そして、時刻Ｔｃでは、更に車両１が前進して、時刻Ｔｂで前方に表示されていた撮影俯瞰画像から履歴画像（図中で「ｂ」と表示）が切り出されて、車両１の死角領域に表示される。また、時刻Ｔｂで死角領域に表示されていた履歴画像（図中で「ａ」と表示）は、車両１の後方に移動する。その結果、図６に示した例では、時刻Ｔｃで車両１の全周の俯瞰画像を表示することが可能となる。
図６においても、時刻Ｔａでは、図５と同様に履歴画像は表示されていないものとする。時刻Ｔｂでは、車両１の移動速度が大きいことに対応して、図５の場合よりも車両１が大きく前進しており、これに伴って、時刻Ｔａで車両１の前方に表示されていた撮影俯瞰画像から切り出される履歴画像（図中で「ａ」と表示）の大きさも大きくなる。そして、時刻Ｔｃでは、更に車両１が前進して、時刻Ｔｂで前方に表示されていた撮影俯瞰画像から履歴画像（図中で「ｂ」と表示）が切り出されて、車両１の死角領域に表示される。また、時刻Ｔｂで死角領域に表示されていた履歴画像（図中で「ａ」と表示）は、車両１の後方に移動する。その結果、図６に示した例では、時刻Ｔｃで車両１の全周の俯瞰画像を表示することが可能となる。
ここで、時刻Ｔｃで表示される俯瞰画像の中で、車両１の前方に表示されている撮影俯瞰画像（図中で「ｃ」と表示）と、その撮影俯瞰画像に隣接する履歴画像（図中で「ｂ」と表示）との境目部分に着目する。同様に、新しい履歴画像（図中で「ｂ」と表示）と、古い履歴画像（図中で「ａ」と表示）との境目部分に着目する。
図７には、これらの着目している境界部分が拡大して示されている。先ず始めに、図中で「ｃ」と表示した撮影俯瞰画像と、図中で「ｂ」と表示した履歴画像との境目部分に注目する。この境目に隣接する領域の撮影俯瞰画像（図中で細い破線で囲って表示）は、車両１から見て直ぐ近くの地面を撮影した画像を、視線変換して得られた画像である。また、境目に隣接する領域の履歴画像（図中で細い一点鎖線で囲って表示）は、車両１から見て遠くの地面を撮影した画像を、視線変換して得られた画像である。
そして、図４に示したように、視線変換では、近くを写した部分の画像に比べて、遠くを写した部分の画像は大きく拡大される。このため、境目部分では、拡大率が大きく異なる２つの画像が繋ぎ合わされているように見えてしまい、画質を大きく悪化させることになる。
図７には、これらの着目している境界部分が拡大して示されている。先ず始めに、図中で「ｃ」と表示した撮影俯瞰画像と、図中で「ｂ」と表示した履歴画像との境目部分に注目する。この境目に隣接する領域の撮影俯瞰画像（図中で細い破線で囲って表示）は、車両１から見て直ぐ近くの地面を撮影した画像を、視線変換して得られた画像である。また、境目に隣接する領域の履歴画像（図中で細い一点鎖線で囲って表示）は、車両１から見て遠くの地面を撮影した画像を、視線変換して得られた画像である。
そして、図４に示したように、視線変換では、近くを写した部分の画像に比べて、遠くを写した部分の画像は大きく拡大される。このため、境目部分では、拡大率が大きく異なる２つの画像が繋ぎ合わされているように見えてしまい、画質を大きく悪化させることになる。
図中で「ｂ」と表示した新しい履歴画像と、図中で「ａ」と表示した古い履歴画像との境目部分についても、全く同様なことが当て嵌まる。すなわち、境目に隣接する部分の新しい履歴画像（図中で細い破線で囲って表示）は、車両１の近くの画像を視線変換した画像であり、これに対して、境目に隣接する部分の古い履歴画像（図中で細い一点鎖線で囲って表示）は、車両１から遠くの画像を視線変換した画像である。このため、この境目部分でも、拡大率が大きく異なる２つの画像が繋ぎ合わされているように見えてしまい、画質が大きく悪化する。
図６および図７では、説明の便宜から、画質が悪化する境目部分が２箇所であるものとしているが、実際には、より多くの境目部分が発生し、それらの箇所で画質が悪化する。その結果、車両１の死角領域に表示される俯瞰画像の画質が大きく悪化する。
もちろん、車両１の移動速度が大きくなるに従って、車載カメラ１０Ｆ，１０Ｒでの画像の撮影周期を短くすることにより、個々の履歴画像が大きくならないようにすれば、こうした画質の悪化を回避することができる。しかし、これでは、車載カメラ１０Ｆ，１０Ｒの撮影画像を視線変換して撮影俯瞰画像を生成する処理や、履歴画像を切り出して死角領域に表示する処理などを、より短い周期で実行する必要が生じるため、処理負担が増加してしまう。
そこで、本実施例の俯瞰画像表示装置１００は、次のような俯瞰画像表示処理を行う。
もちろん、車両１の移動速度が大きくなるに従って、車載カメラ１０Ｆ，１０Ｒでの画像の撮影周期を短くすることにより、個々の履歴画像が大きくならないようにすれば、こうした画質の悪化を回避することができる。しかし、これでは、車載カメラ１０Ｆ，１０Ｒの撮影画像を視線変換して撮影俯瞰画像を生成する処理や、履歴画像を切り出して死角領域に表示する処理などを、より短い周期で実行する必要が生じるため、処理負担が増加してしまう。
そこで、本実施例の俯瞰画像表示装置１００は、次のような俯瞰画像表示処理を行う。
Ｃ．第１実施例の俯瞰画像表示処理 ：
図８および図９には、本実施例の俯瞰画像表示装置１００が実行する第１実施例の俯瞰画像表示処理のフローチャートが示されている。この処理は、車両１のエンジンが起動した状態で、表示画面１１に俯瞰画像を表示するための所定の操作が運転者によって行われると開始される。
図示されるように、第１実施例の俯瞰画像表示処理（Ｓ１００）を開始すると、先ず始めに車載カメラ１０Ｆおよび車載カメラ１０Ｒから、車両１の前方および後方の撮影画像を取得する（Ｓ１０１）。
そして、車載カメラ１０Ｆ，１０Ｒから取得した撮影画像を視線変換して、車両１の前方および後方の撮影領域についての撮影俯瞰画像を生成する（Ｓ１０２）。
図８および図９には、本実施例の俯瞰画像表示装置１００が実行する第１実施例の俯瞰画像表示処理のフローチャートが示されている。この処理は、車両１のエンジンが起動した状態で、表示画面１１に俯瞰画像を表示するための所定の操作が運転者によって行われると開始される。
図示されるように、第１実施例の俯瞰画像表示処理（Ｓ１００）を開始すると、先ず始めに車載カメラ１０Ｆおよび車載カメラ１０Ｒから、車両１の前方および後方の撮影画像を取得する（Ｓ１０１）。
そして、車載カメラ１０Ｆ，１０Ｒから取得した撮影画像を視線変換して、車両１の前方および後方の撮影領域についての撮影俯瞰画像を生成する（Ｓ１０２）。
その後、表示画面１１上で車載カメラ１０Ｆおよび車載カメラ１０Ｒの撮影領域に対応するフレームメモリーに、前方および後方の撮影俯瞰画像を書き込む（Ｓ１０３）。ここで、フレームメモリーとは、表示画面１１に画像を表示するために用いられるメモリー領域である。表示画面１１に表示される画像はフレームメモリー上に生成される。そして、フレームメモリー上で画像が完成したら、フレームメモリーのデータを映像信号として出力することによって、表示画面１１に画像が表示される。フレームメモリー上の１つ１つのアドレスは、表示画面１１上の１つ１つの画素と対応している。Ｓ１０３では、表示画面１１上で車載カメラ１０Ｆの撮影領域に対応するフレームメモリーの各アドレスには前方の撮影俯瞰画像を書き込み、車載カメラ１０Ｒの撮影領域に対応するフレームメモリーの各アドレスには後方の撮影俯瞰画像を書き込む。
続いて、俯瞰画像表示装置１００は、車両１の移動情報を取得する（Ｓ１０４）。ここで、車両１の移動情報とは、操舵角センサー１２や、車速センサー１３、シフト位置センサー１４などから取得された情報である。
そして、車速センサー１３から取得した車両１の移動速度が、所定の表示速度以下であるか否かを判断する（Ｓ１０５）。ここで表示速度とは、車両１の死角領域に履歴画像を用いて俯瞰画像を表示するか否かを判断するための基準となる速度である。表示速度は、時速１０ｋｍ〜２０ｋｍの速度範囲で、予め適切な速度に設定されている。
前述したように、この俯瞰画像表示処理は、俯瞰画像を表示して車両１の周囲の状況を確認したいと考えた運転者が、所定の操作を行うことによって開始される。そして、運転者が俯瞰画像を用いて車両１の周囲の状況を確認したいと考えるのは、主に車両１の移動速度が小さい場合である。
しかし、だからといって、俯瞰画像を表示するための操作が、車両１の移動速度が小さい状態で行われるとは限らない。例えば、狭い路地を通過したり、狭い駐車スペースに駐車したりする場合に、それら路地や駐車スペースが近付いてくると、車両１を減速させながら、予め俯瞰画像の表示を開始する場合もある。
しかし、だからといって、俯瞰画像を表示するための操作が、車両１の移動速度が小さい状態で行われるとは限らない。例えば、狭い路地を通過したり、狭い駐車スペースに駐車したりする場合に、それら路地や駐車スペースが近付いてくると、車両１を減速させながら、予め俯瞰画像の表示を開始する場合もある。
そこで、第１実施例の俯瞰画像表示装置では、撮影俯瞰画像を生成してフレームメモリーに書き込むと（Ｓ１０２、Ｓ１０３）、車両１の移動速度が表示速度以下か否かを判断する（Ｓ１０５）。そして、車両１の表示速度が表示速度以下であった場合には（Ｓ１０５：ｙｅｓ）、履歴画像を生成するために、その撮影俯瞰画像を、撮影タイミングが識別可能な状態で（たとえば、タイムスタンプと共に）記憶する（Ｓ１０９）。
これに対して、車両１の表示速度が表示速度よりも大きかった場合には（Ｓ１０５：ｎｏ）、車両１の移動速度が記憶速度以下であるか否かを判断する（Ｓ１０６）。ここで、記憶速度とは、履歴画像の生成に備えて撮影俯瞰画像を記憶するか否かの判断基準となる速度である。第１実施例では、表示速度よりも大きな適切な速度が、記憶速度として予め設定されている。尚、第１実施例では、記憶速度は表示速度よりも時速５ｋｍ大きな値に設定されている。
これに対して、車両１の表示速度が表示速度よりも大きかった場合には（Ｓ１０５：ｎｏ）、車両１の移動速度が記憶速度以下であるか否かを判断する（Ｓ１０６）。ここで、記憶速度とは、履歴画像の生成に備えて撮影俯瞰画像を記憶するか否かの判断基準となる速度である。第１実施例では、表示速度よりも大きな適切な速度が、記憶速度として予め設定されている。尚、第１実施例では、記憶速度は表示速度よりも時速５ｋｍ大きな値に設定されている。
その結果、車両１の移動速度が記憶速度よりも小さかった場合は（Ｓ１０６：ｙｅｓ）、履歴画像の生成に備えて、撮影タイミングが識別可能な状態で（たとえば、タイムスタンプと共に）、撮影俯瞰画像を記憶する（Ｓ１０７）。
続いて、車両１の移動速度が表示速度以下か否かを判断し（Ｓ１０８）、移動速度が未だ表示速度以下まで低下していない場合は（Ｓ１０８：ｎｏ）、車両１の死角領域に履歴画像を表示する必要はないと判断できるので、フレームメモリー上の画像を表示画面１１に出力する（図９のＳ１１４）。フレームメモリー上の撮影領域に対応するアドレスには、Ｓ１０３で撮影俯瞰画像が書き込まれているので、表示画面１１には、車両１の前方および後方の撮影領域に俯瞰画像が表示される。
続いて、車両１の移動速度が表示速度以下か否かを判断し（Ｓ１０８）、移動速度が未だ表示速度以下まで低下していない場合は（Ｓ１０８：ｎｏ）、車両１の死角領域に履歴画像を表示する必要はないと判断できるので、フレームメモリー上の画像を表示画面１１に出力する（図９のＳ１１４）。フレームメモリー上の撮影領域に対応するアドレスには、Ｓ１０３で撮影俯瞰画像が書き込まれているので、表示画面１１には、車両１の前方および後方の撮影領域に俯瞰画像が表示される。
これに対して、車両１の移動速度が表示速度以下と判断した場合は（Ｓ１０５：ｙｅｓ、あるいはＳ１０８：ｙｅｓ）、車両１の死角領域に履歴画像を表示するために、次のような処理を開始する。
先ず、車両１が前進中か否かを判断する（図９のＳ１１０）。車両１が前進中か否かは、Ｓ１０４で取得した移動情報に基づいて判断することができる。
その結果、車両１が前進中であった場合は（Ｓ１１０：ｙｅｓ）、車両１の前方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に対応する画像（履歴画像）を切り出す（Ｓ１１１）。これに対して、車両１が後進中であった場合は（Ｓ１１０：ｎｏ）、車両１の後方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に対応する画像（履歴画像）を切り出す（Ｓ１１２）。
先ず、車両１が前進中か否かを判断する（図９のＳ１１０）。車両１が前進中か否かは、Ｓ１０４で取得した移動情報に基づいて判断することができる。
その結果、車両１が前進中であった場合は（Ｓ１１０：ｙｅｓ）、車両１の前方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に対応する画像（履歴画像）を切り出す（Ｓ１１１）。これに対して、車両１が後進中であった場合は（Ｓ１１０：ｎｏ）、車両１の後方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に対応する画像（履歴画像）を切り出す（Ｓ１１２）。
そして、得られた履歴画像を、表示画面１１上で車載カメラ１０Ｆおよび車載カメラ１０Ｒの死角領域に対応するフレームメモリーに書き込む（Ｓ１１３）。
また、車両１の前方および後方の撮影俯瞰画像は、図８のＳ１０３で既にフレームメモリーに書き込まれているので、履歴画像が書き込まれることによって、フレームメモリー上では、表示画面１１に表示する画像が完成する。
そこで、俯瞰画像表示装置１００は、フレームメモリー上の画像を表示画面１１に出力する（Ｓ１１４）。その結果、表示画面１１には、車両１の周辺を上方から見たような俯瞰画像が表示される。
また、車両１の前方および後方の撮影俯瞰画像は、図８のＳ１０３で既にフレームメモリーに書き込まれているので、履歴画像が書き込まれることによって、フレームメモリー上では、表示画面１１に表示する画像が完成する。
そこで、俯瞰画像表示装置１００は、フレームメモリー上の画像を表示画面１１に出力する（Ｓ１１４）。その結果、表示画面１１には、車両１の周辺を上方から見たような俯瞰画像が表示される。
以上のようにして、フレームメモリー上の画像を表示画面１１に表示したら（Ｓ１１４）、車両１の周辺領域についての俯瞰画像の表示を終了するか否かを判断する（Ｓ１１５）。その結果、まだ表示を終了しない場合は（Ｓ１１５：ｎｏ）、処理の先頭に戻って、再び、車載カメラ１０Ｆ，１０Ｒによって得られた撮影画像を取得した後（図８のＳ１０１）、上述した続く一連の処理を実行する。
これに対して、表示を終了すると判断した場合は（図９のＳ１１５：ｙｅｓ）、第１実施例の俯瞰画像表示処理を終了する。
これに対して、表示を終了すると判断した場合は（図９のＳ１１５：ｙｅｓ）、第１実施例の俯瞰画像表示処理を終了する。
図１０には、上述した第１実施例の俯瞰画像表示処理によって、表示画面１１に俯瞰画像が表示される様子が例示されている。図示した例では、車両１の移動速度の減速中に、運転者によって、俯瞰画像の表示を開始する操作が行われたものとしている。
俯瞰画像の表示を開始する操作が行われた時刻Ｔ１の時点では、車両１の移動速度が表示速度よりも高く、記憶速度よりも高くなっている。このため、前述した俯瞰画像表示処理では、移動速度が表示速度よりも高く（図８のＳ１０５：ｎｏ）、且つ記憶速度よりも高い（Ｓ１０６：ｎｏ）と判断されるので、車両１の左右の死角領域に履歴画像が表示されることがない。また、車両１の前後の撮影領域には、俯瞰画像の表示を開始する操作が運転者によって行われたことに対応して、撮影俯瞰画像が表示される。
その後、車両１の移動速度が表示速度まで低下すると、車両１の左右の死角領域に履歴画像が表示される。従って、車両１の前後の撮影領域に表示された撮影俯瞰画像と合わせて、車両１の全周に俯瞰画像が表示されることになる。
俯瞰画像の表示を開始する操作が行われた時刻Ｔ１の時点では、車両１の移動速度が表示速度よりも高く、記憶速度よりも高くなっている。このため、前述した俯瞰画像表示処理では、移動速度が表示速度よりも高く（図８のＳ１０５：ｎｏ）、且つ記憶速度よりも高い（Ｓ１０６：ｎｏ）と判断されるので、車両１の左右の死角領域に履歴画像が表示されることがない。また、車両１の前後の撮影領域には、俯瞰画像の表示を開始する操作が運転者によって行われたことに対応して、撮影俯瞰画像が表示される。
その後、車両１の移動速度が表示速度まで低下すると、車両１の左右の死角領域に履歴画像が表示される。従って、車両１の前後の撮影領域に表示された撮影俯瞰画像と合わせて、車両１の全周に俯瞰画像が表示されることになる。
このように、第１実施例の俯瞰画像表示処理では、車両１の移動速度が表示速度よりも大きい段階で、運転者によって、俯瞰画像を表示するための操作が行われた場合でも、車両１の移動速度が表示速度以下になるまでは、履歴画像を用いて車両１の死角領域に俯瞰画像が表示されることがない。このため、図６および図７を用いて前述したような画質の悪い俯瞰画像が表示画面１１に表示されることを回避することができる。
もちろん、第１実施例の俯瞰画像表示処理では、運転者によって俯瞰画像の表示開始の操作が行われても、車両１の移動速度が表示速度以下になるまでは、車両１の死角領域の俯瞰画像が表示されなくなる。しかし、運転者が死角領域の俯瞰画像を本当に確認する必要が生じるのは、狭い路地を通過する際や、狭い駐車スペースに駐車する際のように、車両１の移動速度が小さい場合である。従って、移動速度が表示速度以下になったら履歴画像を表示するようにしておけば、表示速度よりも大きい場合には履歴画像を表示しなくても、実用上の問題が生じることはない。
また、上述した第１実施例の俯瞰画像表示処理では、車両１の移動速度が表示速度まで低下するよりも前に、記憶速度まで低下した時刻Ｔ２（図１０参照）の時点で、撮影俯瞰画像の記憶が開始される。このため、車両１の移動速度が表示速度まで低下した時刻Ｔ３の時点では、履歴画像を切り出すための撮影俯瞰画像が既に記憶されている。その結果、車両１の移動速度が表示速度に達すると、車両１の死角領域全体の履歴画像を直ちに表示することが可能となる。
加えて、車両１の移動速度が記憶速度よりも大きい間は、撮影俯瞰画像を記憶しておく必要がないので、俯瞰画像表示装置１００の処理負担を軽減することも可能となる。
加えて、車両１の移動速度が記憶速度よりも大きい間は、撮影俯瞰画像を記憶しておく必要がないので、俯瞰画像表示装置１００の処理負担を軽減することも可能となる。
Ｄ．第１実施例の変形例 ：
上述した第１実施例の俯瞰画像表示処理では、撮影俯瞰画像を記憶するための記憶速度は、適切な速度に予め設定されているものとして説明した。しかし、車両１の移動速度の減速度合（以下、減速度）に応じて、適切な記憶速度を設定してもよい。
以下では、このような変形例について、上述した第１実施例との相違点を中心に簡単に説明する。
上述した第１実施例の俯瞰画像表示処理では、撮影俯瞰画像を記憶するための記憶速度は、適切な速度に予め設定されているものとして説明した。しかし、車両１の移動速度の減速度合（以下、減速度）に応じて、適切な記憶速度を設定してもよい。
以下では、このような変形例について、上述した第１実施例との相違点を中心に簡単に説明する。
図８を用いて前述したように、第１実施例の俯瞰画像表示処理では、車両１の移動速度が表示速度よりも大きいと判断すると（Ｓ１０５：ｎｏ）、続いて、車両１の移動速度が記憶速度以下であるか否かを判断した（Ｓ１０６）。
しかし、第１実施例の変形例の俯瞰画像表示処理では、車両１の移動速度が表示速度よりも大きいと判断すると（Ｓ１０５：ｎｏ）、図１１に示すような処理を行う。
先ず始めに、車両１が減速中か否かを判断する（Ｓ１２０）。減速中か否かは、車両１の移動情報に基づいて判断することができる。その結果、車両１が減速中でないと判断した場合は（Ｓ１２０：ｎｏ）、車両１の移動速度は表示速度から遠ざかっていることになるので、撮影俯瞰画像を記憶することなく、図９のＳ１１４に移動して、フレームメモリー上の画像を表示画面１１に向かって出力する。
しかし、第１実施例の変形例の俯瞰画像表示処理では、車両１の移動速度が表示速度よりも大きいと判断すると（Ｓ１０５：ｎｏ）、図１１に示すような処理を行う。
先ず始めに、車両１が減速中か否かを判断する（Ｓ１２０）。減速中か否かは、車両１の移動情報に基づいて判断することができる。その結果、車両１が減速中でないと判断した場合は（Ｓ１２０：ｎｏ）、車両１の移動速度は表示速度から遠ざかっていることになるので、撮影俯瞰画像を記憶することなく、図９のＳ１１４に移動して、フレームメモリー上の画像を表示画面１１に向かって出力する。
これに対して、車両１が減速中と判断した場合は（Ｓ１２０：ｙｅｓ）、車両１の減速度を算出する（Ｓ１２１）。ここでは、減速度として、単位時間あたりの車両１の移動速度の減少量を算出する。
続いて、算出した減速度に応じた記憶速度を取得する（Ｓ１２２）。減速度に対する記憶速度は、図１２に示す計算式によって算出することができる。尚、計算式中の「ａ」は減速度を表し、「Ｖ1 」は記憶速度を表し、「ＶＬ」は車両１の車長を表している。もちろん、減速度に対する記憶速度の算出結果を予めテーブルとして記憶しておき、テーブルを参照することで、算出することなく、減速度に対する記憶速度を取得するようにしても良い。
続いて、算出した減速度に応じた記憶速度を取得する（Ｓ１２２）。減速度に対する記憶速度は、図１２に示す計算式によって算出することができる。尚、計算式中の「ａ」は減速度を表し、「Ｖ1 」は記憶速度を表し、「ＶＬ」は車両１の車長を表している。もちろん、減速度に対する記憶速度の算出結果を予めテーブルとして記憶しておき、テーブルを参照することで、算出することなく、減速度に対する記憶速度を取得するようにしても良い。
その後、図８のＳ１０６に移動して、車両１の移動速度が記憶速度以下か否かを判断する。この時の判断に用いる記憶速度は、先にＳ１２２で取得した移動速度である。
このようにすることで、車両１の移動速度が表示速度まで低下したちょうどその時に、車両１の死角領域全体の履歴画像を生成するための撮影俯瞰画像が、概ね過不足無く記憶されているような状態とすることができる。
このようにすることで、車両１の移動速度が表示速度まで低下したちょうどその時に、車両１の死角領域全体の履歴画像を生成するための撮影俯瞰画像が、概ね過不足無く記憶されているような状態とすることができる。
こうしたことが可能となる理由について、図１３を用いて説明する。例えば、車両１の減速中の時刻Ｔ１の時点で、運転者の操作によって俯瞰画像の表示が開始されたとする。その時の減速度で車両１が減速していくとすると、時刻Ｔ３で表示速度Ｖ0 に達するので、それより前に撮影俯瞰画像の記憶を開始すればよい。尚、表示速度Ｖ0 は予め決められている。
今、時刻Ｔ２で記憶を開始したとすると、時刻Ｔ２から時刻Ｔ３までの間に車両１が移動する距離は、図１３中で斜線を付した面積となる。従って、この面積が、車両１の車長ＶＬと等しくなるような時刻Ｔ２を選択しておけば、時刻Ｔ３では、ちょうど車長ＶＬに相当する距離の撮影俯瞰画像が記憶されることになり、車両１の死角領域全体の履歴画像を生成することが可能となる。また、このように選択された時刻Ｔ２での速度が、記憶速度Ｖ1 となる。
今、時刻Ｔ２で記憶を開始したとすると、時刻Ｔ２から時刻Ｔ３までの間に車両１が移動する距離は、図１３中で斜線を付した面積となる。従って、この面積が、車両１の車長ＶＬと等しくなるような時刻Ｔ２を選択しておけば、時刻Ｔ３では、ちょうど車長ＶＬに相当する距離の撮影俯瞰画像が記憶されることになり、車両１の死角領域全体の履歴画像を生成することが可能となる。また、このように選択された時刻Ｔ２での速度が、記憶速度Ｖ1 となる。
時刻Ｔ２から時刻Ｔ３までの経過時間をＴ、車両１の減速度をａとすると、図１３中で斜線を付した部分の面積は、
（Ｖ0 ＋Ｖ0 ＋ａ・Ｔ）・Ｔ／２
で求められ、この値が車長ＶＬに等しくなることから、
ＶＬ＝（Ｖ0 ＋Ｖ0 ＋ａ・Ｔ）・Ｔ／２
が成り立ち、これを解くことによって、
Ｔ＝（−Ｖ0 ＋（２ＶＬ・ａ＋Ｖ0 ２）０．５）／２
が得られる。その結果、記憶速度Ｖ1 は、
Ｖ1 ＝Ｖ0 ＋ａ・Ｔ
＝（２ＶＬ・ａ＋Ｖ0 ２）０．５
によって算出することができる。
（Ｖ0 ＋Ｖ0 ＋ａ・Ｔ）・Ｔ／２
で求められ、この値が車長ＶＬに等しくなることから、
ＶＬ＝（Ｖ0 ＋Ｖ0 ＋ａ・Ｔ）・Ｔ／２
が成り立ち、これを解くことによって、
Ｔ＝（−Ｖ0 ＋（２ＶＬ・ａ＋Ｖ0 ２）０．５）／２
が得られる。その結果、記憶速度Ｖ1 は、
Ｖ1 ＝Ｖ0 ＋ａ・Ｔ
＝（２ＶＬ・ａ＋Ｖ0 ２）０．５
によって算出することができる。
上述した第１実施例の変形例の俯瞰画像表示処理では、車両１の減速度に応じた記憶速度で撮影俯瞰画像の記憶を開始することができるので、車両１が表示速度まで低下した時点では、ちょうど車長に相当する距離の撮影俯瞰画像を記憶しておくことができる。その結果、車両１の死角領域で履歴画像の表示を開始する際には、死角領域中に履歴画像が表示されない領域が発生することを抑制することができるので、運転者が車両１の周辺を容易に確認することが可能となる。
また、必要以上に速い時点から撮影俯瞰画像の記憶を開始することもないので、俯瞰画像表示装置１００の処理負担が増加することも回避することが可能となる。
また、必要以上に速い時点から撮影俯瞰画像の記憶を開始することもないので、俯瞰画像表示装置１００の処理負担が増加することも回避することが可能となる。
Ｅ．第２実施例の俯瞰画像表示処理 ：
上述した第１実施例、および第１実施例の変形例では、車両１の移動速度が表示速度に達したら、車両１の死角領域に履歴画像を用いた俯瞰画像を表示するものとして説明した。また、死角領域での俯瞰画像の表示を開始する際には、始めから死角領域全体で俯瞰画像を表示することができるように、車両１の移動速度が記憶速度まで低下したら撮影俯瞰画像の記憶を開始するものとして説明した。
しかし、車両１の死角領域での俯瞰画像の表示を開始するタイミングは、必ずしも、車両１の移動速度が表示速度まで低下したタイミングと正確に一致している必要はない。すなわち、表示速度から大きく外れるのでなければ、車両１の死角領域での俯瞰画像の表示を、表示速度より大きな速度から開始しても、あるいは表示速度よりも小さな速度から開始しても構わない。
上述した第１実施例、および第１実施例の変形例では、車両１の移動速度が表示速度に達したら、車両１の死角領域に履歴画像を用いた俯瞰画像を表示するものとして説明した。また、死角領域での俯瞰画像の表示を開始する際には、始めから死角領域全体で俯瞰画像を表示することができるように、車両１の移動速度が記憶速度まで低下したら撮影俯瞰画像の記憶を開始するものとして説明した。
しかし、車両１の死角領域での俯瞰画像の表示を開始するタイミングは、必ずしも、車両１の移動速度が表示速度まで低下したタイミングと正確に一致している必要はない。すなわち、表示速度から大きく外れるのでなければ、車両１の死角領域での俯瞰画像の表示を、表示速度より大きな速度から開始しても、あるいは表示速度よりも小さな速度から開始しても構わない。
図１４および図１５には、第２実施例の俯瞰画像表示処理のフローチャートが示されている。前述した第１実施例あるいは第１実施例の変形例の俯瞰画像表示処理では、撮影俯瞰画像の記憶を開始すると、車両１の移動速度が表示速度まで低下したことを確認して、履歴画像を用いた俯瞰画像の表示を開始した。これに対して、以下に説明する第２実施例の俯瞰画像表示処理（Ｓ２００）は、車両１の移動速度が表示速度まで低下したことではなく、撮影俯瞰画像の記憶を開始してから車両１の車長に相当する距離だけ移動したことを確認して、履歴画像を用いた俯瞰画像の表示を開始する点が大きく異なっている。以下、フローチャートを参照しながら、第２実施例の俯瞰画像表示処理（Ｓ２００）について簡単に説明する。尚、第２実施例の俯瞰画像表示処理も、前述した第１実施例の俯瞰画像表示処理と同様に、車両１のエンジンが起動した状態で、表示画面１１に俯瞰画像を表示するための所定の操作が運転者によって行われると、俯瞰画像表示装置１００によって開始される。
図１４に示されるように、第２実施例の俯瞰画像表示処理（Ｓ２００）においても、先ず始めに車載カメラ１０Ｆおよび車載カメラ１０Ｒから撮影画像を取得する（Ｓ２０１）。そして、取得した撮影画像を視線変換して撮影俯瞰画像を生成し（Ｓ２０２）、撮影タイミングが識別可能な状態で（たとえば、タイムスタンプと共に）メモリーに記憶する（Ｓ２０３）。
その後、表示画面１１上で車載カメラ１０Ｆおよび車載カメラ１０Ｒの撮影領域に対応するフレームメモリーに、前方および後方の撮影俯瞰画像を書き込んだ後（Ｓ２０３）、車両１の移動速度を含む移動情報を取得する（Ｓ２０４）。
その後、表示画面１１上で車載カメラ１０Ｆおよび車載カメラ１０Ｒの撮影領域に対応するフレームメモリーに、前方および後方の撮影俯瞰画像を書き込んだ後（Ｓ２０３）、車両１の移動速度を含む移動情報を取得する（Ｓ２０４）。
そして、車両１の移動速度が、表示速度以下であるか否かを判断する（Ｓ２０５）。その結果、車両１の移動速度が、表示速度以下であった場合は（Ｓ２０５：ｙｅｓ）、履歴画像を生成するために撮影俯瞰画像を記憶する（Ｓ２０９）。
これに対して、車両１の移動速度が表示速度よりも大きかった場合には（Ｓ２０５：ｎｏ）、車両１が減速中か否かを判断する（Ｓ２０６）。その結果、車両１が減速中でなかった場合は（Ｓ２０６：ｎｏ）、車両１の移動速度が表示速度から遠ざかっているので、撮影俯瞰画像を記憶する必要はないと判断して、フレームメモリー上に書き込まれた画像を表示画面１１に出力する（図１５のＳ２１５）。フレームメモリー上の撮影領域に対応するアドレスには、Ｓ２０３で撮影俯瞰画像が書き込まれているので、表示画面１１には、車両１の前方および後方の撮影領域に俯瞰画像が表示される。
これに対して、車両１の移動速度が表示速度よりも大きかった場合には（Ｓ２０５：ｎｏ）、車両１が減速中か否かを判断する（Ｓ２０６）。その結果、車両１が減速中でなかった場合は（Ｓ２０６：ｎｏ）、車両１の移動速度が表示速度から遠ざかっているので、撮影俯瞰画像を記憶する必要はないと判断して、フレームメモリー上に書き込まれた画像を表示画面１１に出力する（図１５のＳ２１５）。フレームメモリー上の撮影領域に対応するアドレスには、Ｓ２０３で撮影俯瞰画像が書き込まれているので、表示画面１１には、車両１の前方および後方の撮影領域に俯瞰画像が表示される。
これに対して、車両１が減速中であった場合は（Ｓ２０６：ｙｅｓ）、車両１の移動速度が記憶速度以下であるか否かを判断する（Ｓ２０７）。ここで、第２実施例では、記憶速度は予め設定されているものとする。もちろん、第１実施例の変形例と同様な方法を用いて、車両１の減速度に応じた記憶速度を設定しても良い。
その結果、車両１の移動速度が記憶速度よりも小さかった場合は（Ｓ２０７：ｙｅｓ）、履歴画像の生成に備えて撮影俯瞰画像を記憶する（Ｓ２０８）。
その結果、車両１の移動速度が記憶速度よりも小さかった場合は（Ｓ２０７：ｙｅｓ）、履歴画像の生成に備えて撮影俯瞰画像を記憶する（Ｓ２０８）。
その後、第２実施例の俯瞰画像表示処理では、撮影俯瞰画像の記憶を開始してから、車両１の車長に相当する距離を移動したか否かを判断する（Ｓ２１０）。その結果、まだ車長に相当する距離を移動していないと判断した場合は（Ｓ２１０：ｎｏ）、フレームメモリー上に書き込まれた撮影俯瞰画像を表示画面１１に出力する（図１５のＳ２１５）。
これに対して、車長に相当する距離を移動したと判断した場合は（Ｓ２１０：ｙｅｓ）、車両１が前進中か否かを判断する（図１５のＳ２１１）。そして、車両１が前進中であった場合は（Ｓ２１１：ｙｅｓ）、車両１の前方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に対応する画像（履歴画像）を切り出す（Ｓ２１２）。これに対して、車両１が後進中であった場合は（Ｓ２１１：ｎｏ）、車両１の後方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に対応する画像（履歴画像）を切り出す（Ｓ２１３）。
これに対して、車長に相当する距離を移動したと判断した場合は（Ｓ２１０：ｙｅｓ）、車両１が前進中か否かを判断する（図１５のＳ２１１）。そして、車両１が前進中であった場合は（Ｓ２１１：ｙｅｓ）、車両１の前方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に対応する画像（履歴画像）を切り出す（Ｓ２１２）。これに対して、車両１が後進中であった場合は（Ｓ２１１：ｎｏ）、車両１の後方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に対応する画像（履歴画像）を切り出す（Ｓ２１３）。
そして、得られた履歴画像を、表示画面１１上で車載カメラ１０Ｆおよび車載カメラ１０Ｒの死角領域に対応するフレームメモリーに書き込んだ後（Ｓ２１４）、フレームメモリー上の画像を表示画面１１に出力する（Ｓ２１５）。
車両１の前方および後方の撮影俯瞰画像は、図１４のＳ２０３で既にフレームメモリーに書き込まれているので、こうして履歴画像を書き込んだ後にフレームメモリー上の画像を表示画面１１に出力することで、表示画面１１には、車両１の周辺を上方から見たような俯瞰画像が表示される。
車両１の前方および後方の撮影俯瞰画像は、図１４のＳ２０３で既にフレームメモリーに書き込まれているので、こうして履歴画像を書き込んだ後にフレームメモリー上の画像を表示画面１１に出力することで、表示画面１１には、車両１の周辺を上方から見たような俯瞰画像が表示される。
その後、車両１の周辺領域についての俯瞰画像の表示を終了するか否かを判断する（Ｓ２１６）。その結果、まだ表示を終了しない場合は（Ｓ２１６：ｎｏ）、処理の先頭に戻って、再び、車載カメラ１０Ｆ，１０Ｒによって得られた撮影画像を取得した後（図１４のＳ２０１）、上述した続く一連の処理を実行する。
これに対して、表示を終了すると判断した場合は（Ｓ２１６：ｙｅｓ）、第２実施例の俯瞰画像表示処理を終了する。
これに対して、表示を終了すると判断した場合は（Ｓ２１６：ｙｅｓ）、第２実施例の俯瞰画像表示処理を終了する。
以上に説明した第２実施例の俯瞰画像表示処理においては、車両１の移動速度が記憶速度まで低下したら、撮影俯瞰画像の記憶を開始して、撮影俯瞰画像を記憶しながら車両１の車長に相当する距離を移動したら、履歴画像を用いた俯瞰画像の表示を開始する。
このため、車両１の移動速度が大きい場合には、履歴画像を用いた俯瞰画像が車両１の死角領域に表示されないので、図６および図７を用いて前述したような画質の悪い俯瞰画像が表示画面１１に表示されることを回避することができる。
このため、車両１の移動速度が大きい場合には、履歴画像を用いた俯瞰画像が車両１の死角領域に表示されないので、図６および図７を用いて前述したような画質の悪い俯瞰画像が表示画面１１に表示されることを回避することができる。
また、上述した第２実施例の俯瞰画像表示処理では、車両１の車長に相当する距離の撮影俯瞰画像が記憶されたら、履歴画像を用いた俯瞰画像の表示を開始するので、始めから車両１の死角領域全体の俯瞰画像を表示することが可能となる。
以上、各種の実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
１…車両、 １０Ｆ，１０Ｒ…車載カメラ、 １１…表示画面、
１３…車速センサー、 １００…俯瞰画像表示装置、 １０１…撮影画像取得部、
１０２…撮影俯瞰画像生成部、 １０３…表示画像生成部、
１０４…移動情報取得部、 １０５…記憶速度決定部、
１０６…撮影俯瞰画像記憶部、 Ｖ0 …表示速度、 Ｖ1 …記憶速度。
１３…車速センサー、 １００…俯瞰画像表示装置、 １０１…撮影画像取得部、
１０２…撮影俯瞰画像生成部、 １０３…表示画像生成部、
１０４…移動情報取得部、 １０５…記憶速度決定部、
１０６…撮影俯瞰画像記憶部、 Ｖ0 …表示速度、 Ｖ1 …記憶速度。
Claims (5)
- 車載カメラ（１０Ｆ，１０Ｒ）を用いて車両（１）の周辺領域を撮影した画像を表示画面（１１）上に表示する車両周辺画像表示装置（１００）であって、
前記車載カメラによって得られた撮影画像に対して、該車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成手段（１０２）と、
前記撮影俯瞰画像を記憶する撮影俯瞰画像記憶手段（１０６）と、
前記表示画面上で、前記車載カメラが撮影した前記周辺領域に対応する位置に前記撮影俯瞰画像を表示する撮影俯瞰画像表示手段（１０３）と、
前記車両の移動速度を含む移動情報を取得する移動情報取得手段（１０４）と、
前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成された前記撮影俯瞰画像の中から該死角領域を撮影した部分の画像である履歴画像を、前記移動情報に基づいて切り出して、前記表示画面上の該死角領域に対応する位置に表示する履歴画像表示手段（１０３）と
を備え、
前記履歴画像表示手段は、前記移動速度が所定の表示速度を超えている場合には前記履歴画像を表示せず、該表示速度以下の場合に該履歴画像を表示する手段である
車両周辺画像表示装置。 - 請求項１に記載の車両周辺画像表示装置であって、
前記撮影俯瞰画像記憶手段は、前記移動速度が、前記表示速度より大きい所定の記憶速度を超えている場合には前記撮影俯瞰画像を記憶せず、該記憶速度以下の場合に該撮影俯瞰画像を記憶する手段である
車両周辺画像表示装置。 - 請求項２に記載の車両周辺画像表示装置であって、
前記履歴画像表示手段は、前記移動速度が前記表示速度以下になると、前記死角領域の全ての領域が前記撮影俯瞰画像記憶手段に記憶されているか否かを判断して、記憶されていると判断した場合に、前記履歴画像を表示する手段である
車両周辺画像表示装置。 - 請求項２または請求項３に記載の車両周辺画像表示装置であって、
前記移動速度が前記表示速度より大きく且つ該移動速度が減少している場合に、該移動速度の減速度合を検出して、該減速度合に基づいて前記記憶速度を決定する記憶速度決定手段（１０５）を備える
車両周辺画像表示装置。 - 車載カメラを用いて車両の周辺領域を撮影した画像を表示画面上に表示する車両周辺画像表示方法（Ｓ１００）であって、
前記車載カメラによって得られた撮影画像に対して、該車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成工程（Ｓ１０２）と、
前記撮影俯瞰画像を記憶する撮影俯瞰画像記憶工程（Ｓ１０７、Ｓ１０９）と、
前記表示画面上で、前記車載カメラが撮影した前記周辺領域に対応する位置に前記撮影俯瞰画像を表示する撮影俯瞰画像表示工程（Ｓ１０３、Ｓ１１４）と、
前記車両の移動速度を含む移動情報を取得する移動情報取得工程（Ｓ１０４）と、
前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成された前記撮影俯瞰画像の中から該死角領域を撮影した部分の画像である履歴画像を、前記移動情報に基づいて切り出して、前記表示画面上の該死角領域に対応する位置に表示する履歴画像表示工程（Ｓ１１３、Ｓ１１４）と
を備え、
前記履歴画像表示工程は、前記移動速度が所定の表示速度を超えている場合には前記履歴画像を表示せず、該表示速度以下の場合に該履歴画像を表示する工程である
車両周辺画像表示方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014042987A JP6326869B2 (ja) | 2014-03-05 | 2014-03-05 | 車両周辺画像表示装置、車両周辺画像表示方法 |
| PCT/JP2015/000746 WO2015133072A1 (ja) | 2014-03-05 | 2015-02-18 | 車両周辺画像表示装置、車両周辺画像表示方法 |
| CN201580011579.4A CN106063258B (zh) | 2014-03-05 | 2015-02-18 | 车辆周边图像显示装置、车辆周边图像显示方法 |
| DE112015001088.2T DE112015001088T5 (de) | 2014-03-05 | 2015-02-18 | Fahrzeugumgebungsbildanzeigevorrichtung und Fahrzeugumgebungsbildanzeigeverfahren |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014042987A JP6326869B2 (ja) | 2014-03-05 | 2014-03-05 | 車両周辺画像表示装置、車両周辺画像表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015170915A JP2015170915A (ja) | 2015-09-28 |
| JP6326869B2 true JP6326869B2 (ja) | 2018-05-23 |
Family
ID=54054892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014042987A Active JP6326869B2 (ja) | 2014-03-05 | 2014-03-05 | 車両周辺画像表示装置、車両周辺画像表示方法 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP6326869B2 (ja) |
| CN (1) | CN106063258B (ja) |
| DE (1) | DE112015001088T5 (ja) |
| WO (1) | WO2015133072A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6512145B2 (ja) * | 2016-03-22 | 2019-05-15 | 株式会社デンソー | 画像処理装置、画像処理方法、及びプログラム |
| KR101861523B1 (ko) * | 2016-06-17 | 2018-07-05 | 주식회사 와이즈오토모티브 | 차량 운전 보조 장치 및 방법 |
| CN108068696B (zh) * | 2016-11-17 | 2020-06-19 | 比亚迪股份有限公司 | 全景影像的显示方法和显示装置 |
| KR20180069380A (ko) * | 2016-12-15 | 2018-06-25 | 주식회사 와이즈오토모티브 | 운전 보조 장치 및 방법 |
| DE102017130169A1 (de) * | 2017-02-24 | 2018-08-30 | Denso Ten Limited | Ladeunterstützungsvorrichtung |
| JP7318258B2 (ja) * | 2019-03-26 | 2023-08-01 | コベルコ建機株式会社 | 遠隔操作システムおよび遠隔操作サーバ |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4156214B2 (ja) * | 2001-06-13 | 2008-09-24 | 株式会社デンソー | 車両周辺画像処理装置及び記録媒体 |
| JP3778849B2 (ja) * | 2001-12-18 | 2006-05-24 | 株式会社デンソー | 車両周辺画像処理装置及び記録媒体 |
| JP4548322B2 (ja) * | 2005-11-28 | 2010-09-22 | 株式会社デンソー | 駐車支援システム |
| JP4321543B2 (ja) * | 2006-04-12 | 2009-08-26 | トヨタ自動車株式会社 | 車両周辺監視装置 |
| JP4914458B2 (ja) * | 2009-02-12 | 2012-04-11 | 株式会社日本自動車部品総合研究所 | 車両周辺表示装置 |
| JP5035284B2 (ja) * | 2009-03-25 | 2012-09-26 | 株式会社日本自動車部品総合研究所 | 車両周辺表示装置 |
| JP5126549B2 (ja) * | 2009-07-21 | 2013-01-23 | アイシン精機株式会社 | 運転支援装置、運転支援方法、及び運転支援プログラム |
| JP2013541915A (ja) * | 2010-12-30 | 2013-11-14 | ワイズ オートモーティブ コーポレーション | 死角地帯の表示装置および方法 |
| JP5722127B2 (ja) * | 2011-06-07 | 2015-05-20 | 株式会社小松製作所 | 作業車両の周辺監視装置 |
| JP5790335B2 (ja) * | 2011-09-01 | 2015-10-07 | 株式会社デンソー | 車両周辺画像表示制御装置 |
-
2014
- 2014-03-05 JP JP2014042987A patent/JP6326869B2/ja active Active
-
2015
- 2015-02-18 CN CN201580011579.4A patent/CN106063258B/zh active Active
- 2015-02-18 DE DE112015001088.2T patent/DE112015001088T5/de active Pending
- 2015-02-18 WO PCT/JP2015/000746 patent/WO2015133072A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015170915A (ja) | 2015-09-28 |
| WO2015133072A1 (ja) | 2015-09-11 |
| DE112015001088T5 (de) | 2016-12-01 |
| CN106063258B (zh) | 2018-12-25 |
| CN106063258A (zh) | 2016-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6326869B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
| WO2016002163A1 (ja) | 画像表示装置、画像表示方法 | |
| EP2974909B1 (en) | Periphery surveillance apparatus and program | |
| CN107431787B (zh) | 周边监控装置 | |
| JP5341789B2 (ja) | パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム | |
| JP5262976B2 (ja) | 車載表示装置 | |
| JP6586849B2 (ja) | 情報表示装置及び情報表示方法 | |
| CN110877572A (zh) | 周边监视装置 | |
| JP2018144526A (ja) | 周辺監視装置 | |
| JP6375633B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
| JP2020068515A (ja) | 画像処理装置 | |
| JP6778620B2 (ja) | 区画線検出装置、区画線検出システム、及び区画線検出方法 | |
| JP2015171106A (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
| JP7000383B2 (ja) | 画像処理装置および画像処理方法 | |
| JP6327115B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
| JP2015154336A (ja) | 表示画像生成装置、および表示画像生成プログラム | |
| JP6720729B2 (ja) | 表示制御装置 | |
| JP2013244852A (ja) | 駐車支援装置、駐車支援方法およびそのプログラム | |
| JP6407596B2 (ja) | 画像処理装置、及び、運転支援システム | |
| JP6788447B2 (ja) | 映像出力システム | |
| JP4857159B2 (ja) | 車両運転支援装置 | |
| JP4945315B2 (ja) | 運転支援システム及び車両 | |
| JP2009100261A (ja) | 車両周囲画像提供装置及び広角画像の補正方法 | |
| JP2021101515A (ja) | 表示装置、表示方法及び表示プログラム | |
| JP4526868B2 (ja) | トップビュー画像生成装置及びトップビュー画像表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180320 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180402 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6326869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |