JP5743652B2 - Image display system, image generation apparatus, and image generation method - Google Patents
Image display system, image generation apparatus, and image generation method Download PDFInfo
- Publication number
- JP5743652B2 JP5743652B2 JP2011080789A JP2011080789A JP5743652B2 JP 5743652 B2 JP5743652 B2 JP 5743652B2 JP 2011080789 A JP2011080789 A JP 2011080789A JP 2011080789 A JP2011080789 A JP 2011080789A JP 5743652 B2 JP5743652 B2 JP 5743652B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- display
- shift position
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明は、車両において画像を表示する技術に関する。 The present invention relates to a technique for displaying an image in a vehicle.
従来より、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周囲の領域を示す周辺画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ(代表的にはドライバ)は車両の周囲の様子をほぼリアルタイムに把握することができる。 2. Description of the Related Art Conventionally, there is known an image display system that is mounted on a vehicle such as an automobile and displays a peripheral image showing a region around the vehicle on a display in a vehicle interior based on a captured image obtained by an in-vehicle camera. By using this image display system, a user (typically a driver) can grasp the situation around the vehicle almost in real time.
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車両の側方に配置された車載カメラの撮影画像に基づいてフロントフェンダの外側領域を示す周辺画像を車室内のディスプレイに表示できる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。 For example, the outer region of the front fender that is on the opposite side of the driver's seat is likely to be a blind spot from the driver's seat, and it is difficult for the user to grasp the clearance between the vehicle body and the obstacle. On the other hand, if an image display system is used, a peripheral image showing an outer region of the front fender can be displayed on a display in the vehicle interior based on a photographed image of an in-vehicle camera arranged on the side of the vehicle. As a result, the user can easily confirm the clearance between the vehicle body on the opposite side of the driver's seat and the obstacle, for example, when the vehicle is brought close.
なお、車両の変速装置のシフトレバーのシフト位置が後退位置にあるときに車両の周辺画像及び後方撮影画像を表示する画像表示システムが知られている(例えば、特許文献1)。この画像表示システムでは、車両後退時に車両の周辺及び後方を周辺画像及び後方撮影画像を用いて確認することができる。 An image display system that displays a vehicle peripheral image and a rear shot image when the shift position of a shift lever of a vehicle transmission device is in a reverse position is known (for example, Patent Document 1). In this image display system, the periphery and the rear of the vehicle can be confirmed using the peripheral image and the rear captured image when the vehicle moves backward.
駐車時のようにシフト位置を後退位置と前進位置との間で頻繁に切り替える場合には、車両前進時に車両の周辺及び前方の状況を周辺画像及び前方撮影画像を用いて確認する必要が生じる場合がある。しかしながら、上記のような画像表示システムでは、シフト位置を後退位置から前進位置に切り替えた場合、地図画像のような周辺画像及び前方撮影画像以外の画像に切り替えられるため、車両前進時に車両の周辺及び前方の状況を周辺画像及び前方撮影画像を用いて確認することができなかった。なお、シフト位置が前進位置の場合に地図画像を含むナビゲーション装置の画像を表示するのは、通常の車両運転時(走行時)においてユーザはナビゲーション装置の画像を確認したいという要求を満たすためである。 When the shift position is frequently switched between the reverse position and the forward position as in parking, it is necessary to check the surroundings and the front situation of the vehicle using the surrounding image and the forward photographed image when the vehicle moves forward. There is. However, in the image display system as described above, when the shift position is switched from the reverse position to the forward position, it is switched to a peripheral image such as a map image and an image other than the forward photographed image. The front situation could not be confirmed using the peripheral image and the forward photographed image. The reason why the navigation device image including the map image is displayed when the shift position is the forward position is to satisfy the request that the user wants to check the navigation device image during normal driving (during driving). .
本発明の目的は、シフト位置の切替操作に関わらず俯瞰画像を表示し続けることで、車両の周囲の状況を確認することができる画像表示システム、画像生成装置及び画像生成方法を提供することである。 An object of the present invention is to provide an image display system, an image generation apparatus, and an image generation method capable of confirming a situation around a vehicle by continuously displaying a bird's-eye view image regardless of the shift position switching operation. is there.
本発明による画像表示システムは、車両に搭載される画像表示システムであって、車両に配置されたカメラと、カメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段と、シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、シフト位置が変更されてからの時間を計測する計測手段と、を備え、合成画像表示状態でシフト位置が変更された場合、その際に計測手段で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、合成画像を切り替えずにその表示を維持する。 An image display system according to the present invention is an image display system mounted on a vehicle, and shows a state in which the vehicle and the surroundings of the vehicle are viewed from a virtual viewpoint based on a camera arranged in the vehicle and a captured image obtained by the camera. A composite image generating means for generating a composite image to be shown, a shift position detecting means for detecting the shift position of the shift lever of the shift position of the vehicle, and a composite for displaying the composite image according to the shift position detected by the shift position detecting means When the shift position is changed in the composite image display state, a measurement time measured by the measurement means at that time is predetermined. If it is returned to the original shift position before the time is reached, the display is maintained without switching the composite image.
本発明による画像生成装置は、撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段からのシフトポジション信号を受信するシフト位置信号受信手段と、シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、シフト位置が変更されてからの時間を計測する計測手段と、を備え、合成画像表示状態でシフト位置が変更された場合、その際に計測手段で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、合成画像を切り替えずにその表示を維持する。 An image generation apparatus according to the present invention detects a shift position of a shift lever of a shift position of a vehicle, and a composite image generation unit that generates a composite image showing a vehicle and the surroundings of the vehicle viewed from a virtual viewpoint based on a captured image. A shift position signal receiving means for receiving a shift position signal from the shift position detecting means, a composite image display means for displaying a composite image according to the shift position detected by the shift position detecting means, and the shift position being changed. Measuring means for measuring the time from the time when the shift position is changed in the composite image display state, the original shift position is returned to the original shift position before the measurement time measured by the measuring means reaches the predetermined time. When it is returned, the display is maintained without switching the composite image.
本発明による画像表示方法は、車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成し、車両の変速位置のシフトレバーのシフト位置を検出し、検出されたシフト位置に応じて合成画像を表示し、シフト位置が変更されてからの時間を計測し、合成画像表示状態でシフト位置が変更された場合、その際に計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、合成画像を切り替えずにその表示を維持する、ステップを有する。 An image display method according to the present invention generates a composite image that shows a state in which a vehicle and the surroundings of the vehicle are viewed from a virtual viewpoint based on a captured image obtained by a camera disposed on the vehicle, and the shift lever of the shift position of the vehicle Detects the shift position, displays the composite image according to the detected shift position, measures the time after the shift position is changed, and measures the shift position when it is changed in the composite image display state When the measured time is returned to the original shift position before reaching the predetermined time, the display is maintained without switching the composite image.
本発明によれば、シフト位置の切替操作に関わらず俯瞰画像を表示し続けることで、車両の周囲の状況を確認することができる。 According to the present invention, it is possible to check the situation around the vehicle by continuously displaying the bird's-eye view image regardless of the shift position switching operation.
<第1の実施の形態>
<1−1.システム構成>
図1は、本発明の実施の形態の画像表示システム120の構成を示すブロック図である。この画像表示システム120は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の周囲を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム120のユーザ(代表的にはドライバ)は、この画像表示システム120を利用することにより、当該車両の周囲の様子をほぼリアルタイムに把握できるようになっている。
<First Embodiment>
<1-1. System configuration>
FIG. 1 is a block diagram showing a configuration of an
図1に示すように、画像表示システム120は、車両の周囲の様子を示す周辺画像を生成する画像生成装置100と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置20とを主に備えている。画像生成装置100で生成された周辺画像は、ナビゲーション装置20において表示される。
As shown in FIG. 1, the
ナビゲーション装置20は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ21と、ユーザが操作を行うハードスイッチなどの操作部22と、装置全体を制御する制御部23とを備えている。ディスプレイ21の画面がユーザから視認可能なように、ナビゲーション装置20は車両のインストルメントパネルなどに設置される。
The
ユーザの各種の指示は、操作部22とタッチパネルとしてのディスプレイ21とによって受け付けられる。制御部23は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。ナビゲーション装置20は、画像生成装置100と通信可能に接続され、画像生成装置100との間で各種の制御信号の送受信や、画像生成装置100で生成された画像の受信が可能となっている。
Various user instructions are received by the
ディスプレイ21には、制御部23の制御により、通常は、ナビゲーション装置20単体の機能によって、ナビゲーション案内用の車両の周辺の地図画像が表示される。地図画像は、ナビゲーション装置20が備えるハードディスクなどに予め記憶されている。また、ナビゲーション装置20が備えるGPS装置によって車両の位置(緯度、経度)が取得され、この車両の位置に基づいて、車両の周辺の地図画像がディスプレイ21に表示される。表示する地図画像の縮尺はユーザの操作部22の操作に応じて変更可能である。
Under the control of the
一方で、画像表示システム120の動作モードを変更した場合は、画像生成装置100で生成された車両の周囲の様子を示す周辺画像が、ディスプレイ21に表示される。これにより、ナビゲーション装置20は、画像生成装置100で生成された周辺画像を受信して表示する表示装置としても機能する。
On the other hand, when the operation mode of the
画像生成装置100は、画像を生成する機能を有するECU(Electronic Control Unit)である本体部10と、車両の周囲を撮影する撮影部5とを備えている。本体部10は、車両の所定の位置に配置され、撮影部5で車両の周囲を撮影して得られる撮影画像に基づいてディスプレイ21に表示するための周辺画像を生成する。
The
撮影部5は、本体部10に電気的に接続され、本体部10からの信号に基づいて動作する。撮影部5は、車載カメラであるフロントカメラ51、サイドカメラ52、及び、バックカメラ53を備えている。各車載カメラ51〜53は、レンズと撮像素子とを備えており電子的に画像を取得する。
The photographing
これらの複数の車載カメラ51〜53は、車両の異なる位置にそれぞれ配置される。図2は、車載カメラ51〜53が車両9に配置される位置を示す図である。
The plurality of in-
図2に示すように、フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向に向けられている。バックカメラ53は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸53aは車両9の直進方向の逆方向に向けられている。これらフロントカメラ51やバックカメラ53の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ52は左右のサイドミラー93にそれぞれ設けられ、その光軸52aは車両9の左右方向(直進方向に直交する方向)に沿って車両9の外側に向けられている。
As shown in FIG. 2, the
これらの車載カメラ51〜53のレンズとしては魚眼レンズなどが採用されており、車載カメラ51〜53は180度以上の画角θを有している。このため、車載カメラは、それぞれの光軸を中心として、斜め下方や斜め上方の範囲の視野も撮影画像に移すことができる。撮影部5は、4つの車載カメラ51〜53を利用することで車両9の全周囲の撮影が可能となっている。
A fish-eye lens or the like is adopted as the lens of these in-
図1に戻り、画像生成装置100の本体部10は、装置全体を制御する制御部1と、撮影部5の4つの車載カメラ51〜53それぞれの撮影画像を入力する入力端子49と、表示用の周辺画像を生成する画像生成部3と、ナビゲーション装置20との間で通信を行うナビ通信部42を主に備えている。
Returning to FIG. 1, the
ナビゲーション装置20の操作部22やディスプレイ21によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部42によって受け付けられて制御部1に入力される。また、画像生成装置100は、表示内容を切り替える指示をユーザから受け付ける要求手段としての切替スイッチ43を備えている。この切替スイッチ43からもユーザの指示を示す信号が制御部1に入力される。これにより、画像生成装置100は、ナビゲーション装置20に対するユーザの操作、及び、切替スイッチ43に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ43は、ユーザが操作しやすいように、本体部10とは別に車両の適位置に配置される。
Various instructions from the user received by the
画像生成部3は、各種の画像処理が可能なハードウェア回路であり、入力端子49を介して撮影部5から入力される撮影画像を処理し、ディスプレイ21に表示するための周辺画像を生成する。画像生成部3は、画像結合部30、メモリ31、画像調整部32、合成画像生成部34、画像配置部35、画像切替部36、ガイド線付加部37及びガイド線処理部を主な構成要素として備えている。
The
画像結合部30は、撮影部5で取得された撮影画像を1枚の結合画像に結合する。図3の(A)及び図3の(B)は、画像結合部30によって生成される結合画像Pcnの説明図である。撮影部5のフロントカメラ51、サイドカメラ52及びバックカメラ53で同時に撮影が行われると、車両9の前方、左側方、右側方及び後方をそれぞれ示す4つの撮影画像P1〜P4が取得される。画像結合部30は、これら4枚の撮影画像P1〜P4を結合することによって、図3の(B)に示すような結合画像Pcnを生成する。画像結合部30によって生成された結合画像Pcnは、メモリ31に格納される。
The
画像調整部32は、画像結合部30にて生成された結合画像Pcnを表示に利用するための調整を行うものである。具体的には、画像調整部32は、結合画像Pcnに含まれる撮影画像P1〜P4に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。画像調整部32は、画像選択部33を備える。画像選択部33は、結合画像Pcnに含まれる撮影画像P1〜P4の切り出し処理の際に、切り出し範囲、すなわちディスプレイ21への表示範囲を選択する。
The
合成画像生成部34は、結合画像Pcnに基づいて、車両の周囲の任意の仮想視点からみた車両の周囲の領域を示す合成画像を生成する。合成画像生成部34が合成画像を生成する手法については後述する。
Based on the combined image Pcn, the composite
画像調整部32により表示用に調整された撮影画像、及び合成画像生成部34により生成された合成画像は、ナビ通信部42によってナビゲーション装置20に出力される。その際に、画像配置部35は、以下に説明する画像表示システム120の動作モードに応じて、画面上の所定の表示位置にこれらの画像を配置した表示画像を生成し、ナビゲーション装置20へ出力する。これにより、被写体像として車両の周囲の少なくとも一部の領域を含む周辺画像がナビゲーション装置20のディスプレイ21に表示されることになる。
The captured image adjusted for display by the
本明細書において、「周辺画像」とは、車両の周囲の少なくとも一部の領域を示す画像を意味し、表示用に調整された撮影画像、及び、合成画像の双方を含む概念である。表示用に調整された撮影画像は、取得された車載カメラ51〜53のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周囲の任意の位置に設定された仮想視点からみた周辺画像となる。
In this specification, the “peripheral image” means an image showing at least a part of the area around the vehicle, and is a concept including both a captured image adjusted for display and a composite image. The captured image adjusted for display is a peripheral image viewed from the viewpoint of the acquired lens position of the in-
画像切替部36は、後述するように、切替スイッチ43からのユーザ要求に応じて、車両の変速装置のシフトレバーのシフト位置が後退位置にあるときに合成画像及び撮影画像P4を含む第1の画像をディスプレイ21の表示画面に表示し、シフト位置が後退位置から前進位置に切り替わると、ディスプレイ21の表示画面の表示を、第1の画像から、合成画像及び撮影画像P1を含む第2の画像に切り替える(「後退前進切替時の画像切替」)。また、画像切替部36は、後述するように、シフト位置が前進位置にある状態で第2の画像を表示する時間が所定の時間に到達すると、ディスプレイ21の表示画面の表示を、第2の画像から、合成画像及び撮影画像P1,P4以外の画像を含む地図データ等の第3の画像に切り替える。
As will be described later, in response to a user request from the
ガイド線付加部37は、後述するように、画像に各種ガイド線を付加する。ガイド線は、車両端が通過する軌跡を示す予想進路線、車両後端を示す距離目安線、車両後端に垂直後退した場合の進路を示す車幅平行線、ステアリングを左右に最大にきった場合の車両の予測軌跡を示す駐車ガイド線等とすることができる。ガイド線処理部38は、ガイド線付加部37が画像に付加したガイド線を消去し、かつ、画像をディスプレイ21の表示画面に表示する際にガイド線付加部37がガイド線を画像に付加するのを禁止する。
As will be described later, the guide
制御部1は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部11、表示制御部12、シフト位置信号受信部13、計測部14、ユーザ要求信号受信部15、領域選択部16、優先度設定部17、検知信号受信部18及び状態信号受信部19は、このようにして実現される制御部1の機能のうちの一部を示している。
The
画像制御部11は、画像生成部3によって実行される画像処理に係る制御を行う。例えば、画像制御部11は、合成画像生成部34が生成する合成画像の生成に必要な各種パラメータなどを指示する。
The
表示制御部12は、ナビゲーション装置20のディスプレイ21に表示する表示内容に係る制御を行う。例えば、画像表示システム120の動作モードの変更に応じて、ディスプレイ21の表示内容を切り替える。
The
シフト位置信号受信部13は、後述するシフト位置信号を受信することによって、シフトレバーのシフト位置に応じた画像をディスプレイ21の表示画面に表示するよう画像生成部3に指示する。
The shift position
計測部14は、シフト位置が前進位置にある状態で上記第2の画像を表示する時間を計測する。ユーザ要求信号受信部15は、上記後退前進切替時の画像切替の要求、シフト位置が前進位置にある状態で上記第2の画像を表示する時間の延長の要求等の各種ユーザ要求信号を切替スイッチ43から受信する。
The
領域選択部16は、車両の周囲に設定される複数の周辺領域のうちから、ユーザに示すべき周辺領域を選択する。優先度設定部17は、ユーザに示すべき周辺領域が複数ある場合に、それらの優先度を設定する。検知信号受信部18は、後述する検知信号を受信することによって、障害物が所定の範囲内(車両の周囲)にあるか否か検知する。状態信号受信部19は、後述する停止信号を受信することによって、車両の走行状態に応じた画像をディスプレイ21の表示画面に表示するよう画像生成部3に指示する。
The
画像生成装置100の本体部10は、不揮発性メモリ40、カード読取部44、及び、信号入力部41をさらに備えており、これらは制御部1に接続されている。
The
不揮発性メモリ40は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ40には、視点データ4aが記憶されている。視点データ4aは、合成画像の仮想視点を定める際に利用される。
The
カード読取部44は、可搬性の記録媒体であるメモリカードMCの読み取りを行う。カード読取部44は、メモリカードMCの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードMCに記録されたデータを読み取る。カード読取部44で読み取られたデータは、制御部1に入力される。メモリカードMCは、種々のデータを記憶可能なフラッシュメモリなどであり、画像生成装置100はメモリカードMCに記憶された種々のデータを利用できる。例えば、メモリカードMCにプログラムを記憶させ、これを読み出すことで、制御部1の機能を実現するプログラム(ファームウェア)を更新することが可能である。
The
また、信号入力部41は、車両に設けられた各種装置からの信号を入力する。この信号入力部41を介して、画像表示システム120の外部からの信号が制御部1に入力される。本実施の形態では、ソナーシステム7a、シフトセンサ7b、舵角センサ7c及び車速センサ7dからの信号が信号入力部41を介して制御部1に入力される。
Moreover, the
障害物検知手段としてのソナーシステム7からは、後述するように、障害物の位置及び車両と障害物との間の距離を含む検出結果が入力される。シフト位置検出手段としてのシフトセンサ71からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションを示すシフト位置信号が入力される。舵角センサ72からは、ドライバによるステアリングホイールの操作角を示す操作角信号が入力される。車両状態検出手段としての車速センサ73からは、車両の停止状態又は移動状態を検出する、車速パルスに基づく状態信号が入力される。
As will be described later, a detection result including the position of the obstacle and the distance between the vehicle and the obstacle is input from the sonar system 7 as the obstacle detection means. From the
<1−2.ソナーシステム>
図4は、ソナーシステム7aの構成を主に示す図である。図4に示すように、ソナーシステム7は、システム全体を統括するソナー制御部70と、複数のクリアランスソナー72と、車内に警告音を発するブザー71と、を備える。
<1-2. Sonar system>
FIG. 4 is a diagram mainly showing the configuration of the
クリアランスソナー72は、超音波を発信し、その超音波が障害物で反射した反射波を受信することによって車両の周囲に存在する障害物を検出する。また、クリアランスソナー72は、超音波を発信してから戻ってくるまでの時間に基づいて車両と障害物との間の距離を測定することができる。
The
各クリアランスソナー72の検出結果は、ソナー制御部70に入力され、車両と障害物との間の距離に応じてブザー71から警告音が出力される。これにより、ユーザは、車両の周囲に障害物が存在するか否か把握することができる。
The detection result of each
図5は、複数のクリアランスソナー72が車両9に配置される位置を示す図である。複数のクリアランスソナー72は、車両9の前方の左右端部及び車両9の後方の左右端部にそれぞれ設けられている。
FIG. 5 is a diagram showing positions where a plurality of
各クリアランスソナー72は、車両9の周辺の一部の周辺領域A1〜A4に向けて超音波を発信する。具体的には、車両9の前方の左端部に設けられるクリアランスソナー72は、車両9の前方左側に設定される周辺領域(「前方左側領域」)A1に向けて超音波を発信する。また、車両9の前方の右端部に設けられるクリアランスソナー72は、車両9の前方右側に設定される周辺領域(「前方右側領域」)A2に向けて超音波を発信する。また、車両9の後方の左端部に設けられるクリアランスソナー72は、車両9の後方左側に設定される周辺領域(「後方左側領域」)A3に向けて超音波を発信する。さらに、車両9の後方の右端部に設けられるクリアランスソナー72は、車両9の後方右側に設定される周辺領域(「後方右側領域」)A4に向けて超音波を発信する。
Each
これら4つの周辺領域A1〜A4は、車両9に対して相対的に固定されて予め設定される。このようなクリアランスソナー72の配置により、ソナーシステム7では、4つの周辺領域A1〜A4に存在する障害物を検出することができる。ソナーシステム7は、障害物を検出したクリアランスソナー72の位置に基づいて、検出した障害物の位置が4つの周辺領域A1〜A4のいずれであるかを把握することができる。さらに、ソナーシステム7は、車両と障害物との間の距離を測定することができる。
These four peripheral areas A1 to A4 are fixed relative to the
このような障害物の位置及び車両と障害物との間の距離を含むソナーシステム7の検出結果は、図4に示すように、ソナー制御部70から画像生成装置100の制御部1に信号入力部41を介して入力される。そして、このソナーシステム7の検出結果は、制御部1の検知信号受信部15等で利用される。
The detection result of the sonar system 7 including the position of the obstacle and the distance between the vehicle and the obstacle is input as a signal from the
<1−3.画像合成処理>
次に、画像生成部3の合成画像生成部34が、撮影部5で得られた複数の撮影画像P1〜P4に基づいて車両9及び車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図6は、合成画像を生成する手法を説明するための図である。
<1-3. Image composition processing>
Next, the composite
上述の通り、撮影部5のフロントカメラ51、サイドカメラ52及びバックカメラ53で同時に撮影が行われると、車両9の前方、左側方、右側方及び後方をそれぞれ示す4つの撮影画像P1〜P4が取得される。撮影部5で取得される4つの撮影画像P1〜P4を結合した結合画像Pcnには、撮影時点の車両9の全周囲を示す情報が含まれている。
As described above, when the
次に、結合画像Pcnの各画素が、仮想的な三次元空間における立体曲面TSに投影される。立体曲面TSは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9が存在する位置として定められている。結合画像Pcnの各画素の位置とこの立体曲面TSの各画素の位置とは予め対応関係が定められている。このため、立体曲面TSの各画素の値は、この対応関係と結合画像Pcnに含まれる各画素の値とに基づいて決定できる。
Next, each pixel of the combined image Pcn is projected onto the three-dimensional curved surface TS in the virtual three-dimensional space. The three-dimensional curved surface TS has, for example, a substantially hemispherical shape (a bowl shape), and a center portion (a bottom portion of the bowl) is determined as a position where the
結合画像Pcnの各画素の位置と立体曲面TSの各画素の位置との対応関係は、車両9における4つの車載カメラ51〜53の配置(相互間距離、地上高さ、光軸角度等)に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ40に予め記憶されている。
The correspondence relationship between the position of each pixel of the combined image Pcn and the position of each pixel of the three-dimensional curved surface TS depends on the arrangement of the four in-
また、不揮発性メモリ40に予め記憶された車体の形状やサイズを示すデータが利用され、車両9の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両9のモデルは、立体曲面TSが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
Further, data indicating the shape and size of the vehicle body stored in advance in the
さらに、立体曲面TSが存在する三次元空間に対して、制御部1により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
Furthermore, the virtual viewpoint VP is set by the
そして、設定された仮想視点VPに応じて、立体曲面TSにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面TSにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ40等に予め記憶されている。一方で、設定された仮想視点VPに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両9及びその車両9の周囲を任意の仮想視点VPからみた様子を示す合成画像が生成されることになる。
Then, according to the set virtual viewpoint VP, a necessary area on the three-dimensional curved surface TS is cut out as an image. The relationship between the virtual viewpoint VP and a necessary area in the three-dimensional curved surface TS is determined in advance, and is stored in advance in the
例えば、視点位置が車両9の位置の略中央の直上で、視野方向が直下方向とした仮想視点VPaを設定した場合は、車両9の略直上から車両9を見下ろすように、車両9及び車両9の周囲の領域を示す合成画像CPaが生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向が車両9における略前方方向とした仮想視点VPbを設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9及び車両9の周囲の領域を示す合成画像CPbが生成される。
For example, when a virtual viewpoint VPa is set in which the viewpoint position is just above the center of the position of the
なお、実際に合成画像を生成する場合においては、立体曲面TSの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。画像表示システム120では、このような合成画像生成部34の機能を利用することで、車両9の周囲の任意の視点からみた合成画像を生成して、ディスプレイ21に表示する。
In the case of actually generating a composite image, it is not necessary to determine the values of all the pixels of the three-dimensional curved surface TS, and only the values of the pixels in the area necessary corresponding to the set virtual viewpoint VP are photographed. By determining based on the images P1 to P4, the processing speed can be improved. In the
<1−4.動作モード>
次に、画像表示システム120の動作モードについて説明する。図7は、画像表示システム120の動作モードの遷移を示す図である。画像表示システム120は、ナビモードM0、フロントモードM1、サイドモードM2、及び、バックモードM3の3つの動作モードを有している。これらの動作モードは、ドライバの車両9への操作や車両9の走行状態に応じて制御部1の制御により切り替えられるようになっている。
<1-4. Operation mode>
Next, the operation mode of the
ナビモードM0は、ナビゲーション装置20の機能により、ナビゲーション案内を行う動作モードである。ナビモードM0では、画像生成装置100の機能が利用されず、ナビゲーション装置20単体の機能でディスプレイ21に各種の表示がなされる。具体的には、ディスプレイ21には、車両9の周辺の地図画像NPが主に表示される。
The navigation mode M0 is an operation mode in which navigation guidance is performed by the function of the
これに対し、フロントモードM1、サイドモードM2及びバックモードM3は、画像生成装置100の機能を利用して、周辺画像をディスプレイ21に表示して、車両の周囲の状況をリアルタイムでユーザに示す動作モードである。
On the other hand, the front mode M1, the side mode M2, and the back mode M3 use the function of the
フロントモードM1は、車両9の前方を表示する動作モードであり、見通しの悪い交差点への進入時などに利用される。ディスプレイ21の第2表示位置L2には、フロントカメラ51で取得されて表示用に調整した撮影画像(以下、「フロント画像」という。)SP1が表示される。このフロント画像SP1は、車両9の前方の視点(フロントカメラ51のレンズ位置)からみた周辺画像である。フロントモードM1では、表示中の周辺画像(すなわち、フロント画像)SP1の視点が車両9の前方であることを示すアイコンC1が表示される。
The front mode M1 is an operation mode for displaying the front of the
また、第1表示位置L1には、合成画像生成部34により生成された、車両9の略直上から車両9を見下ろすように車両9とその周辺の領域を示す合成画像CPaが表示される。
In addition, at the first display position L1, a composite image CPa that is generated by the composite
サイドモードM2は、車両9の側方を表示する動作モードであり、幅寄せを行う場合などに利用される。ディスプレイ21の第3表示位置L3及び第4表示位置L4には、サイドカメラ52で取得されて表示用に調整した撮影画像(以下、「サイド画像」という。)SP2が表示される。このサイド画像SP2は、車両9の側方の視点(サイドカメラ52のレンズ位置)からみた周辺画像である。サイドモードM2では、表示中の周辺画像(すなわち、サイド画像)SP2の視点が車両9の側方であることを示すアイコンC2が表示される。
The side mode M2 is an operation mode for displaying the side of the
また、バックモードM3は、車両9の後方を表示する動作モードであり、後退時に利用される。ディスプレイ21の第2表示位置L2には、バックカメラ53で取得されて表示用に調整した撮影画像(以下、「バック画像」という。)SP3が表示される。このバック画像SP3は、車両9の後方の視点(バックカメラ53のレンズ位置)からみた周辺画像である。バックモードM3では、表示中の周辺画像(すなわち、バック画像)SP3の視点が車両9の後方であることを示すアイコンC3が表示される。
The back mode M3 is an operation mode for displaying the rear of the
また、第1表示位置L1には、合成画像生成部34により生成された、車両9の略直上から車両9を見下ろすように車両9とその周囲の領域を示す合成画像CPaが表示される。
Further, at the first display position L1, a composite image CPa that is generated by the composite
ナビモードM0において、ナビゲーション装置20の操作部22に所定の操作がなされると、フロントモードM1及びサイドモードM2のうちの最後に有効化された動作モード(いわゆる、ラストモード)に切り替わる。フロントモードM1とサイドモードM2とは、切替スイッチ43を押下するごとに切り替えられる。また、フロントモードM1あるいはサイドモードM2において、ナビゲーション装置20の操作部22に所定の操作がなされると、ナビモードM0に戻る。
In the navigation mode M0, when a predetermined operation is performed on the
また、バックモードM3以外の動作モードにおいて、シフトセンサ71から入力されるシフトポジションが”R(後退)”となったときは、バックモードM3に切り替えられる。すなわち、シフトポジションが”R(後退)”の場合は、車両9は後退する状態であるため、車両9の後方を主に示すバックモードM3に切り替えられる。また、バックモードM3の場合に、シフトポジションが”R(後退)”以外となったときは、バックモードM3に切り替えられる直前の動作モードに戻ることになる。
In the operation mode other than the back mode M3, when the shift position input from the
このように画像表示システム120は、複数の動作モードを切り替えることで、複数の視点からみた周辺画像を切り替えてディスプレイ21に表示可能となっている。なお、サイドミラーが格納されている場合には、正常なサイド画像SP2を撮影することができない。したがって、サイドミラー格納時には、フロントモードM1やバックモードM3からサイドモードM2への切り換えが禁止される。
As described above, the
なお、フロントモードM1における合成画像CPaには、予想進路線S1が付加され、フロントモードM1におけるフロント画像SP1には、予想進路線S1,S2が付加され、バックモードM3における合成画像CPaには、予想進路線S3,S4及び距離目安線Mが付加され、バックモードM3におけるバック画像SP3には、予想進路線S4、距離目安線M及び車幅平行線Hが付加されている。 Note that the predicted route S1 is added to the composite image CPa in the front mode M1, the predicted routes S1 and S2 are added to the front image SP1 in the front mode M1, and the composite image CPa in the back mode M3 is Expected course lines S3, S4 and a distance guide line M are added, and an expected course line S4, a distance guide line M, and a vehicle width parallel line H are added to the back image SP3 in the back mode M3.
<1−5.画像切替処理>
次に、画像切替処理を行うときの画像表示システム120の処理について説明する。以後の説明における処理は、切替スイッチ43により、上記後退前進切替時の画像切替の要求に関するユーザ要求信号を受信している場合について行われる。
<1-5. Image switching process>
Next, processing of the
図8は、画像切替の一例の説明図である。車両が所定速度以下(駐車を行うような低速度)でシフトポジションが「R」になると、図8に示すように、ディスプレイ21の表示画面に合成画像CPa及びバック画像SP3を含む後退動作を支援するのに適した画像が表示される。この状態において、シフトポジションが「R」から「D」に切り替わると、合成画像CPa及びフロント画像SP1を含む画像に表示が切り替わる。その後、シフトポジションが「D」から「R」に切り替わると、合成画像CPa及びバック画像SP3を含む画像に表示が切り替わる。
FIG. 8 is an explanatory diagram of an example of image switching. When the vehicle is below a predetermined speed (low speed for parking) and the shift position is “R”, as shown in FIG. 8, the display screen of the
上述のようなシフトポジションが「D」のときにディスプレイ21の表示画面に合成画像CPa及びフロント画像SP1を含む画像が表示されている状態で、計測部14が計測したその状態の継続時間が所定の時間を経過すると、ディスプレイ21の表示画面は、地図画像NPに切り替わる。なお、合成画像CPa、フロント画像SP1及びバック画像SP3以外の画像を含む他の画像(第3の画像)に切り替えてもよい。
When an image including the composite image CPa and the front image SP1 is displayed on the display screen of the
また、切替スイッチ43により、合成画像CPa及びフロント画像SP1を含む画像の表示時間の延長要求に関するユーザ要求信号が送信された場合は、合成画像CPa及びフロント画像SP1を含む画像の表示時間を所定の延長時間だけ延長し、所定の延長時間が経過した後に、ディスプレイ21の表示画面を地図画像NPに切り替える。尚、所定の延長時間内にシフトポジションが「D」から「R」に切り替わると、合成画像CPa及びバック画像SP3を含む画像に表示が切り替わり、同じ処理が繰り返される。また、この場合の合成画像CPa及びフロント画像SP1を含む画像の表示時間は、上記延長時間を加えた時間長とすれば、ユーザの延長操作の意志を反映させたものになる。
Further, when a user request signal related to a request for extending the display time of the image including the composite image CPa and the front image SP1 is transmitted by the
また、ソナーシステム7aにより障害物を検知した場合、合成画像CPa及びフロント画像SP1を含む画像の表示時間を所定の延長時間だけ延長し、所定の延長時間が経過した後に、ディスプレイ21の表示画面を地図画像NPに切り替える。尚、この場合、ソナーによる障害物検知が解除されてから所定時間経過した時点まで延長すれば、障害物による運転への影響を考えた表示とすることができる。また、所定の延長時間内にシフトポジションが「D」から「R」に切り替わると、合成画像CPa及びバック画像SP3を含む画像に表示が切り替わり、同じ処理が繰り返される。
When an obstacle is detected by the
<1−6.ガイド線の付加及び消去処理>
次に、ガイド線を付加し又は消去するときの画像表示システム120の処理について説明する。図9は、ガイド線の付加及び消去の一例の説明図である。車両が停止した状態において、切替スイッチ43からの切替信号により、バックモードM3におけるディスプレイ21の表示画面のバック画像SP3をフロント画像SP1に切り替わると、ガイド線処理部38は、合成画像CPaから予想進路線S3,S4及び距離目安線Mを消去し、ガイド線付加部37がフロント画像SP1にガイド線を付加するのを禁止する。
<1-6. Addition and deletion of guide lines>
Next, the processing of the
それに対し、車両が停止した状態において、切替スイッチ43からの切替信号により、バックモードM3におけるディスプレイ21の表示画面のフロント画像SP1をバック画像SP3に切り替わると、ガイド線付加部37は、合成画像CPaに予想進路線S3,S4及び距離目安線Mを付加し、バック画像SP3に予想進路線S4、距離目安線M及び車幅平行線Hを付加する。
On the other hand, when the front image SP1 of the display screen of the
また、バックモードM3におけるディスプレイ21の表示画面にフロント画像SP1を表示した状態で車両が停止状態から移動状態になると、ガイド線付加部37は、合成画像CPaに予想進路線S3,S4及び距離目安線Mを付加する。
In addition, when the vehicle is moved from the stopped state while the front image SP1 is displayed on the display screen of the
それに対し、バックモードM3におけるディスプレイ21の表示画面にフロント画像SP1を表示した状態で車両が移動状態から停止状態になると、ガイド線消去又は禁止部37は、合成画像CPaから予想進路線S3,S4及び距離目安線Mを消去する。
On the other hand, when the vehicle changes from the moving state to the stopped state while the front image SP1 is displayed on the display screen of the
続いて、図10を参照して、後退前進切替時の画像遷移処理について説明する。なお、図10を参照して説明する処理は、車両が所定速度以下(駐車を行うような低速度)でシフトポジションが「R」になると実行される。 Next, the image transition process at the time of backward / forward switching will be described with reference to FIG. The process described with reference to FIG. 10 is executed when the vehicle is at a predetermined speed or less (low speed for parking) and the shift position is “R”.
オペレーションAAにおいて、表示制御部12は、後に説明する合成画像CPa及びフロント画像SP1を含む画像の表示時間Tを初期値T0に設定する(初期化)。オペレーションABにおいて、画像配置部35は、合成画像CPa及びバック画像SP3を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
In operation AA, the
オペレーションACにおいて、シフト位置信号受信部13は、シフトポジションが「R」から「R」以外(例えば、「D」)に切り替わったか否か判断する。シフトポジションが「R」から「R」以外(例えば、「D」)に切り替わった場合、オペレーションADにおいて、表示制御部12は、計測部14の計測値t(自走式タイマで常時カウントアップされる)をゼロにリセットした後に計測部14による合成画像CPa及びフロント画像SP1を含む画像を表示している時間(計測値t)の計測を開始し、それに対し、シフトポジションが「R」から「R」以外(例えば、「D」)に切り替わらない場合、オペレーションABに戻る。
In operation AC, the shift position
オペレーションADの後、オペレーションAEにおいて、画像配置部35は、合成画像CPa及びフロント画像SP1を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
After operation AD, in operation AE, the
オペレーションAFにおいて、シフト位置信号受信部13は、シフトポジションが「R」以外(例えば、「D」)から「R」に切り替わったか否か判断する。シフトポジションが「R」以外(例えば、「D」)から「R」に切り替わらなかった場合、オペレーションAGにおいて、オペレーションAGにおいて、表示制御部12は、合成画像CPa及びフロント画像SP1を含む画像の表示時間Tを所定の延長時間ΔTだけ延長する延長操作が切替スイッチ43等によって行われたか否か判断し、それに対し、シフトポジションが「R」以外(例えば、「D」)から「R」に切り替わった場合、オペレーションABに戻る。
In operation AF, the shift position
オペレーションAGで延長操作があった場合、オペレーションAHにおいて、表示制御部12は、表示時間Tに延長時間ΔTを加算し、オペレーションAIにおいて、探知信号受信部18は、ソナーシステム7aにより障害物を検知したか否か判断する。なお、オペレーションAGで延長操作がなかった場合、そのままオペレーションAIに進む。
When an extension operation is performed in operation AG, in operation AH, the
オペレーションAIで障害物を検知した場合、オペレーションAJにおいて、表示制御部12は計測値tをゼロにリセットし、オペレーションAEに戻り、それに対し、オペレーションAIで障害物を検知しない場合、オペレーションAKにおいて、表示制御部12は、計測値tが表示時間Tを経過したか否か判断する。計測値tが表示時間Tを経過した場合、画像切替部36は、ディスプレイ21の表示を地図画像NPに切り替え、それに対し、計測値tが表示時間Tを経過していない場合、オペレーションAEに戻る。
If an obstacle is detected in operation AI, in operation AJ, the
<2.第2の実施の形態>
<2−1.システム構成>
続いて第2の実施の形態について説明する。第2の実施の形態では、アクセサリー(ACC)スイッチがオンになり、オープニング画面を表示した後に切替スイッチ43からのユーザ要求に応じて、フロント画像SP1、左右のサイド画像SP2及びバック画像SP3を取得してから合成画像CPaを形成するまでの間に、車両のサイドミラーで確認しにくいために運転者の死角となりやすい左側のサイド画像SP2をフロント画像SP1とともにディスプレイ21の表示画面に表示し、合成画像CPaが形成された後に合成画像CPa及びフロント画像SP1をディスプレイ21の表示画面に表示する。
<2. Second Embodiment>
<2-1. System configuration>
Next, a second embodiment will be described. In the second embodiment, after the accessory (ACC) switch is turned on and the opening screen is displayed, the front image SP1, the left and right side images SP2, and the back image SP3 are acquired in response to a user request from the
ACCスイッチをオンにし、フロント画像SP1、サイド画像SP2及びバック画像SP3を取得してから合成画像CPaの生成が完了するまでの間にオープニング画像をディスプレイ21の表示画面に表示した場合、この間に車両の周辺を確認するためのフロント画像SP1、サイド画像SP2、バック画像SP3及び合成画像CPaのいずれも表示画面に表示することができないので、画像を用いて車両の周辺を確認することができない。
When the opening image is displayed on the display screen of the
本実施の形態によれば、フロント画像SP1、サイド画像SP2及びバック画像SP3を取得してから合成画像CPaの生成が完了するまでの間に、車両のサイドミラーで確認しにくいために運転者の死角となりやすい左側のサイド画像SP2をフロント画像SP1とともにディスプレイ21の表示画面に表示しているので、左側のサイド画像SP2及びフロント画像SP1を用いて車両の周辺、特に、運転者の死角となりやすい車両のを確認することができる。
According to the present embodiment, since it is difficult to confirm with the side mirror of the vehicle from the acquisition of the front image SP1, the side image SP2, and the back image SP3 until the generation of the composite image CPa is completed, Since the left side image SP2 that tends to be a blind spot is displayed on the display screen of the
図11は、第2の実施の形態の画像表示システム120の構成例を示す図である。図1に示す構成要素と同一の構成要素については同一の参照符号を付する。同一の参照符号が付された構成要素の動作は特に説明しない限り同じである。また、図11に示す構成要素やその機能を他の実施例が備えていてもよい。
FIG. 11 is a diagram illustrating a configuration example of the
ACCスイッチ45は、車両に備えられたエンジン始動用のキーシリンダーと電気的に一体に構成されている。また、ナビゲーション装置20が備えるハードディスクなどには、オープニング画像が予め記憶されている。
The
<2−2.画像配置処理>
次に、左側のサイド画像SP2及びフロント画像SP1を配置するときの画像表示システム120の処理について説明する。図12は、画像配置処理の一例の説明図であり、図13は、画像配置処理のタイムチャートである。ACCスイッチ45がオンになってから時間t1が経過すると、ディスプレイ21の表示画面にはオープニング画面OPが表示される。
<2-2. Image placement processing>
Next, processing of the
時間t2(>t1)になると、フロント画像SP1、サイド画像SP2及びバック画像SP3が取得され、合成画像CPaの生成を開始するとともに、左側のサイド画像SP2及びフロント画像SP1をディスプレイ21の表示画面に表示する。時間t3(>t2)になると、画像表示システム120が起動し、時間t4(>t3)になると、合成画像CPaの生成が終了する。したがって、左側のサイド画像SP2及びフロント画像SP1が時間t4−t2だけ表示され、画像表示システム120を起動してから合成画像CPaを表示するまでのマージンΔはt4−t3となる。
At time t2 (> t1), the front image SP1, the side image SP2, and the back image SP3 are acquired, and the generation of the composite image CPa is started, and the left side image SP2 and the front image SP1 are displayed on the display screen of the
続いて、図14を参照して、画像配置における画像表示システム120の処理を説明する。なお、他の実施態様においては、下記のオペレーションBA〜BHの各オペレーションはステップであってもよい。
Next, processing of the
オペレーションBAにおいて、車載カメラ51〜53は、それぞれ撮影画像P1〜P4を撮影する。オペレーションBBにおいて、画像結合部30は、これらの画像P1〜P4を結合した結合画像Pcnを生成し、メモリ31に格納する。オペレーションBCにおいて、合成画像生成部34は、結合画像Pcnに基づいて合成画像CPaの生成を開始する。
In operation BA, the in-
オペレーションBDにおいて、画像配置部35は、現在の画像表示システム120の動作モードに従って、左側のサイド画像SP2及びフロント画像SP3を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。オペレーションBEにおいて、ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
In operation BD, the
オペレーションBFにおいて、合成画像CPaの生成が終了したか否か判断する。合成画像CPaの生成が終了した場合、オペレーションBGにおいて、画像配置部35は、現在の画像表示システム120の動作モードに従って、合成画像CPa及びフロント画像SP3を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。オペレーションBHにおいて、ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
In operation BF, it is determined whether or not the generation of the composite image CPa has been completed. When the generation of the composite image CPa is completed, in operation BG, the
34 合成画像生成部
36 画像切替部
100 画像生成装置
120 画像表示システム
34 Composite
Claims (4)
車両に配置されたカメラと、
前記カメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、
車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段と、
前記シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、
シフト位置が変更されてからの時間を計測する計測手段と、
を備え、
前記合成画像及びバック画像を含む第1の画像を表示した状態でシフト位置が後退位置から前進位置に変更された場合、前記合成画像及びフロント画像を含む第2の画像に表示を切り替え、その際に前記計測手段で計測された計測時間が所定時間に達しないうちにシフト位置が後退位置に戻された場合は、前記第1の画像に表示を切り替え、
シフト位置が前進位置にある状態で前記第2の画像を表示する時間の延長要求を行う要求手段を更に備え、
前記延長要求に応じて前記第2の画像を表示する時間を所定の延長時間だけ延長し、前記所定の延長時間に達しないうちにシフト位置が前進位置から後退位置に変更された場合は、前記第1の画像に表示を切り替えることを特徴とする画像表示システム。 An image display system mounted on a vehicle,
A camera located in the vehicle;
A composite image generating means for generating a composite image showing a state in which the vehicle and the surroundings of the vehicle are viewed from a virtual viewpoint based on a captured image obtained by the camera;
Shift position detecting means for detecting the shift position of the shift lever of the shift position of the vehicle;
A composite image display means for displaying a composite image according to the shift position detected by the shift position detection means;
Measuring means for measuring the time since the shift position was changed;
With
When the shift position is changed from the reverse position to the forward position in a state where the first image including the composite image and the back image is displayed, the display is switched to the second image including the composite image and the front image. When the shift position is returned to the retracted position before the measurement time measured by the measuring means reaches the predetermined time , the display is switched to the first image,
Requesting means for making a request for extending the time for displaying the second image in a state where the shift position is at the forward position;
In response to the extension request, the time for displaying the second image is extended by a predetermined extension time, and when the shift position is changed from the forward position to the reverse position before the predetermined extension time is reached, An image display system, wherein the display is switched to a first image.
障害物を検知した場合、前記合成画像を表示する時間を延長する請求項1に記載の画像表示システム。 It further comprises an obstacle detection means for detecting whether the obstacle is within a predetermined range,
The image display system according to claim 1, wherein when an obstacle is detected, a time for displaying the composite image is extended.
車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段からのシフトポジション信号を受信するシフト位置信号受信手段と、
前記シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、
シフト位置が変更されてからの時間を計測する計測手段と、
を備え、
前記合成画像及びバック画像を含む第1の画像を表示した状態でシフト位置が後退位置から前進位置に変更された場合、前記合成画像及びフロント画像を含む第2の画像に表示を切り替え、その際に前記計測手段で計測された計測時間が所定時間に達しないうちにシフト位置が後退位置に戻された場合は、前記第1の画像に表示を切り替え、
シフト位置が前進位置にある状態で前記第2の画像を表示する時間の延長要求に応じて前記第2の画像を表示する時間を所定の延長時間だけ延長し、前記所定の延長時間に達しないうちにシフト位置が前進位置から後退位置に変更された場合は、前記第1の画像に表示を切り替えることを特徴とする画像生成装置。 A composite image generating means for generating a composite image showing the vehicle and the surroundings of the vehicle viewed from a virtual viewpoint based on the captured image;
Shift position signal receiving means for receiving a shift position signal from a shift position detecting means for detecting the shift position of the shift lever of the shift position of the vehicle;
A composite image display means for displaying a composite image according to the shift position detected by the shift position detection means;
Measuring means for measuring the time since the shift position was changed;
With
When the shift position is changed from the reverse position to the forward position in a state where the first image including the composite image and the back image is displayed, the display is switched to the second image including the composite image and the front image. When the shift position is returned to the retracted position before the measurement time measured by the measuring means reaches the predetermined time , the display is switched to the first image,
In response to a request to extend the time for displaying the second image while the shift position is at the forward position, the time for displaying the second image is extended by a predetermined extension time and does not reach the predetermined extension time. When the shift position is changed from the forward position to the backward position, the display is switched to the first image.
車両の変速位置のシフトレバーのシフト位置を検出し、
検出されたシフト位置に応じて合成画像を表示し、シフト位置が変更されてからの時間を計測し、
前記合成画像及びバック画像を含む第1の画像を表示した状態でシフト位置が後退位置から前進位置に変更された場合、前記合成画像及びフロント画像を含む第2の画像に表示を切り替え、その際に計測された計測時間が所定時間に達しないうちにシフト位置が後退位置に戻された場合は、前記第1の画像に表示を切り替え、
シフト位置が前進位置にある状態で前記第2の画像を表示する時間の延長要求に応じて前記第2の画像を表示する時間を所定の延長時間だけ延長し、前記所定の延長時間に達しないうちにシフト位置が前進位置から後退位置に変更された場合は、前記第1の画像に表示を切り替える
ステップを有することを特徴とする画像表示方法。 Based on the captured image obtained by the camera arranged in the vehicle, generate a composite image showing the vehicle and the surroundings of the vehicle viewed from a virtual viewpoint,
Detect shift position of shift lever of vehicle shift position,
Display the composite image according to the detected shift position, measure the time since the shift position was changed,
When the shift position is changed from the reverse position to the forward position in a state where the first image including the composite image and the back image is displayed, the display is switched to the second image including the composite image and the front image. total measured metrology time when the shift position before it reaches the predetermined time is returned to the retracted position, the display is switched to the first image,
In response to a request to extend the time for displaying the second image while the shift position is at the forward position, the time for displaying the second image is extended by a predetermined extension time and does not reach the predetermined extension time. An image display method comprising: switching the display to the first image when the shift position is changed from the forward position to the backward position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011080789A JP5743652B2 (en) | 2011-03-31 | 2011-03-31 | Image display system, image generation apparatus, and image generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011080789A JP5743652B2 (en) | 2011-03-31 | 2011-03-31 | Image display system, image generation apparatus, and image generation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012217000A JP2012217000A (en) | 2012-11-08 |
JP5743652B2 true JP5743652B2 (en) | 2015-07-01 |
Family
ID=47269369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011080789A Active JP5743652B2 (en) | 2011-03-31 | 2011-03-31 | Image display system, image generation apparatus, and image generation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5743652B2 (en) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0365219A (en) * | 1989-08-04 | 1991-03-20 | Asahi Glass Co Ltd | Removal of harmful effect from gas containing nitrogen trifluoride |
JP6167940B2 (en) * | 2014-03-04 | 2017-07-26 | 株式会社デンソー | Image processing device |
CN107531182B (en) | 2015-08-27 | 2023-10-27 | Jvc 建伍株式会社 | Display device for vehicle and display method for vehicle |
JP6639379B2 (en) | 2016-12-21 | 2020-02-05 | トヨタ自動車株式会社 | Vehicle periphery monitoring device |
JP6841159B2 (en) | 2017-05-24 | 2021-03-10 | トヨタ自動車株式会社 | Driving support device |
JP6753363B2 (en) | 2017-06-20 | 2020-09-09 | トヨタ自動車株式会社 | Driving support device |
JP6859906B2 (en) | 2017-09-06 | 2021-04-14 | トヨタ自動車株式会社 | Parking support device |
JP7206886B2 (en) | 2018-12-19 | 2023-01-18 | トヨタ自動車株式会社 | Driving support device |
JP7176421B2 (en) | 2019-01-25 | 2022-11-22 | トヨタ自動車株式会社 | parking assist device |
JP7021134B2 (en) | 2019-01-25 | 2022-02-16 | トヨタ自動車株式会社 | Vehicle peripheral monitoring device |
JP2020142752A (en) | 2019-03-08 | 2020-09-10 | トヨタ自動車株式会社 | Parking support device |
JP7323413B2 (en) | 2019-10-11 | 2023-08-08 | トヨタ自動車株式会社 | parking assist device |
JP7328116B2 (en) | 2019-10-11 | 2023-08-16 | トヨタ自動車株式会社 | parking assist device |
JP7487658B2 (en) | 2020-12-24 | 2024-05-21 | トヨタ自動車株式会社 | Parking Assistance Device |
JP7522389B2 (en) | 2021-01-27 | 2024-07-25 | トヨタ自動車株式会社 | Parking Assistance Device |
JP2022122379A (en) | 2021-02-10 | 2022-08-23 | トヨタ自動車株式会社 | Image processing system for vehicle, vehicle and image transmission method |
JP2024082046A (en) | 2022-12-07 | 2024-06-19 | トヨタ自動車株式会社 | Parking Assistance Device |
JP2024103257A (en) | 2023-01-20 | 2024-08-01 | トヨタ自動車株式会社 | Parking Assistance Device |
EP4410636A1 (en) | 2023-01-31 | 2024-08-07 | Toyota Jidosha Kabushiki Kaisha | Parking assist device and parking assist method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000127874A (en) * | 1998-10-20 | 2000-05-09 | Nissan Motor Co Ltd | Rear confirming device for vehicle |
JP3803021B2 (en) * | 2000-10-02 | 2006-08-02 | 松下電器産業株式会社 | Driving assistance device |
JP2005193699A (en) * | 2003-12-26 | 2005-07-21 | Nissan Motor Co Ltd | Driving support display device |
JP2006256419A (en) * | 2005-03-16 | 2006-09-28 | Clarion Co Ltd | Parking support apparatus |
-
2011
- 2011-03-31 JP JP2011080789A patent/JP5743652B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012217000A (en) | 2012-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5743652B2 (en) | Image display system, image generation apparatus, and image generation method | |
JP5681569B2 (en) | Information processing system, server device, and in-vehicle device | |
CN102740056B (en) | Image display system | |
JP5302227B2 (en) | Image processing apparatus, image processing system, and image processing method | |
US9156402B2 (en) | Wide view vehicle periphery image generation apparatus | |
JP5087051B2 (en) | Image generating apparatus and image display system | |
JP5697512B2 (en) | Image generation apparatus, image display system, and image display apparatus | |
JP6156486B2 (en) | Perimeter monitoring apparatus and program | |
US9706175B2 (en) | Image processing device, image processing system, and image processing method | |
US10625782B2 (en) | Surroundings monitoring apparatus | |
US20080231702A1 (en) | Vehicle outside display system and display control apparatus | |
JP2011151666A (en) | Device, system and method for acquiring parameter, and program | |
JP4796676B2 (en) | Vehicle upper viewpoint image display device | |
JP5914114B2 (en) | Parking assistance device and parking assistance method | |
KR20120125911A (en) | Parking camera system and method of driving the same | |
JP4321357B2 (en) | Parking assistance device | |
JP2011131678A (en) | Image processing device, image processing system and image processing method | |
JP2012025327A (en) | Image display system, image processing apparatus, and image display method | |
JP2012073836A (en) | Image display system, image processing apparatus, and image display method | |
JP2012076551A (en) | Parking support device, parking support method, and parking support system | |
JP5479639B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP6720729B2 (en) | Display controller | |
JP2012046124A (en) | Image display system, image processing device and image display method | |
JP5677168B2 (en) | Image display system, image generation apparatus, and image generation method | |
JP5651491B2 (en) | Image display system, image display apparatus, and image display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5743652 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |