JP6014442B2 - 画像生成装置、画像表示システム、および、画像生成方法 - Google Patents

画像生成装置、画像表示システム、および、画像生成方法 Download PDF

Info

Publication number
JP6014442B2
JP6014442B2 JP2012213889A JP2012213889A JP6014442B2 JP 6014442 B2 JP6014442 B2 JP 6014442B2 JP 2012213889 A JP2012213889 A JP 2012213889A JP 2012213889 A JP2012213889 A JP 2012213889A JP 6014442 B2 JP6014442 B2 JP 6014442B2
Authority
JP
Japan
Prior art keywords
image
vehicle
frame
display
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012213889A
Other languages
English (en)
Other versions
JP2014068308A (ja
Inventor
親一 森山
親一 森山
正博 山田
正博 山田
康嘉 澤田
康嘉 澤田
美紀 村角
美紀 村角
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2012213889A priority Critical patent/JP6014442B2/ja
Priority to CN201310311280.3A priority patent/CN103692973B/zh
Priority to US13/965,602 priority patent/US9479740B2/en
Publication of JP2014068308A publication Critical patent/JP2014068308A/ja
Application granted granted Critical
Publication of JP6014442B2 publication Critical patent/JP6014442B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Description

本発明は、車両において画像を生成して表示させる技術に関する。
従来、画像生成装置は、車両（主に車両のユーザであるドライバが乗車する車両、以下「自車両」という。）の周辺を当該自車両に備えた複数のカメラで撮影し、その撮影画像に基づいて自車両周辺の画像（以下、「周辺画像」という。）を生成する、そして、周辺画像に自車両の車両像（以下、「自車両像」という。）を重畳した合成画像が表示装置に表示される。しかし、周辺画像を生成する場合に、仮想視点からみた物体が自車両を介した位置に存在する場合、合成画像中の物体の像（以下、「物体像」という。）は、自車両像と重なって、当該物体像が自車両像の後方に隠れることとなる。そのため、ユーザは仮想視点からみて自車両を介した位置に存在する物体を確認することが困難な場合があった。
これに対して、画像生成装置が透過率を高めた（例えば、透過率５０％以上）車両像や、車体の枠を線状で表すフレームで表示するフレーム表示の車両像などを周辺画像に重畳した合成画像を生成する技術がある。つまり、画像生成装置が、物体像が自車両像に隠れることのない合成画像を生成し、仮想視点からみて自車両を介した位置に存在する物体をユーザが画像上で視認可能な合成画像を生成する技術がある。なお、本発明と関連する技術を説明する資料としては特許文献１がある。
特開２０１０−２３１２７６号公報
しかしながら、画像生成装置が透過率を高めた自車両像を生成したり、フレーム表示の自車両像を周辺画像に重畳した合成画像を生成することで、ユーザが画像上で自車両の後方に存在する物体を視認できても、自車両と物体との距離を正確に把握することは困難な場合があった。具体的には、画像生成装置が透過率を高めた自車両像を周辺画像に重畳した合成画像を生成した場合、自車両像の表示が不鮮明となる。その結果、ユーザは自車両像と物体像との画像上の間隔を十分に確認できず、ユーザが自車両と物体との距離を正確に把握することが困難な場合があった。
また、画像生成装置がフレーム表示の自車両像を周辺画像に重畳した合成画像を生成した場合、自車両の車体の枠の形状を示すフレームの線の太さや色は一様に表示される。そのため、車両像と物体像との画像上の間隔を確認する場合に、車両像に対する物体像の位置によっては、車両像を構成するフレームに物体像の一部が隠れてしまい、ユーザが車両像と物体像との画像上の間隔を十分に確認すること困難なことがあった。さらに、自車両像を構成するフレーム各部の色が同じ色であるため、フレーム各部が自車両像のどの部分に対応するのかを即座に見分けられず、ユーザは車両像と物体像との画像上の間隔を十分に確認することが困難なことがあった。その結果、ユーザは自車両と物体との正確な距離を把握できない場合があった。
本発明は、上記課題に鑑みてなされたものであり、周辺画像に車両像を重畳させた合成画像を表示した場合に、ユーザが自車両９と物体との正確な距離を把握できる技術を提供することを目的とする。
上記課題を解決するために、請求項１の発明は、車両に搭載されたカメラの撮影画像を取得する取得手段と、前記撮影画像から、前記車両および前記車両の周辺領域を仮想視点からみた周辺画像を生成し、該周辺画像に前記車両を示す車両像を重畳した合成画像を生成する生成手段と、前記車両の周辺に存在する物体の位置に関する情報を取得する取得手段と、を備え、前記生成手段は、前記車両像の表示形態を車体の枠全体を略均一の太さの線状のフレームで表すフレーム表示の表示形態とし、前記物体の位置に応じて、前記フレーム表示の表示形態に係る前記枠全体の前記太さを変更する。
また、請求項２の発明は、請求項１に記載の画像生成装置において、前記生成手段は、前記フレーム表示の表示形態を、前記フレームの線の太さが異なる複数の前記フレーム表示の中から前記車両のユーザの操作に応じて選択された一のフレーム表示の表示形態とする。
また、請求項３の発明は、請求項１または２に記載の画像生成装置において、前記生成手段は、前記仮想視点に応じて、前記車両像を前記フレーム表示、および、前記車両の実像表示のいずれかの表示形態とする。
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像生成装置において、前記フレームは、一方の面と他方の面とが異なる色であり、前記生成手段は、前記仮想視点から見た場合に、表示される前記フレームが前記一方の面および前記他方の面のいずれの面かに応じて、前記フレーム表示の表示形態を変更する。
また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像生成装置において、前記生成手段は、前記物体の位置が前記車両の位置に近づくにつれて前記フレーム表示のフレームの線の太さを細くする。
また、請求項６の発明は、請求項１ないし５のいずれかに記載の画像生成装置において、前記生成手段は、前記物体の位置に対応する前記フレーム表示の一部のフレームの表示形態を変更する。
また、請求項７の発明は、請求項１ないし６のいずれかに記載の画像生成装置と、
前記画像生成装置から出力された前記合成画像を表示する表示装置と、を備える。
また、請求項８の発明は、（ａ）車両に搭載されたカメラの撮影画像を取得する工程と、（ｂ）前記撮影画像から、前記車両および前記車両の周辺領域を仮想視点からみた周辺画像を生成し、該周辺画像に前記車両を示す車両像を重畳した合成画像を生成する工程と、（ｃ）前記車両の周辺に存在する物体の位置に関する情報を取得する工程と、を備え、前記工程（ｂ）は、前記車両像の表示形態を車体の枠全体を略均一の太さの線状のフレームで表すフレーム表示の表示形態とし、前記物体の位置に応じて、前記フレーム表示の表示形態に係る前記枠全体の前記太さを変更する。
さらに、請求項９の発明は、車両に搭載されたカメラの撮影画像を取得する取得手段と、前記撮影画像から、前記車両および前記車両の周辺領域を仮想視点からみた周辺画像を生成し、該周辺画像に前記車両を示す車両像を重畳した合成画像を生成する生成手段と、前記車両の周辺に存在する物体の位置に関する情報を取得する取得手段と、を備え、前記生成手段は、前記車両像を車体の枠を線状のフレームで表すフレーム表示とし、前記物体の位置が前記車両の位置に近づくにつれて前記フレーム表示のフレームの線の太さを細くする。
請求項１ないし９の発明によれば、車両像をフレーム表示としその表示形態を変更することで、ユーザは車両像および物体像を個別に認識し、物体の位置に関わらず車両像と物体像の画像上の間隔を確実に確認でき、車両と物体との距離を正確に把握できる。
また、特に請求項２の発明によれば、車両像の後方に物体像が隠れてユーザが車両像と物体像との画像上の間隔を確認することが困難な場合でも、ユーザが車両像と物体像との画像上の間隔を確認し易い線の太さのフレーム表示を選択することで、車両と物体との距離を正確に把握できる。
また、特に請求項３の発明によれば、仮想視点に応じて車両像をフレーム表示、および車両の実像表示のいずれかの表示形態とすることで、どの仮想視点からみてもユーザが車両の形状を認識し易い車両像が表示され、ユーザは車両と物体との距離を正確に把握できる。
また、特に請求項４の発明によれば、仮想視点からみた場合に表示されるフレームが一方の面および他方の面のいずれの面かに応じてそれぞれの色に対応するフレーム表示の表示形態を変更することで、ユーザは自車両像を立体的に認識可能となり、車両と物体との距離を正確に把握できる。
また、特に請求項５の発明によれば、フレームの線の太さが異なる複数のフレーム表示の中から物体の位置に応じて一のフレーム表示が選択されるため、ユーザは車両像および物体像を個別に認識し、車両像と物体像との画像上の間隔を確認し易くなり、車両と物体との距離を正確に把握できる。
また、特に請求項６の発明によれば、車両と物体との位置が近づくにつれて、フレーム線の太さを細くすることで、ユーザは画像上の物体像の存在を確実に視認でき、画像上の車両像と物体像との間隔を確認し易くなり、車両と物体との距離をより正確に把握できる。
さらに、特に請求項７の発明によれば、物体の位置に対応した一部のフレームの表示形態を変更することで、ユーザは車両に対してどの位置に物体が存在するのかを正確に把握できる。
図１は、画像表示システムの構成を示す図である。 図２は、４つのカメラがそれぞれ撮影する方向を示す図である。 図３は、周辺画像、自車両像、および、合成画像が生成される手法を説明する図である。 図４は、自車両データの複数のポリゴンモデルを示す図である。 図５は、表示装置に表示される画像の遷移を説明する図である。 図６は、仮想視点からみた周辺画像に車両像を重畳した合成画像を示す図である。 図７は、仮想視点からみた周辺画像に自車両像を重畳した合成画像を示す図である。 図８は、合成画像上に表示されるフレーム表示の自車両像の設定について説明する図である。 図９は、画像生成装置の処理を説明するフローチャートである。 図１０は、仮想視点に応じた自車両像の表示形態の変更について説明する図である。 図１１は、三角形の形状の２枚のポリゴンと、２枚のポリゴンを貼り合わせた１枚の貼合せポリゴンを示す図である。 図１２は、フレーム表示される部分のポリゴンに対して貼合せポリゴンを用いて構成したポリゴンモデルの合成画像を示す図である。 図１３は、画像表示システムの構成を示す図である。 図１４は、物体の位置に応じたフレームの線の太さの変更の状態を示す図である。 図１５は、画像表示システムの構成を示す図である。 図１６は、フレーム表示の自車両像の一部のフレームの表示形態が、物体の位置に対応した表示形態となる合成画像を示す図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、画像表示システム１０の構成を示す図である。この画像表示システム１０は、車両（本実施の形態では、自動車であり、主に車両のユーザであるドライバが乗車する車両、以下「自車両」という。）において用いられるものであり、自車両の周辺の領域を示す画像（以下、「周辺画像」という。）を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、自車両の周辺の様子をほぼリアルタイムに把握できる。
図１に示すように、画像表示システム１０は、複数のカメラ５、画像生成装置２、表示装置３、および、操作ボタン４１を主に備えている。複数のカメラ５はそれぞれ、自車両の周辺を撮影して撮影画像を取得し、取得した撮影画像のデータを画像生成装置２に入力する。画像生成装置２は、自車両の周辺を示す撮影画像を用いて、後述する自車両の車両像（以下、「自車両像」という。）を含む周辺画像である合成画像を生成する。表示装置３は、画像生成装置２で生成された合成画像を表示する。また、操作ボタン４１は、ユーザの操作を受け付ける。
複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、自車両の周辺を示す撮影画像のデータを取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、および、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、自車両において互いに異なる位置に配置され、自車両の周辺の異なる方向を撮影する。
図２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、自車両９の前端に設けられ、その光軸５Ｆａは自車両９の直進方向に向けられる。リアカメラ５Ｂは、自車両９の後端に設けられ、その光軸５Ｂａは自車両９の直進方向の逆方向に向けられる。左サイドカメラ５Ｌは左側の左サイドミラー９３Ｌに設けられ、その光軸５Ｌａは自車両９の左側方（自車両９の直進方向の直交方向）に向けられる。また、右サイドカメラ５Ｒは右側の右サイドミラー９３Ｒに設けられ、その光軸５Ｒａは自車両９の右側方（自車両９の直進方向の直交方向）に向けられる。
これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、自車両９の全周囲を撮影することが可能である。
図１に戻り、表示装置３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。表示装置３は、ユーザがその画面を視認できるように、自車両９のインストルメントパネルなどに配置される。表示装置３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。表示装置３は、表示パネルに重ねてタッチパネル３１、および、表示パネルの外周近傍にハードボタン３２を備えており、ユーザの操作を受け付けることが可能である。
操作ボタン４１は、ユーザの操作を受け付ける操作部材である。操作ボタン４１は、例えば、自車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン４１と、表示装置３のタッチパネル３１およびハードボタン３２とを介して画像表示システム１０に対する各種の操作を行うことができる。なお、以下では、この操作ボタン４１と、表示装置３のタッチパネル３１およびハードボタン３２とを操作部４という。操作部４によりユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入力される。
画像生成装置２は、各種の画像処理が可能な電子装置であり、画像取得部２１と、周辺画像生成部２２と、合成画像生成部２３と、画像出力部２４とを主に備えている。
画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像のデータを取得する。画像取得部２１は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像のデータに所定の画像処理を行い、処理後の撮影画像のデータを周辺画像生成部２２、および、合成画像生成部２３に入力する。
周辺画像生成部２２は、複数のカメラ５で取得された複数の撮影画像を合成し、仮想視点からみた自車両９の周辺の様子を示す周辺画像を生成する。仮想視点は、自車両９の外部の位置から自車両９を俯瞰する俯瞰視点や、その他ドライバにとって死角となる自車両９の周辺の視点である。また、周辺画像生成部２２は、周辺画像に重畳する自車両９の車両像である自車両像を生成する。
ここで自車両像は、後述する自車両９のポリゴンモデルに対して一つの仮想視点からみた画像として生成される車両像である。そして、自車両９のポリゴンモデルは後述する自車両データ２７３として複数のモデルが記憶部２７に記憶されている。詳細には、この自車両９のポリゴンモデルは、自車両９を複数のポリゴンを用いて三次元形状で構成するモデルで、自車両９の実像を透過率０％で表す実像表示のモデルや、自車両９の車体の枠を線状のフレームで表すフレーム表示のモデル等である。なお、フレーム表示のモデルは、後述するようにフレームの線の太さの異なる複数のモデルがある。これらのモデルのデータは例えば、ユーザの選択などの所定条件に応じて記憶部２７から自車両データ２７３が読み出され、読み出されたポリゴンモデルに基づいて自車両像が生成される。
合成画像生成部２３は、周辺画像生成部２２で生成された周辺画像に対して自車両像を重畳した合成画像を生成し、この合成画像を画像出力部２４に入力する。また、合成画像生成部２３は、画像取得部２１から取得した一つのカメラで撮影された撮影画像を画像出力部２４に出力する。
画像出力部２４は、主に合成画像生成部２３で生成された合成画像を表示装置３に出力して一つの表示画像として表示装置３に表示させる。また、合成画像とともに撮影画像を表示装置３に出力して複数の画像を一つの表示画像として表示装置３に表示させる。これにより、仮想視点からみた自車両９の周辺を示す表示画像が表示装置３に表示される。
また、画像生成装置２は、制御部２０と、操作受付部２５と、信号受信部２６と記憶部２７とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたマイクロコンピュータであり、画像生成装置２の全体を統括的に制御する。
操作受付部２５は、ユーザが操作を行った場合に操作部４から出力される操作信号を受信する。これにより、操作受付部２５はユーザの操作を受け付ける。操作受付部２５は、受信した操作信号を制御部２０に入力する。
信号受信部２６は、画像生成装置２とは別に自車両９に設けられる他の装置からの信号を受信して、制御部２０に入力する。信号受信部２６は、例えば、自車両９の変速装置のシフトレバーの位置であるシフトポジションを示す信号をシフトセンサ１０１から受信する。この信号に基づいて、制御部２０は、自車両９の進行方向が前方あるいは後方のいずれであるかを判定することができる。また、信号受信部２６は、自車両９の車軸の回転数に基づいて自車両９の速度に応じた信号を車速センサ１０２から受信する。この信号に基づいて制御部２０は、自車両９の現時点の車両速度を取得する。
記憶部２７は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２７は、ファームウェアとしてのプログラム２７１や、周辺画像、および、合成画像を生成するときに用いる各種のデータを記憶する。また、周辺画像の生成に用いられる他のデータとして、複数の仮想視点および視線方向を含むデータである仮想視点データ２７２がある。また、自車両像を生成する際に用いられる複数のポリゴンモデルを含むデータである自車両データ２７３がある。
制御部２０の各種の機能は、記憶部２７に記憶されたプログラム２７１等に従ってＣＰＵが演算処理を行うことで実現される。つまり、図中に示す画像制御部２０１は、プログラム２７１等に従ってＣＰＵが演算処理を行うことで実現される機能部の一部である。
画像制御部２０１は、周辺画像を生成する周辺画像生成部２２、および、合成画像を生成する合成画像生成部２３を主に制御する。つまり、画像制御部２０１は、周辺画像生成部２２、および、合成画像生成部２３を制御して、自車両９の周辺の状況を示す周辺画像、自車両９の車両像である自車両像、および、周辺画像に自車両像を重畳した合成画像等を生成する。
＜１−２．合成画像の生成＞
次に、周辺画像生成部２２が、仮想視点からみた自車両９の周辺の状況を示す周辺画像と自車両像とを生成し、合成画像生成部２３が、周辺画像に自車両像を重畳した合成画像を生成する手法について説明する。図３は、周辺画像、自車両像、および、合成画像が生成される手法を説明する図である。
自車両９に備えられたフロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、および、右サイドカメラ５Ｒのそれぞれで撮影が行われると、自車両９の前方、後方、左側方、および、右側方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲが取得される。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、自車両９の全周囲のデータが含まれている。
画像合成部２２は、まず、これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における投影面ＴＳに投影する。投影面ＴＳは、自車両９の周辺の領域に相当する仮想の立体面である。投影面ＴＳの中心領域は、自車両９の位置となる車両領域Ｒ０として定められている。
投影面ＴＳでは、車両領域Ｒ０には撮影画像のデータは投影されず、車両領域Ｒ０の外側の領域に撮影画像のデータが投影される。以下、投影面ＴＳにおいて、撮影画像のデータが投影される領域（車両領域Ｒ０の外側の領域）を、「投影対象領域」という。
また、車両領域Ｒ０には自車両９を複数のポリゴンを用いて三次元形状で構成されるポリゴンモデル（例えば、図４で後述する「太線モデルＰＧａ」）を仮想的に備えている。太線モデルＰＧａは、投影面ＴＳが設定される三次元空間において、自車両９の位置と定められた略半球状の中心部分に配置される。この太線モデルＰＧａは、例えば、ユーザの選択等による所定条件に応じて画像制御部２０１の制御により複数ポリゴンモデルを有する自車両データ２７３から読み出されて、車両領域Ｒ０に配置されたものである。
ここで、図４を用いて自車両データ２７３の複数のポリゴンモデルについて説明する。図４は、自車両データ２７３の複数のポリゴンモデルを示す図である。図４では、４つのポリゴンモデルが例として示され、これらのモデルは例えばユーザの操作部４を用いた操作に応じて選択され、選択されたポリゴンモデルに基づいて周辺画像生成部２２が自車両像を生成する。
そして、この４つのポリゴンモデルのうち自車両９の実像を透過率０％で表す実像表示のポリゴンモデルＰＧは、自車両９を複数のポリゴンを用いて三次元形状で構成するモデルである（以下、「実像モデルＰＧ」という。）。そして、この実像モデルＰＧを構成する各ポリゴンには実際の自車両９の実像に対応した着色がなされている。そのため、実像モデルＰＧ（自車両９）の外部の仮想視点から実像モデルＰＧ（自車両９）をみた場合に、その仮想視点から実像モデルＰＧ（自車両９）を介した領域に存在する物体の物体像は、実像表示の自車両像の後方に隠れて合成画像上に表示されない。
次に、ポリゴンモデルＰＧａは、自車両９の車体の枠を比較的太い線状のフレームで表したフレーム表示のポリゴンモデルである（以下、「太線モデルＰＧａ」という。）。この太線モデルＰＧａは、実像モデルＰＧと同様に自車両９を複数のポリゴンを用いて三次元形状で構成するモデルである。ここで、太線モデルＰＧａは実像モデルＰＧと異なり、自車両９の車体の枠に相当する部分や、自車両９の外形を構成する主要なパーツ（例えば、タイヤ、フロントライト、バックライト、および、サイドミラーなど）に対して着色がなされ、特に車体の枠に相当する部分は比較的太い線状のフレームとして表示されるように着色がなされている。そして、この太線モデルＰＧａは、自車両９の車体の枠に相当する部分、および、自車両９の外形を構成する主要なパーツ部分以外のポリゴンには着色は行われていない。そのため、太線モデルＰＧａ（自車両９）の外部の仮想視点から太線モデルＰＧａ（自車両９）をみた場合に、太線モデルＰＧａ（自車両９）のポリゴンの着色の行われていない箇所を介するときは、その仮想視点から太線モデルＰＧａ（自車両９）を介した領域に存在する物体の物体像が、フレーム表示の自車両像の後方に隠れることなく合成画像上に表示される。しかも、太線モデルＰＧａのフレームは比較的太い線状であるため、自車両像が明確となり、ユーザが自車両９の形状を認識しやくなる。
次に、ポリゴンモデルＰＧｂは、自車両９の車体の枠を比較的細い線状のフレームで表したフレーム表示のポリゴンモデルである（以下、「細線モデルＰＧｂ」という。）。この細線モデルＰＧｂは、実像モデルＰＧ、および、太線モデルＰＧａと同様に自車両９を複数のポリゴンを用いて三次元形状で構成されるモデルである。細線モデルＰＧｂは、太線モデルＰＧと比較して、自車両９の車体の枠に相当する部分や自車両９の外形を構成する主要なパーツ（例えば、タイヤ、フロントライト、バックライト、および、サイドミラーなど）に対して着色がなされている点は同じである。ただし、自車両９の車体の枠に相当する部分は比較的細い線となるよう着色がなされている点で太線モデルＰＧａとは異なる。そして、この細線モデルＰＧｂは、自車両９の車体の枠に相当する部分、および、自車両９の外形を構成する主要なパーツの部分以外のポリゴンには着色は行われていない。そのため、細線モデルＰＧｂ（自車両９）の外部の仮想視点から細線モデルＰＧｂ（自車両９）をみた場合に、細線モデルＰＧｂ（自車両９）の着色の行われていない箇所を介するときは、その仮想視点から細線モデルＰＧｂ（自車両９）を介した領域に存在する物体の物体像が、フレーム表示の自車両像に隠れることなく合成画像上に表示される。
なお、上述のように細線モデルＰＧｂの車体の枠に相当する部分は比較的細い線であるため、太線モデルＰＧａと比べてユーザが自車両９の形状を認識しにくい場合がある。しかし、太線モデルＰＧａよりもフレーム表示の自車両像を介して仮想視点から自車両９を介した領域に存在する物体の位置をユーザがより把握し易くなる。具体的には、太線モデルＰＧａの場合は、車両像を構成するフレームに物体像の一部が隠れてしまい、ユーザが車両像と物体像との画像上の間隔を十分に確認すること困難なときでも、ユーザの選択などに基づいて、太線モデルＰＧａから細線モデルＰＧｂに表示形態を変更することで自車両像を構成するフレームに隠れていた物体像が表示される。これにより、ユーザは自車両像および他車両像を個別に認識し、自車両像と物体像との画像上の間隔を確認でき、自車両９と物体との距離を正確に把握できる。
次に、自車両９の前半分の車体の枠は細線モデルＰＧｂと同様に比較的細い線状のフレームで表し、自車両９の後半分の車体の枠には着色を行わないフレーム表示のポリゴンモデルＰＧｃは、細線モデルＰＧｂなどと同様に自車両９を複数のポリゴンを用いて三次元形状で構成されるポリゴンモデルである（以下、「前車体モデルＰＧｃ」という。）。ここで、前車体モデルＰＧｃは細線モデルＰＧｂと比較して、自車両９に対応する前車体モデルＰＧｃの車体の枠の前半分に相当する部分や自車両９に対応する前車体モデルＰＧｃの外形を構成する主要なパーツ（例えば、タイヤ、フロントライト、バックライト、および、サイドミラーなど）に対して着色がなされている点は同じである。ただし、自車両９の車体の後ろ半分に相当する部分は着色を行わない点で細線モデルＰＧｂとは異なる。つまり、この前車体モデルＰＧｃは、自車両９の前半分の車体の枠に相当する部分、および、自車両９の外形を構成する主要なパーツ部分以外のポリゴンには着色は行われていない。
そのため、前車体モデルＰＧｃ（自車両９）の外側の仮想視点から前車体モデルＰＧｃ（自車両９）をみた場合に、前車体モデルＰＧｃ（自車両９）の着色の行われていない箇所を介するときは、その仮想視点から前車体モデルＰＧｃ（自車両９）を介した領域に存在する物体の物体像が、フレーム表示の自車両像に隠れることなく合成画像上に表示される。なお、上述のように前車体モデルＰＧｃの車体の枠に相当する部分は車体の前半分は比較的細い線で表示され、後半分は着色されていないためフレームが表示されない。その結果、細線モデルＰＧｂと比べてユーザが自車両９の形状を認識しにくい場合がある。しかし、細線モデルＰＧｂよりもフレーム表示の車両像を介して仮想視点から自車両９を介した領域に存在する物体の位置をユーザがより把握し易くなる。具体的には、細線モデルＰＧｂの場合は、車両像を構成するフレームに物体像の一部が隠れてしまい、ユーザが車両像と物体像との画像上の間隔を十分に確認すること困難なときでも、ユーザの選択などに基づいて、細線モデルＰＧｂから前車体モデルＰＧｃに表示形態を変更することで車両像を構成するフレームに隠れていた物体像が表示される。これにより、ユーザは自車両像および他車両像を個別に認識し、自車両像と物体像との画像上の間隔を確認でき、自車両９と物体との距離を正確に把握できる。
なお、これら表示形態の変更については後述するが、合成画像が生成されて表示装置３に表示される前に、複数のポリゴンモデルに対応する各フレーム表示のうち一つのフレーム表示の表示形態とする選択を予めユーザの選択等によって行ってもよいし、合成画像が表示装置３に表示されている際に、ユーザの選択によって切り替えることで表示形態を変更してもよい。
図３に戻り、投影面ＴＳの投影対象領域における各位置は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのいずれかと、テーブルデータ等の対応情報によって対応付けられている。画像合成部２２は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのデータをそれぞれ投影対象領域の対応する部分に投影する。
画像合成部２２は、投影対象領域において自車両９の前方に相当する部分ＰＦに、フロントカメラ５Ｆの撮影画像ＳＦのデータを投影する。また、画像合成部２２は、投影対象領域において自車両９の後方に相当する部分ＰＢに、リアカメラ５Ｂの撮影画像ＳＢのデータを投影する。さらに、画像合成部２２は、投影対象領域において自車両９の左側方に相当する部分ＰＬに左サイドカメラ５Ｌの撮影画像ＳＬのデータを投影し、投影対象領域において自車両９の右側方に相当する部分ＰＲに右サイドカメラ５Ｒの撮影画像ＳＲのデータを投影する。
このように投影面ＴＳの投影対象領域の各部分に撮影画像のデータを投影すると、周辺画像生成部２２は、自車両９を三次元形状で示す太線モデルＰＧａを車両領域Ｒ０に仮想的に配置する。
次に、周辺画像生成部２２は、仮想的な三次元空間の投影面ＴＳおいて、仮想視点ＶＰを設定し周辺画像を生成する。この仮想視点ＶＰの視点位置は一例として自車両９の前方で自車両９の車高よりも高い位置であり、視線方向を車両９の前方から後方をみた方向となる。
そして、周辺画像生成部２２は、仮想視点ＶＰからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出して周辺画像を生成する。また、周辺画像生成部２２は仮想視点ＶＰに基づいて自車両像を生成する。そして、合成画像生成部２３は、生成された周辺画像に自車両像を重畳して合成画像ＩＭａを生成する。
ここで、自車両像として太線モデルＰＧａが選択されている場合、合成画像ＩＭａには、投影面ＴＳにおいて仮想視点ＶＰから太線モデルＰＧａをみて、車体の枠を比較的太い線状のフレームで表すフレーム表示の自車両像９１ａ(以下、「太線フレーム像９１ａ」という。)が示される。さらに、自車両９の後方に他車両が存在する場合は、合成画像ＩＭａには仮想視点ＶＰからみてこの太線フレーム像９１ａの自車両像を介した領域に存在する物体である他の車両の像９２ａ（以下、「他車両像９２ａ」という。）が示される。これにより、ユーザは自車両像である太線フレーム像９１ａの後方に存在する他車両像９２ａを視認でき、太線フレーム像９１ａと他車両像９２ａとの画像上の間隔を確認することで自車両９と他車両との距離を把握できる。そして、この太線フレーム像９１ａの表示では、フレームに他車両像９２ａの一部が隠れて、ユーザが画像上の太線フレーム像９１ａと他車両像９２ａとの画像上の間隔を確認することが困難な場合は、合成画像中の太線フレーム像９１ａの自車両像の表示形態を変更する。
＜１−３．自車両像の表示形態変更＞
次に、図５〜図８を用いて、合成画像中の自車両像の表示形態の変更について説明する。図５は、表示装置３に表示される画像の遷移を説明する図である。図５上段には、ナビゲーション機能を実行する場合に表示装置３に表示されるナビゲーション画像ＮＡが示されている。また、図５下段には、自車両９が後退時に必要となる自車両９の後方を主に示す画像であるバックモード画像ＢＡが示されている。
図５上段のナビゲーション画像ＮＡは、図示しない表示装置３の記憶部に地図画像データ等のナビゲーション機能に使用するデータが記録されており、ナビゲーション機能を実行する際に、それらのデータが読み出されて、表示装置３に表示される。ナビゲーション画像ＮＡには、地図画像に重畳して自車両９の現在位置を示す現在地マークＧＰ、および、設定ボタンＢａが主に表示され、このうち設定ボタンＢａの機能は、操作部４のタッチパネル３１に対してユーザが指などを接触させて操作することで実行される。なお、設定ボタンＢａをユーザが操作することで設定される機能は、ナビゲーション機能を含めた各種機能であるが、それらの機能の中で表示装置３に表示される合成画像中のフレーム表示の自車両像の設定については後述する。
ナビゲーション画像ＮＡが表示装置３に表示されている場合に、シフトセンサ１０１から入力されるシフトポジションの信号が”Ｒ（後退）”を示す信号となったときに、バックモード画像ＢＡが表示装置３に表示される。すなわち、シフトポジションが”Ｒ（後退）”の場合は、自車両９は後退する状態であるため、自車両９の後方を主に示すバックモード画像ＢＡが表示装置３に表示される。
バックモード画像ＢＡは自投影面ＴＳにおいて視点位置を自車両９の直上とし、視線方向を自車両９の真下の方向（鉛直方向）とする仮想視点（例えば、後述する図１０に示す「仮想視点ＶＰ１」）からみた俯瞰画像である合成画像ＴＩＭと、自車両９のリアカメラ５Ｂの撮影画像である撮影画像ＢＩＭとを表示する画像である。合成画像ＴＩＭには実像モデルＰＧに対応する実像表示の自車両像９１ｈが示されている。また、合成画像ＴＩＭには、自車両９の後方に存在する他車両に対応する他車両像９２ｈが示されている。また、撮影画像ＢＩＭには、合成画像ＴＩＭの他車両像９２ｈに対応するリアカメラ５Ｂで撮影した他車両像９２ｋが示されている。そして、合成画像ＴＩＭと撮影画像ＢＩＭとを含むバックモード画像ＢＡには視点切替ボタンＢ０、および、戻るボタンＢ１が示されている。この視点切替ボタンＢ０をユーザが操作部４を用いて操作すると、合成画像ＴＩＭを生成する仮想視点が仮想視点ＶＰ１から図３で説明した仮想視点ＶＰに切替えられ、次に図６を用いて説明する合成画像ＩＭが表示装置３に表示される。なお、戻るボタンＢ１をユーザが操作すると、ナビゲーション画像ＮＡが表示装置３に表示される。
図６は、仮想視点ＶＰからみた周辺画像に車両像を重畳した合成画像を示す図である。以下、図６から図７に示す各合成画像について説明するが、それぞれの違いは、仮想視点ＶＰからみた周辺画像に表示形態の異なる複数のポリゴンモデル（実像モデルＰＧ、太線モデルＰＧａ、細線モデルＰＧｂ、および、前車体モデルＰＧｃ）のうちいずれか一つのポリゴンモデルを仮想視点ＶＰからみた自車両像を周辺画像に重畳した合成画像を示すものである。
図６上段は、仮想視点ＶＰからみた周辺画像に同じ仮想視点ＶＰからみた実像モデルＰＧの自車両像９１（以下、「実像表示の自車両像９１」という。）を重畳した合成画像ＩＭ（以下、「合成画像ＩＭ」という。）を示す図である。合成画像ＩＭには、実像モデルＰＧに対応する実像表示の自車両像９１、および、自車両９の後方に存在する他車両に対応する他車両像９２が示されている。ここで、他車両像９２は合成画像ＩＭ上で、車体の一部の像は表示されているものの、車体の他の部分の像は自車両像９１の後方に隠れているため、ユーザは視認できない。つまり、実像モデルＰＧ（自車両９）の外部の仮想視点ＶＰから実像モデルＰＧ（自車両９）をみた場合に、その仮想視点から実像モデルＰＧ（自車両９）を介した領域に存在する物体の物体像のほとんどの部分が、実像表示の自車両像９１に隠れて合成画像上に表示されない。そのため、ユーザはこの合成画像ＩＭの表示をみても自車両像９１の後方に存在する他車両像９２の存在は視認できても、画像上の自車両像９１と他車両像９２の間隔を十分に確認できない。つまり、自車両９と他車両との距離を正確に把握することはできない。
このため、次に説明するようにユーザが操作部４を用いて画像切替ボタンＢ２を操作すると、実像表示の自車両像９１からフレーム表示の自車両像に表示形態を変更した自車両像を含む合成画像が表示装置３に表示される。なお、操作部４を用いて戻るボタンＢ１をユーザが操作すると直前に表示装置３に表示されていたバックモード画像ＢＡが表示装置３に表示される。なお、以下の図面中に示される戻るボタンＢ１の機能はこのように現在表示されている画像から直前に表示されていた画像に切り替えて表示装置３に表示させるものである。
次に、操作部４を用いた操作により合成画像ＩＭにおける画像切替ボタンＢ２をユーザが操作すると、図６下段の合成画像ＩＭａが表示装置３に表示される。
図６下段には、仮想視点ＶＰからみた周辺画像に同じ仮想視点ＶＰからみた太線モデルＰＧａに対応する比較的太いフレーム表示の太線フレーム像９１ａを重畳した合成画像ＩＭａ（以下、「合成画像ＩＭａ」という。）が示されている。この合成画像ＩＭａは上述のようにユーザの画像切替ボタンＢ２の操作に応じて、合成画像ＩＭ中の実像表示の自車両像９１が太線フレーム像９１ａの表示形態に変更され、仮想視点ＶＰからみた周辺画像に太線フレーム像９１ａを重畳した合成画像ＩＭａとして表示装置３に表示されたものである。
この太線フレーム像９１ａでは、太線モデルＰＧａ（自車両９）の外部の仮想視点ＶＰから太線モデルＰＧａ（自車両９）をみることで、太線モデルＰＧａ（自車両９）の着色の行われていない箇所については、仮想視点ＶＰからみた太線フレーム像９１ａを介した領域に存在する物体である他車両像９２が、自車両像に隠れることなく合成画像上に表示される。これにより、ユーザは自車両像および他車両像を個別に認識し、自車両像と他車両像の画像上の間隔を確実に確認でき、自車両に対する物体である他車両の距離を正確に把握できる。
なお、合成画像ＩＭａに示すようにフレーム表示の自車両像を比較的太いフレーム表示とした場合、ユーザは画像上の自車両像の形状や位置を認識しやすいが、画像上の物体像の位置によっては、太線フレーム像９１ａのフレームに他車両像９２ａの一部が隠れてしまい、ユーザが太線フレーム像９１ａと他車両像９２ａとの画像上の間隔を確認することが困難になる場合がある。その結果、ユーザが自車両９に対する物体の距離を正確に把握できないときがある。これに対して、ユーザは自車両像と他車両像との画像上の間隔を確認して、自車両９に対する他車両の距離を正確に把握するため、操作部４を用いて画像切替ボタンＢ２を操作することで、図７上段に示す合成画像ＩＭｂを表示装置３に表示させる。
図７は、仮想視点ＶＰからみた周辺画像に自車両像を重畳した合成画像を示す図である。図７上段には、仮想視点ＶＰからみた周辺画像に同じ仮想視点ＶＰからみた細線モデルＰＧｂに対応する比較的細いフレーム表示の自車両像である細線フレーム像９１ｂを重畳した合成画像ＩＭｂ（以下、「合成画像ＩＭｂ」という。）が示されている。この合成画像ＩＭｂは、上述のようにユーザの画像切替ボタンＢ２の操作に応じて、合成画像ＩＭａ中の太線フレーム像９１ａが細線フレーム像９１ｂの表示形態に変更され、仮想視点ＶＰからみた周辺画像に細線フレーム像９１ｂを重畳した合成画像ＩＭｂとして表示装置３に表示されたものである。
この細線フレーム像９１ｂでは、細線モデルＰＧｂ（自車両９）の外部の仮想視点ＶＰから細線モデルＰＧｂ（自車両９）をみることで、細線モデルＰＧｂ（自車両９）の着色の行われていない箇所については、仮想視点ＶＰからみた細線フレーム像９１ｂを介した領域に存在する物体である他車両像９２ｂが、自車両像に隠れることなく画像上に表示される。これにより、ユーザは自車両像および他車両像を個別に認識し、自車両像と物体像の画像上の間隔を確実に確認でき、車両に対する物体の距離を正確に把握できる。
そして、細線フレーム像９１ｂは上述の太線フレーム像９１ａとはフレームの線の太さが異なる。つまり、細線フレーム像９１ｂは太線フレーム像９１ａと比べるとフレームの線の太さが細くなる。そのため、細線フレーム像９１ｂは、太線フレーム像９１ａと比べて、ユーザが合成画像上の自車両像の形状や位置を認識しにくいものの合成画像上の細線フレーム像９１ｂと後方に存在する物体像である他車両像９２ｂとの間隔の確認は太線フレーム像９１ａと比べて行い易い。これにより、ユーザは自車両像および他車両像を個別に認識し、自車両と物体である他車両との距離を正確に把握できる。
なお、画像上の物体像の位置によっては、細線フレーム像９１ｂのフレームに他車両像９２ｂの一部が隠れてしまい、細線フレーム像９１ｂと他車両像９２ｂとの画像上の間隔を確認することが困難になる場合がある。その結果、ユーザが自車両９に対する物体の距離を正確に把握できないときがある。これに対して、ユーザは自車両像および他車両像を個別に認識し、自車両像と他車両像との画像上の間隔を確認して、自車両９に対する他車両の距離を正確に把握するため、操作部４を用いて画像切替ボタンＢ２を操作することで、図７下段に示す合成画像ＩＭｃを表示装置３に表示させる。
図７下段には、仮想視点ＶＰからみた周辺画像に同じ仮想視点ＶＰからみた前車体モデルＰＧｃに対応する車体の前半分を比較的細い線状で表したフレーム表示の自車両像９１ｃ（以下、「前車体フレーム像９１ｃ」という。）を重畳した合成画像ＩＭｃ(以下、「合成画像ＩＭｃ」という。)が示されている。この合成画像ＩＭｃは上述のようにユーザの画像切替ボタンＢ２の操作に応じて、合成画像ＩＭｂ中の細線フレーム像９１ｂが前車体フレーム像９１ｃの表示形態に変更され、仮想視点ＶＰからみた周辺画像に前車体フレーム像９１ｃを重畳した合成画像ＩＭｃとして表示装置３に表示されたものである。
この前車体フレーム像９１ｃでは、前車体モデルＰＧｃ（自車両９）の外部の仮想視点ＶＰから前車体モデルＰＧｃ（自車両９）をみることで、前車体モデルＰＧｃ（自車両９）の着色の行われていない箇所については、仮想視点ＶＰからみた前車体フレーム像９１ｃを介した領域に存在する物体である他車両像９２ｃが、自車両像に隠れることなく画像上に表示される。これによりユーザは、自車両像および他車両像を個別に認識し、車両像と物体像との画像上の間隔を確実に確認でき、自車両９と物体である他車両との距離を正確に把握できる。
このように図６から図７に示したように自車両像の表示を車体の枠を線状のフレーム表示としその表示形態を変更することで、物体の位置に関わらず自車両像および他車両像を個別に認識し、車両像と物体像の画像上の間隔を確実に確認でき、自車両９に対する物体の距離を正確に把握できる。そして、上述のようにフレーム表示の表示形態をフレームの線の太さが異なる複数のフレーム表示の中から自車両９のユーザの操作部４を用いた操作に応じて選択されたフレーム表示の表示形態とすることで、自車両像の後方に物体像が隠れてユーザが車両像と物体像との画像上の間隔を確認することが困難な場合でも、ユーザが車両像と物体像との画像上の間隔を確認し易い線の太さのフレーム表示を選択でき、自車両像および他車両像を個別に認識し、自車両９と物体との距離を正確に把握できる。
なお、図７下段の合成画像ＩＭｃにおいて画像切替ボタンＢ２が操作されると、合成画像ＩＭｃから図６上段に示す合成画像ＩＭが表示装置に表示され、ユーザは複数のフレーム表示の自車両像の表示形態から、自車両像と物体像との画像上の間隔を確認し易い表示形態を自由に選択できる。
図８は、合成画像上に表示されるフレーム表示の自車両像の設定について説明する図である。図８上段には、ナビゲーション画像ＮＡが示されている。ユーザがナビゲーション画像ＮＡの設定ボタンＢａを操作部４を用いて操作すると、図８下段に示す車両像選択画像ＳＥが表示装置３に表示される。この車両像選択画像ＳＥは、合成画像を生成される際のポリゴンモデルをユーザが操作部４を用いて予め選択するものであり、車両像選択画像ＳＥ中には実像モデルＰＧ、太線モデルＰＧａ、細線モデルＰＧｂ、および、前車体モデルＰＧｃが示されている。これらの複数のポリゴンモデルの中からユーザが選択した一つのポリゴンモデルが、合成画像を生成する際に投影面ＴＳにおける車両領域Ｒ０に配置される。そして、周辺画像生成部２２により仮想視点からみた自車両像が生成されて、この自車両像を周辺画像に重畳した合成画像が生成される。
＜１−４．処理＞
図９は、画像生成装置２の処理を説明するフローチャートである。画像生成装置２の信号受信部２６がシフトセンサ１０１からのシフトポジションを”Ｒ（後退）”とする信号を受信した場合（ステップＳ１０１でＹｅｓ）、周辺画像生成部２２、および、合成画像生成部２３が、自車両９の直上の仮想視点ＶＰ１からみた合成画像ＴＩＭとリアカメラ５Ｂでの撮影により得られる撮影画像ＢＩＭとを含むバックモード画像ＢＡを生成し、表示装置３に表示させる（ステップＳ１０２）。なお、信号受信部２６がシフトセンサ１０１からのシフトポジションを”Ｒ（後退）”とする信号を受信しない場合（ステップＳ１０１でＮｏ）は、処理を終了する。
次に、操作受付部２５がユーザの操作部４の操作によるバックモード画像ＢＡの視点切替ボタンＢ０の操作信号を受信した場合（ステップＳ１０３でＹｅｓ）に、周辺画像生成部２２は、仮想視点ＶＰからみた自車両９の周辺画像と、車両像選択画像ＳＥで予め選択されているポリゴンモデル（例えば、太線モデルＰＧａ）に対応する自車両像（例えば、太線フレーム像９１ａ）を生成し、合成画像生成部２３が周辺画像に自車両像を重畳した合成画像（例えば、合成画像ＩＭａ）を生成する（ステップＳ１０４）。なお、ユーザの操作部４を用いた視点切替ボタンＢ０の操作信号を操作受付部２５が受信していない場合（ステップＳ１０３でＮｏ）は後述するステップＳ１０６の処理を行う。
そして、画像出力部２４は、合成画像生成部２３で生成された合成画像を表示装置３に入力して表示させる（ステップＳ１０５）。
次に、操作受付部２５がユーザの操作部４を用いた画像切替ボタンＢ２の操作信号を受信した場合（ステップＳ１０６でＹｅｓ）に、周辺画像生成部２２は、仮想視点ＶＰからみた自車両９の周辺画像と、車両像選択画像ＳＥで予め選択されているポリゴンモデル（例えば、太線モデルＰＧａ）の自車両像から表示形態を変更する別のポリゴンモデル（例えば、細線モデルＰＧａ）に対応する自車両像（例えば、細線フレーム像９１ｂ）を生成し、合成画像生成部２３が周辺画像に自車両像を重畳した合成画像を生成する（ステップＳ１０４）。なお、ユーザの操作部４を用いた画像切替ボタンＢ２の操作信号を操作受付部２５が受信していない場合（ステップＳ１０６でＮｏ）は処理を終了する。
なお、ステップＳ１０６の処理でユーザの操作部４を用いた画像切替ボタンＢ２の操作信号を操作受付部２５が受信していない場合は、表示装置３に表示されている画像は変更されずそのままの状態を継続するか、一定時間（例えば、５分以上）経過した場合に、ナビゲーション画像ＮＡに切り替わるようにしてもよい。
このように自車両像をフレーム表示としその表示形態を変更することで、ユーザは自車両像および他車両像を個別に認識し、物体の位置に関わらず自車両像と物体像との画像上の間隔を確実に確認でき、自車両９に対する物体の距離を正確に把握できる。
また、物体像である他車両像の一部がフレーム表示の自車両像に隠れてユーザが車両像と物体像との画像上の間隔を確認しにくい場合でも、ユーザが車両像と物体像との画像上の間隔を確認し易い線の太さのフレーム表示を選択することで、ユーザは自車両像および他車両像を個別に認識し、自車両９に対する物体の距離を正確に把握できる。
＜１−５．仮想視点に応じた自車両像の表示形態の変更＞
なお、本実施の形態では上述の図５に示した仮想視点ＶＰ１に基づく合成画像ＴＩＭと図７に示した仮想視点ＶＰに基づく合成画像ＩＭｂのように仮想視点に応じて、合成画像中に表示される自車両像の表示形態を変更している。つまり、実像表示の自車両像に対応する実像モデルＰＧと、フレーム表示の自車両像とを仮想視点に応じて変更している。
図１０は、仮想視点に応じた自車両像の表示形態の変更について説明する図である。図１０上段には、投影面ＴＳにおいて実像モデルＰＧ（自車両９）の直上の視点位置で、視線方向を鉛直方向とする仮想視点ＶＰ１からみた合成画像ＴＩＭが示されている。この仮想視点ＶＰ１に基づく合成画像ＴＩＭは、上述の図５下段に示したバックモード画像ＢＡを生成する場合以外に次のような場面で生成される。例えば、ユーザが自車両９をＩＧＯＮ（イグニッションオン）したことを示す信号を信号受信部２６が受信した場合に、画像生成装置２が仮想視点ＶＰ１からみた合成画像ＴＩＭを生成し、表示装置３に表示させる。そして、合成画像を生成する仮想視点が仮想視点ＶＰ１の場合は、ポリゴンモデルは実像モデルＰＧが選択される。これは仮想視点ＶＰ１からみた周辺画像に実像表示の自車両像９１ｈを重畳した場合、仮想視点からみた自車両９を介した領域はユーザの死角になることがないためであり、また、自車両像としてフレーム表示とした場合、仮想視点ＶＰ１からみると自車両像は四角形条の線が表示されることとなるため、かえってユーザが自車両像をイメージしづらくなるためである。
このように、フレーム表示よりもユーザが車両の形状や位置を把握し易い実像表示の自車両像を表示することで、ユーザは、自車両像および他車両像を個別に認識し、自車両９に対する物体の距離を正確に把握できる。そして、仮想視点からみて自車両９を介した領域がユーザにとって死角とならない場合は、実像モデルＰＧに対応する実像表示の自車両像を周辺画像に重畳した合成画像を表示装置３に表示する。
これに対して、図１０下段では、投影面ＴＳにおける太線モデルＰＧａ（自車両９）の前方で自車両９の車高よりも高い視点位置で、視線方向を自車両９の前方から後方をとする仮想視点ＶＰからみた合成画像ＩＭａが示されている。合成画像を生成する仮想視点が仮想視点ＶＰの場合は、ポリゴンモデルはフレーム表示の自車両像に対応するモデル(例えば、太線モデルＰＧａ)が選択される。これは、仮想視点ＶＰから自車両９を介した領域がユーザにとって死角となる。そのため、実像表示の自車両像を合成画像に重畳する自車両像として選択した場合、自車両９の後方に存在する他車両に対応する他車両像９２ａが確認できなかったり、その存在を確認できたとしても、自車両像と他車両像９２ａとの画像上の間隔が確認できない場合がある。その結果、ユーザが自車両９に対する他車両の正確な距離を把握できないことがある。そのため、仮想視点からみて自車両９を介した領域がユーザにとって死角となる場合は、太線モデルＰＧａ等のフレーム表示の自車両像を周辺画像に重畳した合成画像を表示装置３に表示する。
このように仮想視点に応じて、周辺画像に重畳する自車両像をフレーム表示および、実像表示のいずれかの表示とすることで、どの仮想視点からみてもユーザが車両の形状を認識し易い自車両像が表示されるため、ユーザは自車両像および他車両像を個別に認識し、自車両９と物体との距離を正確に把握できる。
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の画像生成装置２では、第１の実施の表示形態で説明したポリゴンモデルの構成を変更するものである。具体的には、複数のポリゴンで構成される各モデル（太線モデルＰＧａ、細線モデルＰＧｂ、および、前車体モデルＰＧｃ）の少なくともフレーム表示がなされる箇所については、２枚のポリゴンの裏面同士を張り合わせ、張り合わせたポリゴン（以下、「貼合せポリゴン」という。）の表面、および、裏面の色をそれぞれ異なる色として着色するものである。第２の実施の形態の画像表示システムの１０の構成および処理は、第１の実施の形態とほぼ同様であるが、このように各モデルを構成する複数のポリゴンの少なくとも一部のポリゴンの構成が相違し、その結果、周辺画像生成部２２で生成される自車両像の表示形態も異なる。このため図１１および図１２を用いて相違点を中心に説明する。
図１１は、三角形の形状の２枚のポリゴンと、２枚のポリゴンを貼り合わせた１枚の貼合せポリゴンを示す図である。図１１の上段のポリゴンｐｎ１とｐｎ２とは同じ形状および性質のポリゴンであり、それぞれの表面を表面ｏｂ１（ｏｂ２）、裏面を裏面ｒｅ１（ｒｅ２）として説明する。そして、第１の実施の形態で説明した各ポリゴンモデルはこのような複数のポリゴンｐｎ１（ｐｎ２）を使って三次元形状を構成する。
また、第１の実施の形態で説明した各ポリゴンモデルはその種類に応じて、複数のポリゴンｐｎ１（ｐｎ２）の表面ｏｂ１（ｏｂ２）に着色される範囲や色等が異なる。例えば、実像モデルＰＧの場合は、自車両９の三次元形状を構成するモデルに対して、実際の自車両９の実像に近い着色が複数のポリゴンｐｎ１（ｐｎ２）の表面ｏｂ１（ｏｂ２）に行われる。なお、ポリゴンｐｎ１（ｐｎ２）の裏面ｒｅ１（ｒｅ２）には着色は行われない。そのため、仮想視点からポリゴンｐｎ１（ｐｎ２）を見た場合、表面ｏｂ１（ｏｂ２）が見える場合は、表面に着色した色が画像上に表示され、裏面ｒｅ１（ｒｅ２）が見える場合は、裏面ｒｅ１（ｒｅ２）は着色されていないため透明となり、表面ｏｂ１（ｏｂ２）に着色した色が画像上に表示されることとなる。
そして、フレーム表示の各ポリゴンモデルの場合は、自車両９の三次元形状を構成する複数のポリゴンｐｎ１（ｐｎ２）のうち自車両９の車体の枠に相当する部分やその他の自車両９の外形を構成する主要なパーツ（例えば、タイヤ、フロントライト、バックライト、および、サイドミラーなど）のポリゴンｐｎ１（ｐｎ２）対して着色がなされ、その他の部分を構成するポリゴンｐｎ１（ｐｎ２）は着色されない。例えば、ポリゴンｐｎ１（ｐｎ２）の表面ｏｂ１（ｏｂ２）に緑色の着色がなされることで、フレーム表示（例えば、図７上段に示す合成画像ＩＭｂの細線フレーム像９１ｂの車両の枠）の部分が緑色で表示される。
このように構成されるフレーム表示の各ポリゴンモデルに対して、第２の実施の形態では、自車両９の車体の枠に相当する部分のポリゴンｐｎ１（ｐｎ２）の裏面ｒｅ１（ｒｅ２）に別のポリゴンｐｎ１（ｐｎ２）の裏面ｒｅ１（ｒｅ２）を貼り合わせて、２枚のポリゴンの互いの裏面が貼り合わされた、貼合せポリゴンｐｎ３を生成する。そして例えば、図１１下段に示すようにポリゴンｐｎ１の裏面ｒｅ１とポリゴンｐｎ２の裏面ｒｅ２とが貼り合わされた場合、ポリゴンｐｎ３の表面ｏｂ３と裏面ｒｅ３とは着色される色が異なる。例えば、ポリゴンｐｎ３の表面ｏｂ３には緑色に着色され、ポリゴンｐｎ３の裏面には赤色が着色される。このようにして貼りあわせポリゴンにより構成されたポリゴンモデルを仮想視点からみた自車両像を周辺画像に重畳した合成画像の例を次ぎに示す。
図１２は、細線モデルＰＧｂにおいて、フレーム表示される部分のポリゴンに対して貼合せポリゴンｐｎ３を用いて構成したポリゴンモデルを仮想視点ＶＰからみた場合の合成画像ＩＭｄ（以下、「合成画像ＩＭｄ」という。）を示す図である。つまり、合成画像ＩＭｄ中に示す自車両像９１ｄは、上述の図７上段の細線フレーム像９１ｂに対応する細線モデルＰＧｂを構成するポリゴンｐｎ１（ｐｎ２）のうち、表面ｏｂ１（ｏｂ２）を緑色に着色されるフレームの部分のポリゴンを貼りあわせポリゴンｐｎ３とし、この貼り合せポリゴンｐｎ３を含むポリゴンモデルを仮想視点ＶＰからみた自車両像とする。そして、図１２に示す合成画像ＩＭｄは、この自車両像９１ｄを周辺画像に重畳した合成画像である。
そのため、図１２の自車両像９１ｄにおいて実線で示される表面ｏｂ３に対応するフレームの色は緑色で表示され、破線に網掛けした線で示される裏面ｒｅ３に対応するフレームの色は赤色で表示される。つまり、仮想視点ＶＰから自車両９を見た場合に、仮想視点ＶＰから見えるフレーム部分は表面ｏｂ３を使用する。その結果フレームの色は緑色で表示される。そして、車体に隠れて本来見えないフレーム部分は裏面ｒｅ３を使用する。その結果フレームの色は赤色で表示される。つまり、自車両９の車体の枠に対応するフレームの一方の面と他方の面とが異なる色であり、仮想視点から見た場合に、表示されるフレームが一方の面および他方の面のいずれの面かに応じて、フレーム表示の表示形態が変更される。これにより、ユーザはフレーム各部が自車両９のどの部分に対応するのかを即座に見分けることができるため、ユーザは自車両像９１ｄを立体的に認識可能となり、自車両９と物体との距離を正確に把握できる。
なお、このような合成画像ＩＭｄは、図１２に示す画像切替ボタンＢ２をユーザが操作部４を用いて操作することで、第１の実施の形態の図６および図７で示した各合成画像のように順次切替えて表示される各合成画像の中の一つの合成画像として表示装置３に表示される。また、図６および図７で説明した各合成画像中のフレーム表示の自車両像に対応するポリゴンモデルを構成するポリゴンを貼り合せポリゴンとして、図１２に示す自車両像９１ｄのように仮想視点から見た場合に、フレームが表面、および、裏面のいずれかの面に応じてフレーム表示の表示形態を変更した自車両像を表示装置３に表示するようにしてもよい。
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０ａの画像生成装置２ａでは、画像情報や各種センサからの情報などにから自車両９の周辺に存在する物体の位置を検出し、その物体の位置に応じて、フレーム表示の自車両像のフレームの線の太さを変更するものである。つまり、画像生成装置２ａが物体の位置に応じてフレーム表示の表示形態をフレームの太さが異なる複数のフレーム表示の中から選択された一つのフレーム表示の表示形態とするものである。なお、物体の位置は必ずしも正確な位置である必要はない。
第３の実施の形態の画像表示システムの１０ａの構成および処理は、第１の実施の形態とほぼ同様であるが、このように自車両９の周辺に存在する物体の位置に応じて、自車両像のフレーム表示の表示形態を変更する点で少なくとも一部の構成が相違する。このため以下、図１３および図１４を用いて相違点を中心に説明する。
図１３は、画像表示システム１０ａの構成を示す図である。画像表示システム１０ａの画像生成装置２ａは、制御部２０に自車両９の周辺に存在する物体の位置を検出する位置検出部２０２を備えている。この位置検出部２０２は、画像生成装置２ａで生成された画像上の物体像（例えば、後述する図１４上段の合成画像ＩＭｅに示す障害物像９２ｅ）の位置から、自車両９に対する障害物の位置を検出する。
また、位置検出部２０２は、画像表示システム１０ａの外部で自車両９に設けられた自車両９の周辺に存在する物体の位置を検出するレーダ装置１０３およびクリアランスソナー１０４の少なくともいずれか一つのセンサから自車両９の周辺に存在する物体の位置を示す情報（以下、「周辺物体情報」という。）を信号受信部２６を介して受信し、自車両９の周辺に存在する物体の位置を検出する。ここで、レーダ装置１０３は、例えば、自車両９の前方や後方バンパーの略中央部分に備えられ、送信波が物体に反射した反射波を受信して物体の位置を導出する。また、クリアランスソナー１０４は、自車両９の前方のバンパー近傍に複数、および、自車両９後方のバンパー近傍に複数備えられ、送信波が物体に反射した反射波を受信して物体の位置を導出する。
そして、位置検出部２０２が検出した周辺物体情報に応じて画像制御部２０１が自車両データ２７３の複数のフレーム表示の複数のポリゴンモデルの中から一つのポリゴンモデルを読み出し、投影面ＴＳの車両領域Ｒ０に読み出されたポリゴンモデルが配置され、仮想視点からみた自車両像を周辺画像に重畳した合成画像が生成される。
ここで、複数のポリゴンモデルの中から読み出される一つのポリゴンモデルは周辺物体情報の自車両９の位置に対する障害物の位置が近づくにつれて、画像制御部２０１は、複数のフレーム表示の表示形態のうち、フレームの線の太さが細いフレーム表示に対応するポリゴンモデルを選択する。つまり、画像制御部２０１は、物体の位置が自車両９の位置に近づくにつれてフレーム表示のフレームの線の太さを細くする。これにより、ユーザは画像上の物体像の存在を確実に視認でき、車両像と物体像との画像上の間隔を確認し易くなり、自車両９と物体との距離をより正確に把握できる。このように、自車両９に対する物体の位置によって自車両９と物体とが衝突する危険度が高いほどフレーム表示のフレーム線の太さを細くすることで、自車両像によって隠れる障害物像をユーザに対してより見易くできる。
図１４は、物体の位置に応じたフレームの線の太さの変更の状態を示す図である。図１４上段には、自車両９に対する物体の位置が第１の範囲（例えば、自車両９に対する物体の距離が５ｍを超え、かつ、２０ｍ以下）の場合のフレーム表示の自車両像を含む合成画像ＩＭｅ（以下、「合成画像ＩＭｅ」という。）が示されている。また、図１４下段には、自車両９に対する物体の位置が第２の範囲（例えば、自車両９に対する物体の距離が１ｍを超え、かつ、５ｍ以下）の場合のフレーム表示の自車両像を含む合成画像ＩＭｆ（以下、「合成画像ＩＭｆ」という。）を示されている。
合成画像ＩＭｅおよび合成画像ＩＭｆは略同じ仮想視点から自車両９をみた場合に生成される合成画像であり、視点位置を自車両９の左前方で自車両９の車高よりも高い位置とし、視線方向を自車両９の左前方から自車両９の右後方とする仮想視点からみた自車両像を周辺画像に重畳した合成画像である。
そして、図１４上段の合成画像ＩＭｅには、略中央に太線モデルＰＧａに対応する太線フレーム像９１ｅが示されている。そして、太線フレーム像９１ｅの右側後方に障害物（例えば、電柱やポール等）に対応する障害物像９２ｅが表示されている。
位置検出部２０２は、合成画像ＩＭｅの障害物像９２ｅの画像情報やレーダ装置１０３、および、クリアランスソナー１０４からの周辺物体情報により、自車両９に対する障害物の位置を検出する。そして、位置検出部２０２によって検出された自車両９に対する障害物の位置に応じて（この場合は、第１の範囲内に障害物が存在するものとして）、画像制御部２０１は、自車両データ２７３の複数のポリゴンデータの中から、太線モデルＰＧａを読み出し、投影面ＴＳの車両領域Ｒ０に読み出された太線モデルＰＧａが配置され、仮想視点からみた太線フレーム像９１ｅを周辺画像に重畳した合成画像ＩＭｅを生成し、表示装置３に表示させる。
次に、自車両９の位置が図１４上段の図に示す位置よりも後退して自車両９の位置と障害部の位置とが近づいた場合を図１４下段の図を用いて説明する。図１４下段では、合成画像ＩＭｆの略中央に細線モデルＰＧｂに対応する細線フレーム像９１ｆが示されている。そして、細線フレーム像９１ｆの右側後方に障害物に対応する障害物像９２ｆが表示されている。
位置検出部２０２は、合成画像ＩＭｆの障害物像９２ｅの画像情報やレーダ装置１０３、および、クリアランスソナー１０４からの周辺物体情報により、自車両９に対する障害物の位置を検出する。そして、位置検出部２０２によって検出された自車両９に対する物体の位置に応じて（この場合は、第２の範囲内に障害部が存在するものとして）、画像制御部２０１は、自車両データ２７３の複数のポリゴンデータの中から、細線モデルＰＧａを読み出し、投影面ＴＳの車両領域Ｒ０に読み出された太線モデルＰＧａが配置され、仮想視点からみた細線フレーム像９１ｆを周辺画像に重畳した合成画像ＩＭｆを生成し、表示装置３に表示させる。
このように画像生成装置２は、自車両９の周辺に存在する物体の位置が自車両９の位置に近づくにつれてフレーム表示のフレームの線の太さを細くする。これにより、ユーザは自車両像および他車両像を個別に認識し、画像上の物体像の存在を確実に視認でき、画像上の自車両像と物体像との間隔を確認し易くなり、自車両９と物体との距離をより正確に把握できる。
＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の画像表示システム１０ｂの画像生成装置２ｂでは、画像情報や各種センサからの情報などから自車両９の周辺に存在する物体の位置を検出し、その物体の位置が自車両９の近傍の場合に、物体の位置に対応したフレーム表示の一部のフレームの表示形態を変更するものである。つまり、物体の位置が自車両９の近傍の場合、物体の位置に対応する一部のフレームに対してユーザに対して注意すべき箇所を示す指標の画像（例えば、緑色のフレームに対して黄色の指標の画像）を重畳する。なお、物体の位置は必ずしも正確な位置である必要はない。
第４の実施の形態の画像表示システムの１０ｂの構成および処理は、第３の実施の形態とほぼ同様であるが、このように物体の位置に応じて自車両像のフレームにユーザに対して注意すべき箇所を示す指標の画像（以下、「指標画像」という。）を重畳表示する点で少なくとも一部の構成が相違する。このため以下、図１５および図１６を用いて相違点を中心に説明する。
図１５は、画像表示システム１０ｂの構成を示す図である。画像表示システム１０ｂの画像生成装置２ｂにおける記憶部２７は、指標画像データ２７４を備える。この指標画像データ２７４は、位置検出部２０２により自車両９の周辺の物体の位置が検出され、その物体の位置が自車両９の近傍の場合に、画像制御部２０１の制御により記憶部２７から読み出される。そして、物体の位置に対応する自車両像のフレームの部分に当該フレームと色が異なる指標画像が重畳される。これにより、ユーザは自車両９に対してどの位置に物体が存在するのかを正確に把握できる。
図１６は、フレーム表示の自車両像９１ｇの一部のフレームの表示形態が、物体の位置に対応した表示形態に変更された合成画像ＩＭｇ(以下、「合成画像ＩＭｇ」という。)を示す図である。図１６の合成画像ＩＭｇは、視点位置を自車両９の左側後方で自車両９の車高よりも高い位置とし、視線方向を自車両９の左側後方から自車両９の右側前方とする仮想視点からみた自車両像を周辺画像に重畳した合成画像である。そして、合成画像１６の略中央に細線モデルＰＧｂに対応する細線フレーム像９１ｇが示されている。また、細線フレーム像９１ｇの左側後方に障害物に対応する障害物像９２ｇが表示されている。
位置検出部２０２は、合成画像ＩＭｇの障害物像９２ｇの画像情報やレーダ装置１０３、および、クリアランスソナー１０４からの周辺物体情報により、自車両９に対する障害物の位置を検出する。そして、位置検出部２０２によって検出された自車両９に対する物体の位置が自車両９の近傍（例えば、５ｍ以内）の場合、自車両９の右側後方に障害物が存在することに対応して、画像制御部２０１はこの障害物の位置に対応する自車両９の右側後方の車体部分に相当する一部のフレームに指標画像データ２７４の指標画像ＭＡを重畳して表示装置３に表示させる。これにより、ユーザは自車両９に対してどの位置に物体が存在するのかを正確に把握でき、自車両９の危険箇所を確認できる。
なお、自車両９の近傍に物体が存在した場合に、物体が存在する位置に応じて自車両像のどのフレームの箇所の表示形態を変更させるのかを予め定めておき、物体の位置に応じた自車両像の一部のフレームの表示形態を変更させることで、ユーザは物体が自車両９に対してどの位置に存在し、自車両９のどの箇所が危険なのかを直感的に把握できる。
＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
上記実施の形態では、周辺画像と自車両像を含む合成画像を生成する場合の仮想視点を主に仮想視点ＶＰおよびＶＰ１の位置や視線方向として説明したが、仮想視点は仮想視点からみて車両を介した領域を示すものであれば、仮想視点ＶＰおよびＶＰ１以外の位置および視線方向であってもよい。
また、上記実施の形態において、自車両９の周辺に存在する物体の位置の検出の方法として、位置検出部２０２による画像情報からの物体位置の検出や、レーダ装置１０３および、クリアランスソナー１０４を用いた周辺物体情報を信号受信部２６を介して取得するなど、複数の取得方法について述べたが、これらのうち少なくも一つの方法により物体の位置を検出するようにしてもよい。また、自車両９の周辺の物体の位置を検出できる方法であればこれら以外の方法を用いてもよい。
また、上記実施の形態４において、物体の位置が自車両９の近傍の場合、物体の位置に対応するフレーム表示される自車両像のフレームの一部に対してユーザに対して注意すべき箇所を示す指標の画像を重畳することを説明した。これ以外に、ユーザに対して注意すべき箇所を示す指標画像の重畳を時間的に継続して行うのではなく、所定の時間間隔（例えば約１秒の間隔）を空けて重畳と非重畳を繰り返し行うことで、ユーザが合成画像ＩＭｇをみた場合に、画像上の指標画像ＭＡを点滅させるようにしてもよい。なお、点滅させる以外にも、尚、指標画像ＭＡは他のフレーム部分と色を異ならせる他、線の太さを変えたり、あるいはこれらを組み合わせるようにしてもよい。これにより、ユーザは危険箇所をより認識し易くなる。さらに、物体が自車両９の近傍の位置に検出された場合、指標画像ＭＡを重畳する替わりに、または指標画像ＭＡの重畳と併せて図１５に図示しない画像生成装置２ｂに備えられたスピーカから警告音をユーザに対して報知するようにしてもよい。
また、上記実施の形態において、画像生成装置２の制御部２０によって実現されると説明した機能の一部は、表示装置３の制御部によって実現されてもよい。
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
２ 画像生成装置
３ 表示装置
４ 操作部
５ 撮影部
９ 自車両
１０ 画像表示システム

Claims (9)

  1. 車両に搭載されたカメラの撮影画像を取得する取得手段と、
    前記撮影画像から、前記車両および前記車両の周辺領域を仮想視点からみた周辺画像を生成し、該周辺画像に前記車両を示す車両像を重畳した合成画像を生成する生成手段と、
    前記車両の周辺に存在する物体の位置に関する情報を取得する取得手段と、
    を備え、
    前記生成手段は、前記車両像の表示形態を車体の枠全体を略均一の太さの線状のフレームで表すフレーム表示の表示形態とし、前記物体の位置に応じて、前記フレーム表示の表示形態に係る前記枠全体の前記太さを変更すること、
    を特徴とする画像生成装置。
  2. 請求項１に記載の画像生成装置において、
    前記生成手段は、前記フレーム表示の表示形態を、前記フレームの線の太さが異なる複数の前記フレーム表示の中から前記車両のユーザの操作に応じて選択された一のフレーム表示の表示形態とすること、
    を特徴とする画像生成装置。
  3. 請求項１または２に記載の画像生成装置において、
    前記生成手段は、前記仮想視点に応じて、前記車両像を前記フレーム表示、および、前記車両の実像表示のいずれかの表示形態とすること、
    を特徴とする画像生成装置。
  4. 請求項１ないし３のいずれかに記載の画像生成装置において、
    前記フレームは、一方の面と他方の面とが異なる色であり、
    前記生成手段は、前記仮想視点から見た場合に、表示される前記フレームが前記一方の面および前記他方の面のいずれの面かに応じて、前記フレーム表示の表示形態を変更すること、
    を特徴とする画像生成装置。
  5. 請求項１ないし４のいずれかに記載の画像生成装置において、
    前記生成手段は、前記物体の位置が前記車両の位置に近づくにつれて前記フレーム表示のフレームの線の太さを細くすること、
    を特徴とする画像生成装置。
  6. 請求項１ないし５のいずれかに記載の画像生成装置において、
    前記生成手段は、前記物体の位置に対応する前記フレーム表示の一部のフレームの表示形態を変更すること、
    を特徴とする画像生成装置。
  7. 請求項１ないし６のいずれかに記載の画像生成装置と、
    前記画像生成装置から出力された前記合成画像を表示する表示装置と、
    を備えること、
    を特徴とする画像表示システム。
  8. （ａ）車両に搭載されたカメラの撮影画像を取得する工程と、
    （ｂ）前記撮影画像から、前記車両および前記車両の周辺領域を仮想視点からみた周辺画像を生成し、該周辺画像に前記車両を示す車両像を重畳した合成画像を生成する工程と、
    （ｃ）前記車両の周辺に存在する物体の位置に関する情報を取得する工程と、
    を備え、
    前記工程（ｂ）は、前記車両像の表示形態を車体の枠全体を略均一の太さの線状のフレームで表すフレーム表示の表示形態とし、前記物体の位置に応じて、前記フレーム表示の表示形態に係る前記枠全体の前記太さを変更すること、
    を特徴とする画像生成方法。
  9. 車両に搭載されたカメラの撮影画像を取得する取得手段と、
    前記撮影画像から、前記車両および前記車両の周辺領域を仮想視点からみた周辺画像を生成し、該周辺画像に前記車両を示す車両像を重畳した合成画像を生成する生成手段と、
    前記車両の周辺に存在する物体の位置に関する情報を取得する取得手段と、
    を備え、
    前記生成手段は、前記車両像を車体の枠を線状のフレームで表すフレーム表示とし、前記物体の位置が前記車両の位置に近づくにつれて前記フレーム表示のフレームの線の太さを細くすること、
    を特徴とする画像生成装置。
JP2012213889A 2012-09-27 2012-09-27 画像生成装置、画像表示システム、および、画像生成方法 Active JP6014442B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012213889A JP6014442B2 (ja) 2012-09-27 2012-09-27 画像生成装置、画像表示システム、および、画像生成方法
CN201310311280.3A CN103692973B (zh) 2012-09-27 2013-07-23 图像生成装置、图像显示系统、以及图像生成方法
US13/965,602 US9479740B2 (en) 2012-09-27 2013-08-13 Image generating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012213889A JP6014442B2 (ja) 2012-09-27 2012-09-27 画像生成装置、画像表示システム、および、画像生成方法

Publications (2)

Publication Number Publication Date
JP2014068308A JP2014068308A (ja) 2014-04-17
JP6014442B2 true JP6014442B2 (ja) 2016-10-25

Family

ID=50338465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012213889A Active JP6014442B2 (ja) 2012-09-27 2012-09-27 画像生成装置、画像表示システム、および、画像生成方法

Country Status (3)

Country Link
US (1) US9479740B2 (ja)
JP (1) JP6014442B2 (ja)
CN (1) CN103692973B (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6388205B2 (ja) * 2014-02-25 2018-09-12 パナソニックＩｐマネジメント株式会社 表示制御プログラム、表示制御装置、および表示装置
US10293752B2 (en) 2014-08-28 2019-05-21 The University Of Tokyo Display system for work vehicle, display control device, work vehicle, and display control method
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
WO2016035271A1 (ja) * 2014-09-02 2016-03-10 株式会社デンソー 車両用画像処理装置
JP6327160B2 (ja) * 2014-09-02 2018-05-23 株式会社デンソー 車両用画像処理装置
JP6744294B2 (ja) 2015-03-23 2020-08-19 株式会社小糸製作所 車輌用灯具
CN106143303A (zh) * 2015-04-23 2016-11-23 唐勇超 一种汽车驾驶影像技术
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP6662175B2 (ja) * 2016-04-21 2020-03-11 日産自動車株式会社 表示方法及び運転支援装置
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Ｓｏｋｅｎ 表示制御装置
JP6868805B2 (ja) * 2016-06-07 2021-05-12 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、およびプログラム
DE102016217488A1 (de) * 2016-09-14 2018-03-15 Robert Bosch Gmbh Verfahren zum Bereitstellen einer Rückspiegelansicht einer Fahrzeugumgebung eines Fahrzeugs
WO2018051810A1 (ja) * 2016-09-16 2018-03-22 ソニー株式会社 画像処理装置および方法、並びに画像処理システム
JP6816436B2 (ja) 2016-10-04 2021-01-20 アイシン精機株式会社 周辺監視装置
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
JP2018063294A (ja) * 2016-10-11 2018-04-19 アイシン精機株式会社 表示制御装置
JP6730177B2 (ja) * 2016-12-28 2020-07-29 株式会社デンソーテン 画像生成装置および画像生成方法
JP2018110328A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
US20180278922A1 (en) * 2017-03-22 2018-09-27 Bragi GmbH Wireless earpiece with a projector
JP6962036B2 (ja) * 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
JP7056034B2 (ja) * 2017-08-14 2022-04-19 株式会社アイシン 周辺監視装置
US11004226B2 (en) * 2017-09-07 2021-05-11 Sony Corporation Image processing device, image processing method, and image display system for grasping a distance from an obstacle with a smaller visual line shift
DE102018100212A1 (de) * 2018-01-08 2019-07-11 Connaught Electronics Ltd. Verfahren zum Darstellen einer Umgebung eines Fahrzeugs durch Einblenden und Ausblenden eines Modells des Fahrzeugs in einem virtuellen Bild; Steuereinheit; Fahrerassistenzsystem; sowie Kameraeinrichtung
DE102018100599A1 (de) * 2018-01-12 2019-07-18 Connaught Electronics Ltd. Verfahren zum Darstellen einer Umgebung eines Fahrzeugs durch Anpassen eines Modells des Fahrzeugs in einem virtuellen Bild an Wetterbedingungen; Steuereinheit; Fahrerassistenzsystem; sowie Kameraeinrichtung
JP7140498B2 (ja) * 2018-01-25 2022-09-21 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置及び表示システム
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP6802226B2 (ja) 2018-09-12 2020-12-16 矢崎総業株式会社 車両用表示装置
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
JP7283059B2 (ja) 2018-11-28 2023-05-30 株式会社アイシン 周辺監視装置
CN109849788B (zh) * 2018-12-29 2021-07-27 北京七鑫易维信息技术有限公司 信息提供方法、装置及系统
JP7318265B2 (ja) * 2019-03-28 2023-08-01 株式会社デンソーテン 画像生成装置および画像生成方法
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP7293862B2 (ja) * 2019-05-24 2023-06-20 沖電気工業株式会社 移動体表示システム、画像処理装置及び画像処理プログラム
US11136025B2 (en) * 2019-08-21 2021-10-05 Waymo Llc Polyline contour representations for autonomous vehicles
JP7443705B2 (ja) * 2019-09-12 2024-03-06 株式会社アイシン 周辺監視装置
JP7327171B2 (ja) * 2020-01-08 2023-08-16 トヨタ自動車株式会社 車両用電子ミラーシステム
JP7460385B2 (ja) * 2020-02-13 2024-04-02 Ｇｏ株式会社 プログラム、車両端末及び表示方法
US11661722B2 (en) 2020-11-19 2023-05-30 Deere & Company System and method for customized visualization of the surroundings of self-propelled work vehicles
JP7491194B2 (ja) * 2020-11-23 2024-05-28 株式会社デンソー 周辺画像生成装置、表示制御方法
CN112818743B (zh) * 2020-12-29 2022-09-23 腾讯科技（深圳）有限公司 图像识别的方法、装置、电子设备及计算机存储介质
CN116095298A (zh) * 2021-11-06 2023-05-09 浙江吉利控股集团有限公司 车外场景显示方法、头戴显示设备、终端设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029349A (ja) * 2000-07-13 2002-01-29 Nissan Motor Co Ltd 車両周囲認識装置
JP4593070B2 (ja) * 2001-12-12 2010-12-08 株式会社エクォス・リサーチ 車両の画像処理装置
JP3972722B2 (ja) * 2002-04-24 2007-09-05 株式会社エクォス・リサーチ 車載画像処理装置
JP3797343B2 (ja) * 2003-05-12 2006-07-19 株式会社デンソー 車両周辺表示装置
JP4329525B2 (ja) 2003-12-16 2009-09-09 株式会社エクォス・リサーチ 車外情報表示装置
JP4569285B2 (ja) * 2004-12-13 2010-10-27 日産自動車株式会社 画像処理装置
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
JP4579145B2 (ja) 2005-11-30 2010-11-10 アルパイン株式会社 車両周辺画像表示装置
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
JP4895940B2 (ja) * 2007-08-13 2012-03-14 アルパイン株式会社 車両周辺画像表示装置および表示モード情報表示方法
JP2009265803A (ja) * 2008-04-23 2009-11-12 Panasonic Corp 車両視界支援装置
JP5636609B2 (ja) * 2008-05-08 2014-12-10 アイシン精機株式会社 車両周辺表示装置
JP2010093567A (ja) 2008-10-08 2010-04-22 Panasonic Corp 画像処理装置
JP5439890B2 (ja) 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
JP5592138B2 (ja) * 2010-03-31 2014-09-17 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム

Also Published As

Publication number Publication date
CN103692973B (zh) 2015-12-23
US20140085466A1 (en) 2014-03-27
US9479740B2 (en) 2016-10-25
CN103692973A (zh) 2014-04-02
JP2014068308A (ja) 2014-04-17

Similar Documents

Publication Publication Date Title
JP6014442B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
JP6148887B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
EP2739050B1 (en) Vehicle surroundings monitoring system
JP5454934B2 (ja) 運転支援装置
WO2018105417A1 (ja) 撮像装置、画像処理装置、表示システム、および車両
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP5692403B2 (ja) 障害物警報装置
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP7283059B2 (ja) 周辺監視装置
JP5495071B2 (ja) 車両周辺監視装置
JP5516998B2 (ja) 画像生成装置
JP2016063390A (ja) 画像処理装置、及び画像表示システム
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
JP2011251681A (ja) 映像表示装置及び映像表示方法
WO2013065341A1 (ja) 障害物警報装置
JP2005242606A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
JP2018110328A (ja) 画像処理装置および画像処理方法
JP5977130B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
JP2012001126A (ja) 車両用周辺監視装置
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP5861449B2 (ja) 障害物警報装置
JP5974476B2 (ja) 障害物警報装置
JP5660395B2 (ja) 障害物警報装置
WO2013065122A1 (ja) 障害物警報装置
JP5787168B2 (ja) 障害物警報装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160926

R150 Certificate of patent or registration of utility model

Ref document number: 6014442

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250