JP5548002B2 - 画像生成装置、画像表示システム及び画像生成方法 - Google Patents

画像生成装置、画像表示システム及び画像生成方法 Download PDF

Info

Publication number
JP5548002B2
JP5548002B2 JP2010070312A JP2010070312A JP5548002B2 JP 5548002 B2 JP5548002 B2 JP 5548002B2 JP 2010070312 A JP2010070312 A JP 2010070312A JP 2010070312 A JP2010070312 A JP 2010070312A JP 5548002 B2 JP5548002 B2 JP 5548002B2
Authority
JP
Japan
Prior art keywords
vehicle
image
captured
camera
lighting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010070312A
Other languages
English (en)
Other versions
JP2011205375A (ja
Inventor
正博 山田
梓 松岡
奨 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2010070312A priority Critical patent/JP5548002B2/ja
Priority to CN2011100381283A priority patent/CN102202214B/zh
Priority to US13/032,946 priority patent/US8780202B2/en
Publication of JP2011205375A publication Critical patent/JP2011205375A/ja
Application granted granted Critical
Publication of JP5548002B2 publication Critical patent/JP5548002B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両に搭載された表示装置に表示させる画像を生成する技術に関する。
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをドライバが把握しにくい。これに対して、画像表示システムを利用すれば、車載カメラの撮影によりフロントフェンダの外側領域を示す画像が取得され、その画像が車室内のディスプレイに表示される。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをドライバが容易に確認できることとなる。
また、近年では、車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を利用して、車両の直上などの仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示システムも提案されている（例えば、特許文献１参照。）。
このように仮想視点からの合成画像を生成する画像表示システムでは、例えば、車両の前方、左右側方及び後方にそれぞれ車載カメラが配置され、これらの４つの車載カメラで得られた４つの撮影画像を合成して、合成画像を生成することになる。この合成画像の生成に際して、４つの撮影画像を所定の境界線で単純に繋ぎ合わせた場合においては、撮影画像同士の境界部分に被写体の像の不連続性が発生する。このため、撮影画像同士の境界部分に対応する領域に存在する、あるいは、当該領域を通過する物体を認識しにくくなる。
これに対応するため、隣接して配置される２つの車載カメラが撮影する領域に重複する領域を持たせる。そして、合成画像における撮影画像同士の境界部分をこの２つの車載カメラの撮影画像を所定の割合でブレンドして生成することも提案されている（例えば、特許文献２参照。）。これによれば、撮影画像同士の境界部分における被写体の像の不連続性が緩和され、境界部分に対応する領域にある物体を認識しやすくできる。
特開２００７−３６６６８号公報 特開２００２−３５４４６８号公報
ところで、合成画像の生成に利用する複数の車載カメラはそれぞれ独立して露出制御を行うことが一般的である。
夜間などで車両の周辺環境が暗く車両のヘッドライトが点灯された場合においては、車両の前方に配置された車載カメラはヘッドライトで照明された比較的明るい領域に基づいて露出制御を行う。一方で、車両の側方に配置された車載カメラは照明の無い非常に暗い領域に基づいて露出制御を行う。このため、側方の車載カメラと前方の車載カメラとでは全く異なる露出制御がなされ、側方の車載カメラでは、前方の車載カメラと比較して画像を大きく明るくする方向の露出制御が実行される。したがって、前方の車載カメラで得られる撮影画像と、側方の車載カメラで得られる撮影画像とでは、重複して撮影可能な領域に存在する同一の被写体の像の明るさが全く異なってしまう。
このため、前方の車載カメラと側方の車載カメラとで重複して撮影可能な領域に対応する合成画像の重複部分（撮影画像同士の境界部分）の生成において、これらの撮影画像をブレンドしたとすると、明るさの全く異なる被写体の像がブレンドされることになる。その結果、合成画像の重複部分に白とびや色滲みなどの不具合が生じ、この重複部分にある被写体の像の視認性が大きく悪化することになる。
本発明は、上記課題に鑑みてなされたものであり、灯火装置の点灯に起因して合成画像に生じる不具合を低減する技術を提供することを目的とする。
上記課題を解決するため、請求項１の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、前記車両が備える灯火装置の点灯状態を示す信号を入力する入力手段と、前記複数の車載カメラのうちの２つの車載カメラで重複して撮影可能な前記車両の周辺の領域に対応する前記合成画像の重複部分に用いる前記２つの車載カメラの２つの撮影画像のデータ量を、前記点灯状態に応じて変更する変更手段と、を備え、前記生成手段は、前記合成画像の重複部分の少なくとも一部を前記２つの車載カメラの２つの撮影画像をブレンドして生成し、前記変更手段は、前記灯火装置が点灯中の場合は、前記灯火装置が非点灯の場合よりも、前記２つの車載カメラのうち、点灯中の前記灯火装置が照明する領域に光軸が向けられた第１車載カメラの撮影画像のデータ量を増加させ、他方の第２車載カメラの撮影画像のデータ量を減少させる。
また、請求項２の発明は、請求項１に記載の画像生成装置において、前記変更手段は、前記灯火装置が点灯中の場合は、前記灯火装置が非点灯の場合よりも、前記合成画像の重複部分における、前記第１車載カメラの撮影画像を用いる範囲を広げ、前記第２車載カメラの撮影画像を用いる範囲を狭くする。
また、請求項３の発明は、請求項１または２に記載の画像生成装置において、前記変更手段は、前記灯火装置が点灯中の場合は、前記灯火装置が非点灯の場合よりも、前記第１車載カメラの撮影画像と前記第２車載カメラの撮影画像とをブレンドする領域を狭くする。
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像生成装置において、前記変更手段は、前記灯火装置が点灯中の場合は、前記灯火装置が非点灯の場合よりも、前記第１車載カメラの撮影画像と前記第２車載カメラの撮影画像とをブレンドする領域における、前記第１車載カメラの撮影画像のブレンドの割合を高くする。
また、請求項５の発明は、車両に搭載される画像表示システムであって、請求項１ないし４のいずれかに記載の画像生成装置と、前記画像生成装置で生成された画像を表示する表示装置と、を備えている。
また、請求項６の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成方法であって、（ａ）前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する工程と、（ｂ）前記車両が備える灯火装置の点灯状態を示す信号を入力する工程と、（ｃ）前記複数の車載カメラのうちの２つの車載カメラで重複して撮影可能な前記車両の周辺の領域に対応する前記合成画像の重複部分に用いる前記２つの車載カメラの２つの撮影画像のデータ量を、前記点灯状態に応じて変更する工程と、を備え、前記工程（ａ）は、前記合成画像の重複部分の少なくとも一部を前記２つの車載カメラの２つの撮影画像をブレンドして生成し、前記工程（ｃ）は、前記灯火装置が点灯中の場合は、前記灯火装置が非点灯の場合よりも、前記２つの車載カメラのうち、点灯中の前記灯火装置が照明する領域に光軸が向けられた第１車載カメラの撮影画像のデータ量を増加させ、他方の第２車載カメラの撮影画像のデータ量を減少させる。
請求項１ないし６の発明によれば、合成画像の重複部分に用いる撮影画像のデータ量を灯火装置の点灯状態に応じて変更するため、灯火装置の点灯に起因して合成画像の重複部分に生じる不具合を低減できる。また、適切な明るさの第１車載カメラの撮影画像のデータ量を増加させる一方で、第２車載カメラの撮影画像のデータ量を減少させるため、合成画像の重複部分に生じる不具合を有効に低減できる。
また、特に請求項２の発明によれば、適切な明るさの第１車載カメラの撮影画像を用いる範囲を広くする一方で、第２車載カメラの撮影画像を用いる範囲を狭くするため、合成画像の重複部分に生じる不具合を有効に低減できる。
また、特に請求項３の発明によれば、第１車載カメラの撮影画像と第２車載カメラの撮影画像とをブレンドする領域を狭くするため、合成画像の重複部分に生じる不具合を有効に低減できる。
また、特に請求項４の発明によれば、適切な明るさの第１車載カメラの撮影画像のブレンドの割合を高くするため、合成画像の重複部分に生じる不具合を有効に低減できる。
図１は、画像表示システムの構成を示すブロック図である。 図２は、車載カメラが車両に配置される位置を示す図である。 図３は、画像表示システムの動作モードの遷移を示す図である。 図４は、合成画像を生成する手法を説明するための図である。 図５は、立体曲面において撮影画像が対応する範囲を示す図である。 図６は、通常時における重複部分の画素の値の導出手法を説明する図である。 図７は、ヘッドライトが点灯している状態を示す図である。 図８は、ブレーキランプが点灯している状態を示す図である。 図９は、ヘッドライトの点灯時における重複部分の画素の値の導出手法を説明する図である。 図１０は、ブレーキランプの点灯時における重複部分の画素の値の導出手法を説明する図である。 図１１は、ヘッドライト及びブレーキランプの点灯時における重複部分の画素の値の導出手法を説明する図である。 図１２は、画像表示システムが合成画像を表示させる処理の流れを示す図である。 図１３は、第２の実施の形態における重複部分の画素の値の導出手法を説明する図である。 図１４は、第３の実施の形態における重複部分の画素の値の導出手法を説明する図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
図１に示すように、画像表示システム１２０は、車両の周辺を示す画像を生成する画像生成装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された画像は、ナビゲーション装置２０において表示される。
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
ナビゲーション装置２０は、画像生成装置１００と通信可能に接続され、画像生成装置１００との間で各種の制御信号の送受信や、画像生成装置１００で生成された画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像生成装置１００で生成された車両の周辺の様子を示す画像が表示される。これにより、ナビゲーション装置２０は、画像生成装置１００で生成された画像を受信して表示する表示装置としても機能する。
画像生成装置１００は、その本体部１０が画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像生成装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する。
撮影部５は、本体部１０に電気的に接続され本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３及び右サイドカメラ５４を備えている。各車載カメラ５１〜５４は、レンズと撮像素子とを備えており電子的に画像を取得する。
また、各車載カメラ５１〜５４は、光軸の方向の領域の明るさに基づいて、光軸の方向に存在する被写体の像が撮影画像において適正な明るさとなるように露出制御を行う。例えば、光軸の方向の領域が比較的明るい場合は、撮影画像を暗くする方向の露出制御が実行される。具体的には、絞りの開口径を小さくし、露光時間を短くし、オートゲインコントロールのゲインを減少するなどの制御が実行される。また逆に、光軸の方向の領域が比較的暗い場合は、撮影画像を明るくする方向の露出制御が実行される。具体的には、絞りの開口径を大きくし、露光時間を長くし、オートゲインコントロールのゲインを増大するなどの制御が実行される。このような露出制御は、複数の車載カメラ５１〜５４のそれぞれで独立して実行される。
これらの複数の車載カメラ５１〜５４は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
また、左サイドカメラ５３は左側のドアミラー９３に設けられ、その光軸５３ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の左側に向けられている。一方、右サイドカメラ５４は右側のドアミラー９３に設けられ、その光軸５４ａは車両９の左右方向に沿って車両９の右側に向けられている。
これらの車載カメラ５１〜５４のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５４は１８０度以上の画角αを有している。このため、４つの車載カメラ５１〜５４を利用することで、車両９の全周囲の撮影が可能となっている。また、図中においてハッチングで示す領域ＬＡ１〜ＬＡ４は、隣接して配置される２つの車載カメラで重複して撮影可能な車両９の周辺の領域となっている。具体的には、車両９の前方左側の領域ＬＡ１は、フロントカメラ５１及び左サイドカメラ５３で重複して撮影可能な領域である。また、車両９の前方右側の領域ＬＡ２は、フロントカメラ５１及び右サイドカメラ５４で重複して撮影可能な領域である。また、車両９の後方左側の領域ＬＡ３は、バックカメラ５２及び左サイドカメラ５３で重複して撮影可能な領域である。また、車両９の後方右側の領域ＬＡ４は、バックカメラ５２及び右サイドカメラ５４で重複して撮影可能な領域である。
図１に戻り、画像生成装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像生成装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。
撮影画像調整部３１は、撮影部５で取得された撮影画像を対象とし、表示に利用するための調整を行うものである。具体的には、撮影画像調整部３１は、撮影画像に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。
合成画像生成部３２は、撮影部５の複数の車載カメラ５１〜５４で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。
撮影画像調整部３１に調整された撮影画像や合成画像生成部３２により生成された合成画像はさらに表示用の画像に調整され、その後、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、被写体として車両の周辺の領域を含む画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１は、このようにして実現される制御部１の機能のうちの一部を示している。
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。
また、画像生成装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３２が合成画像を生成する際に必要となる車両の種別に応じたデータである。
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像生成装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、及び、灯火制御装置８４などから、各種情報を示す信号が制御部１に入力される。
シフトセンサ８１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
灯火制御装置８４は、車両に標準的に設けられる、ヘッドライト（前照灯）やブレーキランプ（制動灯）などの車両の通常の走行に用いる走行用の灯火装置の制御を行う。灯火制御装置８４は、ドライバの操作に応答してヘッドライトを点灯させ、ドライバによりブレーキが踏まれた場合はブレーキランプを点灯させる。灯火制御装置８４からは、このような灯火装置の点灯状態を示す信号が入力される。
＜１−２．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図３は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ１、フロントモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。これらの動作モードは、ドライバの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
ナビモードＭ１は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像ＮＰを主にディスプレイ２１に表示する動作モードである。ナビモードＭ１では、画像生成装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。
これに対して、フロントモードＭ２及びバックモードＭ３は、画像生成装置１００の機能を利用して、撮影画像ＰＰや合成画像ＣＰをディスプレイ２１に表示して、車両９の周辺の状況をリアルタイムでユーザに示す動作モードである。
フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、フロントカメラ５１での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の後方側などへ切り替えられるようになっていてもよい。
また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、バックカメラ５２での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の前方側などへ切り替えられるようになっていてもよい。
ナビモードＭ１において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、フロントモードＭ２に切り替えられる。また、フロントモードＭ２において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、ナビモードＭ１に切り替えられる。なお、ナビモードＭ１とフロントモードＭ２とは、車速度センサ８２から入力される走行速度に応じて切り替えてもよい。
また、ナビモードＭ１あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。
＜１−３．合成画像の生成＞
次に、画像生成部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて任意の仮想視点からみた車両９の周辺の様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図４は、合成画像を生成する手法を説明するための図である。
撮影部５の４つの車載カメラ５１〜５４で同時に撮影が行われると、フロントカメラ５１で車両９の前方を示す撮影画像Ｐ１、バックカメラ５２で車両９の後方を示す撮影画像Ｐ２、左サイドカメラ５３で車両９の左側方を示す撮影画像Ｐ３、右サイドカメラ５４で車両９の右側方を示す撮影画像Ｐ４がそれぞれ取得される。これら４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像９０が仮想的に構成される。構成された車両像９０は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１の画像制御部１１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像９０に関してレンダリングがなされ、その結果となる二次元の車両像９０が、切り出された画像に対して重畳される。これにより、任意の仮想視点からみた車両９及びその車両９の周辺の様子を示す合成画像が生成されることになる。
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像９０）及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像９０）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して合成画像の生成に必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
前述のように、隣接して配置される２つの車載カメラにおいては重複して撮影可能な領域ＬＡ１〜ＬＡ２が存在する（図２参照。）。立体曲面ＳＰにおいては、この重複して撮影可能な領域ＬＡ１〜ＬＡ２に対応する部分が存在する。当該部分については、２つの撮影画像と重複して対応付けられるため、以下「重複部分」という。合成画像は、立体曲面ＳＰの一部を切り出して生成されることから、この立体曲面ＳＰの重複部分は、合成画像の重複部分であるともいえる。
図５は、立体曲面ＳＰにおいて、４つの撮影画像Ｐ１〜Ｐ４がそれぞれ対応する範囲を示す図である。図５中においては、４つの撮影画像Ｐ１〜Ｐ４がそれぞれ対応する範囲を、当該撮影画像と同じ符号を付した矢印で示している。
図５に示すように、立体曲面ＳＰには４つの重複部分ＯＡ１〜ＯＡ４が存在している。具体的には、車両像９０の前方左側の重複部分ＯＡ１は、車両９の前方左側の領域ＬＡ１に対応し、前方の撮影画像Ｐ１の範囲と左側方の撮影画像Ｐ３の範囲との双方に含まれている。また、車両像９０の前方右側の重複部分ＯＡ２は、車両９の前方右側の領域ＬＡ２に対応し、前方の撮影画像Ｐ１の範囲と右側方の撮影画像Ｐ４の範囲との双方に含まれている。また、車両像９０の後方左側の重複部分ＯＡ３は、車両９の後方左側の領域ＬＡ３に対応し、後方の撮影画像Ｐ２の範囲と左側方の撮影画像Ｐ３の範囲との双方に含まれている。また、車両像９０の後方右側の重複部分ＯＡ４は、車両９の後方右側の領域ＬＡ４に対応し、後方の撮影画像Ｐ２の範囲と右側方の撮影画像Ｐ４の範囲との双方に含まれている。
これらの立体曲面ＳＰの重複部分ＯＡ１〜ＯＡ４の画素の値については、それぞれ対応する２つの撮影画像の画素の値を組み合わせて用いて導出される。なお、重複部分ＯＡ１〜ＯＡ４に関する画像の処理については左右対称としているため、以下の説明では左側の重複部分ＯＡ１，ＯＡ３を例に処理の内容を具体的に説明するが、右側の重複部分ＯＡ２，ＯＡ４に関しても左右反転して同様の処理がなされる。
図６は、通常時において、立体曲面ＳＰの重複部分ＯＡ１〜ＯＡ４の画素の値を導出する手法を説明する図である。図６中においては、４つの撮影画像Ｐ１〜Ｐ４がそれぞれ用いられる範囲を、当該撮影画像と同じ符号を付した矢印で示している。
重複部分ＯＡ１においては、車両像９０の左右方向に対して４５°となる角度で車両像９０の前方左角から伸ばした線分が基準線ＣＬ１とされる。そして、前方左角を基点として、基準線ＣＬ１から左回転方向に３０°傾けた線分ＥＬ１の範囲まで前方の撮影画像Ｐ１が用いられる。一方で、基準線ＣＬ１から右回転方向に３０°傾けた線分ＥＬ２の範囲まで左側方の撮影画像Ｐ３が用いられる。
したがって、重複部分ＯＡ１のうち線分ＥＬ１より後側の領域ＮＡ１の画素の値については左側方の撮影画像Ｐ３のみが用いられ、線分ＥＬ２より右側の領域ＮＡ２の画素の値については前方の撮影画像Ｐ１のみが用いられる。そして、線分ＥＬ１と線分ＥＬ２とに挟まれた領域ＢＡ１の画素の値は、前方の撮影画像Ｐ１の画素の値と左側方の撮影画像Ｐ３の画素の値とを、同じ割合（０．５：０．５）でアルファブレンドして導出される。
また、重複部分ＯＡ３においては、車両像９０の左右方向に対して４５°となる角度で車両像９０の後方左角から伸ばした線分が基準線ＣＬ２とされる。そして、後方左角を基点として、基準線ＣＬ２から右回転方向に３０°傾けた線分ＥＬ３の範囲まで後方の撮影画像Ｐ２が用いられる。一方で、基準線ＣＬ２から左回転方向に３０°傾けた線分ＥＬ４の範囲まで左側方の撮影画像Ｐ３が用いられる。
したがって、重複部分ＯＡ３のうち線分ＥＬ３より前側の領域ＮＡ３の画素の値については左側方の撮影画像Ｐ３のみが用いられ、線分ＥＬ４より右側の領域ＮＡ４の画素の値については後方の撮影画像Ｐ２のみが用いられる。そして、線分ＥＬ３と線分ＥＬ４とに挟まれた領域ＢＡ２の画素の値は、後方の撮影画像Ｐ２の画素の値と左側方の撮影画像Ｐ３の画素の値とを、同じ割合（０．５：０．５）でアルファブレンドして導出される。
＜１−４．灯火装置の点灯による不具合＞
灯火装置が点灯すると、撮影画像Ｐ１〜Ｐ４の明るさが変化する。その結果、撮影画像Ｐ１〜Ｐ４を用いて生成される合成画像にも影響する。以下、灯火装置の点灯によって生じる合成画像への影響について説明する。
図７は、車両９のヘッドライト９８が点灯している状態を示す図である。図中においてハッチングで示す領域ＨＡが、ヘッドライト９８により照明される領域を示している。図に示すように、２つの車載カメラで重複して撮影可能な前方の２つの領域ＬＡ１，ＬＡ２は、ヘッドライト９８によって照明される。
ここで、夜間など車両９の周辺環境が暗い場合に、ヘッドライト９８が点灯された状態で、合成画像を生成する場合について想定する。
フロントカメラ５１の光軸５１ａは、ヘッドライト９８が照明する領域に向けられている。このため、フロントカメラ５１では、ヘッドライト９８で照明された領域に存在する被写体の像が適正な明るさとなるように露出制御が実行される。ヘッドライト９８によって領域ＬＡ１も照明されることから、フロントカメラ５１で取得される撮影画像Ｐ１に含まれる領域ＬＡ１に存在する被写体の像は、適正な明るさとなる。
一方で、左サイドカメラ５３の光軸５３ａは、ヘッドライト９８の照明がなされていない車両９の左側に向けられている。このため、左サイドカメラ５３では、照明の無い非常に暗い領域に存在する被写体の像が適正な明るさとなるように、撮影画像をできるだけ明るくする方向の露出制御が実行される。一方で、領域ＬＡ１についてはヘッドライト９８によって明るく照明されることから、左サイドカメラ５３で取得される撮影画像Ｐ３に含まれる領域ＬＡ１に存在する被写体の像は極端に明るくなりすぎ、白とびが生じる。
このような撮影画像Ｐ１及び撮影画像Ｐ３を含む撮影画像Ｐ１〜Ｐ４を用いて、仮に図６に示す手法で立体曲面ＳＰの重複部分ＯＡ１の画素の値を導出したとする。この場合、重複部分ＯＡ１のうち線分ＥＬ２より右側の領域ＮＡ２では、前方の撮影画像Ｐ１のみが用いられるため、適切な明るさとなる。しかしながら、線分ＥＬ１より後側の領域ＮＡ１では、左側方の撮影画像Ｐ３のみが用いられるため、白とびが生じた状態となる。さらに、線分ＥＬ１と線分ＥＬ４とに挟まれた領域ＢＡ１では、極端に明るさの異なる撮影画像Ｐ１と撮影画像Ｐ３との画素の値がアルファブレンドされることになり、色滲みが発生してしまう。その結果、この重複部分ＯＡ１を含む合成画像では、この重複部分ＯＡ１に存在する被写体の像の視認性が大きく悪化してしまうことになる。このような現象は、重複部分ＯＡ２についても同様に生じる。
図８は、車両９のブレーキランプ９９が点灯している状態を示す図である。図中においてハッチングで示す領域ＲＡが、ブレーキランプ９９により照明される領域を示している。図に示すように、２つの車載カメラで重複して撮影可能な後方の２つの領域ＬＡ３，ＬＡ４は、ブレーキランプ９９によって照明される。
ここで、夜間など車両９の周辺環境が暗い場合に、ブレーキランプ９９が点灯された状態で、合成画像を生成する場合について想定する。
バックカメラ５２の光軸５２ａは、ブレーキランプ９９が照明する領域に向けられている。このため、バックカメラ５２では、ブレーキランプ９９で照明された領域に存在する被写体の像が適正な明るさとなるように露出制御が実行される。ブレーキランプ９９によって領域ＬＡ３も照明されることから、バックカメラ５２で取得される撮影画像Ｐ２に含まれる領域ＬＡ３に存在する被写体の像は、適正な明るさとなる。
一方で、左サイドカメラ５３の光軸５３ａは、ブレーキランプ９９の照明がなされていない車両９の左側に向けられている。このため、左サイドカメラ５３では、照明の無い非常に暗い領域に存在する被写体の像が適正な明るさとなるように、撮影画像をできるだけ明るくする方向の露出制御が実行される。一方で、領域ＬＡ３についてはブレーキランプ９９によって明るく照明されることから、左サイドカメラ５３で取得される撮影画像Ｐ３に含まれる領域ＬＡ３に存在する被写体の像は極端に明るくなりすぎ、白とびが生じる。
このような撮影画像Ｐ２及び撮影画像Ｐ３を含む撮影画像Ｐ１〜Ｐ４を用いて、仮に図６に示す手法で立体曲面ＳＰの重複部分ＯＡ３の画素の値を導出したとする。この場合、重複部分ＯＡ３のうち線分ＥＬ４より右側の領域ＮＡ４では、後方の撮影画像Ｐ２のみが用いられるため、適切な明るさとなる。しかしながら、線分ＥＬ３より前側の領域ＮＡ３では、左側方の撮影画像Ｐ３のみが用いられるため、白とびが生じた状態となる。さらに、線分ＥＬ３と線分ＥＬ４とに挟まれた領域ＢＡ２では、極端に明るさの異なる撮影画像Ｐ２と撮影画像Ｐ３との画素の値がアルファブレンドされることになり、色滲みが発生してしまう。その結果、この重複部分ＯＡ３を含む合成画像では、この重複部分ＯＡ３に存在する被写体の像の視認性が大きく悪化してしまうことになる。このような現象は、重複部分ＯＡ４についても同様に生じる。
＜１−５．不具合の低減＞
本実施の形態の画像表示システム１２０では、灯火装置が非点灯の場合は、図６に示す手法で立体曲面ＳＰの重複部分ＯＡ１〜ＯＡ４の画素の値を導出する。しかしながら、灯火装置が点灯した場合は、点灯によって生じる上述した合成画像の不具合を低減するため、図６に示すものとは一部が異なる手法で立体曲面ＳＰの重複部分ＯＡ１〜ＯＡ４の画素の値を導出するようにしている。
図９は、ヘッドライト９８の点灯時において採用される立体曲面ＳＰの重複部分ＯＡ１〜ＯＡ４の画素の値を導出する手法を説明する図である。図９中においても、４つの撮影画像Ｐ１〜Ｐ４がそれぞれ用いられる範囲を、当該撮影画像と同じ符号を付した矢印で示している。
図９に示す手法では、図６に示す手法と比較して、適正な明るさの撮影画像Ｐ１を用いる範囲を最大限に広げる一方で、白とびが生じている撮影画像Ｐ３を用いる範囲を狭くしている。換言すれば、ヘッドライト９８が照明する領域に光軸が向けられたフロントカメラ５１の撮影画像Ｐ１のデータ量を増加させ、ヘッドライト９８が照明する領域に光軸が向けられていない左サイドカメラ５３の撮影画像Ｐ３のデータ量を減少させているともいえる。
具体的には、重複部分ＯＡ１においては、車両像９０の左右方向に対して２５°となる角度で車両像９０の前方左角から伸ばした線分が基準線ＣＬ１とされる。そして、前方左角を基点として、基準線ＣＬ１から左回転方向に３０°傾けた線分ＥＬ１の範囲まで前方の撮影画像Ｐ１が用いられる。一方で、基準線ＣＬ１から右回転方向に３０°傾けた線分ＥＬ２の範囲まで左側方の撮影画像Ｐ３が用いられる。
これにより、図６に示す手法と比較して、線分ＥＬ１と線分ＥＬ２とに挟まれた領域ＢＡ１が左回転方向に移動される。これにより、前方の撮影画像Ｐ１のみが用いられる領域ＮＡ２が増加され、左側方の撮影画像Ｐ３のみが用いられる領域ＮＡ１が無くなる。したがって、重複部分ＯＡ１において、適正な明るさの領域を広げることができるとともに、白とびが生じる領域を解消できる。その結果、重複部分ＯＡ１を含む合成画像では、この重複部分ＯＡ１に存在する被写体の像の視認性を向上できることになる。なお、図９に示す手法では、車両像９０の後方の重複部分ＯＡ３，ＯＡ４については、図６に示す手法と同様の手法となっている。
図１０は、ブレーキランプ９９の点灯時において採用される立体曲面ＳＰの重複部分ＯＡ１〜ＯＡ４の画素の値を導出する手法を説明する図である。図１０中においても、４つの撮影画像Ｐ１〜Ｐ４がそれぞれ用いられる範囲を、当該撮影画像と同じ符号を付した矢印で示している。
図１０に示す手法では、図６に示す手法と比較して、適正な明るさの撮影画像Ｐ２を用いる範囲を最大限に広げる一方で、白とびが生じている撮影画像Ｐ３を用いる範囲を狭くしている。換言すれば、ブレーキランプ９９が照明する領域に光軸が向けられたバックカメラ５２の撮影画像Ｐ２のデータ量を増加させ、ブレーキランプ９９が照明する領域に光軸が向けられていない左サイドカメラ５３の撮影画像Ｐ３のデータ量を減少させているともいえる。
具体的には、重複部分ＯＡ３においては、車両像９０の左右方向に対して２５°となる角度で車両像９０の後方左角から伸ばした線分が基準線ＣＬ２とされる。そして、後方左角を基点として、基準線ＣＬ２から右回転方向に３０°傾けた線分ＥＬ３の範囲まで後方の撮影画像Ｐ２が用いられる。一方で、基準線ＣＬ１から左回転方向に３０°傾けた線分ＥＬ４の範囲まで左側方の撮影画像Ｐ３が用いられる。
これにより、図６に示す手法と比較して、線分ＥＬ３と線分ＥＬ４とに挟まれた領域ＢＡ２が右回転方向に移動される。これにより、後方の撮影画像Ｐ２のみが用いられる領域ＮＡ４が増加され、左側方の撮影画像Ｐ３のみが用いられる領域ＮＡ３が無くなる。したがって、重複部分ＯＡ３において、適正な明るさの領域を広げることができるとともに、白とびが生じる領域を解消できる。その結果、重複部分ＯＡ３を含む合成画像では、この重複部分ＯＡ３に存在する被写体の像の視認性を向上できることになる。なお、図１０に示す手法では、車両像９０の前方の重複部分ＯＡ１，ＯＡ２については、図６に示す手法と同様の手法となっている。
また、ヘッドライト９８及びブレーキランプ９９の双方が点灯している場合は、図１１に示すように、車両像９０の前方の重複部分ＯＡ１，ＯＡ２については図９に示す手法を採用し、車両像９０の後方の重複部分ＯＡ３，ＯＡ４については図１０に示す手法を採用すればよい。
＜１−６．処理フロー＞
次に、画像表示システム１２０が灯火装置の点灯状態に応じて、重複部分ＯＡ１〜ＯＡ４の画素の値を導出する手法を変更する処理の流れについて説明する。図１２は、画像表示システム１２０が合成画像を表示させる処理の流れを示す図である。この処理は、制御部１の制御によって繰り返し実行されるものである。
まず、ディスプレイ２１に車両９の周辺の様子を示す合成画像を表示させる状態であるかが判定される（ステップＳ１１）。具体的には、動作モードが、フロントモードＭ２またはバックモードＭ３であるかが判定される。動作モードが、ナビモードＭ１の場合は（ステップＳ１１にてＮｏ）、合成画像を表示させないためそのまま処理が終了する。
動作モードが、フロントモードＭ２またはバックモードＭ３の場合は（ステップＳ１１にてＹｅｓ）、次に、ヘッドライト９８が点灯されているか否かが判定される（ステップＳ１２）。ヘッドライト９８の点灯状態は、灯火制御装置８４からの信号に基づいて判断される。ヘッドライト９８が点灯していない場合は（ステップＳ１２にてＮｏ）、処理はステップＳ１４に進む。
一方、ヘッドライト９８が点灯している場合は、立体曲面ＳＰにおける車両像９０の前方の重複部分ＯＡ１，ＯＡ２に係る画素の値の導出手法が、図６に示す手法から図９に示す手法に画像制御部１１により変更される。すなわち、ヘッドライト９８の非点灯時と比較して、重複部分ＯＡ１，ＯＡ２に用いる、フロントカメラ５１の撮影画像Ｐ１のデータ量が増加される一方で、左サイドカメラ５３の撮影画像Ｐ３のデータ量が減少されることになる（ステップＳ１３）。
次に、ブレーキランプ９９が点灯されているか否かが判定される（ステップＳ１４）。ブレーキランプ９９の点灯状態は、灯火制御装置８４からの信号に基づいて判断される。ブレーキランプ９９が点灯していない場合は（ステップＳ１４にてＮｏ）、処理はステップＳ１６に進む。
一方、ブレーキランプ９９が点灯している場合は、立体曲面ＳＰにおける車両像９０の後方の重複部分ＯＡ３，ＯＡ４に係る画素の値の導出手法が、図６に示す手法から図１０に示す手法に画像制御部１１により変更される。すなわち、ブレーキランプ９９の非点灯時と比較して、重複部分ＯＡ３，ＯＡ４に用いる、バックカメラ５２の撮影画像Ｐ２のデータ量が増加され、左サイドカメラ５３の撮影画像Ｐ３のデータ量が減少されることになる（ステップＳ１５）。
次に、灯火装置の点灯状態に応じて変更された手法により、立体曲面ＳＰの各画素の値が導出され、合成画像が生成される（ステップＳ１６）。そして、生成された合成画像がディスプレイ２１に表示される（ステップＳ１７）。
以上のように、本実施の形態の画像表示システム１２０では、複数の車載カメラのうちの２つの車載カメラで重複して撮影可能な車両９の周辺の領域に対応する合成画像の重複部分に用いる撮影画像のデータ量を、ヘッドライト９８及びブレーキランプ９９の点灯状態に応じて変更する。このため、ヘッドライト９８及びブレーキランプ９９の点灯に起因して合成画像の重複部分に生じる不具合を低減できる。
また、灯火装置が照明する領域に光軸が向けられた適切な明るさの車載カメラの撮影画像のデータ量を増加させ、灯火装置が照明する領域に光軸が向けられていない車載カメラの撮影画像のデータ量を減少させるため、合成画像の重複部分に生じる不具合を有効に低減できる。
また、灯火装置が照明する領域に光軸が向けられた適切な明るさの車載カメラの撮影画像を用いる範囲を増加させ、灯火装置が照明する領域に光軸が向けられていない車載カメラの撮影画像を用いる範囲を減少させるため、合成画像の重複部分に生じる不具合を有効に低減できる。
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。第２の実施の形態では、灯火装置が点灯している場合は、灯火装置が非点灯の場合よりも、撮影画像をアルファブレンドする領域を狭くするようにしている。
図１３は、第２の実施の形態における、灯火装置が点灯中の場合の立体曲面ＳＰの重複部分ＯＡ１〜ＯＡ４の画素の値を導出する手法を説明する図である。図１３中においても、４つの撮影画像Ｐ１〜Ｐ４がそれぞれ用いられる範囲を、当該撮影画像と同じ符号を付した矢印で示している。なお、図１３は、ヘッドライト９８及びブレーキランプ９９の双方が点灯している場合を例示しているが、ヘッドライト９８のみが点灯している場合は車両像９０の前方の重複部分ＯＡ１，ＯＡ２のみに当該手法を採用し、ブレーキランプ９９のみが点灯している場合は車両像９０の後方の重複部分ＯＡ３，ＯＡ４のみに当該手法を採用すればよい。
重複部分ＯＡ１においては、車両像９０の左右方向に対して１０°となる角度で車両像９０の前方左角から伸ばした線分が基準線ＣＬ１とされる。そして、前方左角を基点として、基準線ＣＬ１から左回転方向に１５°傾けた線分ＥＬ１の範囲まで前方の撮影画像Ｐ１が用いられる。一方で、基準線ＣＬ１から右回転方向に１５°傾けた線分ＥＬ２の範囲まで左側方の撮影画像Ｐ３が用いられる。
これにより、図９に示す手法と比較して、線分ＥＬ１と線分ＥＬ２とに挟まれた撮影画像Ｐ１，Ｐ３をアルファブレンドする領域ＢＡ１が狭くなり、前方の撮影画像Ｐ１のみが用いられる領域ＮＡ２がさらに増加される。したがって、重複部分ＯＡ１において、適正な明るさの領域を広げることができるとともに、色滲みが生じる領域を減少させることができる。
また、重複部分ＯＡ３においても、車両像９０の左右方向に対して１０°となる角度で車両像９０の後方左角から伸ばした線分が基準線ＣＬ２とされる。そして、後方左角を基点として、基準線ＣＬ２から右回転方向に１５°傾けた線分ＥＬ３の範囲まで後方の撮影画像Ｐ２が用いられる。一方で、基準線ＣＬ２から左回転方向に１５°傾けた線分ＥＬ４の範囲まで左側方の撮影画像Ｐ３が用いられる。
これにより、図１０に示す手法と比較して、線分ＥＬ３と線分ＥＬ４とに挟まれた撮影画像Ｐ２，Ｐ３をアルファブレンドする領域ＢＡ２が狭くなり、後方の撮影画像Ｐ２のみが用いられる領域ＮＡ４がさらに増加される。したがって、重複部分ＯＡ３において、適正な明るさの領域を広げることができるとともに、色滲みが生じる領域を減少させることができる。
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。第３の実施の形態では、灯火装置が点灯している場合は、灯火装置が照明する領域に光軸が向けられた適切な明るさの車載カメラの撮影画像のみを重複部分に用いるようにしている。
図１４は、第３の実施の形態における、灯火装置が点灯中の場合の立体曲面ＳＰの重複部分ＯＡ１〜ＯＡ４の画素の値を導出する手法を説明する図である。図１４中においても、４つの撮影画像Ｐ１〜Ｐ４がそれぞれ用いられる範囲を、当該撮影画像と同じ符号を付した矢印で示している。なお、図１４は、ヘッドライト９８及びブレーキランプ９９の双方が点灯している場合を例示しているが、ヘッドライト９８のみが点灯している場合は車両像９０の前方の重複部分ＯＡ１，ＯＡ２のみに当該手法を採用し、ブレーキランプ９９のみが点灯している場合は車両像９０の後方の重複部分ＯＡ３，ＯＡ４のみに当該手法を採用すればよい。
重複部分ＯＡ１においては、撮影画像Ｐ１，Ｐ３をアルファブレンドする領域ＢＡ１が無くなり、前方の撮影画像Ｐ１のみが用いられる領域ＮＡ２のみとなっている。したがって、重複部分ＯＡ１において、左側方の撮影画像Ｐ３については一切用いられていない。これにより、重複部分ＯＡ１において、適正な明るさの領域のみとすることができるとともに、白とびや色滲みを解消することができる。
重複部分ＯＡ３においても、撮影画像Ｐ２，Ｐ３をアルファブレンドする領域ＢＡ２が無くなり、後方の撮影画像Ｐ２のみが用いられる領域ＮＡ４のみとなっている。したがって、重複部分ＯＡ３において、左側方の撮影画像Ｐ３については一切用いられていない。これにより、重複部分ＯＡ３において、適正な明るさの領域のみとすることができるとともに、白とびや色滲みを解消することができる。
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
上記実施の形態において、アルファブレンドする領域ＢＡ１，ＢＡ２におけるブレンドの割合は、灯火装置が照明する領域に光軸が向けられた車載カメラの撮影画像と、灯火装置が照明する領域に光軸が向けられていない車載カメラの撮影画像とで同じ割合としていた。これに対して、灯火装置が点灯中の場合は灯火装置が非点灯の場合よりも、灯火装置が照明する領域に光軸が向けられた車載カメラの撮影画像のブレンドの割合を高くしてもよい。例えば、灯火装置が照明する領域に光軸が向けられた車載カメラの撮影画像と、灯火装置が照明する領域に光軸が向けられていない車載カメラの撮影画像との割合を、０．７：０．３とすることが考えられる。このようにしても、灯火装置が照明する領域に光軸が向けられた適切な明るさの車載カメラの撮影画像のデータ量を増加させ、灯火装置が照明する領域に光軸が向けられていない車載カメラの撮影画像のデータ量を減少させることができる。その結果、アルファブレンドする領域ＢＡ１，ＢＡ２に生じる色滲みを有効に低減できる。また、このブレンドの割合を変更する手法を採用する場合、アルファブレンドする領域ＢＡ１，ＢＡ２の位置は図６のままとしてもよいが、図９〜図１１，図１３で説明した手法にブレンドの割合を変更する手法を組み合わせてもよい。
また、上記第２の実施の形態では、灯火装置が点灯中の場合は、灯火装置が非点灯の場合と比較して、基準線ＣＬ１，ＣＬ２を移動させた上で、アルファブレンドする領域ＢＡ１，ＢＡ２を狭くするようにしていた。これに対して、基準線ＣＬ１，ＣＬ２は移動させずにアルファブレンドする領域ＢＡ１，ＢＡ２を狭くするようにしてもよい。これによっても、アルファブレンドする領域ＢＡ１，ＢＡ２に生じる色滲みを有効に低減できる。
また、上記実施の形態では、ヘッドライト９８及びブレーキランプ９９の点灯に関してのみ考慮して処理を行っていたが、ヘッドライト９８及びブレーキランプ９９以外の車両９が備える灯火装置の点灯状態を考慮するようにしてもよい。
また、上記実施の形態では、画像生成装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像生成装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
また、上記実施の形態では、画像生成装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
また、上記実施の形態において、画像生成装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
また、上記実施の形態において、信号入力部４１を介して画像生成装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像生成装置１００の制御部１に当該信号を入力すればよい。
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
１ 制御部
１１ 画像制御部
３２ 合成画像生成部
５１ フロントカメラ
５２ バックカメラ
５３ 左サイドカメラ
５４ 右サイドカメラ
８４ 灯火制御装置
９８ ヘッドライト
９９ ブレーキランプ

Claims (6)

  1. 車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
    前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、
    前記車両が備える灯火装置の点灯状態を示す信号を入力する入力手段と、
    前記複数の車載カメラのうちの２つの車載カメラで重複して撮影可能な前記車両の周辺の領域に対応する前記合成画像の重複部分に用いる前記２つの車載カメラの２つの撮影画像のデータ量を、前記点灯状態に応じて変更する変更手段と、
    を備え、
    前記生成手段は、前記合成画像の重複部分の少なくとも一部を前記２つの車載カメラの２つの撮影画像をブレンドして生成し、
    前記変更手段は、
    前記灯火装置が点灯中の場合は、前記灯火装置が非点灯の場合よりも、
    前記２つの車載カメラのうち、点灯中の前記灯火装置が照明する領域に光軸が向けられた第１車載カメラの撮影画像のデータ量を増加させ、他方の第２車載カメラの撮影画像のデータ量を減少させることを特徴とする画像生成装置。
  2. 請求項１に記載の画像生成装置において、
    前記変更手段は、
    前記灯火装置が点灯中の場合は、前記灯火装置が非点灯の場合よりも、
    前記合成画像の重複部分における、前記第１車載カメラの撮影画像を用いる範囲を広げ、前記第２車載カメラの撮影画像を用いる範囲を狭くすることを特徴とする画像生成装置。
  3. 請求項１または２に記載の画像生成装置において、
    前記変更手段は、
    前記灯火装置が点灯中の場合は、前記灯火装置が非点灯の場合よりも、
    前記第１車載カメラの撮影画像と前記第２車載カメラの撮影画像とをブレンドする領域を狭くすることを特徴とする画像生成装置。
  4. 請求項１ないし３のいずれかに記載の画像生成装置において、
    前記変更手段は、
    前記灯火装置が点灯中の場合は、前記灯火装置が非点灯の場合よりも、
    前記第１車載カメラの撮影画像と前記第２車載カメラの撮影画像とをブレンドする領域における、前記第１車載カメラの撮影画像のブレンドの割合を高くすることを特徴とする画像生成装置。
  5. 車両に搭載される画像表示システムであって、
    請求項１ないし４のいずれかに記載の画像生成装置と、
    前記画像生成装置で生成された画像を表示する表示装置と、
    を備えることを特徴とする画像表示システム。
  6. 車両に搭載された表示装置に表示させる画像を生成する画像生成方法であって、
    （ａ）前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する工程と、
    （ｂ）前記車両が備える灯火装置の点灯状態を示す信号を入力する工程と、
    （ｃ）前記複数の車載カメラのうちの２つの車載カメラで重複して撮影可能な前記車両の周辺の領域に対応する前記合成画像の重複部分に用いる前記２つの車載カメラの２つの撮影画像のデータ量を、前記点灯状態に応じて変更する工程と、
    を備え、
    前記工程（ａ）は、前記合成画像の重複部分の少なくとも一部を前記２つの車載カメラの２つの撮影画像をブレンドして生成し、
    前記工程（ｃ）は、
    前記灯火装置が点灯中の場合は、前記灯火装置が非点灯の場合よりも、
    前記２つの車載カメラのうち、点灯中の前記灯火装置が照明する領域に光軸が向けられた第１車載カメラの撮影画像のデータ量を増加させ、他方の第２車載カメラの撮影画像のデータ量を減少させることを特徴とする画像生成方法。
JP2010070312A 2010-03-25 2010-03-25 画像生成装置、画像表示システム及び画像生成方法 Active JP5548002B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010070312A JP5548002B2 (ja) 2010-03-25 2010-03-25 画像生成装置、画像表示システム及び画像生成方法
CN2011100381283A CN102202214B (zh) 2010-03-25 2011-02-12 图像生成装置、图像显示系统及图像生成方法
US13/032,946 US8780202B2 (en) 2010-03-25 2011-02-23 Image generation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010070312A JP5548002B2 (ja) 2010-03-25 2010-03-25 画像生成装置、画像表示システム及び画像生成方法

Publications (2)

Publication Number Publication Date
JP2011205375A JP2011205375A (ja) 2011-10-13
JP5548002B2 true JP5548002B2 (ja) 2014-07-16

Family

ID=44655991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010070312A Active JP5548002B2 (ja) 2010-03-25 2010-03-25 画像生成装置、画像表示システム及び画像生成方法

Country Status (3)

Country Link
US (1) US8780202B2 (ja)
JP (1) JP5548002B2 (ja)
CN (1) CN102202214B (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5362639B2 (ja) * 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5124671B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
US8994825B2 (en) * 2011-07-28 2015-03-31 Robert Bosch Gmbh Vehicle rear view camera system and method
EP2763406A4 (en) * 2011-09-30 2015-06-17 Panasonic Ip Man Co Ltd APPARATUS FOR PRODUCING IMAGES FROM THE BIRDS 'PERSPECTIVE, METHOD FOR PRODUCING IMAGES FROM THE BIRDS' PERSPECTIVE AND PROGRAM FOR GENERATING PICTURES FROM THE BIRDS 'PERSPECTIVE
US20130082606A1 (en) * 2011-10-04 2013-04-04 Yehiel Viner Device and method for automatic calibration of illumination system and energy saving
JP5860663B2 (ja) * 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
EP2808455B1 (en) * 2012-01-27 2018-05-30 Doosan Infracore Co., Ltd. Operational stability enhancing device for construction machinery
TWI578268B (zh) * 2012-02-22 2017-04-11 能晶科技股份有限公司 鳥瞰影像系統及其補償方法
TW201345247A (zh) * 2012-04-27 2013-11-01 Altek Autotronics Corp 鳥瞰圖擷取系統及其鳥瞰圖擷取方法
TWI505203B (zh) * 2012-11-02 2015-10-21 Avisonic Technology Corp 產生車用影像的影像處理方法及影像處理裝置
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
US9834143B2 (en) * 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
JP2015070280A (ja) * 2013-09-26 2015-04-13 京セラ株式会社 画像処理装置、カメラシステム、および画像処理方法
JPWO2015064095A1 (ja) * 2013-10-29 2017-03-09 京セラ株式会社 画像の補正パラメータ出力装置、カメラシステム、および補正パラメータ出力方法
US9767561B2 (en) * 2013-11-18 2017-09-19 Texas Instruments Incorporated Method and apparatus for a optimal seam for surround view synthesis
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
JP6371553B2 (ja) * 2014-03-27 2018-08-08 クラリオン株式会社 映像表示装置および映像表示システム
JP6411100B2 (ja) * 2014-07-08 2018-10-24 アルパイン株式会社 車両周囲画像生成装置および車両周囲画像生成方法
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
CN110641356B (zh) * 2015-04-10 2023-04-07 麦克赛尔株式会社 图像投射装置和图像投射方法
WO2018030285A1 (ja) * 2016-08-08 2018-02-15 株式会社小糸製作所 複数カメラを用いた車両用モニタリングシステム
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
US10486594B2 (en) * 2017-09-19 2019-11-26 Ford Global Technologies, Llc Systems and methods for determining vehicle wireless camera latency
KR102671556B1 (ko) * 2018-10-15 2024-06-07 현대자동차주식회사 차량 및 그 제어방법
JP7318265B2 (ja) * 2019-03-28 2023-08-01 株式会社デンソーテン 画像生成装置および画像生成方法
CN113826378B (zh) * 2019-05-16 2024-05-07 佳能株式会社 布置确定装置、系统、布置确定方法和存储介质
CN113859123B (zh) * 2021-10-08 2024-05-17 上汽通用汽车有限公司 车辆前视系统显示控制方法、存储介质及电子设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968867B2 (ja) 1998-04-24 2007-08-29 日産自動車株式会社 表示処理装置
JP4815677B2 (ja) 2001-02-20 2011-11-16 ソニー株式会社 自動車用ビデオカメラシステム及び自動車用アウトサイドミラー
JP2002354468A (ja) 2001-05-30 2002-12-06 Clarion Co Ltd 画像合成方法及び装置並び車両周囲状況モニタ装置
EP1688883B1 (en) * 2002-12-11 2009-04-01 FUJIFILM Corporation Image correction apparatus and image pickup apparatus
JP2004266376A (ja) * 2003-02-25 2004-09-24 Matsushita Electric Ind Co Ltd 映像合成装置
CN100473152C (zh) * 2003-07-11 2009-03-25 株式会社日立制作所 图像处理相机系统及图像处理相机控制方法
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP2006287513A (ja) * 2005-03-31 2006-10-19 Nissan Motor Co Ltd 車両外状況提示システム
JP4899367B2 (ja) 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
JP4232794B2 (ja) * 2006-05-31 2009-03-04 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP4783227B2 (ja) * 2006-07-06 2011-09-28 パナソニック株式会社 画像合成装置および画像合成方法
US8182125B2 (en) * 2006-11-07 2012-05-22 Rosco Inc. External safety illumination for a bus with light mounted to mirror arm
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP4823938B2 (ja) 2007-02-14 2011-11-24 アルパイン株式会社 画面切り替え判定装置、車両周辺監視装置および画面切り替え判定方法
CN101067879A (zh) * 2007-05-28 2007-11-07 戴宏 机动车日夜行驶观察记录装置
JP4927647B2 (ja) 2007-06-08 2012-05-09 アルパイン株式会社 車両周辺監視装置
JP2009017020A (ja) * 2007-07-02 2009-01-22 Nissan Motor Co Ltd 画像処理装置及び表示画像生成方法
JP5020792B2 (ja) * 2007-12-04 2012-09-05 アルパイン株式会社 合成画像生成装置および合成画像生成方法
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP2011049735A (ja) * 2009-08-26 2011-03-10 Alpine Electronics Inc 車両周辺画像提供装置

Also Published As

Publication number Publication date
US20110234801A1 (en) 2011-09-29
US8780202B2 (en) 2014-07-15
JP2011205375A (ja) 2011-10-13
CN102202214A (zh) 2011-09-28
CN102202214B (zh) 2013-09-18

Similar Documents

Publication Publication Date Title
JP5548002B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP5592138B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP5087051B2 (ja) 画像生成装置及び画像表示システム
JP5604146B2 (ja) 車載照明装置、画像処理装置、画像表示システム及び照明方法
JP5523954B2 (ja) 画像表示システム
JP6077210B2 (ja) 車両用後方監視装置
JP5697512B2 (ja) 画像生成装置、画像表示システム及び画像表示装置
WO2011058875A1 (ja) 車載照明装置、画像処理装置及び画像表示システム
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
JP2008033901A (ja) 車両用画像表示システム
JP2014089513A (ja) 画像生成装置、および画像生成プログラム
JP2008530667A (ja) 赤外画像と可視画像との融合により車両の周辺を可視化するための方法および装置
JP2011135253A (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2011131678A (ja) 画像処理装置、画像処理システム、および、画像処理方法
US20200344450A1 (en) View system for a vehicle
JP5464741B2 (ja) 画像合成装置、及び、画像合成方法
CN111095921A (zh) 显示控制装置
JP2012138876A (ja) 画像生成装置、画像表示システム及び画像表示方法
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2012046124A (ja) 画像表示システム、画像処理装置、および、画像表示方法
JP5677168B2 (ja) 画像表示システム、画像生成装置及び画像生成方法
WO2019039090A1 (ja) 電子ミラーシステム
JP2020052143A (ja) 画像表示装置、画像表示方法
JP2019202584A (ja) 画像処理装置および画像処理方法
JP5413843B2 (ja) 画像処理装置、及び、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140516

R150 Certificate of patent or registration of utility model

Ref document number: 5548002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250