JP7276262B2 - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
JP7276262B2
JP7276262B2 JP2020112169A JP2020112169A JP7276262B2 JP 7276262 B2 JP7276262 B2 JP 7276262B2 JP 2020112169 A JP2020112169 A JP 2020112169A JP 2020112169 A JP2020112169 A JP 2020112169A JP 7276262 B2 JP7276262 B2 JP 7276262B2
Authority
JP
Japan
Prior art keywords
image
vehicle
target
processed image
rear side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020112169A
Other languages
English (en)
Other versions
JP2022011193A (ja
Inventor
友仁 日隈
智陽 飯田
洋平 里見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020112169A priority Critical patent/JP7276262B2/ja
Priority to US17/343,842 priority patent/US11355015B2/en
Priority to CN202110689910.5A priority patent/CN113928218B/zh
Publication of JP2022011193A publication Critical patent/JP2022011193A/ja
Application granted granted Critical
Publication of JP7276262B2 publication Critical patent/JP7276262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は車両用表示装置に関する。
特許文献１には、以下の技術が記載されている。すなわち、車体の後部から後方を撮像した第一の後方画像、車体の右側方を含む右後方を撮像した第二の後方画像、車体の左側方を含む左後方を撮像した第三の後方画像における障害物の有無を検出する。また、障害物が検出された場合、車体の後部から障害物までの距離に基づいて算出されたホモグラフィを用いて、第一の後方画像と第二の後方画像と第三の後方画像とを変換する。そして、変換された第一の後方画像と第二の後方画像と第三の後方画像とを合成して車体の後端部を視点とするパノラマ形式の合成画像を生成し、合成画像を表示装置に表示する。
特開２０１６－１８９５７６号公報
複数の撮像画像の合成に伴って発生する死角領域に、他車両や二輪車などの物標が進入した場合、合成画像上から物標が消失することで、合成画像の視認者が物標の存在を視認できなくなる。
本開示は上記事実を考慮して成されたもので、自車両の周辺に存在する物標が合成画像上から消失することを抑制できる車両用表示装置を得ることが目的である。
第１態様に係る車両用表示装置は、自車両の後方を撮像する後方撮像部と、前記自車両の後側方を撮像する後側方撮像部と、前記後方撮像部で撮像された後方画像に対し所定のパラメータに従って処理を施した後方処理画像と、前記後側方撮像部で撮像された後側方画像に対し所定のパラメータに従って処理を施した後側方処理画像と、を単一の画像に合成した合成画像を生成し、前記合成画像を表示部に表示させる制御部と、を含み、前記制御部が、前記後方画像および前記後側方画像の少なくとも一方に存在する物標を認識する認識部と、前記認識部で認識された物標の前記自車両に対する相対位置および相対速度と、前記合成画像の生成に伴い発生する前記合成画像上に描画されない領域である合成画像の死角領域と、を含む物標相対情報を取得する取得部と、前記取得部に取得された前記物標相対情報に基づいて、前記認識された物標が前記死角領域内に進入することで前記認識された物標が前記合成画像上から消失すると判定した場合に、前記認識された物標が前記合成画像上から消失しないように、前記所定のパラメータを調整することで前記死角領域を変更する変更部と、を含んでいる。
第１態様では、後方画像および後側方画像の少なくとも一方に存在する物標が死角領域内に進入することで前記物標が合成画像上から消失すると判定した場合に、前記物標が合成画像上から消失しないように死角領域を変更する。これにより、前記物標が合成画像の死角領域に入ることが抑止されるので、自車両の周辺に存在する物標が合成画像上から消失することを抑制することができる。
第２態様は、第１態様において、前記変更部は、前記認識された物標の前記自車両に対する相対位置を始点とし当該始点から前記相対速度の方向へ前記認識された物標の前記自車両に対する相対速度に応じて設定される距離だけ離間した位置を終点とする仮想物標と、前記死角領域と、の位置関係に基づいて、前記認識された物標が前記合成画像上から消失するか否かを判定する。
第２態様によれば、自車両と物標との相対速度が大きい場合にも、処理遅れなどを原因として、自車両の周辺に存在する物標が合成画像上から消失することを抑制することができる。
第３態様は、第１態様または第２態様において、前記制御部は、前記自車両の前後方向に延在する軸線に交差しかつ前記自車両の後端から所定距離離れた位置に設定される仮想面上で、前記後方処理画像と前記後側方処理画像とが切れ目なく接してつながるように、前記後方画像から前記後方処理画像を切り出すと共に、前記後側方画像から前記後側方処理画像を切り出し、前記仮想面を規定する前記所定距離が固定的に設定されており、前記変更部は、前記所定のパラメータの調整として、前記後方画像からの前記後方処理画像の切り出し画角角度および前記後側方画像からの前記後側方処理画像の切り出し画角角度の調整を行う。
第３態様によれば、仮想面を規定する所定距離が固定的に設定された態様において、後方画像および後側方画像からの画像の切り出し画角角度を調整する、という簡易な処理により、死角領域を変更することができる。
第４態様は、第１態様または第２態様において、前記制御部は、前記自車両の前後方向に延在する軸線に交差しかつ前記自車両の後端から所定距離離れた位置に設定される仮想面上で、前記後方処理画像と前記後側方処理画像とが切れ目なく接してつながるように、前記後方画像から前記後方処理画像を切り出すと共に、前記後側方画像から前記後側方処理画像を切り出し、前記変更部は、前記所定のパラメータの調整として、前記仮想面を規定する前記所定距離の調整を行う。
第４態様によれば、仮想面を規定する所定距離を調整する、という簡易な処理により、死角領域を変更することができる。
第５態様は、第３態様において、前記変更部は、前記認識された物標が前記自車両に接近してくる場合には、前記死角領域が前記自車両の前後方向に延在する軸線から離間する方向へ移動するように、前記切り出し画角角度を調整し、前記認識された物標が前記自車両から離間していく場合には、前記死角領域が前記自車両の前後方向に延在する軸線へ接近する方向へ移動するように、前記切り出し画角角度を調整する。
第５態様によれば、後方画像および後側方画像からの画像の切り出し画角角度を調整することで死角領域を変更する態様において、自車両が物標に追い越される場合にも自車両が物標を追い越す場合にも、物標が死角領域に入ることを抑制することができる。
第６態様は、第４態様において、前記変更部は、前記認識された物標が前記自車両に接近してくる場合には、前記仮想面を規定する前記所定距離が小さくなるように前記所定距離を調整し、前記認識された物標が前記自車両から離間していく場合には、前記仮想面を規定する前記所定距離が大きくなるように前記所定距離を調整する。
第６態様によれば、仮想面を規定する所定距離を調整することで死角領域を変更する態様において、自車両が物標に追い越される場合にも自車両が物標を追い越す場合にも、物標が死角領域に入ることを抑制することができる。
本開示は、自車両の周辺に存在する物標が合成画像上から消失することを抑制できる、という効果を有する。
実施形態に係る電子ミラー装置の概略構成を示すブロック図である。 電子ミラー装置の後側方カメラおよび表示部の配置位置を示す斜視図である。 カメラの撮像範囲を示す平面図である。 電子ミラーＥＣＵの機能ブロック図である。 電子ミラーＥＣＵが実行する周辺表示処理を示すフローチャートである。 車両の後方より物標（二輪車）が接近してくる状況を示す平面図である。 図６に示す物標（二輪車）を表す仮想物標を示す平面図である。 図６に示す物標（二輪車）の死角領域への進入に応じて切り出し画角角度を変更した状況を示す平面図である。 車両の後側方から物標（二輪車）が離間する状況を示す平面図である。 図９に示す物標（二輪車）の死角領域への進入に応じて切り出し画角角度を変更した状況を示す平面図である。 車両の後方より物標（二輪車）が接近してくる状況を示す平面図である。 図１１に示す物標（二輪車）の死角領域への進入に応じて仮想面の位置を変更した状況を示す平面図である。
以下、図面を参照して本開示の実施形態の一例を詳細に説明する。
〔第１実施形態〕
図１に示す車載システム４０はバス４２を含み、バス４２には互いに異なる制御を行う複数の電子制御ユニットおよび複数のセンサユニットが各々接続されている。なお、図１は車載システム４０のうち本発明に関係する一部のみ示している。個々の電子制御ユニットは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）などのメモリ、および、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの不揮発性の記憶部を含む制御ユニットであり、以下、ＥＣＵ（Electronic Control Unit）と称する。バス４２に接続されている複数のＥＣＵには電子ミラーＥＣＵ２２が含まれている。
電子ミラーＥＣＵ２２には、後方カメラ１２、左後側方カメラ１４、右後側方カメラ１６、表示部１８及びカメラ格納ＡＣＴ（アクチュエータ）２０が各々接続されている。これらの電子ミラーＥＣＵ２２、左後側方カメラ１４、右後側方カメラ１６、表示部１８およびカメラ格納ＡＣＴ２０は電子ミラー装置１０を構成しており、電子ミラー装置１０は車両用表示装置の一例である。なお、電子ミラー装置１０のうち、後方カメラ１２は後方撮像部の一例であり、左後側方カメラ１４及び右後側方カメラ１６は後側方撮像部の一例である。また、表示部１８は表示部の一例である。
後方カメラ１２は、車両５２（自車両、図３参照）の後部に配置されており、撮像光軸（レンズ）が車両５２の後方へ向けられ、車両５２の後方を撮像する。なお、後方カメラ１２の配置位置は車両５２の後方を撮像可能な位置であればよく、車両５２の後端部（例えばリヤバンパ付近）に配置されていてもよいし、リヤウインドシールドガラス越しに車両５２の後方を撮像するように配置されていてもよい。後方カメラ１２は、レンズが固定焦点とされ、撮像光軸の向きを変更する機構も設けられておらず、一例として図３に示す一定の撮像範囲６０を撮像する。
図２に示すように、車両５２の左サイドドア（フロントサイドドア、図示省略）の車両上下方向中間部の車両前側端部には、およそ直方体形状で先端部が円弧状とされたカメラ支持体３２Ｌの基部が、当該カメラ支持体３２Ｌの先端部が車両５２の外側へ突出するように取り付けられている。カメラ支持体３２Ｌの先端部付近には左後側方カメラ１４が取り付けられており、左後側方カメラ１４は撮像光軸（レンズ）が車両５２の左後側方に向けられ、車両５２の左後側方を撮像する。カメラ支持体３２Ｌは車両５２の前後方向に回動可能とされており、カメラ格納ＡＣＴ２０の駆動力により、カメラ支持体３２Ｌの長手方向が車両５２の外側面におよそ沿う格納位置、または、左後側方カメラ１４が車両５２の左後側方を撮像する復帰位置へ回動される。
左後側方カメラ１４は、レンズが固定焦点とされ、撮像光軸の向きを変更する機構も設けられておらず、カメラ支持体３２Ｌが復帰位置に位置している状態で、一例として図３に示す一定の撮像範囲６２を撮像する。図３に示すように、左後側方カメラ１４の撮像範囲６２は、後方カメラ１２の撮像範囲６０と一部重複している。
また、車両５２の右サイドドア（フロントサイドドア、図示省略）の車両上下方向中間部の車両前側端部には、カメラ支持体３２Ｌと左右対称の形状のカメラ支持体３２Ｒの基部が取り付けられている。カメラ支持体３２Ｒの先端部付近には右後側方カメラ１６が取り付けられており、右後側方カメラ１６は撮像光軸（レンズ）が車両５２の右後側方に向けられ、車両５２の右後側方を撮像する。カメラ支持体３２Ｒも車両前後方向に回動可能とされており、カメラ格納ＡＣＴ２０の駆動力により、カメラ支持体３２Ｒの長手方向が車両５２の外側面におよそ沿う格納位置、または、右後側方カメラ１６が車両５２の右後側方を撮像する復帰位置へ回動される。
右後側方カメラ１６は、レンズが固定焦点とされ、撮像光軸の向きを変更する機構も設けられておらず、カメラ支持体３２Ｒが復帰位置に位置している状態で、一例として図３に示す一定の撮像範囲６４を撮像する。図３に示すように、右後側方カメラ１６の撮像範囲６４は、後方カメラ１２の撮像範囲６０と一部重複している。
また、車両５２のインストルメントパネルの中央部には中央モニタ３４が設けられており、中央モニタ３４から車両上方へ間隔を隔てた位置に表示部１８が設けられている。表示部１８は、電子ミラーＥＣＵ２２により、後方カメラ１２によって撮像された後方画像（動画像）、左後側方カメラ１４によって撮像された左後側方画像（動画像）および右後側方カメラ１６によって撮像された右後側方画像（動画像）を合成した画像（合成画像）が表示される。
図１に示すように、電子ミラーＥＣＵ２２は、ＣＰＵ２４、ＲＯＭおよびＲＡＭなどのメモリ２６、および、ＨＤＤまたはＳＳＤなどの不揮発性の記憶部２８を含んでおり、記憶部２８には周辺表示プログラム３０が記憶されている。電子ミラーＥＣＵ２２は、周辺表示プログラム３０が記憶部２８から読み出されてメモリ２６に展開され、メモリ２６に展開された周辺表示プログラム３０がＣＰＵ２４によって実行されることで、図４に示す制御部４４として機能し、後述する周辺表示処理を行う。
制御部４４は、後方カメラ１２で撮像された後方画像に対し所定のパラメータに従って処理を施した後方処理画像と、後側方カメラ１４，１６で撮像された後側方画像に対し所定のパラメータに従って処理を施した後側方処理画像と、を単一の画像に合成した合成画像を生成する。そして制御部４４は、生成した合成画像を表示部１８に表示させる。
また制御部４４は、認識部４６、取得部４８および変更部５０を含んでいる。認識部４６は、後方画像および後側方画像の少なくとも一方に存在する他車両などの物標を認識する。取得部４８は、認識部４６で認識された物標の車両５２に対する相対位置および相対速度と、合成画像の生成に伴い発生する合成画像上に描画されない領域である合成画像の死角領域と、を含む物標相対情報を取得する。
変更部５０は、取得部４８に取得された物標相対情報に基づいて、認識された物標が死角領域内に進入することで認識された物標が合成画像上から消失すると判定した場合に、以下の処理を行う。すなわち変更部５０は、認識された物標が合成画像上から消失しないように、所定のパラメータを調整することで死角領域を変更する。
次に第１実施形態の作用として、図５を参照し、電子ミラーＥＣＵ２２によって実行される周辺表示処理を説明する。周辺表示処理のステップ１００において、認識部４６は、後方画像および後側方画像の少なくとも一方に存在する他車両などの物標を認識し、後方画像および後側方画像の少なくとも一方で物標を検知したか否か判定する。
認識部４６が物標を検知しなかった場合には、ステップ１００の判定が否定されてステップ１１２へ移行する。ステップ１１２において、制御部４４は、後方画像および後側方画像から合成画像を生成する。
すなわち、制御部４４は、図６に示すように、車両５２の前後方向に延在する軸線に交差しかつ車両５２の後端から所定距離Ｌ離れた位置に仮想面７０を設定する。なお、第１実施形態では、所定距離Ｌが固定とされている。また制御部４４は、仮想面７０上で後方処理画像と後側方処理画像とが切れ目なく接してつながるように、後方画像から所定の切り出し画角角度θ1で後方処理画像を切り出すと共に、後側方画像から所定の切り出し画角角度θ2で後側方処理画像を切り出す。そして制御部４４は、後方画像から切り出した後方処理画像と後側方画像から切り出した後側方処理画像とを合成し、合成画像を生成する。
なお、所定の切り出し画角角度θ1，θ2は、仮想面７０上での後方処理画像と後側方処理画像のつなぎ目の位置に応じて定まる。所定の切り出し画角角度θ1，θ2は、所定のパラメータの一例である。
次のステップ１１４において、制御部４４は、合成画像を表示部１８に表示させる。合成画像は、後方画像の領域と左後側方画像の領域及び右後側方画像の領域とが滑らかに連続した画像になり、車両５２の乗員が車両５２の後方及び後側方を目視した場合に近い画像になる。従って、表示部１８に表示された合成画像を視認した乗員により、車両５２の後方及び後側方の状況を円滑に認識させることができる。
一方、認識部４６が物標を検知した場合には、ステップ１００の判定が肯定されてステップ１０２へ移行する。ステップ１０２において、取得部４８は、物標相対情報を取得する。物標相対情報は、認識部４６で認識された物標の車両５２に対する相対位置、相対速度およびその方向と、合成画像の生成に伴い発生する合成画像上に描画されない領域である合成画像の死角領域の情報と、を含んでいる。取得部４８は、後方画像および後側方画像の少なくとも一方における、物標に相当する画像領域の位置およびその変化と、物標に相当する画像領域のサイズおよびその変化と、に基づいて、物標の相対位置、相対速度およびその方向を算出する。
図６には合成画像の死角領域７２の一例を示す。死角領域７２は、後方カメラ１２の位置と、後側方カメラ１４，１６の位置と、仮想面７０上での後方処理画像と後側方処理画像のつなぎ目の位置（以下「画像のつなぎ目の位置」という）と、の三点の位置関係から、死角領域７２の境界位置およびサイズが定まる。第１実施形態では、後方カメラ１２の位置、後側方カメラ１４，１６の位置および仮想面７０の位置が固定されている。
このため、電子ミラーＥＣＵ２２の記憶部２８には、画像のつなぎ目の位置が様々な位置のときの死角領域７２の境界位置およびサイズ、所定の切り出し画角角度θ1，θ2が各々記憶されている。なお、所定の切り出し画角角度θ1，θ2は、画像のつなぎ目の位置に応じて、仮想面７０上で後方処理画像と後側方処理画像とが切れ目なく接してつながるように値が調整されている。取得部４８は、現在の画像のつなぎ目の位置と対応付けられた死角領域７２の境界位置およびサイズ、所定の切り出し画角角度θ1，θ2を記憶部２８から取得する。
次のステップ１０４において、変更部５０は、取得部４８によって取得された物標相対情報に含まれる物標の相対速度に基づき、物標と車両５２との相対速度が有るか（ゼロ以外か）否かを判定する。ステップ１０４の判定が肯定された場合はステップ１０６へ移行する。
ステップ１０６において、変更部５０は、物標の車両５２に対する相対位置を始点とし、当該始点から物標の相対速度の方向へ物標の車両５２に対する相対速度に応じて設定される距離だけ離間した位置を終点とするベクトル状の仮想物標へ物標をモデル化する。なお、上記の「相対速度に応じて設定される距離」としては、例えば、周辺表示処理の処理周期にマージン（所定値）を加算した時間を、物標の相対速度で乗じた距離を用いることができる。
一例として、図６に示すように、車両５２の後方に二輪車７４が存在しており、当該二輪車７４が車両５２に近づいている場合、二輪車７４は図７に示す仮想物標７６で表される。ステップ１０６の処理を行うとステップ１０８へ移行する。なお、図７では、仮想物標７６が、車両５２の前後方向に延在する軸線とおよそ平行になっている例を示しているが、例えば仮想物標７６に対応する物標が車線変更しているなどの場合には、仮想物標７６が車両５２の前後方向の軸線に対して傾斜することがある。
一方、ステップ１０４の判定が否定された場合は、ステップ１０６をスキップしてステップ１０８へ移行する。この場合、物標をモデル化した仮想物標は、車両５２に対する物標の相対位置に位置する点状となる。
ステップ１０８において、変更部５０は、取得部４８によって取得された物標相対情報に含まれる死角領域７２の位置およびサイズに基づき、ベクトル状または点状の仮想物標が死角領域７２と重なっている（死角領域７２に進入している）か否か判定する。
一例として、図６に示すように、車両５２の後方に二輪車７４が存在しており、当該二輪車７４が車両５２との相対速度が０の場合、二輪車７４を表す点状の仮想物標は、死角領域７２外に位置することになる。この場合、ステップ１０８の判定は否定され、ステップ１１０をスキップしてステップ１１２へ移行する。
一方、図６に示すように、車両５２の後方に二輪車７４が存在しており、当該二輪車７４が車両５２に接近している場合、例として図７に示すように、二輪車７４に対応するベクトル状の仮想物標７６が死角領域７２と重なることが生じ得る。仮想物標７６が死角領域７２と重なっている場合、次の処理周期までの間に、対応する物標（この場合は二輪車７４）が合成画像から消失する可能性が高い。
また、図９に示すように、車両５２の左後側方に二輪車７４が存在しており、当該二輪車７４が車両５２から離間している場合にも、二輪車７４に対応するベクトル状の仮想物標７６が死角領域７２と重なることが生じ得る。仮想物標７６が死角領域７２と重なっている場合、次の処理周期までの間に、対応する物標（この場合は二輪車７４）が合成画像から消失する可能性が高い。
このため、ステップ１０８の判定が肯定された場合はステップ１１０へ移行する。ステップ１１０において、変更部５０は、ベクトル状または点状の仮想物標が死角領域７２と重ならないように、画像のつなぎ目の位置を変更し、所定の切り出し画角角度θ1，θ2を変更することで死角領域７２の境界位置およびサイズを変更する。
例えば、図６，７に示すように、車両５２に接近している二輪車７４に対応する仮想物標７６が死角領域７２と重なっている場合、変更部５０は、図８に示すように、画像のつなぎ目の位置を、車両５２の前後方向に延在する軸線から離間する方向へ移動させる。これに伴い、変更部５０は、死角領域７２が車両５２の前後方向に延在する軸線から離間する方向へ移動するように、所定の切り出し画角角度θ1を大きくすると共に、所定の切り出し画角角度θ2を小さくする。これにより、仮想物標と死角領域との重なりが解消され、ステップ１１２で生成される合成画像上から二輪車７４が消失することが抑制される。
また例えば、図９に示すように、車両５２から離間している二輪車７４に対応する仮想物標７６が死角領域７２と重なる場合、変更部５０は、図１０に示すように、画像のつなぎ目の位置を、車両５２の前後方向に延在する軸線へ接近する方向へ移動させる。これに伴い、変更部５０は、死角領域７２が車両５２の前後方向に延在する軸線へ接近する方向へ移動するように、所定の切り出し画角角度θ1を小さくすると共に、所定の切り出し画角角度θ2を大きくする。これにより、仮想物標と死角領域との重なりが解消され、ステップ１１２で生成される合成画像上から二輪車７４が消失することが抑制される。
なお、物標が複数検知された場合、複数の物標に対して車両５２からの距離が近い順に優先順位を設定し、優先順位の高い物標が合成画像上から消失しないように、画像のつなぎ目の位置を移動させて死角領域７２を移動させるようにしてもよい。
このように、第１実施形態において、制御部４４は、後方カメラ１２で撮像された後方画像に対し所定のパラメータに従って処理を施した後方処理画像と、後側方カメラ１４，１６で撮像された後側方画像に対し所定のパラメータに従って処理を施した後側方処理画像と、を単一の画像に合成した合成画像を生成する。そして制御部４４は、生成した合成画像を表示部１８に表示させる。また制御部４４は、認識部４６、取得部４８および変更部５０を含んでいる。認識部４６は、後方画像および後側方画像の少なくとも一方に存在する他車両などの物標を認識する。取得部４８は、認識部４６で認識された物標の車両５２に対する相対位置および相対速度と、合成画像の生成に伴い発生する合成画像上に描画されない領域である合成画像の死角領域と、を含む物標相対情報を取得する。変更部５０は、取得部４８に取得された物標相対情報に基づいて、認識された物標が死角領域内に進入することで認識された物標が合成画像上から消失すると判定した場合に、以下の処理を行う。すなわち変更部５０は、認識された物標が合成画像上から消失しないように、所定のパラメータを調整することで死角領域を変更する。これにより、物標が合成画像の死角領域に入ることが抑止されるので、車両５２の周辺に存在する物標が合成画像上から消失することを抑制することができる。
また、第１実施形態において、変更部５０は、認識された物標の車両５２に対する相対位置を始点とし当該始点から相対速度の方向へ認識された物標の車両５２に対する相対速度に応じて設定される距離だけ離間した位置を終点とする仮想物標７６を求める。そして、仮想物標７６と前記死角領域７２との位置関係に基づいて、認識された物標が合成画像上から消失するか否かを判定する。これにより、車両５２と物標との相対速度が大きい場合にも、処理遅れなどを原因として、車両５２の周辺に存在する物標が合成画像上から消失することを抑制することができる。
また、第１実施形態において、制御部４４は、車両５２の前後方向に延在する軸線に交差しかつ車両５２の後端から所定距離離れた位置に設定される仮想面上で、後方処理画像と後側方処理画像とが切れ目なく接してつながるように、後方画像から後方処理画像を切り出すと共に、後側方画像から後側方処理画像を切り出す。第１実施形態では、仮想面７０を規定する所定距離Ｌが固定的に設定されており、変更部５０は、所定のパラメータの調整として、後方画像からの後方処理画像の切り出し画角角度θ1および後側方画像からの後側方処理画像の切り出し画角角度θ2の調整を行う。これにより、後方画像および後側方画像からの画像の切り出し画角角度θ1，θ2を調整する、という簡易な処理により、死角領域を変更することができる。
また、第１実施形態において、変更部５０は、認識された物標が車両５２に接近してくる場合には、死角領域７２が車両５２の前後方向に延在する軸線から離間する方向へ移動するように、切り出し画角角度θ1，θ2を調整する。また、認識された物標が車両５２から離間していく場合には、死角領域７２が車両５２の前後方向に延在する軸線へ接近する方向へ移動するように、切り出し画角角度θ1，θ2を調整する。これにより、車両５２が物標に追い越される場合にも車両５２が物標を追い越す場合にも、物標が死角領域に入ることを抑制することができる。
〔第２実施形態〕
次に本発明の第２実施形態について説明する。なお、第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、第１実施形態と相違する部分を説明する。
第１実施形態では、画像のつなぎ目の位置を移動させ、それに伴い所定の切り出し画角角度θ1，θ2を変更することで、死角領域７２を移動させる態様を説明した。第２実施形態では、これに代えて、仮想面７０の位置を移動させことで死角領域７２を移動させる態様を説明する。
第２実施形態において、電子ミラーＥＣＵ２２の記憶部２８には、仮想面７０の位置が様々な位置のときの死角領域７２の境界位置およびサイズ、所定の切り出し画角角度θ1，θ2が各々記憶されている。なお、所定の切り出し画角角度θ1，θ2は、仮想面７０の位置に応じて、当該仮想面７０上で後方処理画像と後側方処理画像とが切れ目なく接してつながるように値が調整されている。
ステップ１０２において物標相対情報を取得する際、取得部４８は、現在の仮想面７０の位置と対応付けられた死角領域７２の境界位置およびサイズ、所定の切り出し画角角度θ1，θ2を記憶部２８から取得する。ここで取得した所定の切り出し画角角度θ1，θ2は、ステップ１１２において、後方画像から後方処理画像を切り出すと共に、後側方画像から後側方処理画像を切り出す際に適用される。
また、ステップ１１０において、変更部５０は、物標（仮想物標または点状の物標）が死角領域７２と重ならないように、仮想面７０の位置を変更することで死角領域７２の境界位置およびサイズを変更する。
例えば、図１１に示すように、車両５２に接近している二輪車７４に対応する仮想物標７６が死角領域７２と重なる場合、変更部５０は、図１２に示すように、仮想面７０を規定する所定距離Ｌが小さくなるように所定距離Ｌを調整する。これに伴い、死角領域７２は車両５２の前後方向のサイズが小さくなる。これにより、ステップ１１２で生成される合成画像上から二輪車７４が消失することが抑制される。
また、図示は省略するが、車両５２から離間している二輪車７４に対応する仮想物標７６が死角領域７２と重なる場合、変更部５０は、仮想面７０を規定する所定距離Ｌが大きくなるように所定距離Ｌを調整する。これに伴い、死角領域７２は車両５２の前後方向のサイズが大きくなる。これにより、仮想物標と死角領域との重なりが解消され、ステップ１１２で生成される合成画像上から二輪車７４が消失することが抑制される。
このように、第２実施形態において、制御部４４は、車両５２の前後方向に延在する軸線に交差しかつ車両５２の後端から所定距離Ｌ離れた位置に設定される仮想面７０上で、後方処理画像と後側方処理画像とが切れ目なく接してつながるように、後方画像から後方処理画像を切り出すと共に、後側方画像から後側方処理画像を切り出す。また、変更部５０は、所定のパラメータの調整として、仮想面７０を規定する所定距離Ｌの調整を行う。これにより、仮想面７０を規定する所定距離Ｌを調整する、という簡易な処理により、死角領域７２を変更することができる。
また、第２実施形態において、変更部５０は、認識された物標が車両５２に接近してくる場合には、仮想面７０を規定する所定距離Ｌが小さくなるように所定距離Ｌを調整する。また、認識された物標が車両５２から離間していく場合には、仮想面７０を規定する所定距離Ｌが大きくなるように所定距離Ｌを調整する。これにより、車両５２が物標に追い越される場合にも車両５２が物標を追い越す場合にも、物標が死角領域７２に入ることを抑制することができる。
なお、上記では、後方画像および後側方画像の少なくとも一方における、物標に相当する画像領域の位置およびその変化と、前記画像領域のサイズおよびその変化と、に基づいて、物標の相対位置、相対速度およびその方向を算出する態様を説明した。しかし、これに限定されるものではなく、物標の相対位置、相対速度およびその方向は、レーダまたはライダまたはソナーなどのセンサにより検出するようにしてもよい。
また、上記では、仮想物標７６の長さ（始点から終点までの距離）を、周辺表示処理の処理周期にマージン（所定値）を加算した時間を物標の相対速度で乗じた距離とする態様を説明した。しかし、これに限定されるものではなく、例えば、物標の相対速度が大きくなるに従ってマージンを大きくするようにしてもよい。また、例えば、マージンを省略し、仮想物標７６の長さを、周辺表示処理の処理周期に物標の相対速度で乗じた距離としてもよい。
また、上記では、物標が複数検知された場合に、複数の物標に対して車両５２からの距離が近い順に優先順位を設定する態様を記載したが、これに限定されるものではない。例えば、複数の物標の相対速度を考慮し、死角領域７２に入るタイミングが早い順に物標に優先順位を設定するようにしてもよい。また、例えば、四輪車よりも二輪車の優先順位を高く設定してもよい。
１０ 電子ミラー装置
１２ 後方カメラ
１４ 左後側方カメラ
１６ 右後側方カメラ
１８ 表示部
２２ 電子ミラーＥＣＵ
４４ 制御部
４６ 認識部
４８ 取得部
５０ 変更部
５２ 車両
７０ 仮想面
７２ 死角領域
７６ 仮想物標

Claims (6)

  1. 自車両の後方を撮像する後方撮像部と、
    前記自車両の後側方を撮像する後側方撮像部と、
    前記後方撮像部で撮像された後方画像に対し所定のパラメータに従って処理を施した後方処理画像と、前記後側方撮像部で撮像された後側方画像に対し所定のパラメータに従って処理を施した後側方処理画像と、を単一の画像に合成した合成画像を生成し、前記合成画像を表示部に表示させる制御部と、
    を含み、
    前記制御部が、
    前記後方画像および前記後側方画像の少なくとも一方に存在する物標を認識する認識部と、
    前記認識部で認識された物標の前記自車両に対する相対位置および相対速度と、前記合成画像の生成に伴い発生する前記合成画像上に描画されない領域である合成画像の死角領域と、を含む物標相対情報を取得する取得部と、
    前記取得部に取得された前記物標相対情報に基づいて、前記認識された物標が前記死角領域内に進入することで前記認識された物標が前記合成画像上から消失すると判定した場合に、前記認識された物標が前記合成画像上から消失しないように、前記所定のパラメータを調整することで前記死角領域を変更する変更部と、
    を含む車両用表示装置。
  2. 前記変更部は、前記認識された物標の前記自車両に対する相対位置を始点とし当該始点から前記相対速度の方向へ前記認識された物標の前記自車両に対する相対速度に応じて設定される距離だけ離間した位置を終点とする仮想物標と、前記死角領域と、の位置関係に基づいて、前記認識された物標が前記合成画像上から消失するか否かを判定する請求項１記載の車両用表示装置。
  3. 前記制御部は、前記自車両の前後方向に延在する軸線に交差しかつ前記自車両の後端から所定距離離れた位置に設定される仮想面上で、前記後方処理画像と前記後側方処理画像とが切れ目なく接してつながるように、前記後方画像から前記後方処理画像を切り出すと共に、前記後側方画像から前記後側方処理画像を切り出し、
    前記仮想面を規定する前記所定距離が固定的に設定されており、
    前記変更部は、前記所定のパラメータの調整として、前記後方画像からの前記後方処理画像の切り出し画角角度および前記後側方画像からの前記後側方処理画像の切り出し画角角度の調整を行う請求項１または請求項２記載の車両用表示装置。
  4. 前記制御部は、前記自車両の前後方向に延在する軸線に交差しかつ前記自車両の後端から所定距離離れた位置に設定される仮想面上で、前記後方処理画像と前記後側方処理画像とが切れ目なく接してつながるように、前記後方画像から前記後方処理画像を切り出すと共に、前記後側方画像から前記後側方処理画像を切り出し、
    前記変更部は、前記所定のパラメータの調整として、前記仮想面を規定する前記所定距離の調整を行う請求項１または請求項２記載の車両用表示装置。
  5. 前記変更部は、前記認識された物標が前記自車両に接近してくる場合には、前記死角領域が前記自車両の前後方向に延在する軸線から離間する方向へ移動するように、前記切り出し画角角度を調整し、前記認識された物標が前記自車両から離間していく場合には、前記死角領域が前記自車両の前後方向に延在する軸線へ接近する方向へ移動するように、前記切り出し画角角度を調整する請求項３記載の車両用表示装置。
  6. 前記変更部は、前記認識された物標が前記自車両に接近してくる場合には、前記仮想面を規定する前記所定距離が小さくなるように前記所定距離を調整し、前記認識された物標が前記自車両から離間していく場合には、前記仮想面を規定する前記所定距離が大きくなるように前記所定距離を調整する請求項４記載の車両用表示装置。
JP2020112169A 2020-06-29 2020-06-29 車両用表示装置 Active JP7276262B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020112169A JP7276262B2 (ja) 2020-06-29 2020-06-29 車両用表示装置
US17/343,842 US11355015B2 (en) 2020-06-29 2021-06-10 Display device for vehicle, display method for vehicle, and storage medium
CN202110689910.5A CN113928218B (zh) 2020-06-29 2021-06-22 车辆用显示装置、车辆用显示方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020112169A JP7276262B2 (ja) 2020-06-29 2020-06-29 車両用表示装置

Publications (2)

Publication Number Publication Date
JP2022011193A JP2022011193A (ja) 2022-01-17
JP7276262B2 true JP7276262B2 (ja) 2023-05-18

Family

ID=79032686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020112169A Active JP7276262B2 (ja) 2020-06-29 2020-06-29 車両用表示装置

Country Status (3)

Country Link
US (1) US11355015B2 (ja)
JP (1) JP7276262B2 (ja)
CN (1) CN113928218B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312523A (ja) 2003-04-09 2004-11-04 Equos Research Co Ltd 車載画像処理装置
JP2016097896A (ja) 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置
JP2019101879A (ja) 2017-12-05 2019-06-24 トヨタ自動車株式会社 画像表示装置
JP2020028027A (ja) 2018-08-10 2020-02-20 トヨタ自動車株式会社 車両用周辺表示装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4468859B2 (ja) * 2005-06-06 2010-05-26 アルパイン株式会社 画像合成装置および合成方法
JP5669791B2 (ja) * 2012-08-07 2015-02-18 本田技研工業株式会社 移動体の周辺画像表示装置
JP6554866B2 (ja) 2015-03-30 2019-08-07 アイシン精機株式会社 画像表示制御装置
KR20190047279A (ko) * 2017-10-27 2019-05-08 삼성에스디에스 주식회사 차량에 구비된 카메라를 이용한 차량 주변 영상 합성 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312523A (ja) 2003-04-09 2004-11-04 Equos Research Co Ltd 車載画像処理装置
JP2016097896A (ja) 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置
JP2019101879A (ja) 2017-12-05 2019-06-24 トヨタ自動車株式会社 画像表示装置
JP2020028027A (ja) 2018-08-10 2020-02-20 トヨタ自動車株式会社 車両用周辺表示装置

Also Published As

Publication number Publication date
US11355015B2 (en) 2022-06-07
JP2022011193A (ja) 2022-01-17
CN113928218B (zh) 2023-09-22
CN113928218A (zh) 2022-01-14
US20210407299A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
JP6388267B2 (ja) 運転支援装置
JP5321267B2 (ja) 車両用画像表示装置及び俯瞰画像の表示方法
JP7069548B2 (ja) 周辺監視装置
JP4883977B2 (ja) 車両用画像表示装置
JP7159802B2 (ja) 車両用電子ミラーシステム
JP3695319B2 (ja) 車両周辺モニタ装置
JP5500877B2 (ja) 車載用画像表示装置および画像のトリミング方法
JP7108916B2 (ja) 車両制御装置
WO2015098156A1 (ja) 視界支援装置、視界支援方法、及び視界支援プログラム
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
US10944918B2 (en) Peripheral display device for a vehicle
JP2018129668A (ja) 画像表示装置
JP5309891B2 (ja) 駐車支援装置
JP6394940B2 (ja) 車両用表示システム
JP5262515B2 (ja) 車両用表示装置および表示方法
JP6451565B2 (ja) 運転支援装置、及び運転支援方法
JP2007110177A (ja) 画像処理装置及びプログラム
JP7276262B2 (ja) 車両用表示装置
JP2007025739A (ja) 車両用画像表示装置
JP2007251880A (ja) 車両用画像表示装置および画像合成方法
JP7245653B2 (ja) 信号機認識方法及び信号機認識装置
JP7347330B2 (ja) 車両周辺監視装置
JP7327171B2 (ja) 車両用電子ミラーシステム
JP2018097535A (ja) 運転支援装置及び運転支援方法
JP7353109B2 (ja) 車外モニタ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R151 Written notification of patent or utility model registration

Ref document number: 7276262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151