JP7052632B2 - 車両用周辺表示装置 - Google Patents

車両用周辺表示装置 Download PDF

Info

Publication number
JP7052632B2
JP7052632B2 JP2018152063A JP2018152063A JP7052632B2 JP 7052632 B2 JP7052632 B2 JP 7052632B2 JP 2018152063 A JP2018152063 A JP 2018152063A JP 2018152063 A JP2018152063 A JP 2018152063A JP 7052632 B2 JP7052632 B2 JP 7052632B2
Authority
JP
Japan
Prior art keywords
image
vehicle
rear side
blind spot
composite image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018152063A
Other languages
English (en)
Other versions
JP2020028027A (ja
Inventor
五朗 浅井
陽介 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018152063A priority Critical patent/JP7052632B2/ja
Priority to CN201910549101.7A priority patent/CN110857057B/zh
Priority to US16/458,839 priority patent/US10944918B2/en
Priority to DE102019120636.7A priority patent/DE102019120636A1/de
Publication of JP2020028027A publication Critical patent/JP2020028027A/ja
Application granted granted Critical
Publication of JP7052632B2 publication Critical patent/JP7052632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は車両用周辺表示装置に関する。
特許文献１には、後続車両の接近によって後続車両の側方にリアカメラで撮影できない死角領域が発生しているか否かを判定し、死角領域が発生している場合は、リアカメラで撮影した車両後方の映像と右サイドカメラや左サイドカメラで撮影した死角領域の映像とを合成した表示用映像をディスプレイに表示させる技術が記載されている。
特開２００９－０８１６６６号公報
特許文献１に記載の技術は、後続車両の接近によって死角領域が発生する都度、ディスプレイに表示される画像が切り替わるので、ディスプレイに表示される画像を視認する視認者に煩雑さを感じさせるという課題がある。また、画像が高頻度で切り替わるために、例えば車両の周辺に存在する物体の有無や物体との距離などの車両周辺の状況に関して視認者の誤認識が生じ易いという課題もある。
本発明は上記事実を考慮して成されたもので、表示部に表示させる画像を切り替える頻度を低減しつつ、表示画像の視認者に車両周辺の状況を認識させることができる車両用周辺表示装置を得ることが目的である。
請求項１記載の発明に係る車両用周辺表示装置は、車両の後方を撮影する後方撮影部と、前記車両の後側方を撮影する後側方撮影部と、前記後方撮影部で撮影された後方画像と前記後側方撮影部で撮影された後側方画像とを合成した第１合成画像を生成し、前記第１合成画像を表示部に表示させる表示制御部と、前記後側方撮影部の撮影範囲内でかつ前記第１合成画像上に現れない第１死角領域内に物体が存在している場合、及び、前記車両の後方からの車両の接近によって発生する、前記後側方撮影部の撮影範囲内でかつ前記第１合成画像上に現れない第２死角領域内に物体が存在している場合に、前記物体に対応する画像領域を含む前記後側方画像を前記後方画像に重畳した第２合成画像を生成し、前記表示部に表示させる画像を前記第２合成画像に切り替える切替部と、を含んでいる。
請求項１記載の発明では、後方撮影部が車両の後方を撮影し、後側方撮影部が車両の後側方を撮影する。また表示制御部は、後方撮影部で撮影された後方画像と後側方撮影部で撮影された後側方画像とを合成した第１合成画像を生成し、第１合成画像を表示部に表示させる。ここで、後側方撮影部の撮影範囲内には第１合成画像上には現れない第１死角領域が生じ、車両の後方から車両が接近した場合には、後側方撮影部の撮影範囲内に、第１合成画像上には現れない第２死角領域も発生する。これに対して切替部は、第１死角領域内に物体が存在している場合及び第２死角領域内に物体が存在している場合に、前記物体に対応する画像領域を含む後側方画像を後方画像に重畳した第２合成画像を生成し、表示部に表示させる画像を第２合成画像に切り替える。
これにより、第１死角領域内又は第２死角領域内に存在している物体に対応する画像領域が現れた第２合成画像が生成されて表示部に表示されることになる。そして、この第２合成画像が視認されることで、表示画像の視認者に車両周辺の状況、すなわち第１死角領域内又は第２死角領域内に物体が存在している状況を認識させることができる。また、表示部に表示する画像を第１合成画像から第２合成画像に切り替えることを、第１死角領域内又は第２死角領域内に物体が存在している場合に行うので、表示部に表示させる画像を切り替える頻度が低減される。従って、表示画像の視認者が画像の切り替えに煩雑さを感じたり、車両の周辺の状況を誤認識したりすることを抑制することができる。
請求項２記載の発明は、請求項１記載の発明において、前記後方撮影部と前記後側方撮影部とは撮影範囲が一部重複しており、前記表示制御部は、前記後側方画像のうち仮想投影面上で前記後方画像と重複している領域を削除した上で前記後方画像と合成することで、前記第１合成画像を生成する。
これにより、第１合成画像上で後方画像の領域と後側方画像の領域とが連続した画像になるので、第１合成画像を目視した場合に近い画像にすることができ、第１合成画像が視認された際に車両の周辺の状況が誤認識されることを抑制することができる。
請求項３記載の発明は、請求項１又は請求項２記載の発明において、前記切替部は、前記後側方画像のうち前記後方画像に重畳する範囲が前記画像領域を含むように、前記重畳する範囲を移動させるか又は前記後側方画像を車両幅方向に圧縮することで、前記画像領域が現れた前記第２合成画像を生成する。
これにより、第１死角領域内又は第２死角領域内に存在している物体に対応する画像領域が現れた第２合成画像を生成することを、後側方撮影部の撮影方向を変更したり撮影倍率を変更することなく実現することができ、車両用周辺表示装置の構成が複雑化することを回避することができる。
請求項４記載の発明は、請求項１～請求項３の何れか１項記載の発明において、前記切替部は、前記第２死角領域内に物体が存在している場合に前記第２合成画像を生成して前記表示部に表示させることを、当該物体が前記車両に接近しているときに行う。
これにより、第２合成画像を生成して表示部に表示させることが、より危険度が高いとき、すなわち第２死角領域内に存在している物体が車両に接近しているときに行うようにすることで、表示画像を第２合成画像に切り替える頻度を更に低減することができる。
また、請求項１～請求項４の何れか１項記載の発明において、例えば請求項５に記載したように、前記車両用周辺表示装置は、前記車両に搭載された電子ミラー装置であってもよい。
本発明は、表示部に表示させる画像を切り替える頻度を低減しつつ、表示画像の視認者に車両周辺の状況を認識させることができる、という効果を有する。
実施形態に係る電子ミラー装置の概略構成を示すブロック図である。 電子ミラー装置の後側方カメラや表示部の配置位置を示す斜視図である。 電子ミラーＥＣＵが実行する周辺表示処理を示すフローチャートである。 カメラの撮影範囲及び第１死角領域を示す平面図である。 通常合成画像の一例を示すイメージ図である。 第１死角領域に物体が存在している状況の一例を示す平面図である。 第１死角領域に存在している物体が通常合成画像上で一部欠けている状況の一例を示すイメージ図である。 第１死角領域に物体が存在している状況で後側方画像からの抽出範囲の変更の一例を示す平面図である。 図８に示す変更に伴って生成・表示される死角優先合成画像の一例を示すイメージ図である。 第２死角領域に物体が存在している状況の一例を示す平面図である。 第２死角領域に存在している物体が通常合成画像上で表示されていない状況の一例を示すイメージ図である。 第２死角領域に物体が存在している状況で後側方画像からの抽出範囲の変更の一例を示す平面図である。 図１２に示す変更に伴って生成・表示される死角優先合成画像の一例を示すイメージ図である。
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１に示す車載システム４０はバス４２を含み、バス４２には互いに異なる制御を行う複数の電子制御ユニット及び複数のセンサユニットが各々接続されている。なお、図１は車載システム４０のうち本発明に関係する一部のみ示している。個々の電子制御ユニットは、ＣＰＵ、メモリ及び不揮発性の記憶部を含む制御ユニットであり、以下、ＥＣＵ(Electronic Control Unit)と称する。バス４２に接続されている複数のＥＣＵには電子ミラーＥＣＵ２２が含まれている。
電子ミラーＥＣＵ２２には、後方カメラ１２、左後側方カメラ１４、右後側方カメラ１６、表示部１８及びカメラ格納ＡＣＴ(アクチュエータ)２０が各々接続されている。これらの電子ミラーＥＣＵ２２、左後側方カメラ１４、右後側方カメラ１６、表示部１８及びカメラ格納ＡＣＴ２０は電子ミラー装置１０を構成しており、電子ミラー装置１０は車両用周辺表示装置の一例である。なお、電子ミラー装置１０のうち、後方カメラ１２は後方撮影部の一例であり、左後側方カメラ１４及び右後側方カメラ１６は後側方撮影部の一例である。また、表示部１８は表示部の一例であり、電子ミラーＥＣＵ２２は表示制御部及び切替部の一例である。
後方カメラ１２は、車両５０(図４参照)の後部に配置されており、撮影光軸(レンズ)が車両の後方へ向けられ、車両５０の後方を撮影する。なお、後方カメラ１２の配置位置は車両５０の後方を撮影可能な位置であればよく、車両５０の後端部(例えばリヤバンパ付近)に配置されていてもよいし、リヤウインドシールドガラス越しに車両５０の後方を撮影するように配置されていてもよい。後方カメラ１２は、レンズが固定焦点とされ、撮影光軸の向きを変更する機構も設けられておらず、図４に示す一定の撮影範囲６０を撮影する。
図２に示すように、車両の左サイドドア(フロントサイドドア、図示省略)の車両上下方向中間部の車両前側端部には、およそ直方体形状で先端部が円弧状とされたカメラ支持体３２Ｌの基部が、当該カメラ支持体３２Ｌの先端部が車両外側へ突出するように取り付けられている。カメラ支持体３２Ｌの先端部付近には左後側方カメラ１４が取り付けられており、左後側方カメラ１４は撮影光軸(レンズ)が車両の左後側方に向けられ、車両の左後側方を撮影する。カメラ支持体３２Ｌは車両前後方向に回動可能とされており、カメラ格納ＡＣＴ２０の駆動力により、カメラ支持体３２Ｌの長手方向が車両の外側面におよそ沿う格納位置、又は、左後側方カメラ１４が車両の左後側方を撮影する復帰位置へ回動される。
左後側方カメラ１４は、レンズが固定焦点とされ、撮影光軸の向きを変更する機構も設けられておらず、カメラ支持体３２Ｌが復帰位置に位置している状態で、図４に示す一定の撮影範囲６２を撮影する。図４に示すように、左後側方カメラ１４の撮影範囲６２は、後方カメラ１２の撮影範囲６０と一部重複している。
また、車両の右サイドドア(フロントサイドドア、図示省略)の車両上下方向中間部の車両前側端部には、カメラ支持体３２Ｌと左右対称の形状のカメラ支持体３２Ｒの基部が取り付けられている。カメラ支持体３２Ｒの先端部付近には右後側方カメラ１６が取り付けられており、右後側方カメラ１６は撮影光軸(レンズ)が車両の右後側方に向けられ、車両の右後側方を撮影する。カメラ支持体３２Ｒも車両前後方向に回動可能とされており、カメラ格納ＡＣＴ２０の駆動力により、カメラ支持体３２Ｒの長手方向が車両の外側面におよそ沿う格納位置、又は、右後側方カメラ１６が車両の右後側方を撮影する復帰位置へ回動される。
右後側方カメラ１６は、レンズが固定焦点とされ、撮影光軸の向きを変更する機構も設けられておらず、カメラ支持体３２Ｒが復帰位置に位置している状態で、図４に示す一定の撮影範囲６４を撮影する。図４に示すように、右後側方カメラ１６の撮影範囲６４は、後方カメラ１２の撮影範囲６０と一部重複している。
また、車両のインストルメントパネルの中央部には中央モニタ３４が設けられており、中央モニタ３４から車両上方へ間隔を隔てた位置に表示部１８が設けられている。表示部１８は、電子ミラーＥＣＵ２２により、後方カメラ１２によって撮影された後方画像(動画像)、左後側方カメラ１４によって撮影された左後側方画像(動画像)及び右後側方カメラ１６によって撮影された右後側方画像(動画像)を合成した画像(後述する通常合成画像又は死角優先合成画像)が表示される。
図１に示すように、電子ミラーＥＣＵ２２は、ＣＰＵ２４、メモリ２６及び不揮発性の記憶部２８を含んでおり、記憶部２８には周辺表示プログラム３０が記憶されている。電子ミラーＥＣＵ２２は、周辺表示プログラム３０が記憶部２８から読み出されてメモリ２６に展開され、メモリ２６に展開された周辺表示プログラム３０がＣＰＵ２４によって実行されることで、後述する周辺表示処理を行う。
次に本実施形態の作用として、図３を参照し、電子ミラーＥＣＵ２２によって実行される周辺表示処理を説明する。周辺表示処理のステップ１００～１０４では、通常時に表示部１８に表示させる通常合成画像の生成・表示を行う。
すなわち、周辺表示処理のステップ１００において、電子ミラーＥＣＵ２２は、左後側方カメラ１４によって撮影された左後側方画像から、後方カメラ１２によって撮影された後方画像と仮想投影面６６（図４参照）上で重複する領域を削除した画像を抽出する。左後側方カメラ１４による左後側方画像の撮影範囲６２のうち、仮想投影面６６上で後方カメラ１２による後方画像の撮影範囲６０と重複するのは、図４に示す削除領域６８である。電子ミラーＥＣＵ２２は、左後側方画像から削除領域６８を削除することで、図４に示す抽出領域７０に相当する画像を抽出する。
また電子ミラーＥＣＵ２２は、右後側方カメラ１６によって撮影された右後側方画像から、後方カメラ１２によって撮影された後方画像と仮想投影面６６上で重複する領域を削除した画像を抽出する。右後側方カメラ１６による右後側方画像の撮影範囲６４のうち、仮想投影面６６上で後方カメラ１２による後方画像の撮影範囲６０と重複するのは、図４に示す削除領域７２である。電子ミラーＥＣＵ２２は、右後側方画像から削除領域７２を削除することで、図４に示す抽出領域７４に相当する画像を抽出する。
次のステップ１０２において、電子ミラーＥＣＵ２２は、ステップ１００で左後側方画像から抽出した画像を後方画像の左側に合成すると共に、ステップ１００で右後側方画像から抽出した画像を後方画像の右側に合成することで、通常合成画像を生成する。そしてステップ１０４において、電子ミラーＥＣＵ２２は、通常合成画像を表示部１８に表示させる。表示部１８に表示される通常合成画像の一例を図５に示す。
通常合成画像は、左後側方画像及び右後側方画像のうち仮想投影面６６上で後方画像と重複している領域を削除した上で後方画像と合成することで生成される。これにより、通常合成画像は、後方画像の領域と左後側方画像の領域及び右後側方画像の領域とが滑らかに連続した画像になり、車両５０の乗員が車両５０の後方及び後側方を目視した場合に近い画像になる。従って、表示部１８に表示された通常合成画像を視認した乗員により、車両５０の周辺の状況が誤認識されることを抑制することができる。なお、通常合成画像は第１合成画像の一例であり、ステップ１００～１０４は表示制御部に相当する処理の一例である。
次のステップ１０６において、電子ミラーＥＣＵ２２は、車両５０の後方の比較的近い距離に後続車両５２（図１０参照）が存在しているか否か判定する。なお、後続車両５２の有無は、例えば後方画像を解析することで判定することができ、後方画像に含まれる後続車両５２に対応する画像領域のサイズが所定値以上か否かに基づいて、比較的近い距離に後続車両５２が存在しているか否かを判定することができる。また、ステップ１０６の判定は、例えば、車両５０の後方を検出範囲とするレーダなどの検出結果に基づいて判定することも可能である。この場合、車両５０と後続車両５２との距離をより正確に判定することができる。
ステップ１０６の判定が否定された場合はステップ１０８へ移行し、ステップ１０８において、電子ミラーＥＣＵ２２は、通常合成画像に現れない（死角となる）第１死角領域８０（図４参照）に物体が存在しているか否か判定する。第１死角領域８０は、通常合成画像の生成に際し、左後側方画像及び右後側方画像のうち仮想投影面６６上で後方画像と重複している領域を削除することにより発生する。
ステップ１０８の判定は、左後側方画像のうち通常合成画像の生成時に削除した領域内と、右後側方画像のうち通常合成画像の生成時に削除した領域内と、の少なくとも一方に、物体（例えば二輪車や人）に相当する領域が存在するか否かを判定することで実現できる。なお、物体に相当する領域が存在する場合に、当該領域のうち第１死角領域８０内に位置している領域の割合が所定値以上か否かを判定するようにしてもよい。また、車両５０の後側方を含む範囲を検出範囲とするレーダなどの検出結果に基づいて判定することも可能である。
ステップ１０８の判定が否定された場合はステップ１００に戻り、ステップ１０６又はステップ１０８の判定が肯定される迄、ステップ１００～ステップ１０８を繰り返す。この間、通常合成画像の生成・表示が継続される。
一方、一例として図６に示すように、第１死角領域８０に物体（図６の例では二輪車５４）が存在している場合、ステップ１０８の判定が肯定されてステップ１１２へ移行する。図６に示すように、第１死角領域８０に二輪車５４が存在している場合、通常合成画像は、例として図７に示すように二輪車５４の一部が欠けた画像となる。これにより、表示部１８に表示された画像を視認した乗員により、二輪車５４の存在が認識されない虞がある。このため、ステップ１１２以降では、後述するように、二輪車５４に対応する画像領域が現れるように死角優先合成画像を生成・表示する。
また、車両５０の後方の比較的近い距離に後続車両５２が存在している場合には、ステップ１０６の判定が肯定されてステップ１１０へ移行する。ステップ１１０において、電子ミラーＥＣＵ２２は、第２死角領域８２（図１０参照）から物体が接近しているか否か判定する。第２死角領域８２は、車両５０の後方の比較的近い距離に後続車両５２が存在していることで発生し、第２死角領域８２内に存在している物体は通常合成画像に現れない（死角となる）。
ステップ１１０の判定は、左後側方画像のうち通常合成画像の生成時に削除した領域内と、右後側方画像のうち通常合成画像の生成時に削除した領域内と、の少なくとも一方に、物体（二輪車や人）に相当する領域が存在し、かつ当該領域のサイズが時間経過に伴って大きくなっているか否かを判定することで実現できる。なお、車両５０の後側方を含む範囲を検出範囲とするレーダなどの検出結果に基づいて判定することも可能である。
一例として図１０に示すように、第２死角領域８２に物体（図１０の例では二輪車５４）が存在していた場合、通常合成画像は、例として図１１に示すように二輪車５４が現れない画像となる。これにより、表示部１８に表示された画像を視認した乗員により、車両５０に接近する二輪車５４の存在が認識されない虞がある。このため、ステップ１１０の判定が肯定された場合にもステップ１１２へ移行する。
ステップ１１２において、電子ミラーＥＣＵ２２は、第１死角領域８０内又は第２死角領域８２内に存在する物体が車両５０の左後側方に位置しているか否か判定する。ステップ１１２の判定が肯定された場合はステップ１１４へ移行する。ステップ１１４において、電子ミラーＥＣＵ２２は、左後側方画像から画像を抽出する範囲を、車両５０の左方向に位置しかつ第１死角領域８０内又は第２死角領域８２内に存在する物体に対応する画像領域を含むように右方向へ移動させ、左後側方画像から画像を抽出する。
例えば、図１０、１２に示すように車両５０の左後側方の第２死角領域８２に物体（二輪車５４）が存在している場合、図１２を図１０と比較すると明らかなように、左後側方画像の撮影範囲６２のうち抽出領域７０の位置を右方向へ移動させ、削除領域７２を撮影範囲６４のうちの左端側へ移動させる。これにより、左後側方画像からは、車両５０の左後側方に位置しかつ第１死角領域８０内又は第２死角領域８２内に存在する物体に対応する画像領域を含む画像が抽出される。
また、ステップ１１２の判定が否定された場合はステップ１１６へ移行し、ステップ１１６において、電子ミラーＥＣＵ２２は、通常合成画像を生成する場合と同様に、左後側方画像から、後方画像と仮想投影面６６上で重複する領域を削除した画像を抽出する。ステップ１１４又はステップ１１６の処理を行うとステップ１１８へ移行する。
ステップ１１８において、電子ミラーＥＣＵ２２は、第１死角領域８０内又は第２死角領域８２内に存在する物体が車両５０の右後側方に位置しているか否か判定する。ステップ１１８の判定が肯定された場合はステップ１２０へ移行する。ステップ１２０において、電子ミラーＥＣＵ２２は、右後側方画像から画像を抽出する範囲を、車両５０の右後側方に位置しかつ第１死角領域８０内又は第２死角領域８２内に存在する物体に対応する画像領域を含むように左方向へ移動させ、右後側方画像から画像を抽出する。
例えば、図６、８に示すように車両５０の右後側方の第１死角領域８０に物体（二輪車５４）が存在している場合、図８を図６と比較すると明らかなように、右後側方画像の撮影範囲６４のうち抽出領域７４の位置を左方向へ移動させ、削除領域６８を撮影範囲６２のうちの右端側へ移動させる。これにより、右後側方画像からは、車両５０の右後側方に位置しかつ第１死角領域８０内又は第２死角領域８２内に存在する物体に対応する画像領域を含む画像が抽出される。
また、ステップ１１８の判定が否定された場合はステップ１２２へ移行し、ステップ１２２において、電子ミラーＥＣＵ２２は、通常合成画像を生成する場合と同様に、右後側方画像から、後方画像と仮想投影面６６上で重複する領域を削除した画像を抽出する。ステップ１２０又はステップ１２２の処理を行うとステップ１２４へ移行する。
ステップ１２４において、電子ミラーＥＣＵ２２は、ステップ１１４又はステップ１１６で左後側方画像から抽出した画像を後方画像の左側に合成すると共に、ステップ１２０又はステップ１２２で右後側方画像から抽出した画像を後方画像の右側に合成することで、死角優先合成画像を生成する。そしてステップ１２６において、電子ミラーＥＣＵ２２は、死角優先合成画像を表示部１８に表示させる。
一例として図６に示すように、車両５０の右後側方の第１死角領域８０に物体（図６の例では二輪車５４）が存在している場合、通常合成画像では、例として図７に示すように二輪車５４の一部が欠けた画像となる。これに対して上述の処理では、図８に示すように、右後側方画像の撮影範囲６４のうち抽出領域７４の位置が左方向へ移動されることで、例として図９に示すように、生成されて表示部１８に表示される死角優先合成画像上に二輪車５４が現れることになる。これにより、表示部１８に表示された画像を視認した乗員により、二輪車５４の存在が確実に認識される。
また、一例として図１０に示すように、車両５０の左後側方の第２死角領域８２に物体（図１０の例では二輪車５４）が存在していた場合、通常合成画像は、例として図１１に示すように二輪車５４が現れない画像となる。これに対して上述の処理では、二輪車５４が車両５０に接近していた場合、図１２に示すように、肥大後側方画像の撮影範囲６２のうち抽出領域７０の位置が右方向へ移動されることで、例として図１３に示すように、生成されて表示部１８に表示される死角優先合成画像上に二輪車５４が現れることになる。これにより、表示部１８に表示された画像を視認した乗員により、車両５０の右後側方から車両５０に接近している二輪車５４の存在が確実に認識される。
ステップ１２６の処理を行うとステップ１２８へ移行し、ステップ１２８において、電子ミラーＥＣＵ２２は、第１死角領域８０内又は第２死角領域８２内に存在していた物体が、第１死角領域８０内又は第２死角領域８２内からいなくなったか否か判定する。ステップ１２８の判定が否定された場合はステップ１０６に戻り、ステップ１０８が否定されるか、又は、ステップ１２８の判定が肯定される迄、ステップ１０６～ステップ１２８を繰り返すことで、死角優先合成画像の生成・表示が継続される。そして、ステップ１０８が否定されるか、又は、ステップ１２８の判定が肯定された場合にはステップ１００に戻り、通常合成画像を生成・表示する状態に戻る。
このように、本実施形態では、第１死角領域８０内に物体が存在している場合及び第２死角領域８２内に存在している物体が車両５０に接近している場合に、死角優先合成画像を生成する。死角優先合成画像は、第１死角領域８０内又は第２死角領域８２内に存在している物体に対応する画像領域を含む後側方画像を後方画像に重畳した画像であり、表示部１８に表示する画像を通常合成画像から死角優先合成画像に切り替える。
これにより、第１死角領域８０内又は第２死角領域８２内に存在している物体に対応する画像領域が現れた死角優先合成画像が視認されることで、表示画像の視認者に車両周辺の状況、すなわち第１死角領域８０内に物体が存在しているか、第２死角領域８２内に存在している物体が車両５０に接近している状況を認識させることができる。また、表示部１８に表示する画像を通常合成画像から死角優先合成画像に切り替えることを、第１死角領域８０内に物体が存在している場合及び第２死角領域８２内に存在している物体が車両５０に接近している場合に行うので、表示部１８に表示させる画像を切り替える頻度が低減される。これにより、表示画像の視認者が画像の切り替えに煩雑さを感じたり、車両の周辺の状況を誤認識したりすることを抑制することができる。
なお、上記では、第１死角領域８０内又は第２死角領域８２内に存在している物体に対応する画像領域が現れた死角優先合成画像を生成することを、後側方画像のうち後方画像に重畳する抽出領域７０、７４を移動させることで実現する態様を説明したが、これに限定されるものではない。例えば、後側方画像を車両幅方向に圧縮して後方画像に重畳することで、第１死角領域８０内又は第２死角領域８２内に存在している物体に対応する画像領域が現れた死角優先合成画像を生成するようにしてもよい。
また、上記では第２死角領域８２内に存在している物体が車両５０に接近している場合に、死角優先合成画像を生成して表示する態様を説明したが、これに限定されるものではない。例えば、第２死角領域８２内に物体が存在している場合には、当該物体が車両５０に接近しているか否かに拘わらず、死角優先合成画像を生成して表示するようにしてもよい。
１０ 電子ミラー装置
１２ 後方カメラ（後方撮影部）
１４ 左後側方カメラ（後側方撮影部）
１６ 右後側方カメラ（後側方撮影部）
１８ 表示部
２２ 電子ミラーＥＣＵ（表示制御部、切替部）
５０ 車両
５２ 後続車両
５４ 二輪車
６０ 撮影範囲
６２ 撮影範囲
６４ 撮影範囲
７０ 抽出領域
７４ 抽出領域
８０ 第１死角領域
８２ 第２死角領域

Claims (5)

  1. 車両の後方を撮影する後方撮影部と、
    前記車両の後側方を撮影する後側方撮影部と、
    前記後方撮影部で撮影された後方画像と前記後側方撮影部で撮影された後側方画像とを合成した第１合成画像を生成し、前記第１合成画像を表示部に表示させる表示制御部と、
    前記後側方撮影部の撮影範囲内でかつ前記第１合成画像上に現れない第１死角領域内に物体が存在している場合、及び、前記車両の後方からの車両の接近によって発生する、前記後側方撮影部の撮影範囲内でかつ前記第１合成画像上に現れない第２死角領域内に物体が存在している場合に、前記物体に対応する画像領域を含む前記後側方画像を前記後方画像に重畳した第２合成画像を生成し、前記表示部に表示させる画像を前記第２合成画像に切り替える切替部と、
    を含む車両用周辺表示装置。
  2. 前記後方撮影部と前記後側方撮影部とは撮影範囲が一部重複しており、
    前記表示制御部は、前記後側方画像のうち仮想投影面上で前記後方画像と重複している領域を削除した上で前記後方画像と合成することで、前記第１合成画像を生成する請求項１記載の車両用周辺表示装置。
  3. 前記切替部は、前記後側方画像のうち前記後方画像に重畳する範囲が前記画像領域を含むように、前記重畳する範囲を移動させるか又は前記後側方画像を車両幅方向に圧縮することで、前記画像領域が現れた前記第２合成画像を生成する請求項１又は請求項２記載の車両用周辺表示装置。
  4. 前記切替部は、前記第２死角領域内に物体が存在している場合に前記第２合成画像を生成して前記表示部に表示させることを、当該物体が前記車両に接近しているときに行う請求項１～請求項３の何れか１項記載の車両用周辺表示装置。
  5. 前記車両用周辺表示装置は、前記車両に搭載された電子ミラー装置である請求項１～請求項４の何れか１項記載の車両用周辺表示装置。
JP2018152063A 2018-08-10 2018-08-10 車両用周辺表示装置 Active JP7052632B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018152063A JP7052632B2 (ja) 2018-08-10 2018-08-10 車両用周辺表示装置
CN201910549101.7A CN110857057B (zh) 2018-08-10 2019-06-24 车辆用周边显示装置
US16/458,839 US10944918B2 (en) 2018-08-10 2019-07-01 Peripheral display device for a vehicle
DE102019120636.7A DE102019120636A1 (de) 2018-08-10 2019-07-31 Periphere anzeigevorrichtung für ein fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018152063A JP7052632B2 (ja) 2018-08-10 2018-08-10 車両用周辺表示装置

Publications (2)

Publication Number Publication Date
JP2020028027A JP2020028027A (ja) 2020-02-20
JP7052632B2 true JP7052632B2 (ja) 2022-04-12

Family

ID=69185919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018152063A Active JP7052632B2 (ja) 2018-08-10 2018-08-10 車両用周辺表示装置

Country Status (4)

Country Link
US (1) US10944918B2 (ja)
JP (1) JP7052632B2 (ja)
CN (1) CN110857057B (ja)
DE (1) DE102019120636A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10752218B2 (en) * 2018-02-22 2020-08-25 Ford Global Technologies, Llc Camera with cleaning system
DE102020135098B4 (de) 2020-01-08 2023-07-20 Denso Corporation Fahrzeuganzeigesteuervorrichtung, fahrzeuganzeigesteuersystem und fahrzeuganzeigesteuerverfahren
JP7347330B2 (ja) * 2020-05-27 2023-09-20 トヨタ自動車株式会社 車両周辺監視装置
JP7276262B2 (ja) * 2020-06-29 2023-05-18 トヨタ自動車株式会社 車両用表示装置
JP7314885B2 (ja) * 2020-09-01 2023-07-26 トヨタ自動車株式会社 車両用周辺監視装置
GB2623296A (en) * 2022-10-05 2024-04-17 Continental Automotive Tech Gmbh System and method for evaluation of the driving of a vehicle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286873A (ja) 2006-04-17 2007-11-01 Alpine Electronics Inc 車載周辺他車検出装置
JP2007295357A (ja) 2006-04-26 2007-11-08 Alpine Electronics Inc 車載周辺状況提示装置
JP2008052320A (ja) 2006-08-22 2008-03-06 Alpine Electronics Inc 周辺監視システム
JP2009081666A (ja) 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2009206747A (ja) 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
US20150084755A1 (en) 2013-09-23 2015-03-26 Audi Ag Driver assistance system for displaying surroundings of a vehicle
JP2016097896A (ja) 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4412365B2 (ja) * 2007-03-26 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
CN102774325B (zh) * 2012-07-31 2014-12-10 西安交通大学 一种后视倒车辅助系统和形成后视障碍图像的方法
CN105763854B (zh) * 2016-04-18 2019-01-08 扬州航盛科技有限公司 一种基于单目摄像头的全景成像系统及其成像方法
CN109906165A (zh) * 2016-08-10 2019-06-18 兹沃公司 使用推断的注意力模型经由收集和存储的元数据提供信息的方法和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286873A (ja) 2006-04-17 2007-11-01 Alpine Electronics Inc 車載周辺他車検出装置
JP2007295357A (ja) 2006-04-26 2007-11-08 Alpine Electronics Inc 車載周辺状況提示装置
JP2008052320A (ja) 2006-08-22 2008-03-06 Alpine Electronics Inc 周辺監視システム
JP2009081666A (ja) 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2009206747A (ja) 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
US20150084755A1 (en) 2013-09-23 2015-03-26 Audi Ag Driver assistance system for displaying surroundings of a vehicle
JP2016097896A (ja) 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置

Also Published As

Publication number Publication date
CN110857057B (zh) 2023-02-17
DE102019120636A1 (de) 2020-02-13
US10944918B2 (en) 2021-03-09
JP2020028027A (ja) 2020-02-20
US20200053295A1 (en) 2020-02-13
CN110857057A (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
JP7052632B2 (ja) 車両用周辺表示装置
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP5320970B2 (ja) 車両用表示装置および表示方法
JP6877115B2 (ja) 車両用視認装置
EP3378702B1 (en) Viewing device for vehicle
JP5093611B2 (ja) 車両周辺確認装置
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP2003219413A (ja) 車両後方モニタシステムおよびモニタ装置
JP7188727B2 (ja) 車両用視認装置
JP2016168877A (ja) 車両用視認装置
CN109455140B (zh) 图像显示装置
JP2019110492A (ja) 画像表示装置
US10399496B2 (en) Viewing device for vehicle and method of displaying viewed image for vehicle
JP7000383B2 (ja) 画像処理装置および画像処理方法
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
KR102623156B1 (ko) 가상 카메라를 자동차의 내부 미러를 향해 시프트함으로써 환경의 표현을 생성하기 위한 방법뿐만 아니라, 카메라 장치
JP7347330B2 (ja) 車両周辺監視装置
JP2005182305A (ja) 車両走行支援装置
JP2010130413A (ja) 周辺状況表示装置
JP5049304B2 (ja) 車両の周辺を画像表示するための装置
JP6970035B2 (ja) 車両用視認装置の撮影部の画角設定方法
JP2018074503A (ja) 車両用視認装置及び車両用視認画像表示方法
JP7076976B2 (ja) 車両用表示装置
CN113022590A (zh) 车辆用周边显示装置
JP6555240B2 (ja) 車両用撮影表示装置及び車両用撮影表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R151 Written notification of patent or utility model registration

Ref document number: 7052632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151