JP6551336B2 - 周辺監査装置 - Google Patents

周辺監査装置 Download PDF

Info

Publication number
JP6551336B2
JP6551336B2 JP2016158753A JP2016158753A JP6551336B2 JP 6551336 B2 JP6551336 B2 JP 6551336B2 JP 2016158753 A JP2016158753 A JP 2016158753A JP 2016158753 A JP2016158753 A JP 2016158753A JP 6551336 B2 JP6551336 B2 JP 6551336B2
Authority
JP
Japan
Prior art keywords
display
captured image
captured images
processing unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016158753A
Other languages
English (en)
Other versions
JP2018026757A (ja
Inventor
昇幸 横田
昇幸 横田
明宏 砂坂
明宏 砂坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016158753A priority Critical patent/JP6551336B2/ja
Priority to CN202310549461.3A priority patent/CN116567399A/zh
Priority to DE112017004055.8T priority patent/DE112017004055T5/de
Priority to US16/323,359 priority patent/US11394926B2/en
Priority to PCT/JP2017/029004 priority patent/WO2018030491A1/ja
Priority to CN201780048830.3A priority patent/CN109644252A/zh
Publication of JP2018026757A publication Critical patent/JP2018026757A/ja
Application granted granted Critical
Publication of JP6551336B2 publication Critical patent/JP6551336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、車両に搭載される周辺監査装置に関する。
特許文献１には、車両における複数の異なる位置に設けられた複数台のカメラによって得られる複数の撮像画像を、車両に設けられた表示装置に表示する周辺監査装置が開示されている。この周辺監査装置は、撮像範囲の一部が互いに重複する重複部を有する複数の撮像画像を、路面などの平面を基準としてそれぞれの重複部を重ね合わせることにより一つの画像として合成し、その合成した画像を表示装置に表示する。
特許第３２８６３０６号公報
上記の複数の撮像画像は、車両における複数の異なる位置に設けられた複数台のカメラにより撮像されたものであるため、撮像画像の重複部における人や車両などの高さを有する物体の表示態様がそれぞれ異なる。したがって、高さを有する物体が重複部に存在する場合、重複部に表示されるべき物体の一部が表示画面から消えてしまうなど、運転者が表示画面において物体を視認しづらくなる場合がある。また、表示画面において表示される物体の大きさが小さく、運転者が物体に気づきにくい場合がある。
本開示は、表示画面において運転者が車両周辺の物体を視認しづらくなるのを抑制することができる周辺監査装置を提供することを目的としている。
本開示の周辺監査装置（３２）は、表示処理部（Ｓ１３〜１５）と、判定部（Ｓ１２）と、を備える。表示処理部は、車両における複数の異なる位置に設けられた複数台のカメラ（２１〜２４）によって得られる、撮像範囲（５１〜５３）の一部が互いに重複する重複部を有する複数の撮像画像を、重複部を残したまま、車両に設けられた表示装置（４）にそれぞれ表示する。判定部は、複数の撮像画像のそれぞれについて、検知すべき所定の対象物が存在するか否かを判定する。また、表示処理部は、拡大処理部（Ｓ１４）を備える。拡大処理部は、判定部により複数の撮像画像のうち少なくとも一つに対象物が存在すると判定された場合、複数の撮像画像のうち対象物が存在すると判定された少なくとも一つの撮像画像を拡大して表示装置に表示する。
このような構成によれば、撮像画像の重複部を残したまま複数の撮像画像がそれぞれ表示装置に表示される。このため、撮像画像の重複部に高さを有する物体が存在する場合でも、物体の一部が表示画面から消えてしまうことが生じにくくなる。これにより、運転者が表示画面において物体を視認しづらくなることを抑制することができる。加えて、対象物が存在すると判定された撮像画像が拡大して表示される。このため、表示画面において表示される対象物の大きさが小さくなることが生じにくくなる。これにより、運転者が表示画面において対象物に気づきにくいことを抑制することができる。したがって、表示画面において運転者が車両周辺の対象物を視認しづらくなることを抑制することができる。
周辺監査システムの構成を示すブロック図である。 各カメラの設置位置及び後方表示機能の部分撮像画像の撮像範囲と重複範囲とを表す図である。 デフォルトの表示割合で表示された表示用画像を表す図である。 対象物検知処理のフローチャートである。 拡大時の表示割合で表示された表示用画像を表す図である。
以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．構成］
図１に示す周辺監査システム１は、車両に搭載され、前方カメラ２１、後方カメラ２２、左側方カメラ２３、右側方カメラ２４、ソナー２５、ＥＣＵ３及び表示装置４を備える。以下では、周辺監査システム１が搭載された車両を「自車両」という。
前方カメラ２１、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４は、撮像画像を表す信号をＥＣＵ３へ出力する。図２に示すように、各カメラ２１〜２４は、自車両における複数の異なる位置に設けられている。具体的には、前方カメラ２１は自車両の前部、後方カメラ２２は自車両の後部、左側方カメラ２３は自車両の左側部、そして右側方カメラ２４は自車両の右側部、にそれぞれ設けられている。
各カメラ２１〜２４は、自車両の前方領域及び後方領域のそれぞれにおいて、撮像可能な範囲の一部が互いに重複するように設けられている。具体的には、各カメラ２１〜２４は、約１８０度の画角で撮像が可能な広角カメラである。このため、左側方カメラ２３及び右側方カメラ２４により撮像可能な範囲は、自車両の前方側において、前方カメラ２１により撮像可能な範囲と一部が重複し、自車両の後方側において、後方カメラ２２により撮像可能な範囲と一部が重複する。
本実施形態において、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４は、自車両の後方を撮像した撮像画像を表示装置４に表示する後方表示機能を実現するために用いられる。また、前方カメラ２１、左側方カメラ２３及び右側方カメラ２４は、自車両の前方を撮像した撮像画像を表示装置４に表示する前方表示機能を実現するために用いられる。
なお、以下の説明では、各カメラ２１〜２４により撮像可能な範囲に対応する撮像画像を「原撮像画像」といい、表示装置４に表示される撮像画像、換言すれば原撮像画像の一部である撮像画像を「部分撮像画像」という。
図２は、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４それぞれの撮像可能な範囲のうち、後方表示機能で表示される部分撮像画像に対応する範囲である撮像範囲を示す。後方カメラ２２の撮像範囲５３における左側の一部は、左側方カメラ２３の撮像範囲５１における後方側の一部と、重複範囲５４において重複する。また、後方カメラ２２の撮像範囲５３における右側の一部は、右側方カメラ２４の撮像範囲５２における後方側の一部と、重複範囲５５において重複する。
なお、前方表示機能についても同様に、前方カメラ２１の撮像範囲における左側の一部及び右側の一部が、左側方カメラ２３の撮像範囲における前方側の一部、及び右側方カメラ２４の撮像範囲における前方側の一部、とそれぞれ重複する。
図１に戻り、ソナー２５は、自車両の周辺に存在する物体を検知するための超音波センサである。具体的には、ソナー２５は、後方表示機能及び前方表示機能のそれぞれで表示される部分撮像画像に対応する撮像範囲における物体を検知可能とするため、自車両に複数設けられている。ソナー２５は、検知結果をＥＣＵ３へ出力する。
ＥＣＵ３は、入力信号処理部３１、画像処理部３２、出力信号処理部３３、メモリ３４及び電源回路３５を備える。なお、ＥＣＵとはＥｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔの略である。
入力信号処理部３１は、各カメラ２１〜２４から入力された部分撮像画像を表す信号をそれぞれ画像処理部３２へ出力するためのインタフェースである。
画像処理部３２は、図示しないＣＰＵ、ＲＡＭ及びＲＯＭなどを有する周知のマイクロコンピュータを中心に構成される。画像処理部３２は、非遷移的実体的記録媒体であるメモリ３４に格納されたプログラムを実行する。当該プログラムが実行されることで、当該プログラムに対応する方法が実行される。具体的には、画像処理部３２は、当該プログラムに従い、後述する図５に示す対象物検知処理を実行する。画像処理部３２は、表示装置４に表示するための表示用画像を表す信号を出力信号処理部３３に出力する。
出力信号処理部３３は、画像処理部３２により入力された表示用画像を表す信号を表示装置４へ出力するためのインタフェースである。
メモリ３４は、前述したプログラムや部分撮像画像などを記録するための記録媒体である。
電源回路３５は、図示しないバッテリーから入力した電圧を所定の電圧に変換し、ＥＣＵ３の各部へ供給する。
表示装置４は、画像を表示するためのディスプレイであり、表示された画像を自車両の運転者などが視認できる位置に設けられる。図３に示すように、本実施形態の表示装置４は、ハーフミラーの内側に液晶ディスプレイを備えたバックミラーである。表示装置４は、運転者が専用のボタンを操作することにより、通常の鏡として機能するミラーモードと、鏡の部分が一つの表示画面６として機能するディスプレイモードと、を切り替え可能に構成されている。
表示画面６は、横方向に長い概略長方形状である。後方表示機能及び前方表示機能のそれぞれにおいて、表示画面６には、３つの部分撮像画像が横並びに表示される。図３は、後方表示機能における表示用画像の一例であり、左側方カメラ２３による部分撮像画像６２、後方カメラ２２による部分撮像画像６１及び右側方カメラ２４による部分撮像画像６３が、運転者から見て左から順に表示される。なお、前方表示機能では、左側方カメラ２３による部分撮像画像、前方カメラ２１による部分撮像画像及び右側方カメラ２４による部分撮像画像が、運転者から見て左から順に表示される。
後方表示機能及び前方表示機能は、前述したディスプレイモードにおいて、シフトレバーによって切り替わる。具体的には、後方表示機能は、シフトポジションがリバースの状態で利用される機能であり、前方表示機能は、シフトポジションがドライブの状態で利用される機能である。
図３に示すように、部分撮像画像６１及び部分撮像画像６２は、表示画面６において、上下方向に延びる帯状の画像である離間部６４により左右に区分され、互いに離間して配置される。同様に部分撮像画像６１及び部分撮像画像６３は、表示画面６において、離間部６４と同様に離間部６５により左右に区分され、互いに離間して配置される。具体的には、離間部６４，６５は、下方に従って広がる形状である。
離間部６４，６５の下部には、表示画面６における左右両側の部分撮像画像６２，６３が、左側方カメラ２３及び右側方カメラ２４のうちいずれの部分撮像画像であるかを運転者が容易に認識できるように、撮像範囲を示すアイコン６６，６７が表示されている。具体的には、離間部６４には、自車両の左側方の撮像範囲５１を示すアイコン６６が表示され、離間部６５には、自車両の右側方の撮像範囲５２を示すアイコン６７が表示されている。なお、離間部６４，６５は、部分撮像画像６１，６２，６３の区分を把握しやすくするため、アイコン６６，６７を除く部分が例えば黒色の画像として表示される。
［２．処理］
次に、画像処理部３２が実行する対象物検知処理について、図４のフローチャートを用いて説明する。対象物検知処理は、後方表示機能を実現する処理であって、表示装置４のモードがディスプレイモードでありかつシフトレバーのシフトポジションがリバースである間に周期的に実行される。
Ｓ１１では、画像処理部３２は、入力信号処理部３１を介して、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４による原撮像画像を表す信号と、ソナー２５による検知結果と、を得る。
Ｓ１２では、画像処理部３２は、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４によって得られた信号の表す原撮像画像の一部である部分撮像画像のそれぞれについて、検知すべき所定の物体である対象物が存在するか否かを、ソナー２５による検知結果も利用して判定する。具体的には、前述したように、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４のそれぞれについて、撮像可能な範囲の一部を表す撮像画像が部分撮像画像として表示画面６に表示される。本実施形態における上記の対象物とは、人や車両などの移動体である。
移動体は、部分撮像画像に対して画像解析処理を行うことにより検知される。具体的には、移動体は、時系列的に連続する部分撮像画像から周知のオプティカルフロー法を用いて動きベクトルを算出することにより検知される。また、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４の真正面に位置し自車両に向かってくる移動体や、静止している移動体など、オプティカルフロー法では検知できない移動体は、周知のパターンマッチング法を用いて部分撮像画像から検知される。
さらに、本実施形態では、ソナー２５による検知結果に基づき、部分撮像画像に対する画像解析処理により検知された移動体が、検知された位置に実際に存在するか否かが判定される。その結果、実際に存在すると判定された移動体が、対象物であると判定される。
Ｓ１２で対象物が存在しないと判定された場合、Ｓ１３へ移行し、画像処理部３２は、表示画面６における後方カメラ２２、左側方カメラ２３及び右側方カメラ２４の部分撮像画像についての表示領域の割合である表示割合をデフォルトの表示割合に決定し、Ｓ１５に移行する。本実施形態では、デフォルトの表示割合は、図３に示すように、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において１：３：１となる割合に設定されている。
一方、前述したＳ１２で対象物が存在すると判定された場合、Ｓ１４へ移行し、画像処理部３２は、表示画面６における後方カメラ２２、左側方カメラ２３及び右側方カメラ２４の部分撮像画像の表示割合を、対象物が存在すると判定された部分撮像画像を拡大し、対象物が存在しないと判定された部分撮像画像を縮小して表示させるための表示割合に決定し、Ｓ１５に移行する。
具体的には、前述したＳ１２で、対象物が部分撮像画像６２のみに存在すると判定された場合、図５に示すように、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において２：２：１となる表示割合に決定される。逆に、対象物が部分撮像画像６３のみに存在すると判定された場合、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において１：２：２となる表示割合に決定される。一方、対象物が部分撮像画像６１のみに存在すると判定された場合は、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において１：３：１となる表示割合、つまりデフォルトの表示割合と同じ表示割合に決定される。部分撮像画像６１を拡大しないのは、デフォルトの表示割合であっても部分撮像画像６１は他の部分撮像画像６２，６３と比較して表示領域が広いからである。ただし、表示割合を変更しないのはあくまでも一例であり、部分撮像画像６１が拡大されるように表示割合を変更してもよい。
ここで、対象物が重複範囲５４，５５に存在する場合、当該対象物は二つの部分撮像画像に存在することになる。具体的には、対象物が重複範囲５４に存在する場合、前述したＳ１２で、対象物が部分撮像画像６２及び部分撮像画像６１の両方に存在すると判定される。この場合は、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において２：２：１となる表示割合に決定される。同様に、対象物が重複範囲５５に存在する場合、前述したＳ１２で、対象物が部分撮像画像６１及び部分撮像画像６３の両方に存在すると判定される。この場合、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において１：２：２となる表示割合に決定される。
一方、自車両の周辺に対象物が複数存在する場合には、対象物が重複範囲５４，５５に存在しない場合にも、複数の部分撮像画像に対象画像が存在し得る。具体的には、前述したＳ１２で、対象物が部分撮像画像６２及び部分撮像画像６３の両方に存在すると判定された場合、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において２：１：２となる表示割合に決定される。また前述したＳ１２で、対象物が各部分撮像画像６１〜６３のすべてに存在すると判定された場合、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において１：３：１となる表示割合に決定される。なお、いずれの例においても、各部分撮像画像６１〜６３の縦方向の表示領域の割合はすべて同一であり、変動はしない。また、各部分撮像画像６１〜６３の撮像範囲は、表示割合に関係なく同一である。
このように、画像処理部３２は、表示画面６における各部分撮像画像６１〜６３の撮像範囲を維持しつつ、表示用画像における各部分撮像画像６１〜６３の表示領域の横方向における表示割合を変えることにより、対象物が存在すると判定された部分撮像画像を拡大し、対象物が存在しないと判定された部分撮像画像を縮小する。
Ｓ１５では、画像処理部３２は、Ｓ１３又はＳ１４で決定された表示割合で表示用画像を表示画面６に表示する。具体的には、画像処理部３２は、決定された表示割合が前回の表示割合と異なる場合には、表示割合を段階的に変化させる周知のモーフィングの手法を用いて、表示用画像を表示画面６に表示させる。例えば、前回の表示割合が１：３：１であり、今回の表示割合が２：２：１である場合、表示割合を瞬時に変化させるのではなく、部分撮像画像６２の横幅を徐々に増加させ、部分撮像画像６１の横幅を徐々に減少させる。その後、画像処理部３２は、対象物検知処理を終了する。
なお、表示装置４のモードがディスプレイモードでありかつシフトレバーのシフトポジションがドライブである間は、前方表示機能を実現する処理であって図４に示す対象物検知処理と同様の処理が、周期的に実行される。
［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（３ａ）本実施形態では、３つの部分撮像画像６１〜６３が、重複範囲５４，５５に対応する重複部を残したまま、表示装置４にそれぞれ表示される。このため、各部分撮像画像６１〜６３の重複部に高さを有する物体が存在する場合でも、物体の一部が表示画面６から消えてしまうことが生じにくくなる。これにより、運転者が表示画面６において物体を視認しづらくなることを抑制することができる。加えて、対象物が存在すると判定された部分撮像画像が拡大して表示される。このため、表示画面６において表示される対象物の大きさが小さくなることが生じにくくなる。これにより、運転者が表示画面６において対象物に気づきにくいことを抑制することができる。したがって、表示画面６において運転者が自車両周辺の対象物を視認しづらくなることを抑制することができる。
（３ｂ）本実施形態では、画像処理部３２は、表示装置４の一つの表示画面６における各部分撮像画像６１〜６３についての表示割合を変えることで、各部分撮像画像６１〜６３のいずれにも対象物が存在しないと判定された場合、つまりデフォルトの表示割合と比較して、対象物が存在すると判定された部分撮像画像を拡大し、対象物が存在しないと判定された部分撮像画像を縮小する。これにより、対象物が存在しないと判定された部分撮像画像を縮小せずに、対象物が存在すると判定された部分撮像画像を拡大する場合と比較して、表示画面６を有効に利用することができる。すなわち、対象物が存在しないと判定された部分撮像画像を縮小せずに、対象物が存在すると判定された部分撮像画像を拡大しようとした場合、デフォルトの表示用画像には、対象物が存在すると判定された部分撮像画像を拡大するための余白をあらかじめ用意しておく必要がある。これに対し、本実施形態では、対象物が存在しないと判定された部分撮像画像を縮小するので、デフォルトの表示用画像及び拡大時の表示用画像のいずれも、表示画面６の全体を有効に利用することができる。
（３ｃ）本実施形態では、画像処理部３２は、対象物検知処理において対象物が検知された部分撮像画像を表示画面６における撮像範囲を維持したまま部分撮像画像の表示割合を変えることで、拡大して表示する。これにより、部分撮像画像における対象物を含む一部の範囲のみを拡大して表示する場合、つまりズームすることにより撮像範囲を小さくする場合とは異なり、運転者が表示画面６において対象物を認識しやすくすることができる。すなわち、撮像範囲を維持したまま拡大しているため、対象物が存在すると判定された部分撮像画像の全体像をつかみながら、拡大された部分撮像画像で対象物を認識しやすくすることができる。
（３ｄ）本実施形態では、画像処理部３２は、各部分撮像画像６１〜６３を表示画面６に互いに離間して表示する。これにより、各カメラ２１〜２４による各部分撮像画像６１〜６３が区分して表示されるため、表示されている各部分撮像画像６１〜６３がどのカメラによる部分撮像画像かを認識しやすくすることができる。
（３ｅ）本実施形態では、離間部６４，６５は、下方に行くに従って広がる形状である。したがって、各部分撮像画像６１〜６３の遠近感を運転者に直感的に把握させやすくすることができる。
（３ｆ）本実施形態では、離間部６４，６５に撮像範囲５１，５２を示すアイコン６６，６７が表示されている。これにより、表示画面６における左右両側の部分撮像画像６２，６３が左側方カメラ２３及び右側方カメラ２４のうちいずれの部分撮像画像であるかを運転者が認識しやすくすることができる。
（３ｇ）本実施形態では、対象物を検知する際に各カメラ２１〜２４及びソナー２５が併用される。したがって、各カメラ２１〜２４のみを利用して対象物を検知する構成と比較して、各カメラ２１〜２４により得られた信号の表す原撮像画像のうち、表示画面６に表示される部分撮像画像に、検知すべき所定の対象物が存在するか否かの検知精度を向上させることができる。
なお、本実施形態では、画像処理部３２が周辺監査装置に相当し、Ｓ１３〜１５が表示処理部の処理に相当し、Ｓ１２が判定部としての処理に相当し、Ｓ１４が拡大処理部としての処理に相当する。
［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
（４ａ）上記実施形態では、検知すべき所定の対象物として人や車両などの移動体を例示したが、対象物はこれに限定されるものではない。対象物には、例えば、電柱などの静止物が含まれてもよい。
（４ｂ）上記実施形態では、表示画面６におけるデフォルトの表示割合は、運転者から見て左から順に１：３：１であるが、デフォルトの表示割合はこれに限定されるものではない。デフォルトの表示割合は、例えば、１：１：１や１：２：１等であってもよい。また、デフォルトの表示割合以外の表示割合も、上記実施形態で示した表示割合に限定されるものではない。
（４ｃ）上記実施形態では、画像処理部３２は、対象物検知処理において対象物が存在すると判定された部分撮像画像の表示領域を拡大する代わりに、対象物が存在しないと判定された部分撮像画像の表示領域を縮小する構成を例示した。しかしながら、対象物が存在しないと判定された部分撮像画像の表示態様は、これに限定されるものではない。例えば、対象物が存在しないと判定された部分撮像画像の表示領域を縮小せずに、対象物が存在すると判定された部分撮像画像の表示領域のみを拡大してもよい。このような表示態様は、例えば、デフォルトの表示用画像に、対象物が存在すると判定された部分撮像画像の表示領域を拡大するための余白をあらかじめ用意しておくことで実現可能である。
（４ｄ）上記実施形態では、表示用画像における各部分撮像画像６１〜６３の表示領域の横方向における表示割合を変えることにより、対象物が存在すると判定された部分撮像画像の表示領域を拡大する構成を例示した。しかしながら表示割合の変更の仕方はこれに限定されるものではない。例えば、部分撮像画像の表示領域の横方向及び縦方向の両方における表示割合が変更されてもよい。具体的には、例えば、部分撮像画像の表示領域の縦横比を維持したまま、対象物が存在すると判定された部分撮像画像の表示領域が拡大され、対象物が存在しないと判定された部分撮像画像の表示領域が縮小されるようにしてもよい。このような表示態様も、例えば、デフォルトの表示用画像に対象物が存在すると判定された部分撮像画像の表示領域を拡大するための余白をあらかじめ用意しておくことで実現可能である。また、部分撮像画像の表示領域の縦方向における表示割合のみが変更されてもよい。例えば、複数の部分撮像画像が表示画面において縦方向に並んで配置されている場合、上記実施形態と同様、表示用画像に余白を設けることなく部分撮像画像の表示割合を変更することができる。
（４ｅ）上記実施形態では、部分撮像画像の表示領域が拡大又は縮小されても撮像範囲が維持される構成を例示したが、これに限定されるものではなく、部分撮像画像の撮像範囲が変更されるようにしてもよい。例えば、部分撮像画像における対象物を含む一部の範囲のみを拡大して表示する、つまりズームすることにより撮像範囲が小さくされてもよい。
（４ｆ）上記実施形態では、表示装置４は、専用のボタンを操作することにより、ミラーモードと、ディスプレイモードと、を切り替え可能に構成されているが、表示装置４のモードの切り替え方法はこれに限定されるものではない。例えば、シフトポジションがリバースの状態、自車両の走行速度がしきい値以下の状態など、特定の状態へ移行した場合にミラーモードからディスプレイモードに自動的に切り替わるようにしてもよい。また、いわゆる電子ミラーのように常時ディスプレイモードとして機能するようにしてもよい。
（４ｇ）上記実施形態では、離間部６４，６５は、各部分撮像画像６１〜６３の遠近感を運転者に直感的に把握させやすくすることができるように、下方に行くに従って広がる形状であるが、離間部の形状はこれに限定されるものではない。例えば、離間部は、幅が一定であってもよい。
（４ｈ）上記実施形態では、離間部６４，６５の下部にアイコン６６，６７が表示されているが、アイコンの表示位置はこれに限定されるものではない。例えば、アイコンは、離間部の上部や、離間部以外の場所など、離間部の下部以外の場所に表示されていてもよい。また、アイコンが表示されないようにしてもよい。
（４ｉ）上記実施形態では、部分撮像画像は、表示用画像において離間部６４，６５により左右に区分されて表示されているが、表示用画像の表示はこれに限定されるものではない。例えば、部分撮像画像は、離間部により区分されなくてもよい。
（４ｊ）上記実施形態では、決定された表示割合が前回の表示割合と異なる場合に、表示割合を段階的に変化させるモーフィング手法が用いられるが、表示割合の変更方法はこれに限定されるものではない。例えば、表示割合を瞬時に変化させてもよい。
（４ｋ）上記実施形態では、表示装置として、ハーフミラーの内側に液晶ディスプレイを備えたバックミラーを例示したが、表示装置はこれに限定されるものではない。表示装置は、例えば、ナビゲーション装置や、ナビゲーション装置以外の自車両に搭載されたディスプレイ等であってもよい。
（４ｌ）上記実施形態では、自車両の周辺における所定の対象物を検知するために、各カメラ２１〜２４及びソナー２５が使用されるが、対象物を検知するための装置はこれに限定されるものではない。例えば、ソナー２５に代えてミリ波レーダやレーザーレーダ等が各カメラ２１〜２４と併用されてもよい。また例えば、各カメラ２１〜２４のみにより対象物を検知してもよい。
（４ｍ）上記実施形態では、対象物検知処理は、表示装置４のモードがディスプレイモードであるとき、シフトレバーのシフトポジションによって前方表示機能及び後方表示機能を実現する処理を実行するが、対象物検知処理はこれに限定されるものではない。対象物検知処理は、例えば、後方表示機能のみを実現する処理を実行してもよい。
（４ｎ）上記実施形態では、４台のカメラ２１〜２４により車両の周辺を撮像するが、カメラの台数はこれに限定されるものではない。例えば、カメラの台数は４台以外であってもよい。この場合において例えば、カメラの台数は、前方領域を撮像する前方カメラ２１、左側方カメラ２３及び右側方カメラ２４の３台、若しくは、後方領域を撮像する後方カメラ２２、左側方カメラ２３及び右側方カメラ２４の３台であってもよい。
（４ｏ）上記実施形態では、画像処理部３２が実行する機能の一部又は全部を、１つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。
（４ｐ）前述した画像処理部３２の他、当該画像処理部３２を構成要素とする周辺監査システム１、画像処理部３２としてコンピュータを機能させるためのプログラム、このプログラムを記憶した半導体メモリ等の非遷移的実体的記憶媒体、対象物が存在すると判定された場合の部分撮像画像の拡大方法など、種々の形態で本開示を実現することもできる。
（４ｑ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
１…周辺監査システム、３…ＥＣＵ、４…表示装置、６…表示画面、２１…前方カメラ、２２…後方カメラ、２３…左側方カメラ、２４…右側方カメラ、２５…ソナー、３１…入力信号処理部、３２…画像処理部、３３…出力信号処理部、３４…メモリ、３５…電源回路、５１〜５３…撮像範囲、５４，５５…重複範囲、６１〜６３…部分撮像画像、６４，６５…離間部、６６，６７…アイコン。

Claims (5)

  1. 車両における複数の異なる位置に設けられた複数台のカメラ（２１〜２４）によって得られる複数の撮像画像であって撮像範囲（５１〜５３）の一部が互いに重複する重複部を有する前記複数の撮像画像を、前記重複部を残したまま、前記車両に設けられた表示装置（４）にそれぞれ表示する表示処理部（Ｓ１３〜１５）と、
    前記複数の撮像画像のそれぞれについて、検知すべき所定の対象物が存在するか否かを判定する判定部（Ｓ１２）と、
    を備え、
    前記表示処理部は、前記判定部により前記複数の撮像画像のうち少なくとも一つに前記対象物が存在すると判定された場合、前記複数の撮像画像のうち前記対象物が存在すると判定された少なくとも一つの撮像画像を拡大して前記表示装置に表示する拡大処理部（Ｓ１４）を備える、周辺監査装置。
  2. 請求項１に記載の周辺監査装置であって、
    前記表示処理部は、前記複数の撮像画像を前記表示装置の一つの表示画面（６）に表示する、周辺監査装置。
  3. 請求項２に記載の周辺監査装置であって、
    前記拡大処理部は、前記表示画面における前記複数の撮像画像についての表示領域の割合を変えることで、前記判定部により前記複数の撮像画像のいずれにも前記対象物が存在しないと判定された場合と比較して、前記対象物が存在すると判定された少なくとも一つの前記撮像画像の前記表示画面における前記表示領域が大きくなるように拡大して表示し、前記対象物が存在しないと判定された少なくとも一つの前記撮像画像の前記表示画面における前記表示領域が小さくなるように縮小して表示する、周辺監査装置。
  4. 請求項３に記載の周辺監査装置であって、
    前記拡大処理部は、前記表示画面に表示する前記複数の撮像画像の撮像範囲を維持したまま、前記表示画面における前記表示領域の割合を変える、周辺監査装置。
  5. 請求項２から請求項４までのいずれか１項に記載の周辺監査装置であって、
    前記表示処理部は、前記複数の撮像画像を前記表示画面に互いに離間して表示する、周辺監査装置。
JP2016158753A 2016-08-12 2016-08-12 周辺監査装置 Active JP6551336B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016158753A JP6551336B2 (ja) 2016-08-12 2016-08-12 周辺監査装置
CN202310549461.3A CN116567399A (zh) 2016-08-12 2017-08-09 周边检查装置
DE112017004055.8T DE112017004055T5 (de) 2016-08-12 2017-08-09 Umgebungsuntersuchungsvorrichtung
US16/323,359 US11394926B2 (en) 2016-08-12 2017-08-09 Periphery monitoring apparatus
PCT/JP2017/029004 WO2018030491A1 (ja) 2016-08-12 2017-08-09 周辺監査装置
CN201780048830.3A CN109644252A (zh) 2016-08-12 2017-08-09 周边检查装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016158753A JP6551336B2 (ja) 2016-08-12 2016-08-12 周辺監査装置

Publications (2)

Publication Number Publication Date
JP2018026757A JP2018026757A (ja) 2018-02-15
JP6551336B2 true JP6551336B2 (ja) 2019-07-31

Family

ID=61162389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016158753A Active JP6551336B2 (ja) 2016-08-12 2016-08-12 周辺監査装置

Country Status (5)

Country Link
US (1) US11394926B2 (ja)
JP (1) JP6551336B2 (ja)
CN (2) CN116567399A (ja)
DE (1) DE112017004055T5 (ja)
WO (1) WO2018030491A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019179511A (ja) * 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 運転支援システム、情報処理装置及び運転支援方法
JP6857695B2 (ja) * 2018-09-14 2021-04-14 シャープ株式会社 後方表示装置、後方表示方法、およびプログラム
KR20210083256A (ko) * 2018-10-31 2021-07-06 소니그룹주식회사 촬영 장치, 제어 방법 및 프로그램
WO2021192372A1 (ja) * 2020-03-27 2021-09-30 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御方法及びプログラム
CN111539973B (zh) * 2020-04-28 2021-10-01 北京百度网讯科技有限公司 用于检测车辆位姿的方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2309453A3 (en) 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置
US7937667B2 (en) * 2006-09-27 2011-05-03 Donnelly Corporation Multimedia mirror assembly for vehicle
JP2009206747A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
JP2010116086A (ja) * 2008-11-14 2010-05-27 Alpine Electronics Inc 車載用表示装置、表示方法および表示プログラム
JP5500877B2 (ja) * 2009-06-15 2014-05-21 アルパイン株式会社 車載用画像表示装置および画像のトリミング方法
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP5187369B2 (ja) * 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
DE102011088332B4 (de) * 2011-12-13 2021-09-02 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
JP6205640B2 (ja) * 2012-07-30 2017-10-04 市光工業株式会社 車両用警告装置
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
CN203713784U (zh) 2013-12-06 2014-07-16 广州进强电子科技有限公司 汽车监控系统
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置
JP6398675B2 (ja) * 2014-12-09 2018-10-03 株式会社デンソー 画像生成装置

Also Published As

Publication number Publication date
CN116567399A (zh) 2023-08-08
DE112017004055T5 (de) 2019-04-25
US20210289169A1 (en) 2021-09-16
WO2018030491A1 (ja) 2018-02-15
JP2018026757A (ja) 2018-02-15
US11394926B2 (en) 2022-07-19
CN109644252A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
JP6551336B2 (ja) 周辺監査装置
JP4900232B2 (ja) 車両用駐車支援装置および映像表示方法
JP6785953B2 (ja) 車載用監視カメラ装置
JP5681569B2 (ja) 情報処理システム、サーバ装置、および、車載装置
JP5741173B2 (ja) 画像表示装置、及び、画像表示方法
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP4985250B2 (ja) 駐車支援装置
US10609337B2 (en) Image processing apparatus
JP2011151666A (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP2010274814A (ja) 画像生成装置及び画像表示システム
JP6224029B2 (ja) 画像処理装置および画像処理方法
JP2008013022A (ja) 車両の運転支援装置
JP6730613B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2006246430A (ja) 車両周辺監視装置
JP2016190575A (ja) 駐車支援装置、及び駐車支援システム
JP2007290433A (ja) 駐車支援システム
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
US11214195B2 (en) Electronic mirror system
JP5477394B2 (ja) 車両周辺監視装置
US10602078B2 (en) Display control device which controls video extraction range
JP2009181310A (ja) 道路パラメータ推定装置
KR102125738B1 (ko) 주차 보조 시스템
JP2012096771A (ja) 車両端部周辺画像表示装置
JP2012030796A (ja) 車両用駐車支援装置および映像表示方法
JP6130625B2 (ja) 車両運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190617

R151 Written notification of patent or utility model registration

Ref document number: 6551336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250