JP7299193B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP7299193B2
JP7299193B2 JP2020073680A JP2020073680A JP7299193B2 JP 7299193 B2 JP7299193 B2 JP 7299193B2 JP 2020073680 A JP2020073680 A JP 2020073680A JP 2020073680 A JP2020073680 A JP 2020073680A JP 7299193 B2 JP7299193 B2 JP 7299193B2
Authority
JP
Japan
Prior art keywords
image
vehicle
display
area
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020073680A
Other languages
English (en)
Other versions
JP2021170280A (ja
Inventor
理央 水野
一也 大竹
宏 間嶋
和希 笹本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Toyota Motor Corp
Original Assignee
Denso Ten Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd, Toyota Motor Corp filed Critical Denso Ten Ltd
Priority to JP2020073680A priority Critical patent/JP7299193B2/ja
Priority to CN202110355515.3A priority patent/CN113538965A/zh
Priority to US17/226,741 priority patent/US20210323470A1/en
Priority to DE102021109296.5A priority patent/DE102021109296A1/de
Publication of JP2021170280A publication Critical patent/JP2021170280A/ja
Application granted granted Critical
Publication of JP7299193B2 publication Critical patent/JP7299193B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213Virtual instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • B60K35/235Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00Dashboards
    • B60K37/20Dashboard panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523Matrix displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/171Vehicle or relevant part thereof displayed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Description

本発明は、表示装置に表示させる画像を制御する表示制御装置、表示制御方法及びプログラムに関する。
特許文献1には、クリアランスソナーが障害物を検出した際に、カメラにより撮像された画像にディスプレイの表示を自動で切り替える周辺監視装置が開示されている。
特開2013-190957号公報
特許文献1の周辺監視装置は、障害物の存在を運転者に知らせることはできるものの、運転者にとってどの方向に障害物があるのかが把握し難い場合がある。
本発明は、障害物の接近等の運転者に通知すべき事象が生じた場合に、当該事象が何処で発生しているかを運転者が容易に把握可能な表示制御装置、表示制御方法及びプログラムを提供することを目的とする。
請求項1に記載の表示制御装置は、車両の外を撮像する撮像部から撮像画像を収集する収集部と、前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成部と、前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域において前記割込画像の表示が許可されている場合に、生成された前記割込画像を前記通知領域に表示させる処理を行う処理部と、を備え、前記事象は、前記車両に対する障害物の接近であり、前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、前記処理部は、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、前記処理部は、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う。
請求項1に記載の表示制御装置は、収集部が撮像部により撮像された撮像画像を収集し、周辺情報に基づいて車両の運転者に通知すべき事象が検知された場合、生成部が表示装置に表示させる割込画像を生成する。この割込画像は、事象に係る撮像画像と、車両に対して当該事象が発生している方向を示す情報と、を含む。ここで、「運転者に通知すべき事象」には、運転者が運転する車両と、障害物、他の車両、及び歩行者等とが接近する場合、車両が車線からはみ出そうになる場合、新たな標識の出現や規制が存在する場合などがある。
そして、当該表示制御装置では、処理部が表示装置の表示領域の一部である通知領域に割込画像を表示させる処理を行う。当該表示制御装置によれば、運転者に通知すべき事象が生じた場合、運転者に対して当該事象に係る画像をその発生方向と共に通知するため、運転者は当該事象が何処で発生しているか容易に把握することができる。
また、当該表示制御装置では、運転者に通知すべき事象が生じた場合、割込画像が通知領域にスライドインする処理が実行される。そのため、当該表示制御装置によれば、通知すべき事象の発生と、その発生した方向とを運転者が直感的に認識することができる。
また、当該表示制御装置では、車両に対する障害物の接近が検知された場合、割込画像において車両を俯瞰した車両画像が表示されるため、運転者は車両に対して障害物が存在する方向を正確に把握することができる。また、当該表示制御装置では、割込画像において障害物の接近の程度を示すレベル画像が表示されるため、運転者は障害物までの距離感を直感的に認識することができる。
請求項に記載の表示制御装置は、請求項2に記載の表示制御装置において、前記処理部は、前記周辺情報に基づく前記事象の検知が終了した場合、前記表示装置において前記通知領域に表示されている前記割込画像を前記方向に向けてスライドアウトさせる表示を行う。
請求項に記載の表示制御装置では、運転者に通知している事象が終了した場合、割込画像が通知領域からスライドアウトする処理が実行される。そのため、当該表示制御装置によれば、通知すべき事象の終了を運転者が直感的に認識することができる。
請求項に記載の表示制御方法は、車両の外を撮像する撮像部から撮像画像を収集する収集ステップと、前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成ステップと、前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域において前記割込画像の表示が許可されている場合に、生成された前記割込画像を前記通知領域に表示させる処理を行う処理ステップと、を含み、前記事象は、前記車両に対する障害物の接近であり、前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う。
請求項に記載の表示制御方法では、収集ステップにおいて撮像部により撮像された撮像画像が収集され、周辺情報に基づいて車両の運転者に通知すべき事象が検知された場合、生成ステップにおいて表示装置に表示させる割込画像が生成される。「割込画像」及び「運転者に通知すべき事象」については上述のとおりである。そして、当該表示制御方法では、処理ステップにおいて表示装置の表示領域の一部である通知領域に割込画像を表示させる処理が行われる。当該表示制御方法によれば、運転者に通知すべき事象が生じた場合、運転者に対して当該事象に係る画像をその発生方向と共に通知するため、運転者は当該事象が何処で発生しているか容易に把握することができる。
また、当該表示制御方法では、運転者に通知すべき事象が生じた場合、割込画像が通知領域にスライドインする処理が実行される。そのため、当該表示制御装置によれば、通知すべき事象の発生と、その発生した方向とを運転者が直感的に認識することができる。
また、当該表示制御方法では、車両に対する障害物の接近が検知された場合、割込画像において車両を俯瞰した車両画像が表示されるため、運転者は車両に対して障害物が存在する方向を正確に把握することができる。また、当該表示制御装置では、割込画像において障害物の接近の程度を示すレベル画像が表示されるため、運転者は障害物までの距離感を直感的に認識することができる。
請求項に記載のプログラムは、車両の外を撮像する撮像部から撮像画像を収集する収集ステップと、前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成ステップと、前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域において前記割込画像の表示が許可されている場合に、生成された前記割込画像を前記通知領域に表示させる処理を行う処理ステップと、を含み、前記事象は、前記車両に対する障害物の接近であり、前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う、処理をコンピュータに実行させる。
請求項に記載のプログラムでは、コンピュータが次の処理を実行する。すなわち、当該コンピュータでは、収集ステップにおいて撮像部により撮像された撮像画像が収集され、周辺情報に基づいて車両の運転者に通知すべき事象が検知された場合、生成ステップにおいて表示装置に表示させる割込画像が生成される。「割込画像」及び「運転者に通知すべき事象」については上述のとおりである。そして、当該コンピュータでは、処理ステップにおいて表示装置の表示領域の一部である通知領域に割込画像を表示させる処理が行われる。当該プログラムによれば、運転者に通知すべき事象が生じた場合、運転者に対して当該事象に係る画像をその発生方向と共に通知するため、運転者は当該事象が何処で発生しているか容易に把握することができる。
また、当該プログラムでは、運転者に通知すべき事象が生じた場合、割込画像が通知領域にスライドインする処理が実行される。そのため、当該表示制御装置によれば、通知すべき事象の発生と、その発生した方向とを運転者が直感的に認識することができる。
また、当該プログラムでは、車両に対する障害物の接近が検知された場合、割込画像において車両を俯瞰した車両画像が表示されるため、運転者は車両に対して障害物が存在する方向を正確に把握することができる。また、当該表示制御装置では、割込画像において障害物の接近の程度を示すレベル画像が表示されるため、運転者は障害物までの距離感を直感的に認識することができる。
本発明によれば、障害物の接近等の運転者に通知すべき事象が生じた場合に、当該事象が何処で発生しているかを運転者は容易に把握することができる。
実施形態に係る車両に設けられた表示システムの外観を示す図である。 実施形態の表示システムのハードウェア構成を示すブロック図である。 実施形態の表示制御装置におけるCPUの機能構成の例を示すブロック図である。 実施形態の表示制御装置において実行される画像表示処理の流れを示すフローチャートである。 実施形態のセンタディスプレイにおける表示の例であって、(A)は通常表示を示し、(B)はフェードインの様子を示し、(C)は割込表示を示し、(D)はフェードアウトの様子を示す。
本実施形態の表示制御装置20を含む表示システム10について図を用いて説明する。なお、図1及び図5(A)~(D)の表示装置30の表示に対して、上下左右と表記する場合は、運転者が表示装置30を観察した場合の向きを指す。
(基本構成)
図1及び図2に示されるように、本実施形態の表示システム10は、車両12に搭載されている。表示システム10は、表示制御装置20に加えて、表示装置30と、ADAS(Advanced Driver Assistance System、先進運転支援システム)40と、カーナビゲーションシステム50と、を含んで構成されている。
表示制御装置20、ADAS40が有するADAS-ECU(Electronic Control Unit)42、及びカーナビゲーションシステム50が有するカーナビゲーションECU52は、外部バス22を介して相互に接続されている。
(表示装置)
表示装置30は、センタディスプレイ32と、メータディスプレイ34と、ヘッドアップディスプレイ36と、を含んで構成されている。
図1に示されるように、センタディスプレイ32は、ダッシュボード14の車幅方向中央に設けられた液晶ディスプレイである。センタディスプレイ32は、画面全体の表示領域32Aに対して、左側略2/3に情報領域32Bを有し、右側略1/3に通知領域32Cを有している。情報領域32Bには、カーナビゲーションシステム50に関係する画像、例えば、車両12の現在位置を示す地図画像や車両12を目的地まで案内する画像が表示される。また、通知領域32Cには、カーナビゲーションシステム50が備えるオーディオ機能に係る画像や、後述する割込画像80が表示される。センタディスプレイ32は車両12の運転者が視認可能な表示装置の一例である。
メータディスプレイ34は、シートに着座した運転者の正面側のダッシュボード14において、センタディスプレイ32の車幅方向右側に隣接して設けられた液晶ディスプレイである。メータディスプレイ34には、車速、エンジン回転数、走行距離等、車両12の走行に関係する情報、及び、警告灯、灯火類の作動状況等、車両12の状態に係る情報が表示される。
ヘッドアップディスプレイ36は、メータディスプレイ34の車両上方側のフロントウインドウ16上に投影面16Aを備える投影装置である。ヘッドアップディスプレイ36には、車速、車両12の進行方向、ステアリングスイッチの操作位置等、運転者に報知する情報のうち優先度の高い情報が表示される。
(ADAS)
図2に示されるように、ADAS40は、ADAS-ECU42に加えて、撮像装置としての監視カメラ44と、監視センサ46と、を含んで構成されている。
監視カメラ44は、フロントウインドウの上部、フロントグリル、ドアミラー下部、テールゲート等の車両12の各部に設けられ、車両12の外部を撮像する。監視センサ46は、車両12の周辺の周辺情報を検出するセンサ群である。監視センサ46は、車体の各部に設けられた複数のミリ波レーダを含み、車両12の周囲の障害物を検知する。なお、監視センサ46は、所定範囲をスキャンするライダ(Laser Imaging Detection and Ranging)を含んでもよい。
ADAS-ECU42は、他のECUに周辺情報を提供したり、必要な場合はステアリングやブレーキを制御する機能を有している。ADAS-ECU42は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信I/F(Inter Face)及び入出力I/F(Inter Face)等を含んで構成されている。
ADAS-ECU42は、車両12の周囲に設置された各監視センサ46から受信した検知情報に基づいて周辺情報を生成する。なお、ADAS-ECU42は、各監視センサ46の検知情報に加えて、車両12の各部に設置された監視カメラ44の撮像情報に基づいて周辺情報を生成してもよい。また、ADAS-ECU42は、生成された周辺情報に基づいて、車両12と障害物とが接近しているか否かの判定を行う。ここで、「車両12と障害物とが接近している場合」には、車両12に向かって障害物が接近する場合と、車両12が障害物に向かって接近する場合と、の両方を含む。ADAS-ECU42は、車両12と障害物とが接近していると判定した場合、接近を示す情報である接近情報を表示制御装置20に送信する。
(カーナビゲーションシステム)
カーナビゲーションシステム50は、カーナビゲーションECU52に加えて、GPS受信機54と、ストレージ56と、を含んで構成されている。本実施形態のカーナビゲーションシステム50は、カーナビゲーション機能及びオーディオ機能の双方を少なくとも備えている。
GPS受信機54は、複数のGPS衛星からGPS信号を受信して車両12の現在位置を測位する。
ストレージ56は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、地図データ及び音楽データを記憶している。
カーナビゲーションECU52は、車両12の目的地までの走行経路を生成したり、位置情報に基づいて車両12を目的地まで案内したりする機能を有している。カーナビゲーションECU52は、CPU、ROM、RAM、通信I/F及び入出力I/F等を含んで構成されている。
本実施形態のカーナビゲーションECU52は、タッチパネルを兼ねるセンタディスプレイ32から入力された目的地情報、及びストレージ56に記憶されている地図データ等に基づいて、目的地までの経路を設定する。また、カーナビゲーションECU52は、GPS受信機54から受信した位置情報に基づき、車両12の現在位置を示す地図や車両12を目的地まで案内する画面をセンタディスプレイ32に表示させる。
(表示制御装置)
表示制御装置20は、CPU(Central Processing Unit)20A、ROM(Read Only Memory)20B、RAM(Random Access Memory)20C、通信I/F(Inter Face)20E及び入出力I/F(Inter Face)20Fを含んで構成されている。CPU20A、ROM20B、RAM20C、通信I/F20E及び入出力I/F20Fは、内部バス20Gを介して相互に通信可能に接続されている。
CPU20Aは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU20Aは、ROM20Bからプログラムを読み出し、RAM20Cを作業領域としてプログラムを実行する。
ROM20Bは、各種プログラム及び各種データを記憶している。本実施形態のROM20Bには、制御プログラム200及び画像データ210が記憶されている。制御プログラム200は、後述する画像表示処理を行うためのプログラムである。画像データ210には、各表示装置30に表示されるアイコンの画像、並びにセンタディスプレイ32に表示される車両画像82及びレベル画像84等の各データが記憶されている。
RAM20Cは、作業領域として一時的にプログラム又はデータを記憶する。
通信I/F20Eは、ADAS-ECU42及びカーナビゲーションECU52と接続するためのインタフェースである。当該インタフェースは、CAN(Controller Area Network)プロトコルによる通信規格が用いられる。通信I/F20Eは、外部バス22に対して接続されている。なお、通信I/F20Eの通信方式はCANに限らず、イーサネット(登録商標)等のLAN規格を採用してもよい。
入出力I/F20Fは、センタディスプレイ32、メータディスプレイ34、及びヘッドアップディスプレイ36の各表示装置30と通信するためのインタフェースである。
図3は、表示制御装置20の機能構成の例を示すブロック図である。各機能構成は、CPU20AがROM20Bに記憶された制御プログラム200を読み出し、これを実行することによって実現される。本実施形態のCPU20Aは、制御プログラム200の実行により収集部250、取得部260、生成部270及び処理部280として機能する。
収集部250は、車両12の外部の監視カメラ44により撮像された撮像画像を収集する機能を有している。具体的に収集部250は、各監視カメラ44により撮像された撮像画像の各々をADAS40から取得する。
取得部260は、車両12と障害物とが接近している旨を示す接近情報を取得する機能を有している。この接近情報は、ADAS40が車両12の周辺の周辺情報に基づいて、監視センサ46の検知範囲に障害物が存在すると判定した場合に、表示制御装置20に送信される。
接近情報には、車両12と障害物との接近の程度を示す程度情報を含む。また、取得部260は、複数の監視センサ46のうち障害物を検知した監視センサ46を特定することにより、障害物の方向を判断することができる。
生成部270は、センタディスプレイ32の通知領域32Cに対して割り込ませる画像であって、車両12に接近している障害物に係る撮像画像と、車両12に対する障害物の方向、接近の程度を示す画像と、を含む割込画像80を生成する機能を有している。図5(C)に示されるように、具体的に、割込画像80は車両12を俯瞰した車両画像82と、障害物の接近の程度を示すレベル画像84と、障害物そのものの対象画像86を含む。
車両画像82は、画像データ210に記憶されている画像であって、車両12を上方から眺めたイメージ画像である。レベル画像84は、画像データ210に記憶されている扇状形状の画像であって、車両12に対して障害物がある方向に弧を有し、かつ車両12に障害物が接近するほど大きい画像が割り当てられる。割込画像80のうち車両画像82及びレベル画像84を除いた周囲の部分は、車両12の各部に設けられた複数の監視カメラ44の各撮像画像を公知の方法により合成することで得ることができる。車両画像82に対するレベル画像84の表示位置は、車両12に対する障害物の方向に等しい。本実施形態の生成部270は、取得部260がADAS40から接近情報を取得した場合に割込画像80を生成する。
処理部280は、各表示装置30に画像を表示させる処理を実行する。本実施形態の処理部280は、センタディスプレイ32の通知領域32Cに対して、生成部270において生成された割込画像80を表示させる処理を行う。
ここで、処理部280は、取得部260がADAS40から接近情報を取得することにより車両12と障害物とが接近していることを検知した場合、通知領域32Cに割込画像80を表示させる。詳しくは、車両12と障害物との接近の検知を契機に、処理部280は、センタディスプレイ32上において車両12に対する障害物の方向と同じ方向から通知領域32Cに向けて割込画像80をスライドインさせるアニメーションを実行する。
また、処理部280は、取得部260が接近情報の取得を終了して車両12と障害物との接近に係る検知がされなくなった場合、通知領域32Cから割込画像80を移動させる。詳しくは、車両12と障害物との接近に係る検知の終了を契機に、処理部280は、センタディスプレイ32上において通知領域32Cに表示されている割込画像80を車両12に対する障害物の方向と同じ方向にスライドアウトさせるアニメーションを実行する。
(制御の流れ)
本実施形態において、表示制御装置20がセンタディスプレイ32に対して実行する画像表示処理の流れを図4のフローチャートと、図5(A)~(D)の画面の例を用いて説明する。図4及び図5(A)~(D)は、車両12の左前方に障害物を検知した場合における処理の流れの例である。
図4のステップS100において、CPU20Aはセンタディスプレイ32に対して通常表示を実行する。図5(A)に示されるように、通常表示においては、情報領域32Bにはカーナビゲーションシステム50において生成された地図画像が表示され、通知領域32Cにはオーディオ機能に係る画像が表示されている。
図4のステップS101において、CPU20Aは障害物を検知したか否かの判定を行う。すなわち、接近情報を受信することにより、車両12と障害物とが接近したか否かの判定を行う。CPU20Aは障害物を検知したと判定した場合、ステップS102に進む。一方、CPU20Aは障害物を検知していないと判定した場合、ステップS100に戻る。
ステップS102において、CPU20Aは通知領域32Cに対する割込画像80の表示が許可されているか否かの判定を行う。CPU20Aは通知領域32Cに対する割込画像80の表示が許可されていると判定した場合、ステップS103に進む。一方、CPU20Aは通知領域32Cに対する割込画像80の表示が許可されていないと判定した場合、ステップS100に戻る。なお、割込画像80の表示が許可されない例としては、カーナビゲーションシステム50の設定において割込画像80の設定を禁止している場合、車両12が完全に停止し、かつサイドブレーキが作動している場合、等がある。
ステップS103において、CPU20Aは割込画像80をスライドインさせるアニメーションを実行する。具体的には、CPU20Aは情報領域32Bの右側に割込画像80をフェードインさせた後、通知領域32Cに向けて割込画像80をスライドインさせるアニメーションを実行する。これにより、図5(B)に示されるように、運転者は障害物の方向と同じ左側から通知領域32Cに向けて割込画像80が割り込まれたと認識することができる。
図4のステップS104において、CPU20Aは割込画像80を通知領域32Cに表示させる割込表示を実行する。すなわち、図5(C)に示されるように、CPU20Aは通知領域32Cにスライドインした割込画像80の表示を維持する。
また、CPU20Aはヘッドアップディスプレイ36において、監視センサ46の検知レベルを示すレベルバー画像90を表示させる。この場合、レベルバー画像90はヘッドアップディスプレイ36において障害物の方向と同じ方向に表示される。すなわち、本図の例では、ヘッドアップディスプレイ36の投影面16Aの左端に表示される。レベルバー画像90は、接近の程度が増すほど、幅を拡大させたり、色彩を強調したりすることができる。
図4のステップS105において、CPU20Aは障害物の検知が終了したか否かの判定を行う。CPU20Aは障害物の検知が終了したと判定した場合、ステップS106に進む。一方、CPU20Aは障害物の検知が終了していないと判定した場合、ステップS104に戻る。すなわち、CPU20Aは通知領域32Cにおける割込画像80の表示を維持する。
ステップS106において、CPU20Aは割込画像80をスライドアウトさせるアニメーションを実行する。具体的には、CPU20Aは通知領域32Cから割込画像80をスライドアウトさせるアニメーションを実行する。これにより、図5(D)に示されるように、運転者は通知領域32Cから障害物の方向と同じ左側に向けて割込画像80が移動したと認識することができる。
そして、処理はステップS100に戻る。すなわち、CPU20Aは情報領域32Bの右側に移動した割込画像80をフェードアウトさせることにより、図5(A)に示されるように、情報領域32Bに地図画像を有し、通知領域32Cにオーディオ機能に係る画像を有する通常表示を再び行う。
(実施形態のまとめ)
本実施形態の表示制御装置20は、収集部250が監視カメラ44により撮像された撮像画像を収集し、周辺情報に基づいて車両12と障害物との接近が検知された場合、生成部270がセンタディスプレイ32に表示させる割込画像80を生成する。この割込画像80は、車両12を俯瞰した車両画像82と、車両12に対する障害物の方向及び障害物の接近の程度を示すレベル画像84と、を含んでいる。
そして、表示制御装置20では、処理部280がセンタディスプレイ32の表示領域32Aの一部である通知領域32Cに割込画像80を表示させる処理を行う。本実施形態の表示制御装置20によれば、図5(C)に示されるように、運転者に対して障害物の対象画像86を障害物の発生方向を示すレベル画像84と共に通知するため、運転者は障害物が車両12のどの方向に在るかを容易に把握することができる。
特に、本実施形態では、車両12に対する障害物の接近が検知された場合、割込画像80において車両12を俯瞰した車両画像82が表示されるため、運転者は車両12に対して障害物が存在する方向を正確に把握することができる。また、本実施形態では、レベル画像84により障害物の接近の程度を示すことができ、運転者は障害物までの距離感を直感的に認識することができる。
また、本実施形態の表示制御装置20では、車両12と障害物との接近が検知された場合、割込画像80が通知領域32Cにスライドインする処理が実行される。そのため、本実施形態によれば、障害物の接近と、その接近している方向とを運転者が直感的に認識することができる。
さらに、本実施形態の表示制御装置20では、車両12と障害物との接近の検知が終了した場合、割込画像80が通知領域32Cからスライドアウトする処理が実行される。そのため、本実施形態によれば、障害物が車両12から離れたこと、又は危険が回避されたことを運転者が直感的に認識することができる。
なお、上述した図4及び図5(A)~(D)では、車両12の左前方に障害物を検知した場合を例示したが、他の方向において障害物を検知した場合においても同様の処理が実行される。例えば、車両12の右前方に障害物を検知した場合は、通知領域32Cの右側から割込画像80がスライドインし、検知が終了した場合は、通知領域32Cの右側に向けてスライドアウトする。この場合、通知領域32Cの右側には表示領域32Aが存在しないため、割込画像80は通知領域32Cの右側から徐々に表れ、割込画像80は通知領域32Cの右側に向かって徐々に消えることとなる。また、車両12の前方や後方において障害物を検知した場合においても同様に割込画像80を上下方向にスライドイン及びスライドアウトを行うことができる。
[備考]
本実施形態では、車両12と障害物との接近が検知された場合に、通知領域32Cに割込画像80を表示させる処理が実行されるが、「運転者に通知すべき事象」であれば、この限りではない。例えば、「運転者に通知すべき事象」としては、車両12と他の物体、例えば、他の車両、自転車、歩行者等とが接近する場合、車両が車線からはみ出そうになる場合、新たな標識の出現や規制が存在する場合などがある。本実施形態によれば、運転者に通知すべき事象を検知した場合に、通知領域32Cに割込画像80を表示させる処理を実行することができる。
本実施形態では、ADAS40が監視センサ46の周辺情報に基づいて障害物が存在すると判定した場合に、接近情報が表示制御装置20に送信される構成であるが、この限りではない。例えば、表示制御装置20がADAS40から周辺情報を直接取得すると共に、取得した周辺情報に基づいて、障害物が存在すると判定してもよい。
本実施形態の割込画像80における車両画像82は、車両12を俯瞰した画像であるが、この限りではなく、一の監視カメラ44による障害物の撮像画像であってもよい。
本実施形態では、割込画像80のスライドの速度は固定化されているが、接近の程度に応じて変化させてもよい。例えば、車両12と障害物とがまだ離れている段階で障害物が検知された場合には、ゆっくりとスライドインを行い、車両12と障害物とが既に接近している段階で障害物が検知された場合には、素早くスライドインを行うことができる。また、障害物の種類、例えば、固定物か、移動物かによってスライドの速度や態様を変化させてもよい。
なお、上記実施形態でCPU20Aがソフトウェア(プログラム)を読み込んで実行した各種処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した受付処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶(インストール)されている態様で説明した。例えば、表示制御装置20において制御プログラム200は、ROM20Bに予め記憶されている。しかしこれに限らず、各プログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
10 表示システム
12 車両
20 表示制御装置
32 センタディスプレイ(表示装置)
32A 表示領域
32C 通知領域
44 カメラ(撮像部)
80 割込画像
82 車両画像
84 レベル画像
200 制御プログラム(プログラム)
250 収集部
270 生成部
280 処理部

Claims (4)

  1. 車両の外を撮像する撮像部から撮像画像を収集する収集部と、
    前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成部と、
    前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域において前記割込画像の表示が許可されている場合に、生成された前記割込画像を前記通知領域に表示させる処理を行う処理部と、を備え、
    前記事象は、前記車両に対する障害物の接近であり、
    前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、
    前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、
    前記処理部は、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、
    前記処理部は、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う、
    表示制御装置。
  2. 前記処理部は、
    前記周辺情報に基づく前記事象の検知が終了した場合、前記表示装置において前記通知領域に表示されている前記割込画像を前記方向に向けてスライドアウトさせる表示を行う請求項に記載の表示制御装置。
  3. 車両の外を撮像する撮像部から撮像画像を収集する収集ステップと、
    前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成ステップと、
    前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域において前記割込画像の表示が許可されている場合に、生成された前記割込画像を前記通知領域に表示させる処理を行う処理ステップと、を含み、
    前記事象は、前記車両に対する障害物の接近であり、
    前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、
    前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、
    前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、
    前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う、
    表示制御方法。
  4. 車両の外を撮像する撮像部から撮像画像を収集する収集ステップと、
    前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成ステップと、
    前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域において前記割込画像の表示が許可されている場合に、生成された前記割込画像を前記通知領域に表示させる処理を行う処理ステップと、を含み、
    前記事象は、前記車両に対する障害物の接近であり、
    前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、
    前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、
    前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、
    前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う、処理をコンピュータに実行させるためのプログラム。
JP2020073680A 2020-04-16 2020-04-16 表示制御装置、表示制御方法及びプログラム Active JP7299193B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020073680A JP7299193B2 (ja) 2020-04-16 2020-04-16 表示制御装置、表示制御方法及びプログラム
CN202110355515.3A CN113538965A (zh) 2020-04-16 2021-04-01 显示控制装置、显示控制方法及记录有程序的记录介质
US17/226,741 US20210323470A1 (en) 2020-04-16 2021-04-09 Display control device, display control method, and storage medium storing program
DE102021109296.5A DE102021109296A1 (de) 2020-04-16 2021-04-14 Anzeigesteuervorrichtung, Anzeigesteuerverfahren und Programm speicherndes Speichermedium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020073680A JP7299193B2 (ja) 2020-04-16 2020-04-16 表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021170280A JP2021170280A (ja) 2021-10-28
JP7299193B2 true JP7299193B2 (ja) 2023-06-27

Family

ID=77920140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020073680A Active JP7299193B2 (ja) 2020-04-16 2020-04-16 表示制御装置、表示制御方法及びプログラム

Country Status (4)

Country Link
US (1) US20210323470A1 (ja)
JP (1) JP7299193B2 (ja)
CN (1) CN113538965A (ja)
DE (1) DE102021109296A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022139951A (ja) * 2021-03-12 2022-09-26 本田技研工業株式会社 注意喚起システム、及び注意喚起方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044458A (ja) 2012-08-24 2014-03-13 Jvc Kenwood Corp 車載機器、及び、危険報知方法
JP2015075890A (ja) 2013-10-08 2015-04-20 日産自動車株式会社 運転支援装置
JP2018142885A (ja) 2017-02-28 2018-09-13 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007001436A (ja) * 2005-06-23 2007-01-11 Mazda Motor Corp 車両の後側方障害物警報システム
JP5049477B2 (ja) * 2005-09-05 2012-10-17 クラリオン株式会社 ナビゲーション装置
JP2007122536A (ja) * 2005-10-31 2007-05-17 Denso Corp 車両用障害物通知装置
JP5408237B2 (ja) * 2010-12-28 2014-02-05 株式会社デンソー 車載障害物情報通知装置
JP5803757B2 (ja) * 2012-03-13 2015-11-04 トヨタ自動車株式会社 周辺監視装置及び周辺監視方法
JP6375633B2 (ja) * 2014-02-12 2018-08-22 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
EP3007029B1 (en) * 2014-10-07 2017-12-27 LG Electronics Inc. Mobile terminal and wearable device
KR102498091B1 (ko) * 2015-09-30 2023-02-09 소니그룹주식회사 운전 제어 장치 및 운전 제어 방법, 그리고 프로그램
US10059347B2 (en) * 2015-10-26 2018-08-28 Active Knowledge Ltd. Warning a vehicle occupant before an intense movement
DE102016225643A1 (de) * 2016-12-20 2018-06-21 Robert Bosch Gmbh Blickrichtungsabhängiges System zur Anzeige der Umgebung eines Fahrzeuges
JP6539684B2 (ja) * 2017-01-31 2019-07-03 矢崎総業株式会社 車両用表示装置および車両用表示装置の表示方法
WO2019155557A1 (ja) * 2018-02-07 2019-08-15 パイオニア株式会社 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044458A (ja) 2012-08-24 2014-03-13 Jvc Kenwood Corp 車載機器、及び、危険報知方法
JP2015075890A (ja) 2013-10-08 2015-04-20 日産自動車株式会社 運転支援装置
JP2018142885A (ja) 2017-02-28 2018-09-13 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Also Published As

Publication number Publication date
DE102021109296A1 (de) 2021-10-21
JP2021170280A (ja) 2021-10-28
US20210323470A1 (en) 2021-10-21
CN113538965A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
JP6690952B2 (ja) 車両走行制御システム、及び車両走行制御方法
WO2017068699A1 (ja) 駐車スペースの枠線の検出方法および装置
JP2011118483A (ja) 車載装置および認知支援システム
JP7263733B2 (ja) 車両用障害物報知装置
JP7443705B2 (ja) 周辺監視装置
JP4792865B2 (ja) 車両用警報装置
JP2024144474A (ja) 車両用表示制御装置、表示方法及びプログラム
US20230036783A1 (en) Vehicle display control device, display method, and storage medium
US20220396149A1 (en) Vehicle display device, display method, and storage medium
JP7299193B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP6599387B2 (ja) 情報報知装置、移動体及び情報報知システム
JP2004312523A (ja) 車載画像処理装置
WO2020148957A1 (ja) 車両制御装置及び方法
JP2022041286A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP7420019B2 (ja) 車両用表示制御装置、表示方法、プログラム及び車両用表示システム
JP2019107937A (ja) 車両の駐車支援装置
JP7420008B2 (ja) 表示制御装置
JP7508953B2 (ja) 車両用表示装置、表示方法及びプログラム
US20240270271A1 (en) Information processing device
WO2022249837A1 (ja) 機能制御装置、機能制御プログラム、自動運転制御装置、及び自動運転制御プログラム
JP7213279B2 (ja) 運転支援装置
KR20240116391A (ko) 차량용 표시 제어 장치, 차량, 차량용 표시 제어 방법 및 비일시적인 기억 매체
US20240246538A1 (en) Display control device, computer readable storage medium stored with display control program, and display control method
JP2019046136A (ja) 衝突回避支援装置
JP2023084933A (ja) 運転支援装置及び運転支援方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200731

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230615

R151 Written notification of patent or utility model registration

Ref document number: 7299193

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151