JP2024034754A - 表示システムおよび表示方法 - Google Patents

表示システムおよび表示方法 Download PDF

Info

Publication number
JP2024034754A
JP2024034754A JP2022139219A JP2022139219A JP2024034754A JP 2024034754 A JP2024034754 A JP 2024034754A JP 2022139219 A JP2022139219 A JP 2022139219A JP 2022139219 A JP2022139219 A JP 2022139219A JP 2024034754 A JP2024034754 A JP 2024034754A
Authority
JP
Japan
Prior art keywords
vehicle
image
display
surrounding
composite image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022139219A
Other languages
English (en)
Inventor
学 清水
Manabu Shimizu
裕志 槌谷
Hiroshi Tsuchiya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2022139219A priority Critical patent/JP2024034754A/ja
Priority to CN202310922476.XA priority patent/CN117622182A/zh
Priority to US18/451,911 priority patent/US20240078766A1/en
Publication of JP2024034754A publication Critical patent/JP2024034754A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/788—Instrument locations other than the dashboard on or in side pillars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】自車両の周囲における交通参加者の存在を、運転者に対し、認識容易に且つ現実感のある態様で伝えること。【解決手段】表示システムは、自車両の現在位置を取得する位置取得部と、自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成する環境画像生成部と、自車両の周囲の実環境映像を取得して、実環境映像から、交通参加者の映像部分である参加者映像を抽出する部分映像抽出部と、仮想環境画像に、上記抽出した参加者映像のそれぞれを仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示する表示制御部と、を備える。【選択図】図３

Description

本発明は、自車両の周囲環境を表示する表示システムおよび表示方法に関する。
近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて予防安全技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。
特許文献１には、自車両外に設置されたカメラを用いて撮像された映像を幾何変換して自車両外の所定位置から見た場合の映像に変換して表示する画像受信表示装置が開示されている。この画像受信表示装置では、上記映像から抽出される所定の物体の画像部分を上記変換後の映像においてアイコンに置き換えて表示するか、またはそのアイコンを地図画像と合成して表示する。
特開２０１３－２００８１９号公報
ところで、予防安全技術においては、自車両の安全走行のため、運転者の知覚を補完する表示装置を用いた情報提供において、運転者に対し自車両の周囲における交通参加者の存在を認識容易に伝えることが課題である。
この点、特許文献１に記載の技術は、周囲環境を示す映像や地図画像の中に交通参加者のアイコンを表示するのみであり、交通参加者のリアルな存在感を運転者に伝えることには限界がある。
本願は、上記課題の解決のため、自車両の周囲の情報を表示装置により運転者に伝える際に、運転に不要な情報を削除し、必要な情報をシンプルに表示しつつ、交通参加者の存在等を認識容易に且つリアルに伝えて、自車両走行についての予防安全を達成することを目的としたものである。そして、延いては持続可能な輸送システムの発展に寄与するものである。
本発明の一の態様は、自車両の現在位置を取得する位置取得部と、自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成する環境画像生成部と、自車両の周囲の実環境映像を取得して、前記実環境映像から、交通参加者の映像部分である参加者映像を抽出する部分映像抽出部と、前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示する表示制御部と、を備える表示システムである。
本発明の他の態様によると、前記表示制御部は、前記合成画像において、歩行者である前記交通参加者の参加者映像を強調表示する。
本発明の他の態様によると、前記実環境映像から前記周囲環境内の車両である周囲車両の位置と、車種、サイズ、及び又は色を含む車両属性とを検知する車両検知部を備え、前記表示制御部は、前記周囲車両である交通参加者については、前記周囲車両の車両属性に応じたグラフィック表現である仮想車両表現を、周囲車両表示として前記仮想環境画像上の対応する位置に嵌め込み合成して前記合成画像を生成する。
本発明の他の態様によると、前記表示装置はタッチパネルであって、前記表示制御部は、前記表示装置に対するユーザの操作に応じて、前記合成画像を、上記操作により指示された位置が中心となるように前記合成画像の視点を移動して前記表示装置に表示し、及び又は、前記合成画像を所定の倍率で拡大して前記表示装置に表示する。
本発明の他の態様によると、前記車両検知部は、前記周囲車両が自車両と接触する可能性の有無を判断し、前記表示制御部は、前記周囲車両が自車両と接触する可能性があるときは、前記合成画像において前記周囲車両に対応する前記周囲車両表示を強調表示する。
本発明の他の態様によると、前記表示制御部は、所定の時間間隔で、現在時刻における前記仮想環境画像と前記参加者映像に基づく合成画像を生成して、現在時刻における前記合成画像を前記表示装置にリアルタイムに表示する。
本発明の他の態様によると、前記表示装置は、自車両の運転席側の、ピラーの手前に配される。
本発明の他の態様によると、前記仮想環境画像は、自車両の現在位置を含む前記周囲環境を俯瞰する画像であり、前記仮想環境画像上の自車両に対応する位置に、自車両を示すグラフィック表現である仮想自車表現が重畳表示される。
本発明の他の態様は、表示システムが備えるコンピュータが実行する表示方法であって、自車両の現在位置を取得するステップと、自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成するステップと、自車両の周囲の実環境映像を取得して、前記実環境映像から、交通参加者の映像部分である参加者映像を抽出するステップと、前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示するステップと、を有する表示方法である。
本発明によれば、自車両の周囲環境を表示する表示システムにおいて、運転に不要な情報を削除し、必要な情報をシンプルに表示しつつ、交通参加者の存在等を認識容易に且つ現実感のある態様で運転者に伝えることができる。
図１は、本発明の一実施形態に係る表示システムが搭載された自車両の構成の一例を示す図である。 図２は、自車両の車室内の構成の一例を示す図である。 図３は、本発明の一実施形態に係る表示システムの構成を示す図である。 図４は、表示システムが表示装置に表示する合成画像の一例を示す図である。 図５は、タッチ操作による合成画像の視点中心移動についての説明するための、視点移動前の合成画像の一例を示す図である。 図６は、タッチ操作による合成画像の視点中心移動についての説明するための、視点移動後の合成画像の一例を示す図である。 図７は、タッチ操作による合成画像の拡大表示についての説明するための、視点移動および拡大を行う前の合成画像の一例を示す図である。 図８は、タッチ操作による合成画像の拡大表示についての説明するための、視点移動および拡大を行った後の合成画像の一例を示す図である。 図９は、表示システムのプロセッサが実行する表示方法の手順を示すフロー図である。
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る表示システム１が搭載された車両である自車両２の構成の一例を示す図、図２は、自車両２の車室内の構成の一例を示す図である。表示システム１は、自車両２に搭載され、自車両２の周囲環境（以下、単に周囲環境ともいう）の仮想画像である仮想環境画像を表示装置１２に表示して、周囲環境内における交通参加者の存在を運転者Ｄに伝える。
自車両２には、周囲環境のうち自車両２の前方を撮影する前方カメラ３ａと、自車両２の左右側方を撮影する左側方カメラ３ｂおよび右側方カメラ３ｃと、が配されている。以下、前方カメラ３ａ、左側方カメラ３ｂ、および右側方カメラ３ｃを総称して、カメラ３ともいうものとする。前方カメラ３ａは、例えば、フロントバンパー付近に配され、左側方カメラ３ｂおよび右側方カメラ３ｃは、例えば、左右のドアミラーに配されている。自車両２は、車両後方の周囲環境を撮影する後方カメラ（不図示）を更に備えてもよい。
自車両２には、また、周囲環境に存在する物体を検知する物体検知装置４が搭載されている。物体検知装置４は、例えば、レーダ、ソナー、及び又はライダー（Ｌｉｄａｒ）であり得る。
自車両２には、さらに、少なくとも自車両２の走行速度の情報および方向指示器（不図示）の操作についての情報を収集する車両監視装置５と、自車両２の現在位置の位置情報をＧＮＳＳ衛星から受信するＧＮＳＳ受信機６と、地図情報を用いて経路案内を行うナビゲーション装置７と、が搭載されている。
自車両２の車室内には、車幅方向右側に設けられた運転席１０の側のピラー１１ａの手前に、表示装置１２が配されている。表示装置１２は、例えば、タッチパネルである。なお、運転席１０が車幅方向左側に設けられる場合には、表示装置１２は、左側の（すなわち、運転席側の）ピラー１１ｂの手前に設けられ得る。以下、ピラー１１ａおよび１１ｂを総称してピラー１１ともいうものとする。
運転席１０の前方のインストルメントパネル１３の車幅方向中央の位置には、ナビゲーション装置７が地図情報の表示に用いる他の表示装置１４が設けられている。
図３は、表示システム１の構成を示す図である。
表示システム１は、プロセッサ２０とメモリ２１と、有する。メモリ２１は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。プロセッサ２０は、例えば、ＣＰＵ等を備えるコンピュータである。プロセッサ２０は、プログラムが書き込まれたＲＯＭ、データの一時記憶のためのＲＡＭ等を有する構成であってもよい。そして、プロセッサ２０は、機能要素又は機能ユニットとして、位置取得部２３と、環境画像生成部２５と、部分映像抽出部２６と、車両検知部２７と、表示制御部２８と、を備える。
プロセッサ２０が備えるこれらの機能要素は、例えば、コンピュータであるプロセッサ２０が、メモリ２１に保存された表示プログラム２２を実行することにより実現される。なお、表示プログラム２２は、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、プロセッサ２０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
位置取得部２３は、ＧＮＳＳ受信機６により位置情報を受信して、自車両２の現在位置を取得する。
環境画像生成部２５は、自車両２の現在位置と地図情報とに基づいて、自車両２の周囲環境を示す仮想画像である仮想環境画像を生成する。地図情報は、例えば、ナビゲーション装置７から取得され得る。本実施形態では、環境画像生成部２５が生成する仮想環境画像は、例えば、自車両の現在位置を含む、周囲環境を俯瞰する３Ｄ画像（立体表示画像）である。
部分映像抽出部２６は、カメラ３により自車両２の周囲の実環境映像を取得し、取得した実環境映像から交通参加者の映像部分である参加者映像を抽出する。
車両検知部２７は、上記実環境映像から周囲環境内の車両である周囲車両の位置と、車種、サイズ、及び又は色を含む車両属性とを検知する。周囲車両のサイズは、例えば、従来技術に従い、実環境映像における周囲車両の画角と、物体検知装置４が検知したその周囲車両までの距離と、に基づいて算出され得る。また、周囲車両の車種は、例えば、従来技術に従い、メモリ２１に予め記憶されたトラック、バス、乗用車、バイクなどの各車種のサイズ及び形状を示すテンプレート画像との画像マッチングにより特定されるものとすることができる。
また、車両検知部２７は、上記検知した周囲車両が自車両２と接触する可能性の有無を判断する。例えば、車両検知部２７は、従来技術に従い、周囲車両の速度についての情報、方向指示器の点灯状態の情報、自車両２の走行速度についての情報、方向指示器の操作に関する情報、及び又は自車両２の予定走行経路についての情報に基づいて、上記接触の可能性の有無を判断する。ここで、周囲車両の速度についての情報および方向指示器の点灯状態の情報は、実環境映像から取得され得る。自車両２の走行速度についての情報および方向指示器の操作に関する情報は、車両監視装置５から取得され得る。また、自車両２の予定走行経路の情報は、ナビゲーション装置７から取得され得る。
表示制御部２８は、環境画像生成部２５が生成した仮想環境画像に、部分映像抽出部２６が抽出した参加者映像のそれぞれを仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置１２に表示する。例えば、表示制御部２８は、所定の時間間隔で、現在時刻における仮想環境画像と参加者映像に基づく合成画像を生成して、現在時刻における合成画像を表示装置１２にリアルタイムに表示する。
仮想環境画像に嵌め込み合成する際の参加者映像のサイズは、例えば、従来技術に従い、その交通参加者について算出される実サイズを、その参加者映像をはめ込み合成する位置における仮想環境画像の縮尺に合わせて縮小したサイズとすることができる。交通参加者の実サイズは、上述した周囲車両のサイズと同様に、実環境映像におけるその交通参加者の画角と、物体検知装置４が検知したその交通参加者までの距離と、に基づいて算出され得る。
表示制御部２８は、さらに、自車両２のグラフィック表現（又は自車両２を示すグラフィック表現）である仮想自車表現を、仮想環境合画像上の対応する位置に重畳表示して合成画像を生成してもよい。例えば、仮想自車表現は、後方から視た自車両の動きを模擬するグラフィック表示であって、合成画像は、自車両を後方から追尾する視点での、いわゆるチェイスビューであり得る。
上記の構成を有する表示システム１では、自車両２の周囲環境が合成画像として表示装置１２に表示されるので、運転者Ｄは、例えば、交通状況についての確認項目の多い交差点での転回時において、ピラー１１等の死角に存在する歩行者等の存在を表示装置１２の画面上で知ることができるので、運転負荷が軽減される。また、表示装置１２に表示される合成画像には、交通参加者の映像が参加者映像として嵌め込み合成されて示されるので、歩行者等の交通参加者の存在を、運転者Ｄに対してリアルに（すなわち、現実感のある態様で）伝えることができる。
また、表示システム１では、合成画像は、自車両２の現在位置の周辺を俯瞰する立体的な仮想環境画像をベースとするので、運転者Ｄは、複数のカメラ映像から合成される映像が歪みやすい俯瞰ビューに比べて、周囲環境に存在する交通参加者と自車両との位置関係や、交通参加者間の位置関係を把握しやすい。また、仮想環境画像用いることで、実空間に存在する運転に不要な情報を削除し、周囲環境における必要な情報をシンプルに表示することができる。さらに、表示システム１では、仮想環境画像への参加者映像の嵌め込み合成により、運転に際して配慮すべき交通参加者の存在等を認識容易に且つ現実感のある態様で運転者に伝えることができる。
また、交通参加者を参加者映像として提示することで、運転者Ｄは、参加者映像と実環境に存在する交通参加者との相関がとりやすく、実空間での交通参加者の認識が容易となる。さらに、仮想環境画像は、例えば、交差点の位置寸法、車線、歩道以外の不要な情報を省いた表示にすることができるので、運転者Ｄは、余計な情報に惑わされず、必要な情報に集中することができる。
また、表示システム１では、表示装置１２は、例えば運転席１０の側のピラー１１の位置に配されるので、運転者Ｄは、少ない視線移動で、表示装置１２に表示された合成画像から情報を得ることができる。
なお、表示システム１において、表示制御部２８は、合成画像を表示する際に、歩行者または自転車である交通参加者の参加者映像を強調表示してもよい。上記強調表示は、例えば、参加者映像の外周（すなわち、仮想環境画像との境界）の枠線の少なくとも一部を暖色系の線で表示すること、参加者映像の輝度を周囲より高めること又は変化（例えば点滅）させること、参加者映像の暖色系の色調を強めること、等により行うものとすることができる。
これにより、表示システム１では、運転者Ｄにとって見落としやすい歩行者や自転車の存在を、より確実かつリアルに運転者Ｄへ伝えることができる。
交通参加者である周囲車両についても、上記と同様に、仮想環境画像に周囲車両の参加者映像を嵌め込み合成して合成画像を生成してもよい。ただし、本実施形態では、周囲車両である交通参加者については、表示制御部２８は、車両検知部２７が検知したその周囲車両の車両属性に応じたグラフィック表現である仮想車両表現を、周囲車両表示として、仮想環境画像上の対応する位置に嵌め込み合成して合成画像を生成する。例えば、表示制御部２８は、車両属性が示す車種がトラックであるときは、予めメモリ２１に記憶したトラックの仮想車両表現を、その車両属性が示す色及びサイズに応じた色及びサイズを用いて、仮想環境画像上に嵌め込み合成して合成画像を生成することができる。
これにより、表示システム１では、交通参加者のうち、グラフィック表現を用いて詳細情報（例えば、速度感、色、サイズ感、車種）を表現し易い車両については、仮想車両表現を用いて表示を行うので、合成画像の生成および表示装置への出力に要する処理負荷が低減され得る。
なお、周囲車両を仮想車両表現および参加者映像のいずれで表示するかは、例えば、表示制御部２８が表示装置１４に表示する設定ボタン等（不図示）により切り替えるものとすることができる。
図４は、表示制御部２８が表示装置１２に表示する合成画像の一例を示す図である。図４は、自車両２が交差点を右折する際の合成画像である。表示装置１２に表示される合成画像３０には、自車両２の現在位置における周囲環境を俯瞰する立体的な仮想環境画像３１に、自車両２を示す仮想自車表現３２と、歩行者である交通参加者の参加者映像３３と、対向車として自車両２に接近する周囲車両の周囲車両表示３４と、が表示されている。
表示制御部２８は、また、周囲車両が自車両と接触する可能性があるとき、すなわち、周囲車両が自車両２と接触する可能性があると車両検知部２７が判断したときは、合成画像において、上記周囲車両に対応する周囲車両表示（当該周囲車両の仮想車両表現又は参加者映像）を強調表示してもよい。
これにより、表示システム１では、接触や衝突の可能のある周囲車両の存在を、より確実に運転者Ｄに伝えることができる。
上記強調表示は、上述した歩行者である交通参加者の参加者映像の強調表示と同様に、例えば、周囲車両表示に暖色系の枠線を表示すること、周囲車両表示の輝度を周囲より高めること又は時間的に変化させること、周囲車両表示の暖色系の色調を強めること、等により行うものとすることができる。
表示制御部２８は、また、タッチパネルである表示装置１２に対するユーザの操作に応じて、合成画像を、上記操作により指示された位置が中心となるように合成画像の視点を移動して表示装置１２に表示し、及び又は、合成画像を所定の倍率で拡大して表示装置１２に表示する。上記ユーザの操作は、例えば、タッチパネルである表示装置１２へのタッチ操作である。表示制御部２８は、表示された合成画像の一部がタッチされたことに応じて、合成画像を、上記タッチされた位置が中心となるように視点を移動して表示装置１２に表示し、及び又は、合成画像を所定の倍率で拡大して表示装置１２に表示する。
これにより、表示システム１では、運転者Ｄは、必要に応じて合成画像の中心位置及び又は表示倍率を自由に変更して、周囲環境をより容易に把握できるようにすることができる。
図５および図６は、合成画像へのタッチによる合成画像表示の視点移動の例を示す図である。図５に示す合成画像３０ａ上において、図示星印の位置Ｐ１がタップされると、図６に示すように、位置Ｐ１に視点中心位置が移動された合成画像３０ｂが表示される。なお、元の視点中心位置への復帰は、例えば、表示制御部２８が合成画像上に重畳表示するＢＡＣＫボタン（不図示）をタップすることで行われるものとすることができる。
図７および図８は、合成画像へのタッチによる合成画像の拡大表示の例を示す図である。図７に示す合成画像３０ｃにおいて、図示星印の位置Ｐ２がダブルタップされると、図８に示すように、視点中心位置が位置Ｐ２に移動されると共に表示倍率が拡大された合成画像３０ｄが表示される。例えば、表示制御部２８は、表示された合成画像がダブルタップされるごとに、上記視点中心移動と倍率拡大を繰り返すものとすることができる。元の視点中心位置と元の表示倍率への復帰は、上記と同様に、例えば、表示制御部２８が合成画像上に重畳表示するＢＡＣＫボタンをタップすることで行われ得る。
なお、上述した表示装置１２に対するユーザの操作は、タッチ操作に限らず、任意の操作であり得る。例えば、上記操作は、表示装置１４に表示されるスイッチボタン（不図示）の操作などにより行われるものとしてもよい。
次に、表示システム１における動作の手順について説明する。
図９は、表示システム１のコンピュータであるプロセッサ２０が実行する、自車両２の周囲環境を表示するための、表示方法の処理の手順を示すフロー図である。本処理は、繰り返し実行される。
処理を開始すると、まず、位置取得部２３は、自車両２の現在位置を取得する（Ｓ１００）。続いて、環境画像生成部２５は、自車両２の現在位置と地図情報とに基づいて、自車両２の周囲環境を示す仮想画像である仮想環境画像を生成する（Ｓ１０４）。地図情報は、例えば、ナビゲーション装置７から取得され得る。
次に、部分映像抽出部２６は、車載のカメラ３から自車両２の周囲の実環境映像を取得し、実環境映像から交通参加者の映像部分である参加者映像を抽出する（Ｓ１０６）。また、車両検知部２７は、上記実環境映像から周囲環境内の車両である周囲車両の位置と、車種、サイズ、及び又は色を含む車両属性とを検知する（Ｓ１０８）。このとき、車両検知部２７は、検知した周囲車両が自車両と接触する可能性の有無を判断してもよい。
そして、表示制御部２８は、仮想環境画像に、上記検知した周囲車両を示す周囲車両表示と、上記抽出した少なくとも歩行者についての参加者映像を、仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成し（Ｓ１１０）、生成した合成画像を表示装置１２に表示して（Ｓ１１２）、本処理を終了する。
本処理が終了した後は、プロセッサ２０は、ステップＳ１００に戻って本処理を繰り返し、現在時刻における合成画像を、表示装置１２にリアルタイムに表示する。
なお、本処理と並行して、表示制御部２８は、ステップＳ１１２において表示した合成画像の一部がタッチされることに応じて、合成画像の視点中心位置を移動し、及び又は合成画像の表示倍率を拡大するものとすることができる。
［５．他の実施形態］
上述した実施形態では、実環境映像は、自車両２が搭載するカメラ３から取得されるものとしたが、周囲環境に存在する街灯カメラから、路車間通信等を介して取得されるものとしてもよい。
また、実環境映像は、自車両２の周囲の車両が備える車載カメラから、通信ネットワークを介した通信により、又は車車間通信により、取得されるものとしてもよい。
また、表示制御部２８は、上述した実施形態では、歩行者や自転車である交通参加者の参加者映像を強調表示するものとしが、歩行者のうち、子供や高齢者等の注意が必要な歩行者についてのみ強調表示するものとしてもよい。強調表示は、上述した態様のほか、点滅表示や拡大表示であってもよい。
表示制御部２８は、夜間や雨天時等の直接視界が悪いときにも、環境条件に左右されずに、クリアな仮想環境画像に基づく合成画像を表示装置１２に表示させるものとすることができる。
カメラ３は、赤外線カメラであってもよい。これにより、暗闇において肉眼では確認できない歩行者の存在を、合成画像上において運転者Ｄへ伝えることができる。
表示制御部２８は、表示装置１２に表示された合成画像上の任意の位置がタッチされることに応じて、実環境映像のうち上記タッチされた位置の部分映像を、仮想環境画像上に更に嵌め込み合成して合成画像を生成してもよい。
なお、本発明は上記の実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
［６．上記実施形態によりサポートされる構成］
上述した実施形態は、以下の構成をサポートする。
（構成１）自車両の現在位置を取得する位置取得部と、自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成する環境画像生成部と、自車両の周囲の実環境映像を取得して、前記実環境映像から、交通参加者の映像部分である参加者映像を抽出する部分映像抽出部と、前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示する表示制御部と、を備える表示システム。
構成１の表示システムによれば、仮想環境画像用いることで、実空間に存在する運転に不要な情報を削除し、必要な情報をシンプルに表示しつつ、参加者映像の嵌め込み合成により、運転に際して配慮すべき交通参加者の存在等を認識容易に且つ現実感のある態様で運転者に伝えることができる。
（構成２）前記表示制御部は、前記合成画像において、歩行者である前記交通参加者の参加者映像を強調表示する、構成１に記載の表示システム。
構成２の表示システムによれば、運転者にとって見落としやすい歩行者の存在を、より確実かつリアルに運転者へ伝えることができる。
（構成３）前記実環境映像から前記周囲環境内の車両である周囲車両の位置と、車種、サイズ、及び又は色を含む車両属性とを検知する車両検知部を備え、前記表示制御部は、前記周囲車両である交通参加者については、前記周囲車両の車両属性に応じたグラフィック表現である仮想車両表現を、周囲車両表示として前記仮想環境画像上の対応する位置に嵌め込み合成して前記合成画像を生成する、構成１または２に記載の表示システム。
構成３の表示システムによれば、グラフィック表現を用いて詳細情報を表現し易い車両については仮想車両表現を用いて表示を行うので、合成画像の生成および表示装置への出力に要する処理負荷が低減され得る。
（構成４）前記表示装置はタッチパネルであって、前記表示制御部は、前記表示装置に対するユーザの操作に応じて、前記合成画像を、上記操作により指示された位置が中心となるように前記合成画像の視点を移動して前記表示装置に表示し、及び又は、前記合成画像を所定の倍率で拡大して前記表示装置に表示する、構成１ないし３のいずれかに記載の表示システム。
構成４の表示システムによれば、運転者Ｄは、必要に応じて合成画像の中心位置及び又は表示倍率を自由に変更して、周囲環境をより容易に把握し得る。
（構成５）前記車両検知部は、前記周囲車両が自車両と接触する可能性の有無を判断し、前記表示制御部は、前記周囲車両が自車両と接触する可能性があるときは、前記合成画像において前記周囲車両に対応する前記周囲車両表示を強調表示する、構成３または４に記載の表示システム。
構成５の表示システムによれば、接触や衝突の可能性のある周囲車両の存在を、より確実に運転者に伝えることができる。
（構成６）前記表示制御部は、所定の時間間隔で、現在時刻における前記仮想環境画像と前記参加者映像に基づく合成画像を生成して、現在時刻における前記合成画像を前記表示装置にリアルタイムに表示する、構成１ないし５のいずれかに記載の表示システム。
構成６の表示システムによれば、時々刻々変化する交通環境における交通参加者の出現や動きを、空間認識が容易であって且つ交通参加者のリアルな存在感のある態様で、運転者に伝えることができる。
（構成７）前記表示装置は、自車両の運転席側の、ピラーの手前に配される、構成１ないし６のいずれかに記載の表示システム。
構成７の表示システムによれば、運転者は、少ない視線移動で、表示装置に表示された合成画像から情報を得ることができる。
（構成８）前記仮想環境画像は、自車両の現在位置を含む前記周囲環境を俯瞰する画像であり、前記仮想環境画像上の自車両に対応する位置に、自車両を示すグラフィック表現である仮想自車表現が重畳表示される、構成１ないし７のいずれかに記載の表示システム。
構成８の表示システムによれば、自車両を示す仮想自車表現を含んだ、自車両の現在位置の周辺を俯瞰する仮想環境画像をベースとするので、運転者は、複数のカメラ映像から合成された映像が歪みやすい俯瞰ビューに比べて、交通参加者と自車両との位置関係や、交通参加者間の位置関係を把握しやすい。
（構成９）表示システムが備えるコンピュータが実行する表示方法であって、自車両の現在位置を取得するステップと、自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成するステップと、自車両の周囲の実環境映像を取得して、前記実環境映像から、交通参加者の映像部分である参加者映像を抽出するステップと、前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示するステップと、を有する表示方法。
構成９の表示方法によれば、仮想環境画像をベースとして交通参加者を含む交通環境の立体的な配置関係の把握を容易としつつ、交通参加者の映像を仮想環境画像に嵌め込み合成することで、交通参加者の存在およびその動きの詳細を、運転者にリアルに伝えることができる。
１…表示システム、２…自車両、３…カメラ、３ａ…前方カメラ、３ｂ…左側方カメラ、３ｃ…右側方カメラ、４…物体検知装置、５…車両監視装置、６…ＧＮＳＳ受信機、７…ナビゲーション装置、１０…運転席、１１、１１ａ、１１ｂ…ピラー、１２、１４…表示装置、１３…インストルメントパネル、２０…プロセッサ、２１…メモリ、２２…表示プログラム、２３…位置取得部、２５…環境画像生成部、２６…部分映像抽出部、２７…車両検知部、２８…表示制御部、３０、３０ａ、３０ｂ、３０ｃ、３０ｄ…合成画像、３１…仮想環境画像、３２…仮想自車表現、３３…参加者映像、３４…周囲車両表示、Ｄ…運転者、Ｐ１、Ｐ２…位置。

Claims (9)

  1. 自車両の現在位置を取得する位置取得部と、
    自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成する環境画像生成部と、
    自車両の周囲の実環境映像を取得して、前記実環境映像から、交通参加者の映像部分である参加者映像を抽出する部分映像抽出部と、
    前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示する表示制御部と、
    を備える表示システム。
  2. 前記表示制御部は、前記合成画像において、歩行者である前記交通参加者の参加者映像を強調表示する、
    請求項１に記載の表示システム。
  3. 前記実環境映像から前記周囲環境内の車両である周囲車両の位置と、車種、サイズ、及び又は色を含む車両属性とを検知する車両検知部を備え、
    前記表示制御部は、前記周囲車両である交通参加者については、前記周囲車両の車両属性に応じたグラフィック表現である仮想車両表現を、周囲車両表示として前記仮想環境画像上の対応する位置に嵌め込み合成して前記合成画像を生成する、
    請求項１に記載の表示システム。
  4. 前記表示装置はタッチパネルであって、
    前記表示制御部は、前記表示装置に対するユーザの操作に応じて、
    前記合成画像を、上記操作により指示された位置が中心となるように前記合成画像の視点を移動して前記表示装置に表示し、及び又は、
    前記合成画像を所定の倍率で拡大して前記表示装置に表示する、
    請求項１に記載の表示システム。
  5. 前記車両検知部は、前記周囲車両が自車両と接触する可能性の有無を判断し、
    前記表示制御部は、前記周囲車両が自車両と接触する可能性があるときは、前記合成画像において前記周囲車両に対応する前記周囲車両表示を強調表示する、
    請求項３に記載の表示システム。
  6. 前記表示制御部は、所定の時間間隔で、現在時刻における前記仮想環境画像と前記参加者映像に基づく合成画像を生成して、現在時刻における前記合成画像を前記表示装置にリアルタイムに表示する、
    請求項１に記載の表示システム。
  7. 前記表示装置は、自車両の運転席側の、ピラーの手前に配される、
    請求項１に記載の表示システム。
  8. 前記仮想環境画像は、自車両の現在位置を含む前記周囲環境を俯瞰する画像であり、前記仮想環境画像上の自車両に対応する位置に、自車両を示すグラフィック表現である仮想自車表現が重畳表示される、
    請求項１ないし７のいずれか一項に記載の表示システム。
  9. 表示システムが備えるコンピュータが実行する表示方法であって、
    自車両の現在位置を取得するステップと、
    自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成するステップと、
    自車両の周囲の実環境映像を取得して、前記実環境映像から、交通参加者の映像部分である参加者映像を抽出するステップと、
    前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示するステップと、
    を有する表示方法。
JP2022139219A 2022-09-01 2022-09-01 表示システムおよび表示方法 Pending JP2024034754A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022139219A JP2024034754A (ja) 2022-09-01 2022-09-01 表示システムおよび表示方法
CN202310922476.XA CN117622182A (zh) 2022-09-01 2023-07-25 显示系统和显示方法
US18/451,911 US20240078766A1 (en) 2022-09-01 2023-08-18 Display system and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022139219A JP2024034754A (ja) 2022-09-01 2022-09-01 表示システムおよび表示方法

Publications (1)

Publication Number Publication Date
JP2024034754A true JP2024034754A (ja) 2024-03-13

Family

ID=90032751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022139219A Pending JP2024034754A (ja) 2022-09-01 2022-09-01 表示システムおよび表示方法

Country Status (3)

Country Link
US (1) US20240078766A1 (ja)
JP (1) JP2024034754A (ja)
CN (1) CN117622182A (ja)

Also Published As

Publication number Publication date
CN117622182A (zh) 2024-03-01
US20240078766A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
EP3100913B1 (en) Vehicle display apparatus and vehicle including the same
EP2724896B1 (en) Parking assistance device
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
US8880344B2 (en) Method for displaying images on a display device and driver assistance system
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
CN1878299B (zh) 图像显示装置和方法
JP5832674B2 (ja) 表示制御システム
CN114555401A (zh) 显示系统、显示设备、显示方法和移动装置
CN109690558B (zh) 用于辅助机动车辆的驾驶员驾驶机动车辆的方法、驾驶员辅助系统以及机动车辆
CN116323320A (zh) 虚像显示装置以及显示系统
US20190100146A1 (en) Three-dimensional driving image reminder device
JP2014036326A (ja) 俯瞰画像表示装置
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
JP2010175329A (ja) 車載情報装置
JP6186905B2 (ja) 車載表示装置およびプログラム
US20240042857A1 (en) Vehicle display system, vehicle display method, and computer-readable non-transitory storage medium storing vehicle display program
JP2007025739A (ja) 車両用画像表示装置
JP2017040773A (ja) 頭部装着型表示装置
JP2024034754A (ja) 表示システムおよび表示方法
JP6221562B2 (ja) 車両用情報提示装置
CN108202747B (zh) 车辆及控制该车辆的方法
WO2022085487A1 (ja) カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置
KR100833603B1 (ko) 버드 뷰를 제공하는 차량용 네비게이션 장치 및 그 방법
JP2011119902A (ja) 車両用表示装置
JP7532053B2 (ja) 対象物提示装置及び対象物提示方法