JP6568603B2 - 車両用画像表示システム及びその画像表示システムを搭載した車両 - Google Patents

車両用画像表示システム及びその画像表示システムを搭載した車両 Download PDF

Info

Publication number
JP6568603B2
JP6568603B2 JP2017563670A JP2017563670A JP6568603B2 JP 6568603 B2 JP6568603 B2 JP 6568603B2 JP 2017563670 A JP2017563670 A JP 2017563670A JP 2017563670 A JP2017563670 A JP 2017563670A JP 6568603 B2 JP6568603 B2 JP 6568603B2
Authority
JP
Japan
Prior art keywords
vehicle
image
image display
driver
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017563670A
Other languages
English (en)
Other versions
JPWO2017130439A1 (ja
Inventor
克彦 岸本
克彦 岸本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hon Hai Precision Industry Co Ltd
Original Assignee
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hon Hai Precision Industry Co Ltd filed Critical Hon Hai Precision Industry Co Ltd
Publication of JPWO2017130439A1 publication Critical patent/JPWO2017130439A1/ja
Application granted granted Critical
Publication of JP6568603B2 publication Critical patent/JP6568603B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications

Description

本発明は、車両用画像表示システム、特に、撮像装置や各種の検出装置を用いて、運転者がより安全に車両を走行させうるために必要な車外情報を画像表示装置の画面上に表示する車両用画像表示システム及びその画像表示システムを搭載した車両に関する。
従来から、車両の後部、例えばトランクやバックドアなどに撮像装置を取り付けて死角になる方向の画像を撮像し、運転席のダッシュボードなどに取り付けられた液晶ディスプレイ装置などの画像表示装置にその死角になる方向の画像を表示することにより、死角となる範囲をより少なくすることが行われている。
一方、特許文献１や特許文献２には、可撓性を有する有機発光ダイオード（以下、ＯＬＥＤ(Organic Light Emitting Diode)と略称する）を用いた画像表示装置の用途として、車両のダッシュボード、フロントガラス、天井内表面などに湾曲した画像表示装置を取り付け、様々な画像を表示することが提案されている。特に、特許文献１には、窓と窓の間のピラー（支柱）など、運転者から見て死角になる部分に画像表示装置を取り付けると共に、車外に取り付けた撮像装置でその死角となる部分の画像を撮像し、その画像を画像表示装置の画面上に表示することが提案されている。
また、撮像装置や画像表示装置の小型化及び高性能化に伴い、車両の外部に突出するドアミラーやフェンダーミラーを取り付けていない、いわゆる「ミラーレス車両」が、認可される方向に向かっている。一方で、衝突時の安全性などの面から車両のピラーの数を増やしたり、ピラーを太くしたりする傾向にあり、運転者からの死角となる範囲が増加する傾向にある。また、車両のデザイン面から、ボンネットの傾斜とフロントガラスの傾斜がほぼ連続的になり、運転者よりも前方に位置する、いわゆるＡピラーが２本化され、それらの間に三角窓が設けられたものも多数存在している。前述のように、ピラー自体が太くなる傾向にあるため、三角窓からの視界は極めて狭い。さらに、運転者の体格に合わせて座席を前後方向に調節するが、運転者の目の位置によって視界又は死角となる範囲が変化する。
特開２０１３−１２２５９８号公報 特開２００２−３２８６２４号公報
本発明は、上記の問題を解決するためになされたものであり、車両に取り付けた撮像装置や各種の検出装置を用いて、運転者から死角になる部分の画像や車両の後方あるいは側方の画像を撮像して、運転者がより安全に車両を走行させうるために必要な車外情報を画像表示装置の画面上に表示する車両用画像表示システム及びその画像表示システムを搭載した車両を提供することを可能とする。
上記目的を達成するため、本発明に係る車両用画像表示システムは、
車両の外装部の所定の位置に設けられ、それぞれ所定の範囲の画像を撮像する複数の撮像装置と、
前記車両の内装部の所定の位置に設けられ、前記複数の撮像装置の少なくともいずれか１つによって撮像された画像をその画面上に表示する複数の画像表示装置と、
前記車両の外装部又は前記車両の内装部の所定の位置に設けられ、予め設定されている所定の事象を検出するための検出装置と、
前記検出装置が前記所定の事象を検出したときに、前記所定の事象に対応する前記複数の撮像装置のうちの１つ又は複数の撮像装置を用いてその１又は複数の撮像装置に対応した所定の範囲の画像を撮像し、その１つ又は複数の撮像装置に対応した前記複数の画像表示装置の少なくともいずれか１つに撮像した画像を表示させる画像制御装置と、を備え、
前記検出装置は、前記車両の内装部に設けられ、運転者の目の位置又は視線の方向を検出する視線検出装置であり、
前記複数の撮像装置は、少なくとも運転者から死角になる原因物であるピラーの近傍にあるドアミラーに設けられており、前記ドアミラーが折り畳まれた状態では前記撮像装置の撮像レンズに防塵、防汚のための保護キャップが被せられており、折り畳みを解除した状態で前記撮像レンズの前記保護キャップが開放されるように構成されており、かつ前記原因物であるピラーによって運転者から死角になる範囲よりも広い範囲の画像を撮像し、
前記複数の画像表示装置の少なくとも一部は、前記ピラーの部分に設けられ、可撓性を有する有機発光ダイオードを用いており、
前記画像制御装置は、前記視線検出装置によって検出された目の位置と前記原因物によって特定される所定の方向が、前記複数の画像表示装置のうち検出された目の位置から見える方向に位置する画像表示装置の画面の中心近傍に位置するように画像をシフトさせ、前記画像表示装置の画面が湾曲している場合に、さらにその湾曲と逆向きに画像を湾曲させることを特徴とする。
前記複数の画像表示装置のうち１つの表示画面を複数の領域に区切って、各領域にそれ ぞれ異なる撮像装置で撮像された画像を表示するように構成してもよい。
複数の領域に区切られる前記複数の画像表示装置のうち１つの表示画面は、フロントガ ラスの上部又は下部に設けられているように構成してもよい。
前記複数の撮像装置は、それぞれ運転者から死角になる原因物の近傍に設けられてお り、
前記検出装置は、前記車両の内装部に設けられ、運転者の目の位置又は視線の方向を検 出する視線検出装置であり、
前記画像制御装置は、前記複数の画像表示装置のうち少なくとも検出された目の位置か ら見える方向に位置する撮像装置を用いて画像を撮像し、検出された運転者の目の位置又 は視線の方向に基づいて、前記原因物によって運転者から死角になる範囲を検出し、検出 された運転者から死角になる範囲の画像が前記複数の画像表示装置のうち検出された視線 の方向に位置する画像表示装置の画面上に表示されるように、画像データを補正するように構成してもよい。
前記視線検出装置は、前記車両の内装部に設けられ、可視光により運転者の顔を撮像す る撮像素子と、該撮像素子によって撮像された画像データに顔認識処理を行い、運転者の 目の位置又は視線の方向を検出する画像処理装置を含むように構成してもよい。
または、前記視線検出装置は、前記車両の内装部に設けられ、運転者の顔から発せられ る赤外線を受光する赤外線撮像素子と、該赤外線撮像素子によって撮像された画像データ にサーモグラフィ処理を行い、運転者の目の位置又は視線の方向を検出する画像処理装置 を含み、前記フロントガラスとして赤外線カットガラスを用いるように構成してもよい。
また、警報装置をさらに備え、前記画像制御装置は、前記視線検出装置により検出した運転者の視線の方向に基づいて運転者が居眠りをしているか否かを判断し、運転者が居眠りをしていると判断したときに、前記警報装置から警報を出力するように構成してもよい。
または、前記検出装置は、前記車両の速度を検出する第１速度検出装置と、前記車両の前方又は後方あるいは側方を走行している他の車両の速度を検出する第２速度検出装置を含み、
前記複数の撮像装置は、前記車両の後方あるいは側方の画像を撮像する撮像装置を含み、
前記画像制御装置は、前記車両の前方を走行している他の車両の速度が前記車両の速度よりも遅い場合又は前記車両の後方あるいは側方を走行している他の車両の速度が前記車両の速度よりも速い場合に、前記車両の後方又は側方の画像を撮像する撮像装置によって撮像された画像を、前記複数の画像表示装置のうち運転者よりも前方に位置する画像表示装置に表示するように構成してもよい。
前記第１速度検出装置は前記車両の速度計から前記車両の速度を検出し、
前記第２速度検出装置は、前記車両の前方又は後方あるいは側方を走行している他の車両と前記車両との相対速度を検出するように構成してもよい。
前記第２速度検出装置は、前記車両の前方又は後方あるいは側方の画像を撮像する撮像装置によって撮像された画像データから物体認識処理を行い、前記他の車両と前記車両の相対速度を演算するように構成してもよい。
または、前記検出装置は、前記車両の速度を検出する速度検出装置であり、前記画像制御装置は、前記車両の速度に応じて、前記複数の撮像装置のうち予め設定されている１又は複数の撮像装置による撮像を停止するように構成してもよい。
または、前記検出装置は、前記車両の速度を検出する速度検出装置又は前記車両の位置を検出するＧＰＳ(Global Positioning System)を含み、前記車両が一定時間以上動いていないときに、前記画像制御装置は、前記複数の撮像装置による撮像を停止するように構成してもよい。
または、前記検出装置は、前記車両の前方又は後方あるいは側方を走行している他の車両との車間距離を検出する車間距離検出装置であり、前記他の車両との車間距離が所定の車間距離よりも短いときに、前記車両の後方又は側方の画像を撮像する撮像装置によって撮像された画像を運転者よりも前方に位置する画像表示装置に表示するように構成してもよい。
前記検出装置は、前記車両の速度を検出する速度検出装置を含み、前記車両の速度に応じて前記所定の車間距離の値を変化させるように構成してもよい。
前記検出装置は、ＧＰＳ(Global Positioning System)をさらに含み、前記車両の速度及び前記車両の走行する道路が一般道路か又は高速道路かに応じて、前記所定の車間距離の値をさらに変化させるように構成してもよい。
前記複数の画像表示装置の少なくとも１つは、可撓性を有する有機発光ダイオードを用いた画像表示装置であるように構成してもよい。
前記複数の撮像装置は、それぞれその撮像装置で撮像する前記所定の範囲内に人がいることを検出する赤外線撮像素子を含むように構成してもよい。
または、前記画像制御装置は、前記複数の撮像装置により撮像された画像内に人がいるか否かを判断するように構成してもよい。
また、本発明に係る画像表示システムを備えた車両は、上記いずれかの車両用画像表示システムを備え、
前記複数の撮像装置の少なくとも一部は、前記車両の外装部のピラーの近傍に設けられており、
前記複数の画像表示装置の少なくとも一部は、可撓性を有する有機発光ダイオードを用いた画像表示装置であって、前記車両の窓と窓の間のピラーの部分に、それらの窓とほぼ連続となるように設けられていることを特徴とする。
前記複数の画像表示装置の少なくとも他の一部は、可撓性を有する有機発光ダイオードを用いた画像表示装置であって、前記車両のピラー以外の部分に設けられているように構成してもよい。
または、前記複数の画像表示装置の少なくとも一部は、発光していない状態で透光性を有する有機発光ダイオードを用いた画像表示装置であって、前記車両のフロントガラスに設けられているように構成してもよい。
また、前記複数の撮像装置は、それぞれ運転者よりも前方の死角となる範囲の画像を撮 像する前方撮像素子と車両の後方の画像を撮影するための後方撮像素子を有し、後方撮像 素子によって撮像された画像を前記車両のフロントガラスの下部に設けられた画像表示装 置の左右に表示するように構成してもよい。
本発明によれば、撮像装置や検出装置を用いて運転者から死角になる部分の画像を撮像して、運転者がより安全に車両を走行させうるために必要な車外の情報を画像表示装置の画面上に表示することができる。特に、運転者から死角になる原因物であるピラーの近傍にあるドアミラーに設けられた撮像装置により、死角になる範囲よりも広い範囲を撮像しているので、撮像した画像を平行移動処理するだけで死角になる領域の画像を高速かつ適正に画面表示できる。
本発明の一実施形態に係る画像表示システムを搭載した車両のコックピットを示す図。 車両のピラーにより運転者からの死角になる範囲及びそれに対応した画像表示システムの撮像装置の設置位置を示す平面図。 本発明の一実施形態に係る画像表示システムの構成を示すブロック図。 本発明の一実施形態に係る画像表示システムを搭載した車両のコックピットの変形例を示す図。 車両のドアにより運転者からの死角になる範囲及びそれに対応した画像表示システムの撮像装置の設置位置を示す平面図。 本発明の一実施形態に係る画像表示システムをミラーレス車両に応用したコックピットの変形例を示す図。 本発明の一実施形態に係る画像表示システムをいわゆるＡピラー部に三角窓を有する車両に応用したコックピットの変形例を示す図。
本発明は、撮像装置や各種の検出装置を用いて、運転者がより安全に車両を走行させうるために必要な車外情報を画像表示装置の画面上に表示する車両用画像表示システム及びその画像表示システムを搭載した車両に関するものであり、検出装置による検出される事象に応じて、以下の各実施形態に基づいて説明する。
（第１実施形態）
本発明の第１実施形態に係る車両用画像表示システム及びその画像表示システムを搭載した車両について説明する。従来の車両用画像表示システムでは、撮像装置により撮像される範囲及び画像表示装置の画面上に表示される画像の範囲が固定されており、運転者の体格に合わせて座席の位置を調節した場合などでは、必ずしも運転者から死角になる範囲と画像表示装置の画面上に表示される画像の範囲とが一致していなかった。それに対して、本発明の第１実施形態は、運転者の目の位置に応じて変化する視界又は死角となる範囲に合わせて、画像表示装置に表示される画像を補正するように構成したものである。検出装置として視線検出装置を用い、検出される事象として運転者の目の位置又は視線の方向を検出する。
図１は、第１実施形態に係る画像表示システムを搭載した車両のコックピットを示す。図２は、車両を真上から見た図であり、（ａ）は運転者からの死角になる範囲及び後述する撮像装置の設置位置を示し、（ｂ）は運転者の座席の位置などによって死角となる範囲が変化する様子を示す。図３は、車両用画像表示システムの構成を示すブロック図である。なお、これらの図１〜図３には、後述する他の実施形態において使用される構成要素も描かれているが、それらの構成要素については、それらの構成要素が使用される実施形態において説明する。
図２（ａ）に示すように、第１実施形態に係る車両用画像表示システムは、車両１０の外装部の所定の位置には、それぞれ所定の範囲の画像を撮像する複数の撮像装置１１ａ〜１１ｈが取り付けられている。撮像装置１１ａ〜１１ｈの設置位置は、運転者１から死角になる原因物、例えばボンネット又はフロントグリルあるいはバンパー１０ａ、ドアミラー１２ａ及び１２ｂ、バックドア又はトランク１０ｂ、各ピラー１３ａ〜１３ｆの近傍などである。各ピラー１３ａ〜１３ｆは、車両１０の前方から順にＡピラー、Ｂピラー、Ｃピラー・・・と称する。第１実施形態では、車両１０の両側面にドアミラー１２ａ及び１２ｂが設けられているため、Ａピラー１３ａ及び１３ｂにより死角となる範囲を撮像するための撮像装置１１ａ及び１１ｂは、それぞれドアミラー１２ａ及び１２ｂに設けられているが、Ａピラー１３ａ及び１３ｂに設けてもよい。また、本実施形態では、ドアミラー１２ａ及び１２ｂが折り畳み式であるとして、その車両１０側に固定された土台部側に撮像装置１１ｐ及び１１ｑを設けた例を示している。この時、ドアミラー１２ａ及び１２ｂが折り畳まれた状態では撮像装置１１ａ及び１１ｂの撮像レンズに防塵、防汚のための保護キャップが被せられており、折り畳みを解除した状態で撮像レンズの保護キャップが開放されるようになっている。もちろん、これに限定されるものではなく、撮像装置１１ｐ及び１１ｑの撮像レンズを常時直接露出させるように構成してもよい。また、ドアミラーの可動部側（本体側）に撮像レンズを設けてもよい。
図１に示すように、各撮像装置１１ａ及び１１ｂに対応した所定の位置には複数の画像表示装置１４ａ〜１４ｅが設けられている。例えば、運転者１から死角になる原因物であるＡピラー１３ａ及び１３ｂには、撮像装置１１ａ及び１１ｂによって撮像された画像をその表示画面上に表示する画像表示装置１４ａ及び１４ｂが設けられている。画像表示装置１４ａ及び１４ｂは、可撓性を有する有機発光ダイオード（ＯＬＥＤ）を用いた画像表示装置であり、図中斜線で示すように、フロントガラス１６とドアガラス２４ａ及び２４ｂと連続するようにＡピラー１３ａ及び１３ｂの内側のトリムに取り付けられている。撮像装置１１ａ及び１１ｂによって、所定範囲の画像を撮像し、画像表示装置１４ａ及び１４ｂにＡピラー１３ａ及び１３ｂによって死角になる範囲の画像を表示することにより、フロントガラス１６を通して見える景色と、画像表示装置１４ａ及び１４ｂに表示される画像と、ドアガラス２４ａ及び２４ｂから見える景色が連続し、あたかもＡピラー１３ａ及び１３ｂが存在していないような開放感を運転者１に与えることができる。特に、ＯＬＥＤは液晶ディスプレイに比べて応答性が非常に速いため、車両１０が高速で走行しているときでも、画像が高速で切り替えられるので、運転者１に不自然さを感じさせることは少ない。また、液晶ディスプレイと異なり、低温でも応答速度が低下しないため、冬季、極寒期の車内環境にあっても良好な表示を行うことができる。さらに、画像表示装置１４ａ及び１４ｂは、運転者１の目の位置に近いところに設けられているため、液晶ディスプレイよりも解像度をより高精細にすることが可能であり、且つ、視野角依存性がほとんどないＯＬＥＤを用いることが好ましい。なお、図示していないが、車両中央部のＢピラー１３ｃ及び１３ｄやＣピラー１３ｅ及び１３ｆの内側のトリムに可撓性を有するＯＬＥＤを用いた画像表示装置を設けてもよい。さらに、Ｂピラー１３ｃ及び１３ｄやＣピラー１３ｅ及び１３ｆの近傍のドアガラスに透光性を有するＯＬＥＤを用いた画像表示装置を設けてもよい。さらに、必要に応じてダッシュボード１５にもＯＬＥＤを用いた画像表示装置を設けてもよく、撮像装置で撮像された画像だけでなく、走行中にカーナビゲーションシステムの地図画像や停車中にテレビ放送やその他の画像を表示するように構成してもよい。
また、ピラー以外の部分、例えばフロントガラス１６の内側の上部及び下部には、それぞれ、他の撮像装置１１ｃ〜１１ｈのいずれかによって撮像された画像をその表示画面上に表示する複数の画像表示装置１４ｃ、１４ｄ及び１４ｅなどが設けられている。画像表示装置１４ｃ〜１４ｅとしては、可撓性及び透光性を有するＯＬＥＤを用いた画像表示装置である。例えば、車両１０を発車させる際、車両１０の正面に取り付けられた撮像装置１１ｈによって撮像される画像をフロントガラス１６の上部又は下部に取り付けられた画像表示装置１４ｄ又は１４ｃに表示することにより、ボンネットなど１０ａによって死角になる範囲の安全を確認することができる。また、車両１０を発車させた後又は車両を後進させるときは、車両１０の背面に取り付けられた撮像装置１１ｇによって撮像される画像を画像表示装置１４ｃに表示するように、画像を切り替えてもよい。さらに、フロントガラス１６の上部に取り付けられた画像表示装置１４ｄ及び１４ｅには、車両１０の側面に取り付けられた撮像装置１１ｃ〜１１ｆなどによって撮像される画像を表示してもよい。これらの画像表示の切り替えは、車両１０の速度やセレクターレバー又はシフトレバーの位置に応じて自動的に行われるように構成してもよいし、運転者１のスイッチの切り替え操作に応じて行われるようにしてもよい。なお、画像表示装置１４ｃ、１４ｄ及び１４ｅの表示画面の大きさや位置は特に限定されるものではなく、１つの表示画面を複数の領域に区切って、各領域にそれぞれ異なる撮像装置で撮像された画像を表示するように構成してもよい。
ＯＬＥＤを用いた画像表示装置１４ａ〜１４ｅは、紫外線及び熱に弱いという特性を有しているため、フロントガラス１６やドアガラス２４ａ及び２４ｂとして、紫外線カット（吸収又は反射）及び赤外線カット（反射）ガラスを用いることが好ましい。また、後述する視線検出装置１８が人体から発せられる赤外線を検出して視線の方向を検出するものである場合、太陽光に含まれる赤外線が車内に多く侵入すると、運転者１の眼球部分の検出が困難になる虞がある。そのため、例えば波長２μｍ前後の赤外線を９０％以上カットできる赤外線カットガラスを用いることが好ましい。また、一般的に車両用に用いられる紫外線カットガラスは、紫外線を９９％以上カットするものが使用されている。しかしながら、画像表示装置１４ａ〜１４ｅへの紫外線照射をできるだけ避ける観点からすると、紫外線カット率は９９．９％以上とすることが好ましく、さらに、９９．９９％以上とすることがより好ましい。
また、車両１０の内装部、例えばルームミラー１７の上方の天井部などには、運転者１の目の位置又は視線の方向を検出する視線検出装置１８が取り付けられている。視線検出装置１８は、例えば、可視光により運転者の顔を撮像する撮像素子と、その撮像装置によって撮像された画像データから顔認識処理を行い、運転者の目の位置又は視線の方向を検出する画像処理装置などで構成されている。あるいは、視線検出装置１８は、赤外線撮像素子（赤外領域に感度を有する撮像素子）を備えており、運転者の顔から発せられる遠赤外線を受光し、その撮像装置によって撮像された画像データからサーモグラフィ処理を行い、その温度差から運転者の眼の位置や視線の方向を検出する画像処理装置などで構成されていてもよい。視線検出装置１８の位置は、特に限定されず、運転者の顔の画像が撮像できる位置であればよく、換言すれば、運転者の視界に入る範囲内に設けられていればよい。また、これらの画像処理装置は、後述する画像制御装置１９で兼用することも可能である。
図２（ｂ）に示すように、車両１０を運転する際、運転者１は自分の体格に合わせて座席の位置を調節する。また、運転者１の体格に応じて目の高さが異なる。従って、運転者１の目の位置に応じて、ドアミラー１２ａ及び１２ｂやピラー１３ａ及び１３ｂによって死角になる範囲が変化する。また、車両を発車させようとする際、運転者は顔を左右に振るなどして、進行方向の前方及び左右の安全を確認する。また、右折又は左折する場合も同様に、曲がる方向の安全を確認するが、停止状態から発車させる場合と異なり、ある程度の速度に達しているため、一般的には、運転者はあまり顔を動かさずに、目を左右に移動させるものと考えられる。従って、上記のように、視線検出装置１８によって運転者の目の位置又は視線の方向を検出すれば、運転者の体格差による顔の位置や目の高さなどの違い、あるいは顔の向きなどに起因する死角となる範囲の変化に対応することができる。また、車線変更する場合や車両を後進させる場合には、運転者が首を横に振ったり、後を振り向いたりすることがあるので、車両の前部だけでなく、車両の側部や後部にも視線検出装置１８を設けてもよい。
図３に示すように、車両用画像表示システムは、画像制御装置１９を備えており、各撮像装置１１ａ〜１１ｈ、各画像表示装置１４ａ〜１４ｅ及び視線検出装置１８はそれぞれ画像制御装置１９に接続されている。この画像制御装置１９は、各撮像装置１１ａ〜１１ｈによって撮像された画像を各画像表示装置１４ａ〜１４ｅの画面上に表示する際に、各撮像装置１１ａ〜１１ｈの撮像開始及び終了を制御したり、各画像表示装置１４ａ〜１４ｅの表示開始及び終了を制御したりするだけでなく、画像データを補正するための画像補正装置としても機能する。
画像制御装置１９による第１の画像補正方法として、各撮像装置１１ａ〜１１ｈは、それぞれ、上記原因物によって運転者１から死角になる範囲よりも広い範囲の画像を撮像し、画像制御装置１９は、視線検出装置１８によって検出された目の位置と原因物によって特定される所定の方向が、検出された目の位置から見える方向に位置する画像表示装置の画面の中心近傍に位置するように画像をシフト（平行移動）させるようにしてもよい。例えば、図２（ｂ）において破線矢印で示すように、運転者１の目の位置が検出されると、その目の位置と原因物であるＡピラー１３ａとを結ぶ直線の方向が画像表示装置１４ａの表示画面の中心になるように画像を補正する。このように、画像制御装置１９による画像データを処理する方法は、画像表示装置１４ａ〜１４ｅの画面が湾曲している場合に、さらにその湾曲と逆向きに画像を湾曲させるようにさらに補正することによって、運転者１に自然な画像を認識させることができる。
画像制御装置１９による第２の画像補正方法として、各撮像装置１１ａ〜１１ｈは、それぞれ、それらに対応する画像表示装置の画面上に表示される範囲とほぼ同じ範囲の画像を撮像し、画像制御装置１９は、視線検出装置１８によって検出された目の位置から見える方向に位置する撮像装置の光軸が検出された目の位置と原因物によって特定される所定の方向を向くように、当該撮像装置の姿勢を調節するようにしてもよい。このように直接撮像装置の光軸の向きを変化させる方法は、画像表示装置１４ａ〜１４ｅの画面が平坦な場合に、画像制御装置１９における画像データの処理が不要になる。
（第２実施形態）
第２実施形態は、車両１０の速度に応じて、画像を撮像する撮像装置を適宜切り替えたり、あるいは撮像装置による撮像を停止したりするものである。図３に示すように、検出装置として、上記視線検出装置１８の他、車両１０の速度計などの速度検出装置２０やＧＰＳ(Global Positioning System)２２を用い、検出される事象として車両の速度や現在位置を検出する。
車両１０を停止した状態から発車させる際又は後進する際、運転者は車両１０を移動させようとする方向の安全を確認しながら車両１０を操縦する。従って、各撮像装置１１ａ〜１１ｈは、常時画像を撮像する必要はなく、画像制御装置１９は、複数の撮像装置１１ａ〜１１ｈのうち少なくとも視線検出装置１８によって検出された目の位置から見える方向もしくは視線の方向に位置する撮像装置が画像を撮像し、その撮像装置に対応する画像表示装置にのみ画像を表示するように制御してもよい。また、車両１０に運転者は搭乗しているけれどもエンジンが始動していない場合や、エンジンは始動しているけれども一定時間車両１０が動いていない場合、画像制御装置１９は、速度検出装置２０やＧＰＳ２２の出力から車両が一定時間以上動いていないと判断すると、全ての撮像装置１１ａ〜１１ｈによる画像の撮像及び全ての画像表示装置１４ａ〜１４ｅなどによる画像の表示を停止するように制御してもよい。あるいは、車両が動いていない場合であっても、運転者によるスイッチ操作などによって、画像制御装置１９は、全ての又は指定された撮像装置による撮像及び画像表示装置の画面上に画像を表示するように制御してもよい。
また、車両の速度が一定速度以上（例えば時速３０ｋｍ以上）になると、例えばＡピラー１３ａ又は１３ｂにより死角となる方向に急角度で操舵することは考えにくい。そのため、車両の速度が一定速度以上になると、画像制御装置１９は、一部の撮像装置、例えばドアミラー１２ａ及び１２ｂに設置されている撮像装置１１ａ及び１１ｂ及びフロントグリルに設置された撮像装置１１ｈなど運転者１よりも前方に位置する撮像装置による撮像を停止するように制御してもよい。その場合、図１及び図２（ａ）に示すように、ドアミラー１２ａ及び１２ｂに車両１０の後方の画像を撮像するための撮像装置１１ｐ及び１１ｑを設け、画像制御装置１９は、画像表示装置１４ａ及び１４ｂに、これら撮像装置１１ｐ及び１１ｑにより撮像した画像を表示するように制御してもよい。図１では、ドアミラー１２ａ及び１２ｂをハーフミラーとして、ハーフミラーの内側に撮像装置１１ｐ及び１１ｑを設けた例を示しているが、これに限定されるものではなく、撮像装置１１ｐ及び１１ｑの撮像レンズを直接露出させるように構成してもよい。また、撮像装置１１ｐ及び１１ｑをドアミラー１２ａ及び１２ｂではなく、車両１０本体に設けてもよい。
（第３実施形態）
第３実施形態は、車両１０が走行している状態で、撮像装置によって撮像された画像から前方又は後方あるいは側方を走行している他の車両を検出し、他の車両との車間距離や車両１０と他の車両との相対速度などの情報を基に、車両１０の周囲の車外情報、特に車両１０に対して他の車両が接触する危険性が迫っている場合にそれを運転者に伝達するものである。検出装置として、車両１０の速度計などの速度検出装置（第１速度検出装置）２０やＧＰＳ２２の他、車両１０の前方を走行する他の車両との車間距離や他の車両の速度を検出するための撮像装置１１ａ、１１ｂ及び１１ｈと、車両１０の側方又は後方を走行する他の車両との相対速度を検出するために撮像装置１１ｃ〜１１ｇ、１１ｐ及び１１ｑなど及び画像制御装置（第２速度検出装置）１９を用い、検出される事象として車両１０の速度、他の車両との車間距離、他の車両との相対速度及び現在走行している道路が高速道路か一般道路かなどを検出する。なお、ここでいう車両の速度には、速度を時間で微分した加速度を含めることも可能である。また、車両１０と他の車両との相対速度の検出方法としては、ミリ波、赤外線レーザー光、超音波などを照射して、他の車両からの反射波を検出するように構成してもよい。
車線変更を行う場合、ドアミラー１２ａ又は１２ｂに写る像だけでは、運転者がより安全に車両を走行させうるための車外情報としては不十分である。特に、高速道路などにおいて、前方を走る車両の速度が遅く、その車両を追い越す場合、加速しながら走行車線から追い越し車線に車線変更しなければならないが、自車よりも高速で追い越し車線を連続的に走行し続けている車両も少なくない。そのため、運転者がドアミラー１２ａなどで後方を走行している他の車両との距離を確認し、いざ車線変更をしようとすると、至近距離に他の車両が接近していたということもありうる。あるいは、一般道路においても、前方の低速車両を追い越すために車線変更をしようすると、後続車両も同時に車線変更をしようとしていることもある。さらには、後続車両が接近しすぎていて、急ブレーキをかけると追突される虞があり、前方車両との車間距離を空けたいこともある。さらには、道路の端を走行している自転車や二輪車などを追い越す際に、接触事故を防止するために、車線を跨いで走行しなければならないこともありうる。あるいは、渋滞中に自車の側方を自転車や二輪車がすり抜けようとすることもある。画像制御装置１９は、車両１０の前方を走行する他の車両までの車間距離が所定の車間距離よりも短い場合、車両１０の前方を走行している他の車両の速度が車両１０の速度よりも遅い場合又は車両１０の後方あるいは側方を走行している他の車両の速度が車両１０の速度よりも速い場合、車両１０の後方又は側方の画像を撮像する撮像装置１１ｃ〜１１ｇ、１１ｐ及び１１ｑなどによって撮像された画像を、運転者よりも前方に位置する画像表示装置１４ａ〜１４ｅなどに表示するように構成してもよい。この場合、画像表示装置１４ａ〜１４ｅに表示する画像は、撮像装置１１ｃ〜１１ｇ、１１ｐ及び１１ｑなどによって撮像された画像に加えて、警告を促す文字や記号を表示したり、あるいは画像の一部を強調表示したりするなどしてもよい。また、警報音を同時に発するようにしてもよい。
図３に示す構成では、第２速度検出装置として機能する画像制御装置１９は、ＧＰＳ２２に接続されているので、この車両が高速道路を走行しているのか、それとも一般道路を走行しているのかを判別することが可能である。また、画像制御装置１９は、速度検出装置２０に接続されているので、この車両１０がどのくらいの速度で走行しているのか又は加速しているのかあるいは減速しているのかを判別することも可能である。そこで、車両の速度が一定速度以上（例えば時速６０ｋｍ）のとき及び／又は車両が加速又は減速しているときに、あるいはウインカーなどの操作に連動して、画像制御装置１９は、ドアミラー１２ａ及び１２ｂに後ろ向きに取り付けられている撮像装置１１ｐ及び１１ｑやＢピラー１３ｃ及び１３ｄやＣピラー１３ｅ及び１３ｆ及びバックドアに設置されている撮像装置１１ｃ〜１１ｇなど運転者よりも後方に位置する撮像装置により撮像された画像を運転者よりも前方に位置する画像表示装置１４ａ〜１４ｅに表示するように構成してもよい。
また、画像制御装置１９は、さらに車間距離検出装置として機能し、これら運転者よりも後方に位置する撮像装置により撮像された画像データから物体認識処理を行い、この車両の側方や後方を走行している他の車両のとの距離又は他の車両の速度を検出するように構成してもよい。近年、自動ブレーキなどの安全装備を搭載した車両が増えているが、これらの自動ブレーキ装置では、例えば２つの撮像素子を用いて、三角測量により前方を走る車両との距離を測定するものが知られている。この技術を応用して、上記撮像装置１１ａ〜１１ｈに２つの撮像装置を設けることにより、前方又は後方を走行している他の車両までの距離を測定することができる。また、側方や後方を走行している他の車両の速度の方が、この車両の速度よりも速い場合、認識された物体の画像が徐々に大きくなるので、画像制御装置１９は、側方や後方から他の車両が接近していることを検出することができる。画像制御装置１９は、側方や後方を走行している他の車両との車間距離がこの車両１０の速度に応じた一定距離よりも短い場合や、他の車両の速度がこの車両１０の速度よりも速い場合に、車両１０の後方の画像を撮像する撮像装置によって撮像された画像を運転者よりも前方に位置する画像表示装置１４ａ〜１４ｅに表示するように構成してもよい。それによって、運転者は前方を見ながら車両の側方や後方の状況を確認することができる。さらに、運転者の注意を喚起するため、撮像された画像を表示するだけでなく、接触注意の文字・記号を追加表示する他、接触しそうな他の車両を強調して表示するようにしたり、警報装置から警報音を出力するように構成したりしてもよい。また、車両１０が高速道路を走行しているのか、それとも一般道路を走行しているのかに応じて、上記車間距離の値を切り替えてもよい。また、車間距離検出装置としては、上記撮像装置を用いる方式の他、ミリ波レーダーや赤外線レーザーなどを用いて前方又は後方あるいは側方を走る車両との距離を測定するように構成してもよい。
（第４実施形態）
第４実施形態は、車両１０を車庫入れする際やドアを開閉する際に、ドアによる死角を少なくするものである。一般的に、運転者や同乗者から見て、各ドアの窓より下の部分も死角となる。図４及び図５に示すように、各ドア２１ａ〜２１ｄのドアノブなどには撮像装置１１ｊ、１１ｋ、１１ｍ及び１１ｎが取り付けられていると共に、ドアトリムの上部には画像表示装置１４ｆ及び１４ｇなどが取り付けられている。また、検出装置として、セレクターレバー又はシフトレバーを用い、検出される事象としてセレクターレバー又はシフトレバーが後進位置又はニュートラルあるいはパーキングなどに入っていること、又はサイドブレーキが掛けられていることなどを検出する。
車庫入れなどの場合、窓よりも下の部分に存在する障害物などによって車両１０を擦る虞がある。そこで、セレクターレバー又はシフトレバーが後進位置に入ると、制御装置として機能する画像制御装置１９は、撮像装置１１ｊ、１１ｋ、１１ｍ及び１１ｎによる画像の撮像を開始し、車両１０のピラー１３ａ〜１３ｆ以外の部分、例えば各ドアのドアトリムに取り付けられた画像表示装置１４ｆ及び１４ｇなどに画像を表示する。それによって、運転者１は、車両の両側部の状況を確認することができる。さらに、パーキングブレーキが掛けられた状態又はセレクターレバーがパーキングの位置に入っている状態においても、撮像装置１１ｊ、１１ｋ、１１ｍ及び１１ｎによる画像の撮像を開始し、各ドアのドアトリムに取り付けられている画像表示装置１４ｆ及び１４ｇなどに画像を表示するようにしてもよい。このようにすることによって、ドアの死角になる車両の両側部の状況を確認した上で、ドアを開けることができるようになる。この場合も、画像表示装置１４ｆ及び１４ｇなどとして、可撓性を有するＯＬＥＤを用いた画像表示装置を用いることが好ましく、ドアの窓ガラスとして、紫外線カット（吸収又は反射）及び赤外線カット（反射）ガラスを用いることが好ましい。
（第５実施形態）
第５実施形態は、本発明の車両用画像表示システムをいわゆるミラーレス車両へ応用したものである。検出装置及び検出される事象としては、先の実施形態で説明したもの全てを含むことができる。
図６に示すように、ミラーレス車両では、従来のドアミラー１２ａ及び１２ｂの替わりに、撮像装置１１ｘ及び１１ｙが設けられている。これらの撮像装置１１ｘ及び１１ｙは、Ａピラー１３ａ及び１３ｂにより死角となる範囲の画像を表示するための前方撮像レンズ及び前方撮像素子と、車両の後方の画像を撮影するための後方撮像レンズ及び後方撮像素子を有している。撮像装置１１ｘ及び１１ｙの前方撮像素子によって撮像された画像はＡピラー１３ａ及び１３ｂに設けられた画像表示装置１４ａ及び１４ｂなどに表示し、後方撮像素子によって撮像された画像はフロントガラス１６の下部に設けられた画像表示装置１４ｃの左右に表示するように構成してもよい。また、ルームミラー１７の替わりに、フロントガラス１６の内側の上部に横幅の広いＯＬＥＤを用いた画像表示装置１４ｈを設け、例えばバックドア又はトランク１０ｂに取り付けられた撮像装置１１ｇで撮像した画像を画像表示装置１４ｈの中央部分に表示するように構成してもよい。
（第６実施形態）
第６実施形態は、本発明の車両用画像表示システムをいわゆるワンボックスカーのようなＡピラー部に三角窓を有する車両へ応用したものである。検出装置及び検出される事象としては、先の実施形態で説明したもの全てを含むことができる。
図７（ａ）に示すように、ワンボックスカーと呼ばれる車種においても、衝突時の衝撃吸収性などを考慮して、運転席よりも前の部分が長くなるようにデザインされている。そして、車両のデザイン面から、ボンネットの傾斜とフロントガラス１６の傾斜がほぼ連続的になり、セダンと呼ばれる車種に比べて前方のＡピラー１３ａ及び１３ｂの傾斜が緩くなっている。一方、ドアのヒンジの位置はワンボックスカーでもセダンあまり変わらないため、ドア２１ａ及び２１ｂとＡピラー１３ａ及び１３ｂの間に三角窓２３ａ及び２３ｂが設けられている（Ａピラーの２本化）。前述のように、ピラー自体が太くなる傾向にあるため、運転者から見て、三角窓２３ａ及び２３ｂからの視界は極めて狭く、あまり役に立たない。
そこで、第６実施形態では、図７（ｂ）に示すように、Ａピラー１３ａ及び１３ｂの部分の内側に、フロントガラス１６とドアガラス２４ａ及び２４ｂとほぼ連続となるように、画像表示装置１４ａ及び１４ｂが取り付けられている。撮像装置１１ａ及び１１ｂは、ドアミラー１２ａ及び１２ｂではなく、三角窓２３ａ及び２３ｂの内側に取り付けてもよい。図１に示す構成例と比較して、画像表示装置１４ａ及び１４ｂはほぼ平面で構成されているため、可撓性を有しないＯＬＥＤを用いることができる。そして、画像表示装置１４ａ及び１４ｂに、Ａピラー１３ａ及び１３ｂによって死角となる範囲の画像を表示することにより、フロントガラス１６を通して見える景色と、画像表示装置１４ａ及び１４ｂに表示される画像と、ドアガラス２４ａ及び２４ｂから見える景色が連続し、あたかもＡピラー１３ａ及び１３ｂが存在していないような開放感を運転者１に与えることができる。
（その他の応用例）
視線検出装置１８及び画像制御装置１９の応用例として、制御装置として機能する画像制御装置１９は、視線検出装置１８により検出した目の位置や視線の方向あるいは目を閉じているか否かなどに基づいて運転者が居眠りをしているか否かを判断し、警報装置などを介して警報音を出力するようにしてもよい。
また、日中であっても、撮像装置により撮像された死角になる範囲の画像を、運転者がうっかりして見落としてしまうこともあり得る。画像制御装置１９は、例えば自然光の下では、各撮像装置１１ａ〜１１ｈにより撮像された画像データを用いて顔認識処理などを行うことにより、画像内に人がいるか否かを判断し、その範囲に人がいると判断したときは、人を強調して表示してもよく、警報装置などを介して警報音を出力するようにしてもよい。また、夜間であれば、ヘッドライトで照射されている範囲以外は暗いため、各撮像装置１１ａ〜１１ｈにより撮像され、画像表示装置１４ａ〜１４ｈに表示された画像を見ただけでは画像内に人がいるか否かを判断することは困難である。しかしながら、近年、ＣＣＤなどを用いた撮像素子の感度が向上しているため、撮像素子の感度を高く設定することによって、各撮像装置１１ａ〜１１ｈにより撮像された画像データを用いて顔認識処理などを行い、人がいると判断したときは、人を強調表示して運転者に警告を与えることができ、あるいは、警報装置などを介して警報音を出力することで注意喚起を促すこともできる。
さらに、周囲に光源となるようなものが存在しない場合に対応して、各撮像装置１１ａ〜１１ｈに近赤外線を照射する光源と近赤外線に感度を有する赤外線撮像素子を設け、赤外線撮像素子により撮像された近赤外線画像を画像表示装置１４ａ〜１４ｈの画面上に表示するように構成してもよい。この場合、車両１０の周囲に存在する人や動物以外の障害物も認識することができる。画像表示装置１４ａ〜１４ｈに表示される画像は、いわゆるモノクローム画像である方が、より自然であり好ましい。あるいは、各撮像装置１１ａ〜１１ｈに遠赤外線に感度を有する赤外線撮像素子を設け、人や動物などから発生される遠赤外線を受光し、赤外線撮像素子により撮像された遠赤外線画像を画像表示装置１４ａ〜１４ｈの画面上にサーモグラフィを表示するように構成してもよい。また、人の体表面温度のみを特定の色（例えば赤）で表示し、その他の物体と区別するようにしてもよい。
撮像装置１１ａ〜１１ｈの撮像レンズの前面は、透光性及び防水性を有する保護カバーで保護されているものの、泥や空気中の浮遊物などが保護カバーの表面に付着する。そのため、撮像装置１１ａ〜１１ｈの少なくとも一部には、上記保護カバーの表面をクリーニングするクリーニング装置を設けてもよい。クリーニング装置の一例として、例えばドアミラー１２ａ及び１２ｂに設けられている撮像装置１１ａ及び１１ｂの場合、ドアミラー１２ａ及び１２ｂが折りたたまれ又は引き出されるたびに、撮像装置１１ａ及び１１ｂの保護カバーの表面をドアミラー１２ａ及び１２ｂの内部に設けられたブラシ又はワイパーで清掃するような構造であってもよい。また、ドアミラー１２ａ及び１２ｂが折りたたまれた状態で、撮像装置１１ａ及び１１ｂの撮像レンズ及び保護カバーがドアミラー１２ａ及び１２ｂの内部に収納されるような構造をさらに備えていてもよい。あるいは、ドアミラー１２ａ及び１２ｂが折り畳まれる動作と連動して、撮像装置１１ａ及び１１ｂの撮像レンズ及び保護カバー上に保護キャップが被せられるような機構を備えていてもよい。あるいは、超音波振動などを用いて、撮像装置１１ａ及び１１ｂの保護カバーの表面に異物が付着しにくくするような構造であってもよい。
また、Ｂピラー１３ｃ及び１３ｄ、Ｃピラー１３ｅ及び１３ｆ、ボンネットなど１０ａ、バックドア又はトランク１０ｂなどに設置される撮像装置１１ｃ〜１１ｈについては、例えば車両のエンブレムなどの部分に組み込んでもよい。そして、例えばエンジンが起動されるたびに、撮像装置１１ｃ〜１１ｈの保護カバーの表面をエンブレムの内側に設けられたブラシ又はワイパーで清掃するような構造であってもよい。
なお、本発明は上記実施形態の説明及び図面に記載された範囲に限定されるものではなく、乗用車以外の二輪車、貨物用車両、鉄道車両などにも応用することが可能であることはいうまでもない。二輪車の場合、その風防部に撮像装置を後向けに取り付けると共に、可撓性及び透光性を有するＯＬＥＤを用いた画像表示装置を取り付け、後方の視認性を向上させることができる。さらに、撮像装置及び画像表示素子の数、設置位置、種類、構造なども特に限定されるものではない。また、本発明は、車両以外の乗り物、例えば遊園地におけるゴンドラ、水中が見渡せるグラスボートなどの船舶、遊覧飛行用の航空機などにも応用することができる。
１ 運転者
１０ 車両
１０ａ ボンネット又はフロントグリルあるいはバンパー
１０ｂ バックドア又はトランク
１１ａ〜１１ｈ 撮像装置
１１ｊ、１１ｋ、１１ｍ、１１ｎ、１１ｐ、１１ｑ、１１ｘ、１１ｙ 撮像装置
１２ａ、１２ｂ ドアミラー
１３ａ〜１３ｆ ピラー
１４ａ〜１４ｈ 画像表示装置
１５ ダッシュボード
１６ フロントガラス
１７ ルームミラー
１８ 視線検出装置
１９ 画像制御装置
２０ 速度検出装置
２１ａ〜２１ｄ ドア
２２ ＧＰＳ
２３ａ、２３ｂ 三角窓
２４ａ、２４ｂ ドアガラス

Claims (3)

  1. 車両の外装部の所定の位置に設けられ、それぞれ所定の範囲の画像を撮像する複数の撮像装置と、
    前記車両の内装部の所定の位置に設けられ、前記複数の撮像装置の少なくともいずれか１つによって撮像された画像をその画面上に表示する複数の画像表示装置と、
    前記車両の外装部又は前記車両の内装部の所定の位置に設けられ、予め設定されている所定の事象を検出するための検出装置と、
    前記検出装置が前記所定の事象を検出したときに、前記所定の事象に対応する前記複数の撮像装置のうちの１つ又は複数の撮像装置を用いてその１又は複数の撮像装置に対応した所定の範囲の画像を撮像し、その１つ又は複数の撮像装置に対応した前記複数の画像表示装置の少なくともいずれか１つに撮像した画像を表示させる画像制御装置と、を備え、
    前記検出装置は、前記車両の内装部に設けられ、運転者の目の位置又は視線の方向を検出する視線検出装置であり、
    前記複数の撮像装置は、少なくとも運転者から死角になる原因物であるピラーの近傍にあるドアミラーに設けられており、前記ドアミラーが折り畳まれた状態では前記撮像装置の撮像レンズに防塵、防汚のための保護キャップが被せられており、折り畳みを解除した状態で前記撮像レンズの前記保護キャップが開放されるように構成されており、かつ前記原因物であるピラーによって運転者から死角になる範囲よりも広い範囲の画像を撮像し、
    前記複数の画像表示装置の少なくとも一部は、前記ピラーの部分に設けられ、可撓性を有する有機発光ダイオードを用いており、
    前記画像制御装置は、前記視線検出装置によって検出された目の位置と前記原因物によって特定される所定の方向が、前記複数の画像表示装置のうち検出された目の位置から見える方向に位置する画像表示装置の画面の中心近傍に位置するように画像をシフトさせ、前記画像表示装置の画面が湾曲している場合に、さらにその湾曲と逆向きに画像を湾曲させることを特徴とする車両用画像表示システム。
  2. 請求項１に記載の車両用画像表示システムを備えた車両。
  3. 前記複数の画像表示装置の少なくとも一部は、発光していない状態で透光性を有する有機発光ダイオードを用いた画像表示装置であって、前記車両のフロントガラスに設けられており、
    前記複数の撮像装置は、それぞれ運転者よりも前方の死角となる範囲の画像を撮像する前方撮像素子と、車両の後方の画像を撮影するための後方撮像素子とを有し、前記後方撮像素子によって撮像された画像を車両のフロントガラスの下部に設けられた画像表示装置の左右に表示することを特徴とする請求項２に記載の車両。
JP2017563670A 2016-01-28 2016-07-26 車両用画像表示システム及びその画像表示システムを搭載した車両 Active JP6568603B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016014140 2016-01-28
JP2016014140 2016-01-28
PCT/JP2016/071850 WO2017130439A1 (ja) 2016-01-28 2016-07-26 車両用画像表示システム及びその画像表示システムを搭載した車両

Publications (2)

Publication Number Publication Date
JPWO2017130439A1 JPWO2017130439A1 (ja) 2018-11-08
JP6568603B2 true JP6568603B2 (ja) 2019-08-28

Family

ID=59397709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017563670A Active JP6568603B2 (ja) 2016-01-28 2016-07-26 車両用画像表示システム及びその画像表示システムを搭載した車両

Country Status (5)

Country Link
US (1) US20190031102A1 (ja)
JP (1) JP6568603B2 (ja)
CN (1) CN108602465B (ja)
TW (1) TWI690436B (ja)
WO (1) WO2017130439A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210197847A1 (en) * 2019-12-31 2021-07-01 Gm Cruise Holdings Llc Augmented reality notification system

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
CN107776488A (zh) * 2016-08-24 2018-03-09 京东方科技集团股份有限公司 汽车用辅助显示系统、显示方法以及汽车
JP6852584B2 (ja) * 2017-06-15 2021-03-31 トヨタ自動車株式会社 車両後方視認装置
US20190012552A1 (en) * 2017-07-06 2019-01-10 Yves Lambert Hidden driver monitoring
US20190246036A1 (en) * 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
EP3793191A4 (en) * 2018-05-08 2021-04-14 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, MOTION MACHINE, METHOD AND PROGRAM
DE112018007768T5 (de) * 2018-06-27 2021-03-11 Honda Motor Co., Ltd. Peripherieinformationserfassungsvorrichtung und fahrzeug
US10882400B2 (en) * 2018-09-20 2021-01-05 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for improved vehicular safety
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
WO2020111192A1 (ja) * 2018-11-28 2020-06-04 株式会社堀場製作所 車両試験システム及び車両試験方法
CN109305105A (zh) * 2018-11-29 2019-02-05 北京车联天下信息技术有限公司 一种a柱盲区监测装置、车辆及方法
CN110099268B (zh) * 2019-05-28 2021-03-02 吉林大学 色彩自然匹配与显示区自然融合的盲区透视化显示方法
DE102019124218A1 (de) * 2019-09-10 2021-03-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Anzeigen von Fahrzeuginformationen, Windschildsystem sowie Kraftfahrzeug
US11124114B2 (en) * 2019-09-30 2021-09-21 Ford Global Technologies, Llc Blind spot detection and alert
WO2021079975A1 (ja) * 2019-10-23 2021-04-29 ソニー株式会社 表示システム、表示装置、表示方法、及び、移動装置
CN111042700A (zh) * 2019-12-04 2020-04-21 惠州市德赛西威汽车电子股份有限公司 一种基于流媒体后视镜温度检测的车窗自动升降系统及方法
JP7357284B2 (ja) * 2020-02-12 2023-10-06 パナソニックＩｐマネジメント株式会社 描画システム、表示システム、移動体、描画方法及びプログラム
EP4112387A4 (en) * 2020-02-28 2023-08-16 Sony Group Corporation IMAGE PROCESSING DEVICE, DISPLAY SYSTEM, IMAGE PROCESSING METHOD AND RECORDING MEDIA
CN111391755B (zh) * 2020-03-10 2021-10-12 京东方科技集团股份有限公司 盲区图像的显示方法、装置及系统
KR20220000536A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 차량 주행 제어 장치 및 방법
CN112977469A (zh) * 2021-03-12 2021-06-18 乐视致新信息技术(武汉)有限公司 基于车载全息投影的导航装置及其控制方法
TWI773375B (zh) * 2021-06-11 2022-08-01 英業達股份有限公司 偵測系統
US11550532B1 (en) 2021-08-16 2023-01-10 Honda Motor Co., Ltd Modular display assembly for vehicles
JP2024004819A (ja) 2022-06-29 2024-01-17 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1059068A (ja) * 1996-08-23 1998-03-03 Yoshihisa Furuta 車両の死角確認装置
US6690268B2 (en) * 2000-03-02 2004-02-10 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2000339580A (ja) * 1999-05-26 2000-12-08 Nissan Motor Co Ltd 道路地図の記憶方法
DE60122040T8 (de) * 2000-03-02 2007-08-23 AutoNetworks Technologies, Ltd., Nagoya Überwachungseinrichtung für schwer einsehbare Zonen um Kraftfahrzeuge
JP2002325250A (ja) * 2001-02-16 2002-11-08 Ki Sun Kim 車両の映像及び音声記録装置
JP4567941B2 (ja) * 2001-12-28 2010-10-27 株式会社半導体エネルギー研究所 半導体装置の作製方法及び表示装置の作製方法
US6953735B2 (en) * 2001-12-28 2005-10-11 Semiconductor Energy Laboratory Co., Ltd. Method for fabricating a semiconductor device by transferring a layer to a support with curvature
US6809704B2 (en) * 2002-02-08 2004-10-26 Charles J. Kulas Reduction of blind spots by using display screens
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2005184225A (ja) * 2003-12-17 2005-07-07 Denso Corp 車両用表示装置
JP4280648B2 (ja) * 2004-01-16 2009-06-17 株式会社ホンダロック 車両の視界補助装置
JP2005204132A (ja) * 2004-01-16 2005-07-28 Honda Motor Co Ltd 運転支援装置
JP4699054B2 (ja) * 2005-03-10 2011-06-08 クラリオン株式会社 車両周囲監視装置
US8179435B2 (en) * 2005-09-28 2012-05-15 Nissan Motor Co., Ltd. Vehicle surroundings image providing system and method
JP4810953B2 (ja) * 2005-10-07 2011-11-09 日産自動車株式会社 車両用死角映像表示装置
JP2007204032A (ja) * 2006-01-06 2007-08-16 Toyota Motor Corp 車載警報装置
JP2007314023A (ja) * 2006-05-25 2007-12-06 Fujifilm Corp 運転支援システム
JP4775121B2 (ja) * 2006-06-05 2011-09-21 株式会社デンソー 車両用運転支援システム
JP4791262B2 (ja) * 2006-06-14 2011-10-12 本田技研工業株式会社 運転支援装置
CN101479130B (zh) * 2006-06-28 2012-05-30 约翰逊控制技术公司 车辆视觉系统
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5421788B2 (ja) * 2008-02-20 2014-02-19 クラリオン株式会社 車両周辺画像表示システム
JP5045812B2 (ja) * 2008-06-24 2012-10-10 トヨタ自動車株式会社 死角表示装置及び運転支援装置
US20110187844A1 (en) * 2008-09-12 2011-08-04 Kabushiki Kaisha Toshiba Image irradiation system and image irradiation method
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9517679B2 (en) * 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9998697B2 (en) * 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8317329B2 (en) * 2009-04-02 2012-11-27 GM Global Technology Operations LLC Infotainment display on full-windshield head-up display
US8482486B2 (en) * 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
US8358224B2 (en) * 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
US20100253595A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Virtual controls and displays by laser projection
US8547298B2 (en) * 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
US8977489B2 (en) * 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
JP5108837B2 (ja) * 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
US20110025584A1 (en) * 2009-07-29 2011-02-03 Gm Global Technology Operations, Inc. Light-emitting diode heads-up display for a vehicle
WO2011070641A1 (ja) * 2009-12-07 2011-06-16 クラリオン株式会社 車両周辺監視システム
CN102714710B (zh) * 2009-12-07 2015-03-04 歌乐牌株式会社 车辆周边图像显示系统
JP2011125474A (ja) * 2009-12-17 2011-06-30 Isuzu Motors Ltd 体調判定装置
US9160981B2 (en) * 2010-03-26 2015-10-13 Honda Motor Co., Ltd. System for assisting driving of vehicle
US20130096820A1 (en) * 2011-10-14 2013-04-18 Continental Automotive Systems, Inc. Virtual display system for a vehicle
JP5727356B2 (ja) * 2011-11-30 2015-06-03 日立オートモティブシステムズ株式会社 物体検知装置
DE112013000566T5 (de) * 2012-01-12 2014-11-06 Hitachi Construction Machinery Co., Ltd. Umgebungsüberwachungsvorrichtung für selbstangetriebene Industriemaschine
JP2014059723A (ja) * 2012-09-18 2014-04-03 Nissan Motor Co Ltd 車両用後方視界支援装置及び車両用後方視界支援方法
JP5527382B2 (ja) * 2012-10-12 2014-06-18 トヨタ自動車株式会社 走行支援システム及び制御装置
JP2014181927A (ja) * 2013-03-18 2014-09-29 Aisin Aw Co Ltd 情報提供装置、及び情報提供プログラム
US10029621B2 (en) * 2013-05-16 2018-07-24 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
JP2015027852A (ja) * 2013-07-30 2015-02-12 トヨタ自動車株式会社 運転支援装置
JP2015054598A (ja) * 2013-09-11 2015-03-23 本田技研工業株式会社 車両用表示装置
JP6395393B2 (ja) * 2014-02-13 2018-09-26 株式会社小糸製作所 車両の運転支援装置
JP6252252B2 (ja) * 2014-02-28 2017-12-27 株式会社デンソー 自動運転装置
JP6065296B2 (ja) * 2014-05-20 2017-01-25 パナソニックＩｐマネジメント株式会社 画像表示システム、および画像表示システムに用いられるディスプレイ
US11402628B2 (en) * 2014-07-01 2022-08-02 Nissan Motor Co., Ltd. Vehicular display apparatus and vehicular display method
EP3153356B1 (en) * 2014-07-01 2018-09-19 Nissan Motor Co., Ltd Display device for vehicle and display method for vehicle
JP6384188B2 (ja) * 2014-08-12 2018-09-05 ソニー株式会社 車両用表示装置と表示制御方法および後方モニタリングシステム
US20160200254A1 (en) * 2015-01-12 2016-07-14 BSR Technologies Group Method and System for Preventing Blind Spots
JP6417995B2 (ja) * 2015-02-09 2018-11-07 株式会社デンソー 車速マネジメント装置及び車速マネジメント方法
KR101687543B1 (ko) * 2015-04-27 2016-12-19 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
EP3292024A4 (en) * 2015-05-06 2018-06-20 Magna Mirrors of America, Inc. Vehicle vision system with blind zone display and alert system
US20170203691A1 (en) * 2016-01-20 2017-07-20 Yu-Chen Chou Vehicle of no blind spot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210197847A1 (en) * 2019-12-31 2021-07-01 Gm Cruise Holdings Llc Augmented reality notification system
US11760370B2 (en) * 2019-12-31 2023-09-19 Gm Cruise Holdings Llc Augmented reality notification system

Also Published As

Publication number Publication date
CN108602465A (zh) 2018-09-28
JPWO2017130439A1 (ja) 2018-11-08
US20190031102A1 (en) 2019-01-31
WO2017130439A1 (ja) 2017-08-03
TWI690436B (zh) 2020-04-11
CN108602465B (zh) 2021-08-17
TW201726452A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
JP6568603B2 (ja) 車両用画像表示システム及びその画像表示システムを搭載した車両
US10649461B2 (en) Around view monitoring apparatus for vehicle, driving control apparatus, and vehicle
US10915100B2 (en) Control system for vehicle
CA2990430C (en) Augmented reality system for vehicle blind spot prevention
CN104163133B (zh) 使用后视镜位置的后视摄像机系统
US20190315275A1 (en) Display device and operating method thereof
JP5694243B2 (ja) 自動車用撮像システムを備える障害物検出装置
KR101855940B1 (ko) 차량용 증강현실 제공 장치 및 그 제어방법
CN107209850B (zh) 用于确定驾驶员辅助系统的驾驶员特定盲点的方法，驾驶员辅助系统以及机动车辆
US20180236939A1 (en) Method, System, and Device for a Forward Vehicular Vision System
US20200020235A1 (en) Method, System, and Device for Forward Vehicular Vision
CN108725320A (zh) 图像显示装置
US11498485B2 (en) Techniques for vehicle collision avoidance
US20220063509A1 (en) Moving body
JP2018181168A (ja) 情報提示装置
KR20150139540A (ko) 방향 오리엔테이션 네비게이션 시스템을 구비하는 시각적 포지셔닝
JP7345114B2 (ja) 車両用表示制御装置、表示制御方法、およびプログラム
JP2021154888A (ja) 車両用表示装置
WO2017195693A1 (ja) 画像表示装置
JP2008222196A (ja) 自動車の視野確保装置
US20220063656A1 (en) Moving body
US20230054104A1 (en) Image processing apparatus, display system, image processing method, and recording medium
JP2018177134A (ja) 画像表示装置
JP2005523836A (ja) 自動車用電子後方見知手段
TW201829225A (zh) 車輛智能後照設備及其監控方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180606

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180606

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20180620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180730

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190111

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190610

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190802

R150 Certificate of patent or registration of utility model

Ref document number: 6568603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250