KR102086272B1 - 표시 제어 방법 및 표시 제어 장치 - Google Patents

표시 제어 방법 및 표시 제어 장치 Download PDF

Info

Publication number
KR102086272B1
KR102086272B1 KR1020187013121A KR20187013121A KR102086272B1 KR 102086272 B1 KR102086272 B1 KR 102086272B1 KR 1020187013121 A KR1020187013121 A KR 1020187013121A KR 20187013121 A KR20187013121 A KR 20187013121A KR 102086272 B1 KR102086272 B1 KR 102086272B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
speed
vehicle speed
display control
Prior art date
Application number
KR1020187013121A
Other languages
English (en)
Other versions
KR20180067600A (ko
Inventor
야스히코 다카에
다카시 순다
다츠야 시노
Original Assignee
닛산 지도우샤 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛산 지도우샤 가부시키가이샤 filed Critical 닛산 지도우샤 가부시키가이샤
Publication of KR20180067600A publication Critical patent/KR20180067600A/ko
Application granted granted Critical
Publication of KR102086272B1 publication Critical patent/KR102086272B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B60K2350/352—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

카메라를 포함하는 검출기(110, 120)에 의해 검출된 대상물의 검출 정보의 표시 제어를 행하는 표시 제어 방법이며, 검출 정보는, 카메라(110)에 의해 촬상된 촬상 화상에 기초하는 제1 화상과, 검출기(110, 120)의 검출 결과에 기초하여 묘화된 화상에 기초하는 제2 화상을 포함하고, 차량의 차속 지표에 따라, 제1 화상과 제2 화상을 전환하여 표시하는 표시 제어 방법.

Description

표시 제어 방법 및 표시 제어 장치
본 발명은 대상물의 검출 정보의 표시 제어를 행하는 표시 제어 방법 및 표시 제어 장치에 관한 것이다.
종래, 카메라로 촬상한 차 밖의 촬상 화상을 차 내의 모니터에 표시하는 기술이 알려져 있다. 이러한 기술에 있어서, 차량의 주행 속도가 빠른 경우에는, 대상물이 촬상되는 촬상 화상의 크기를 크게 하는 기술이 알려져 있다(예를 들어 특허문헌 1).
일본 특허 공개 제2014-182543호 공보
그러나, 촬상 화상에는 대상물 외에 풍경 등도 촬상되기 때문에, 차량의 주행 속도에 따라서는 드라이버에게 제시되는 정보가 과다하게 되어, 드라이버가 필요한 대상물의 정보를 파악하는 것이 곤란한 경우가 있었다.
본 발명이 해결하려는 과제는, 대상물의 검출 정보를 적절하게 표시하는 것이 가능한 표시 제어 방법 및 표시 제어 장치를 제공하는 것이다.
본 발명은 차량의 차속 지표에 따라, 카메라에 의해 촬상된 촬상 화상에 기초하는 제1 화상과, 검출기의 검출 결과에 기초하여 묘화된 화상에 기초하는 제2 화상을 전환하여 표시함으로써, 상기 과제를 해결한다.
본 발명에 따르면, 차량의 차속 지표에 따라, 카메라에 의해 촬상된 촬상 화상에 기초하는 제1 화상과, 검출기의 검출 결과에 기초하여 묘화된 화상에 기초하는 제2 화상을 전환함으로써, 대상물의 검출 정보를, 자차량의 주행 속도에 따른 적절한 표시 형태로 표시할 수 있다.
도 1은 본 실시 형태에 따른 정보 제시 장치의 구성을 도시하는 구성도이다.
도 2는 주행 정보와 차속 지표의 관계의 일례를 도시하는 도면이다.
도 3은 차속 지표와 제시 화상의 화상 타입의 관계의 일례를 도시하는 도면이다.
도 4는 촬상 화상 타입의 제시 화상 및 부감 화상 타입의 제시 화상의 일례를 도시하는 도면이다.
도 5는 차속 지표 또는 자차량의 주행 속도와, 제시 화상의 생성에 사용할 촬상 화상의 관계를 설명하기 위한 도면이다.
도 6은 자차량의 주행 속도와 촬상 화상의 마스크 폭의 관계를 설명하기 위한 도면이다.
도 7은 도 6의 (B)에 도시하는 마스크 처리 후의 화상에 대하여 보닛 화상을 중첩한 화상의 일례를 도시하는 도면이다.
도 8은 도 6의 (A)에 도시하는 화상에 있어서, 검출 대상물을 강조 표시한 화상의 일례를 도시하는 도면이다.
도 9는 도 8의 (A)에 도시하는 화상에 있어서, 제어 대상물을 강조 표시한 화상의 일례를 도시하는 도면이다.
도 10은 도 9의 (A), (B)에 도시하는 화상에 대하여 자차량으로부터 검출 대상물까지의 거리 정보를 중첩한 화상(촬상 화상에 기초하는 제시 화상)의 일례를 도시하는 도면이다.
도 11은 차속 지표에 기초하여 묘화된 부감 화상의 일례를 도시하는 도면이다.
도 12는 도 11에 도시하는 화상에 대하여 검출 대상물을 배치한 화상의 일례를 도시하는 도면이다.
도 13은 도 12에 도시하는 화상에 있어서, 제어 대상물을 강조 표시한 화상의 일례를 도시하는 도면이다.
도 14는 도 13에 도시하는 화상에 대하여 거리 가이드 라인을 중첩한 화상(부감 화상에 기초하는 제시 화상)의 일례를 도시하는 도면이다.
도 15는 본 실시 형태에 따른 정보 제시 처리의 일례를 도시하는 흐름도이다.
도 16은 스텝 S108의 촬상 화상 제시 처리를 도시하는 흐름도이다.
도 17은 스텝 S109의 부감 화상 제시 처리를 도시하는 흐름도이다.
도 18은 스텝 S113의 화상 전환 처리를 도시하는 흐름도이다.
도 19는 촬상 화상에 기초하는 제시 화상으로부터 부감 화상에 기초하는 제시 화상으로의 전환 화상의 일례를 도시하는 도면이다.
도 20은 부감 화상에 기초하는 제시 화상으로부터 촬상 화상에 기초하는 제시 화상으로의 전환 화상의 일례를 도시하는 도면이다.
도 21은 차속 지표와 제시 화상의 천이의 관계의 일례를 도시하는 도면이다.
이하, 본 발명의 실시 형태를 도면에 기초하여 설명한다. 또한, 본 실시 형태에서는, 차량에 탑재되는 정보 제시 장치를 예시하여 설명한다. 또한, 본 실시 형태에 따른 정보 제시 장치는, 보행자, 자전거, 바이크, 자동차, 노상 장해물, 구조물, 신호기, 표지, 차선, 도로단(연석이나 가드레일 등) 등을 대상물로서 검출하고, 검출한 대상물에 관한 제시 정보를 차량의 드라이버에게 제시하는 것이다.
도 1은, 본 실시 형태에 따른 정보 제시 장치(100)의 구성을 도시하는 도면이다. 도 1에 도시한 바와 같이, 본 실시 형태에 따른 정보 제시 장치(100)는 카메라(110)와, 측거 센서(120)와, 차속 센서(130)와, 내비게이션 장치(140)와, 디스플레이(150)와, 통지 장치(160)와, 제어 장치(170)를 갖고 있다. 이들 장치는, 서로 정보의 수수를 행하기 위하여 CAN(Controller Area Network) 그 밖의 차량 탑재LAN에 의해 접속되어 있다.
카메라(110)는 자차량의 주위를 촬상하는 1개 또는 복수의 카메라로 구성된다. 본 실시 형태에서는, 자차량의 전방을 촬상하는 카메라(110)로서, 자차량으로부터 근거리의 위치에 존재하는 대상물의 촬영에 적합한 근거리 카메라와, 자차량으로부터 중거리의 위치에 존재하는 대상물의 촬영에 적합한 중거리 카메라와, 자차량으로부터 장거리의 위치에 존재하는 대상물의 촬영에 적합한 원거리 카메라를 갖는다. 카메라(110)에 의해 촬상된 촬상 화상은, 제어 장치(170)로 출력된다.
측거 센서(120)는 자차량의 전방 대상물을 검출하는 전방 레이더, 자차량의 후방 대상물을 검출하는 후방 레이더, 및 자차량의 측방에 존재하는 대상물을 검출하는 측방 레이더 등으로 구성된다. 또한, 측거 센서(120)로서, 초음파 센서, 음파 센서, 적외선 센서 등을 사용할 수도 있다. 측거 센서(120)는 자차량의 주위에 존재하는 대상물의 위치 및 자차량으로부터 대상물까지의 거리를 검출하고, 그 검출 결과를 제어 장치(170)로 출력한다.
차속 센서(130)는 드라이브 샤프트 등의 구동계의 회전 속도를 계측하고, 이것에 기초하여 차량의 주행 속도(이하, 차속이라고도 한다)를 검출한다. 차속 센서(130)에 의해 검출된 차속 정보는 제어 장치(170)로 출력된다.
내비게이션 장치(140)는 지도 데이터베이스, GPS 센서, 방위 센서를 포함하고, 자차량의 현재 위치를 계측하고, 계측한 현재 위치 주변의 지도 데이터를 디스플레이(150)에 표시한다. 또한, 내비게이션 장치(140)는 자차량이 주행하는 도로의 종별(예를 들어, 주차장, 시가지 도로, 고속 도로 등)을 특정하고, 특정한 도로의 종별을 제어 장치(170)로 출력한다. 또한, 내비게이션 장치(140)가 디스플레이(150), 통지 장치(160), 및 제어 장치(170)를 겸비하는 구성으로 해도 된다.
디스플레이(150)는 제어 장치(170)의 제어에 의해, 자차량의 주위에 존재하는 대상물에 관한 제시 정보를, 디스플레이(150)가 구비하는 화면에 제시한다. 디스플레이(150)로서는, 예를 들어, 내비게이션 장치(140)가 갖는 디스플레이, 룸 미러에 내장된 디스플레이, 미터부에 내장된 디스플레이, 또는, 앞유리에 비추어지는 헤드업 디스플레이 등을 들 수 있다.
통지 장치(160)는 소리, 음성, 광, 또는 진동 등을 발함으로써, 후술하는 바와 같이, 촬상 화상에 기초하는 제시 정보와 부감 화상에 기초하는 제시 정보가 전환되는 것을 드라이버에게 통지한다. 통지 장치(160)로서는, 예를 들어, 스피커, 경고 램프, 또는, 진동체를 매설한 핸들이나 시트 등의 햅틱 장치 등을 들 수 있다.
제어 장치(170)는 대상물에 관한 제시 정보의 표시 제어를 행하기 위한 프로그램을 저장한 ROM(Read Only Memory)과, 이 ROM에 저장된 프로그램을 실행하는 CPU(Central Processing Unit)와, 액세스 가능한 기억 장치로서 기능하는 RAM(Random Access Memory)으로 구성된다. 또한, 동작 회로로서는, CPU(Central Processing Unit) 대신에 또는 이와 함께, MPU(Micro Processing Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등을 사용할 수 있다.
제어 장치(170)는 ROM에 저장된 프로그램을 CPU에 의해 실행함으로써, 각종 주행 정보를 취득하는 정보 취득 기능과, 자차량의 주위에 존재하는 대상물을 검출하는 대상물 검출 기능과, 차속 지표를 설정하는 차속 지표 설정 기능과, 제시 화상의 화상 타입을 선택하는 화상 타입 선택 기능과, 촬상 화상에 기초하여 제시 화상을 생성하는 제1 화상 생성 기능과, 부감 화상에 기초하여 제시 화상을 생성하는 제2 화상 생성 기능과, 제시 화상을 디스플레이(150)에 표시하는 표시 기능과, 자차량의 자동 주행을 제어하는 주행 제어 기능을 실현한다. 이하에 있어서, 제어 장치(170)가 구비하는 각 기능에 대하여 설명한다.
제어 장치(170)의 정보 취득 기능은, 카메라(110), 측거 센서(120), 차속 센서(130) 및 내비게이션 장치(140)로부터 각종 주행 정보를 취득한다. 예를 들어, 정보 취득 기능은, 카메라(110)에 의해 촬상된 촬상 화상을 카메라(110)로부터 취득하고, 측거 센서(120)의 검출 결과를 측거 센서(120)로부터 취득하고, 자차량의 주행 속도를 차속 센서(130)로부터 취득하고, 또한, 자차량의 위치 정보(자차량이 주행하는 도로의 종별 정보도 포함한다)를 내비게이션 장치(140)로부터 취득한다.
제어 장치(170)의 대상물 검출 기능은, 카메라(110)에 의해 촬상된 촬상 화상 및 측거 센서(120)의 검출 결과에 기초하여, 자차량의 주위에 존재하는 대상물을 검출한다. 또한, 대상물 검출 기능은, 카메라(110)에 의해 촬상된 촬상 화상이나 측거 센서(120)의 검출 결과에 기초하여, 대상물의 위치나 자차량으로부터 대상물까지의 거리도 검출한다. 또한, 대상물 검출 기능은, 촬상 화상에 촬상된 대상물의 색이나 형상에 기초하여, 보행자, 자전거, 바이크, 자동차, 노상 장해물, 구조물, 신호기, 표지, 차선, 도로단(연석이나 가드레일) 등의 대상물의 종별, 표지에 기재된 제한 속도, 신호기의 신호의 색 등도 검출할 수 있다.
제어 장치(170)의 차속 지표 설정 기능은, 자차량의 주행 속도에 관련하는 지표를, 차속 지표로서 설정한다. 본 실시 형태에 있어서, 차속 지표 설정 기능은, 「1」 내지 「5」의 5단계로 차속 지표를 설정한다. 차속 지표는, 자차량이 느린 속도로 주행하고 있는 장면일수록 낮은 수치가 되는 경향이 있고, 자차량이 빠른 속도로 주행하고 있는 장면일수록 높은 수치가 되는 경향이 있다.
도 2는, 각종 주행 정보와 차속 지표의 관계의 일례를 도시하는 도면이다. 차속 지표 설정 기능은, 자차량의 주행 속도 V에 따라 차속 지표를 설정할 수 있다. 예를 들어 도 2에 도시하는 예에 있어서, 차속 지표 설정 기능은, 자차량의 주행 속도 V가 제로 이상 또한 X1 미만이고, 자차량이 정지 또는 극저속으로 주행하고 있다고 판단할 수 있는 경우에는, 차속 지표를 「1」로서 설정한다. 또한, 차속 지표 설정 기능은, 자차량의 주행 속도 V가 X1 이상 또한 X2 미만이고, 자차량이 저속으로 주행하고 있다고 판단할 수 있는 경우에는, 차속 지표를 「2」로서 설정한다. 마찬가지로, 차속 지표 설정 기능은, 도 2에 도시한 바와 같이, 자차량의 주행 속도 V가 빠를수록, 차속 지표를 큰 수치로 설정한다. 또한, 도 2에 도시하는 예에 있어서, X1, X2, X3 및 X4의 관계는, X1<X2<X3<X4로 되어 있다.
또한, 차속 지표 설정 기능은, 트랜스미션의 변속비에 따라 차속 지표를 설정할 수 있다. 예를 들어, 차속 지표 설정 기능은, 트랜스미션으로부터 변속비의 정보를 취득하고, 트랜스미션의 변속비가 「1속」 내지 「5속 이상」 중 어디에 대응하는지를 판단한다. 예를 들어 도 2에 도시하는 예에 있어서, 차속 지표 설정 기능은, 트랜스미션의 변속비가 「1속」에 대응하는 변속비일 경우에는, 차속 지표를 「1」로서 설정한다. 또한, 차속 지표 설정 기능은, 트랜스미션의 변속비가 「2속」에 대응하는 변속비일 경우에는, 차속 지표를 「2」로서 설정한다. 마찬가지로, 차속 지표 설정 기능은, 도 2에 도시한 바와 같이, 트랜스미션의 변속비가 작을수록, 차속 지표를 큰 수치로 설정한다. 또한, 차속 지표 설정 기능은, 시프트 레버를 조작하여 트랜스미션의 변속비를 바꿀 수 있는 경우에는, 시프트 레버의 위치에 따라 차속 지표를 설정하는 구성으로 해도 된다.
또한, 차속 지표 설정 기능은, 자차량이 주행하는 도로의 도로 종별에 기초하여 차속 지표를 설정할 수 있다. 예를 들어, 차속 지표 설정 기능은, 내비게이션 장치(140)로부터 자차량이 주행하는 도로의 종별 정보를 취득한다. 그리고, 차속 지표 설정 기능은, 자차량이 「주차장」에서 주정차 또는 주행하고 있는 경우에는, 자차량이 정지 또는 서행하고 있다고 판단하여, 차속 지표를 「1」로서 설정한다. 또한, 차속 지표 설정 기능은, 자차량이 「시가지를 제외한 일반 시읍면 도로」를 주행하고 있는 경우에는, 차속 지표를 「2」로서 설정한다. 마찬가지로, 차속 지표 설정 기능은, 도 2에 도시한 바와 같이, 자차량이 「시가지 도로」를 주행하는 경우에는 차속 지표를 「3」으로서 설정하고, 자차량이 「간선 도로」를 주행하는 경우에는 차속 지표를 「4」로서 설정하고, 자차량이 「자동차 전용 도로 또는 고속 도로」를 주행하는 경우에는 차속 지표를 「5」로서 설정할 수 있다.
또한, 차속 지표 설정 기능은, 자차량이 주행하는 도로의 제한 속도 Vr에 기초하여 차속 지표를 설정할 수 있다. 예를 들어 도 2에 도시하는 예에 있어서, 차속 지표 설정 기능은, 자차량이 주행하는 도로의 제한 속도 Vr이 X1 미만인 경우에는, 차속 지표를 「1」로서 설정한다. 또한, 차속 지표 설정 기능은, 자차량이 주행하는 도로의 제한 속도 Vr이 X1 이상 또한 X2 미만인 경우에는, 차속 지표를 「2」로서 설정한다. 마찬가지로, 차속 지표 설정 기능은, 도 2에 도시한 바와 같이, 자차량이 주행하는 도로의 제한 속도 Vr이 빠를수록, 차속 지표를 큰 수치로 설정할 수 있다.
추가로, 차속 지표 설정 기능은, 자차량으로부터 대상물까지의 거리 D에 따라, 차속 지표를 설정할 수 있다. 예를 들어 도 2에 도시하는 예에 있어서, 차속 지표 설정 기능은, 자차량으로부터 대상물까지의 거리 D가 D1 미만인 경우에는, 차속 지표를 「1」로서 설정한다. 또한, 차속 지표 설정 기능은, 자차량으로부터 대상물까지의 거리 D가 D1 이상 또한 D2 미만인 경우에는, 차속 지표를 「2」로서 설정한다. 마찬가지로, 차속 지표 설정 기능은, 도 2에 도시한 바와 같이, 자차량으로부터 대상물까지의 거리 D가 길수록, 차속 지표를 큰 수치로 설정할 수 있다. 또한, 도 2에 도시하는 예에 있어서, D1, D2, D3 및 D4의 관계는, D1<D2<D3<D4로 되어 있다.
또한, 차속 지표 설정 기능은, 자차량의 주행 씬에 기초하여, 차속 지표를 설정할 수 있다. 예를 들어, 차속 지표 설정 기능은, 자차량의 주행 속도 V, 자차량의 주행 장소(예를 들어 주차장, 상점가, 복수 차선의 도로 등) 및 자차량의 주위에서 검출된 대상물의 종별이나 수 등에 기초하여, 자차량의 주행 씬이, 미리 정한 주행 씬인지 여부를 판정한다. 그리고, 차속 지표 설정 기능은, 도 2에 도시한 바와 같이, 차속 지표를, 각 주행 씬에 따른 수치로 설정할 수 있다.
예를 들어, 도 2에 도시하는 예에 있어서, 차속 지표 설정 기능은, 자차량이 주차장이나 상점가를 주행하고 있고, 주위에 보행자나 자전거가 다수 존재하는 경우에는, 자차량의 주행 씬을 「정차·서행 씬」이라고 판정한다. 그리고, 차속 지표 설정 기능은, 도 2에 도시한 바와 같이, 차속 지표를, 「정차·서행 씬」에 대응하는 「1」로 설정할 수 있다. 또한, 차속 지표 설정 기능은, 자차량의 측방에 자전거 통행대를 검출하고, 또한, 자차량의 주위에 자전거를 검출한 경우에는, 자차량의 주행 씬을 「자전거 병주(竝走) 씬」이라고 판정한다. 그리고, 차속 지표 설정 기능은, 도 2에 도시한 바와 같이, 차속 지표를, 「자전거 병주 씬」에 대응하는 「2」로 설정할 수 있다. 또한, 차속 지표 설정 기능은, 자차량이 대향 차량과 대면 통행 가능한 도로를 주행하고 있고, 또한, 대향 차량이 15 내지 40㎞/h로 주행하고 있는 경우에는, 자차량의 주행 씬을 「거리 주행 씬」이라고 판정한다. 그리고, 차속 지표 설정 기능은, 도 2에 도시한 바와 같이, 차속 지표를, 「거리 주행 씬」에 대응하는 「3」으로 설정할 수 있다. 추가로, 차속 지표 설정 기능은, 자차량이 복수의 차선을 갖는 도로를 주행하고 있고, 또한, 타차량이 40 내지 60㎞/h로 주행하고 있는 경우에는, 자차량의 주행 씬을 「교외 주행 씬」이라고 판정한다. 그리고, 차속 지표 설정 기능은, 도 2에 도시한 바와 같이, 차속 지표를, 「교외 주행 씬」에 대응하는 「4」로 설정할 수 있다. 또한, 차속 지표 설정 기능은, 자차량이 신호기가 없는 복수 차선의 도로를 주행하고 있고, 또한, 타차량이 60㎞/h 이상으로 주행하고 있는 경우에는, 자차량의 주행 씬을 「고속 순항 씬」이라고 판정한다. 그리고, 차속 지표 설정 기능은, 도 2에 도시한 바와 같이, 차속 지표를, 「고속 순항 씬」에 대응하는 「5」로 설정할 수 있다.
제어 장치(170)의 화상 타입 선택 기능은, 차속 지표 설정 기능에 의해 설정된 차속 지표에 기초하여, 제시 화상의 화상 타입을 선택한다. 구체적으로는, 화상 타입 선택 기능은, 도 3에 도시한 바와 같이, 차속 지표가 「1」 또는 「2」일 경우에는, 촬상 화상에 기초하는 제시 화상을 제시하는 촬상 화상 타입을, 제시 화상의 화상 타입으로서 선택한다. 또한, 화상 타입 선택 기능은, 도 3에 도시한 바와 같이, 차속 지표가 「3」 내지 「5」일 경우에는, 부감 화상에 기초하는 제시 화상을 제시하는 부감 화상 타입을, 제시 화상의 화상 타입으로서 선택한다.
여기서, 도 4의 (A)는 촬상 화상 타입이 선택된 경우의 제시 화상의 일례를 도시하는 도면이며, 도 4의 (B)는 부감 화상 타입이 선택된 경우의 제시 화상의 일례를 도시하는 도면이다. 이와 같이, 촬상 화상 타입이 선택된 경우에는, 도 4의 (A)에 도시하는 바와 같이, 촬상 화상에 기초하는 제시 화상이 표시되고, 부감 화상 타입이 선택된 경우에는, 도 4의 (B)에 도시하는 바와 같이, 부감 화상에 기초하는 제시 화상이 표시되게 된다.
제어 장치(170)의 제1 화상 생성 기능은, 화상 타입 선택 기능에 의해 촬상 화상 타입이 선택된 경우에, 도 4의 (A)에 도시하는 바와 같이, 카메라(110)에 촬상된 촬상 화상에 기초하여 제시 화상을 생성한다. 이하에, 제1 화상 생성 기능에 의한 제시 화상의 생성 방법에 대하여 상세하게 설명한다.
먼저, 제1 화상 생성 기능은, 차속 지표 또는 자차량의 주행 속도 V에 기초하여, 제시 화상의 생성에 사용할 촬상 화상을 선택한다. 본 실시 형태에 따른 정보 제시 장치(100)는 자차량으로부터 근거리의 위치에 존재하는 대상물의 촬영에 적합한 근거리 카메라와, 자차량으로부터 중거리의 위치에 존재하는 대상물의 촬영에 적합한 중거리 카메라와, 자차량으로부터 장거리의 위치에 존재하는 대상물의 촬영에 적합한 원거리 카메라를 갖는다. 그리고, 제1 화상 생성 기능은, 예를 들어 도 5에 도시한 바와 같이, 차속 지표가 「1」인 경우에는, 제시 화상의 생성에 사용할 촬상 화상으로서, 근거리 카메라에 의해 촬상된 촬상 화상을 선택한다. 마찬가지로, 제1 화상 생성 기능은, 차속 지표가 「2」인 경우에는, 제시 화상의 생성에 사용할 촬상 화상으로서, 중거리 카메라에 의해 촬상된 촬상 화상을 선택한다. 또한, 원거리 카메라는, 차속 지표가 「3」 이상인 경우(즉, 제시 화상이 부감 화상 타입으로 되는 경우)에, 대상물을 검출하기 위하여 사용된다.
또한, 제1 화상 생성 기능은, 도 5에 도시한 바와 같이, 자차량의 주행 속도 V가 제로 이상 또한 X1 미만인 경우에, 제시 화상의 생성에 사용할 촬상 화상으로서, 근거리 카메라에 의해 촬상된 촬상 화상을 선택하고, 자차량의 주행 속도 V가 X1 이상 또한 X2 미만인 경우에, 제시 화상의 생성에 사용할 촬상 화상으로서, 중거리 카메라에 의해 촬상된 촬상 화상을 선택하는 구성으로 할 수도 있다.
이어서, 제1 화상 생성 기능은, 자차량의 주행 속도 V에 따라, 선택한 촬상 화상에 마스크 처리를 실시한다. 여기서, 도 6은, 촬상 화상의 마스크 처리를 설명하는 도면이며, (A)는 마스크 처리 전의 촬상 화상이며, (B)는 마스크 처리 후의 촬상 화상이다. 예를 들어, 도 6의 (A)에 도시하는 바와 같이, 카메라(110)로 촬상된 촬상 화상의 폭을 L로 하고 마스크 처리가 행하여지는 마스크 폭을 d로 한 경우에, 제1 화상 생성 기능은, 하기 식 (1)에 나타내는 바와 같이, 자차량의 주행 속도 V 및 상한 속도 Vlimit에 기초하여, 마스크 폭 d를 산출할 수 있다.
마스크 폭 d=L/2×V/Vlimit ···(1)
또한, 상한 속도 Vlimit는, 촬상 화상 타입이 선택되는 경우의 주행 속도 V의 상한값이다. 예를 들어, 주행 속도 V가 X2 미만인 경우에 차속 지표가 「2」로 설정되고, 촬상 화상에 기초하는 제시 화상이 표시되는 경우에는, 「X2」가 상한 속도 Vlimit로 된다.
이와 같이, 제1 화상 생성 기능은, 자차량의 주행 속도 V가 빠를수록, 마스크 폭 d를 넓게 산출한다. 그리고, 제1 화상 생성 기능은, 산출한 마스크 폭 d만큼, 촬상 화상의 좌우 방향(Y 방향)의 단부를 마스크하는 마스크 처리를 행한다. 이에 의해, 자차량의 주행 속도 V가 빠른 경우에는, 도 6의 (B)에 도시하는 바와 같이, 카메라(110)로 촬상된 촬상 화상과 비교하여, 좌우 방향(Y 방향)으로 짧은 화상이 생성된다. 또한, 제1 화상 생성 기능은, 차속 지표에 따른 마스크 폭 d만큼, 촬상 화상을 마스크할 수도 있다. 이 경우, 제1 화상 생성 기능은, 차속 지표가 「2」일 경우에는, 차속 지표가 「1」인 경우보다도 마스크 폭이 넓어지도록 마스크 처리를 행한다.
이어서, 제1 화상 생성 기능은, 마스크 처리를 행한 촬상 화상에 대하여 자차량의 보닛을 모방한 보닛 화상을 중첩한다. 구체적으로는, 제1 화상 생성 기능은, 도 7의 (A)에 도시하는 바와 같이, 마스크 처리를 행한 촬상 화상의 하측에, 보닛 화상을 중첩한다. 또한, 보닛 화상은, 예를 들어, 컴퓨터 그래픽스에 의해 미리 묘화된 화상이며, 제어 장치(170)의 ROM에 기억해 두는 구성으로 할 수 있다. 또한, 자차량의 실제 보닛 촬상 화상을, 보닛 화상으로서 제어 장치(170)의 ROM에 기억해 두는 구성으로 해도 된다. 또한, 도 7의 (A), (B)는 도 6의 (B)에 도시하는 마스크 처리 후의 화상에 대하여 보닛 화상을 중첩한 화상의 일례를 도시하는 도면이다.
또한, 제1 화상 생성 기능은, 자차량의 주행 속도 V 또는 차속 지표에 따라, 보닛 화상의 크기, 형상을 변경할 수 있다. 예를 들어, 제1 화상 생성 기능은, 자차량의 주행 속도 V가 X1 미만인 경우에는, 도 7의 (A)에 도시하는 바와 같이, 보닛 화상의 상하 방향(X 방향)의 길이를 비교적 짧게 하고, 자차량의 주행 속도 V가 X1 이상인 경우에는, 도 7의 (B)에 도시하는 바와 같이, 보닛 화상의 상하 방향(X 방향)의 길이를 비교적 길게 할 수 있다. 또한, 제1 화상 생성 기능은, 자차량의 주행 속도 V가 X1 이상인 경우에는, 보닛 화상의 상단 부분(보닛 화상을 사다리꼴로 한 경우에 그 상저 부분)의 길이를 짧게 하는 구성으로 해도 된다. 또한, 제1 화상 생성 기능은, 자차량의 차속 지표가 「1」의 경우에, 도 7의 (A)에 도시하는 바와 같이, 보닛 화상의 상하 방향(X 방향)의 길이를 비교적 짧게 하고, 자차량의 차속 지표가 「2」일 경우에, 도 7의 (B)에 도시하는 바와 같이, 보닛 화상의 상하 방향(X 방향)의 길이를 비교적 길게 하는 구성으로 할 수도 있다. 또한, 도 7의 (A), (B)에 도시하는 예에서는, 보닛 화상의 크기, 형상을 2단계로 변화시키는 구성을 예시했지만, 이 구성에 한정되지 않고, 예를 들어, 자차량의 주행 속도 V에 따라, 보다 다단적으로 보닛 화상의 크기, 형상을 변화시키는 구성으로 해도 된다. 또는, 자차량의 주행 속도 V에 따라, 연속적으로 보닛 화상의 크기, 형상을 변화시키는 구성으로 해도 된다.
이어서, 제1 화상 생성 기능은, 대상물 검출 기능의 검출 결과에 기초하여, 촬상 화상 내의 대상물을 강조 표시한다. 여기서, 도 8은, 도 6의 (A)에 도시하는 화상에 있어서, 대상물을 강조 표시한 화상의 일례이다. 또한, 도 8에 도시하는 예에서는, 설명의 편의를 위해서, 보행자만이 대상물로서 검출된 장면을 예시한다(후술하는 도 9, 도 10도 동일함). 이 경우, 제1 화상 생성 기능은, 예를 들어, 도 8의 (A)에 도시하는 바와 같이, 대상물 검출 기능에 검출된 대상물(이하, 검출 대상물이라고도 한다.)에 프레임선(e1, e2)을 중첩함으로써, 검출 대상물을 강조하여 표시할 수 있다. 또한, 제1 화상 생성 기능은, 예를 들어 도 8의 (B)에 도시하는 바와 같이, 검출 대상물에 밑줄(e3, e4)을 중첩함으로써, 검출 대상물을 강조하여 표시하는 구성으로 할 수도 있다. 또한, 제1 화상 생성 기능은, 예를 들어 도 8의 (C)에 도시하는 바와 같이, 검출 대상물에 환(점)(e5, e6)을 중첩함으로써, 검출 대상물을 강조하여 표시하는 구성으로 할 수도 있다.
이어서, 제1 화상 생성 기능은, 대상물 검출 기능에 의해 검출된 검출 대상물 중, 자차량의 자동 주행 제어의 대상으로 되는 대상물(이하, 제어 대상물이라고도 한다.)을 다른 검출 대상물과는 다른 표시 형태로 강조 표시한다. 여기서, 도 9는, 도 8의 (A)에 도시하는 화상에 있어서, 제어 대상물을 강조 표시한 화상의 일례를 도시하는 도면이다. 예를 들어, 제1 화상 생성 기능은, 도 9의 (A)에 도시하는 바와 같이, 검출 대상물에 황색 프레임선(e1)(도 9의 (A) 중에서는 검은 실선으로 나타낸다.)을 중첩한 경우에는, 제어 대상물에 적색의 프레임선(f1)(도 9의 (A) 중에서는 검은 파선으로 나타낸다.)을 중첩함으로써, 제어 대상물을 다른 검출 대상물과는 다른 표시 형태로 강조 표시할 수 있다. 또한, 제1 화상 생성 기능은, 도 9의 (B)에 도시하는 바와 같이, 검출 대상물에 가는 프레임선(e1)을 중첩한 경우에는, 제어 대상물에 굵은 프레임선(f2)을 중첩함으로써, 제어 대상물을 다른 검출 대상물과는 다른 표시 형태로 강조 표시할 수 있다.
계속해서, 제1 화상 생성 기능은, 제어 대상물을 강조 표시한 화상에 대하여 자차량으로부터 검출 대상물(제어 대상물을 포함한다)까지의 거리 정보를 중첩한다. 여기서, 도 10은, 도 9의 (A), (B)에 도시하는 화상에 대하여 자차량으로부터 검출 대상물(제어 대상물을 포함한다)까지의 거리 정보를 중첩한 화상의 일례를 도시하는 도면이다. 예를 들어, 제1 화상 생성 기능은, 도 10의 (A), (B)에 도시하는 바와 같이, 검출 대상물의 하방에, 자차량으로부터 검출 대상물(제어 대상물을 포함한다)까지의 거리를 나타내는 수치를 중첩함으로써, 자차량으로부터 검출 대상물까지의 거리 정보를 중첩할 수 있다. 또한, 제1 화상 생성 기능은, 도 10의 (C)에 도시하는 바와 같이, 검출 대상물의 하방에, 자차량으로부터 검출 대상물(제어 대상물을 포함한다)까지의 거리를 나타내는 패턴(모양 또는 아이콘 등)(g1, g2)을 중첩하는 구성으로 할 수도 있다. 또한, 도 10의 (C)에 도시하는 예에서는, 자차량으로부터 검출 대상물(제어 대상물을 포함한다)까지의 거리가 길수록, 패턴의 길이는 길어진다.
이상과 같이, 제1 화상 생성 기능은, 카메라(110)에 의해 촬상된 촬상 화상에 대하여 (1) 마스크 처리, (2) 보닛 화상의 중첩 처리, (3) 검출 대상물의 강조 표시, (4) 제어 대상물의 강조 표시, (5) 거리 정보의 중첩 처리를 행함으로써, 제시 화상을 생성한다.
제어 장치(170)의 제2 화상 생성 기능은, 예를 들어 컴퓨터 그래픽스 등을 사용하여 묘화함으로써 자차량을 상방으로부터 부감한 부감 화상을 생성한다. 그리고, 제2 화상 생성 기능은, 생성한 부감 화상에 기초하여 제시 화상을 생성한다. 이하에, 제2 화상 생성 기능에 의한 제시 화상의 생성 방법을 상세하게 설명한다.
먼저, 제2 화상 생성 기능은, 도 11에 도시한 바와 같이, 차속 지표에 따른 부각의 부감 화상을 묘화한다. 예를 들어, 제2 화상 생성 기능은, 차속 지표가 「3」일 경우에는, 도 11의 (A)에 도시하는 바와 같이, 부각이 비교적 작은 부감 화상을 묘화한다. 또한, 제2 화상 생성 기능은, 차속 지표가 「4」일 경우에는, 도 11의 (B)에 도시하는 바와 같이, 부각이 중 정도인 부감 화상을 묘화하고, 차속 지표가 「5」일 경우에는, 도 11의 (C)에 도시하는 바와 같이, 부각이 비교적 큰 부감 화상을 묘화한다. 이와 같이, 제2 화상 생성 기능은, 차속 지표가 클수록, 부각이 큰 부감 화상을 묘화한다. 그리고, 제2 화상 생성 기능은, 자차량(V1)을 나타내는 아이콘을, 부감 화상의 중앙 또는 중앙 하측에 묘화한다. 또한, 도 11은, 차속 지표에 기초하여 묘화된 부감 화상의 일례를 도시하는 도면이다. 또한, 도 11에 도시하는 예에서는, 자차량(V1)이 3차선의 도로를 주행하는 장면에 묘화되는 부감 화상을 예시하고 있지만, 예를 들어, 카메라(110), 측거 센서(120), 내비게이션 장치(140) 등으로부터 자차량(V1)이 2차선의 도로를 주행하는 장면이라고 판단할 수 있는 경우에는, 자차량(V1)이 2차선의 도로를 주행하는 장면을 나타내는 부감 화상을 묘화할 수 있다.
계속해서, 제2 화상 생성 기능은, 도 12의 (A) 내지 (C)에 도시하는 바와 같이, 묘화한 부감 화상에 대하여 대상물 검출 기능에 의해 검출된 검출 대상물을 나타내는 아이콘을 배치한다. 예를 들어, 제2 화상 생성 기능은, 대상물 검출 기능으로부터 검출 대상물의 상대 위치 및 상대 거리의 정보를 취득한다. 그리고, 제2 화상 생성 기능은, 도 12의 (A) 내지 (C)에 도시하는 바와 같이, 검출 대상물을 나타내는 아이콘을, 자차량(V1)과 검출 대상물의 실제의 위치 관계에 대응하는 부감 화상 상의 위치에 배치한다. 예를 들어, 도 12의 (A) 내지 (C)에 도시하는 예에서는, 타차량(t1)이 자차량(V1)의 전방을 주행하고 있기 때문에, 부감 화상 상에 있어서도, 자차량(V1)을 나타내는 아이콘의 전방에 타차량(t1)을 나타내는 아이콘을 배치한다.
또한, 본 실시 형태에서는, 도 12의 (A) 내지 (C)에 도시하는 바와 같이, 차속 지표가 클수록, 자차량을 보다 상방으로부터 부감하고 있는 것처럼 부감 화상을 묘화한다. 그로 인해, 차속 지표가 클수록, 검출 대상물이 표시되는 표시 범위는 넓어진다. 예를 들어, 도 12의 (A)에서는, 부각이 비교적 작기 때문에 검출 대상물(t1)만이 부감 화상 상에 표시되고, 도 12의 (B)에서는, 부각이 중 정도이기 때문에 검출 대상물(t1 내지 t3)이 부감 화상 상에 표시되고, 도 12의 (C)에서는, 부각이 비교적 크기 때문에 자차량의 주위에 존재하는 검출 대상물(t1 내지 t5)이 부감 화상 상에 표시된다. 또한, 도 12의 (A) 내지 (C)는 도 11의 (A) 내지 (C)에 도시하는 부감 화상 각각에 대하여 검출 대상물을 배치한 화상의 일례를 도시하는 도면이다.
계속해서, 제2 화상 생성 기능은, 도 13에 도시하는 바와 같이, 검출 대상물을 배치한 부감 화상에 있어서, 제어 대상물을 강조하여 표시한다. 여기서, 도 13은, 도 12에 도시하는 화상에 대하여 제어 대상물을 강조 표시한 화상의 일례를 도시하는 도면이다. 예를 들어, 제2 화상 생성 기능은, 도 13의 (A) 내지 (C)에 도시하는 바와 같이, 검출 대상물 중 제어 대상물(c1)을 나타내는 아이콘 전체를 황색(도 13에 도시하는 예에서는 짙은 회색으로 나타낸다.)으로 표시함으로써, 제어 대상물을 검출 대상물과는 다른 표시 형태로 강조 표시할 수 있다. 또한, 제2 화상 생성 기능은, 도 13의 (D) 내지 (F)에 도시하는 바와 같이, 제어 대상물을 나타내는 아이콘에 적색의 프레임선(도 13에 도시하는 예에서는 흑색의 프레임선으로 나타낸다.)을 중첩함으로써, 제어 대상물을 강조 표시하는 구성으로 할 수도 있다.
계속해서, 제2 화상 생성 기능은, 도 14의 (A) 내지 (F)에 도시하는 바와 같이, 제어 대상물을 강조 표시한 부감 화상에 대하여 거리 가이드 라인을 중첩한다. 도 14는, 도 13에 도시하는 화상에 대하여 거리 가이드 라인을 중첩한 화상의 일례를 도시하는 도면이다. 또한, 제2 화상 생성 기능은, 자차량과 타차량의 거리에 기초하여, 거리 가이드 라인이 나타내는 거리를 변경할 수 있다. 예를 들어, 제2 화상 생성 기능은, 자차량과 타차량의 차간 거리가 짧은 경우에, 거리 가이드 라인이 나타내는 거리를 짧게 할 수 있다.
이와 같이, 제2 화상 생성 기능은, (1) 차속 지표에 따른 부각의 부감 화상의 묘화, (2) 검출 대상물의 배치, (3) 제어 대상물의 강조 표시, (4) 거리 가이드 라인의 중첩 처리를 행함으로써, 제시 화상을 생성한다.
제어 장치(170)의 표시 기능은, 제1 화상 생성 기능 또는 제2 화상 생성 기능에 의해 생성된 제시 화상의 화상 데이터를 디스플레이(150)에 송신하고, 디스플레이(150)의 화면에 표시한다. 이에 의해, 드라이버에게 제시 화상을 제시할 수 있다.
제어 장치(170)의 주행 제어 기능은, 자차량의 자동 주행을 제어한다. 예를 들어, 주행 제어 기능은, 카메라(110)나 측거 센서(120)의 검출 결과에 기초하여, 자차량이 주행하는 차선(이하, 자차선이라고도 한다.)의 레인 마크를 검출하고, 자차량이 자차선 내에 주행하도록, 자차량의 폭 방향에 있어서의 주행 위치를 제어하는 레인 유지 제어를 행할 수 있다. 이 경우, 주행 제어 기능은, 자차량이 적절한 주행 위치를 주행하도록, 스티어링 액추에이터 등의 동작을 제어할 수 있다. 또한, 주행 제어 기능은, 선행 차량과 일정한 차간 거리를 띄우고, 선행 차량에 자동으로 추종하는 추종 주행 제어를 행할 수도 있다. 이 경우, 주행 제어 기능은, 자차량과 선행 차량이 일정한 차간 거리로 주행하도록, 엔진이나 브레이크 등의 구동 기구의 동작을 제어할 수 있다. 또한, 주행 제어 기능은, 대상물 검출 기능에 의해 특정된 제어 대상물에 기초하여, 자차량의 주행을 제어한다. 예를 들어, 주행 제어 기능은, 제어 대상물을 회피하도록, 또는, 제어 대상물의 앞에서 정지하도록, 스티어링 액추에이터, 엔진, 및 브레이크 등을 제어한다.
계속해서, 도 15를 참조하여, 본 실시 형태에 따른 정보 제시 처리에 대하여 설명한다. 도 15는, 본 실시 형태에 따른 정보 제시 처리를 도시하는 흐름도이다. 또한, 이하에 설명하는 정보 제시 처리는, 제어 장치(170)에 의해 실행된다. 또한, 이하에 설명하는 정보 제시 처리는, 이그니션이 온이 된 경우에 개시하고, 이그니션이 오프로 될 때까지 반복하여 행하여진다.
먼저, 스텝 S101에서는, 정보 취득 기능에 의해, 카메라(110)에 의해 촬상된 촬상 화상, 측거 센서(120)의 검출 결과, 차속 센서(130)에 의해 검출된 자차량의 주행 속도 V, 내비게이션 장치(140)에 의해 검출된 자차량의 위치 정보 등, 각종 주행 정보가 취득된다. 그리고, 스텝 S102에서는, 차속 지표 설정 기능에 의해, 스텝 S101에서 취득한 각종 주행 정보에 기초하여, 도 2에 도시한 바와 같이, 차속 지표의 설정이 행하여진다.
스텝 S103에서는, 대상물 검출 기능에 의해, 스텝 S101에서 취득한 촬상 화상 및 측거 센서(120)의 검출 결과에 기초하여, 자차량의 주위에 존재하는 대상물이 검출 대상물로서 검출된다. 또한, 스텝 S104에서는, 대상물 검출 기능에 의해, 검출 대상물 중 자동 주행 제어의 대상으로 되는 대상물이, 제어 대상물로서 특정된다.
스텝 S105에서는, 화상 타입 선택 기능에 의해, 직전의 스텝 S102의 처리(금회 처리 시의 스텝 S102의 처리)가 최초의 차속 지표의 설정 처리인지 여부의 판단이 행하여진다. 즉, 이그니션이 온으로 되고, 도 15의 정보 제시 처리가 개시된 직후의 스텝 S105에서는, 직전의 스텝 S102의 처리까지는 차속 지표가 설정되어 있지 않기 때문에, 직전의 스텝 S102가 최초의 차속 지표의 설정 처리라고 판단되고, 스텝 S106으로 진행한다. 한편, 스텝 S102에서 차속 지표가 설정된 후에, 스텝 S110에서 이그니션이 온이라고 판단되고, 스텝 S101로 복귀된 후, 다시, 스텝 S102의 처리가 행해진 경우에는, 직전의 스텝 S102는 최초의 차속 지표의 설정 처리라고 판단되지 않고, 스텝 S112로 진행한다.
스텝 S106에서는, 화상 타입 선택 기능에 의해, 스텝 S102에서 설정된 차속 지표에 기초하여, 제시 화상의 화상 타입의 선택이 행하여진다. 그리고, 스텝 S107에서는, 제어 장치(170)에 의해, 스텝 S106에서 선택된 제시 화상의 화상 타입이, 촬상 화상 타입인지, 부감 화상 타입인지의 판단이 행하여진다. 제시 화상의 화상 타입이 촬상 화상 타입일 경우에는, 스텝 S108로 진행하고, 한편, 제시 화상의 화상 타입이 부감 화상 타입일 경우에는, 스텝 S109로 진행한다.
스텝 S108에서는, 카메라(110)로 촬상된 촬상 화상에 기초하여 제시 화상을 생성하여, 촬상 화상에 기초하는 제시 화상을 제시하는, 촬상 화상 제시 처리가 행하여진다. 여기서, 도 16은, 스텝 S108에 도시하는 촬상 화상 제시 처리를 도시하는 흐름도이다. 이하에, 도 16을 참조하여, 스텝 S108의 촬상 화상 제시 처리에 대하여 설명한다.
먼저, 스텝 S201에서는, 제1 화상 생성 기능에 의해, 복수의 카메라(110)에 의해 촬상된 촬상 화상 중에서, 제시 화상의 생성에 사용할 촬상 화상이 결정된다. 예를 들어, 제1 화상 생성 기능은, 도 5에 도시하는 바와 같이, 자차량의 주행 속도 V 또는 차속 지표에 따라, 제시 화상의 생성에 사용할 촬상 화상을 선택할 수 있다.
스텝 S202에서는, 제1 화상 생성 기능에 의해, 스텝 S201에서 선택된 촬상 화상에 대하여 마스크 처리가 실시된다. 예를 들어, 제1 화상 생성 기능은, 도 6의 (A), (B)에 도시하는 바와 같이, 자차량의 주행 속도 V에 따른 마스크 폭 d만큼, 촬상 화상의 좌우 방향(Y 방향)의 단부를 마스크할 수 있다. 이에 의해, 도 6의 (A)에 도시하는 촬상 화상에 기초하여, 도 6의 (B)에 도시하는 바와 같이, 마스크 처리가 행하여진 촬상 화상이 생성된다.
스텝 S203에서는, 제1 화상 생성 기능에 의해, 도 7에 도시하는 바와 같이, 스텝 S202에서 마스크 처리된 촬상 화상에 대하여 보닛 화상이 중첩된다. 또한, 제1 화상 생성 기능은, 자차량의 주행 속도 V 또는 차속 지표에 기초하여, 보닛 화상의 크기, 형상을 변경하고, 촬상 화상에 중첩할 수 있다.
스텝 S204에서는, 제1 화상 생성 기능에 의해, 스텝 S203에서 보닛 화상을 중첩한 촬상 화상에 있어서, 검출 대상물의 강조 표시가 행하여진다. 예를 들어, 제1 화상 생성 기능은, 도 8의 (A) 내지 (C)에 도시하는 바와 같이, 스텝 S103에서 검출된 검출 대상물에, 프레임선, 밑줄, 환(점) 등을 중첩함으로써, 검출 대상물을 강조하여 표시할 수 있다.
스텝 S205에서는, 제1 화상 생성 기능에 의해, 스텝 S204에서 검출 대상물이 강조 표시된 촬상 화상에 있어서, 추가로, 제어 대상물의 강조 표시가 행하여진다. 예를 들어, 제1 화상 생성 기능은, 도 9의 (A), (B)에 도시하는 바와 같이, 스텝 S104에서 특정된 제어 대상물에, 다른 검출 대상물과는 다른 표시 형태의 프레임 선 등을 중첩함으로써, 제어 대상물을 다른 검출 대상물과는 다른 표시 형태로 강조 표시할 수 있다.
스텝 S206에서는, 제1 화상 생성 기능에 의해, 스텝 S205에서 제어 대상물이 강조 표시된 촬상 화상에 대하여 자차량으로부터 검출 대상물(제어 대상물을 포함한다)까지의 거리 정보가 중첩된다. 예를 들어, 제1 화상 생성 기능은, 도 10의 (A) 내지 (C)에 도시하는 바와 같이, 검출 대상물의 하방에, 스텝 S103에서 취득한 검출 대상물의 거리 정보를 중첩할 수 있다.
이와 같이, 스텝 S202 내지 206에서는, 스텝 S201에서 선택된 촬상 화상에 대하여 마스크 처리, 보닛 화상의 중첩 처리, 검출 대상물의 강조 표시, 제어 대상물의 강조 표시, 및 거리 정보의 중첩 처리가 행하여지고, 이에 의해, 제시 화상이 생성된다. 그리고, 스텝 S207에서는, 표시 기능에 의해, 스텝 S206에서 생성된 제시 화상이, 디스플레이(150)의 화면에 표시된다.
스텝 S207에서 제시 화상이 표시되면, 도 15로 복귀되고, 스텝 S110으로 진행한다. 스텝 S110에서는, 제어 장치(170)에 의해, 이그니션이 오프로 되었는지 여부의 판단이 행하여지고, 이그니션이 오프로 될 때까지는, 도 15에 도시하는 정보 제시 처리가 반복된다. 한편, 이그니션이 오프로 된 경우에는, 도 15에 도시하는 정보 제시 처리가 종료한다.
또한, 스텝 S107에 있어서, 제시 화상의 화상 타입이 부감 화상 타입이라고 판단된 경우에는, 스텝 S109로 진행한다. 스텝 S109에서는, 컴퓨터 그래픽스 등을 사용하여 묘화한 부감 화상에 기초하여 제시 화상을 생성하고, 생성한 부감 화상에 기초하는 제시 화상을 제시하는 부감 화상 제시 처리가 행하여진다. 여기서, 도 17은, 스텝 S109에 나타내는 부감 화상 제시 처리를 도시하는 흐름도이다. 이하에, 도 17을 참조하여, 스텝 S109의 부감 화상 제시 처리에 대하여 설명한다.
먼저, 스텝 S301에서는, 제2 화상 생성 기능에 의해, 도 11에 도시한 바와 같이, 차속 지표에 따른 부각의 부감 화상이 묘화된다. 즉, 제2 화상 생성 기능은, 스텝 S102에서 설정한 차속 지표에 기초하여 부감 화상의 부각을 결정하고, 도 11의 (A) 내지 (C)에 도시하는 바와 같이, 결정한 부각의 부감 화상을 묘화한다.
스텝 S302에서는, 제2 화상 생성 기능에 의해, 스텝 S301에서 묘화된 부감 화상 상에, 검출 대상물을 나타내는 아이콘이 배치된다. 구체적으로는, 제2 화상 생성 기능은, 도 12의 (A) 내지 (C)에 도시하는 바와 같이, 스텝 S103에서 검출된 검출 대상물을 나타내는 아이콘을, 자차량과 검출 대상물의 실제의 위치 관계에 따른 부감 화상 상의 위치에 배치한다.
스텝 S303에서는, 제2 화상 생성 기능에 의해, 스텝 S302에서 검출 대상물을 배치한 부감 화상에 있어서, 도 13의 (A) 내지 (F)에 도시하는 바와 같이, 제어 대상물의 강조 표시가 행하여진다. 또한, 스텝 S304에서는, 제2 화상 생성 기능에 의해, 스텝 S303에서 제어 대상물이 강조 표시된 부감 화상에 대하여 도 14의 (A) 내지 (F)에 도시하는 바와 같이, 거리 가이드 라인의 중첩이 행하여진다.
이와 같이, 스텝 S302 내지 S304에서는, 스텝 S301에서 묘화된 부감 화상에 대하여 검출 대상물의 배치, 제어 대상물의 강조 표시, 및 거리 가이드 라인의 중첩 처리가 행하여지고, 이에 의해, 제시 화상이 생성된다. 그리고, 스텝 S305에서는, 표시 기능에 의해, 스텝 S304에서 생성된 제시 화상이, 디스플레이(150)의 화면에 표시된다.
또한, 도 15로 돌아가서, 스텝 S105에 있어서, 스텝 S102에 있어서의 차속 지표의 설정이 최초의 차속 지표의 설정이 아니라고 판단된 경우, 즉, 전회 처리에 있어서 차속 지표를 설정하고 있는 경우에는, 스텝 S112로 진행한다.
스텝 S112에서는, 표시 기능에 의해, 차속 지표가, 제시 화상의 화상 타입이 상이한 차속 지표로 변화한 것인지 여부의 판단이 행하여진다. 본 실시 형태에서는, 도 3에 도시한 바와 같이, 차속 지표가 「1」 또는 「2」인 경우에는, 제시 화상의 화상 타입으로서 촬상 화상 타입이 선택되고, 차속 지표가 「3」 내지 「5」인 경우에는, 제시 화상의 화상 타입으로서 부감 화상 타입이 선택된다. 그로 인해, 표시 기능은, 예를 들어, 차속 지표가 「2」로부터 「3」으로 변하고, 제시 화상의 화상 타입이 「촬상 화상 타입」으로부터 「부감 화상 타입」으로 변화한 경우에는, 차속 지표가, 제시 화상의 화상 타입이 상이한 차속 지표로 변화했다고 판단한다. 또한 마찬가지로, 표시 기능은, 예를 들어, 차속 지표가 「3」으로부터 「2」로 변하고, 제시 화상의 화상 타입이 「부감 화상 타입」으로부터 「촬상 화상 타입」으로 변화한 경우에는, 차속 지표가, 제시 화상의 화상 타입이 상이한 차속 지표로 변화했다고 판단한다.
그리고, 차속 지표가, 제시 화상의 화상 타입이 상이한 차속 지표로 변화했다고 판단된 경우에는, 스텝 S113으로 진행한다. 한편, 차속 지표가, 제시 화상의 화상 타입이 상이한 차속 지표로 변화하지 않았다고 판단된 경우에는, 스텝 S107로 진행하고, 상술한 스텝 S107 내지 S110의 처리가 행하여진다.
스텝 S113에서는, 제시 화상의 화상 타입이 변경되어 있기 때문에, 촬상 화상에 기초하는 제시 화상과, 부감 화상에 기초하는 제시 화상을 전환하기 위한 화상 전환 처리가 행하여진다. 여기서, 도 18은, 스텝 S113에 나타내는 화상 전환 처리를 도시하는 흐름도이다. 이하에, 도 18을 참조하여, 스텝 S113의 화상 전환 처리에 대하여 설명한다.
스텝 S401에서는, 표시 기능에 의해, 촬상 화상에 기초하는 제시 화상과, 부감 화상에 기초하는 제시 화상을 전환하는 전환 시간이 설정된다. 예를 들어, 표시 기능은, 미리 정한 시간(예를 들어 1초)을 전환 시간으로서 설정할 수 있다. 또한, 표시 기능은, 자차량의 가속도에 기초하여, 전환 시간을 설정할 수도 있다. 예를 들어, 표시 기능은, 자차량의 가속도가 빠를수록, 전환 시간을 짧게 하는 구성으로 할 수 있다.
스텝 S402에서는, 표시 기능에 의해, 촬상 화상에 기초하는 제시 화상과 부감 화상에 기초하는 제시 화상이 전환되는 것을 드라이버에게 통지하는 통지 처리가 행하여진다. 예를 들어, 표시 기능은, 통지 장치(160)인 스피커로부터 제시 화상이 전환되는 것을 나타내는 경고음이나 가이던스 음성을 출력하고, 또는, 진동체를 매설한 핸들이나 시트 등의 햅틱 장치를 진동시킴으로써, 드라이버가 디스플레이(150)에 주목하고 있지 않은 경우에도, 제시 화상의 전환을 드라이버에게 파악시킬 수 있다.
스텝 S403에서는, 표시 기능에 의해, 전환 화상의 표시가 행하여진다. 표시 기능은, 도 19 및 도 20에 도시하는 바와 같이, 촬상 화상에 기초하는 제시 화상으로부터 부감 화상에 기초하는 제시 화상으로 천이하는 애니메이션 화상, 또는, 부감 화상에 기초하는 제시 화상으로부터 촬상 화상에 기초하는 제시 화상으로 천이하는 애니메이션 화상을, 전환 화상으로서 디스플레이(150)에 표시한다. 또한, 표시 기능은, 스텝 S401에서 설정한 화상 전환 시간에 걸쳐서, 전환 화상의 애니메이션을 표시한다. 이에 의해, 화상 전환 시간에 걸쳐서, 촬상 화상에 기초하는 제시 화상과, 부감 화상에 기초하는 제시 화상이 전환되게 된다.
도 19는, 촬상 화상에 기초하는 제시 화상으로부터 부감 화상에 기초하는 제시 화상으로 천이하는 경우의 전환 화상의 일례를 도시하는 도면이다. 표시 기능은, 촬상 화상에 기초하는 제시 화상으로부터 부감 화상에 기초하는 제시 화상으로 천이하는 경우에, 먼저, 도 19의 (A)에 도시하는 촬상 화상에 기초하는 제시 화상을, 도 19의 (B), (C)에 도시하는 바와 같이, 외측부터 중앙을 향하여 점차 작게 해간다. 또한, 촬상 화상에 기초하는 제시 화상을 작게 해감과 함께, 도 19의 (B), (C)에 도시하는 바와 같이, 디스플레이(150)의 하방으로부터 부감 화상에 기초하는 제시 화상이 밑에서부터 올라오는 것처럼, 부감 화상에 기초하는 제시 화상을 표시한다. 그 결과, 도 19의 (D)에 도시하는 바와 같이, 촬상 화상에 기초하는 제시 화상이 사라지고, 부감 화상에 기초하는 제시 화상만이 디스플레이(150)의 화면에 표시된다.
또한, 도 20은 부감 화상에 기초하는 제시 화상으로부터 촬상 화상에 기초하는 제시 화상으로 천이하는 경우의 전환 화상의 일례를 도시하는 도면이다. 표시 기능은, 부감 화상에 기초하는 제시 화상으로부터 촬상 화상에 기초하는 제시 화상으로 천이하는 경우에, 먼저, 도 20의 (A)에 도시하는 부감 화상에 기초하는 제시 화상을, 도 20의 (B), (C)에 도시하는 바와 같이, 디스플레이(150)의 하방으로 사라져 가는 것처럼 표시한다. 또한, 도 20의 (B), (C)에 도시하는 바와 같이, 부감 화상에 기초하는 제시 화상을 하방으로 사라지는 것처럼 표시함과 함께, 촬상 화상에 기초하는 제시 화상을, 디스플레이(150)의 중앙에서 점차 커지는 것처럼 표시해 간다. 그 결과, 도 20의 (D)에 도시하는 바와 같이, 부감 화상에 기초하는 제시 화상이 사라지고, 촬상 화상에 기초하는 제시 화상만이 디스플레이(150)의 화면에 표시된다.
이상과 같이, 본 실시 형태에 따른 정보 제시 처리가 행하여진다. 계속해서, 도 21을 참조하여, 차속 지표와, 디스플레이(150)의 화면에 표시되는 제시 화상의 천이와의 관계에 대하여 설명한다. 도 21은, 차속 지표와 제시 화상의 천이의 관계의 일례를 도시하는 도면이다.
예를 들어, 차속 지표가 「1」일 경우에는, 도 21의 (A)에 도시하는 바와 같이, 촬상 화상에 기초하는 제시 화상의 제시가 행하여진다. 또한, 차속 지표가 「1」로부터 「2」로 변하면, 동일하게 촬상 화상에 기초하는 제시 화상이 제시되지만, 도 21의 (B)에 도시하는 바와 같이, 차속 지표가 「1」인 경우에 비하여, 좌우 방향의 단부가 마스크 처리된 제시 화상이 표시된다. 또한, 차속 지표가 「2」로부터 「3」으로 바뀌면, 먼저, 도 21의 (C)에 도시하는 바와 같이, 전환 화상이 표시되어, 화상 전환 처리가 행하여진다. 그 후, 도 21의 (D)에 도시하는 바와 같이, 부감 화상에 기초하는 제시 화상이 표시된다. 또한, 차속 지표가 「3」으로부터 「4」로 바뀌면, 도 21의 (E)에 도시하는 바와 같이, 부각이 보다 큰 부감 화상에 기초하는 제시 화상이 표시되고, 차속 지표가 「4」로부터 「5」로 변하면, 도 21의 (F)에 도시하는 바와 같이, 부각이 가장 큰 부감 화상에 기초하는 제시 화상이 표시된다. 또한, 차속 지표가 작아지는 경우에도 마찬가지로, 각각의 차속 지표에 따른 제시 화상이 제시됨과 함께, 차속 지표가 「3」으로부터 「2」로 바뀌는 경우에는, 전환 화상이 표시되어, 화상 전환 처리가 행하여진다.
또한, 자동 주행 제어가 행해지고 있는 경우에만, 차속 지표에 따라서 제시 화상을 천이시키는 구성으로 할 수 있다. 이 경우, 자동 주행 제어가 해제된 경우에는, 차속 지표에 관계없이, 도 21의 (D)에 도시하는 제시 화상으로 천이하고, 자동 주행 제어가 다시 개시될 때까지, 도 21의 (D)에 도시하는 제시 화상을 제시하는 구성으로 할 수 있다.
이상과 같이, 본 실시 형태에 따른 정보 제시 장치(100)는 차속 지표가 낮은 경우에는, 촬상 화상에 기초하는 제시 화상을 표시하고, 차속 지표가 높은 경우에는, 부감 화상에 기초하는 제시 화상을 표시한다. 여기서, 차속 지표가 낮은 경우에는, 자차량이 주차장이나 일반 시읍면 도로 등을 비교적 느린 속도로 주행하고, 자차량의 주위에 보행자, 자전거, 신호기 등이 많이 존재하는 경향이 있다. 이러한 경우에, 보행자, 자전거, 신호기 등의 대상물을 실제의 촬상 화상에서 제시함으로써, 정보 제시 장치(100)가 보행자, 자전거, 신호기 등의 대상물을 검출할 수 있을지 여부를, 부감 화상과 비교하여, 드라이버에게 적절하게 파악시킬 수 있다. 또한, 자차량의 주행 속도가 빠른 경우에는, 자차량이 일반 도로나 고속 도로를 주행하는 장면이며, 자차량의 주위에는, 주행 중인 타차량이 존재하는 경향이 있다. 이러한 경우에, 부감 화상에 기초하는 제시 화상을 표시함으로써, 자차량의 주위에 있어서의 타차량의 주행 상태를 드라이버에게 적절하게 파악시킬 수 있다. 특히, 본 실시 형태에서는, 부감 화상을, 컴퓨터 그래픽스 등을 사용하여 묘화함으로써 촬상 화상과 비교하여, 자차량의 주위에 있어서의 타차량의 주행 상태를 하나의 화면에서 표시할 수 있음과 함께, 화면에 표시하는 대상물의 정보를 적절히 추릴 수 있기 때문에, 드라이버가 필요로 하는 자차량의 주위를 주행하는 타차량의 정보를 드라이버에게 적절하게 파악시킬 수 있다.
또한, 본 실시 형태에서는, 자차량의 주행 속도 V가 낮을수록 차속 지표를 낮게 설정하고, 자차량의 주행 속도 V가 빠를수록 차속 지표를 높게 설정한다. 또는, 트랜스미션의 변속비가 높을수록 차속 지표를 낮게 설정하고, 트랜스미션의 변속비가 낮을수록 차속 지표를 높게 설정한다. 마찬가지로, 자차량이 주행하는 도로의 도로 종별이나 제한 속도 Vr, 자차량으로부터 대상물까지의 거리 D, 또는 자차량의 주행 씬이, 자차량의 주위에 보행자, 자전거, 신호기 등이 많이 존재하고, 자차량이 비교적 느린 속도로 주행하는 장면에서 예측되는 주행 상태로 된 경우에, 차속 지표를 낮게 설정하고, 반대로, 자차량의 주위에 타차량이 많이 존재하고, 자차량이 비교적 빠른 속도로 주행하는 장면에서 예측되는 주행 상태로 된 경우에, 차속 지표를 높게 설정한다. 이에 의해, 차속 지표가 낮은 경우에는, 자차량의 주위에 보행자, 자전거, 신호기 등이 많이 존재하는 장면에 적합한, 촬상 화상에 기초하는 제시 정보를 제시할 수 있다. 또한, 차속 지표가 높은 경우에는, 자차량의 주위에 타차량이 많이 존재하는 장면에 적합한, 부감 화상에 기초하는 제시 정보를 제시할 수 있다.
또한, 본 실시 형태에서는, 촬상 화상에 기초하는 제시 화상을 제시하는 경우에, 자차량의 주행 속도 V가 빠를수록, 마스크 폭 d를 크게 하고, 촬상 화상의 좌우단부를 마스크 처리한다. 여기서, 차량의 주행 속도 V가 빠를수록, 드라이버의 시야가 좁아지는 것이 알려져 있다. 본 실시 형태에서는, 자차량의 주행 속도 V와 촬상 화상의 크기의 관계가, 자차량의 주행 속도 V와 드라이버의 시야의 관계와 일치하도록, 자차량의 주행 속도 V가 빠를수록 마스크 폭 d를 크게 하고, 마스크 처리를 행함으로써, 드라이버의 위화감을 경감할 수 있다. 또한, 자차량의 주행 속도 V가 빨라질수록, 촬상 화상의 좌우 양단에 있어서 풍경이 후방으로 흐르는 속도(옵티컬 플로우)가 빨라지기 때문에 좌우 양단의 화상이 흐릿해져버린다. 본 실시 형태에서는, 자차량의 주행 속도가 빨라질수록, 촬상 화상의 좌우 양단을 마스크함으로써 이러한 화상의 흐려짐에 따른, 드라이버의 위화감을 경감할 수 있다.
또한, 자차량의 주행 속도 V와 드라이버의 시야의 관계와 일치시키기 위해서, 자차량의 주행 속도 V가 빨라질수록, 드라이버에게 제시하는 제시 화상을 작게 해버리면, 드라이버에게 대상물의 정보를 적절하게 제시할 수 없게 된다. 또한, 자차량의 주행 속도 V가 빠른 경우에는, 보행자나 자전거가 자차량의 주위를 통행하는 장면보다도, 자차량의 주위에, 자차량과 같은 도로를 주행하고 있는 타차량이 존재하는 장면인 것이 상정되고, 이러한 경우에는, 자차량과 타차량의 위치 관계가 중요해진다. 그래서, 본 실시 형태에서는, 차속 지표가 「3」 이상으로 되는 경우에는, 부감 화상에 기초하는 제시 화상을 제시한다. 이에 의해, 자차량의 주행 속도 V와 드라이버의 시야의 관계가 일치하지 않는 경우에도, 부감 화상에 기초하는 제시 화상은 드라이버의 시점과는 크게 상이하기 때문에, 드라이버의 위화감을 경감할 수 있음과 함께, 자차량의 주행 속도 V가 높은 경우에 중요한 자차량의 주위를 주행하는 타차량의 정보를 드라이버에게 적절하게 제시할 수 있다.
또한, 본 실시 형태에서는, 촬상 화상에 기초하는 제시 화상을 제시하는 경우에, 도 7의 (A), (B)에 도시하는 바와 같이, 자차량의 보닛을 모방한 보닛 화상을 중첩하여 표시한다. 이에 의해, 촬상 화상이 자차량의 전방을 촬상한 화상인 것을 드라이버에게 직감적으로 파악시킬 수 있다. 또한, 본 실시 형태에서는, 자차량의 주행 속도 V 또는 차속 지표가 클수록, 보닛 화상의 상하 방향(X 방향)의 길이를 길게 한다. 이에 의해, 자차량의 주행 속도 V가 빨라질수록, 자차량의 보닛을 보다 높은 앵글로부터 보는 시각 효과가 얻어진다. 그 결과, 그 후, 자차량이 가속해 가서, 촬상 화상에 기초하는 제시 화상으로부터 부감 화상에 기초하는 제시 화상으로 바뀜으로써, 자차량을 보다 상방으로부터 부감하는 것처럼 제시 화상의 앵글이 변화하는 경우에도, 부감 화상에 기초하는 제시 화상을 제시하기 전부터, 자차량의 주행 속도 V에 따라서 앵글이 변화하고 있기 때문에, 앵글의 변화에 따른 드라이버의 위화감을 경감할 수 있다.
추가로, 본 실시 형태에서는, 자차량의 전방을 촬상하는 카메라(110)로서, 자차량으로부터 근거리의 위치에 존재하는 대상물의 촬영에 적합한 근거리 카메라(어안 카메라)와, 자차량으로부터 중거리의 위치에 존재하는 대상물의 촬영에 적합한 중거리 카메라와, 자차량으로부터 장거리의 위치에 존재하는 대상물의 촬영에 적합한 원거리 카메라를 갖는다. 그리고, 차속 지표가 낮은 경우에는, 근거리 카메라에 의해 촬상된 촬상 화상에 기초하여 제시 화상을 생성하고, 차속 지표가 높은 경우에는, 중거리 카메라에 의해 촬상된 촬상 화상에 기초하여 제시 화상을 생성한다. 이에 의해, 차속 지표가 낮은 경우에는, 자차량의 근방을 통행하는 보행자나 자전거 등을 적절하게 검출할 수 있고, 차속 지표가 높은 경우에는, 자차량의 전방을 주행하는 자전거나 바이크 등을 적절하게 검출할 수 있다.
또한, 본 실시 형태에서는, 촬상 화상에 기초하는 제시 화상을 제시하는 경우에, 카메라(110)나 측거 센서(120)에 의해 검출된 검출 대상물을 강조하여 표시한다. 이에 의해, 정보 제시 장치(100)가 검출하고 있는 검출 대상물을 드라이버에게 적절하게 파악시킬 수 있다. 또한, 본 실시 형태에서는, 자동 주행 제어의 대상으로 되는 제어 대상물을, 다른 검출 대상물과는 다른 표시 형태로 강조하여 표시한다. 이에 의해, 자동 주행 제어의 대상으로 되는 제어 대상물을 드라이버에게 적절하게 파악시킬 수도 있다. 추가로, 본 실시 형태에서는, 자차량으로부터 검출 대상물(제어 대상물을 포함한다)까지의 거리 정보를, 검출 대상물에 중첩하여 표시한다. 이에 의해, 자차량으로부터 검출 대상물까지의 거리를 드라이버에게 적절하게 파악시킬 수 있다.
또한, 본 실시 형태에서는, 부감 화상에 기초하는 제시 화상을 제시하는 경우에, 차속 지표에 따라, 부각이 상이한 부감 화상을 묘화한다. 구체적으로는, 차속 지표가 높을수록, 보다 자차량을 상방으로부터 부감하고 있는 시각 효과를 내기 위해서, 부각이 큰 부감 화상을 묘화한다. 이에 의해, 도 14의 (A) 내지 (F)에 도시하는 바와 같이, 자차량의 속도가 빠를수록, 자차량의 주위를 보다 광범위하게 표시하고, 자차량의 주위를 주행하는 타차량의 주행 상태를 드라이버에게 제시할 수 있다. 그 결과, 자차량의 주행 속도가 중 정도인 경우이든, 자차량이 고속으로 주행하고 있는 경우이든, 자차량과 타차량이 접근하기 전에, 자차량에 접근하는 타차량을 드라이버에게 적절하게 제시할 수 있다. 예를 들어, 자차량이 고속으로 주행하고 있는 경우에는, 자차량이 저속으로 주행하고 있는 경우에 비하여, 타차량이 자차량에 고속으로 접근하는 경향이 있다. 이러한 경우에도, 자차량의 주위를 보다 광범위하게 제시함으로써, 자차량에 고속으로 접근하는 타차량을 빠른 타이밍에(타차량이 자차량에 접근하기 전에) 드라이버에게 제시할 수 있다.
추가로, 본 실시 형태에서는, 부감 화상에 기초하는 제시 화상을 제시하는 경우에, 카메라(110)나 측거 센서(120)에 의해 검출된 검출 대상물을, 자차량과 검출 대상물의 실제의 위치 관계에 대응하는 부감 화상 상의 위치에 배치한다. 이에 의해, 정보 제시 장치(100)가 검출하고 있는 대상물이 자차량의 주위의 어느 위치를 주행하고 있는지를 드라이버에게 적절하게 파악시킬 수 있다. 또한, 본 실시 형태에서는, 자동 주행 제어의 대상으로 되는 제어 대상물을 강조하여 표시한다. 이에 의해, 자동 주행 제어의 대상으로 되는 제어 대상물을 드라이버에게 파악시킬 수도 있다. 추가로, 본 실시 형태에서는, 자차량으로부터 검출 대상물까지의 거리를 시사하는 거리 가이드 라인을 부감 화상에 중첩하여 표시한다. 이에 의해, 자차량으로부터 검출 대상물까지의 거리를 드라이버에게 적절하게 파악시킬 수 있다.
또한, 상술한 실시 형태에서는, 촬상 화상에 기초하는 제시 화상과, 부감 화상에 기초하는 제시 화상을 전환하는 경우에, 촬상 화상에 기초하는 제시 화상으로부터 부감 화상에 기초하는 제시 화상으로의 천이, 또는, 부감 화상에 기초하는 제시 화상으로부터 촬상 화상에 기초하는 제시 화상으로의 천이를 나타내는 전환 화상을 제시한다. 이에 의해, 드라이버의 시점에 가까운 촬상 화상에 기초하는 제시 화상으로부터, 드라이버의 시점과는 다른 부감 화상에 기초하는 제시 화상으로 전환되는 것에 따른, 드라이버의 위화감을 경감할 수 있다. 마찬가지로, 드라이버의 시점과는 다른 부감 화상에 기초하는 제시 화상으로부터, 드라이버의 시점에 가까운 촬상 화상에 기초하는 제시 화상으로 전환되는 것에 따른, 드라이버의 위화감을 경감할 수 있다. 특히, 본 실시 형태에서는, 촬상 화상에 기초하는 제시 화상과, 부감 화상에 기초하는 제시 화상의 전환을 연속적으로 애니메이션으로 표시함으로써, 보다 드라이버의 위화감을 경감할 수 있다. 또한, 본 실시 형태에서는, 자차량의 가속도가 빠를수록 전환 시간(전환 화상의 제시 시간)을 짧게 함으로써(애니메이션의 속도를 빠르게 함으로써), 제시 화상의 전환 동작이 자차량의 가속도와 일체적으로 행하여지게 되어, 드라이버에게 자차량과의 일체감을 부여할 수 있다.
또한, 이상으로 설명한 실시 형태는, 본 발명의 이해를 용이하게 하기 위하여 기재된 것으로서, 본 발명을 한정하기 위하여 기재된 것이 아니다. 따라서, 상기 실시 형태에 개시된 각 요소는, 본 발명의 기술적 범위에 속하는 모든 설계변경이나 균등물도 포함하는 취지이다.
예를 들어, 상술한 실시 형태에서는, 자차량의 주행 속도 V, 트랜스미션의 변속비, 자차량이 주행하는 도로의 도로 종별, 자차량이 주행하는 도로의 제한 속도 Vr, 자차량으로부터 대상물까지의 거리 D, 및 자차량의 주행 씬 중 어느 것에 기초하여 차속 지표를 산출하고, 산출한 차속 지표에 기초하여, 제시 화상을 전환하는 구성을 예시했지만, 이 구성에 한정되지 않고, 예를 들어, 차속 지표를 산출하지 않고, 주행 속도 V, 트랜스미션의 변속비, 도로 종별, 제한 속도 Vr, 대상물까지의 거리 D, 또는 자차량의 주행 씬 자체에 기초하여, 제시 화상을 전환하는 구성으로 해도 된다.
또한, 상술한 실시 형태에서는, 촬상 화상에 기초하는 제시 화상을 표시하는 경우에, 자차량의 주행 속도 V 또는 차속 지표에 기초하여, 촬상 화상의 좌우단부를 마스크 처리하는 구성을 예시했지만, 이 구성에 추가로, 예를 들어, 자차량의 주행 속도 V 또는 차속 지표에 기초하여, 제시 화상의 상하 단부를 마스크 처리하는 구성으로 해도 된다.
또한, 상술한 실시 형태에 따른 카메라(110)는 본 발명의 카메라에, 카메라(110) 및 측거 센서(120)는 본 발명의 검출기에 각각 상당한다.
100: 정보 제시 장치
110: 카메라
120: 측거 센서
130: 차속 센서
140: 내비게이션 장치
150: 디스플레이
160: 통지 장치
170: 제어 장치

Claims (22)

  1. 카메라를 포함하는 검출기에 의해 검출된 대상물의 검출 정보의 표시 제어를 행하는 표시 제어 방법이며,
    상기 검출 정보는, 상기 카메라에 의해 촬상된 촬상 화상에 기초하는 제1 화상과, 상기 검출기의 검출 결과에 기초하여 컴퓨터 그래픽스에 의해 묘화되고, 자차량을 상방으로부터 부감한 부감 화상에 기초하는 제2 화상을 포함하고,
    차량의 주행 속도가 소정 속도 미만인 경우에는, 상기 제1 화상을 표시하고,
    상기 차량의 주행 속도가 상기 소정 속도 이상인 경우에는, 상기 제2 화상을 표시하는, 표시 제어 방법.
  2. 카메라를 포함하는 검출기에 의해 검출된 대상물의 검출 정보의 표시 제어를 행하는 표시 제어 방법이며,
    상기 검출 정보는, 상기 카메라에 의해 촬상된 촬상 화상에 기초하는 제1 화상과, 상기 검출기의 검출 결과에 기초하여 컴퓨터 그래픽스에 의해 묘화된 화상에 기초하는 제2 화상을 포함하고,
    상기 제2 화상은, 자차량을 상방으로부터 부감한 부감 화상에 기초하는 화상이며,
    차량의 주행 속도, 변속기의 변속비, 차량이 주행하는 도로의 제한 속도, 차량으로부터 상기 대상물까지의 거리, 및 정차 씬, 서행 씬, 자전거 병주(竝走) 씬, 거리 주행 씬, 교외 주행 씬 및 고속 순항 씬 중 어느 하나 이상의 씬을 포함하는 차량의 주행 씬 중 어느 하나의 차속 지표가, 소정 속도 미만의 차속인 것을 나타내는 경우에는 상기 제1 화상을 표시하고, 상기 차속 지표가, 상기 소정 속도 이상의 차속인 것을 나타내는 경우에는 상기 제2 화상을 표시하는, 표시 제어 방법.
  3. 제2항에 있어서,
    상기 차속 지표는, 변속기의 변속비이며,
    상기 변속비가 소정값 이상인 경우에는, 상기 제1 화상을 표시하고,
    상기 변속비가 상기 소정값 미만인 경우에는, 상기 제2 화상을 표시하는, 표시 제어 방법.
  4. 제2항에 있어서,
    상기 차속 지표는, 차량의 주행 속도이며,
    상기 주행 속도가 소정 속도 미만인 경우에는, 상기 제1 화상을 표시하고,
    상기 주행 속도가 상기 소정 속도 이상인 경우에는, 상기 제2 화상을 표시하는, 표시 제어 방법.
  5. 제2항에 있어서,
    상기 차속 지표는, 차량이 주행하는 도로의 제한 속도이며,
    상기 제한 속도가 소정 속도 미만인 경우에는, 상기 제1 화상을 표시하고,
    상기 제한 속도가 상기 소정 속도 이상인 경우에는, 상기 제2 화상을 표시하는, 표시 제어 방법.
  6. 제2항에 있어서,
    상기 차속 지표는, 차량으로부터 상기 대상물까지의 거리이며,
    상기 거리가 소정 거리 미만인 경우에는, 상기 제1 화상을 표시하고,
    상기 거리가 상기 소정 거리 이상인 경우에는, 상기 제2 화상을 표시하는, 표시 제어 방법.
  7. 제2항에 있어서,
    상기 차속 지표는, 차량의 주행 씬이며,
    차량의 주행 상태에 기초하여 상기 차량의 주행 씬을 판정하고, 상기 차량의 주행 씬에 기초하여, 상기 제1 화상과 제2 화상을 전환하여 표시하는, 표시 제어 방법.
  8. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 화상을 표시하는 경우에, 상기 제1 화상의 단부를, 차량의 주행 속도 또는 상기 차속 지표에 따른 폭만큼 마스크 처리하는, 표시 제어 방법.
  9. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 화상을 표시하는 경우에, 상기 제1 화상에 차량의 보닛을 모방한 보닛 화상을 중첩하는, 표시 제어 방법.
  10. 제9항에 있어서,
    차량의 주행 속도 또는 상기 차속 지표에 따라, 상기 제1 화상에 중첩하는 상기 보닛 화상의 크기 또는 형상을 변경하는, 표시 제어 방법.
  11. 제2항 내지 제7항 중 어느 한 항에 있어서,
    복수의 카메라에 의해 촬상된 상기 촬상 화상을 취득하고, 차량의 주행 속도 또는 상기 차속 지표에 기초하여, 상기 복수의 카메라에 의해 촬상된 상기 촬상 화상 중에서, 상기 제1 화상의 생성에 사용할 촬상 화상을 선택하는, 표시 제어 방법.
  12. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 화상 내에 있어서, 상기 검출기에 의해 검출된 상기 대상물을 강조하여 표시하는, 표시 제어 방법.
  13. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 검출기에 의해 검출된 상기 대상물 중 1 또는 2 이상의 대상물을 대상으로 하여 차량의 주행을 제어하고 있는 경우에는, 상기 제1 화상 내에 있어서, 상기 제어의 대상으로 되는 상기 대상물을, 상기 제어의 대상으로 하지 않는 상기 대상물과는 다른 표시 형태로 강조하여 표시하는, 표시 제어 방법.
  14. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 화상을 표시하는 경우에, 차량으로부터 상기 대상물까지의 거리를 시사하는 거리 정보를 중첩하는, 표시 제어 방법.
  15. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 제2 화상을 표시하는 경우에, 상기 차속 지표에 따라, 부각이 상이한 상기 제2 화상을 표시하는, 표시 제어 방법.
  16. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 제2 화상을 표시하는 경우에, 상기 제2 화상 내에, 상기 검출기에 의해 검출된 상기 대상물을 배치하는, 표시 제어 방법.
  17. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 검출기에 의해 검출된 상기 대상물 중 1 또는 2 이상의 대상물을 대상으로 하여 차량의 주행을 제어하고 있는 경우에는, 상기 제2 화상 내에 있어서, 상기 제어의 대상으로 되는 상기 대상물을 강조하여 표시하는, 표시 제어 방법.
  18. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 제2 화상을 표시하는 경우에, 차량으로부터 상기 대상물까지의 거리를 시사하는 거리 정보를 중첩하는, 표시 제어 방법.
  19. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 화상과 상기 제2 화상을 전환하는 경우에, 상기 제1 화상으로부터 상기 제2 화상으로의 천이, 또는 상기 제2 화상으로부터 상기 제1 화상으로의 천이를 나타내는 전환 화상을 표시하는, 표시 제어 방법.
  20. 제19항에 있어서,
    차량의 가속도에 기초하여, 상기 제1 화상과 상기 제2 화상의 전환 시간을 변경하는, 표시 제어 방법.
  21. 카메라를 포함하는 검출기에 의해 검출된 대상물의 검출 정보의 표시 제어를 행하는 표시 제어 장치이며,
    상기 검출 정보는, 상기 카메라에 의해 촬상된 촬상 화상에 기초하는 제1 화상과, 상기 검출기의 검출 결과에 기초하여 컴퓨터 그래픽스에 의해 묘화되고, 자차량을 상방으로부터 부감한 부감 화상에 기초하는 제2 화상을 포함하고,
    차량의 주행 속도가 소정 속도 미만인 경우에는, 상기 제1 화상을 표시하고,
    상기 차량의 주행 속도가 상기 소정 속도 이상인 경우에는, 상기 제2 화상을 표시하는, 표시 제어 장치.
  22. 삭제
KR1020187013121A 2015-10-22 2015-10-22 표시 제어 방법 및 표시 제어 장치 KR102086272B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079877 WO2017068692A1 (ja) 2015-10-22 2015-10-22 表示制御方法および表示制御装置

Publications (2)

Publication Number Publication Date
KR20180067600A KR20180067600A (ko) 2018-06-20
KR102086272B1 true KR102086272B1 (ko) 2020-03-06

Family

ID=58556887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187013121A KR102086272B1 (ko) 2015-10-22 2015-10-22 표시 제어 방법 및 표시 제어 장치

Country Status (11)

Country Link
US (1) US10322674B2 (ko)
EP (1) EP3367366B1 (ko)
JP (1) JP6489230B2 (ko)
KR (1) KR102086272B1 (ko)
CN (1) CN108140318A (ko)
BR (1) BR112018008099A2 (ko)
CA (1) CA3002628C (ko)
MX (1) MX2018004891A (ko)
MY (1) MY187205A (ko)
RU (1) RU2704773C1 (ko)
WO (1) WO2017068692A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7092688B2 (ja) * 2017-02-17 2022-06-28 住友重機械工業株式会社 作業機械用周辺監視システム
EP3611591B1 (en) * 2017-04-13 2021-12-22 Panasonic Corporation Method for controlling an electrically driven vehicle and electrically driven vehicle controlled with the method
JP7028609B2 (ja) * 2017-11-08 2022-03-02 フォルシアクラリオン・エレクトロニクス株式会社 画像表示装置、及び画像表示システム
CN112740009A (zh) * 2018-09-21 2021-04-30 本田技研工业株式会社 车辆检查系统
JP7054739B2 (ja) * 2018-09-21 2022-04-14 本田技研工業株式会社 車両検査システム
EP3864573A1 (en) 2018-10-11 2021-08-18 Tesla, Inc. Systems and methods for training machine models with augmented data
JP7200645B2 (ja) * 2018-12-11 2023-01-10 トヨタ自動車株式会社 車載装置、プログラム、及び車両
DE102019202576A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202588A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202581B4 (de) * 2019-02-26 2021-09-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
EP3817374A1 (en) * 2019-04-30 2021-05-05 SZ DJI Technology Co., Ltd. Method, apparatus and system for adjusting field of view of observation, and storage medium and mobile apparatus
JP7310372B2 (ja) * 2019-07-03 2023-07-19 三菱自動車工業株式会社 表示制御装置
CN110758243B (zh) * 2019-10-31 2024-04-02 的卢技术有限公司 一种车辆行驶过程中的周围环境显示方法和系统
US11531107B2 (en) * 2019-11-19 2022-12-20 Volvo Car Corporation Long range LIDAR-based speed estimation
JP7357284B2 (ja) * 2020-02-12 2023-10-06 パナソニックＩｐマネジメント株式会社 描画システム、表示システム、移動体、描画方法及びプログラム
CN113665360A (zh) * 2020-05-15 2021-11-19 上海仙豆智能机器人有限公司 显示控制方法、车载终端及存储介质
JP7342926B2 (ja) * 2021-02-08 2023-09-12 株式会社デンソー 表示制御装置及び表示制御プログラム
WO2022168540A1 (ja) * 2021-02-08 2022-08-11 株式会社デンソー 表示制御装置及び表示制御プログラム
CN113810595B (zh) * 2021-06-16 2023-03-17 荣耀终端有限公司 视频拍摄的编码方法、设备和存储介质
CN118270037A (zh) * 2022-06-08 2024-07-02 上海集度汽车有限公司 显示方法、车辆及介质
CN115297276B (zh) * 2022-10-09 2023-01-17 东风悦享科技有限公司 一种视野自适应切换的远程驾驶图像处理系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028440A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 後側方視認システム
JP2007071662A (ja) * 2005-09-06 2007-03-22 Navitime Japan Co Ltd ナビゲーションシステム、ナビゲーション装置およびナビゲーション装置における動作モード制御方法
JP2008013022A (ja) * 2006-07-05 2008-01-24 Sanyo Electric Co Ltd 車両の運転支援装置
US20080122597A1 (en) * 2006-11-07 2008-05-29 Benjamin Englander Camera system for large vehicles

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3400584B2 (ja) * 1994-12-19 2003-04-28 本田技研工業株式会社 車載用表示装置
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP2007282098A (ja) * 2006-04-11 2007-10-25 Denso Corp 画像処理装置及び画像処理プログラム
JP5045172B2 (ja) * 2007-03-20 2012-10-10 マツダ株式会社 車両用運転支援装置
JP4281817B2 (ja) * 2007-03-28 2009-06-17 トヨタ自動車株式会社 撮像システム
US8012061B2 (en) * 2007-03-30 2011-09-06 Caterpillar Inc. Vehicle overspeed system implementing impeller clutch lockout
JP4945315B2 (ja) * 2007-05-23 2012-06-06 三洋電機株式会社 運転支援システム及び車両
JP5262515B2 (ja) * 2008-09-25 2013-08-14 日産自動車株式会社 車両用表示装置および表示方法
JP2010218058A (ja) * 2009-03-13 2010-09-30 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP5087051B2 (ja) * 2009-07-02 2012-11-28 富士通テン株式会社 画像生成装置及び画像表示システム
RU102331U1 (ru) * 2010-09-24 2011-02-27 Малышев Павел Михайлович Система повышения безопасности управления транспортным средством
JP5316550B2 (ja) * 2011-01-05 2013-10-16 株式会社デンソー 後方視界支援システム
EP2481637B1 (en) * 2011-01-28 2014-05-21 Nxp B.V. Parking Assistance System and Method
JP5408198B2 (ja) * 2011-08-01 2014-02-05 日産自動車株式会社 映像表示装置及び映像表示方法
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
JP5867273B2 (ja) * 2012-04-27 2016-02-24 富士通株式会社 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
EP2680677A1 (en) * 2012-06-25 2014-01-01 General Electric Company Image display method
JP5643272B2 (ja) * 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9758099B2 (en) * 2013-03-15 2017-09-12 Gentex Corporation Display system and method thereof
JP6081247B2 (ja) 2013-03-19 2017-02-15 アルパイン株式会社 車両後方画像の表示切替装置および表示切替方法
JP6177585B2 (ja) * 2013-05-23 2017-08-09 アルパイン株式会社 ナビゲーション装置
JP2015144406A (ja) * 2013-12-27 2015-08-06 株式会社Ｊｖｃケンウッド 視界支援装置、視界支援方法、及び視界支援プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028440A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 後側方視認システム
JP2007071662A (ja) * 2005-09-06 2007-03-22 Navitime Japan Co Ltd ナビゲーションシステム、ナビゲーション装置およびナビゲーション装置における動作モード制御方法
JP2008013022A (ja) * 2006-07-05 2008-01-24 Sanyo Electric Co Ltd 車両の運転支援装置
US20080122597A1 (en) * 2006-11-07 2008-05-29 Benjamin Englander Camera system for large vehicles

Also Published As

Publication number Publication date
CN108140318A (zh) 2018-06-08
BR112018008099A2 (pt) 2018-11-06
EP3367366A1 (en) 2018-08-29
RU2704773C1 (ru) 2019-10-30
MY187205A (en) 2021-09-10
US20180312110A1 (en) 2018-11-01
CA3002628C (en) 2022-03-08
WO2017068692A1 (ja) 2017-04-27
CA3002628A1 (en) 2017-04-27
EP3367366A4 (en) 2018-11-14
JPWO2017068692A1 (ja) 2018-09-27
MX2018004891A (es) 2018-06-20
US10322674B2 (en) 2019-06-18
JP6489230B2 (ja) 2019-03-27
EP3367366B1 (en) 2021-05-05
KR20180067600A (ko) 2018-06-20

Similar Documents

Publication Publication Date Title
KR102086272B1 (ko) 표시 제어 방법 및 표시 제어 장치
US11008016B2 (en) Display system, display method, and storage medium
US10748425B2 (en) Image generation apparatus
US10589752B2 (en) Display system, display method, and storage medium
JP6958630B2 (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
JP6825709B2 (ja) 周囲車両表示方法及び周囲車両表示装置
JP6547836B2 (ja) 駐車支援方法及び駐車支援装置
JP5070809B2 (ja) 運転支援装置、運転支援方法、及び、プログラム
CN105324267B (zh) 驾驶支援装置
JP7002246B2 (ja) 車両用表示方法及び車両用表示装置
JP7011559B2 (ja) 表示装置、表示制御方法、およびプログラム
JP7019239B2 (ja) 車両用表示方法及び車両用表示装置
WO2019038904A1 (ja) 周囲車両表示方法及び周囲車両表示装置
JP7409265B2 (ja) 車載表示装置、方法およびプログラム
JP7047586B2 (ja) 車両用表示制御装置
JP2017191472A (ja) 画像表示方法及び画像表示装置
JP2020085688A (ja) 表示システム、表示制御方法、およびプログラム
JP2023165721A (ja) 表示制御装置
JP7030438B2 (ja) 車両用表示方法及び車両用表示装置
JP2018167834A (ja) 画像生成装置
JP7342926B2 (ja) 表示制御装置及び表示制御プログラム
JP7517252B2 (ja) 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム
JP7420008B2 (ja) 表示制御装置
CN116868251A (zh) 显示控制装置以及显示控制程序

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant