KR101999079B1 - 표시 장치의 제어 방법 및 표시 장치 - Google Patents

표시 장치의 제어 방법 및 표시 장치 Download PDF

Info

Publication number
KR101999079B1
KR101999079B1 KR1020187020114A KR20187020114A KR101999079B1 KR 101999079 B1 KR101999079 B1 KR 101999079B1 KR 1020187020114 A KR1020187020114 A KR 1020187020114A KR 20187020114 A KR20187020114 A KR 20187020114A KR 101999079 B1 KR101999079 B1 KR 101999079B1
Authority
KR
South Korea
Prior art keywords
state
agent
detected
vehicle
detector
Prior art date
Application number
KR1020187020114A
Other languages
English (en)
Other versions
KR20180094992A (ko
Inventor
야스히코 다카에
나리아키 에토리
아키라 모리모토
다카히로 야노
다츠야 시노
Original Assignee
닛산 지도우샤 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛산 지도우샤 가부시키가이샤 filed Critical 닛산 지도우샤 가부시키가이샤
Publication of KR20180094992A publication Critical patent/KR20180094992A/ko
Application granted granted Critical
Publication of KR101999079B1 publication Critical patent/KR101999079B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B60W2550/10—
    • B60W2550/22—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Abstract

주위의 대상물을 검지하는 검지기(11)의 검지 상태를, 표시 장치(14)에 표시한 에이전트를 사용하여, 표시 장치(14)에 표시시키는 표시 제어 방법이며, 검지기(11)의 검지 결과에 기초하여, 검지기(11)의 검지 상태를 판정하고, 검지기(11)의 검지 상태에 기초하여, 에이전트의 표정을 설정한다.

Description

표시 장치의 제어 방법 및 표시 장치
본 발명은 표시 장치의 제어 방법 및 표시 장치에 관한 것이다.
종래, 차량 탑재 카메라의 검지 감도를, 유저에게 시각적으로 표시하는 기술이 알려져 있다(예를 들어, 특허문헌 1).
일본 특허 공개 제2012-73926호 공보
상기 종래 기술에 의하면, 차량 탑재 카메라의 검지 감도의 좋고 나쁨을 드라이버에게 파악시킬 수는 있다. 그러나, 상기 종래 기술에서는 차량 탑재 카메라가 대상물을 탐색하고 있는 상태인지, 혹은 대상물을 검지하고 있는 상태인지 등, 차량 탑재 카메라의 검지 상태를 드라이버에게 직감적으로 파악시키지 못한다.
본 발명이 해결하고자 하는 과제는 주위 검지 센서의 검지 상태를 드라이버에게 직감적으로 파악시키는 것이 가능한 표시 장치의 제어 방법 및 표시 장치를 제공하는 것이다.
본 발명은 검지기의 검지 결과에 기초하여 검지기의 검지 상태를 판정하고, 검지기의 검지 상태에 기초하여 적어도 눈을 포함하는 얼굴을 모방한 화상의 표정에 당해 눈의 표시 형태를 설정하고, 표시 장치에 당해 얼굴을 모방한 화상을 표시함으로써, 상기 과제를 해결한다.
본 발명에 따르면, 주위 검지 센서의 검지 상태를, 적어도 눈을 포함하는 얼굴을 모방한 화상의 표정을 당해 눈의 표시 형태로 표현할 수 있기 때문에, 주위 검지 센서의 검지 상태를 드라이버에게 직감적으로 파악시킬 수 있다.
도 1은 본 발명의 실시 형태에 관한 자동 운전 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시 형태의 디스플레이에 표시되는 화면예를 나타내는 도면이다.
도 3은 본 발명의 실시 형태의 에이전트의 표정의 일례를 나타내는 도면이다.
도 4는 본 발명의 실시 형태에 있어서, 대상물을 탐색하고 있는 에이전트의 표정의 일례를 나타내는 도면이다.
도 5는 본 발명의 실시 형태에 있어서, 대상물을 검지한 에이전트의 표정의 일례를 나타내는 도면이다.
도 6은 본 발명의 실시 형태에 있어서, 대상물의 위치와 에이전트의 표정의 관계를 설명하기 위한 도면이다.
도 7은 본 발명의 실시 형태에 있어서, 대상물을 추적하고 있는 에이전트의 표정의 일례를 나타내는 도면이다.
도 8은 본 발명의 실시 형태에 있어서, 대상물을 놓친 경우의, 에이전트의 표정의 일례를 나타내는 도면이다.
도 9는 본 발명의 실시 형태에 있어서, 대상물의 검출을 행하지 못하는 경우의, 에이전트의 표정의 일례를 나타내는 도면이다.
도 10은 본 발명의 실시 형태에 있어서, 대상물을 촬상한 화상을 디스플레이에 표시한 경우의, 에이전트의 표시예를 나타내는 도면이다.
도 11은 본 발명의 실시 형태에 있어서, 대상물을 모방한 화상을 디스플레이에 표시한 경우의, 에이전트의 표시예를 나타내는 도면이다.
도 12는 본 발명의 제1 실시 형태에 관한 자동 운전 처리의 일례를 나타내는 흐름도이다.
도 13은 본 발명의 실시 형태에 있어서, 현재화 판정값이 높은 경우의, 에이전트의 표정의 일례를 나타내는 도면이다.
도 14는 본 발명의 실시 형태에 있어서, 잠재화 판정값이 높은 경우의, 에이전트의 표정의 일례를 나타내는 도면이다.
도 15는 본 발명의 실시 형태에 있어서, 현재화 대상물의 위치와 에이전트의 표정의 관계를 설명하기 위한 도면이다.
도 16은 본 발명의 실시 형태에 있어서, 현재화 대상물을 촬상한 화상을 디스플레이에 표시한 경우의, 에이전트의 표시예를 나타내는 도면이다.
도 17은 본 발명의 실시 형태에 있어서, 현재화 대상물을 모방한 화상을 디스플레이에 표시한 경우의, 에이전트의 표시예를 나타내는 도면이다.
도 18은 본 발명의 제2 실시 형태에 관한 자동 운전 처리의 일례를 나타내는 흐름도이다.
이하, 본 발명의 실시 형태를 도면에 기초하여 설명한다. 또한, 본 실시 형태에서는, 차량에 탑재되는 자동 운전 장치(1)에, 본 발명의 표시 장치의 제어 방법 및 표시 장치를 적용한 경우를 예시하여 설명한다.
《제1 실시 형태》
도 1은 본 발명의 실시 형태에 관한 자동 운전 장치(1)의 구성을 나타내는 도면이다. 도 1에 나타낸 바와 같이, 본 실시 형태에 관한 자동 운전 장치(1)는 주위 검지 센서(11)와, 차속 센서(12)와, 자차 위치 검지 장치(13)와, 디스플레이(14)와, 구동 제어 장치(15)와, 제어 장치(16)를 갖는다. 이들의 각 장치는 서로 정보의 수수를 행하기 위해 CAN(Controller Area Network) 그 밖의 차량 탑재 LAN에 의해 접속되어 있다.
주위 검지 센서(11)는 자차량의 주변에 존재하는 대상물(3)의 검지를 행한다. 이와 같은 주위 검지 센서(11)로서는, 자차량의 전방을 촬상하는 전방 카메라, 자차량의 후방을 촬상하는 후방 카메라, 자차량의 전방의 장해물을 검출하는 전방 레이더, 자차량의 후방의 장해물을 검출하는 후방 레이더 및 자차량의 측방에 존재하는 장해물을 검출하는 측방 레이더 등을 들 수 있다. 또한, 주위 검지 센서(11)가 검지하는 대상물(3)의 예로서는, 보행자, 자전거, 바이크, 자동차, 노상 장해물, 구조물, 교통 신호기, 도로 표지, 레인 마크, 도로단(연석이나 가드 레일) 및 도로 형상(커브) 등을 들 수 있다. 또한, 주위 검지 센서(11)로서, 상술한 복수의 센서 중 하나를 사용하는 구성으로 해도 되고, 2종류 이상의 센서를 조합하여 사용하는 구성으로 해도 된다. 주위 검지 센서(11)의 검지 결과는 제어 장치(16)에 출력된다.
차속 센서(12)는 드라이브 샤프트 등의 구동계의 회전 속도를 계측하고, 이것에 기초하여 차량의 주행 속도(이하, 차속이라고도 함)를 검지한다. 차속 센서(12)에 의해 검지된 차속 정보는 제어 장치(16)에 출력된다.
자차 위치 검지 장치(13)는 GPS 유닛, 자이로 센서 등으로 구성되고, GPS 유닛에 의해 복수의 위성 통신으로부터 송신되는 전파를 검지하여, 대상 차량(자차량)의 위치 정보를 주기적으로 취득한다. 그리고, 취득한 대상 차량의 위치 정보와, 자이로 센서로부터 취득한 각도 변화 정보와, 차속 센서(12)로부터 취득한 차속에 기초하여, 대상 차량의 현재 위치를 검지한다. 자차 위치 검지 장치(13)에 의해 검지된 대상 차량의 위치 정보는 제어 장치(16)에 출력된다.
디스플레이(14)는, 예를 들어 내비게이션 장치가 구비하는 디스플레이, 룸 미러에 내장된 디스플레이, 인스트루먼트 패널의 미터부에 내장된 디스플레이, 앞유리에 비춰지는 헤드업 디스플레이 등의 장치이다. 디스플레이(14)는 제어 장치(16)의 제어에 따라, 후술하는 에이전트(2)를 디스플레이(14)의 화면에 표시한다.
구동 제어 장치(15)는 자차량의 주행을 제어한다. 예를 들어, 자차량이 선행 차량에 자동 추종하는 모드를 구비하는 경우에는, 구동 제어 장치(15)는 자차량과 선행 차량의 차간 거리가 일정 거리가 되도록, 가감 속도 및 차속을 실현하기 위한 구동 기구의 동작(엔진 자동차에 있어서는 내연 기관의 동작, 전기 자동차계에 있어서는 전동 모터 동작을 포함하고, 하이브리드 자동차에 있어서는 내연 기관과 전동 모터의 토크 배분도 포함함) 및 브레이크 동작을 제어한다. 또한, 자차량이 좌우 회전이나 차선 변경 등의 자동 조타를 행하는 모드를 구비하는 경우에는, 구동 제어 장치(15)는 스티어링 액추에이터의 동작을 제어하고, 차륜의 동작을 제어함으로써, 자차량의 회전 제어를 실행한다. 또한, 구동 제어 장치(15)는 후술하는 제어 장치(16)의 지시에 의해 자차량의 주행을 제어한다. 또한, 구동 제어 장치(15)에 의한 주행 제어 방법으로서, 그 밖의 공지의 방법을 사용할 수도 있다.
제어 장치(16)는 주위 검지 센서(11)의 검지 상태(스캔 상태)를 나타내는 에이전트(2)(상세는 후술함)를 디스플레이(14)에 표시하기 위한 프로그램을 저장한 ROM(Read Only Memory)과, 이 ROM에 저장된 프로그램을 실행하는 CPU(Central Processing Unit)와, 액세스 가능한 기억 장치로서 기능하는 RAM(Random Access Memory)으로 구성된다. 또한, 동작 회로로서는, CPU(Central Processing Unit) 대신에, 또는 이것과 함께, MPU(Micro Processing Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등을 사용할 수 있다.
제어 장치(16)는 ROM에 저장된 프로그램을 CPU에 의해 실행함으로써, 주위 검지 센서(11)의 검지 결과를 취득하는 검지 결과 취득 기능과, 주위 검지 센서(11)의 검지 결과에 기초하여, 주위 검지 센서(11)의 검지 상태를 판정하는 검지 상태 판정 기능과, 에이전트(2)를 디스플레이(14)에 표시하는 에이전트 표시 기능과, 주위 검지 센서(11)의 검지 상태에 기초하여, 디스플레이(14)에 표시시키는 에이전트(2)의 표정을 설정하는 표정 설정 기능과, 자동 운전 주행을 제어하는 주행 제어 기능을 실현한다. 이하, 제어 장치(16)가 구비하는 각 기능에 대하여 설명한다.
제어 장치(16)는 검지 결과 취득 기능에 의해, 주위 검지 센서(11)로부터 검지 결과를 취득할 수 있다. 예를 들어, 제어 장치(16)는 검지 결과 취득 기능에 의해, 전방 카메라 및 후방 카메라에 의해 촬상된 차량 외부의 화상 정보나, 전방 레이더, 후방 레이더 및 측방 레이더에 의한 검지 결과를, 주위 검지 센서(11)의 검지 결과로서 취득할 수 있다.
제어 장치(16)는 검지 상태 판정 기능에 의해, 검지 결과 취득 기능에 의해 취득된 주위 검지 센서(11)의 검지 결과에 기초하여, 주위 검지 센서(11)의 검지 상태(스캔 상태)를 판정할 수 있다. 구체적으로는, 제어 장치(16)는 검지 상태 판정 기능에 의해, 주위 검지 센서(11)의 검지 결과에 기초하여, 대상물(3)을 탐색하고 있는 상태, 대상물(3)을 검지한 상태, 대상물(3)을 추적하고 있는 상태, 대상물(3)을 놓친 상태 및 대상물(3)의 검지를 행하지 못하는 상태 중, 어느 검지 상태인지를 판정할 수 있다. 또한, 제어 장치(16)는 검지 상태 판정 기능에 의해, 자차량이 대상물(3)을 검지한 상태 또는 대상물(3)을 추적하고 있는 상태인 경우에는 검출한 대상물(3)의 위치를 산출할 수 있다.
여기서, 대상물(3)을 탐색하고 있는 상태란, 대상물(3)의 검지를 실행 중이지만, 대상물(3)을 하나도 검지하고 있지 않은 상태를 말한다. 대상물(3)을 검지한 상태란, 대상물(3)을 새롭게 검지한 상태를 말한다. 대상물(3)을 검지한 상태가 일정 시간 계속된 후에, 대상물(3)을 추적하고 있는 상태로 이행한다. 대상물(3)을 추적하고 있는 상태란, 한번 검지한 대상물(3)을 일정 시간 간격으로 반복해서 검지하고 있는 상태를 말한다. 대상물(3)을 놓친 상태란, 대상물(3)을 검지한 후에, 그 대상물(3)을 검지하지 못하게 되어 버린 상태를 말한다. 본 실시 형태에서는, 대상물(3)을 하나도 검지하지 못하게 된 경우에, 대상물(3)을 놓친 상태가 된다. 대상물(3)의 검지를 행하지 못하는 상태란, 안개, 비, 눈 등의 날씨, 또는 밤 등의 주위의 밝기가 원인으로, 대상물(3)의 검지를 행하는 것이 곤란한 환경인 상태를 말한다.
제어 장치(16)는 에이전트 표시 기능에 의해, 디스플레이(14)의 화면에, 주위 검지 센서(11)의 검지 상태를 나타내는 에이전트를 표시한다. 본 실시 형태에 있어서의 에이전트(2)란, 주위 검지 센서(11)의 검지 상태를 드라이버에게 나타내기 위한 정보 전달 매체의 1종이다. 특히, 주위 검지 센서(11)의 검지 상태라는 정보 내용을 드라이버가 직감적으로 파악할 수 있도록, 본 실시 형태에서는, 의인화된 캐릭터 화상이 채용되어 있다. 도 2는 디스플레이(14)에 표시되는 화면예를 나타내는 도면이고, 도 3은 에이전트(2)의 표시예를 나타내는 도면이다. 본 실시 형태의 의인화된 에이전트(2)는, 예를 들어 도 2 및 도 3에 나타낸 바와 같이, 적어도 눈을 모방한 부분(21)(이하, 간단히 「눈(21)」이라고 함)을 갖는 것이 바람직하다.
본 실시 형태의 의인화된 에이전트(2)의 형상 또는 형태는 특별히 한정되지 않고, 예를 들어 도 2 및 도 3에 나타낸 바와 같이, 인간 또는 인간의 얼굴을 모방한 화상이어도 된다. 또한, 의인화된 에이전트(2)라고는 해도, 인간에게만 한정되지 않고, 개나 고양이 그 밖의 동물 또는 동물의 얼굴을 모방한 화상이어도 된다. 일반적으로 인간 이외의 동물에서는, 표정, 즉 심중의 감정·정서를 표정이나 몸짓으로 나타내는 경우는 적다고 되어 있지만, 인간 이외의 동물의 화상에, 인간의 표정에 유사한 표정을 설정하면, 인간의 화상과 동일한 작용 효과가 얻어지기 때문이다. 따라서, 본 실시 형태의 에이전트(2)는 유사 동물화된 것까지를 포함한다.
또한, 에이전트(2)는 적어도 눈(21)에 상당하는 부위를 갖는 것이 바람직하고, 그 밖의 부위에 대해서는 적절히 설정할 수 있다. 예를 들어, 도 3의 (A)에 나타낸 바와 같이, 얼굴의 윤곽을 갖는 구성으로 해도 되고, 도시 하지는 않지만, 이것에 신체를 갖는 구성으로 해도 된다. 또한, 도 3의 (B)에 나타낸 바와 같이, 눈썹이나 입을 갖는 구성으로 해도 된다. 또한, 도 3의 (B)에 나타낸 바와 같이, 주위 검지 센서(11)의 검지 상태에 기초하여, 얼굴의 색을 변화시켜도 된다. 또한, 이하에 있어서는, 도 3의 (A) 또는 도 3의 (B)에 나타내는 에이전트(2)의 표정을, 초기 상태의 표정으로서 설명한다.
제어 장치(16)는 표정 설정 기능에 의해, 에이전트(2)의 표정을 설정한다. 구체적으로는, 제어 장치(16)는 표정 설정 기능에 의해, 주위 검지 센서(11)의 검지 상태에 기초하여, 에이전트(2)의 표정을 설정할 수 있다. 이하에, 각각의 검지 상태에 기초하는 에이전트(2)의 표정의 설정 형태에 대하여 설명한다.
도 4는 주위 검지 센서(11)가 대상물(3)을 탐색하고 있는 경우의, 에이전트(2)의 표시의 일례를 나타내는 도면이다. 제어 장치(16)는 표정 설정 기능에 의해, 주위 검지 센서(11)가 대상물(3)을 탐색하고 있는 경우에는, 예를 들어 도 4에 나타낸 바와 같이, 에이전트(2)가 눈(21)을 뜬 상태와 눈(21)을 감은 상태를 반복시키는, 즉 눈을 깜빡이게 함으로써, 에이전트(2)가 의도적으로 깜빡임을 하고 있는 표정으로 설정한다. 인간은 주위를 주시할 때에 눈을 깜빡이는 것을 자주 행하기 때문에, 이러한 표정의 설정에 의해, 주위 검지 센서(11)가 자차량의 주위에 존재하는 대상물(3)을 탐색하고 있다는 것을, 드라이버에게 직감적으로 파악시킬 수 있다.
도 5는 주위 검지 센서(11)가 대상물(3)을 검지한 경우의, 에이전트(2)의 표정의 일례를 나타내는 도면이다. 제어 장치(16)는 표정 설정 기능에 의해, 주위 검지 센서(11)가 대상물(3)을 검지한 경우에는, 예를 들어 도 5의 (A)에 나타낸 바와 같이, 에이전트(2)의 눈(21)을 크게 뜨는 표정으로 설정한다. 또한, 예를 들어 도 5의 (B)에 나타낸 바와 같이, 에이전트(2)에 눈썹이나 벌린 입을 더함과 함께, 소정 시간(예를 들어, 수초), 에이전트(2)의 얼굴의 색을 황색(도 5의 (B)에 나타내는 예에서는, 세선 사선으로 나타냄. 이하, 도 6의 (A), 도 10의 (A), 도 11의 (A), 도 14의 (B)도 마찬가지) 등으로 변화시켜도 된다. 인간은 주위에 대상물(3)이 있다는 것을 알아차리면 눈을 크게 뜨고 조금 놀란 표정을 짓거나, 안색을 바꾸거나 하는 것을 자주 행하기 때문에, 이러한 표정의 설정에 의해, 주위 검지 센서(11)가 대상물을 검지한 것을, 드라이버에게 직감적으로 파악시킬 수 있다.
도 6은 대상물(3)의 위치와 에이전트(2)의 표정의 관계를 설명하기 위한 도면이다. 또한, 도 6에 나타내는 예에서는, 인스트루먼트 패널 내에 설치된 디스플레이(14)로 에이전트(2)를 표시하는 장면을 예시하지만, 에이전트(2)의 표정을 알기 쉽게 설명하기 위해, 디스플레이(14)와 에이전트(2)를 실제보다도 확대하여 표시한다(도 7, 도 15에 있어서도 마찬가지). 제어 장치(16)는 표정 설정 기능에 의해, 주위 검지 센서(11)가 대상물(3)을 검지한 경우에는, 검지한 대상물(3)이 존재하는 위치에 기초하여, 에이전트(2)의 표정을 설정할 수도 있다.
즉, 제어 장치(16)는 표정 설정 기능에 의해, 주위 검지 센서(11)가 대상물(3)을 검지한 경우에, 예를 들어 도 6의 (A)에 나타낸 바와 같이, 에이전트(2)의 시선이, 검지한 대상물(3)이 존재하는 방향을 향하도록, 에이전트(2)의 눈동자(22)의 위치를 설정할 수도 있다. 구체적으로는, 제어 장치(16)는 표정 설정 기능에 의해, 대상물(3)이 보행자, 자전거, 바이크, 자동차, 노상 장해물, 구조물, 교통 신호기, 도로 표지인 경우에는, 도 6의 (A)에 나타낸 바와 같이, 대상물(3)로부터 에이전트(2)의 눈동자(22)까지의 거리가 최단으로 되도록, 에이전트(2)의 눈동자(22)의 위치를 설정할 수도 있다. 바꾸어 말하면, 에이전트(2)의 시선이, 대상물(3)이 존재하는 방향을 향하도록, 눈(21) 속의 눈동자(22)의 위치를 설정할 수도 있다. 또한, 제어 장치(16)는 표정 설정 기능에 의해, 대상물(3)이 레인 마크 또는 도로단인 경우에는, 레인 마크 또는 도로단의 중심 위치와 에이전트(2)의 눈동자(22)의 거리가 최단으로 되도록, 에이전트(2)의 눈동자(22)의 위치를 설정할 수도 있다. 바꾸어 말하면, 에이전트(2)의 시선이, 레인 마크 또는 도로단의 중심 위치의 방향을 향하도록, 눈(21) 속의 눈동자(22)의 위치를 설정할 수도 있다.
또한, 제어 장치(16)는 표정 설정 기능에 의해, 대상물(3)을 검지하고 나서 일정 시간이 경과하고, 주위 검지 센서(11)의 검지 상태가, 대상물(3)을 검지한 상태로부터 대상물(3)을 추적하고 있는 상태로 이행하면, 도 6의 (B)에 나타낸 바와 같이, 에이전트(2)의 표정을 초기 상태(도 3의 (A)에 나타내는 표정)로 복귀시킨다. 이 경우도, 제어 장치(16)는 표정 설정 기능에 의해, 에이전트(2)의 시선이, 검지한 대상물(3)이 존재하는 방향을 향하도록, 에이전트(2)의 눈동자(22)의 위치를 설정할 수도 있다.
이어서, 주위 검지 센서(11)가 대상물(3)을 추적하고 있는 경우의, 에이전트(2)의 표정의 설정 방법에 대하여 설명한다. 도 7은 주위 검지 센서(11)가 대상물(3)을 추적하고 있는 경우의, 에이전트(2)의 표정의 일례를 나타내는 도면이다. 제어 장치(16)는 표정 설정 기능에 의해, 주위 검지 센서(11)가 대상물(3)을 추적하고 있는 경우에, 예를 들어 도 7의 (A) 내지 (C)에 나타낸 바와 같이, 대상물(3)에 추종하여 에이전트(2)의 시선이 이동하도록, 에이전트(2)의 눈동자(22)의 위치를 이동시킬 수도 있다. 본 실시 형태에서는, 주위 검지 센서(11)는 자차량의 주위의 검지를 소정 시간 간격으로 반복해서 행하고 있고, 그 검지 결과를 주기적으로 제어 장치(16)로 송신하고 있다. 또한, 본 실시 형태에 있어서, 주위 검지 센서(11) 및 제어 장치(16)는 한번 검지한 대상물(3)의 특징(형상이나 색채 등)을 기억함으로써, 검지한 대상물(3)을 계속적으로 검지(추적)할 수 있다. 제어 장치(16)는 표정 설정 기능에 의해, 취득한 주위 검지 센서(11)의 검지 결과에 기초하여, 대상물(3)(추적 중인 대상물(3)을 포함함)의 위치를 반복해서 검지하여, 대상물(3)과 에이전트(2)의 눈동자(22)가 최단으로 되는 위치에 눈동자(22)를 반복해서 설정한다. 이에 의해, 제어 장치(16)는 표정 설정 기능에 의해, 도 7의 (A) 내지 (C)에 나타낸 바와 같이, 대상물(3)에 추종하여 에이전트(2)의 시선이 이동하도록, 에이전트(2)의 표정을 설정할 수도 있다.
또한, 제어 장치(16)는 표정 설정 기능에 의해, 주위 검지 센서(11)가 복수의 대상물(3)을 검지하고 있는 경우에는, 에이전트(2)가 복수의 대상물(3)을 교대로 보도록, 에이전트(2)의 표정을 설정할 수도 있다. 예를 들어, 주위 검지 센서(110)가 대상물(3A, 3B)인 2개의 대상물(3)을 검지하고 있는 경우에, 표정 설정 기능에 의해, 대상물(3A)과 에이전트(2)의 눈동자(22)가 최단으로 되는 위치에, 에이전트(2)의 눈동자(22)를 설정한다. 또한, 표정 설정 기능에 의해, 소정 시간 후에, 대상물(3B)과 에이전트(2)의 눈동자(22)가 최단으로 되는 위치로, 에이전트(2)의 눈동자(22)를 이동시킬 수도 있다. 그 후도 마찬가지로, 표정 설정 기능에 의해, 소정 시간 후에, 대상물(3A)과 에이전트(2)의 눈동자(22)가 최단으로 되는 위치로 에이전트(2)의 눈동자(22)를 이동하고, 그 소정 시간 후에, 대상물(3B)과 에이전트(2)의 눈동자(22)가 최단으로 되는 위치로 에이전트(2)의 눈동자(22)를 이동하는 것을 반복할 수도 있다. 또한, 상기 소정 시간은 특별히 한정되지 않지만, 예를 들어 1초간으로 할 수 있다.
도 8은 주위 검지 센서(11)가 대상물(3)을 놓친 경우의, 에이전트(2)의 표정의 일례를 예시한 것이다. 주위 검지 센서(11)가 대상물(3)을 놓친 경우에, 제어 장치(16)는 표정 설정 기능에 의해, 예를 들어 도 8에 나타낸 바와 같이, 에이전트(2)의 눈동자(22)의 위치를 좌우 교대로 이동시킴으로써, 에이전트(2)의 표정을, 대상물(3)을 찾고 있는 표정으로 설정할 수도 있다. 인간은 대상물(3)을 놓친 경우에 두리번거리는 경우가 많다는 점에서, 주위 검지 센서(11)가 대상물(3)을 놓친 것을, 드라이버에게 직감적으로 파악시킬 수 있다.
도 9는 주위 검지 센서(11)가 대상물(3)의 검지를 행하지 못하는 경우의, 에이전트(2)의 표정의 일례를 예시한 것이다. 비, 눈, 안개 등의 날씨나 야간 등의 주행 환경, 또는 주위 검지 센서(11)에 부착된 오염 등에 의해, 주위 검지 센서(11)가 대상물(3)의 검지를 행하지 못하는 경우가 있다. 이와 같은 경우에, 제어 장치(16)는 표정 설정 기능에 의해, 예를 들어 도 9에 나타낸 바와 같이, 에이전트(2)의 눈(21)을 감게 한 표정으로 설정한다. 인간의 눈이 감겨 있는 상태에서는 주위의 대상물은 보이지 않기 때문에, 이에 의해, 주위 검지 센서(11)가 대상물(3)의 검지를 행하지 못한다는 것을, 드라이버에게 직감적으로 파악시킬 수 있다.
상술한 실시 형태에서는 에이전트(2)를 자차량의 인스트루먼트 패널에 배치한 디스플레이(14)에 표시하고, 한편, 자차량의 주위를 촬상한 화상은 디스플레이(14)에 표시하지 않은 구성을 예시했다. 이 경우, 도 6의 (A), (B)에 나타낸 바와 같이, 보행자(대상물(3))가 자차량의 좌측 전방에서 검지된 경우에는, 에이전트(2)의 시선이, 자차량의 좌측 전방을 향하도록, 에이전트(2)의 표정이 설정된다. 그러나, 이와 같은 구성에 한정되지 않고, 이하와 같은 구성으로 해도 된다.
도 10은 디스플레이(14)에 자차량의 주위를 촬상한 화상을 표시하는 경우의, 에이전트(2)의 표시예를 나타내는 도면이다. 디스플레이(14)에 자차량의 주위를 촬상한 화상을 표시하는 경우에는, 제어 장치(16)는 표정 설정 기능에 의해, 에이전트(2)의 시선이, 디스플레이(14)에 표시된 대상물(3)의 방향을 향하도록, 에이전트(2)의 표정을 설정할 수도 있다. 도 10의 (A), (B)에 나타내는 예에서는, 디스플레이(14)의 상부에 에이전트(2)가 표시되고, 디스플레이(14)의 하부에 자차량의 주위를 촬상한 화상이 표시되어 있다. 이 경우, 표정 설정 기능에 의해, 도 10의 (A), (B)에 나타낸 바와 같이, 에이전트(2)의 시선이, 디스플레이(14)의 하부에 표시된 대상물(3)(나타내는 예에서는 선행 차량)의 방향을 향하도록, 에이전트(2)의 표정을 설정한다. 구체적으로는, 표정 설정 기능에 의해, 촬상 화상 내에 표시된 대상물(3)(나타내는 예에서는 선행 차량)과 에이전트(2)의 눈동자(22)의 거리가 최단으로 되는 위치에, 에이전트(2)의 눈동자(22)를 설정한다.
또한, 제어 장치(16)는 표정 설정 기능에 의해, 대상물(3)을 검지한 경우에는, 도 10의 (A)에 나타낸 바와 같이 에이전트(2)의 눈(21)을 크게 함과 함께, 에이전트(2)에 눈썹이나 벌린 입을 더하고, 에이전트(2)의 안색을 황색으로 설정해도 된다. 그리고, 소정 시간이 경과하여, 주위 검지 센서(11)의 검지 상태가, 대상물(3)을 검지한 상태로부터 대상물(3)을 추적하고 있는 상태로 이행한 경우에, 표정 설정 기능에 의해, 도 10의 (B)에 나타낸 바와 같이 에이전트(2)의 표정을 초기 상태로 복귀시켜도 된다.
도 11은 자차량의 주위에 존재하는 대상물(3)을 모방한 화상을, 디스플레이(14)에 표시하는 장면을 예시한 것이다. 도 11에 나타내는 예에서는, 자차량을 모방한 화상과, 자차량의 주위에 존재하는 대상물(3)(타차량)을 모방한 화상을 포함하는 부감 화상을, 디스플레이(14)에 표시한다. 도 11에 나타내는 예에 있어서, 타차량을 모방한 화상의 배치 위치는 자차량과 타차량의 실제의 상대 위치 및 상대 거리에 따른 화면 위의 위치로 되어 있다. 예를 들어, 도 11에 나타내는 예에서는, 타차량이 자차량의 전방을 주행하고 있기 때문에, 타차량을 모방한 화상이, 자차량을 모방한 화상의 전방의 위치에 배치되어 있다.
자차량의 주위에 존재하는 대상물을 모방한 화상을 디스플레이(14)에 표시하는 경우에, 자차량을 모방한 화상 위에 에이전트(2)를 중첩하여 표시해도 된다. 이때, 제어 장치(16)는 표정 설정 기능에 의해, 타차량의 위치에 기초하여, 에이전트(2)의 표정을 설정할 수도 있다. 구체적으로는, 제어 장치(16)는 표정 설정 기능에 의해, 도 11의 (A), (B)에 나타낸 바와 같이, 에이전트(2)의 시선이, 자차량의 전방에 존재하는 타차량(3)의 방향을 향하도록, 에이전트(2)의 표정을 설정한다.
도 11에 나타내는 장면에 있어서도, 제어 장치(16)는 표정 설정 기능에 의해, 대상물(3)을 검지한 경우에는, 도 11의 (A)에 나타낸 바와 같이, 에이전트(2)의 눈(21)을 크게 함과 함께, 에이전트(2)에 눈썹이나 벌린 입을 더하고, 에이전트(2)의 안색을 황색 등으로 설정해도 된다. 그리고, 소정 시간이 경과하여, 주위 검지 센서(11)의 검지 상태가, 대상물(3)을 검지한 상태로부터 대상물(3)을 추적하고 있는 상태로 이행한 경우에, 도 11의 (B)에 나타낸 바와 같이, 에이전트(2)의 표정을 초기 상태로 복귀시켜도 된다.
제어 장치(160)는 주행 제어 기능에 의해, 자차량의 자동 운전 주행을 제어할 수 있다. 구체적으로는, 제어 장치(16)는 주행 제어 기능에 의해, 주위 검지 센서(11)의 검지 결과와, 소정의 주행 조건(교통 법규 및 예정 주행 경로 등)에 기초하여, 구동 제어 장치(15)에, 엔진이나 브레이크 등의 구동 기구 및 스티어링 액추에이터 등의 전타 기구를 제어시킴으로써, 드라이버가 통상 행하는 운전 조작을, 자동으로 실행한다. 예를 들어, 제어 장치(16)는 주행 제어 기능에 의해, 자차량이 차선 내를 주행하도록, 구동 제어 장치(15)에, 스티어링 액추에이터 등의 동작을 제어시킴으로써, 자차량의 폭 방향에 있어서의 주행 위치를 제어하는 레인 유지 제어를 행한다. 또한, 제어 장치(16)는 주행 제어 기능에 의해, 자차량과 선행 차량이 일정한 차간 거리로 주행하도록, 구동 제어 장치(15)에, 엔진이나 브레이크 등의 구동 기구의 동작을 제어시킴으로써, 선행 차량에 자동으로 추종하는 추종 주행 제어를 행할 수도 있다. 또한, 제어 장치(16)는 주행 제어 기능에 의해, 주위 검지 센서(11)의 검지 결과나 소정의 주행 조건에 기초하여, 엔진이나 브레이크 등의 구동 기구 및 스티어링 액추에이터 등의 전타 기구를 제어시킴으로써, 교차점에서의 좌우 회전, 차선 변경 및 주정차 등을 자동으로 실행할 수도 있다.
이어서, 도 12를 참조하여, 제1 실시 형태에 관한 자동 운전 처리에 대하여 설명한다. 도 12는 제1 실시 형태에 관한 자동 운전 처리의 일례를 나타내는 흐름도이다. 또한, 이하에 설명하는 자동 운전 처리는 제어 장치(16)에 의해 실행된다. 먼저, 스텝 S101에서는 주행 제어 기능에 의해, 자동 운전 주행이 개시된다. 예를 들어, 주행 제어 기능에 의해, 드라이버가 자동 운전 스위치(도시하지 않음)를 온으로 설정한 경우에, 자동 운전 스위치로부터 자동 운전 주행의 개시 신호를 취득하여, 자동 운전 주행을 개시한다.
스텝 S102에서는, 검지 결과 취득 기능에 의해, 주위 검지 센서(11)의 검지 결과의 취득이 행해진다. 그리고, 스텝 S103에서는, 검지 상태 판정 기능에 의해, 스텝 S102에서 취득된 주위 검지 센서(11)의 검지 결과에 기초하여, 주위 검지 센서(11)의 검지 상태가 판정된다.
스텝 S104에서는, 표정 설정 기능에 의해, 스텝 S103에서 판정한 주위 검지 센서(11)의 검지 상태에 기초하여, 에이전트(2)의 표정의 설정이 행해진다. 예를 들어, 표정 설정 기능에 의해, 도 4 내지 도 9에 나타낸 바와 같이, 에이전트(2)의 표정을, 스텝 S103에서 판정한 주위 검지 센서(11)의 검지 상태에 대응하는 표정으로 설정한다.
스텝 S105에서는, 에이전트 표시 기능에 의해, 스텝 S104에서 설정된 에이전트(2)의 표정으로, 에이전트(2)를 디스플레이(14)의 화면에 표시하는 처리가 행해진다.
이상과 같이, 본 실시 형태에서는 주위 검지 센서(11)의 검지 상태에 기초하여, 디스플레이(14)에 표시할 에이전트(2)의 표정을 설정한다. 또한, 본 실시 형태에 있어서, 에이전트(2)는 적어도 눈(21)에 상당하는 부위를 갖고, 주위 검지 센서(11)의 검지 상태에 따라, 에이전트(2)의 눈(21)의 표시 형태를 설정함으로써, 주위 검지 센서(11)의 검지 상태를 표현할 수 있다. 예를 들어, 주위 검지 센서(11)가 대상물(3)을 탐색하고 있는 경우에는, 도 4에 나타낸 바와 같이, 눈을 뜬 상태와, 눈을 감은 상태를 반복시켜, 에이전트(2)가 대상물(3)을 탐색하고 있는 표정으로 설정한다. 또한, 주위 검지 센서(11)가 대상물을 검지한 경우에는, 도 5의 (A)에 나타낸 바와 같이, 에이전트(2)의 눈을 크게 함으로써, 에이전트(2)가 무엇인가를 알아차린 표정으로 설정한다. 또한, 주위 검지 센서(11)가 대상물(3)을 추적하고 있는 경우에는, 도 7의 (A) 내지 (C)에 나타낸 바와 같이, 대상물(3)에 추종하여 에이전트(2)의 눈동자(22)가 이동하도록, 에이전트(2)의 표정을 설정한다. 또한, 주위 검지 센서(11)가 대상물(3)을 놓친 경우에는, 도 8에 나타낸 바와 같이, 에이전트(2)의 눈동자(22)를 좌우 교대로 이동시킴으로써, 에이전트(2)가 놓친 대상물(3)을 찾는 표정으로 설정한다. 또한, 주위 검지 센서(11)가 대상물(3)의 검지를 실행하지 못하는 경우에는, 도 9에 나타낸 바와 같이, 에이전트(2)의 눈(21)을 감게 한 표정으로 설정한다. 이와 같이, 주위 검지 센서(11)의 검지 상태를 에이전트(2)의 표정으로 표현할 수 있기 때문에, 주위 검지 센서(11)의 검지 상태를 드라이버에게 직감적으로 파악시킬 수 있다.
또한, 자동 운전 주행을 행할 때, 주위 검지 센서(11)의 검지 상태를 드라이버가 파악하지 못하는 경우에는, 자동 운전 주행에 의해 자차량이 어떤 운전 주행을 행하는지, 혹은 대상물의 회피 등의, 필요한 운전 주행이 행해지는지를, 드라이버가 예측하는 것이 곤란해진다. 그러나, 본 실시 형태에 관한 자동 운전 장치(1)에서는 자동 운전 주행을 행할 때, 주위 검지 센서(11)의 검지 상태를, 의인화된 에이전트(2)를 매개물로 하여 표시하기 때문에, 주위 검지 센서(11)의 검지 상태를 드라이버에게 직감적으로 파악시킬 수 있다. 그 결과, 드라이버는 자동 운전 주행에 의해 행해지는 운전 주행, 예를 들어 보행자나 자전거의 튀어나옴에 대한 급정지 등을 예측할 수 있어, 드라이버에게 자동 운전에 대한 안심감을 부여할 수 있다. 또한, 주위 검지 센서(11)가 대상물을 검지하고 있지 않은 경우에는, 주위 검지 센서(110)가 대상물을 검지하고 있지 않음을 직감적으로 드라이버에게 파악시킬 수 있기 때문에, 주위 검지 센서(11)가 검지하고 있지 않은 대상물(3)이 자차량에 접근한 경우, 예를 들어 브레이크 조작 등, 드라이버에게 필요한 운전 조작을 행하도록 할 수 있다.
또한, 본 실시 형태에서는, 주위 검지 센서(11)가 대상물을 검지한 경우에, 도 6 및 도 7에 나타낸 바와 같이 에이전트(2)의 시선이, 대상물(3)이 존재하는 방향을 향하도록, 에이전트(2)의 눈동자(22)의 위치를 설정할 수도 있다. 이에 의해, 주위 검지 센서(11)가 검지한 대상물(3)(대상물의 위치)을 드라이버에게 적절히 파악시킬 수 있다.
또한, 본 실시 형태에서는 에이전트(2)를 사용하여 주위 검지 센서(11)의 검지 상태를 표시함으로써, 에이전트(2)를 사용하지 않는 경우에 비해, 주위 검지 센서(11)에 검지된 대상물(3)의 정보를 통합적으로 드라이버에게 전달할 수도 있다. 예를 들어, 디스플레이(14)에 표시한 촬상 화상 중에 있어서, 주위 검지 센서(11)에 의해 검지된 대상물(3)에, 검지되어 있는 것을 나타내는 프레임선을 중첩하여 표시하는 경우와 같이, 에이전트(2)를 사용하지 않는 경우에는, 주위 검지 센서(11)의 검지 정밀도가 높아질수록, 드라이버에게 제시되는 정보량은 많아진다. 즉, 촬상 화상의 정보와, 이것에 중첩하여 표시된 프레임선이 복잡하게 표시되기 때문에, 주위 검지 센서(11)의 검지 상태를, 드라이버에게 직감적으로 파악시키는 것이 곤란해진다. 이와 같은 경우라도, 에이전트(2)를 사용하여 주위 검지 센서(11)의 검지 상태를 통합적으로 표시함으로써, 드라이버가 촬상 화상 전체로부터 검지 상태를 판독하는 일 없이, 주위 검지 센서(11)의 검지 상태를 드라이버에게 직감적으로 파악시킬 수 있다.
《제2 실시 형태》
제2 실시 형태에 관한 자동 운전 장치에 대하여 설명한다. 제2 실시 형태에 관한 자동 운전 장치(1)는 도 1에 나타내는 제1 실시 형태에 관한 자동 운전 장치(1)와 동일한 구성을 갖고, 이하에 설명하는 바와 같이 동작하는 것 이외는, 상술한 제1 실시 형태와 마찬가지로 동작한다.
제2 실시 형태에 관한 제어 장치(16)는 제1 실시 형태의 기능에 더하여, 주위 검지 센서(11)에 의해 검지된 대상물(이하, 현재화(顯在化) 대상물이라고 함)에 기초하여, 드라이버에게 주의 환기를 행할지 여부를 판정하기 위한 현재화 판정값을 산출하는 현재화 판정값 산출 기능과, 주위 검지 센서(11)에 의해 검지되어 있지 않은 대상물(이하, 잠재화 대상물이라고 함)이 존재하는지 여부를 추정하여, 드라이버에게 주의 환기를 행할지 여부를 판정하기 위한 잠재화 판정값을 산출하는 잠재화 판정값 산출 기능을 갖는다.
먼저, 제어 장치(16)의 현재화 판정값 산출 기능에 대하여 설명한다. 현재화 판정값 산출 기능은 주위 검지 센서(11)의 검지 결과에 기초하여, 주위 검지 센서(11)에 의해 검지된 대상물(3)을 현재화 대상물로서 특정하는 기능이다. 이와 같은 현재화 대상물로서는, 예를 들어 주위 검지 센서(11)에 의해 검지된 보행자, 자전거, 바이크, 자동차, 노상 장해물, 구조물, 교통 신호기, 도로 표지, 레인 마크 및 도로단 등을 들 수 있다.
그리고, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 현재화 대상물이 보행자, 자전거, 바이크, 자동차, 노상 장해물, 구조물 등의 노상 입체물인 경우에는 자차량과 현재화 대상물의 접근도를 산출할 수 있다. 구체적으로는, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 주위 검지 센서(11)에 의해 검지한 현재화 대상물의 위치 정보 및 속도 정보, 자차 위치 검지 장치(13)에 의해 검지한 자차량의 위치 정보 및 차속 센서(12)에 의해 검지한 자차량의 속도 정보에 기초하여, 자차량으로부터 현재화 대상물까지의 거리, 현재화 대상물에 대한 TTC(Time to Contact), 또는 THW(Time Headway)를 산출한다. 그리고, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 자차량으로부터 현재화 대상물까지의 거리, TTC 또는 THW에 기초하여, 자차량과 현재화 대상물의 접근도(접근 가능성)를, 현재화 판정값으로서 산출한다. 예를 들어, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 자차량으로부터 현재화 대상물까지의 거리가 짧을수록, 또한 현재화 대상물에 대한 TTC가 짧을수록, 또한 현재화 대상물에 대한 THW(Time Headway)가 짧을수록, 현재화 판정값을 높게 산출한다.
또한, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 현재화 대상물이 레인 마크 또는 도로단 등의 선형 평면물인 경우에는, 자차량으로부터 현재화 대상물까지의 최단 거리, 또는 자차량과 현재화 대상물의 TLC(Time to Lane Crossing)를 산출할 수 있다. 그리고, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 자차량과 현재화 대상물의 최단 거리 또는 TLC에 기초하여, 현재화 판정값을 산출할 수 있다. 예를 들어, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 자차량으로부터 현재화 대상물까지의 최단 거리가 짧을수록, 또한 TLC가 짧을수록, 현재화 판정값을 높게 산출한다.
또한, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 현재화 대상물이 교통 신호기인 경우에는, 교통 신호기의 신호의 색에 기초하여, 현재화 판정값을 산출할 수 있다. 예를 들어, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 교통 신호기의 신호의 색이 황색인 경우에는 교통 신호기의 신호의 색이 청(녹)인 경우보다도, 현재화 판정값을 높게 산출한다. 또한, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 교통 신호기의 신호의 색이 적(赤)인 경우에는, 교통 신호기의 신호의 색이 황색인 경우보다도, 현재화 판정값을 높게 산출한다. 또한, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 교통 신호기의 신호의 색이 적색인 경우에 있어서, 자차량의 주행 속도가 빠를수록, 또한 자차량으로부터의 정지선까지의 거리가 짧을수록, 현재화 판정값을 높게 산출한다.
또한, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 현재화 대상물이 도로 표지인 경우에는, 법정 속도와 자차량의 주행 속도의 차에 기초하여, 현재화 판정값을 산출할 수 있다. 예를 들어, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 법정 속도와 자차량의 주행 속도의 차(자차량의 주행 속도-법정 속도)가 클수록, 현재화 판정값을 높게 산출한다.
또한, 복수의 현재화 대상물이 검지되어 있는 경우에 있어서, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 각각의 현재화 대상물에 대하여 현재화 판정값을 산출하고, 산출한 복수의 현재화 판정값 중 가장 높은 현재화 판정값을, 최종적인 현재화 판정값으로서 선택할 수 있다.
이와 같이 하여, 제어 장치(16)는 현재화 판정값 산출 기능에 의해, 주위 검지 센서(11)로 검지된 현재화 대상물에 기초하여, 자차량과 현재화 대상물의 접근도, 자차량이 차선 또는 도로로부터 일탈할 가능성, 자차량이 교통 법규를 일탈할 가능성을, 현재화 판정값으로서 평가할 수 있다.
이어서, 제어 장치(16)의 잠재화 판정값 산출 기능에 대하여 설명한다. 잠재화 판정값 산출 기능은 주위 검지 센서(11)에 의해 검지되어 있지 않은 대상물(잠재화 대상물)이 존재하는지 여부를 추정하고, 드라이버에게 주의 환기를 행할지 여부를 판정하기 위한 잠재화 판정값을 산출하는 기능이다.
구체적으로는, 제어 장치(16)는 잠재화 판정값 산출 기능에 의해, 정차 중인 버스나 주차 차량의 그림자로부터, 보행자나 자전거 등의 잠재화 대상물이 튀어나오는 경우가 적지 않으므로, 정차 중인 버스나 주차 차량의 검지를 행한다. 그리고, 제어 장치(16)는 잠재화 판정값 산출 기능에 의해, 정차 중인 버스나 주차 차량을 검지한 경우에는, 정차 중인 버스나 주차 차량의 그림자에 보행자나 자전거 등의 잠재화 대상물이 존재한다고 추정하고, 정차 중인 버스나 주차 차량을 검지하지 않은 경우에 비해, 잠재화 판정값을 높게 산출한다. 또한, 제어 장치(16)는 잠재화 판정값 산출 기능에 의해, 교통 신호기가 없는 횡단 보도나 교차점에 있어서 보행자나 자전거 등의 잠재화 대상물이 튀어나온다고 추정하고, 교통 신호기가 없는 횡단 보도나 교차점에 접근한 경우에는, 교통 신호기가 없는 횡단 보도나 교차점에 접근하고 있지 않은 경우에 비해, 잠재화 판정값을 높게 산출해도 된다.
또한, 제어 장치(16)는 잠재화 판정값 산출 기능에 의해, 주위 검지 센서(11)에 의해 검지되어 있지 않은 잠재화 대상물에 기초하여, 장래, 자차량이 차선이나 도로를 일탈할 가능성의 정도(가능성의 정도는 사상의 발생 확률이라고도 할 수 있음)를 예측하고, 예측한 가능성의 정도에 기초하여, 잠재화 판정값을 산출한다. 예를 들어, 제어 장치(16)는 잠재화 판정값 산출 기능에 의해, 지도 정보로부터 자차량의 전방에 커브가 있는지 여부를 판단하여, 자차량의 전방에 커브가 있는 경우에는, 자차량의 전방에 커브가 없는 경우에 비해, 장래, 자차량이 차선이나 도로를 일탈할 가능성의 정도(발생 확률)가 높아진다고 판단하여, 잠재화 판정값을 높게 산출한다. 또한, 제어 장치(16)는 잠재화 판정값 산출 기능에 의해, 커브의 곡률이 높을수록, 또한 자차량으로부터 커브까지의 거리가 짧을수록, 또한 자차량의 속도가 빠를수록, 잠재화 판정값을 높게 산출해도 된다.
이와 같이, 제어 장치(16)는 잠재화 판정값 산출 기능에 의해, 주위 검지 센서(11)에 의해 검지되어 있지 않은 잠재화 대상물의 존재를 추정하여(대상물(3)이 있다고 가정하여), 자차량과 잠재화 대상물이 접근할 가능성의 정도나, 자차량이 차선이나 도로로부터 장래 일탈할 가능성의 정도를, 드라이버에게 주의 환기를 행할지 여부를 판정하기 위한 잠재화 판정값으로서 산출한다.
또한, 제2 실시 형태에 관한 제어 장치(16)는 표정 설정 기능에 의해, 현재화 판정값 산출 기능에 의해 산출된 현재화 판정값 및 잠재화 판정값 산출 기능에 의해 산출된 잠재화 판정값에 기초하여, 에이전트(2)의 표정을 설정할 수 있다.
제어 장치(16)는 표정 설정 기능에 의해, 현재화 판정값이 소정의 제1 역치 이상으로 된 경우에는, 예를 들어 도 13의 (A)에 나타낸 바와 같이, 에이전트(2)의 눈(21)을 크게 함으로써, 에이전트(2)가 놀란 표정으로 설정한다. 또한, 제어 장치(16)는 표정 설정 기능에 의해, 현재화 판정값이 소정의 제1 역치 이상으로 된 경우에, 예를 들어 도 13의 (B)에 나타낸 바와 같이, 에이전트(2)에 눈썹과 벌린 입을 더하고, 또한, 에이전트(2)의 얼굴의 색을 적색(도 13의 (B)에서는 굵은선 사선으로 나타냄. 이하, 도 15의 (B), 도 16의 (B), 도 17의 (B)도 마찬가지.)으로 설정할 수도 있다. 이에 의해, 드라이버에게, 주위 검지 센서(11)에 의해 검지된 현재화 대상물에 대한 주의를 환기시킬 수 있다.
또한, 제어 장치(16)는 표정 설정 기능에 의해, 잠재화 판정값이 소정의 제2 역치 이상으로 된 경우에는, 예를 들어 도 14의 (A)에 나타낸 바와 같이, 에이전트(2)의 눈동자(22)를 좌우로 이동시킴으로써, 에이전트(2)를 불안한 표정으로 설정한다. 또한, 제어 장치(16)는 표정 설정 기능에 의해, 예를 들어 도 14의 (B)에 나타낸 바와 같이, 에이전트(2)의 눈동자(22)를 좌우로 이동시킴과 함께, 눈꼬리를 낮추고, 구각을 낮추고, 또한, 얼굴의 색을 황색으로 설정해도 된다. 이에 의해, 드라이버에게, 주위 검지 센서(11)에 의해 검지되어 있지 않은 잠재화 대상물에 대한 주의를 환기시킬 수 있다.
또한, 제어 장치(16)는 표정 설정 기능에 의해, 현재화 판정값이 제1 역치 이상인 경우에는, 예를 들어 도 15의 (A)에 나타낸 바와 같이, 현재화 대상물과 에이전트(2)의 눈동자(22)의 거리가 최단으로 되도록, 에이전트(2)의 눈동자(22)의 위치를 설정해도 된다. 이에 의해, 드라이버에게, 주위 검지 센서(11)가 검지하고 있는 현재화 대상물(현재화 대상물의 위치)을 파악시킬 수 있다. 또한, 제어 장치(16)는 표정 설정 기능에 의해, 예를 들어 도 15의 (B)에 나타낸 바와 같이, 에이전트(2)의 눈(21)을 크게 하고, 눈썹 및 벌린 입을 더하고, 또한 에이전트(2)의 안색을 적색으로 설정할 수도 있다. 이에 의해, 드라이버의 주의 환기를 보다 한층 촉진시킬 수 있다.
또한, 현재화 대상물이 이동하고 있는 경우에 있어서, 제어 장치(16)는 표정 설정 기능에 의해, 에이전트(2)의 시선이 현재화 대상물을 추종하도록, 에이전트(2)의 표정을 설정해도 된다. 예를 들어, 제어 장치(16)는 표정 설정 기능에 의해, 현재화 대상물과 에이전트(2)의 눈동자(22)가 최단으로 되는 위치로 에이전트(2)의 눈동자(22)를 반복해서 이동시킴으로써, 에이전트(2)의 시선을 현재화 대상물에 추종시켜도 된다.
또한, 제어 장치(16)는 표정 설정 기능에 의해, 카메라가 촬상한 현재화 대상물을 디스플레이(14)에 표시하는 경우에는, 예를 들어 도 16의 (A)에 나타낸 바와 같이 에이전트(2)의 시선이, 디스플레이(14)에 표시된 현재화 대상물(도 16의 (A)의 대상물(3)은 선행 차량)의 방향을 향하도록, 에이전트(2)의 표정을 설정해도 된다. 제어 장치(16)는 표정 설정 기능에 의해, 예를 들어 현재화 대상물인 선행 차량이 갑자기 감속하거나, 혹은 현재화 대상물인 타차량이 자차량의 전방으로 갑자기 끼어들어 옴으로써, 선행 차량에 대한 현재화 판정값이 제1 역치 이상으로 된 경우에는, 도 16의 (A)에 나타낸 바와 같이, 에이전트(2)의 눈(21)을 크게 함과 함께, 에이전트(2)의 시선이, 디스플레이(14)에 표시된 현재화 대상물(3)의 방향을 향하도록, 에이전트(2)의 표정을 설정해도 된다. 또한, 이와 같은 경우에, 제어 장치(16)는 표정 설정 기능에 의해, 도 16의 (B)에 나타낸 바와 같이, 에이전트(2)의 눈(21)을 크게 함과 함께, 눈썹 및 벌린 상태의 입을 더하고, 또한 에이전트(2)의 안색을 적색으로 변경할 수도 있다.
또한, 제어 장치(16)는 표정 설정 기능에 의해, 자차량의 주위에 존재하는 현재화 대상물을 모방한 화상을 디스플레이(14)에 표시하는 경우에는, 에이전트(2)의 시선이, 디스플레이(14)에 묘화된 현재화 대상물의 화상이 존재하는 방향을 향하도록, 에이전트(2)의 표정을 설정할 수 있다. 제어 장치(16)는 표정 설정 기능에 의해, 예를 들어 현재화 대상물인 선행 차량이 갑자기 감속하거나, 혹은 현재화 대상물인 타차량이 자차량의 전방으로 갑자기 끼어들어 옴으로써, 선행 차량에 대한 현재화 판정값이 제1 역치 이상으로 된 경우에는, 도 17의 (A)에 나타낸 바와 같이, 에이전트(2)의 시선이, 디스플레이(14)에 표시된 현재화 대상물(3)의 화상이 존재하는 방향을 향하도록, 에이전트(2)의 표정을 설정할 수 있다. 또한, 이와 같은 경우에, 제어 장치(16)는 표정 설정 기능에 의해, 도 17의 (B)에 나타낸 바와 같이, 에이전트(2)의 눈(21)을 크게 하고, 눈썹 및 벌린 입을 더하고, 또한 에이전트(2)의 안색을 적색으로 변경할 수도 있다.
이어서, 제2 실시 형태에 관한 자동 운전 처리에 대하여 설명한다. 도 18은 제2 실시 형태에 관한 자동 운전 처리의 일례를 나타내는 흐름도이다. 또한, 이하에 설명하는 자동 운전 처리는 제어 장치(16)에 의해 실행된다.
스텝 S201 내지 S203에서는, 제1 실시 형태의 스텝 S101 내지 S103과 동일한 처리가 행해진다. 즉, 자동 운전 주행이 개시되면(스텝 S201), 자차량의 주위에 존재하는 대상물(3)의 검지가 행해지고(스텝 S202), 그 검지 결과가 취득된다(스텝 S203).
스텝 S204에서는, 현재화 판정값 산출 기능에 의해, 스텝 S203에서 검지한 주위 검지 센서(11)의 검지 결과에 기초하여, 현재화 판정값의 산출이 행해진다. 예를 들어, 현재화 판정값 산출 기능에 의해, 자차량으로부터 현재화 대상물까지의 거리, 현재화 대상물에 대한 TTC 또는 THW를, 현재화 판정값으로서 산출한다.
그리고, 스텝 S205에서는, 현재화 판정값 산출 기능에 의해, 스텝 S204에서 산출된 현재화 판정값이 제1 역치 이상인지 여부의 판단이 행해진다. 제1 역치는 특별히 한정되지 않지만, 현재화 판정값이 제1 역치 이상인 경우에 드라이버의 주의를 환기하는 데 적합한 값을, 실험 등에 의해 적절히 설정하는 것이 바람직하다. 현재화 판정값이 제1 역치 이상인 경우에는 스텝 S206으로 진행하고, 현재화 판정값이 제1 역치 미만인 경우에는 스텝 S207로 진행한다.
스텝 S206에서는, 표정 설정 기능에 의해, 스텝 S204에서 산출된 현재화 판정값에 기초하여, 에이전트(2)의 표정이 설정된다. 예를 들어, 표정 설정 기능에 의해, 도 15의 (A), 도 16의 (A) 또는 도 17의 (A)에 나타낸 바와 같이, 에이전트(2)의 눈(21)을 크게 하거나, 혹은 도 15의 (B), 도 16의 (B), 도 17의 (B)에 나타낸 바와 같이, 에이전트(2)의 얼굴에 눈썹 및 벌린 입을 더하고, 또한 에이전트(2)의 안색을 적색으로 변경한다. 또한, 표정 설정 기능에 의해, 에이전트(2)의 눈동자(22)와 현재화 대상물의 거리가 최단으로 되도록, 에이전트(2)의 눈동자(22)의 위치도 설정한다.
한편, 스텝 S205에서, 현재화 판정값이 제1 역치 미만이라고 판단된 경우에는 스텝 S207로 진행한다. 스텝 S207에서는, 잠재화 판정값 산출 기능에 의해, 스텝 S203에서 취득한 검지 결과에 기초하여, 잠재화 판정값의 산출이 행해진다. 예를 들어, 잠재화 판정값 산출 기능에 의해, 주위 검지 센서(11)에 의해 검지되어 있지 않은 잠재화 대상물이 있다고 추정하고, 자차량과 잠재화 대상물의 접근도나, 자차량이 차선이나 도로단을 장래 일탈할 가능성의 정도를, 잠재화 판정값으로서 산출한다.
그리고, 스텝 S208에서는, 잠재화 판정값 산출 기능에 의해, 스텝 S207에서 산출된 잠재화 판정값이 제2 역치 이상인지 여부의 판단이 행해진다. 제2 역치는 특별히 한정되지 않지만, 잠재화 판정값이 제2 역치 이상인 경우에 드라이버의 주의를 환기하는 데 적합한 값을, 실험 등에 의해 적절히 설정하는 것이 바람직하다. 잠재화 판정값이 제2 역치 이상인 경우에는 스텝 S209로 진행한다. 스텝 S209에서는, 표정 설정 기능에 의해, 잠재화 판정값에 기초하여, 에이전트(2)의 표정이 설정된다. 예를 들어, 표정 설정 기능에 의해, 도 14의 (A), 도 14의 (B)에 나타낸 바와 같이 에이전트(2)를 불안한 표정으로 설정한다. 한편, 잠재화 판정값이 제2 역치 미만인 경우에는 에이전트(2)의 표정이 초기 상태로 설정되고, 그 후, 스텝 S210으로 진행한다.
스텝 S210에서는, 에이전트 표시 기능에 의해, 스텝 S206 또는 스텝 S209에서 설정된 표정으로, 에이전트(2)가 디스플레이(14)의 화면에 표시된다.
이상과 같이, 제2 실시 형태에서는 주위 검지 센서(11)에 의해 검지된 대상물(3)을 현재화 대상물로서 특정하고, 자차량과 현재화 대상물의 접근도, 자차량이 현재화 대상물인 레인 마크나 도로단을 넘어서 차선이나 도로를 일탈할 가능성의 정도 및 자차량이 현재화 대상물인 교통 신호기나 속도 표지가 나타내는 교통 법규를 위반할 가능성의 정도를, 현재화 판정값으로서 산출한다. 그리고, 현재화 판정값이 제1 역치 이상인 경우에는, 도 13의 (A), (B)에 나타낸 바와 같이, 에이전트(2)를 놀란 표정으로 설정한다. 이에 의해, 자차량과 현재화 대상물이 접근할 우려가 있다는 것, 자차량이 차선 또는 도로로부터 일탈할 우려가 있다는 것 및 자차량이 교통 법규를 위반할 우려가 있다는 것을, 드라이버에게 직감적으로 파악시킬 수 있고, 드라이버에게 주의를 환기시킬 수 있다.
또한, 제2 실시 형태에서는, 주위 검지 센서(11)로 검지되어 있지 않은 잠재화 대상물의 존재를 추정하고, 자차량과 잠재화 대상물(예를 들어, 보행자나 자전거)의 접근도나, 자차량이 잠재화 대상물(레인 마크나 도로단)을 넘어서 차선이나 도로를 일탈할 가능성의 정도를, 잠재화 판정값으로서 산출한다. 그리고, 잠재화 판정값이 제2 역치 이상인 경우에는, 도 14의 (A), (B)에 나타낸 바와 같이 에이전트(2)를 불안한 표정으로 설정한다. 이에 의해, 주위 검지 센서(11)에 의해 대상물(3)이 검지되어 있지 않은 경우라도, 자차량과 잠재화 대상물이 접근할 우려가 있다는 것 및 자차량이 차선 또는 도로를 장래 일탈할 우려가 있다는 것을, 드라이버에게 직감적으로 파악시킬 수 있고, 드라이버에게 주의를 환기시킬 수 있다.
또한, 이상에 설명한 실시 형태는 본 발명의 이해를 용이하게 하기 위해 기재된 것이며, 본 발명을 한정하기 위해 기재된 것은 아니다. 따라서, 상기한 실시 형태에 개시된 각 요소는 본 발명의 기술적 범위에 속하는 모든 설계 변경이나 균등물도 포함한다는 취지이다.
예를 들어, 상술한 제1 실시 형태에서는 주위 검지 센서(11)가 대상물(3)을 검지한 경우에, 도 5의 (A), (B)에 나타낸 바와 같이 에이전트(2)의 표정을 설정하는 구성을 예시했지만, 이 구성 대신에, 또는 이 구성에 더하여, 보행자나 자전거 등의 대상물(3)이 갑자기 튀어나온 경우에, 도 5의 (A), (B)에 나타낸 바와 같이, 에이전트(2)를 놀란 표정으로 설정해도 된다. 또한, 보행자나 자전거 등의 대상물(3)이 갑자기 튀어나왔는지 여부의 판단 방법은 특별히 한정되지 않고, 예를 들어, 대상물(3)의 식별 결과나 대상물(3)이 자차량에 접근하는 속도 등에 기초하여 판단할 수 있다.
또한, 상술한 제2 실시 형태에서는, 현재화 판정값이 소정의 제1 역치 이상으로 된 경우에, 도 13의 (A), (B)에 나타낸 바와 같이 에이전트(2)가 놀란 표정으로 설정하는 구성을 예시했지만, 이 구성에 한정되지 않고, 예를 들어 이하와 같은 구성으로 할 수도 있다. 즉, 자차량으로부터 현재화 대상물까지의 거리, TTC 또는 THW가 소정값 이하인 경우에는, 도 14의 (A), (B)에 나타낸 바와 같이 에이전트(2)를 불안한 표정으로 설정하고, 선행 차량의 급감속, 타차량의 갑작스런 끼어들기, 보행자나 자전거의 갑작스런 튀어나옴이 있는 경우에, 도 13의 (A), (B)에 나타낸 바와 같이 에이전트(2)를 놀란 표정으로 설정해도 된다.
또한, 상술한 실시 형태에서는, 에이전트(2)를 디스플레이(14)에 평면적으로 표시하는 구성을 예시했지만, 이 구성에 한정되지 않고, 예를 들어 에이전트(2)를 3D 디스플레이로 입체적으로 표시하는 구성이나, 에이전트(2)를 입체물로 구성해도 된다. 또한 에이전트(2)를 로보틱·에이전트 그 밖의 입체물 등으로 구성함으로써, 에이전트(2) 자체를 표시 장치로 해도 된다.
또한, 상술한 실시 형태에 관한 주위 검지 센서(11)는 본 발명의 검지기에 상당하고, 디스플레이(14)는 본 발명의 표시부 또는 표시 장치에 상당하고, 제어 장치(16)는 본 발명의 제어기에 상당한다.
1 : 자동 운전 장치
11 : 주위 검지 센서
12 : 차속 센서
13 : 자차 위치 검지 장치
14 : 디스플레이
15 : 구동 제어 장치
16 : 제어 장치
2 : 에이전트
21 : 눈
22 : 눈동자
3 : 대상물

Claims (13)

  1. 적어도 눈을 포함하는 얼굴을 모방한 화상이 표시되는, 차량에 탑재되는 표시 장치의 제어 방법이며,
    상기 차량의 주위의 대상물을 검지하는 검지기를 사용하여, 상기 대상물을 탐색하고 있는 상태, 상기 대상물을 검지한 상태, 상기 대상물을 추적하고 있는 상태, 상기 대상물을 놓친 상태 및 상기 대상물의 검지가 불능인 상태 중 어느 상태를 검지하고, 상기 검지기의 검지 결과에 기초하여 상기 검지기의 검지 상태를 판정하고,
    판정된 검지 상태에 기초하여, 상기 눈의 표시 형태를 설정하는 표시 장치의 제어 방법.
  2. 적어도 눈을 포함하는 얼굴을 모방한 화상이 표시되는, 차량에 탑재되는 표시 장치의 제어 방법이며,
    상기 차량의 주위의 대상물을 검지하는 검지기를 사용하여, 적어도 상기 대상물을 검지한 상태 및 상기 대상물의 검지가 불능인 상태를 검지하고, 상기 검지기의 검지 결과에 기초하여, 상기 검지기의 검지 상태를 판정하고,
    판정된 검지 상태가 상기 대상물을 검지한 상태인 경우는, 상기 눈을 크게 뜨는 표시 형태로 하고,
    판정된 검지 상태가 상기 대상물의 검지가 불능 상태인 경우는, 상기 눈을 감는 표시 형태로 하는 표시 장치의 제어 방법.
  3. 제1항 또는 제2항에 있어서, 상기 눈은 눈동자를 포함하고,
    검지된 대상물의 위치에 따라, 상기 대상물과 상기 눈동자의 거리가 최단으로 되는 위치에 상기 눈동자를 배치하는 표시 장치의 제어 방법.
  4. 제1항 또는 제2항에 있어서, 상기 검지기로 검지된 대상물을 현재화 대상물로서 특정하고,
    자차량과 상기 현재화 대상물의 접근도, 상기 자차량이 상기 현재화 대상물을 넘을 가능성의 정도 및 상기 자차량이 상기 현재화 대상물이 나타내는 교통 법규를 위반할 가능성의 정도 중 적어도 어느 것에 기초하여, 현재화 판정값을 산출하고,
    상기 현재화 판정값에 기초하여, 상기 얼굴을 모방한 화상의 표정을 설정하는 표시 장치의 제어 방법.
  5. 제4항에 있어서, 상기 현재화 대상물이 길 위의 입체물인 경우에, 상기 자차량과 상기 입체물의 접근도를, 상기 현재화 판정값으로서 산출하는 표시 장치의 제어 방법.
  6. 제4항에 있어서, 상기 현재화 대상물이 길 위의 레인 마크 또는 도로단인 경우에, 상기 자차량이 상기 레인 마크 또는 상기 도로단을 넘을 가능성의 정도를, 상기 현재화 판정값으로서 산출하는 표시 장치의 제어 방법.
  7. 제4항에 있어서, 상기 현재화 대상물이 교통 신호기인 경우에, 상기 교통 신호기의 신호의 색에 기초하여, 상기 자차량이 상기 교통 법규를 위반할 가능성의 정도를, 상기 현재화 판정값으로서 산출하는 표시 장치의 제어 방법.
  8. 제1항 또는 제2항에 있어서, 상기 검지기에 의해 검지되어 있지 않은 잠재화 대상물이 존재하는지 여부를 추정하고,
    상기 잠재화 대상물이 존재하는 경우에는, 자차량과 상기 잠재화 대상물의 접근도 및 상기 자차량이 상기 잠재화 대상물을 넘을 가능성의 정도 중 적어도 어느 것에 기초하여, 잠재화 판정값을 산출하고,
    상기 잠재화 판정값에 기초하여, 상기 얼굴을 모방한 화상의 표정을 설정하는 표시 장치의 제어 방법.
  9. 제1항 또는 제2항에 있어서, 자차량에 대하여 자동 운전 주행 제어가 행해지고 있는 경우에, 상기 검지기의 검지 상태에 기초하여, 상기 얼굴을 모방한 화상의 표정을 설정하는 표시 장치의 제어 방법.
  10. 제1항에 있어서, 상기 검지 상태가 상기 대상물을 탐색 중인 경우는, 상기 눈을 깜빡거리는 표시 형태로 하고,
    상기 검지 상태가 상기 대상물을 검지한 경우는, 상기 눈을 크게 뜨는 표시 형태로 하고,
    상기 검지 상태가 상기 대상물을 추종하고 있는 경우는, 상기 눈의 시선을 상기 대상물을 따라 이동하는 표시 형태로 하고,
    상기 검지 상태가 상기 대상물을 놓친 경우는, 상기 눈을 두리번거리는 표시 형태로 하고,
    상기 검지 상태가 상기 대상물의 검지가 불능인 경우는, 상기 눈을 감는 표시 형태로 하는 표시 장치의 제어 방법.
  11. 차량의 주위의 대상물을 검지하는 검지기와,
    적어도 눈을 포함하는 얼굴을 모방한 화상을 표시하는, 상기 차량에 탑재되는 표시부와,
    상기 검지기의 검지 상태를, 상기 얼굴을 모방한 화상을 매개물로 하여, 상기 표시부에 표시하는 제어기를 구비하고,
    상기 검지기는,
    상기 대상물을 탐색하고 있는 상태, 상기 대상물을 검지한 상태, 상기 대상물을 추적하고 있는 상태, 상기 대상물을 놓친 상태 및 상기 대상물의 검지가 불능인 상태 중 어느 상태를 검지하고,
    상기 제어기는,
    상기 검지기의 검지 결과에 기초하여, 상기 검지기의 검지 상태를 판정하고,
    판정된 검지 상태에 기초하여, 상기 눈의 표시 형태를 설정하는 차량용 표시 장치.
  12. 차량의 주위의 대상물을 검지하는 검지기와,
    적어도 눈을 포함하는 얼굴을 모방한 화상을 표시하는, 차량에 탑재되는 표시부와,
    상기 검지기의 검지 상태를, 상기 얼굴을 모방한 화상을 매개물로 하여, 상기 표시부에 표시하는 제어기를 구비하고,
    상기 검지기는 적어도 상기 대상물을 검지한 상태 및 상기 대상물의 검지가 불능인 상태를 검지하고,
    상기 제어기는,
    상기 검지기의 검지 결과에 기초하여, 상기 검지기의 검지 상태를 판정하고,
    판정된 검지 상태가 상기 대상물을 검지한 상태인 경우는, 상기 눈을 크게 뜨는 표시 형태로 하고,
    판정된 검지 상태가 상기 대상물의 검지가 불능 상태인 경우는, 상기 눈을 감는 표시 형태로 하는 차량용 표시 장치.
  13. 삭제
KR1020187020114A 2016-01-19 2016-11-25 표시 장치의 제어 방법 및 표시 장치 KR101999079B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2016-007580 2016-01-19
JP2016007580 2016-01-19
PCT/JP2016/085047 WO2017126221A1 (ja) 2016-01-19 2016-11-25 表示装置の制御方法および表示装置

Publications (2)

Publication Number Publication Date
KR20180094992A KR20180094992A (ko) 2018-08-24
KR101999079B1 true KR101999079B1 (ko) 2019-07-10

Family

ID=59362353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187020114A KR101999079B1 (ko) 2016-01-19 2016-11-25 표시 장치의 제어 방법 및 표시 장치

Country Status (11)

Country Link
US (1) US10522041B2 (ko)
EP (1) EP3407325A4 (ko)
JP (1) JP6604388B2 (ko)
KR (1) KR101999079B1 (ko)
CN (1) CN108604413B (ko)
BR (1) BR112018014530A2 (ko)
CA (1) CA3011209A1 (ko)
MX (1) MX371255B (ko)
MY (1) MY194457A (ko)
RU (1) RU2731676C2 (ko)
WO (1) WO2017126221A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7095337B2 (ja) * 2018-03-19 2022-07-05 トヨタ自動車株式会社 表示制御装置および表示制御方法
JP2019209917A (ja) * 2018-06-07 2019-12-12 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP2021072039A (ja) * 2019-11-01 2021-05-06 株式会社東海理化電機製作所 提示装置
MX2022005541A (es) 2019-11-12 2022-11-28 Nissan Motor Metodo de reconocimiento de semaforo y dispositivo de reconocimiento de semaforo.
JP7241005B2 (ja) * 2019-11-27 2023-03-16 京セラ株式会社 ヘッドアップディスプレイシステムおよび移動体
JP7310705B2 (ja) * 2020-05-18 2023-07-19 トヨタ自動車株式会社 エージェント制御装置、エージェント制御方法、及びエージェント制御プログラム
JP2022086420A (ja) * 2020-11-30 2022-06-09 本田技研工業株式会社 表示方法、及びシステム
JP2022119496A (ja) * 2021-02-04 2022-08-17 本田技研工業株式会社 車両用シートベルト装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291688A (ja) 2002-04-03 2003-10-15 Denso Corp 表示方法、運転支援装置、プログラム
JP2009265330A (ja) * 2008-04-24 2009-11-12 Panasonic Electric Works Co Ltd 映像表示装置
JP2010173342A (ja) 2009-01-27 2010-08-12 Nissan Motor Co Ltd 情報提供装置及び情報提供方法
JP5616531B2 (ja) 2011-09-21 2014-10-29 本田技研工業株式会社 車両周辺監視装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249720B1 (en) 1997-07-22 2001-06-19 Kabushikikaisha Equos Research Device mounted in vehicle
JP3873386B2 (ja) * 1997-07-22 2007-01-24 株式会社エクォス・リサーチ エージェント装置
JP2000267039A (ja) * 1999-03-15 2000-09-29 Shimadzu Corp ヘッドアップディスプレイ
JP2002046501A (ja) * 2001-06-13 2002-02-12 Hitachi Ltd 自動車の走行制御装置
WO2003100760A1 (fr) * 2002-05-29 2003-12-04 Yamaha Hatsudoki Kabushiki Kaisha Systeme d'indication de l'etat de produits, programme pour systeme d'indication de l'etat de produits, support d'enregistrement pour systeme d'indication de l'etat de produits
JP2006284454A (ja) * 2005-04-01 2006-10-19 Fujitsu Ten Ltd 車載用エージェントシステム
JP2006315489A (ja) * 2005-05-11 2006-11-24 Toyota Motor Corp 車両周囲警報装置
JP4720386B2 (ja) * 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
JP4952421B2 (ja) 2007-07-18 2012-06-13 株式会社デンソー 運転支援システム
JP5055166B2 (ja) * 2008-02-29 2012-10-24 キヤノン株式会社 眼の開閉度判定装置、方法及びプログラム、撮像装置
JP5187517B2 (ja) * 2008-11-27 2013-04-24 株式会社デンソーアイティーラボラトリ 情報提供装置、情報提供方法およびプログラム
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
CN101692980B (zh) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
JP5723561B2 (ja) 2010-09-29 2015-05-27 富士重工業株式会社 運転支援装置
WO2012172923A1 (ja) * 2011-06-16 2012-12-20 アイシン精機株式会社 車両周辺監視装置
JP6193222B2 (ja) 2011-06-17 2017-09-06 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車道上で車両を誘導する際に運転者を支援する機能を実現させるためのプログラム、およびそれを実行するための装置
US9396401B2 (en) * 2011-11-01 2016-07-19 Aisin Seiki Kabushiki Kaisha Obstacle alarm device
EP2639781A1 (en) * 2012-03-14 2013-09-18 Honda Motor Co., Ltd. Vehicle with improved traffic-object position detection
US9200790B2 (en) * 2012-06-29 2015-12-01 Hallmark Cards, Incorporated Decorative object that produces a complimentary shadow design
DE102014003550A1 (de) 2014-03-12 2014-09-18 Daimler Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
JP6537780B2 (ja) * 2014-04-09 2019-07-03 日立オートモティブシステムズ株式会社 走行制御装置、車載用表示装置、及び走行制御システム
US10446055B2 (en) * 2014-08-13 2019-10-15 Pitchvantage Llc Public speaking trainer with 3-D simulation and real-time feedback

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291688A (ja) 2002-04-03 2003-10-15 Denso Corp 表示方法、運転支援装置、プログラム
JP2009265330A (ja) * 2008-04-24 2009-11-12 Panasonic Electric Works Co Ltd 映像表示装置
JP2010173342A (ja) 2009-01-27 2010-08-12 Nissan Motor Co Ltd 情報提供装置及び情報提供方法
JP5616531B2 (ja) 2011-09-21 2014-10-29 本田技研工業株式会社 車両周辺監視装置

Also Published As

Publication number Publication date
CN108604413A (zh) 2018-09-28
CN108604413B (zh) 2020-06-16
KR20180094992A (ko) 2018-08-24
RU2018129960A3 (ko) 2020-04-17
MY194457A (en) 2022-11-30
BR112018014530A2 (pt) 2018-12-11
WO2017126221A1 (ja) 2017-07-27
RU2018129960A (ru) 2020-02-20
EP3407325A4 (en) 2019-07-03
RU2731676C2 (ru) 2020-09-07
US10522041B2 (en) 2019-12-31
EP3407325A1 (en) 2018-11-28
MX371255B (es) 2020-01-23
CA3011209A1 (en) 2017-07-27
US20190027039A1 (en) 2019-01-24
JP6604388B2 (ja) 2019-11-20
MX2018008214A (es) 2018-09-07
JPWO2017126221A1 (ja) 2018-12-06

Similar Documents

Publication Publication Date Title
KR101999079B1 (ko) 표시 장치의 제어 방법 및 표시 장치
US11008016B2 (en) Display system, display method, and storage medium
US10286907B2 (en) Vehicle and lane change timing determination method
US9734390B2 (en) Method and device for classifying a behavior of a pedestrian when crossing a roadway of a vehicle as well as passenger protection system of a vehicle
CN107176165B (zh) 车辆的控制装置
CN107787282B (zh) 用于自动化车辆的具有可变辅助的认知驾驶员辅助
JP6592074B2 (ja) 車両制御装置、車両制御方法、プログラム、および情報取得装置
JP7205154B2 (ja) 表示装置
WO2018029978A1 (ja) 車外表示処理装置及び車外表示システム
CN112141124A (zh) 用于车辆的辅助驾驶系统及其操作方法
CN111824126B (zh) 车辆控制系统
WO2016170647A1 (ja) オクルージョン制御装置
CN112158132A (zh) 用于自动化车辆的利用可变警报的认知型驾驶员辅助
CN109318894B (zh) 车辆驾驶辅助系统、车辆驾驶辅助方法及车辆
CN110371018B (zh) 使用其他车辆车灯的信息改善车辆行为
JP6720732B2 (ja) 車両の制御装置
US11414099B2 (en) Dynamic stop time threshold selection for hands-free driving
JP2021039659A (ja) 運転支援装置
JP6970215B2 (ja) 車両制御装置、それを有する車両、および制御方法
US20210291736A1 (en) Display control apparatus, display control method, and computer-readable storage medium storing program
JP2020032786A (ja) 停車支援装置
JP2022068115A (ja) 適応可能な後突警報のためのシステムと方法
JP7158655B2 (ja) 停車支援装置
JP2020032781A (ja) 停車支援装置
JP7432198B2 (ja) 状況認識推定システム及び運転支援システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant