KR20210043566A - 정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20210043566A
KR20210043566A KR1020217002914A KR20217002914A KR20210043566A KR 20210043566 A KR20210043566 A KR 20210043566A KR 1020217002914 A KR1020217002914 A KR 1020217002914A KR 20217002914 A KR20217002914 A KR 20217002914A KR 20210043566 A KR20210043566 A KR 20210043566A
Authority
KR
South Korea
Prior art keywords
driver
unit
face
detection unit
vehicle
Prior art date
Application number
KR1020217002914A
Other languages
English (en)
Inventor
히로카즈 하시모토
히데아키 이마이
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20210043566A publication Critical patent/KR20210043566A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Abstract

정보 처리 장치는, 외부 검지부에 의해 검지된 데이터에 기초하여, 이동체의 외부에 존재하는 물체를 검출하는 외부 정보 검출부(141)와, 내부 검지부에 의해 검지된 데이터에 기초하여, 상기 이동체의 내부의 운전자의 얼굴 방향을 검출하는 내부 정보 검출부(142)와, 상기 외부 정보 검출부(141)로 검출된 상기 물체의 위치와, 상기 내부 정보 검출부(142)로 검출된 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하는 판정부(155)와, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 상기 운전자에 대한 경고를, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인 경우에 비하여, 강하게 출력시키는 출력 제어부(105)를 갖는다.

Description

정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램
본 개시는, 정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램에 관한 것이다.
운전 중의 운전자의 각성도를 판정하고, 각성도가 낮은 경우에, 차량 주변의 장해물과 차량의 충돌 가능성을 나타내는 위험도에 따라서, 스피커로부터 발하는 경보의 음량을 변경하는 기술이 알려져 있다.
일본 특허 공개 제2009-116693호 공보
그러나, 상기 종래 기술에서는, 운전자의 각성도가 높은 경우에는, 처리가 이루어지지 않는다. 그 때문에, 운전자의 각성도가 높은 상태에서, 차량에 충돌할 가능성이 있는 물체를 운전자가 인식하지 못한 경우에는, 경보가 통지되지 않고, 그 물체에 대한 운전자의 인식이 지연되어버린다고 하는 문제점이 있다.
그래서, 본 개시에서는, 차량의 주변에 존재하는 물체에 대한 운전자의 인식도에 따라서, 운전자에 대한 통지 내용을 변경할 수 있는 정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램을 제안한다.
본 개시에 의하면, 정보 처리 장치는, 외부 검지부에 의해 검지된 데이터에 기초하여, 이동체의 외부에 존재하는 물체를 검출하는 외부 정보 검출부와, 내부 검지부에 의해 검지된 데이터에 기초하여, 상기 이동체의 내부의 운전자의 얼굴 방향을 검출하는 내부 정보 검출부와, 상기 외부 정보 검출부로 검출된 상기 물체의 위치와, 상기 내부 정보 검출부로 검출된 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하는 판정부와, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 상기 운전자에 대한 경고를, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인 경우에 비하여, 강하게 출력시키는 출력 제어부를 갖는다.
본 개시에 의하면, 차량의 주변에 존재하는 물체에 대한 운전자의 인식도에 따라서, 운전자에 대한 통지 내용을 변경할 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니라, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은 본 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 기능의 구성예를 나타내는 블록도이다.
도 2a는 차외 정보를 취득하는 데이터 취득부의 배치 위치의 일례를 나타내는 도면이다.
도 2b는 차내 정보를 취득하는 데이터 취득부의 배치 위치의 일례를 나타내는 도면이다.
도 3은 운전자의 얼굴 방향과 인식 범위의 일례를 나타내는 도면이다.
도 4는 본 개시의 실시 형태에 의한 정보 처리 방법의 처리의 일례를 나타내는 흐름도이다.
도 5는 운전자의 얼굴 방향의 검출 처리의 수순의 일례를 나타내는 흐름도이다.
도 6은 실시 형태에 의한 정보 처리 방법에서의 상황 인식용 맵의 일례를 나타내는 도면이다.
도 7은 실시 형태에 의한 전체 안전도와 운전자의 인식도의 조합에 대한 통지 내용의 일례를 나타내는 도면이다.
도 8은 운전자의 얼굴 방향의 일례를 모식적으로 나타내는 도면이다.
도 9는 실시 형태에 의한 전체 안전도와 운전자의 인식도의 조합에 대한 통지 방법의 일례를 나타내는 도면이다.
도 10은 차량 내의 표시 장치의 배치 위치의 일례를 나타내는 도면이다.
도 11은 실시 형태의 변형예에 의한 검출한 동체와 운전자의 얼굴 방향의 매핑 처리의 수순의 일례를 나타내는 흐름도이다.
도 12는 실시 형태의 변형예에서의 운전자의 얼굴 방향의 일례를 나타내는 도면이다.
도 13은 실시 형태에 의한 정보 처리 장치의 기능을 실현하는 컴퓨터의 일례를 나타내는 하드웨어 구성도이다.
이하에, 본 개시의 실시 형태에 대하여 도면에 기초하여 상세히 설명한다. 또한, 이하의 각 실시 형태에 있어서, 동일한 부위에는 동일한 번호를 부여함으로써 중복되는 설명을 생략한다.
(실시 형태)
[실시 형태에 따른 시스템의 구성]
도 1은, 본 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 기능의 구성예를 나타내는 블록도이다.
또한, 이하, 차량 제어 시스템(100)이 마련되어 있는 차량을 다른 차량과 구별하는 경우, 자차 또는 자차량이라고 칭한다.
차량 제어 시스템(100)은 입력부(101), 데이터 취득부(102), 통신부(103), 차내 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 바디계 제어부(109), 바디계 시스템(110), 기억부(111), 및 자동 운전 제어부(112)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 바디계 제어부(109), 기억부(111), 및 자동 운전 제어부(112)는, 통신 네트워크(121)를 통해 서로 접속되어 있다. 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network), 또는 FlexRay(등록상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크 또는 버스 등을 포함한다. 또한, 차량 제어 시스템(100)의 각 부는, 통신 네트워크(121)를 통하지 않고, 직접 접속되는 경우도 있다.
또한, 이하, 차량 제어 시스템(100)의 각 부가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 통신 네트워크(121)의 기재를 생략하기로 한다. 예를 들어, 입력부(101)와 자동 운전 제어부(112)가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 단순히 입력부(101)와 자동 운전 제어부(112)가 통신을 행한다고 기재한다. 또한, 자동 운전 제어부(112), 출력 제어부(105), 출력부(106) 및 기억부(111)가 정보 처리 장치에 상당한다.
입력부(101)는, 탑승자가 각종 데이터 또는 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등의 조작 디바이스, 그리고, 음성 또는 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 그 밖의 전파를 이용한 리모트 컨트롤 장치, 또는 차량 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기여도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터 또는 지시 등에 기초하여 입력 신호를 생성하고, 차량 제어 시스템(100)의 각 부에 공급한다.
데이터 취득부(102)는, 차량 제어 시스템(100)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를 차량 제어 시스템(100)의 각 부에 공급한다.
예를 들어, 데이터 취득부(102)는, 자차의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(Inertial Measurement Unit: IMU), 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 외부 정보를 검출하기 위한 각종 센서인 외부 검지부를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라, 및 그 밖의 카메라 등의 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서 및 자차의 주위 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗 방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등을 포함한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 차내의 정보를 검출하기 위한 각종 센서인 내부 검지부를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 운전자를 촬상하는 촬상 장치(Driver Monitering System: 이하, 'DMS'라고 함), 운전자의 생체 정보를 검출하는 생체 센서, 및 차량 실내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되고, 좌석에 앉아 있는 탑승자 또는 스티어링 휠을 잡고 있는 운전자의 생체 정보를 검출한다. DMS로서, 카메라 또는 ToF 카메라 등을 사용할 수 있다. 특히, 터널 내 또는 야간의 암흑에서도 고정밀도로 운전자를 모니터링할 수 있는 ToF 카메라를 사용하는 것이 바람직하다. 또한, DMS는, 운전자의 시선을 검지하는 시선 센서여도 된다. 시선 센서로서, 예를 들어 적외선을 운전자의 눈에 조사하고, 반사광의 각막 상의 위치와 동공의 위치에 기초하여 시선을 검출하는 것 등을 사용할 수 있다.
도 2a는, 차외 정보를 취득하는 데이터 취득부의 배치 위치의 일례를 나타내는 도면이며, 도 2b는, 차내 정보를 취득하는 데이터 취득부의 배치 위치의 일례를 나타내는 도면이다. 도 2a에 도시한 바와 같이, 차외를 촬상하는 촬상 장치(7910, 7912, 7914, 7916)는, 각각 자차 차량(7900)의 프론트 노즈, 사이드미러, 리어 범퍼에 마련된다. 프론트 노즈에 구비되는 촬상 장치(7910)는, 주로 차량(7900)의 전방의 화상을 취득한다. 사이드미러에 구비되는 촬상 장치(7912, 7914)는, 주로 차량(7900)의 측방의 화상을 취득한다. 리어 범퍼에 구비되는 촬상 장치(7916)는, 주로 차량(7900)의 후방의 화상을 취득한다. 프론트 노즈의 촬상 장치(7910)는, 앞유리의 상부에 마련되어도 된다. 리어 범퍼의 촬상 장치(7916)는, 백 도어에 마련되어도 된다.
또한, 도 2a에는, 각각의 촬상 장치(7910, 7912, 7914, 7916)의 촬상 범위 a 내지 d의 일례가 도시되어 있다. 촬상 범위 a는, 프론트 노즈에 마련된 촬상 장치(7910)의 촬상 범위를 나타내고, 촬상 범위 b, c는, 각각 사이드미러에 마련된 촬상 장치(7912, 7914)의 촬상 범위를 나타낸다. 또한, 촬상 범위 d는, 리어 범퍼에 마련된 촬상 장치(7916)의 촬상 범위를 나타낸다.
또한, 도 2a에서는, 촬상 장치(7910, 7912, 7914, 7916)의 배치 위치의 예를 나타냈지만, 촬상 장치 이외의 차외 정보 검출 장치(7920, 7922, 7924, 7926, 7928, 7930)여도 된다. 예를 들어, 차량(7900)의 프론트, 리어, 사이드, 코너 및 차내의 앞유리의 상부에, 차외 정보 검출 장치(7920, 7922, 7924, 7926, 7928, 7930)인 초음파 센서 또는 레이더 장치를 배치해도 된다. 또한, 차량(7900)의 프론트 노즈, 리어 범퍼, 백 도어 또는 차량 실내의 앞유리의 상부에, 차외 정보 검출 장치(7920, 7926, 7930)인 LiDAR 장치를 마련해도 된다.
도 2b에 도시한 바와 같이, DMS(5030)는, 인스트루먼트 패널(5020)의 상부 대시보드(5010)에 마련되고, 운전석에 착석하는 운전자의 얼굴을 포함하는 상반신을 촬상한다.
도 1로 되돌아가서, 통신부(103)는 차내 기기(104), 그리고, 차외의 다양한 기기, 서버, 기지국 등과 통신을 행하고, 차량 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 차량 제어 시스템(100)의 각 부에 공급하거나 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것이 아니고, 또한 통신부(103)가, 복수 종류의 통신 프로토콜을 서포트하는 것도 가능하다.
예를 들어, 통신부(103)는 무선 LAN, Bluetooth(등록상표), NFC(Near Field Communication), 또는 WUSB(Wireless USB) 등에 의해, 차내 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는 도시하지 않은 접속 단자(및, 필요하면 케이블)를 통해 USB(Universal Serial Bus), HDMI(등록상표)(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등에 의해 차내 기기(104)와 유선 통신을 행한다.
또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통해 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크)상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 사용하여, 자차의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 자차와 자택 사이(Vehicle to Home)의 통신, 및 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하고, 도로 위에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하고, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.
차내 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 자차에 반입되거나 혹은 설치되는 정보 기기, 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.
출력 제어부(105)는, 운전자에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하고, 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성된 화상을 포함하는 출력 신호를 출력부(106)에 공급한다.
또한, 예를 들어 출력 제어부(105)는, 운전자의 물체에 대한 인식도에 따라서, 충돌에 대한 경고인 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성된 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다. 이때, 출력 제어부(105)는, 데이터 취득부(102)의 촬상 장치에 의해 촬상된 외부의 화상에, 운전자의 인식도에 따른 충돌에 대한 경고인 경고 표시 등을 겹친 화상 데이터를 생성하고, 생성된 화상 데이터를 포함하는 출력 신호를 출력부(106)에 공급해도 된다. 물체에는, 이동하고 있는 물체(동체)와, 정지하고 있는 물체가 포함된다.
출력 제어부(105)는, 물체의 인식도뿐만 아니라, 자차에 대한 주위 물체의 안전도와 운전자의 물체에 대한 인식도의 조합에 따라서 음성 데이터를 생성해도 된다. 이때, 출력 제어부(105)는, 외부의 화상에, 물체의 안전도와 운전자의 인식도의 조합에 따른 화상 데이터를 생성해도 된다.
출력부(106)는, 자차의 탑승자에 대하여, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다.
구동계 제어부(107)는 각종 제어 신호를 생성하고, 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하고, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.
구동계 시스템(108)은 자차의 구동계에 관련된 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고, 전동 파워 스티어링 장치 등을 구비한다.
바디계 제어부(109)는 각종 제어 신호를 생성하고, 바디계 시스템(110)에 공급함으로써, 바디계 시스템(110)의 제어를 행한다. 또한, 바디계 제어부(109)는, 필요에 따라 바디계 시스템(110) 이외의 각 부에 제어 신호를 공급하고, 바디계 시스템(110)의 제어 상태의 통지 등을 행한다.
바디계 시스템(110)은 차체에 장비된 바디계의 각종 장치를 구비한다. 예를 들어, 바디계 시스템(110)은 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 파워 시트, 스티어링 휠, 공조 장치, 및 각종 램프(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 방향지시등, 포그 램프 등) 등을 구비한다.
기억부(111)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 및 광자기 기억 디바이스 등을 구비한다. 기억부(111)는, 차량 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(111)는 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮아, 넓은 에어리어를 커버하는 글로벌 맵, 및 자차 주위의 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.
자동 운전 제어부(112)는, 자율 주행 또는 운전 지원 등의 자동 운전에 관한 제어를 행한다. 구체적으로는, 예를 들어 자동 운전 제어부(112)는, 자차의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 자차의 충돌 경고, 또는 자차의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자동 운전 제어부(112)는, 운전자의 조작에 의거하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 자동 운전 제어부(112)는 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134), 및 동작 제어부(135)를 구비한다.
검출부(131)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는 외부 정보 검출부인 차외 정보 검출부(141), 내부 정보 검출부인 차내 정보 검출부(142), 및 차량 상태 검출부(143)를 구비한다.
차외 정보 검출부(141)는, 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차의 외부 정보 검출 처리를 행한다. 예를 들어, 차외 정보 검출부(141)는 자차 주위의 물체 검출 처리, 인식 처리, 및 추적 처리, 그리고, 물체까지의 거리의 검출 처리를 행한다. 검출 대상이 되는 물체에는, 예를 들어 차량, 사람, 장해물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 차외 정보 검출부(141)는, 자차 주위의 환경의 검출 처리를 행한다. 검출 대상이 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기, 및 노면의 상태 등이 포함된다. 차외 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152), 및 상황 인식부(153), 그리고, 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차내 정보 검출부(142)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차내의 정보 검출 처리를 행한다. 예를 들어, 차내 정보 검출부(142)는, 운전자의 인식 처리, 및 운전자의 상태 검출 처리 등을 행한다. 검출 대상이 되는 운전자의 상태에는, 예를 들어 몸의 상태, 각성도, 집중도, 피로도, 얼굴의 방향 등이 포함된다. 검출 대상이 되는 차내의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 차내 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153), 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차내 정보 검출부(142)에 의한 얼굴 방향의 검출은, 데이터 취득부(102)의 DMS에 의한 촬상 데이터로부터, 기계 학습을 사용해서 운전자의 얼굴을 인식함으로써 행해진다. 또한, 이하에서는, 운전자의 얼굴 방향을 검출하는 경우를 설명하지만, 통상 시선 방향과 얼굴의 방향이 일치하는 경우가 많으므로, 운전자의 얼굴 방향에는, 시선 방향이 포함되는 것으로 한다. 또한, 얼굴의 방향을 검출하는 경우에는, DMS로서 카메라가 사용되지만, 시선 방향을 검출하는 경우에는, DMS로서 시선 센서가 사용된다.
차량 상태 검출부(143)는, 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차의 상태 검출 처리를 행한다. 검출 대상이 되는 자차의 상태에는, 예를 들어 속도, 가속도, 타각, 이상의 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고, 그 밖의 차량 탑재 기기의 상태 등이 포함된다. 차량 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153), 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
자기 위치 추정부(132)는, 차외 정보 검출부(141) 및 상황 분석부(133)의 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라 자기 위치의 추정에 사용하는 로컬 맵(이하, '자기 위치 추정용 맵'이라고 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어SLAM(Simultaneous Localization and Mapping) 등의 기술을 사용한 고정밀도의 맵으로 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(111)에 기억시킨다.
상황 분석부(133)는 자차 및 주위의 상황 분석 처리를 행한다. 상황 분석부(133)는 맵 해석부(151), 교통 룰 인식부(152), 상황 인식부(153), 상황 예측부(154), 및 판정부(155)를 구비한다.
맵 해석부(151)는 자기 위치 추정부(132) 및 차외 정보 검출부(141) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호를 필요에 따라 사용하면서, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하고, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을 교통 룰 인식부(152), 상황 인식부(153), 상황 예측부(154), 그리고, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
교통 룰 인식부(152)는 자기 위치 추정부(132), 차외 정보 검출부(141), 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차의 주위 교통 룰의 인식 처리를 행한다. 이 인식 처리에 의해, 예를 들어 자차의 주위 신호 위치 및 상태, 자차의 주위 교통 규제 내용, 그리고, 주행 가능한 차선 등이 인식된다. 교통 룰 인식부(152)는, 인식 처리의 결과를 나타내는 데이터를 상황 예측부(154) 등에 공급한다.
상황 인식부(153)는 자기 위치 추정부(132), 차외 정보 검출부(141), 차내 정보 검출부(142), 차량 상태 검출부(143), 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(153)는 자차의 상황, 자차의 주위 상황 및 자차의 운전자 상황 등의 인식 처리를 행한다.
또한, 상황 인식부(153)는, 자차의 주위 상황 및 운전자의 얼굴 방향의 인식에 사용하는 로컬 맵(이하, '상황 인식용 맵'이라고 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map)여도 되고, SLAM 등의 기술을 사용한 고정밀도의 맵이어도 된다. 상황 인식용 맵은, 예를 들어 데이터 취득부(102)로 취득된 자차의 외부 정보를 나타내는 좌표계와, 데이터 취득부(102)로 취득된 운전자의 얼굴 방향을 나타내는 좌표계를 맞추기 위한 공간 정보이다. 상황 인식용 맵은, 예를 들어 자차의 후륜축의 중심을 원점으로 한 좌표계로 표현된다. 이 상황 인식용 맵에, 데이터 취득부(102)로 검출된 자차에 대하여 상대 속도를 갖는 물체(이하, '동체'라고 칭함)와, 운전자의 얼굴 방향이 매핑된다.
인식 대상이 되는 자차의 상황에는, 예를 들어 자차의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고, 이상의 유무 및 내용 등이 포함된다. 인식 대상이 되는 자차의 주위 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 그리고 주위의 동체 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로 구성 및 노면의 상태, 그리고, 주위의 날씨, 기온, 습도 및 밝기 등이 포함된다. 인식 대상이 되는 운전자의 상태에는, 예를 들어 몸의 상태, 각성도, 집중도, 피로도, 얼굴의 방향, 시선의 움직임, 그리고, 운전 조작 등이 포함된다.
상황 인식부(153)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라 상황 인식용 맵을 포함함)를 자기 위치 추정부(132), 상황 예측부(154) 및 판정부(155) 등에 공급한다. 또한, 상황 인식부(153)는, 상황 인식용 맵을 기억부(111)에 기억시킨다.
상황 예측부(154)는, 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(154)는, 자차의 상황, 자차의 주위 상황 및 운전자의 상황 등의 예측 처리를 행한다.
예측 대상이 되는 자차의 상황에는, 예를 들어 자차의 거동, 이상의 발생 및 주행 가능 거리 등이 포함된다. 예측 대상이 되는 자차의 주위 상황에는, 예를 들어 자차의 주위 동체 거동, 신호의 상태 변화, 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상이 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 몸의 상태 등이 포함된다.
상황 예측부(154)는 예측 처리의 결과를 나타내는 데이터를, 교통 룰 인식부(152) 및 상황 인식부(153)로부터의 데이터와 함께, 판정부(155), 계획부(134)의 루트 계획부(161), 행동 계획부(162), 및 동작 계획부(163) 등에 공급한다.
예를 들어, 본 실시 형태에서는, 상황 예측부(154)는 상황 인식부(153)로 인식된 각각의 동체에 대하여 안전도를 산출하고, 자차에 대한 전체적인 안전도(이하, '전체 안전도'라고 함)를 판정한다. 안전도는, 예를 들어 자차가 동체에 충돌할 때까지의 시간(Time To Collision: 이하, 'TTC'라고 칭함)을 산출하고, TTC의 범위에 의해 분류할 수 있다. 이하에서는, 안전도로서, 예를 들어 저안전도, 중안전도 및 고안전도의 3단계로 분류하는 경우를 예로 든다. 저안전도는, 판정 시를 기준으로 하여, 판정 대상의 동체가 제1 기간 내에 자차와 충돌할 가능성이 있는 경우이며, 긴급하게 정지 또는 핸들 조작 등을 하지 않으면 자차가 동체와 충돌해버리는 상황의 경우이다. 중안전도는, 판정 시를 기준으로 하여, 판정 대상의 동체가 제2 기간 내에 자차와 충돌할 가능성이 있는 경우이며, 제1 기간일수록 긴급하지 않지만, 동체와의 충돌을 피하기 위해서 어떠한 처리를 하지 않으면 안되는 상황의 경우이다. 고안전도는, 판정 대상의 동체가 제3 기간 내에 자차와 충돌할 가능성이 있다고 판정된 경우, 혹은 동체가 자차와 충돌할 가능성이 없다고 판정된 경우이다. 충돌할 가능성이 없는 경우에는, TTC는 예를 들어 무한대인 것으로 된다. 예를 들어, 제1 기간은, TTC가 0초 이상 0.7초 이하의 기간으로 설정되고, 제2 기간은, TTC가 0.7초보다 크고 1.4초 이하의 기간으로 설정되며, 제3 기간은, TTC가 1.7초보다 큰 기간으로 설정된다. 또한, 이것은 일례이며, 제1 기간 내지 제3 기간을 다른 범위로 할 수도 있다.
안전도의 산출에 있어서, 상황 예측부(154)는 차외 정보 검출부(141)로 검출된 동체에 관한 이동 방향 및 속도와, 차량 상태 검출부(143)로 검출되는 자차의 이동 방향, 속도 및 가속도로부터 자차와 동체의 움직임을 예측한다. 그 결과, 상황 예측부(154)는, 제1 기간 내에 자차와 충돌한다고 예측된 동체를 저안전도로 하고, 제2 기간 내에 자차와 충돌한다고 예측된 동체를 중안전도로 하며, 자차와는 충돌하지 않거나 혹은 제3 기간 내에 자차와 충돌한다고 예측된 동체를 고안전도로 한다.
그리고, 상황 예측부(154)는, 검지된 모든 동체에 대하여 안전도를 산출한 후, 자차에 대한 동체의 전체 안전도를 판정한다. 구체적으로는, 상황 예측부(154)는, 복수의 동체 중 가장 안전도가 낮은 것을 전체 안전도로 한다. 예를 들어, 상황 예측부(154)는, 복수의 동체 중 가장 TTC가 짧은 것을 대표 동체로서 선택하고, 이 대표 동체의 안전도를 전체 안전도로 한다. 상황 예측부(154)는, 대표 동체에 관한 정보와 전체적인 위험도를 판정부(155) 및 출력 제어부(105)로 출력한다.
판정부(155)는, 차내 정보 검출부(142)로 검출된 운전자의 얼굴 방향에 대한 대표 동체의 존재 위치에 따라서, 운전자가 대표 동체를 인식하였는지를 판정한다. 판정부(155)는, 상황 인식용 맵상에서, 운전자에 의한 대표 동체의 인식의 유무를 판정한다. 예를 들어, 판정부(155)는, 대표 동체의 위치가 얼굴의 방향과 동일한 방향에 있는지를 판정하고, 대표 동체의 위치가 얼굴의 방향과 동일한 방향에 있는 경우에, 운전자가 동체를 인식하였다고 판정하고, 동일한 방향에 없는 경우에, 운전자가 동체를 인식하지 못했다고 판정한다. 또한, 이 명세서에서는, 대표 동체의 위치가 얼굴의 방향과 동일한 방향에 있으면, 얼굴의 방향을 중심으로 한 소정의 범위에 대표 동체가 존재하는 것으로 말하기로 한다.
도 3은, 운전자의 얼굴 방향과 인식의 범위의 일례를 나타내는 도면이다. 도 3에 도시된 바와 같이, 일반적으로, 인간은 얼굴의 방향 D를 중심으로 하여 ±35도의 범위, 즉 전체 70도의 범위에 존재하는 동체에 대하여, 색채까지 확인할 수 있다고 말해지고 있다. 그 때문에, 본 실시 형태에서는, 운전자의 얼굴 방향 D를 중심으로 한 ±35도, 전체 70도의 범위를 인식 범위 Rr로 하고, 인식 범위 Rr에 동체가 존재하는 경우에, 운전자는 동체를 인식하고 있는 것으로 한다. 그 때문에, 하나의 예로서는, 판정부(155)는 상황 인식용 맵상에서, 얼굴의 방향 D를 중심으로 하여, 대표 동체가 ±35도 범위의 인식 범위 Rr에 존재하는지 여부에 의해, 운전자에 의한 대표 동체의 인식의 유무(이하, '인식도'라고도 함)를 판정할 수 있다.
판정부(155)는, 운전자에 의한 대표 동체의 인식도를 긴급 사태 회피부(171) 및 출력 제어부(105)로 출력한다. 출력 제어부(105)에서는, 전체 안전도와 운전자에 의한 대표 동체의 인식도의 조합에 따른 출력 정보를 출력부(106)로 출력한다.
예를 들어, 출력 제어부(105)는 출력부(106)인 오디오 스피커에, 대표 동체에 대한 통지 내용을 포함하는 음성 데이터를 출력시킨다. 또한, 출력 제어부(105)는, 출력부(106)인 표시 장치에, 대표 동체를 강조 표시한 자차의 주위의 화상 데이터를 표시시켜도 된다.
또한, 판정부(155)는, 출력부(106)로부터 통지 내용이 출력된 후, 소정의 타이밍에 통지 내용의 출력을 정지하는 지시를 출력 제어부(105)로 출력한다. 출력 제어부(105)는, 소정의 타이밍에 통지 내용의 출력을 정지하는 지시를 수령하면, 출력부(106)에 대한 통지 내용의 출력을 정지한다. 예를 들어 차내 정보 검출부(142)에 의해 검출된 운전자의 얼굴 방향이 대표 동체의 방향을 향한 경우를, 소정의 타이밍으로 할 수 있다. 또는, 데이터 취득부(102)에 의해 운전자가 대표 동체를 인식하였음을 나타내는 음성을 검출한 경우를, 소정의 타이밍으로 할 수 있다. 나아가, 차량 상태 검출부(143)에 의해 운전자에 의한 핸들 조작 또는 브레이크 조작을 검지한 경우에, 소정의 타이밍으로 할 수도 있다. 이와 같이, 소정의 타이밍에 통지 내용을 정지함으로써, 운전자에 의한 통지의 번거로움을 저감시킬 수 있다.
계획부(134)는 자차 및 주위의 상황 분석 결과에 기초하여, 자차의 이동에 관한 계획을 작성한다. 계획부(134)는 루트 계획부(161), 행동 계획부(162), 및 동작 계획부(163)를 구비한다.
루트 계획부(161)는 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는 정체, 사고, 통행 규제, 공사 등의 상황, 및 운전자의 몸의 상태 등에 기초하여 적절히 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.
행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에서 안전하게 주행하기 위한 자차 행동을 계획한다. 예를 들어, 행동 계획부(162)는 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도, 및 추월 등의 계획을 행한다. 행동 계획부(162)는 계획한 자차의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다.
동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 자차 동작을 계획한다. 예를 들어, 동작 계획부(163)는 가속, 감속, 및 주행 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획한 자차의 동작을 나타내는 데이터를, 동작 제어부(135)의 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
동작 제어부(135)는 자차의 동작 제어를 행한다. 동작 제어부(135)는 긴급 사태 회피부(171), 가감속 제어부(172), 및 방향 제어부(173)를 구비한다.
긴급 사태 회피부(171)는 차외 정보 검출부(141), 차내 정보 검출부(142), 및 차량 상태 검출부(143)의 검출 결과에 기초하여, 위험지대로의 진입, 운전자의 이상, 차량의 이상 등의 긴급 사태의 검출 처리를 행한다. 또한, 긴급 사태 회피부(171)는, 판정부(155)에 의한 판정 결과에 기초하여, 충돌, 접촉 등의 긴급 사태의 검출 처리를 행한다. 구체적으로는, 긴급 사태 회피부(171)는, 상황 인식부(153)로부터 저안전도의 정보를 취득한 경우에, 동체의 자차로의 충돌에 대한 긴급 사태를 검출한다. 긴급 사태 회피부(171)는, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 자차 동작을 계획한다. 긴급 사태 회피부(171)는, 계획한 자차의 동작을 나타내는 데이터를 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
가감속 제어부(172)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 가감속 제어부(172)는 계획된 가속, 감속, 또는 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산된 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
방향 제어부(173)는 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산된 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
[실시 형태에 따른 정보 처리 수순]
다음으로, 이와 같은 차량 제어 시스템(100)에서의 정보 처리 방법에 대하여 설명한다. 도 4는, 본 개시의 실시 형태에 의한 정보 처리 방법의 처리의 일례를 나타내는 흐름도이다. 우선, 자차가 운전 가능한 상태로 되면, 차외 정보 검출부(141)는, 데이터 취득부(102)로부터 자차의 외부의 차외 정보를 취득한다(스텝 S11). 차외 정보를 검출하는 데이터 취득부(102)는, 예를 들어 촬상 장치 또는 주위 정보 검출 센서이다. 또한, 운전 가능한 상태는, 예를 들어 엔진이 걸린 상태 또는 전원이 온으로 된 상태이다.
차외 정보 검출부(141)는 차외 정보를 사용하여, 자차에 대하여 상대 속도를 갖는 물체인 동체의 검출 처리를 행하고(스텝 S12), 검출 처리의 결과 동체가 존재하는지 여부를 판정한다(스텝 S13). 차외 정보 검출부(141)는, 예를 들어 다른 시간에 촬상한 촬상 데이터를 사용하여, 동체가 존재하는지를 판정한다. 동체가 존재하지 않는 경우(스텝 S13에서 "아니오"의 경우)에는, 스텝 S11로 처리가 되돌아간다.
동체가 존재하는 경우(스텝 S13에서 "예"의 경우)에는, 상황 인식부(153)는, 데이터 취득부(102)로부터 취득한 차외 정보를 사용하여, 검출한 동체의 움직임을 예측한다(스텝 S14). 동체의 움직임으로서, 현재(검출 시)의 자차에 대한 위치, 속도 및 이동 방향 등이 예시된다.
그 후, 차내 정보 검출부(142)는, 데이터 취득부(102)인 DMS로부터 차내 정보를 취득한다(스텝 S15). DMS는, 예를 들어 운전자의 얼굴을 포함하는 영역을 촬상하는 카메라이며, 차내 정보는 차량을 운전하는 운전자의 촬상 데이터이다. 계속해서, 차내 정보 검출부(142)는 차내 정보를 사용하여, 운전자의 얼굴 방향의 검출 처리를 행한다(스텝 S16).
도 5는, 운전자의 얼굴 방향의 검출 처리의 수순의 일례를 나타내는 흐름도이다. 차내의 DMS에 의해 차내가 촬상된다. DMS는, 운전자의 얼굴을 포함하는 영역을 촬상할 수 있는 위치에 배치된다. 차내 정보 검출부(142)는, DMS로 촬상된 프레임에서 얼굴을 검출했는지를 판정한다(스텝 S51). 프레임에서 얼굴을 검출하지 않은 경우(스텝 S51에서 "아니오"의 경우)에는, 얼굴을 검출할 때까지 대기 상태로 된다.
프레임에서 얼굴을 검출한 경우(스텝 S51에서 "예"의 경우)에는, 차내 정보 검출부(142)는, 임시 트래킹할 수 있었는지를 판정한다(스텝 S52). 임시 트래킹은, 얼굴을 검출한 프레임 이후에 DMS로부터 보내져 오는 프레임에서의 얼굴의 검출을 행하는 것이다. 임시 트래킹할 수 없는 경우(스텝 S52에서 "아니오"의 경우)에는, 즉 임시 트래킹 중의 프레임에서 얼굴을 놓친 경우에는, 재탐색을 행한다(스텝 S57). 그리고, 스텝 S51로 되돌아간다.
한편, 임시 트래킹할 수 있는 경우(스텝 S52에서 "예"의 경우)에는, 차내 정보 검출부(142)는, 그 후에 취득한 프레임을 사용하여 얼굴 검출을 행한다(스텝 S53). 또한, 차내 정보 검출부(142)는, 취득한 프레임에서 운전자의 얼굴 트래킹을 행한다(스텝 S54). 트래킹에서는, 검출한 운전자의 얼굴의 구성 부재의 배치 관계 등의 정보를 사용하여, DMS에 대한 운전자의 얼굴 방향이 변화한 경우에도, 운전자의 얼굴을 특정한다.
또한, 차내 정보 검출부(142)는, 특정한 운전자의 얼굴 정보를 사용하여, 운전자의 얼굴 방향을 산출한다(스텝 S55). 트래킹의 경우와 마찬가지로, 차내 정보 검출부(142)는, 운전자가 운전석에 앉아 바로 정면을 본 상태를 기준으로 하여, 프레임 중의 검출한 운전자의 얼굴의 구성 부재의 배치 관계로부터 얼굴의 방향을 특정한다. 예를 들어, 얼굴은 상하 방향으로 연장되는 축, 좌우 방향으로 연장되는 축 및 전후 방향으로 연장되는 축을 중심으로 하여 회전할 수 있으므로, 각각의 축의 둘레의 회전 각도를 사용하여, 얼굴의 방향을 특정할 수 있다.
그 후, 차내 정보 검출부(142)는, 트래킹 중에 운전자의 얼굴 검출을 할 수 없게 되었는지를 판정한다(스텝 S56). 얼굴의 검출을 할 수 있는 경우(스텝 S56에서 "예"의 경우)에는, 처리가 도 4로 되돌아간다. 얼굴의 검출을 할 수 없는 경우(스텝 S56에서 "아니오"의 경우)에는, 스텝 S57로 처리가 이행되고, 재탐색이 행해진다. 이상의 처리가, 데이터 취득부(102)에서 운전자의 화상 데이터가 촬상되어 있는 동안에 행해진다.
다시, 도 4에 되돌아가서, 상황 인식부(153)는, 스텝 S13에서 검출한 동체와 스텝 S16에서 검출한 운전자의 얼굴 방향의 매핑 처리를 행한다(스텝 S17). 이 매핑 처리에서는, 예를 들어 자차의 미리 정해진 위치를 기준으로 한 공간 정보인 상황 인식용 맵에, 동체와, 운전자의 얼굴 방향이 매핑된다. 미리 정해진 위치는, 예를 들어 자차의 차량의 후륜축이 중심이다. 또한, 동체를 검출한 좌표계와, 운전자의 얼굴 방향을 검출한 좌표계는 다른 것이며, 상황 인식부(153)는, 다른 2개의 좌표계에서 취득한 데이터를, 하나의 좌표계에 매핑하는 것이다. 도 6은, 실시 형태에 의한 정보 처리 방법에서의 상황 인식용 맵의 일례를 나타내는 도면이다. 이 도면에 나타낸 바와 같이, 예를 들어 차량의 후륜축의 중심 O를 기준으로 한 좌표계를 갖는 상황 인식용 맵에, 동체(210)의 위치와, 운전자 dr의 얼굴의 방향 D가 매핑된다.
계속해서, 상황 예측부(154)는 상황 인식용 맵에 매핑된 모든 동체에 대하여 안전도를 산출한다(스텝 S18). 여기에서는, 상황 예측부(154)는, 스텝 S14에서 예측한 동체의 움직임과, 차량 상태 검출부(143)에서 얻어지는 정보로부터 예측한 자차의 움직임을 사용하여, 자차가 동체와 충돌하는 정도를 나타내는 안전도를 산출한다. 복수의 동체가 존재하는 경우에는, 각각의 동체에 대하여 안전도를 산출한다. 예를 들어, 상황 예측부(154)는, 하나의 동체에 대하여 연산을 행하는 시점에 있어서의 동체의 위치, 속도 및 이동 방향에 기초하여, 동체의 움직임을 예측한다. 또한, 상황 예측부(154)는, 차량 상태 검출부(143)로부터 자차의 속도, 가속도 및 이동 방향에 기초하여, 자차의 움직임을 예측한다. 그리고, 상황 예측부(154)는, 자차가 동체와 충돌할지 여부를 판정하고, 자차가 동체와 충돌한다고 예측한 경우에는, TTC를 산출하고, TTC가 속하는 범위에 의해 고안전도, 중안전도 또는 저안전도로 분류한다. 예를 들어, 상황 예측부(154)는, 자차가 동체와 충돌하지 않는다고 예측한 경우, 혹은 TTC가 제3 기간에 있는 경우에는 고안전도로 분류한다. 상황 예측부(154)는, TTC가 제2 기간에 있는 경우에는 중안전도로 분류하고, TTC가 제1 기간에 있는 경우에는 저안전도로 분류한다.
모든 동체에 대한 안전도가 산출된 후, 상황 예측부(154)는 전체 안전도를 산출한다(스텝 S19). 구체적으로는, 상황 예측부(154)는 산출한 안전도 중, 가장 TTC가 짧은 동체를 대표 동체로서 선택하고, 이 대표 동체의 안전도를 전체 안전도로 한다. TTC는, 상기한 바와 같이 충돌까지 요하는 시간이다. 그 때문에, 가장 TTC가 짧은 것을 선택하는 것은, 처음에 충돌할 가능성이 있는 동체를 선택하는 것이며, 운전자에 있어서 가장 주의해야만 하는 대상으로 된다. 즉, 가장 TTC가 짧은 것을 선택하는 것은, 바로 근처에 발생할 수 있는 충돌의 가능성이 있는 동체를 하나 압축하여, 운전자의 주의의 환기를 용이하게 한다. 상황 예측부(154)는, 산출한 전체 안전도 및 대표 동체의 안전도를 출력 제어부(105) 및 판정부(155)에 전달한다.
그 후, 판정부(155)는, 대표 동체의 안전도와 운전자의 얼굴 방향이 매핑된 상황 인식용 맵을 사용하여, 대표 동체의 위치가 운전자의 얼굴 방향과 일치하는지에 의해, 운전자의 대표 동체에 대한 인식도를 판정한다(스텝 S20). 구체적으로는, 판정부(155)는 상황 인식용 맵 중에서, 운전자의 인식 범위 Rr 내에 대표 동체가 존재하는지를 판정한다. 도 3에 도시한 바와 같이, 운전자의 인식 범위 Rr은, 예를 들어 운전자의 얼굴 방향 D를 중심으로 하여 ±35도의 범위이다. 대표 동체가 인식 범위에 존재하는 경우에는, 판정부(155)는, 운전자는 대표 동체를 인식하고 있는 것으로 한다. 또한, 대표 동체가 인식 범위에 존재하지 않는 경우에는, 판정부(155)는, 운전자가 대표 동체를 인식하지 못한 것으로 한다. 판정부(155)는, 운전자의 인식도를 출력 제어부(105) 및 긴급 사태 회피부(171)에 전달한다.
계속해서, 출력 제어부(105)는, 전체 안전도와 운전자의 인식도의 조합에 기초하여, 출력부(106)에 대한 통지 내용을 결정한다(스텝 S21). 도 7은, 실시 형태에 의한 전체 안전도와 운전자의 인식도의 조합에 대한 통지 내용의 일례를 나타내는 도면이다. 이 도면에서는, 안전도를 「고」, 「중」 및 「저」의 3개로 분류하고, 인식도를 인식하였음을 나타내는 「유」 및 인식하지 못했음을 나타내는 「무」의 2개로 분류하여, 각각의 조합에 대하여, 통지 내용을 설정하고 있다. 통지 내용으로서, 통지음의 통지 방법을 예시하고 있다. 또한, 통지 내용은, 운전자에 대한 경고이면 되며, 통지음 이외에도 햅틱스 또는 라이트 등에 의한 통지를 사용해도 된다.
고안전도의 경우에는, 인식도에 관계없이 매우 약한 통지음을 출력부(106)인 오디오 스피커로부터 출력한다. 또한, 중안전도이며, 인식도가 「유」인 경우에는, 조금 약한 통지음을 오디오 스피커로부터 출력한다. 중안전도이며, 인식도가 「무」인 경우에는, 조금 강하게 한 통지음을 오디오 스피커로부터 출력한다. 저안전도의 경우에는, 인식도에 관계 없이 매우 강한 통지음을 오디오 스피커로부터 출력한다.
저안전도의 경우에는, 인식도에 관계 없이 매우 강한 통지음을 출력하도록 함으로써, 충돌의 가능성이 신변에 다가오고 있는 경우에는, 운전자에 대한 경보적인 통지를 행할 수 있다. 또한, 통지음에 관하여, 「매우 약함」, 「조금 약함」, 「조금 강함」 및 「강함」은 이 순서로 소리가 강하게 되는 것이며, 이 관계를 충족하는 범위에 있어서, 소리의 강함을 임의로 설정할 수 있다.
이와 같이, 전체 안전도와 운전자의 인식도의 조합에 따라서 통지음을 바꿈으로써, 운전자에 대하여 필요 이상의 주의의 환기, 또는 주의해야 할 동체의 간과 등이 억제된다. 그 결과, 고안전도의 경우 또는 중안전도에서 운전자가 동체를 인식하고 있는 경우에는, 운전자에게 주는 번거로움을 억제하면서, 운전자에게 주의를 환기할 수 있다. 또한, 중안전도에서 운전자가 동체를 인식하지 못한 경우 또는 저안전도의 경우에는, 운전자에 대하여 강한 주의의 환기를 촉진시킬 수 있다.
출력 제어부(105)는, 결정한 통지 내용을 출력부(106)에 통지한다(스텝 S22). 출력부(106)에서는, 통지 내용에 따라서 통지한다.
또한, 긴급 사태 회피부(171)는, 판정부(155)로부터 취득한 전체 안전도로부터 긴급 정지가 필요한지를 판정한다(스텝 S23). 예를 들어, 긴급 사태 회피부(171)는, 취득한 전체 안전도가 저안전도인 경우에는, 긴급 정지가 필요하다고 판정하고, 취득한 전체 안전도가 고안전도 또는 중안전도인 경우에는, 긴급 정지가 불필요하다고 판정한다.
긴급 정지가 필요하지 않은 경우(스텝 S23에서 "아니오"의 경우)에는, 처리가 스텝 S11로 되돌아간다. 또한, 긴급 정지가 필요한 경우(스텝 S23에서 "예"의 경우)에는, 긴급 사태 회피부(171)는, 자차를 긴급 정지시키는 지시를 작성하고, 작성한 지시를 가감속 제어부(172) 등에 전달한다. 가감속 제어부(172)는, 지시에 기초하여 구동계 제어부(107)에 대하여 긴급 정지를 행하기 위한 제어 처리를 행한다(스텝 S24). 이에 의해, 구동계 제어부(107)는, 구동계 시스템(108)에 대하여 긴급 정지를 지시하고, 자차가 긴급 정차한다. 이상에 의해, 처리가 종료된다.
도 8은, 운전자의 얼굴 방향의 일례를 모식적으로 나타내는 도면이다. 이 도면에 나타낸 바와 같이, 운전자 dr의 얼굴의 방향 D는, 앞유리 너머로 외부를 향하고 있다. 이 경우, 차외 정보 검출부(141)로 검출된 동체(210)(대표 동체)와, 차내 정보 검출부(142)로 검출된 운전자 dr의 얼굴의 방향 D가, 상황 인식부(153)에 의해 도 6에 나타낸 바와 같은 상황 인식용 맵에 매핑된다. 그리고, 판정부(155)에 의해, 운전자의 대표 동체에 대한 인식도가 판정되고, 대표 동체의 안전도와, 운전자의 인식도의 조합에 따라서 통지 내용이 결정된다.
운전자가 앞유리 너머 또는 옆유리 너머로 외부를 보고 있는 경우에는, 동체의 존재를 소리에 의해 통지하는 방법을 들 수 있다. 이 경우에는, 도 7에 도시한 바와 같이, 전체 안전도와 운전자의 인식도의 조합에 의해, 소리의 강도가 변경되게 된다.
또한, 이때, 출력 제어부(105)는 통지음에 추가하여, 차내의 표시부에 데이터 취득부(102)로 취득한 화상 중의 대표 동체를 프레임선으로 둘러싸서 표시하는 등의 보조적인 통지도 가능하게 된다. 예를 들어, 출력 제어부(105)는, 대표 동체가 선택된 경우에는, 대표 동체가 비친 화상 데이터에, 대표 동체의 위치를 나타내는 정보를 부가한 화상을 차내의 표시 장치로 출력하도록 해도 된다.
도 9는, 실시 형태에 의한 전체 안전도와 운전자의 인식도의 조합에 대한 통지 방법의 일례를 나타내는 도면이다. 여기에서는, 도 7의 소리에 의한 통지 내용에 표시 장치에 대한 통지 내용을 추가한 것이다. 또한, 여기서는, 차량의 전방 방향으로 대표 동체가 존재하는 경우를 나타내고 있다. 표시 장치에는, 전방의 카메라로 촬상한 화상 데이터(270)가 비춰지고, 화상 데이터(270) 중에서 대표 동체가 프레임선(271)으로 둘러싸여 표시된다. 그 때문에, 운전자는, 통지 내용을 나타내는 소리가 들린 경우에, 표시 장치의 화상 데이터(270)를 확인함으로써, 대표 동체의 자차에 대한 위치를 확인하는 것이 가능해진다.
출력 제어부(105)는, 안전도에 따라서 프레임선(271)의 색을 바꿀 수 있다. 예를 들어, 고안전도의 경우에는 프레임선(271)의 색을 녹색으로 하고, 중안전도의 경우에는 프레임선(271)의 색을 황색으로 하고, 저안전도의 경우에는 프레임선(271)의 색을 적색으로 할 수 있다. 물론, 이것은 일례이며, 다른 색으로 할 수도 있다. 또한, 안전도에 따라서, 프레임선(271)의 종류를 바꾸거나, 프레임선(271)의 굵기를 바꾸거나 할 수도 있다. 또한, 프레임선(271)을 점멸 표시시킬 수도 있다. 또한, 대표 동체의 위치를 나타내는 정보로서, 프레임선(271)이 아니라 화살표 등이어도 된다.
또한, 상기한 예에서는, 오디오 스피커로부터 출력되는 통지음에 방향성은 없지만, 방향성을 부가할 수도 있다. 출력 제어부(105)는, 차외 정보 검출부(141)로부터 취득한 대표 동체의 위치에 기초하여, 운전자에 대하여 대표 동체의 위치 쪽에 음상이 위치하도록 통지음을 음상 정위 처리하고, 처리된 통지음을 차내의 오디오 스피커로부터 출력해도 된다. 이와 같이 음상 정위 처리를 실시한 통지음을 오디오 스피커로부터 출력함으로써, 운전자는, 음상의 위치 쪽에 주의해야 할 동체가 존재하는 것을, 소리에 의해 인식할 수 있다.
이상과 같이, 실시 형태에서는, 차외에 존재하는 대표 동체의 위치를 검지하고, 차내의 운전자의 얼굴 방향을 검지하여, 운전자의 얼굴 방향에 대표 동체가 존재하는지 여부로, 운전자에 대한 통지 내용을 선택하였다. 이에 의해, 운전자의 얼굴 방향에 대표 동체가 존재하지 않는 경우에는, 운전자의 얼굴 방향에 대표 동체가 존재하는 경우에 비하여, 강한 통지음을 내는 등의 통지가 행해진다. 그 결과, 운전자의 얼굴 방향에 대표 동체가 존재하는 경우에는, 운전자에게 번거로움을 주지 않을 정도의 내용으로 통지를 행하면서, 운전자의 얼굴 방향에 대표 동체가 존재하지 않는 경우에는, 주의 환기를 행하는 내용으로 통지를 행할 수 있다.
운전자의 얼굴 방향에 대표 동체가 존재하는지 여부의 판정에 있어서, 차외 정보 검출부(141)로 검출한 대표 동체의 위치와, 차내 정보 검출부(142)로 검출한 운전자의 얼굴 방향을 동일한 공간 정보인 상황 인식용 맵에 매핑하였다. 이에 의해, 다른 좌표축을 가진 대표 동체의 위치와 운전자의 얼굴 방향을 동일한 좌표축상에서 나타낼 수 있다.
또한, 운전자의 얼굴 방향에 대표 동체가 존재하는지 여부의 판정에 있어서, 운전자의 얼굴 방향을 중심으로 하여 소정의 범위에 대표 동체가 존재하는 경우를, 운전자의 얼굴 방향에 대표 동체가 존재하는 경우로 하였다. 이에 의해, 운전자가 물체를 인식할 수 있는 범위가 얼굴의 방향으로 된다. 그 결과, 얼굴의 방향을 중심으로 한 소정의 범위에 대표 동체가 존재하는지 여부에 의해, 운전자가 대표 동체를 인식하고 있는지 여부를 판정할 수 있다.
운전자의 얼굴 방향을 TOF 센서로 검지하도록 하였다. 이에 의해, 야간 또는 터널 내의 암흑에서도, 운전자의 얼굴 방향을 고정밀도로 모니터링할 수 있다.
또한, 운전자에 대한 통지 내용의 선택에 있어서, 운전자의 얼굴 방향에 대표 동체가 존재하는 경우뿐만 아니라, 대표 동체의 자차에 대한 충돌 가능성을 나타내는 안전도에 따라서, 통지 내용을 바꿀 수도 있다. 예를 들어, 안전도와, 운전자의 얼굴 방향에 대한 대표 동체의 존재 유무의 조합에 따라서, 운전자에게 대표 동체를 인식시키기 위한 통지 내용을 선택하고, 출력하도록 하였다. 이에 의해, 중안전도의 경우에서, 운전자의 얼굴 방향에 대표 동체가 존재하지 않는 경우에는, 운전자의 얼굴 방향에 대표 동체가 존재하는 경우에 비해서 강한 소리를 내는 등의 통지가 행해진다. 그 결과, 중안전도의 경우에서, 운전자의 얼굴 방향에 대표 동체가 존재하는 경우에는, 운전자에게 번거로움을 주지 않을 정도의 내용으로 통지를 행하면서, 운전자의 얼굴 방향에 대표 동체가 존재하지 않는 경우에는, 주의 환기를 행하는 내용으로 통지를 행할 수 있다.
또한, 고안전도의 경우에는, 중안전도에서 운전자의 얼굴 방향에 대표 동체가 존재하는 경우에 비해서 약한 소리를 내는 등의 통지가 행해진다. 그 결과, 운전자에 대하여 번거로움을 주지 않는 범위에서, 주의 환기를 행할 수 있고, 만일 운전자가 대표 동체를 인식하지 못한 때라도, 대표 동체에 대한 주의를 운전자에게 줄 수 있다.
또한, 저안전도의 경우에는, 중안전도에서 운전자의 얼굴 방향에 대표 동체가 존재하지 않는 경우에 비해서 강한 소리를 내는 등의 통지가 행해진다. 이에 의해, 운전자의 얼굴 방향에 대표 동체가 존재하지 않는 경우뿐만 아니라, 운전자의 얼굴 방향에 대표 동체가 존재하고 있는 경우에도, 강한 통지가 행해진다. 그 결과, 운전자에게 대표 동체의 자차에 대한 충돌의 가능성이 곧 신변에 다가오고 있음을 경보할 수 있다. 또한, 이때, 가감속 제어부(172)에 의해, 긴급 사태를 회피하기 위한 브레이크 조작 또는 핸들 조작 등이 행해진다. 그 결과, 대표 동체의 자차에 대한 충돌을 회피하거나, 충돌의 충격을 완화시키거나 할 수 있다.
또한, 출력 제어부(105)는, 통지 내용이 출력된 후, 소정의 타이밍에 통지 내용의 출력이 정지하도록 하였다. 소정의 타이밍은, 예를 들어 운전자의 얼굴 방향이 대표 동체의 위치와 일치한 경우, 혹은 운전자에 의한 대표 동체를 인식하였다는 취지의 음성을 검지한 경우, 혹은 운전자에 의한 핸들 또는 브레이크의 조작이 행해진 경우로 할 수 있다. 이에 의해, 통지 내용의 원인이 된 대표 동체의 자차에 대한 충돌의 가능성이 없어지면, 통지가 정지된다. 그 결과, 통지 내용의 원인이 된 대표 동체의 자차에 대한 충돌의 가능성이 없어진 후에도 통지가 계속되는 경우에 비하여, 운전자에게 주는 번거로움을 저감시킬 수 있다.
출력 제어부(105)는, 통지음을 음상 정위에서 출력하도록 하였다. 이에 의해, 운전자에 의해 느껴지는 차내에서의 통지음의 방향이 대표 동체의 방향과 일치한다. 그 결과, 운전자는 소리에 의해 대표 동체의 방향 위치를 인식할 수 있다. 또한, 무턱대고 대표 동체의 위치를 찾는 경우에 비하여, 운전자는 단시간에 대표 동체의 위치를 파악할 수 있다.
자차의 주위에 복수의 동체가 존재하는 경우에는, TTC가 가장 짧은 동체를 대표 동체로 한다. 이에 의해, 그 시점에서 가장 빠른 시간에 충돌의 가능성이 높은 동체가, 운전자에 의한 인식의 대상으로 된다. 충돌할 가능성이 느린 동체보다도 충돌할 가능성이 빠른 동체를, 운전자에 의한 인식의 대상으로 하였으므로, 운전자에 대한 안전성을 향상시킬 수 있다.
[실시 형태의 변형예]
상기한 설명에서는, 운전자의 얼굴 방향이 창 너머로 외부를 향하고 있는 경우를 전제로 하고 있다. 그러나, 운전자는, 앞유리 너머로 보는 외부의 풍경뿐만 아니라, 차량 내의 전자 룸미러, 전자 사이드미러 혹은 차량의 후퇴 시에 차량 후방의 영상을 비추는 표시 장치 등도 보는 경우가 있다. 도 10은, 차량 내의 표시 장치의 배치 위치의 일례를 나타내는 도면이다. 전자 룸미러(222)는, 차량의 후방에 마련된 촬상 장치로 촬상된 화상을 비추는 표시 장치이며, 앞유리 상부의 중앙 부근에 마련된다. 전자 룸미러(222)는, 룸미러와 동등한 기능을 갖는 것이다. 전자 룸미러(222)에는, 차량의 후방 정보가 표시된다. 전자 사이드미러(224)는, 예를 들어 도 2a의 차량 외부의 측면에 마련된 촬상 장치(7912, 7914)로 촬상된 화상을 비추는 표시 장치이며, 사이드미러와 동등한 기능을 갖는 것이다. 전자 사이드미러(224)는, 예를 들어 프론트 도어의 창의 전방 부근에 마련된다. 전자 사이드미러(224)에는, 차량의 후방 측면의 정보가 표시된다. 카 내비게이션 시스템용 표시 장치(226)에는, 지도 정보 외에 후진 시에, 예를 들어 도 2a의 백 도어 또는 백 범퍼에 마련된 촬상 장치(7916)로 촬상된 화상이 표시된다. 그래서, 여기서는, 차량의 외부를 표시하는 표시 장치로 옮겨진 대표 동체에 대해서도 운전자가 인식하고 있는지 여부를 판정할 수 있는 정보 처리 장치의 변형예에 대하여 설명한다.
이 변형예에서는, 상황 인식부(153)는, 차내 정보 검출부(142)로부터 얼굴의 방향이 차외인지 차내인지를 검지한다. 얼굴의 방향이 차외인 경우에는, 실시 형태에서 설명한 바와 같이, 상황 인식부(153)는, 차외 정보 검출부(141)에서의 검출 결과를 상황 인식용 맵으로서 사용하고, 이 상황 인식용 맵에 운전자의 얼굴 방향을 매핑한다. 또한, 상황 인식부(153)는, 얼굴의 방향이 차내의 표시 장치인 경우에는, 차내 전방의 화상 데이터(이하, '차내 전방의 화상'이라고 칭함)를 상황 인식용 맵으로서 사용한다. 차내 전방의 화상은, 예를 들어 도 10에 도시된 바와 같이, 앞유리, 전자 룸미러(222), 전자 사이드미러(224) 및 카 내비게이션 시스템용 표시 장치(226)를 포함하는 영역이 촬상된 화상이면 되며, 운전자가 비치지 않은 상태에서 촬상된 화상 데이터여도 된다. 이때, 상황 인식부(153)는, 차내 전방의 화상 내의 각 표시 장치의 위치에 그 시점에서의 차외의 촬상 데이터를 표시시켜, 운전자의 얼굴 방향을 매핑한다. 그리고, 판정부(155)는, 표시 장치 내의 대표 동체가 운전자의 인식 범위 내에 있는지를 판정한다. 또한, 그 밖의 구성에 대해서는, 실시 형태에서 설명한 것과 마찬가지이므로, 생략한다.
변형예에서는, 도 4의 흐름도의 스텝 S17의 처리가 실시 형태와는 다르다. 도 11은, 실시 형태의 변형예에 의한 검출한 동체와 운전자의 얼굴 방향의 매핑 처리의 수순의 일례를 나타내는 흐름도이다.
검출한 동체와 운전자의 얼굴 방향의 매핑 처리에서는, 우선, 상황 인식부(153)는, 차내 정보 검출부(142)로부터의 정보에 기초하여, 운전자의 얼굴 방향은 차내인지를 판정한다(스텝 S71). 얼굴의 방향이 차내가 아닌 경우(스텝 S71에서 "아니오"의 경우)에는, 상황 인식부(153)는, 데이터 취득부(102)로 취득된 자차 의 외부의 위치를 나타내는 차외 정보를 상황 인식용 맵으로서 사용하고(스텝 S72), 차외 정보에 운전자의 얼굴 방향을 매핑하고(스텝 S73), 처리가 도 4로 되돌아간다.
얼굴의 방향이 차내인 경우(스텝 S71에서 "예"의 경우)에는, 상황 인식부(153)는, 차내 전방의 화상을 상황 인식용 맵으로서 사용한다(스텝 S74). 상황 인식부(153)는, 차내 전방의 화상의 각 표시 장치의 위치에, 그 시점에서의 차외의 촬상 데이터를 겹쳐 표시한다(스텝 S75). 또한, 그 시점의 차내 전방의 화상을 촬상하고 있는 경우에는, 스텝 S75의 처리는 필요없다. 그 후, 차내 전방의 화상에 운전자의 얼굴 방향을 매핑하고(스텝 S76), 처리가 도 4로 되돌아간다. 또한, 그 밖의 처리에 대해서는, 실시 형태에서 설명한 것과 마찬가지이므로, 생략한다.
도 12는, 실시 형태의 변형예에서의 운전자의 얼굴 방향의 일례를 나타내는 도면이다. 여기에서는, 차량은 후진하고 있는 상태에서, 차내의 카 내비게이션 시스템의 표시 장치(226)에는, 차량 후방의 화상이 표시되어 있는 것으로 한다. 표시 장치(226)의 화상 내에 동체(210)가 표시되어 있다.
이 도면에 나타낸 바와 같이, 운전자 dr의 얼굴의 방향 D는, 차내의 표시 장치(226)를 보고 있다. 이 경우, 차외 정보 검출부(141)로 검출된 동체(210)(대표 동체)와, 차내 정보 검출부(142)로 검출된 운전자의 얼굴 방향 D가, 상황 인식부(153)에 의해, 예를 들어 도 12에 도시한 바와 같은 상황 인식용 맵에 매핑된다. 이 경우, 차내의 표시 장치(226)의 위치에, 운전자 dr의 얼굴의 방향 D가 향하고 있으므로, 판정부(155)는, 운전자 dr은 동체(210)를 인식하였다고 판정한다. 그리고, 판정부(155)에 의해, 동체(210)의 안전도와, 운전자 dr의 대표 동체(210)에 대한 인식도의 조합에 따라서, 통지 내용이 결정된다.
또한, 상기한 설명에서는, 차내에 마련된 DMS에 의해, 운전자의 얼굴 방향을 검출하는 경우를 설명하였다. 그러나, 운전자의 얼굴 방향이 아니라, 직접적으로 운전자의 시선 방향을 검출하는 시선 센서를 DMS로서 사용해도 된다. 시선 센서를 사용함으로써, 보다 고정밀도로 운전자의 시선 방향을 검출할 수 있다. 이에 의해, 창 너머의 시선과 차내의 표시 장치의 시선을 용이하게 구별할 수 있다. 또한, 창 너머의 시선과 차내의 표시 장치의 시선의 구별을 눈의 초점 거리로 판단해도 된다.
또한, 운전자의 얼굴을 인식하는 DMS를, 도 2b의 인스트루먼트 패널(5020) 상부의 대시보드(5010)뿐만 아니라, 운전자가 측방을 본 경우 혹은 후방을 되돌아봐서 본 경우에도 인식할 수 있도록, 차내에 복수의 DMS를 마련해도 된다. 이에 의해, 예를 들어 대시보드(5010)에 마련된 DMS로 운전자의 얼굴을 인식할 수 없는 경우에, 다른 DMS를 사용해서 인식을 행하고, 이밖의 DMS로 촬상한 운전자의 얼굴 방향을 상황 인식용 맵에 매핑해도 된다.
변형예에서는, 차량의 측면에 마련된 사이드 카메라 또는 차량의 후방에 마련된 백 카메라 등의 카메라 모니터링 시스템(Camera Monitoring System: 이하, 'CMS'라고 함)으로 촬상된 화상을 차내의 표시 장치에 표시하였다. CMS로 촬상된 화상 내에 대표 동체가 존재하는 경우에, 운전자의 얼굴 방향은, 차내의 표시 장치인지 여부가 판정된다. 그 후, 차내 전방의 화상을 상황 인식용 맵으로서 사용하고, 이 상황 확인용 맵내의 표시 장치 내에 그 시점에서의 CMS로 촬상된 화상을 끼워 넣는다. 그리고, 운전자의 얼굴 방향에 표시 장치의 화상 내의 동체가 존재하는지 여부로, 운전자의 대표 동체에 대한 인식도를 판정한다. 이에 의해, 예를 들어 운전자보다도 전방에 존재하는 동체뿐만 아니라, 운전자의 측면 및 후방에 존재하는 동체이며, 표시 장치에 표시되는 동체에 대해서도, 운전자의 인식도를 판정할 수 있다. 그 결과, 운전자의 측면 또는 후방에 존재하는 대표 동체에 대해서도, 운전자에 대하여 주의 환기를 행할 수 있다.
또한, 변형예에서는, CMS로 파악된 대표 동체의 표시 영역이 운전자의 얼굴 방향에 있는지 여부가 판정된다. 이에 의해, 대표 동체의 표시 영역이 운전자의 얼굴 방향에 없는 경우에는, 운전자는 대표 동체를 인식하지 못했다고 판정된다. 그 결과, 차내의 표시 장치를 운전자가 보고 있는 경우에도, 그 얼굴의 방향에 대표 동체의 표시 영역이 존재하지 않는 경우에는, 운전자에게 주의 환기를 행할 수 있다.
또한, 운전자의 얼굴 방향으로서 시선 센서로 시선을 검지할 수도 있다. 이 경우에는, 운전자가 앞유리 너머로 외부를 보고 있는 것인지, 차내의 표시 장치를 보고 있는 것인지를, 보다 고정밀도로 특정할 수 있다. 또한, 표시 장치 내에서의 운전자의 시선의 위치도 고정밀도로 특정할 수 있어, 운전자에게 통지하는 통지 내용을 운전자의 인식에 따른 것에 근접시킬 수 있다.
또한, 본 개시에 따른 기술(본 기술)은, 자동차뿐만 아니라 다른 다양한 제품에 응용할 수 있다. 예를 들어, 본 개시에 따른 기술은, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
[실시 형태의 정보 처리 장치의 하드웨어 구성]
도 13은, 실시 형태에 의한 정보 처리 장치의 기능을 실현하는 컴퓨터의 일례를 나타내는 하드웨어 구성도이다. 상술해 온 실시 형태에 따른 자동 운전 제어부(112), 출력 제어부(105), 출력부(106) 및 기억부(111)를 포함하는 정보 처리 장치는, 컴퓨터(1000)에 의해 실현된다. 컴퓨터(1000)는 CPU(1100), RAM(1200), ROM(Read Only Memory)(1300), HDD(Hard Disk Drive)(1400), 통신 인터페이스(1500), 및 입출력 인터페이스(1600)를 갖는다. 컴퓨터(1000)의 각 부는, 버스(1050)에 의해 접속된다.
CPU(1100)는, ROM(1300) 또는 HDD(1400)에 저장된 프로그램에 기초하여 동작하고, 각 부의 제어를 행한다. 예를 들어, CPU(1100)는, ROM(1300) 또는 HDD(1400)에 저장된 프로그램을 RAM(1200)에 전개하고, 각종 프로그램에 대응한 처리를 실행한다.
ROM(1300)은, 컴퓨터(1000)의 기동 시에 CPU(1100)에 의해 실행되는 BIOS(Basic Input Output System) 등의 부팅 프로그램 및 컴퓨터(1000)의 하드웨어에 의존하는 프로그램 등을 저장한다.
HDD(1400)는, CPU(1100)에 의해 실행되는 프로그램 및 이 프로그램에 의해 사용되는 데이터 등을 비일시적으로 기록하는, 컴퓨터가 판독 가능한 기록 매체이다. 구체적으로는, HDD(1400)는, 프로그램 데이터(1450)의 일례인 본 개시에 따른 정보 처리 프로그램을 기록하는 기록 매체이다.
통신 인터페이스(1500)는, 컴퓨터(1000)가 외부 네트워크(1550)(예를 들어 인터넷)와 접속하기 위한 인터페이스이다. 예를 들어, CPU(1100)는, 통신 인터페이스(1500)를 통해 다른 기기로부터 데이터를 수신하거나, CPU(1100)가 생성한 데이터를 다른 기기로 송신하거나 한다.
입출력 인터페이스(1600)는, 입출력 디바이스(1650)과 컴퓨터(1000)를 접속하기 위한 인터페이스이다. 예를 들어, CPU(1100)는, 입출력 인터페이스(1600)를 통해 키보드 또는 마우스 등의 입력 디바이스로부터 데이터를 수신한다. 또한, CPU(1100)는, 입출력 인터페이스(1600)를 통해 디스플레이, 스피커 또는 프린터 등의 출력 디바이스에 데이터를 송신한다. 또한, 입출력 인터페이스(1600)는, 소정의 기록 매체(미디어)에 기록된 프로그램 등을 판독하는 미디어 인터페이스로서 기능해도 된다. 미디어란, 예를 들어 DVD(Digital Versatile Disc), PD(Phase change rewritable Disk) 등의 광학 기록 매체, MO(Magneto-Optical disk) 등의 광자기 기록 매체, 테이프 매체, 자기 기록 매체, 또는 반도체 메모리 등이다.
예를 들어, 컴퓨터(1000)가 실시 형태에 따른 정보 처리 장치로서 기능하는 경우, 컴퓨터(1000)의 CPU(1100)는, RAM(1200) 상에 로드된 정보 처리 프로그램을 실행함으로써, 검출부(131), 상황 분석부(133), 동작 제어부(135), 및 출력 제어부(105) 등의 기능을 실현한다. 또한, HDD(1400)에는, 본 개시에 따른 정보 처리 프로그램이 저장된다. 또한, CPU(1100)는, 프로그램 데이터(1450)를 HDD(1400)로부터 판독해서 실행하지만, 다른 예로서, 외부 네트워크(1550)를 통해 다른 장치로부터 이들 프로그램을 취득해도 된다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 또 다른 효과가 있어도 된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
외부 검지부에 의해 검지된 데이터에 기초하여, 이동체의 외부에 존재하는 물체를 검출하는 외부 정보 검출부와,
내부 검지부에 의해 검지된 데이터에 기초하여, 상기 이동체의 내부의 운전자의 얼굴 방향을 검출하는 내부 정보 검출부와,
상기 외부 정보 검출부로 검출된 상기 물체의 위치와, 상기 내부 정보 검출부로 검출된 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하는 판정부와,
상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 상기 운전자에 대한 경고를, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인 경우에 비하여, 강하게 출력시키는 출력 제어부
를 갖는 정보 처리 장치.
(2)
상기 외부 정보 검출부로 검출된 상기 물체의 위치와, 상기 내부 정보 검출부로 검출된 상기 운전자의 얼굴 방향을 동일한 공간 정보에 매핑하는 상황 인식부를 더 가지고,
상기 판정부는, 매핑된 상기 공간 정보를 사용하여 상기 물체의 위치와 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하는, 상기 (1)에 기재된 정보 처리 장치.
(3)
상기 판정부는, 상기 운전자의 얼굴 방향을 중심으로 하여 소정의 범위에 상기 물체의 위치가 존재하는 경우에, 상기 물체의 위치와 상기 운전자의 얼굴 방향이 동일한 방향이라고 판정하는, 상기 (2)에 기재된 정보 처리 장치.
(4)
상기 이동체의 측면 또는 후부에 마련되는 상기 외부 검지부에 의해 촬상된 화상 데이터를 표시하는 표시부를 더 가지고,
상기 판정부는, 상기 표시부 상에서의 상기 운전자의 얼굴 방향을 사용해서 판정하는, 상기 (1)에 기재된 정보 처리 장치.
(5)
상기 판정부는, 상기 표시부에 표시된 상기 화상 데이터 중의 상기 물체의 위치와, 상기 운전자의 얼굴 방향이 동일한지를 판정하는, 상기 (4)에 기재된 정보 처리 장치.
(6)
상기 내부 정보 검출부는, 상기 운전자의 얼굴 방향으로서 상기 운전자의 시선을 검출하고,
상기 판정부는, 상기 운전자의 시선 위치에서, 창 너머의 시선과 상기 표시부에 대한 시선의 구별을 판정하는, 상기 (5)에 기재된 정보 처리 장치.
(7)
상기 내부 검지부는 TOF 센서인, 상기 (1) 내지 (6) 중 어느 하나에 기재된 정보 처리 장치.
(8)
상기 이동체의 움직임과 상기 물체의 움직임으로부터 상기 물체의 상기 이동체에 대한 충돌 예측 시간을 예측하고, 상기 충돌 예측 시간의 길이에 의해 정해지는 안전도에 따라서 상기 물체를 분류하는 상황 예측부를 더 구비하고,
상기 출력 제어부는, 중안전도인 경우에서, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 경고의 크기는, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인 경우의 경고의 크기보다도 크게 하는, 상기 (1) 내지 (7) 중 어느 하나에 기재된 정보 처리 장치.
(9)
상기 출력 제어부는 저안전도인 경우에는, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인지 여부에 관계 없이, 상기 중안전도인 경우에서 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 경고보다도 크게 하는, 상기 (8)에 기재된 정보 처리 장치.
(10)
상기 출력 제어부는, 상기 경고를 출력한 후의 소정의 타이밍에 상기 경고의 출력을 정지하는, 상기 (1) 내지 (9) 중 어느 하나에 기재된 정보 처리 장치.
(11)
상기 소정의 타이밍은, 상기 운전자의 얼굴 방향이 상기 물체의 방향을 향한 것, 상기 운전자가 상기 물체를 인식하였음을 나타내는 음성을 발한 것, 혹은 운전자에 의한 핸들 또는 브레이크의 조작이 행해진 것의 판정이 상기 판정부에 의해 이루어진 타이밍인, 상기 (10)에 기재된 정보 처리 장치.
(12)
상기 출력 제어부는, 상기 경고로서 통지음을 출력하고, 상기 운전자에 대하여 상기 물체의 위치 쪽에 음상이 위치하도록 상기 통지음을 음상 정위 처리하는, 상기 (1) 내지 (11) 중 어느 하나에 기재된 정보 처리 장치.
(13)
상기 판정부는, 상기 외부 정보 검출부에 의해 복수의 상기 물체가 검출된 경우에, 상기 이동체에 충돌할 때까지의 시간이 가장 짧은 물체에 대하여, 상기 물체의 위치와 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하는, 상기 (1) 내지 (12) 중 어느 하나에 기재된 정보 처리 장치.
(14)
이동체의 외부에 존재하는 물체를 검지하는 외부 검지부와,
상기 이동체의 내부의 운전자를 검지하는 내부 검지부와,
상기 외부 검지부에 의해 검지된 데이터에 기초하여, 상기 물체를 검출하는 외부 정보 검출부와,
상기 내부 검지부에 의해 검지된 데이터에 기초하여, 상기 운전자의 얼굴 방향을 검출하는 내부 정보 검출부와,
상기 외부 정보 검출부로 검출된 상기 물체의 위치와, 상기 내부 정보 검출부로 검출된 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하는 판정부와,
상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 상기 운전자에 대한 경고를, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인 경우에 비하여, 강하게 하는 출력 제어부
를 갖는 이동체.
(15)
외부 검지부에 의해 검지된 데이터에 기초하여, 이동체의 외부에 존재하는 물체를 검출하고,
내부 검지부에 의해 검지된 데이터에 기초하여, 상기 이동체의 내부의 운전자의 얼굴 방향을 검출하고,
상기 물체의 위치와, 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하고,
상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 상기 운전자에 대한 경고를, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인 경우에 비하여, 강하게 출력시키는
정보 처리 방법.
(16)
컴퓨터에,
외부 검지부에 의해 검지된 데이터에 기초하여, 이동체의 외부에 존재하는 물체를 검출하는 스텝과,
내부 검지부에 의해 검지된 데이터에 기초하여, 상기 이동체의 내부의 운전자의 얼굴 방향을 검출하는 스텝과,
상기 물체의 위치와, 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하는 스텝과,
상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 상기 운전자에 대한 경고를, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인 경우에 비하여, 강하게 출력시키는 스텝
을 실행시키는 프로그램.
100: 차량 제어 시스템
101: 입력부
102: 데이터 취득부
105: 출력 제어부
106: 출력부
107: 구동계 제어부
108: 구동계 시스템
109: 바디계 제어부
110: 바디계 시스템
111: 기억부
112: 자동 운전 제어부
121: 통신 네트워크
131: 검출부
133: 상황 분석부
134: 계획부
135: 동작 제어부
141: 차외 정보 검출부
142: 차내 정보 검출부
143: 차량 상태 검출부
153: 상황 인식부
154: 상황 예측부
155: 판정부
171: 긴급 사태 회피부
172: 가감속 제어부
173: 방향 제어부
210: 대표 동체
222: 전자 룸미러
224: 전자 사이드미러
226: 표시 장치
5010: 대시보드
5020: 인스트루먼트 패널
5030: DMS

Claims (10)

  1. 외부 검지부에 의해 검지된 데이터에 기초하여, 이동체의 외부에 존재하는 물체를 검출하는 외부 정보 검출부와,
    내부 검지부에 의해 검지된 데이터에 기초하여, 상기 이동체의 내부의 운전자의 얼굴 방향을 검출하는 내부 정보 검출부와,
    상기 외부 정보 검출부로 검출된 상기 물체의 위치와, 상기 내부 정보 검출부로 검출된 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하는 판정부와,
    상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 상기 운전자에 대한 경고를, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인 경우에 비하여, 강하게 출력시키는 출력 제어부
    를 갖는 정보 처리 장치.
  2. 제1항에 있어서,
    상기 외부 정보 검출부로 검출된 상기 물체의 위치와, 상기 내부 정보 검출부로 검출된 상기 운전자의 얼굴 방향을 동일한 공간 정보에 매핑하는 상황 인식부를 더 가지고,
    상기 판정부는, 매핑된 상기 공간 정보를 사용하여 상기 물체의 위치와 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하는 정보 처리 장치.
  3. 제2항에 있어서,
    상기 판정부는, 상기 운전자의 얼굴 방향을 중심으로 하여 소정의 범위에 상기 물체의 위치가 존재하는 경우에, 상기 물체의 위치와 상기 운전자의 얼굴 방향이 동일한 방향이라고 판정하는 정보 처리 장치.
  4. 제1항에 있어서,
    상기 이동체의 측면 또는 후부에 마련되는 상기 외부 검지부에 의해 촬상된 화상 데이터를 표시하는 표시부를 더 가지고,
    상기 판정부는, 상기 표시부 상에서의 상기 운전자의 얼굴 방향을 사용해서 판정하는 정보 처리 장치.
  5. 제4항에 있어서,
    상기 판정부는, 상기 표시부에 표시된 상기 화상 데이터 중의 상기 물체의 위치와, 상기 운전자의 얼굴 방향이 동일한지를 판정하는 정보 처리 장치.
  6. 제5항에 있어서,
    상기 내부 정보 검출부는, 상기 운전자의 얼굴 방향으로서 상기 운전자의 시선을 검출하고,
    상기 판정부는, 상기 운전자의 시선 위치에서, 창 너머의 시선과 상기 표시부에 대한 시선의 구별을 판정하는 정보 처리 장치.
  7. 제1항에 있어서,
    상기 내부 검지부는 TOF 센서인 정보 처리 장치.
  8. 이동체의 외부에 존재하는 물체를 검지하는 외부 검지부와,
    상기 이동체의 내부의 운전자를 검지하는 내부 검지부와,
    상기 외부 검지부에 의해 검지된 데이터에 기초하여, 상기 물체를 검출하는 외부 정보 검출부와,
    상기 내부 검지부에 의해 검지된 데이터에 기초하여, 상기 운전자의 얼굴 방향을 검출하는 내부 정보 검출부와,
    상기 외부 정보 검출부로 검출된 상기 물체의 위치와, 상기 내부 정보 검출부로 검출된 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하는 판정부와,
    상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 상기 운전자에 대한 경고를, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인 경우에 비하여, 강하게 하는 출력 제어부
    를 갖는 이동체.
  9. 외부 검지부에 의해 검지된 데이터에 기초하여, 이동체의 외부에 존재하는 물체를 검출하고,
    내부 검지부에 의해 검지된 데이터에 기초하여, 상기 이동체의 내부의 운전자의 얼굴 방향을 검출하고,
    상기 물체의 위치와, 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하고,
    상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 상기 운전자에 대한 경고를, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인 경우에 비하여, 강하게 출력시키는
    정보 처리 방법.
  10. 컴퓨터에,
    외부 검지부에 의해 검지된 데이터에 기초하여, 이동체의 외부에 존재하는 물체를 검출하는 스텝과,
    내부 검지부에 의해 검지된 데이터에 기초하여, 상기 이동체의 내부의 운전자의 얼굴 방향을 검출하는 스텝과,
    상기 물체의 위치와, 상기 운전자의 얼굴 방향이 동일한 방향인지를 판정하는 스텝과,
    상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향이 아닌 경우의 상기 운전자에 대한 경고를, 상기 물체의 위치가 상기 운전자의 얼굴 방향과 동일한 방향인 경우에 비하여, 강하게 출력시키는 스텝
    을 실행시키는 프로그램.
KR1020217002914A 2018-08-09 2019-07-24 정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램 KR20210043566A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018150888 2018-08-09
JPJP-P-2018-150888 2018-08-09
PCT/JP2019/028967 WO2020031695A1 (ja) 2018-08-09 2019-07-24 情報処理装置、移動体、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
KR20210043566A true KR20210043566A (ko) 2021-04-21

Family

ID=69414104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217002914A KR20210043566A (ko) 2018-08-09 2019-07-24 정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램

Country Status (6)

Country Link
US (1) US11590985B2 (ko)
EP (1) EP3836119A4 (ko)
JP (1) JP7382327B2 (ko)
KR (1) KR20210043566A (ko)
CN (1) CN112534487B (ko)
WO (1) WO2020031695A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214551A1 (de) * 2018-08-28 2020-03-05 Bayerische Motoren Werke Aktiengesellschaft Abbiegeassistent im Fahrzeug
CN112622916A (zh) * 2019-10-08 2021-04-09 株式会社斯巴鲁 车辆的驾驶辅助系统
JP7222343B2 (ja) * 2019-11-28 2023-02-15 トヨタ自動車株式会社 運転支援装置
JP7267222B2 (ja) * 2020-02-26 2023-05-01 三菱ロジスネクスト株式会社 処理装置、処理方法、報知システム及びプログラム
JP2022142614A (ja) * 2021-03-16 2022-09-30 パナソニックＩｐマネジメント株式会社 安全確認支援装置、安全確認支援方法及び安全確認支援プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116693A (ja) 2007-11-07 2009-05-28 Toyota Motor Corp 車線逸脱防止制御装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257B2 (ja) * 1990-02-23 1995-07-05 セントラル硝子株式会社 Ｖａ菌根菌の増殖方法
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2929927B2 (ja) 1993-12-14 1999-08-03 日産自動車株式会社 走行情報提供装置
EP2000889B1 (en) * 2006-03-15 2018-06-27 Omron Corporation Monitor and monitoring method, controller and control method, and program
US7609150B2 (en) * 2006-08-18 2009-10-27 Motorola, Inc. User adaptive vehicle hazard warning apparatuses and method
JP4924611B2 (ja) 2006-09-29 2012-04-25 アイシン精機株式会社 車両用警報装置及び車両用警報方法
EP2216764A4 (en) 2007-12-05 2012-07-25 Bosch Corp VEHICLE INFORMATION DISPLAY DEVICE
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
JP5582008B2 (ja) * 2010-12-08 2014-09-03 トヨタ自動車株式会社 車両用情報伝達装置
DE102012207931A1 (de) 2012-01-07 2013-07-11 Johnson Controls Gmbh Kameraanordnung zur Distanzmessung
CN103501406B (zh) * 2013-09-16 2017-04-12 北京智谷睿拓技术服务有限公司 图像采集系统及图像采集方法
CN103760968B (zh) * 2013-11-29 2015-05-13 理光软件研究所（北京）有限公司 数字标牌显示内容选择方法和装置
JP6241235B2 (ja) 2013-12-04 2017-12-06 三菱電機株式会社 車両用運転支援装置
WO2016052090A1 (ja) * 2014-09-30 2016-04-07 ソニー株式会社 制御装置、および制御方法、並びにプログラム
JP6394281B2 (ja) * 2014-10-29 2018-09-26 株式会社デンソー 車載注意喚起システム、報知制御装置
US9598010B2 (en) * 2015-04-02 2017-03-21 Denso International America, Inc. Visual alert system
JP6563798B2 (ja) 2015-12-17 2019-08-21 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
JP2018067198A (ja) 2016-10-20 2018-04-26 矢崎総業株式会社 走行支援装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116693A (ja) 2007-11-07 2009-05-28 Toyota Motor Corp 車線逸脱防止制御装置

Also Published As

Publication number Publication date
CN112534487A (zh) 2021-03-19
WO2020031695A1 (ja) 2020-02-13
US20210300401A1 (en) 2021-09-30
EP3836119A1 (en) 2021-06-16
US11590985B2 (en) 2023-02-28
JPWO2020031695A1 (ja) 2021-08-10
EP3836119A4 (en) 2021-10-06
CN112534487B (zh) 2024-03-08
JP7382327B2 (ja) 2023-11-16

Similar Documents

Publication Publication Date Title
US11590985B2 (en) Information processing device, moving body, information processing method, and program
WO2020003776A1 (ja) 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置
US11873007B2 (en) Information processing apparatus, information processing method, and program
US11501461B2 (en) Controller, control method, and program
US11915452B2 (en) Information processing device and information processing method
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US11815887B2 (en) Vehicle control device, vehicle control method, vehicle, information processing device, information processing method, and program
WO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
WO2020183892A1 (ja) 情報処理装置及び情報処理方法、並びに移動体装置
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
US20220277556A1 (en) Information processing device, information processing method, and program
WO2019069599A1 (ja) 画像処理装置及び画像処理方法
US11763675B2 (en) Information processing apparatus and information processing method
JP7451423B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP7367014B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、撮像装置
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体