KR20210013044A - 정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체 - Google Patents

정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체 Download PDF

Info

Publication number
KR20210013044A
KR20210013044A KR1020207032578A KR20207032578A KR20210013044A KR 20210013044 A KR20210013044 A KR 20210013044A KR 1020207032578 A KR1020207032578 A KR 1020207032578A KR 20207032578 A KR20207032578 A KR 20207032578A KR 20210013044 A KR20210013044 A KR 20210013044A
Authority
KR
South Korea
Prior art keywords
recognition
unit
control unit
visible light
image
Prior art date
Application number
KR1020207032578A
Other languages
English (en)
Other versions
KR102690791B1 (ko
Inventor
게이타로 야마모토
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20210013044A publication Critical patent/KR20210013044A/ko
Application granted granted Critical
Publication of KR102690791B1 publication Critical patent/KR102690791B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
    • F21S41/12—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of emitted light
    • F21S41/13—Ultraviolet light; Infrared light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G06K9/2027—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1431—Illumination control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05—Special features for controlling or switching of the light beam
    • B60Q2300/056—Special anti-blinding beams, e.g. a standard beam is chopped or moved in order not to blind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/11—Linear movements of the vehicle
    • B60Q2300/112—Vehicle speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)
  • Arrangement Of Elements, Cooling, Sealing, Or The Like Of Lighting Devices (AREA)

Abstract

본 기술은, 화상 인식 처리의 정밀도를 향상시킬 수 있도록 하는 정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체에 관한 것이다. 정보 처리 장치는, 촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와, 적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬영부의 촬영 방향으로의 가시광의 조사 패턴을 제어하는 조사 제어부를 구비한다. 본 기술은, 예를 들어 차량 제어 장치에 적용할 수 있다.

Description

정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체
본 기술은, 정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체에 관한 것으로, 특히, 가시 화상에 대해 화상 인식 처리를 행하는 경우에 사용하기에 적합한 정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체에 관한 것이다.
종래, 차량의 전방의 도로 사용자의 검출 결과에 기초하여, 헤드라이트 장치의 배광 패턴을 제어하여, 도로 사용자의 눈부심을 방지하는 것이 제안되었다(예를 들어, 특허문헌 1 참조).
일본 특허 공표 제2013-511418호 공보
그런데, 야간 등의 어두운 환경 하에서 가시광 카메라에 의해 차량의 주위를 촬영한 가시 화상에서는, 차량으로부터의 조사광의 조도가 낮은 영역에서 노이즈나 블러가 증대되거나, 조사광의 조도가 높은 영역에서 화소의 포화가 발생되거나 한다. 그 결과, 가시 화상에 대한 화상 인식 처리의 정밀도가 저하되어, 예를 들어 차량 주위의 물체의 검출 정밀도가 저하된다.
이에 비하여, 특허문헌 1에서는, 화상 인식 처리의 정밀도를 향상시킬 목적으로, 헤드라이트 장치의 배광 패턴을 제어하는 것은 검토되어 있지 않다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이며, 화상 인식 처리의 정밀도를 향상시키도록 하는 것이다.
본 기술의 제1 측면의 정보 처리 장치는, 촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와, 적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬영부의 촬영 방향으로의 가시광의 조사 패턴을 제어하는 조사 제어부를 구비한다.
본 기술의 제2 측면의 정보 처리 방법은, 촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하고, 적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬영부의 촬영 방향으로의 가시광의 조사 패턴을 제어한다.
본 기술의 제3 측면의 촬영 장치는, 촬상 소자와, 상기 촬상 소자에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와, 적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬상 소자의 촬영 방향으로의 가시광의 조사 패턴을 제어하는 조사 제어부를 구비한다.
본 기술의 제4 측면의 조명 장치는, 광원부와, 촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와, 적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬영부의 촬영 방향으로의 상기 광원부에 의한 가시광의 조사 패턴을 제어하는 조사 제어부를 구비한다.
본 기술의 제5 측면의 이동체는, 촬영부와, 상기 촬영부의 촬영 방향으로 가시광을 조사하는 조명부와, 상기 촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와, 적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 조명부의 가시광의 조사 패턴을 제어하는 조사 제어부를 구비한다.
본 기술의 제1 측면 내지 제5 측면에 있어서는, 화상 인식 처리가 행해져, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도가 산출되고, 적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 촬영 방향으로의 가시광의 조사 패턴이 제어된다.
본 기술의 제1 측면 내지 제5 측면에 의하면, 화상 인식 처리의 정밀도를 향상시킬 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은 본 기술을 적용한 차량의 구성예를 도시하는 블록도이다.
도 2는 조명부의 구성예를 도시하는 블록도이다.
도 3은 촬영부의 구성예를 도시하는 블록도이다.
도 4는 정보 처리부의 구성예를 도시하는 블록도이다.
도 5는 조명 제어 처리를 설명하기 위한 흐름도이다.
도 6은 조사 패턴의 제어 방법을 설명하기 위한 도면이다.
도 7은 조사 패턴의 제어 방법을 설명하기 위한 도면이다.
도 8은 조사 패턴의 제어 방법을 설명하기 위한 도면이다.
이하, 본 기술을 실시하기 위한 형태에 대해 설명한다. 설명은 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
3. 기타
<<1. 실시 형태>>
<차량(101)의 구성예>
도 1은, 본 기술을 적용한 차량(101)의 기략적인 구성예를 도시하는 블록도이다.
차량(101)은, 차량 제어 시스템(111)을 구비한다.
차량 제어 시스템(111)은, 통신 네트워크(121)를 통하여 접속된 복수의 제어 유닛을 구비한다. 도 1에 도시한 예에서는, 차량 제어 시스템(111)은, 구동계 제어 유닛(122), 보디계 제어 유닛(124), 배터리 제어 유닛(126), 차외 정보 검출 유닛(127), 차내 정보 검출 유닛(130) 및 통합 제어 유닛(133)을 구비한다. 이들 복수의 제어 유닛을 접속하는 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network) 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크이면 된다.
각 제어 유닛은, 각종 프로그램에 따라 연산 처리를 행하는 마이크로 컴퓨터와, 마이크로 컴퓨터에 의해 실행되는 프로그램 또는 각종 연산에 사용되는 파라미터 등을 기억하는 기억부와, 각종 제어 대상의 장치를 구동하는 구동 회로를 구비한다. 각 제어 유닛은, 통신 네트워크(121)를 통하여 다른 제어 유닛 사이에서 통신을 행하기 위한 네트워크 I/F를 구비함과 함께, 차내외의 장치 또는 센서 등과의 사이에서, 유선 통신 또는 무선 통신에 의해 통신을 행하기 위한 통신 I/F를 구비한다. 도 1에서는, 통합 제어 유닛(133)의 기능 구성으로서, 마이크로 컴퓨터(151), 범용 통신 I/F(152), 전용 통신 I/F(153), 측위부(154), 비콘 수신부(155), 차내 기기 I/F(156), 음성 화상 출력부(157), 차량 탑재 네트워크 I/F(158) 및 기억부(159)가 도시되어 있다. 다른 제어 유닛도 마찬가지로, 마이크로 컴퓨터, 통신 I/F 및 기억부 등을 구비한다.
구동계 제어 유닛(122)은, 각종 프로그램에 따라 차량(101)의 구동계에 관련된 장치의 동작을 제어한다. 예를 들어, 구동계 제어 유닛(122)은, 내연 기관 또는 구동용 모터 등의 차량(101)의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량(101)의 타각을 조절하는 스티어링 기구 및 차량(101)의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다. 구동계 제어 유닛(122)은, ABS(Antilock Brake System) 또는 ESC(Electronic Stability Control) 등의 제어 장치로서의 기능을 갖고 있어도 된다.
구동계 제어 유닛(122)에는, 차량 상태 검출부(123)가 접속된다. 차량 상태 검출부(123)에는, 예를 들어 차체의 축 회전 운동의 각속도를 검출하는 자이로 센서, 차량(101)의 가속도를 검출하는 가속도 센서, 혹은 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수 또는 차륜의 회전 속도 등을 검출하기 위한 센서 중 적어도 하나가 포함된다. 구동계 제어 유닛(122)은, 차량 상태 검출부(123)로부터 입력되는 신호를 사용하여 연산 처리를 행하고, 내연 기관, 구동용 모터, 전동 파워 스티어링 장치 또는 브레이크 장치 등을 제어한다.
보디계 제어 유닛(124)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 보디계 제어 유닛(124)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 혹은 헤드 램프, 백 램프, 브레이크 램프, 방향 지시등 또는 안개등 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 보디계 제어 유닛(124)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(124)은, 이들 전파 또는 신호의 입력을 접수하고, 차량(101)의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
또한, 도 1에서는, 보디계 제어 유닛(124)의 제어 대상으로서 조명부(125)만을 도시하고 있다. 조명부(125)는, 상술한 각종 램프 중의 적어도 일부를 구비한다.
배터리 제어 유닛(126)은, 각종 프로그램에 따라 구동용 모터의 전력 공급원인 이차 전지(도시하지 않음)를 제어한다. 예를 들어, 배터리 제어 유닛(126)에는, 이차 전지를 구비한 배터리 장치로부터, 배터리 온도, 배터리 출력 전압 또는 배터리의 잔존 용량 등의 정보가 입력된다. 배터리 제어 유닛(126)은, 이들 신호를 사용하여 연산 처리를 행하고, 이차 전지의 온도 조절 제어 또는 배터리 장치에 구비된 냉각 장치 등의 제어를 행한다.
차외 정보 검출 유닛(127)은, 차량(101)의 외부의 정보를 검출한다. 예를 들어, 차외 정보 검출 유닛(127)에는, 촬영부(128) 및 차외 정보 검출부(129) 중 적어도 하나가 접속된다. 촬영부(128)에는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 그밖의 카메라 중 적어도 하나가 포함된다. 차외 정보 검출부(129)에는, 예를 들어 현재의 날씨 또는 기상을 검출하기 위한 환경 센서, 혹은 차량(101) 주위의 다른 차량, 장애물 또는 보행자 등을 검출하기 위한 주위 정보 검출 센서 중 적어도 하나가 포함된다.
환경 센서는, 예를 들어 우천을 검출하는 빗방울 센서, 안개를 검출하는 안개 센서, 일조 정도를 검출하는 일조 센서 및 강설을 검출하는 눈 센서 중 적어도 하나이면 된다. 주위 정보 검출 센서는, 초음파 센서, 레이더 장치 및 LIDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging) 장치 중 적어도 하나이면 된다. 이들 촬영부(128) 및 차외 정보 검출부(129)는, 각각 독립된 센서 내지 장치로서 구비되어도 되고, 복수의 센서 내지 장치가 통합된 장치로서 구비되어도 된다.
차외 정보 검출 유닛(127)은, 촬영부(128)에 차외의 화상을 촬영시킴과 함께, 촬영된 화상 데이터를 수신한다. 또한, 차외 정보 검출 유닛(127)은, 접속되어 있는 차외 정보 검출부(129)로부터 검출 정보를 수신한다. 차외 정보 검출부(129)가 초음파 센서, 레이더 장치 또는 LIDAR 장치인 경우에는, 차외 정보 검출 유닛(127)은, 초음파 또는 전자파 등을 발신시킴과 함께, 수신된 반사파의 정보(이하, 반사파 정보라고 칭함)를 수신한다. 차외 정보 검출 유닛(127)은, 반사파 정보에 기초하여, 인간, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(127)은, 반사파 정보에 기초하여, 강우, 안개 또는 노면 상황 등을 인식하는 환경 인식 처리를 행해도 된다. 차외 정보 검출 유닛(127)은, 반사파 정보에 기초하여, 차외의 물체까지의 거리를 산출해도 된다.
또한, 차외 정보 검출 유닛(127)은, 수신한 화상 데이터에 기초하여, 인간, 차, 장애물, 표지 또는 노면 상의 문자 등을 인식하는 화상 인식 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(127)은, 수신한 화상 데이터에 대해 왜곡 보정 또는 위치 정렬 등의 처리를 행함과 함께, 다른 촬영부(128)에 의해 촬영된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상을 생성해도 된다. 차외 정보 검출 유닛(127)은, 다른 촬영부(128)에 의해 촬영된 화상 데이터를 사용하여, 시점 변환 처리를 행해도 된다.
차내 정보 검출 유닛(130)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(130)에는, 예를 들어 운전자의 상태를 검출하는 운전자 상태 검출부(131)가 접속된다. 운전자 상태 검출부(131)는, 운전자를 촬영하는 카메라, 운전자의 생체 정보를 검출하는 생체 센서 또는 차 실내의 음성을 집음하는 마이크 등을 포함해도 된다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되고, 좌석에 앉은 탑승자 또는 스티어링 휠을 잡는 운전자의 생체 정보를 검출한다. 차내 정보 검출 유닛(130)은, 운전자 상태 검출부(131)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸지 않는지를 판별해도 된다. 차내 정보 검출 유닛(130)은, 집음된 음성 신호에 대해 노이즈 캔슬링 처리 등의 처리를 행해도 된다.
통합 제어 유닛(133)은, 각종 프로그램에 따라 차량 제어 시스템(111) 내의 동작 전반을 제어한다. 통합 제어 유닛(133)에는, 입력부(132)가 접속되어 있다. 입력부(132)는, 예를 들어 터치 패널, 버튼, 마이크로 폰, 스위치 또는 레버 등, 탑승자에 의해 입력 조작될 수 있는 장치에 의해 실현된다. 통합 제어 유닛(133)에는, 마이크로 폰에 의해 입력되는 음성을 음성 인식함으로써 얻은 데이터가 입력되어도 된다. 입력부(132)는, 예를 들어 적외선 또는 그 밖의 전파를 이용한 리모트 컨트롤 장치여도 되고, 차량 제어 시스템(111)의 조작에 대응한 휴대 전화 또는 PDA(Personal Digital Assistant) 등의 외부 접속 기기여도 된다. 입력부(132)는, 예를 들어 카메라여도 되고, 그 경우 탑승자는 제스처에 의해 정보를 입력할 수 있다. 혹은, 탑승자가 장착한 웨어러블 장치의 움직임을 검출함으로써 얻어진 데이터가 입력되어도 된다. 또한, 입력부(132)는, 예를 들어 상기 입력부(132)를 사용하여 탑승자 등에 의해 입력된 정보에 기초하여 입력 신호를 생성하고, 통합 제어 유닛(133)에 출력하는 입력 제어 회로 등을 포함해도 된다. 탑승자 등은, 이 입력부(132)를 조작함으로써, 차량 제어 시스템(111)에 대해 각종 데이터를 입력하거나 처리 동작을 지시하거나 한다.
기억부(159)는, 마이크로 컴퓨터(151)에 의해 실행되는 각종 프로그램을 기억하는 ROM(Read Only Memory) 및 각종 파라미터, 연산 결과 또는 센서값 등을 기억하는 RAM(Random Access Memory)을 포함하고 있어도 된다. 또한, 기억부(159)는, HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광기억 디바이스 또는 광자기 기억 디바이스 등에 의해 실현하여, 예를 들어 마이크로 컴퓨터(151)가 실행할 각종 프로그램을 제공하도록 해도 된다.
범용 통신 I/F(152)는, 외부 환경(102)에 존재하는 다양한 기기 사이의 통신을 중개하는 범용적인 통신 I/F이다. 범용 통신 I/F(152)는, GSM(등록 상표)(Global System of Mobile co㎜unications), WiMAX, LTE(Long Term Evolution) 혹은 LTE-A(LTE-Advanced) 등의 셀룰러 통신 프로토콜, 또는 무선 LAN(Wi-Fi(등록 상표)라고도 함), Bluetooth(등록 상표) 등의 기타 무선 통신 프로토콜을 실장해도 된다. 범용 통신 I/F(152)는, 예를 들어 기지국 또는 액세스 포인트를 통하여, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)로 접속해도 된다. 또한, 범용 통신 I/F(152)는, 예를 들어 P2P(Peer To Peer) 기술을 이용하여, 차량(101)의 근방에 존재하는 단말기(예를 들어, 운전자, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와 접속해도 된다.
또한, 예를 들어 마이크로 컴퓨터(151)가 실행할 각종 프로그램을, 외부 환경(102)으로부터 제공하도록 해도 된다.
전용 통신 I/F(153)는, 차량(101)에 있어서의 사용을 목적으로 하여 책정된 통신 프로토콜을 서포트하는 통신 I/F이다. 전용 통신 I/F(153)는, 예를 들어 하위 레이어의 IEEE 802.11p와 상위 레이어의 IEEE 1609의 조합인 WAVE(Wireless Access in Vehicle Enviro㎚ent), DSRC(Dedicated Short Range Communications), 또는 셀룰러 통신 프로토콜과 같은 표준 프로토콜을 실장해도 된다. 전용 통신 I/F(153)는, 전형적으로는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 차량(101)과 집 사이(Vehicle to Home)의 통신 및 보차간(Vehicle to Pedestrian) 통신 중 하나 이상을 포함하는 개념인 V2X 통신을 수행한다.
측위부(154)는, 예를 들어 GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호(예를 들어, GPS(Global Positioning System) 위성으로부터의 GPS 신호)를 수신하여 측위를 실행하여, 차량(101)의 위도, 경도 및 고도를 포함하는 위치 정보를 생성한다. 또한, 측위부(154)는, 무선 액세스 포인트와의 신호의 교환에 의해 현재 위치를 특정해도 되고, 또는 측위 기능을 갖는 휴대 전화, PHS 혹은 스마트 폰과 같은 단말기로부터 위치 정보를 취득해도 된다.
비콘 수신부(155)는, 예를 들어 도로 위에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하고, 현재 위치, 정체, 통행 금지 또는 소요 시간 등의 정보를 취득한다. 또한, 비콘 수신부(155)의 기능은, 상술한 전용 통신 I/F(153)에 포함되어도 된다.
차내 기기 I/F(156)는, 마이크로 컴퓨터(151)와 차내에 존재하는 다양한 차내 기기(134)의 사이의 접속을 중개하는 통신 인터페이스이다. 차내 기기 I/F(156)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication) 또는 WUSB(Wireless USB)와 같은 무선 통신 프로토콜을 사용하여 무선 접속을 확립해도 된다. 또한, 차내 기기 I/F(156)는, 도시하지 않은 접속 단자(및 필요하면 케이블)을 통하여, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등의 유선 접속을 확립해도 된다. 차내 기기(134)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 또는 차량(101)에 반입되거나 혹은 장착되는 정보 기기 중 적어도 하나를 포함하고 있어도 된다. 또한, 차내 기기(134)는, 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치를 포함하고 있어도 된다. 차내 기기 I/F(156)는, 이들 차내 기기(134) 사이에서, 제어 신호 또는 데이터 신호를 교환한다.
차량 탑재 네트워크 I/F(158)는, 마이크로 컴퓨터(151)와 통신 네트워크(121) 사이의 통신을 중개하는 인터페이스이다. 차량 탑재 네트워크 I/F(158)는, 통신 네트워크(121)에 의해 서포트되는 소정의 프로토콜에 의거하여, 신호 등을 송수신한다.
통합 제어 유닛(133)의 마이크로 컴퓨터(151)는, 범용 통신 I/F(152), 전용 통신 I/F(153), 측위부(154), 비콘 수신부(155), 차내 기기 I/F(156) 및 차량 탑재 네트워크 I/F(158) 중 적어도 하나를 통하여 취득되는 정보에 기초하여, 각종 프로그램에 따라, 차량 제어 시스템(111)을 제어한다. 예를 들어, 마이크로 컴퓨터(151)는, 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하고, 구동계 제어 유닛(122)에 대해 제어 명령을 출력해도 된다. 예를 들어, 마이크로 컴퓨터(151)는, 차량(101)의 충돌 회피혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량(101)의 충돌 경고, 또는 차량(101)의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행해도 된다. 또한, 마이크로 컴퓨터(151)는, 취득되는 차량(101)의 주위 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행해도 된다.
마이크로 컴퓨터(151)는, 범용 통신 I/F(152), 전용 통신 I/F(153), 측위부(154), 비콘 수신부(155), 차내 기기 I/F(156) 및 차량 탑재 네트워크 I/F(158) 중 적어도 하나를 통하여 취득되는 정보에 기초하여, 차량(101)과 주변의 구조물이나 인물 등의 물체 사이의 3차원 거리 정보를 생성하고, 차량(101)의 현재 위치의 주변 정보를 포함하는 로컬 지도 정보를 작성해도 된다. 또한, 마이크로 컴퓨터(151)는, 취득되는 정보에 기초하여, 차량(101)의 충돌, 보행자 등의 근접 또는 통행 금지의 도로로의 진입 등의 위험을 예측하고, 경고용 신호를 생성해도 된다. 경고용 신호는, 예를 들어 경고음을 발생시키거나, 경고 램프를 점등시키거나 하기 위한 신호이면 된다.
음성 화상 출력부(157)는, 차량(101)의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치로 음성 및 화상 중 적어도 한쪽 출력 신호를 송신한다. 도 1의 예에서는, 출력 장치로서, 오디오 스피커(135), 표시부(136) 및 인스트루먼트 패널(137)이 예시되어 있다. 표시부(136)는, 예를 들어 온보드 디스플레이 및 헤드업 디스플레이 중 적어도 하나를 포함하고 있어도 된다. 표시부(136)는, AR(Augmented Reality) 표시 기능을 갖고 있어도 된다. 출력 장치는, 이들 장치 이외의, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터 또는 램프 등의 다른 장치여도 된다. 출력 장치가 표시 장치인 경우, 표시 장치는, 마이크로 컴퓨터(151)가 행한 각종 처리에 의해 얻어진 결과 또는 다른 제어 유닛으로부터 수신된 정보를, 텍스트, 이미지, 표, 그래프 등, 다양한 형식으로 시각적으로 표시한다. 또한, 출력 장치가 음성 출력 장치인 경우, 음성 출력 장치는, 재생된 음성 데이터 또는 음향 데이터 등을 포함하는 오디오 신호를 아날로그 신호로 변환하여 청각적으로 출력한다.
또한, 도 1에 도시한 예에 있어서, 통신 네트워크(121)를 통하여 접속된 적어도 두 제어 유닛이 하나의 제어 유닛으로서 일체화되어도 된다. 혹은, 각각의 제어 유닛이, 복수의 제어 유닛에 의해 구성되어도 된다. 또한, 차량 제어 시스템(111)이 도시되어 있지 않은 다른 제어 유닛을 구비해도 된다. 또한, 상기 설명에 있어서, 어느 제어 유닛이 담당하는 기능의 일부 또는 전부를, 다른 제어 유닛에 갖도록 해도 된다. 즉, 통신 네트워크(121)를 통하여 정보의 송수신이 되도록 되어 있으면, 소정의 연산 처리가, 어느 제어 유닛으로 행해지도록 되어도 된다. 마찬가지로, 어느 제어 유닛에 접속되어 있는 센서 또는 장치가, 다른 제어 유닛에 접속됨과 함께, 복수의 제어 유닛이 통신 네트워크(121)를 통하여 상호 검출 정보를 송수신해도 된다.
또한, 이하, 제어 유닛이 통신 네트워크(121)를 통하여 통신을 행하는 경우의 통신 네트워크(121)의 기재를 생략한다. 예를 들어, 구동계 제어 유닛(122)과 통합 제어 유닛(133)이 통신 네트워크(121)를 통하여 통신을 행하는 경우, 간단히, 구동계 제어 유닛(122)과 통합 제어 유닛(133)이 통신을 행한다고 기재한다.
또한, 이하, 통합 제어 유닛(133)의 마이크로 컴퓨터(151)가 차량 탑재 네트워크 I/F(158) 및 통신 네트워크(121)를 통하여 통신을 행하는 경우의 차량 탑재 네트워크 I/F(158) 및 통신 네트워크(121)의 기재를 생략한다. 예를 들어, 마이크로 컴퓨터(151)가 차량 탑재 네트워크 I/F(158) 및 통신 네트워크(121)를 통하여 구동계 제어 유닛(122)과 통신을 행하는 경우, 간단히, 마이크로 컴퓨터(151)가 구동계 제어 유닛(122)과 통신을 행한다고 기재한다.
<조명부(125)의 구성예>
도 2는, 도 1의 조명부(125)의 구성예의 일부를 도시하는 블록도이다.
조명부(125)는, 가변 조사 램프(201) 및 적외선 램프(202)를 구비한다.
가변 조사 램프(201)는, 가시광을 발하는 가시광 광원부(211)를 구비하고, 차량(101)의 전방에 가시광을 조사 가능한 위치에 설치된다. 그리고, 가변 조사 램프(201)는, 보디계 제어 유닛(124)의 제어 하에, 차량(101)의 전방에 가시광을 조사한다.
또한, 가변 조사 램프(201)는, 가시광의 조사 영역을 복수로 분할한 단위 영역마다 광량을 제어할 수 있고, 단위 영역마다 광량을 제어함으로써, 조사 패턴을 제어한다. 따라서, 조사 패턴은, 가변 조사 램프(201)로부터 출사되는 가시광의 공간 방향의 광량의 분포, 보다 구체적으로는, 가시광의 단위 영역마다 광량의 분포를 나타낸다.
예를 들어, 가시광 광원부(211)는, 복수의 광원(예를 들어, LED)이 어레이 형상으로 나열된 구성을 구비하고 있다. 그리고, 가시광 광원부(211)의 각 광원의 광량을 개별적으로 제어함으로써, 가시광의 조사 패턴이 제어된다. 또한, 각 광원의 광량 제어에는, 광량을 0으로 설정하는 것, 즉 광원을 오프하는 것을 포함한다.
혹은, 예를 들어 가시광 광원부(211)는, 광원, DMD(Digital Mirror Device), 렌즈 등을 구비한다. 그리고, 가시광 광원부(211)의 DMD의 각 미러의 온/오프가 제어됨으로써, 가시광의 조사 패턴이 제어된다.
또한, 반드시 단위 영역의 형태 및 크기를 모두 동일하게 할 필요는 없고, 형태 또는 크기가 다른 단위 영역이 포함되어 있어도 된다.
적외선 램프(202)는, 적외광을 발하는 적외선 광원부(221)를 구비하고, 차량(101)의 전방에 적외광을 조사 가능한 위치에 설치된다. 그리고, 적외선 램프(202)는, 보디계 제어 유닛(124)의 제어 하에, 차량(101)의 전방에 적외광을 조사한다.
<촬영부(128)의 구성예>
도 3은, 도 1의 촬영부(128)의 구성예를 도시하는 블록도이다.
촬영부(128)는, 가시광 카메라(251) 및 적외선 카메라(252)를 구비한다.
가시광 카메라(251)는, 가시광에 대해 감도를 갖는 가시광 촬상 소자(261)를 구비하고, 차량(101)의 전방을 촬영 가능한 위치에 설치된다. 예를 들어, 가시광 카메라(251)는, 차량(101)의 헤드라이트 내, 대시보드 상, 차내의 리어뷰 미러의 상부, 또는 지붕의 상부 등에 설치된다. 그리고, 가시광 카메라(251)는, 차외 정보 검출 유닛(127)의 제어 하에, 차량(101)의 전방을 촬영하고, 촬영의 결과 얻어진 컬러의 화상(이하, 가시 화상이라고 칭함)의 데이터를 차외 정보 검출 유닛(127)에 공급한다.
또한, 상술한 가변 조사 램프(201)는, 가시광 카메라(251)(가시광 촬상 소자(261))의 촬영 방향으로 가시광을 조사하고, 적어도 가시광 카메라(251)의 화각 내에 거의 균등하게 가시광을 조사하는 것이 가능하다.
적외선 카메라(252)는, 적외선(적외광)에 대해 감도를 갖는 적외선 촬상 소자(271)를 구비하고, 차량(101)의 전방을 촬영 가능한 위치에 설치된다. 예를 들어, 적외선 카메라(252)는, 가시광 카메라(251)와 마찬가지의 위치에 설치된다. 그리고, 적외선 카메라(252)는, 차외 정보 검출 유닛(127)의 제어 하에, 차량(101)의 전방을 촬영하고, 촬영의 결과 얻어진 모노크롬의 화상(이하, 적외 화상이라고 칭함)의 데이터를 차외 정보 검출 유닛(127)에 공급한다.
또한, 상술한 적외선 램프(202)는, 적외선 카메라(252)(적외선 촬상 소자(271))의 촬영 방향으로 적외광을 조사하고, 적어도 적외선 카메라(252)의 화각 내에 거의 균등하게 적외광을 조사하는 것이 가능하다.
<정보 처리부(301)의 구성예>
도 4는, 통합 제어 유닛(133)의 마이크로 컴퓨터(151)가 소정의 제어 프로그램을 실행함으로써 실현되는 기능의 일부인 정보 처리부(301)의 구성예를 나타내고 있다. 또한, 도면 중, 구동계 제어 유닛(122), 보디계 제어 유닛(124) 및 차외 정보 검출 유닛(127)과, 정보 처리부(301) 사이의 통신 네트워크(121) 및 차량 탑재 네트워크 I/F(158)의 도시를 생략하였다.
정보 처리부(301)는, 인식부(311), 측거부(312), 조사 제어부(313) 및 동작 제어부(314)를 구비한다.
인식부(311)는, 가시 화상 및 적외 화상의 데이터를 차외 정보 검출 유닛(127)로부터 취득하고, 가시 화상 및 적외 화상에 대해 화상 인식 처리를 행한다. 여기서, 화상 인식 처리란, 예를 들어 화상 내의 물체를 인식하는 처리이다. 또한, 인식부(311)는, 화상 인식 처리에 의한 물체의 인식 결과에 기초하는 영역(이하, 인식 영역이라고 칭함)마다 인식 결과의 신뢰도를 나타내는 인식 스코어를 산출한다.
인식 영역은, 예를 들어 인식된 각 물체에 각각 대응하는 영역이다. 단, 인식 영역은, 물체의 인식에 실패한 영역도 포함할 수 있다. 또한, 인식 스코어는, 예를 들어 인식 영역 내의 물체의 인식 결과의 신뢰도, 바꾸어 말하면, 인식 영역 내에 있어서 인식된 물체의 정확도를 나타낸다.
인식부(311)는, 각 인식 영역의 위치, 그리고, 각 인식 영역 내의 물체의 종류 및 인식 스코어 등의 인식 결과를 포함하는 인식 정보를 조사 제어부(313) 및 동작 제어부(314)에 공급한다.
측거부(312)는, 차외 정보 검출 유닛(127)으로부터 공급되는, 스테레오 카메라의 화상 데이터, ToF 카메라의 화상 데이터, 또는 초음파 센서, 레이더 장치, 혹은 LIDAR 장치의 반사파 정보에 기초하여, 차량(101) 전방의 물체까지의 거리의 검출 처리를 행한다. 측거부(312)는, 각 물체까지의 거리의 검출 결과를 포함하는 측거 정보를 조사 제어부(313) 및 동작 제어부(314)에 공급한다.
조사 제어부(313)는, 차량(101) 전방의 물체의 인식 결과, 차량(101) 전방의 물체까지의 거리의 검출 결과 및 구동계 제어 유닛(122)으로부터 통지되는, 차량(101)의 속도 검출 결과 등에 기초하여, 조명부(125)에 의한 가시광 및 적외광의 조사 제어를 행한다.
예를 들어, 조사 제어부(313)는, 가변 조사 램프(201)의 조사 패턴을 포함하는 제어 신호(이하, 가시광 제어 신호라고 칭함)를 생성하고, 가시광 제어 신호를 보디계 제어 유닛(124)에 공급한다. 보디계 제어 유닛(124)은, 가시광 제어 신호에 기초하여, 가변 조사 램프(201)의 조사 패턴을 제어한다.
또한, 예를 들어 조사 제어부(313)는, 적외선 램프(202)에 의한 적외광의 조사를 제어하는 제어 신호(이하, 적외광 제어 신호라고 칭함)를 생성하고, 적외광 제어 신호를 보디계 제어 유닛(124)에 공급한다. 보디계 제어 유닛(124)은, 적외광 제어 신호에 기초하여, 적외선 램프(202)의 적외광 조사를 제어한다.
동작 제어부(314)는, 차량(101) 전방의 물체의 인식 결과 및 차량(101) 전방의 물체까지의 거리의 검출 결과 등에 기초하여, 차량(101)의 구동계에 관련된 장치의 동작을 제어한다. 예를 들어, 동작 제어부(314)는, 제어 대상으로 되는 장치의 제어 내용을 포함하는 제어 신호(이하, 구동계 제어 신호라고 칭함)를 생성하고, 구동계 제어 신호를 구동계 제어 유닛(122)에 공급한다. 구동계 제어 유닛(122)은, 구동계 제어 신호에 기초하여, 제어 대상으로 되는 장치의 동작을 제어한다.
또한, 동작 제어부(314)는, 차량(101) 전방의 물체의 인식 결과 및 차량(101) 전방의 물체까지의 거리의 검출 결과 등에 기초하여, 차량(101)의 보디에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 동작 제어부(314)는, 제어 대상으로 되는 장치의 제어 내용을 포함하는 제어 신호(이하, 보디계 제어 신호라고 칭함)를 생성하여, 보디계 제어 신호를 보디계 제어 유닛(124)에 공급한다. 보디계 제어 유닛(124)은, 보디계 제어 신호에 기초하여, 제어 대상으로 되는 장치의 동작을 제어한다.
<조명 제어 처리>
다음에, 도 5의 흐름도를 참조하여, 차량(101)에 의해 실행되는 조명 제어 처리에 대해 설명한다.
이 처리는, 예를 들어 가시광의 조사를 개시하는 조건이 만족되었을 때, 예를 들어 차량(101)의 기동 중에 주위의 밝기가 소정의 임계값 미만이 되었을 때, 또는 가변 조사 램프(201)의 스위치나 온으로 설정되었을 때, 개시된다. 또한, 이 처리는, 가시광의 조사를 종료하는 조건이 만족되었을 때, 예를 들어 차량(101)의 전원이 오프되었을 때, 차량(101)의 주위의 밝기가 소정의 임계값 이상으로 되었을 때, 또는 가변 조사 램프(201)의 스위치가 오프로 설정되었을 때 종료된다.
스텝 S1에 있어서, 차량 제어 시스템(111)은, 적외광 및 가시광의 조사를 개시한다.
구체적으로는, 조사 제어부(313)는, 예를 들어 소정의 광량으로 적외광을 조사하도록 제어하는 적외광 제어 신호를 생성하고, 생성된 적외광 제어 신호를 보디계 제어 유닛(124)에 공급한다. 보디계 제어 유닛(124)은, 적외광 제어 신호에 기초하여, 소정의 광량으로 적외광을 조사하도록 적외선 램프(202)를 제어한다. 이에 의해, 소정의 광량의 적외광이 차량(101)의 전방에 조사된다.
또한, 적외광은, 통행인이나 다른 차량의 운전자 등의 눈부심을 걱정할 필요가 없기 때문에, 적외 화상의 화소 포화가 발생되지 않는 범위에서, 가능한 한 광량을 크게 하는 것이 가능하다.
또한, 조사 제어부(313)는, 예를 들어 표준적인 조사 패턴으로 가시광을 조사하도록 제어하는 가시광 제어 신호를 생성하고, 생성된 가시광 제어 신호를 보디계 제어 유닛(124)에 공급한다. 보디계 제어 유닛(124)은, 가시광 제어 신호에 기초하여, 표준적인 조사 패턴으로 가시광을 조사하도록 가변 조사 램프(201)를 제어한다. 이에 의해, 표준적인 패턴의 가시광이 차량(101)의 전방으로 조사된다.
여기서, 표준적인 조사 패턴이란, 예를 들어 모든 단위 영역의 광량을 동일한 초기 값으로 설정한 패턴이다.
스텝 S2에 있어서, 촬영부(128)는, 적외 화상 및 가시 화상을 촬영한다. 구체적으로는, 적외선 카메라(252)는, 차량(101)의 전방을 촬영하고, 촬영의 결과 얻어진 적외 화상의 데이터를, 차외 정보 검출 유닛(127)을 통하여, 인식부(311) 및 측거부(312)에 공급한다. 또한, 가시광 카메라(251)는, 차량(101)의 전방을 촬영하고, 촬영의 결과 얻어진 가시 화상의 데이터를, 차외 정보 검출 유닛(127)을 통하여, 인식부(311) 및 측거부(312)에 공급한다.
스텝 S3에 있어서, 인식부(311)는, 화상 인식 처리를 행한다. 예를 들어, 인식부(311)는, 화상 인식 처리로서 시맨틱 세그맨테이션을 행한다.
구체적으로는, 인식부(311)는, 적외 화상에 대해 시맨틱 세그맨테이션을 행하고, 적외 화상 내의 각 물체의 종류 및 위치의 검출을 화소 레벨로 행하고, 인식 결과에 기초하여, 적외 화상을 복수의 인식 영역으로 분할한다. 또한, 인식부(311)는, 적외 화상 내의 각 인식 영역의 인식 스코어를 산출한다.
또한, 인식부(311)는, 가시 화상에 대해서도 마찬가지로 시맨틱 세그맨테이션을 행하고, 가시 화상 내의 각 물체의 종류 및 위치의 검출을 화소 레벨로 행하고, 인식 결과에 기초하여, 가시 화상을 복수의 인식 영역으로 분할한다. 또한, 인식부(311)는, 가시 화상 내의 각 인식 영역의 인식 스코어를 산출한다.
여기서, 인식 영역은, 기본적으로 인식된 물체마다 설정된다. 따라서, 각 인식 영역은, 기본적으로 하나의 물체를 포함한다. 단, 예를 들어 물체의 경계선이 애매한 경우 등에 있어서, 복수의 물체가 하나의 인식 영역에 포함되는 경우가 있다. 또한, 물체의 인식에 실패한 영역이, 인식 영역으로 설정되는 경우가 있다. 이 경우, 인식 영역 내의 물체는 알 수 없게 된다.
또한, 인식 스코어의 산출 방법에는, 임의의 방법을 사용하는 것이 가능하다.
또한, 적외 화상은, 색 정보가 없고, 가시 화상에 비하여 노이즈가 많다. 따라서, 적외 화상에 대한 화상 인식 처리(현재의 예에서는, 시맨틱 세그맨테이션)의 결과는, 가시 화상에 대한 화상 인식 처리의 결과와 비교하여, 신뢰성이 낮아진다.
인식부(311)는, 각 인식 영역의 위치, 그리고, 각 인식 영역 내의 물체의 종류 및 인식 스코어 등의 인식 결과를 포함하는 인식 정보를 조사 제어부(313) 및 동작 제어부(314)에 공급한다.
스텝 S4에 있어서, 차량 제어 시스템(111)은, 측거 처리를 행한다. 예를 들어, 차외 정보 검출부(129)는, 차외 정보 검출 유닛(127)을 통하여, 반사파 정보를 측거부(312)에 공급한다. 측거부(312)는, 반사파 정보에 기초하여, 차량(101)의 전방 각 물체까지의 거리를 검출한다. 측거부(312)는, 각 물체까지의 거리의 검출 결과를 포함하는 측거 정보를 조사 제어부(313) 및 동작 제어부(314)에 공급한다.
또한, 측거 처리에는, 임의의 방법을 사용하는 것이 가능하다. 예를 들어, 스테레오 카메라의 화상 데이터나, ToF 카메라의 화상 데이터 등을 사용하여, 측거 처리를 행하도록 해도 된다.
스텝 S5에 있어서, 구동계 제어 유닛(122)은, 차속을 검출한다. 구체적으로는, 구동계 제어 유닛(122)은, 차량 상태 검출부(123)로부터 입력되는 신호에 기초하여, 차량(101)의 속도를 검출하고, 검출 결과를 포함하는 정보를 조사 제어부(313) 및 동작 제어부(314)에 공급한다.
스텝 S6에 있어서, 차량 제어 시스템(111)은, 가시광의 조사 패턴을 제어한다. 구체적으로는, 조사 제어부(313)는, 각 단위 영역의 광량을 설정함으로써, 조사 패턴을 설정한다. 예를 들어, 조사 제어부(313)는, 가시 화상의 각 인식 영역의 인식 스코어가 가능한 한 높아지도록, 조사 패턴을 설정한다. 조사 제어부(313)는, 설정한 조사 패턴을 포함하는 가시광 제어 신호를 생성하여, 가시광 제어 신호를 보디계 제어 유닛(124)에 공급한다. 보디계 제어 유닛(124)은, 가시광 제어 신호에 기초하여, 가변 조사 램프(201)의 조사 패턴을 제어한다.
여기서, 조사 패턴의 설정 방법의 예에 대해 설명한다.
예를 들어, 조사 제어부(313)는, 적외 화상에 대한 화상 인식 처리의 결과에 기초하여 조사 패턴을 설정한다.
예를 들어, 조사 제어부(313)는, 적외 화상에 있어서 인식 스코어가 임계값 T1 미만의 인식 영역(이하, 저신뢰도 영역이라고 칭함)의 가시 화상에 있어서의 인식 스코어가 높아지도록, 저신뢰도 영역에 대한 가시광의 광량을 설정한다. 예를 들어, 조사 제어부(313)는, 저신뢰도 영역에 대한 가시광의 광량을 높인다(밝게 한다).
한편, 조사 제어부(313)는, 적외 화상에 있어서 인식 스코어가 임계값 T1 이상의 인식 영역에 대한 가시광의 광량을, 예를 들어 인식 영역 내의 물체의 종류에 기초하여 설정한다.
예를 들어, 조사 제어부(313)는, 인식 영역에 노면이 포함되는 경우, 당해 인식 영역을 항상 일정 광량 이상으로 비추도록, 당해 인식 영역에 대한 가시광의 광량을 설정한다.
예를 들어, 조사 제어부(313)는, 인식 영역에 인간 또는 다른 차량이 포함되는 경우, 당해 인식 영역에 대한 가시광의 광량을 낮춘다. 이에 의해, 통행인이나 다른 차의 운전자가 눈부시게 되는 것을 방지한다. 또한, 조사 제어부(313)는, 가시광의 광량을 0까지 내려, 당해 인식 영역에 가시광을 조사하지 않도록 해도 된다.
예를 들어, 조사 제어부(313)는, 인식 영역에 발광하는 물체(예를 들어, 신호기, 가로등 등)가 포함되는 경우, 당해 인식 영역에 대한 가시광의 광량을 낮춘다. 발광하는 물체는, 가시광으로 비추지 않아도, 화상 인식 처리의 정밀도가 높아지기 때문이다. 또한, 조사 제어부(313)는, 가시광의 광량을 0까지 내려, 당해 인식 영역에 가시광을 조사하지 않도록 해도 된다.
예를 들어, 조사 제어부(313)는, 인식 영역에 가시광을 반사하는 반사 부재를 구비하는 물체(예를 들어, 도로 표지 등)가 포함되는 경우, 당해 인식 영역에 대한 가시광의 광량을 낮춘다. 당해 인식 영역은, 반사 부재가 가시광을 반사함으로써 다른 영역보다 밝아져, 가시 화상에 있어서 포화될 우려가 있기 때문이다. 조사 제어부(313)는, 가시 화상에 있어서 당해 인식 영역이 포화되지 않는 레벨까지, 당해 인식 영역에 대한 가시광의 광량을 낮춘다.
또한, 예를 들어 조사 제어부(313)는, 가시 화상에 대한 화상 인식 처리의 결과에 기초하여 조사 패턴을 제어한다.
예를 들어, 조사 제어부(313)는, 적외 화상에 대한 화상 인식 처리의 결과에 기초하여 조사 패턴을 제어했음에도 불구하고, 가시 화상에 있어서 인식 스코어가 임계값 T1 미만인 인식 영역(저신뢰도 영역)이 존재하는 경우, 저신뢰도 영역에 조사하는 가시광의 광량을, 가시 화상 내의 저신뢰도 영역의 휘도 평균값에 기초하여 설정한다. 예를 들어, 조사 제어부(313)는, 저신뢰도 영역의 휘도 평균값이 임계값 Th2 미만인 경우, 저신뢰도 영역에 대한 가시광의 광량을 높인다(밝게 한다). 한편, 조사 제어부(313)는, 저신뢰도 영역의 휘도 평균값이 임계값 Th2 이상인 경우, 저신뢰도 영역에 대한 가시광의 광량을 낮춘다(어둡게 한다).
또한, 예를 들어 조사 제어부(313)는, 인식 영역 내의 물체까지의 거리에 기초하여, 당해 인식 영역에 대한 가시광의 광량을 설정한다. 예를 들어, 조사 제어부(313)는, 인식 영역 내의 물체까지의 거리가 가까울수록, 당해 인식 영역에 대한 가시광의 광량을 낮춘다(어둡게 한다). 한편, 조사 제어부(313)는, 인식 영역 내의 물체까지의 거리가 멀수록, 당해 인식 영역에 대한 가시광의 광량을 높인다(밝게 한다).
또한, 예를 들어 조사 제어부(313)는, 인식 영역 내의 물체까지의 거리가 임계값 Th3 이상인 경우, 당해 인식 영역은 화상 인식 처리의 대상 외로 하여, 당해 인식 영역에 조사하는 조사광의 광량을 0으로 설정하도록 해도 된다. 이에 의해, 예를 들어 하늘 등의 먼 곳의 물체로의 가시광의 조사가 정지된다.
또한, 조사 제어부(313)는, 예를 들어 차량(101)의 속도에 따라 임계값 Th3을 변경하도록 해도 된다. 예를 들어, 조사 제어부(313)는, 차량(101)의 속도가 빨라질수록 임계값 Th3을 크게 하여, 보다 먼 곳의 물체까지 가시광이 조사되도록 한다. 한편, 예를 들어 조사 제어부(313)는, 차량(101)의 속도가 느려질수록 임계값 Th3을 작게 하여, 먼 곳의 물체에 가시광이 조사되지 않도록 한다. 이것은, 차량(101)의 속도가 빠른 경우, 충돌 방지 등을 위해, 보다 먼 물체까지 감시할 필요가 있는 한편, 차량(101)의 속도가 느릴 경우, 먼 물체를 지나치게 감시할 필요가 없기 때문이다.
여기서, 도 6 내지 도 8을 참조하여, 조사 패턴의 제어 방법의 구체예에 대해 설명한다.
도 6은, 차량(101)의 전방을 촬영한 적외 화상의 예를 도시하고 있다.
인식 영역 R1은, 자전거를 탄 인간을 포함하는 영역이다. 예를 들어, 인식 영역 R1의 인식 스코어가 임계값 Th1 이상인 경우, 인식 영역 R1에 대한 가시광의 광량은 감소된다. 한편, 인식 영역 R1의 인식 스코어가 임계값 Th1 미만인 경우, 인식 영역 R1에 대한 가시광의 광량은 증가된다. 또한, 인식 영역 R1에 대한 가시광의 광량은, 예를 들어 영역 내의 인간까지의 거리에 따라 변경된다.
인식 영역 R2는, 반사판을 구비하는 도로 표지를 포함하는 영역이다. 예를 들어, 인식 영역 R2에 대한 가시광의 광량은 감소된다. 또한, 인식 영역 R2에 대한 가시광의 광량은, 예를 들어 영역 내의 도로 표지까지의 거리에 따라 변경된다.
인식 영역 R3은, 자발광하는 신호기를 포함하는 영역이다. 예를 들어, 인식 영역 R3에 대한 가시광의 광량은 감소된다. 또한, 인식 영역 R3에 대한 가시광의 광량은, 예를 들어 영역 내의 신호기까지의 거리에 따라 변경된다.
인식 영역 R4는, 다른 차량을 포함하는 영역이다. 예를 들어, 인식 영역 R4의 인식 스코어가 임계값 Th1 이상인 경우, 인식 영역 R4에 대한 가시광의 광량은 감소된다. 한편, 인식 영역 R4의 인식 스코어가 임계값 Th1 미만인 경우, 인식 영역 R4에 대한 가시광의 광량은 증가된다. 또한, 인식 영역 R4에 대한 가시광의 광량은, 예를 들어 영역 내의 차량까지의 거리에 따라 변경된다.
인식 영역 R5는, 먼 곳의 건물 및 하늘을 포함하는 영역이다. 예를 들어, 인식 영역 R5에 대한 가시광의 광량은 0으로 설정한다.
인식 영역 R6은, 차량(101) 근처의 매우 어두운 영역이며, 인식 스코어가 매우 낮은 영역이다. 예를 들어, 인식 영역 R6에 대한 가시광의 광량은, 인식 스코어를 개선하기 위해 증가된다.
도 7은, 도 6과 동일한 화각의 가시 화상에 대해 시맨틱 세그맨테이션을 행한 결과의 예를 나타내고 있다.
인식 영역 R11 내에는, 노면이 존재한다. 따라서, 인식 영역 R11에는, 항상 가시광이 조사되도록 제어된다. 또한, 인식 영역 R11에 대한 가시광의 광량은, 예를 들어 영역 내의 노면까지의 거리에 따라 변경된다.
인식 영역 R12는, 자전거를 탄 인간을 포함하는 영역이다. 예를 들어, 인식 영역 R12의 인식 스코어가 임계값 Th1 이상인 경우, 인식 영역 R12에 대한 가시광의 광량은 감소된다. 한편, 인식 영역 R12에 대한 인식 스코어가 임계값 Th1 미만인 경우, 인식 영역 R12에 대한 가시광의 광량은 증가된다. 또한, 인식 영역 R12에 대한 가시광의 광량은, 예를 들어 영역 내의 인간까지의 거리에 따라 변경된다.
인식 영역 R13은, 도로 표지를 포함하는 영역이다. 예를 들어, 인식 영역 R13에 대한 가시광의 광량은 감소된다. 또한, 인식 영역 R13에 대한 가시광의 광량은, 예를 들어 영역 내의 도로 표지까지의 거리에 따라 변경된다.
인식 영역 R14는, 신호기를 포함하는 영역이다. 예를 들어, 인식 영역 R14에 대한 가시광의 광량은 감소된다. 또한, 인식 영역 R14에 대한 가시광의 광량은, 예를 들어 영역 내의 신호기까지의 거리에 따라 변경된다.
인식 영역 R15 내지 인식 영역 R17은, 다른 차량을 포함하는 영역이다. 예를 들어, 인식 영역 R15 내지 인식 영역 R17 중 인식 스코어가 임계값 Th1 이상의 영역에 대한 가시광의 광량은 감소된다. 한편, 인식 영역 R15 내지 인식 영역 R17 중 인식 스코어가 임계값 Th1 미만의 영역에 대한 가시광의 광량은 증가된다. 또한, 인식 영역 R15 내지 인식 영역 R17에 대한 가시광의 광량은, 예를 들어 영역 내의 차량까지의 거리에 따라 변경된다.
인식 영역 R18은, 차량(101) 근처의 매우 어두운 영역이며, 인식 스코어가 매우 낮은 영역이다. 예를 들어, 인식 영역 R18에 대한 가시광의 광량은, 인식 스코어를 개선하기 위해 증가된다.
도 8은, 차량(101)의 전방을 촬영한 적외 화상의 다른 예를 도시하고 있다.
인식 영역 R21은, 차량(101) 근처의 매우 어두운 영역이며, 인식 스코어가 매우 낮은 영역이다. 예를 들어, 인식 영역 R21에 대한 가시광의 광량은, 인식 스코어를 개선하기 위해 증가된다.
인식 영역 R22 및 인식 영역 R23은, 인간을 포함하는 영역이다. 예를 들어, 인식 영역 R22 및 인식 영역 R23 중 인식 스코어가 임계값 Th1 이상인 영역에 대한 가시광의 광량은 감소된다. 한편, 인식 영역 R22 및 인식 영역 R23 중 인식 스코어가 임계값 Th1 미만인 영역에 대한 가시광의 광량은 증가된다. 또한, 인식 영역 R22 및 인식 영역 R23에 대한 가시광의 광량은, 예를 들어 영역 내의 인간까지의 거리에 따라 변경된다.
도 5로 되돌아가, 그 후, 처리는 스텝 S2로 되돌아가, 스텝 S2 이후의 처리가 실행된다.
이상과 같이 하여, 가시광의 조사 패턴이 적절하게 제어됨으로써, 가시 화상에 대한 화상 인식 처리의 정밀도가 향상된다. 그 결과, 예를 들어 가시 화상 내의 물체의 인식 정밀도가 향상되어, 인식 결과를 사용하는 차량(101)의 기능(예를 들어, 자동 운전, ADAS 등)의 성능이 향상된다.
<<2. 변형예>>
이하, 상술한 본 기술의 실시 형태의 변형예에 대해 설명한다.
이상의 설명에서는, 화상 인식 처리로서 시맨틱 세그맨테이션을 사용하는 예를 나타내었지만, 본 기술은, 다른 방법의 화상 인식 처리를 사용하는 경우에도 적용할 수 있다.
또한, 본 기술은, 예를 들어 가시 화상만을 사용하여 화상 인식 처리를 행하는 경우에도 적용할 수 있다. 이 경우, 예를 들어 적외 화상에 대한 화상 인식 처리의 결과를 사용하는 경우와 마찬가지의 방법에 의해, 가시 화상의 각 인식 영역의 인식 스코어, 물체의 종류 및 물체까지의 거리에 기초하여, 조사 패턴이 제어된다.
또한, 이상의 조사 패턴의 제어 처리에서는, 가시광의 광량을 감소시키거나, 0으로 설정되거나 하는 인식 영역이 생길 수 있다. 이것은, 운전자가 개재하지 않는 자동 운전의 경우에는, 특별히 문제가 되지 않는다. 한편, 운전자가 운전하는 경우, 운전자의 시계가 악화될 우려가 있다. 그 때문에, 운전자가 운전하는 경우, 화상 인식 처리를 행하는 기간만, 상기 방법으로 조사 패턴을 제어하고, 화상 인식 처리를 행하지 않는 기간은, 차량(101)의 전방을 가시광으로 균일하게 비추도록 해도 된다.
또한, 이상의 설명에서는, 차량(101)의 전방 화상에 대해 화상 인식 처리를 행하는 예를 나타내었지만, 본 기술은, 전방 이외의 다른 방향(예를 들어, 측방, 후방, 상방 등)의 화상에 대해 화상 인식 처리를 행하는 경우에도 적용할 수 있다. 이 경우, 예를 들어 각 화상의 촬영 방향의 가시광의 조사 패턴이 제어된다.
또한, 본 기술은, 차량 이외의 이동체에도 적용할 수 있다. 예를 들어, 퍼스널 모빌리티, 건설 기계, 농업 기계(트랙터) 등의 이동체에도 본 기술을 적용할 수 있다. 또한, 예를 들어 드론, 로봇 등의 유저가 탑승하지 않고 리모트로 운전(조작)하거나, 자동 운전하거나 하는 이동체에도 본 기술을 적용할 수 있다.
또한, 본 기술은, 이동체로부터 촬영된 화상 이외의 화상에 대해 화상 인식 처리를 행하는 경우에도 적용할 수 있다. 예를 들어, 본 기술은, 도로 주변에 설치된 카메라에 의해 촬영된 감시 화상에 대해 화상 인식 처리를 행하는 경우에도 적용할 수 있다.
또한, 도 4의 정보 처리부(301)는, 반드시 모두 통합 제어 유닛(133)으로 실현할 필요는 없으며, 그 일부 또는 전부가, 다른 하나 이상의 제어 유닛으로 실현되어도 된다.
또한, 정보 처리부(301)의 일부 또는 전부를, 예를 들어 가변 조사 램프(201), 또는 가시광 카메라(251)에 마련하도록 해도 된다.
<<3. 기타>>
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다.
또한, 도 1의 마이크로 컴퓨터(151) 등이 실행할 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 시스템은, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 케이스 내에 있는지 여부는 묻지 않는다. 따라서, 별도의 케이스에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 케이스 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동으로 처리되는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명된 각 스텝은, 하나의 장치에서 실행되는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행되는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
<구성의 조합 예>
본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1)
촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와,
적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬영부의 촬영 방향으로의 가시광의 조사 패턴을 제어하는 조사 제어부
를 구비하는, 정보 처리 장치.
(2)
상기 조사 제어부는, 상기 신뢰도가 소정의 임계값 미만의 상기 인식 영역인 저신뢰도 영역에 대한 상기 신뢰도가 높아지도록, 상기 저신뢰도 영역에 대한 가시광의 광량을 제어하는
상기 (1)에 기재된, 정보 처리 장치.
(3)
상기 조사 제어부는, 상기 화상 내의 상기 저신뢰도 영역의 휘도에 기초하여, 상기 저신뢰도 영역에 대한 가시광의 광량을 제어하는
상기 (2)에 기재된, 정보 처리 장치.
(4)
상기 조사 제어부는, 또한 상기 인식 영역 내의 물체의 종류에 기초하여 상기 조사 패턴을 제어하는
상기 (1) 내지 (3) 중 어느 것에 기재된, 정보 처리 장치.
(5)
상기 조사 제어부는, 발광하는 물체 및 가시광을 반사하는 반사 부재를 구비하는 물체를 포함하는 상기 인식 영역에 대한 가시광의 광량을 낮춘
상기 (4)에 기재된, 정보 처리 장치.
(6)
상기 조사 제어부는, 또한 상기 인식 영역 내의 물체까지의 거리에 기초하여 상기 조사 패턴을 제어하는
상기 (1) 내지 (5) 중 어느 것에 기재된, 정보 처리 장치.
(7)
상기 조사 제어부는, 소정의 거리 이상 이격된 물체를 포함하는 상기 인식 영역에 대한 가시광의 광량을 낮춘
상기 (6)에 기재된, 정보 처리 장치.
(8)
상기 화상은, 적외 화상 및 가시 화상을 포함하고,
상기 조사 제어부는, 상기 적외 화상에 대한 화상 인식 처리의 상기 신뢰도에 기초하여, 상기 조사 패턴을 제어하는
상기 (1) 내지 (7) 중 어느 것에 기재된, 정보 처리 장치.
(9)
상기 조사 제어부는, 또한 상기 가시 화상에 대한 화상 인식 처리의 상기 신뢰도에 기초하여, 상기 조사 패턴을 제어하는
상기 (8)에 기재된, 정보 처리 장치.
(10)
상기 화상은, 이동체의 주위를 촬영한 화상인
상기 (1) 내지 (9) 중 어느 것에 기재된, 정보 처리 장치.
(11)
상기 이동체는, 차량이며,
상기 조사 제어부는, 노면을 포함하는 상기 인식 영역에 가시광을 조사하도록 상기 조사 패턴을 제어하는
상기 (10)에 기재된, 정보 처리 장치.
(12)
상기 이동체는, 차량이며,
상기 조사 제어부는, 인간 또는 다른 차량을 포함하는 상기 인식 영역에 대한 가시광의 광량을 낮춘
상기 (10) 또는 (11)에 기재된, 정보 처리 장치.
(13)
상기 조사 제어부는, 소정의 영역 단위로 가시광의 광량을 제어함으로써 상기 조사 패턴을 제어하는
상기 (1) 내지 (12) 중 어느 것에 기재된, 정보 처리 장치.
(14)
상기 조사 패턴은, 가시광의 공간 방향의 광량의 분포인
상기 (1) 내지 (13) 중 어느 것에 기재된, 정보 처리 장치.
(15)
상기 조사 제어부는, 상기 조사 패턴을 포함하는 제어 신호를 출력하는
상기 (1) 내지 (14) 중 어느 것에 기재된, 정보 처리 장치.
(16)
상기 인식부는, 화상 인식 처리로서 시맨틱 세그맨테이션을 행하는
상기 (1) 내지 (15) 중 어느 것에 기재된, 정보 처리 장치.
(17)
촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하고,
적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬영부의 촬영 방향으로의 가시광의 조사 패턴을 제어하는,
정보 처리 방법.
(18)
촬상 소자와,
상기 촬상 소자에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와,
적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬상 소자의 촬영 방향으로의 가시광의 조사 패턴을 제어하는 조사 제어부
를 구비하는, 촬영 장치.
(19)
광원부와,
촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와,
적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬영부의 촬영 방향으로의 상기 광원부에 의한 가시광의 조사 패턴을 제어하는 조사 제어부
를 구비하는, 조명 장치.
(20)
촬영부와,
상기 촬영부의 촬영 방향으로 가시광을 조사하는 조명부와,
상기 촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와,
적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 조명부의 가시광의 조사 패턴을 제어하는 조사 제어부
를 구비하는, 이동체.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 다른 효과가 있어도 된다.
101: 차량
111: 차량 제어 시스템
122: 구동계 제어 유닛
124: 보디계 제어 유닛
125: 조명부
127: 차외 정보 검출 유닛
128: 촬영부
129: 차외 정보 검출부
133: 통합 제어 유닛
151: 마이크로 컴퓨터
201: 가변 조사 램프
202: 적외선 램프
211: 가시광 광원부
212: 적외선 광원부
251: 가시광 카메라
252: 적외선 카메라
261: 가시광 촬상 소자
271: 적외선 촬상 소자
301: 정보 처리부
311: 인식부
312: 측거부
313: 조사 제어부
314: 동작 제어부

Claims (20)

  1. 촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와,
    적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬영부의 촬영 방향으로의 가시광의 조사 패턴을 제어하는 조사 제어부
    를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서, 상기 조사 제어부는, 상기 신뢰도가 소정의 임계값 미만의 상기 인식 영역인 저신뢰도 영역에 대한 상기 신뢰도가 높아지도록, 상기 저신뢰도 영역에 대한 가시광의 광량을 제어하는,
    정보 처리 장치.
  3. 제2항에 있어서, 상기 조사 제어부는, 상기 화상 내의 상기 저신뢰도 영역의 휘도에 기초하여, 상기 저신뢰도 영역에 대한 가시광의 광량을 제어하는,
    정보 처리 장치.
  4. 제1항에 있어서, 상기 조사 제어부는, 또한 상기 인식 영역 내의 물체의 종류에 기초하여 상기 조사 패턴을 제어하는,
    정보 처리 장치.
  5. 제4항에 있어서, 상기 조사 제어부는, 발광하는 물체 및 가시광을 반사하는 반사 부재를 구비하는 물체를 포함하는 상기 인식 영역에 대한 가시광의 광량을 낮춘
    정보 처리 장치.
  6. 제1항에 있어서, 상기 조사 제어부는, 또한 상기 인식 영역 내의 물체까지의 거리에 기초하여 상기 조사 패턴을 제어하는,
    정보 처리 장치.
  7. 제6항에 있어서, 상기 조사 제어부는, 소정의 거리 이상 이격된 물체를 포함하는 상기 인식 영역에 대한 가시광의 광량을 0으로 설정하는,
    정보 처리 장치.
  8. 제1항에 있어서, 상기 화상은, 적외 화상 및 가시 화상을 포함하고,
    상기 조사 제어부는, 상기 적외 화상에 대한 화상 인식 처리의 상기 신뢰도에 기초하여, 상기 조사 패턴을 제어하는,
    정보 처리 장치.
  9. 제8항에 있어서, 상기 조사 제어부는, 또한 상기 가시 화상에 대한 화상 인식 처리의 상기 신뢰도에 기초하여, 상기 조사 패턴을 제어하는,
    정보 처리 장치.
  10. 제1항에 있어서, 상기 화상은, 이동체의 주위를 촬영한 화상인
    정보 처리 장치.
  11. 제10항에 있어서, 상기 이동체는, 차량이며,
    상기 조사 제어부는, 노면을 포함하는 상기 인식 영역에 가시광을 조사하도록 상기 조사 패턴을 제어하는,
    정보 처리 장치.
  12. 제10항에 있어서, 상기 이동체는, 차량이며,
    상기 조사 제어부는, 인간 또는 다른 차량을 포함하는 상기 인식 영역에 대한 가시광의 광량을 낮춘,
    정보 처리 장치.
  13. 제1항에 있어서, 상기 조사 제어부는, 소정의 영역 단위로 가시광의 광량을 제어함으로써 상기 조사 패턴을 제어하는,
    정보 처리 장치.
  14. 제1항에 있어서, 상기 조사 패턴은, 가시광의 공간 방향의 광량의 분포인,
    정보 처리 장치.
  15. 제1항에 있어서, 상기 조사 제어부는, 상기 조사 패턴을 포함하는 제어 신호를 출력하는,
    정보 처리 장치.
  16. 제1항에 있어서, 상기 인식부는, 화상 인식 처리로서 시맨틱 세그맨테이션을 행하는,
    정보 처리 장치.
  17. 촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하고,
    적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬영부의 촬영 방향으로의 가시광의 조사 패턴을 제어하는,
    정보 처리 방법.
  18. 촬상 소자와,
    상기 촬상 소자에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와,
    적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬상 소자의 촬영 방향으로의 가시광의 조사 패턴을 제어하는 조사 제어부
    를 구비하는, 촬영 장치.
  19. 광원부와,
    촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와,
    적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 촬영부의 촬영 방향으로의 상기 광원부에 의한 가시광의 조사 패턴을 제어하는 조사 제어부
    를 구비하는, 조명 장치.
  20. 촬영부와,
    상기 촬영부의 촬영 방향으로 가시광을 조사하는 조명부와,
    상기 촬영부에 의해 촬영된 화상에 대해 화상 인식 처리를 행하고, 물체의 인식 결과에 기초하는 영역인 인식 영역마다 인식 결과의 신뢰도를 산출하는 인식부와,
    적어도 일부의 상기 인식 영역에 대한 상기 신뢰도가 높아지도록, 상기 조명부의 가시광의 조사 패턴을 제어하는 조사 제어부
    를 구비하는, 이동체.
KR1020207032578A 2018-05-24 2019-05-10 정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체 KR102690791B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018099296 2018-05-24
JPJP-P-2018-099296 2018-05-24
PCT/JP2019/018676 WO2019225349A1 (ja) 2018-05-24 2019-05-10 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体

Publications (2)

Publication Number Publication Date
KR20210013044A true KR20210013044A (ko) 2021-02-03
KR102690791B1 KR102690791B1 (ko) 2024-08-02

Family

ID=68616697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207032578A KR102690791B1 (ko) 2018-05-24 2019-05-10 정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체

Country Status (6)

Country Link
US (2) US11850990B2 (ko)
EP (2) EP4227157B1 (ko)
JP (1) JP7226440B2 (ko)
KR (1) KR102690791B1 (ko)
CN (1) CN112135753A (ko)
WO (1) WO2019225349A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019214319A1 (de) * 2019-09-20 2021-03-25 Continental Automotive Gmbh Verfahren zur Verbesserten Umfelderfassung
EP3876143A1 (de) * 2020-03-02 2021-09-08 ZKW Group GmbH System zur überwachung der umgebung eines kraftfahrzeuges
JP7483552B2 (ja) * 2020-08-17 2024-05-15 日本信号株式会社 画像処理装置
US20220291701A1 (en) * 2021-03-10 2022-09-15 Flir Commercial Systems, Inc. Thermal imaging for navigation systems and methods
CN112963797A (zh) * 2021-03-19 2021-06-15 蔚来汽车科技(安徽)有限公司 基于红外光源的车辆照明系统及车辆

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013511418A (ja) 2009-11-21 2013-04-04 フオルクスヴアーゲン アクチエンゲゼルシヤフト 車両用ヘッドライト装置の制御方法およびヘッドライト装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10343479A1 (de) * 2003-09-19 2005-04-28 Bosch Gmbh Robert Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
JP4720764B2 (ja) * 2006-11-16 2011-07-13 株式会社デンソー 前照灯制御装置
DE102008025947A1 (de) * 2008-05-30 2009-12-03 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Steuern der Lichtabgabe eines Frontscheinwerfers eines Fahrzeugs
US9534756B2 (en) * 2012-04-03 2017-01-03 Sharp Kabushiki Kaisha Light-emitting device, floodlight, and vehicle headlight
JP6072448B2 (ja) * 2012-04-03 2017-02-01 シャープ株式会社 発光装置、投光器、および車両用前照灯
KR101632179B1 (ko) * 2013-12-24 2016-07-01 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
IL233114A (en) * 2014-06-12 2016-09-29 Brightway Vision Ltd A method and system for pattern recognition, classification and tracking
EP3067826B1 (en) * 2015-03-11 2021-05-05 Ricoh Company, Ltd. Image processing system and parallax image generation method
JP6704607B2 (ja) * 2015-03-11 2020-06-03 株式会社リコー 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
JP6532023B2 (ja) * 2015-10-28 2019-06-19 本田技研工業株式会社 車載機器制御システム
JP6672076B2 (ja) * 2016-05-27 2020-03-25 株式会社東芝 情報処理装置及び移動体装置
JP6725396B2 (ja) * 2016-10-25 2020-07-15 スタンレー電気株式会社 車両用灯具システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013511418A (ja) 2009-11-21 2013-04-04 フオルクスヴアーゲン アクチエンゲゼルシヤフト 車両用ヘッドライト装置の制御方法およびヘッドライト装置

Also Published As

Publication number Publication date
CN112135753A (zh) 2020-12-25
US11850990B2 (en) 2023-12-26
KR102690791B1 (ko) 2024-08-02
WO2019225349A1 (ja) 2019-11-28
JPWO2019225349A1 (ja) 2021-06-10
JP7226440B2 (ja) 2023-02-21
EP3805045A1 (en) 2021-04-14
EP4227157B1 (en) 2024-09-04
EP3805045A4 (en) 2021-07-21
US20240075866A1 (en) 2024-03-07
EP3805045B1 (en) 2023-07-19
EP4227157A1 (en) 2023-08-16
US20210232842A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
KR102690791B1 (ko) 정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
US11272115B2 (en) Control apparatus for controlling multiple camera, and associated control method
JP6977722B2 (ja) 撮像装置、および画像処理システム
CN110574357A (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
US11585898B2 (en) Signal processing device, signal processing method, and program
JPWO2017145818A1 (ja) 信号処理装置、および信号処理方法、並びにプログラム
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
JPWO2019188390A1 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20230186651A1 (en) Control device, projection system, control method, and program
US20210295563A1 (en) Image processing apparatus, image processing method, and program
US11438517B2 (en) Recognition device, a recognition method, and a program that easily and accurately recognize a subject included in a captured image
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN116964591A (zh) 信息处理装置、信息处理系统、信息处理方法和记录介质
CN118339473A (zh) 传感器曝光模式控制件和传感器曝光模式控制方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant