KR20210096086A - 정보 처리 장치, 및 정보 처리 방법, 그리고 프로그램 - Google Patents

Abstract

본 개시는, 차내 네트워크를 통해 유통하는, 자동 운전에 필요한 통신 데이터양을 저감할 수 있도록 하는 정보 처리 장치, 및 정보 처리 방법, 그리고 프로그램에 관한 것이다. 이미지 센서가 자차의 주위의 화상을 촬상하고, 인식부가 촬상된 화상 내의 물체를 인식하는 물체 인식 처리를 행하여, 물체 인식 처리에 의한 물체 인식 처리 결과를 자동 운전 제어부에 출력한다. 또한, 밀리미터파 레이더에 의해 검출되는 자차의 주위의 물체의 속도 정보와, LiDAR에 의한 자차의 주위의 물체의 거리 정보가, 물체 인식 처리 결과에 대응되어 메타데이터로서 출력된다. 본 개시는, 차량 탑재 시스템에 적용할 수 있다.

Description

정보 처리 장치, 및 정보 처리 방법, 그리고 프로그램

본 개시는, 정보 처리 장치, 및 정보 처리 방법, 그리고 프로그램에 관한 것으로, 특히 차내 네트워크를 통해 유통하는, 자동 운전에 필요한 통신 데이터양을 저감할 수 있도록 한 정보 처리 장치, 및 정보 처리 방법, 그리고 프로그램에 관한 것이다.

ACC(Adaptive Cruise Control)나 PCS(Pre-Crash Safety)와 같은 편리성과, 안전성의 향상을 목적으로 한 ADAS(Advanced Driver Assistance System)에 있어서, 장애물의 유무를 확인한 후, 주행 가능한지 여부를 판정할 필요가 있다.

이때, 카메라에 의해 촬상된 화상 데이터나, 그 밖의 센서의 검출 결과의 데이터가 차내의 네트워크에 있어서 유통하게 된다.

근년에는, 카메라 등의 센서의 비용이 저감함으로써 설치 대수가 증대되는 경향이 있지만, 카메라 등의 센서류의 설치 대수가 증대되면, 차내의 네트워크에 있어서 유통하는 데이터양이 증대되어, 통신 속도의 저하를 초래할 우려가 있었다.

그래서 예를 들어 카메라로 촬상한 화상 내의 물체를 인식하고, 인식한 물체의 화상 내의 좌표 정보를 차량 네트워크에 출력함으로써 차내의 네트워크에 유통하는 데이터양을 저감시키는 기술이 제안되어 있다(특허문헌 1 참조).

일본 특허 공개 제2014-125029호 공보

그러나 특허문헌 1의 기술에 있어서는, 카메라에 의해 촬상된 화상 내에 있어서 인식된 물체의 좌표 정보만이 출력되므로, 그 이외의 물체의 속도나 거리 등의 정보는 포함되어 있지 않아, 자동 운전에 필요한 충분한 정보를 유통시킬 수 없다.

본 개시는, 이러한 상황에 비추어 이루어진 것이며, 특히 차내 네트워크를 통해 유통하는, 자동 운전에 필요한 통신 데이터양을 저감할 수 있도록 하는 것이다.

본 개시의 일 측면의 정보 처리 장치는, 이동체의 주위의 화상을 촬상하는 촬상부와, 상기 촬상부에 의해 촬상된 상기 화상 내의 물체를 인식하는 물체 인식 처리를 행하고, 상기 물체 인식 처리에 의한 물체 인식 처리 결과를, 인식한 상기 물체를 단위로 하여, 상기 이동체 내의 네트워크를 통해 출력하는 물체 인식 처리부를 구비한 정보 처리 장치이다.

본 개시의 일 측면의 정보 처리 방법 및 프로그램은, 정보 처리 장치에 대응된다.

본 개시의 일 측면에 있어서는, 자차의 주위의 화상이 촬상되고, 촬상된 상기 화상 내의 물체를 인식하는 물체 인식 처리가 행해지고, 상기 물체 인식 처리에 의한 물체 인식 처리 결과가, 인식한 상기 물체를 단위로 하여, 상기 이동체 내의 네트워크를 통해 출력된다.

도 1은 일반적인 차내 네트워크의 개요를 설명하는 도면이다.
도 2는 본 개시의 차내 네트워크의 개요를 설명하는 도면이다.
도 3은 본 개시의 차량 제어 시스템의 구성예를 설명하는 블록도이다.
도 4는 본 개시의 데이터 취득부의 제1 실시 형태의 구성예를 설명하는 블록도이다.
도 5는 인식부의 구성을 설명하는 도면이다.
도 6은 인식부에 의한 물체 인식 결과의 예를 설명하는 도면이다.
도 7은 도 4의 데이터 취득부에 의한 센싱 처리를 설명하는 흐름도이다.
도 8은 인식부에 의한 물체 인식 결과에 메타데이터를 부가하는 예를 설명하는 도면이다.
도 9는 인식부에 의한 물체 인식 결과에 메타데이터를 부가하는 데이터 취득부의 제2 실시 형태의 구성예를 설명하는 블록도이다.
도 10은 도 9의 데이터 취득부에 의한 센싱 처리를 설명하는 흐름도이다.
도 11은 복수의 센서부를 마련하여, 차량의 전체 주위를 센싱하는 예를 설명하는 도면이다.
도 12는 복수의 센서부를 마련하여, 차량의 전체 주위를 센싱하도록 한 데이터 취득부의 제3 실시 형태의 구성예를 설명하는 블록도이다.
도 13은 도 12의 데이터 취득부에 의한 복수의 센서부의 센싱 처리 결과를 통합하는 통합 처리를 설명하는 흐름도이다.
도 14는 복수의 감도로 촬상한 복수의 화상에 의한 복수의 물체 인식 결과와, 밀리미터파 레이더 및 LiDAR에 의한 센싱 결과를 조건에 따라 구분 사용하여 센싱하는 예를 설명하는 도면이다.
도 15는 복수의 감도로 촬상한 복수의 화상에 의한 복수의 물체 인식 결과와, 밀리미터파 레이더 및 LiDAR에 의한 센싱 결과의 구분 사용의 패턴을 설명하는 도면이다.
도 16은 복수의 감도로 촬상한 복수의 화상에 의한 복수의 물체 인식 결과와, 밀리미터파 레이더 및 LiDAR에 의한 센싱 결과를 조건에 따라 구분 사용하여 센싱하는 데이터 취득부의 제4 실시 형태의 구성예를 설명하는 블록도이다.
도 17은 도 16의 데이터 취득부에 의한 센싱 처리를 설명하는 흐름도이다.
도 18은 도 17의 인식 결과 통합 처리를 설명하는 흐름도이다.
도 19는 LED를 사용한 신호기를 촬상하였을 때에 생기는 플리커가 발생하는 원리를 설명하는 도면이다.
도 20은 본 개시의 이미지 센서의 노광 시간을 설명하는 도면이다.
도 21은 LED를 사용한 신호기나 차량 램프를 촬상하였을 때의 플리커 발생을 억제하도록 한 데이터 취득부의 제5 실시 형태의 구성예를 설명하는 블록도이다.
도 22는 도 21의 데이터 취득부에 의한 플리커 억제 처리를 설명하는 흐름도이다.
도 23은 범용의 컴퓨터의 구성예를 설명하는 도면이다.

이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대해 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 붙임으로써 중복 설명을 생략한다.

이하, 본 기술을 실시하기 위한 형태에 대해 설명한다. 설명은 이하의 순서로 행한다.

1. 본 개시의 개요

2. 본 개시의 차량을 제어하는 차량 제어 시스템의 구성예

3. 제1 실시 형태

4. 제2 실시 형태

5. 제3 실시 형태

6. 제4 실시 형태

7. 제5 실시 형태

8. 소프트웨어에 의해 실행시키는 예

<<1. 본 개시의 개요>>

본 개시의 개요에 대해 설명한다.

본 개시의 차량은, ADAS 등의 자동 운전에 필요한, 차내의 네트워크에 있어서 유통되는 통신 데이터양을 저감할 수 있도록 하는 것이다.

자동 운전을 실현하는 차량(11)은, 예를 들어 도 1에 도시되는 바와 같이, 센서부(31)와 자동 운전 제어부(32)를 구비하고 있다.

센서부(31)는, 차량(11)의 외계의 정보를 센싱하여, 센싱 결과 M1을 자동 운전 제어부(32)에 출력한다.

자동 운전 제어부(32)는, 센서부(31)로부터 공급되는 센싱 결과 M1에 기초하여 차량(11)의 동작을 제어하여, 자동 운전을 실현한다.

더 상세하게는, 센서부(31)는, 촬상부(41), 밀리미터파 레이더(42), 및 LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging)(43)를 구비하고 있다.

촬상부(41)는, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등으로 구성되며, 차량(11)의 주위의 화상을 촬상하여, 화상 데이터를 센싱 결과로서 자동 운전 제어부(32)에 출력한다.

밀리미터파 레이더(42)는, 밀리미터파대의 전파를 조사하여, 물체에 의해 반사되는 반사파의 피크값이 검출되는 위치의 정보로부터 물체의 위치, 속도, 및 방향의 정보를 검출하여, 센싱 결과로서 자동 운전 제어부(32)에 출력한다.

LiDAR(43)는, 적외광을 포함하는 레이저광을 투광하고, 물체로부터의 반사광을 수광하고, 그 왕복 시간에 기초하여 물체까지의 거리의 점군의 정보를 포함하는 3차원 점군 정보를 검출하여, 센싱 결과로서 자동 운전 제어부(32)에 출력한다.

따라서, 센서부(31)로부터 출력되는 센싱 결과 M1은, 촬상부(41)에 의해 촬상된 화상, 밀리미터파 레이더(42)에 의해 검출되는 물체의 위치, 속도, 및 방향의 정보, 및 LiDAR(43)의 검출 결과인 3차원 점군 정보로 구성된다.

어느 센싱 결과도 고분해능의 센싱 결과가 되는데, 그렇기 때문에 모든 정보를 자동 운전 제어부(32)에 출력하면, 차내 네트워크 상에 있어서 통신 데이터양이 증대되어 통신의 지연이 발생할 우려가 있어, 자동 운전의 실현에 영향을 미칠 우려가 있었다.

그래서 본 개시에 있어서는, 도 2에 도시되는 바와 같이, 촬상부(41)에 의해 촬상된 화상에 기초하여 화상 내의 물체를 인식하는 인식부(51)를 새롭게 마련하고, 밀리미터파 레이더(42) 및 LiDAR(43)의 센싱 결과를 인식부(51)에 출력시킨다.

인식부(51)는, 촬상부(41)에 의해 촬상된 화상에 기초한 물체 인식 결과인, 개개의 물체마다 밀리미터파 레이더(42) 및 LiDAR(43)의 센싱 결과를, 예를 들어 메타데이터로서 부여하고, 촬상부(41)에 의해 촬상된 화상과 함께 센싱 결과 M2로서 자동 운전 제어부(32)에 출력한다.

이러한 구성에 의해, 센싱 결과 M2는, 밀리미터파 레이더(42) 및 LiDAR(43)의 센싱 결과인 물체의 위치, 속도, 방향, 및 거리의 정보는 물체 인식 결과인 물체마다 메타데이터로서 부여되게 되므로, 센싱 결과 M2의 데이터양을 저감시키는 것이 가능해진다.

결과적으로, 자동 운전에 필요한 정보를 충분히 확보하면서, 차내 네트워크에 유통하는 센싱 결과의 데이터양을 억제하는 것이 가능해지므로, 통신의 지연 등의 발생을 억제하는 것이 가능해져, 적절한 자동 운전을 실현하는 것이 가능해진다.

<<2. 본 개시의 차량을 제어하는 차량 제어 시스템의 구성예>>

다음으로, 도 3의 블록도를 참조하여, 본 개시의 차량의 차량 제어 시스템에 대해 설명한다.

도 3은 본 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다. 차량 제어 시스템(100)은 차량(91)에 탑재되어 있다.

또한, 이하, 차량 제어 시스템(100)이 마련되어 있는 차량을 다른 차량과 구별하는 경우, 자차 또는 자차량이라고 칭한다.

차량 제어 시스템(100)은, 입력부(101), 데이터 취득부(102), 통신부(103), 차내 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 보디계 제어부(109), 보디계 시스템(110), 기억부(111), 및 자동 운전 제어부(112)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 보디계 제어부(109), 기억부(111), 및 자동 운전 제어부(112)는, 통신 네트워크(121)를 통해 서로 접속되어 있다. 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network), 또는 FlexRay(등록상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크나 버스 등을 포함한다. 또한, 차량 제어 시스템(100)의 각 부는, 통신 네트워크(121)를 통하지 않고 직접 접속되는 경우도 있다.

또한, 이하, 차량 제어 시스템(100)의 각 부가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 통신 네트워크(121)의 기재를 생략하는 것으로 한다. 예를 들어, 입력부(101)와 자동 운전 제어부(112)가 통신 네트워크(121)를 통해 통신을 행하는 경우, 단순히 입력부(101)와 자동 운전 제어부(112)가 통신을 행한다고 기재한다.

입력부(101)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치, 및 레버 등의 조작 디바이스, 그리고 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 그 밖의 전파를 이용한 리모트 컨트롤 장치, 또는 차량 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기여도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하여, 차량 제어 시스템(100)의 각 부에 공급한다.

데이터 취득부(102)는, 차량 제어 시스템(100)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 차량 제어 시스템(100)의 각 부에 공급한다.

예를 들어, 데이터 취득부(102)는, 자차의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU), 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다.

또한, 예를 들어 데이터 취득부(102)는, 자차의 외부의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라, 및 그 밖의 카메라 등의 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서, 및 자차의 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 소나 등을 포함한다.

또한, 예를 들어 데이터 취득부(102)는, 자차의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.

또한, 예를 들어 데이터 취득부(102)는, 차내의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 운전자를 촬상하는 촬상 장치, 운전자의 생체 정보를 검출하는 생체 센서, 및 차실 내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되어, 좌석에 앉아 있는 탑승자 또는 스티어링 휠을 잡고 있는 운전자의 생체 정보를 검출한다.

통신부(103)는, 차내 기기(104), 그리고 차 외부의 다양한 기기, 서버, 기지국 등과 통신을 행하여, 차량 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 차량 제어 시스템(100)의 각 부에 공급하거나 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은 특별히 한정되는 것은 아니며, 또한 통신부(103)가 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다.

예를 들어, 통신부(103)는 무선 LAN, Bluetooth(등록상표), NFC(Near Field Communication), 또는 WUSB(Wireless USB) 등에 의해, 차내 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및, 필요하다면 케이블)를 통해, USB(Universal Serial Bus), HDMI(등록상표)(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등에 의해, 차내 기기(104)와 유선 통신을 행한다.

또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통해 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 사용하여 자차의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, 차차 간(Vehicle to Vehicle) 통신, 노차 간(Vehicle to Infrastructure) 통신, 자차와 집 간(Vehicle to Home)의 통신, 및 보차 간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는 비콘 수신부를 구비하며, 도로 상에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하여, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.

차내 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 자차에 반입되거나 혹은 설치되는 정보 기기, 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.

출력 제어부(105)는, 자차의 탑승자 또는 차 외부에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하고, 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성된 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성된 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.

출력부(106)는, 자차의 탑승자 또는 차 외부에 대해, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다.

구동계 제어부(107)는, 각종 제어 신호를 생성하고 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라서 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하여, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.

구동계 시스템(108)은, 자차의 구동계에 관계되는 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은 내연 기관 또는 구동용 모터 등의 구동력을 발생 시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고 전동 파워 스티어링 장치 등을 구비한다.

보디계 제어부(109)는, 각종 제어 신호를 생성하고 보디계 시스템(110)에 공급함으로써, 보디계 시스템(110)의 제어를 행한다. 또한, 보디계 제어부(109)는, 필요에 따라서 보디계 시스템(110) 이외의 각 부에 제어 신호를 공급하여, 보디계 시스템(110)의 제어 상태의 통지 등을 행한다.

보디계 시스템(110)은, 차체에 장비된 보디계의 각종 장치를 구비한다. 예를 들어, 보디계 시스템(110)은, 키리스 엔트리 시스템, 스마트키 시스템, 파워 윈도우 장치, 파워 시트, 스티어링 휠, 공조 장치, 및 각종 램프(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 윙커, 포그 램프 등) 등을 구비한다.

기억부(111)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 및 광 자기 기억 디바이스 등을 구비한다. 기억부(111)는, 차량 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(111)는 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고, 넓은 에어리어를 커버하는 글로벌 맵, 및 자차의 주위의 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.

자동 운전 제어부(112)는, 자율 주행 또는 운전 지원 등의 자동 운전에 관한 제어를 행한다. 구체적으로는, 예를 들어 자동 운전 제어부(112)는, 자차의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 자차의 충돌 경고, 또는 자차의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자동 운전 제어부(112)는, 운전자의 조작에 의존하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 자동 운전 제어부(112)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134), 및 동작 제어부(135)를 구비한다.

검출부(131)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 차외 정보 검출부(141), 차내 정보 검출부(142), 및 차량 상태 검출부(143)를 구비한다.

차외 정보 검출부(141)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 외부의 정보의 검출 처리를 행한다. 예를 들어, 차외 정보 검출부(141)는, 자차의 주위의 물체의 검출 처리, 인식 처리, 및 추적 처리, 그리고 물체까지의 거리의 검출 처리를 행한다. 검출 대상이 되는 물체에는, 예를 들어 차량, 사람, 장애물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 차외 정보 검출부(141)는, 자차의 주위의 환경의 검출 처리를 행한다. 검출 대상이 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기, 및 노면의 상태 등이 포함된다. 차외 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 규칙 인식부(152), 및 상황 인식부(153), 그리고 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.

차내 정보 검출부(142)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차내의 정보 검출 처리를 행한다. 예를 들어, 차내 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자의 상태 검출 처리, 탑승자의 검출 처리, 및 차내의 환경의 검출 처리 등을 행한다. 검출 대상이 되는 운전자의 상태에는, 예를 들어 신체 상태, 각성도, 집중도, 피로도, 시선 방향 등이 포함된다. 검출 대상이 되는 차내의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 차내 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153), 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.

차량 상태 검출부(143)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 상태의 검출 처리를 행한다. 검출 대상이 되는 자차의 상태에는, 예를 들어 속도, 가속도, 타각, 이상의 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고 그 밖의 차량 탑재 기기의 상태 등이 포함된다. 차량 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153), 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.

자기 위치 추정부(132)는, 차외 정보 검출부(141), 및 상황 분석부(133)의 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라서 자기 위치의 추정에 사용하는 로컬 맵(이하, 자기 위치 추정용 맵이라고 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 기술을 사용한 고정밀도의 맵이 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 교통 규칙 인식부(152), 및 상황 인식부(153) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(111)에 기억시킨다.

상황 분석부(133)는, 자차 및 주위의 상황의 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 교통 규칙 인식부(152), 상황 인식부(153), 및 상황 예측부(154)를 구비한다.

맵 해석부(151)는, 자기 위치 추정부(132) 및 차외 정보 검출부(141) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호를 필요에 따라서 사용하면서, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을, 교통 규칙 인식부(152), 상황 인식부(153), 상황 예측부(154), 그리고 계획부(134)의 루트 계획부(161), 행동 계획부(162), 및 동작 계획부(163) 등에 공급한다.

교통 규칙 인식부(152)는, 자기 위치 추정부(132), 차외 정보 검출부(141), 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 주위의 교통 규칙의 인식 처리를 행한다. 이 인식 처리에 의해, 예를 들어 자차의 주위의 신호의 위치 및 상태, 자차의 주위의 교통 규제의 내용, 그리고 주행 가능한 차선 등이 인식된다. 교통 규칙 인식부(152)는, 인식 처리의 결과를 나타내는 데이터를 상황 예측부(154) 등에 공급한다.

상황 인식부(153)는, 자기 위치 추정부(132), 차외 정보 검출부(141), 차내 정보 검출부(142), 차량 상태 검출부(143), 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여 자차에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(153)는, 자차의 상황, 자차의 주위의 상황, 및 자차의 운전자의 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(153)는, 필요에 따라서 자차의 주위의 상황의 인식에 사용하는 로컬 맵(이하, 상황 인식용 맵이라고 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map)가 된다.

인식 대상이 되는 자차의 상황에는, 예를 들어 자차의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고 이상의 유무 및 내용 등이 포함된다. 인식 대상이 되는 자차의 주위의 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면의 상태, 그리고 주위의 날씨, 기온, 습도, 및 밝기 등이 포함된다. 인식 대상이 되는 운전자의 상태에는, 예를 들어 신체 상태, 각성도, 집중도, 피로도, 시선의 움직임, 그리고 운전 조작 등이 포함된다.

상황 인식부(153)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라서, 상황 인식용 맵을 포함함)를 자기 위치 추정부(132) 및 상황 예측부(154) 등에 공급한다. 또한, 상황 인식부(153)는 상황 인식용 맵을 기억부(111)에 기억시킨다.

상황 예측부(154)는, 맵 해석부(151), 교통 규칙 인식부(152) 및 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여 자차에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(154)는, 자차의 상황, 자차의 주위의 상황, 및 운전자의 상황 등의 예측 처리를 행한다.

예측 대상이 되는 자차의 상황에는, 예를 들어 자차의 거동, 이상의 발생, 및 주행 가능 거리 등이 포함된다. 예측 대상이 되는 자차의 주위의 상황에는, 예를 들어 자차의 주위의 동물체의 거동, 신호의 상태의 변화, 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상이 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 신체 상태 등이 포함된다.

상황 예측부(154)는, 예측 처리의 결과를 나타내는 데이터를, 교통 규칙 인식부(152) 및 상황 인식부(153)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162), 및 동작 계획부(163) 등에 공급한다.

루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 정체, 사고, 통행 규제, 공사 등의 상황, 및 운전자의 신체 상태 등에 기초하여 적절하게 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.

행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에 안전하게 주행하기 위한 자차 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도, 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획된 자차의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다.

동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 자차 동작을 계획한다. 예를 들어, 동작 계획부(163)는, 가속, 감속, 및 주행 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획된 자차의 동작을 나타내는 데이터를, 동작 제어부(135)의 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.

동작 제어부(135)는, 자차의 동작의 제어를 행한다. 동작 제어부(135)는, 긴급 사태 회피부(171), 가감속 제어부(172), 및 방향 제어부(173)를 구비한다.

긴급 사태 회피부(171)는, 차외 정보 검출부(141), 차내 정보 검출부(142), 및 차량 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대로의 진입, 운전자의 이상, 차량의 이상 등의 긴급 사태의 검출 처리를 행한다. 긴급 사태 회피부(171)는, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 자차 동작을 계획한다. 긴급 사태 회피부(171)는, 계획된 자차의 동작을 나타내는 데이터를 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.

가감속 제어부(172)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 가감속 제어부(172)는, 계획된 가속, 감속, 또는, 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 지령을 구동계 제어부(107)에 공급한다.

방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 지령을 구동계 제어부(107)에 공급한다.

<<3. 제1 실시 형태>>

<차내 네트워크를 통해 유통하는 센싱 결과의 데이터양을 저감하는 구성>

다음으로, 도 4의 블록도를 참조하여, 차내 네트워크를 통해 유통하는 센싱 결과의 데이터양을 저감하는 데이터 취득부(102)의 구성예에 대해 설명한다.

또한, 도 4는 도 3을 참조하여 설명한 차량 제어 시스템(100)을 실현하는 기능의 구성예 중, 차내 네트워크를 통해 유통하는 센싱 결과의 데이터양을 저감하는 데이터 취득부(102)의 구성을 나타내고 있다.

센서부(200)는, 데이터 취득부(102)의 일부이며, 도 4에서는 실질적으로 카메라로서 기능하는 구성이다.

센서부(200)는, 제어부(201), 렌즈(202), 이미지 센서(203), 신호 처리부(204), 인식부(205), 버퍼(206), 및 판정부(207)를 구비하고 있다.

제어부(201)는, 프로세서나 메모리로 구성되어 있으며, 센서부(200)의 동작의 전체를 제어한다.

렌즈(202)는, 차량(91)의 주위로부터의 입사광을 이미지 센서(203)의 촬상면에 있어서 결상하도록 집광한다.

이미지 센서(203)는, 제어부(201)에 의해 제어되고, 렌즈(202)를 통해 입사하는 주위의 광에 기초하여 화소 단위의 신호를 생성하여 신호 처리부(204)에 출력한다.

신호 처리부(204)는, 제어부(201)에 의해 제어되고, 이미지 센서(203)로부터 공급되는 화소 단위의 신호에 대해 디모자이크 처리, 노이즈 제거, 및 계조 보정 등의 신호 처리를 실시하고, 화상을 생성하여 인식부(205), 버퍼(206), 및 판정부(207)에 출력한다.

인식부(205)는, 신호 처리부(204)로부터 공급되는 화상에 기초하여 화소 단위로 물체 인식을 행하고, 인식 결과를, 인식된 물체를 단위로 하여 차내의 네트워크를 통해 자동 운전 제어부(112) 및 판정부(207)에 출력한다. 즉, 물체 인식 결과가, 화소 단위가 아닌, 인식된 물체를 단위로 하여 출력됨으로써, 차내 네트워크를 통해 출력되는 물체 인식 결과의 데이터양을 억제하는 것이 가능해진다. 이때, 물체 인식 결과에는, 화상 내에 있어서 인식된 물체의 좌표 정보가 포함된다. 이에 의해, 차내 네트워크에 있어서는, 인식된 물체를 단위로 한 물체의 좌표 위치와 물체 인식 결과가 유통하기만 하면 되므로, 차내 네트워크에 있어서의 통신 부하를 저감시키는 것이 가능해진다.

더 상세하게는, 인식부(205)는, 화상에 기초하여 화소 단위로 물체 인식을 행하고, 지상면, 사람, 차량, 건조물, 고정 물체, 자연 환경, 및 하늘 등을 물체로서 인식하고, 물체 인식 결과를 출력한다.

지상면의 물체 인식 결과에는, 도로, 보도, 주차장, 및 궤도 등의 정보가 포함된다.

또한, 사람의 물체 인식 결과에는, 보행자나 운전자가 포함된다.

여기서, 운전자의 물체 인식 결과에는, 자전거, 바이크, 스쿠터, 스케이트보드, 말, 롤러 블레이드, 휠체어, 도로 청소차, 및 지붕이 없는 차의 운전자가 포함된다.

또한, 차량의 물체 인식 결과에는, 차, 트럭, 버스, 레일 상을 주행하는 전차나 열차, 바이크, 자전거, 및 견인 차량이 포함된다.

또한, 건조물의 물체 인식 결과에는, 건물, 벽, 펜스, 가드레일, 교량, 및 터널이 포함된다.

또한, 고정 물체의 물체 인식 결과에는, 폴, 폴군, 교통 표지, 및 신호기가 포함된다.

또한, 자연 환경의 물체 인식 결과에는, 식생이나 지형의 정보가 포함된다.

버퍼(206)는, 제어부(201)에 의해 제어되고, 신호 처리부(204)로부터 공급되는 화상을 일시적으로 버퍼링하고, 인식부(205)에 의한 인식 처리나 신호 처리의 각각의 처리 시간에 따른 타이밍에 버퍼링한 화상을 자동 운전 제어부(112)에 출력한다.

또한, 자동 운전 제어부(112)에 대해서는, 물체 인식 결과만이 출력되도록 하고, 화상에 대해서는, 화상 자체는 출력되지 않도록 해도 되고, 비트 레이트를 저감시키도록 하여 출력하도록 해도 된다. 이와 같이 함으로써, 차내 네트워크에 유통하는 데이터양을 더욱 억제하는 것이 가능해진다.

판정부(207)는, 인식부(205)에 의한 인식 처리와, 신호 처리부(204)에 있어서의 신호 처리의 처리 시간을 비교하여, 비교 결과와, 처리 시간의 차분(처리 시간차)을 제어부(201)에 출력한다.

제어부(201)는, 비교 결과에 따라서, 촬상 결과인 화상을 씨닝하여 출력하거나, 물체 인식 결과를 씨닝하여 출력하거나, 또는 촬상 결과도 물체 인식 결과도 씨닝하지 않고 출력하는 것 중 어느 것을 행하도록 신호 처리부(204), 인식부(205), 및 버퍼(206)를 제어한다.

또한, 제어부(201)는 촬상 결과인 화상을 씨닝하여 출력하거나, 또는 물체 인식 결과를 씨닝하여 출력하는 경우, 처리 시간의 차분(처리 시간 차)에 대응하여, 촬상 결과인 화상을 씨닝하여 출력하거나, 또는 물체 인식 결과를 씨닝하여 출력한다.

더 상세하게는, 물체 인식 처리 시간이, 신호 처리 시간보다 지연되어, 신호 처리 시간의 n배 걸리는 경우, 제어부(201)는 신호 처리부(204)를 제어하여, 화상을 n 프레임 간격으로 씨닝하여 출력시켜, n 프레임 전의 화상의 물체 인식 결과와 현재의 화상을 대응지어 출력한다. 또한, 제어부(201)는, 버퍼(206)에 의해 물체 인식 결과가 구해질 때까지 화상을 버퍼링시켜, 물체 인식 결과가 구해지는 타이밍에, 화상과 함께 출력되도록 해도 된다. 이 경우도, 물체 인식 결과가 구해지는 타이밍에 따라서 화상이 출력되게 되므로, 화상은 n 프레임 간격으로 씨닝되게 된다.

또한, 물체 인식 처리 시간이, 신호 처리 시간보다 빨라, 신호 처리 시간의 n배 빠르기인 경우, 제어부(201)는 인식부(205)를 제어하여, 물체 인식 결과를 n회에 1회 출력시켜, 현재의 화상을 대응지어 출력시킨다.

<인식부의 구성>

인식부(205)는, 신호 처리부(204)로부터 공급되는 화상에 대해, 화소 단위로 물체 인식 결과를 구하여 출력한다.

즉, 인식부(205)는, 도 5에 도시되는 바와 같이, 신호 처리부(204)로부터 출력되는 화상 R1의 화소 P마다, 시맨틱 세그멘테이션 등의 물체 인식 처리가 행해져, 화소 P 단위로 물체 인식 결과 Pr을 출력한다.

더 구체적으로는, 예를 들어 도 6에 도시되는 바와 같은 화상 P11이 촬상된 경우, 물체 인식 처리에 의해, 예를 들어 보행자 H1 내지 H4, 차량 C1 내지 C4, 백색선 L1, L2, 신호기 T1, 및 표지 M1이 인식된다.

또한, 도 6의 물체 인식 결과인 보행자 H1 내지 H4, 차량 C1 내지 C4, 백색선 L1, L2, 신호기 T1, 및 표지 M1 각각에는, 물체를 구성하는 화소 영역의, 예를 들어 무게 중심 위치 등에 좌표 위치, 그리고 식별 명칭(예를 들어, 인물, 차량, 백색선, 신호기, 또는 표지 등)이 설정된다.

<도 4의 데이터 취득부에 의한 센싱 처리>

다음으로, 도 4의 데이터 취득부(102)에 의한 센싱 처리에 대해 설명한다.

스텝 S11에 있어서, 이미지 센서(203)는, 제어부(201)에 의해 제어되며, 렌즈(202)를 통해 입사하는 차량(91)의 주위를 촬상하고, 촬상된 화소 단위의 신호를 신호 처리부(204)에 출력한다.

스텝 S12에 있어서, 신호 처리부(204)는, 제어부(201)에 의해 제어되며, 이미지 센서(203)로부터 공급되는 화소 단위의 신호에 대해 디모자이크 처리, 노이즈 제거, 및 계조 보정 등의 신호 처리를 실시하고, 화상을 생성하여 인식부(205), 버퍼(206), 및 판정부(207)에 출력한다.

스텝 S13에 있어서, 버퍼(206)는, 신호 처리부(204)로부터 출력된 화상 신호를 버퍼링한다.

스텝 S14에 있어서, 인식부(205)는, 신호 처리부(204)로부터 공급되는 화상에 기초하여 화소 단위로 물체 인식을 행한다.

스텝 S15에 있어서, 버퍼(206)는, 버퍼링된 화상을 자동 운전 제어부(112)에 출력한다.

스텝 S16에 있어서, 인식부(205)는, 도 6을 참조하여 설명한 바와 같이, 인식 결과를 차내의 네트워크를 통해 자동 운전 제어부(112) 및 판정부(207)에 출력한다.

즉, 스텝 S15, S16의 처리에 의해, 서로 대응하는 화상과 물체 인식 결과가 자동 운전 제어부(112)에 출력된다.

스텝 S17에 있어서, 판정부(207)는, 신호 처리부(204)에 의한 신호 처리 시간과, 인식부(205)에 의한 물체 인식 처리 시간을 비교하여, 인식부(205)에 의한 물체 인식 처리 시간 쪽이, 신호 처리부(204)에 의한 신호 처리 시간보다 지연되는지 여부를 판정한다.

스텝 S17에 있어서, 인식부(205)에 의한 물체 인식 처리 시간 쪽이, 신호 처리부(204)에 의한 신호 처리 시간보다 지연되는 경우, 처리는 스텝 S18로 진행한다.

스텝 S18에 있어서, 판정부(207)는, 인식부(205)에 의한 물체 인식 처리 시간 쪽이, 신호 처리부(204)에 의한 신호 처리 시간보다 지연되는 것을 제어부(201)에 통지한다. 이 통지에 따라서, 제어부(201)는, 신호 처리부(204)를 제어하여, 신호 처리부(204)로부터 출력되는 신호 처리 결과인 화상을, 신호 처리부(204)에 의한 신호 처리 시간과, 인식부(205)에 의한 물체 인식 처리 시간의 처리 시간 차에 따라서 씨닝하여 출력하도록 제어한다.

스텝 S19에 있어서, 처리의 종료가 지시되었는지 여부가 판정되어, 종료가 지시되어 있지 않은 경우, 처리는 스텝 S11로 되돌아간다.

또한, 스텝 S17에 있어서, 인식부(205)에 의한 물체 인식 처리 시간 쪽이, 신호 처리부(204)에 의한 신호 처리 시간보다 지연되지 않는 경우, 처리는 스텝 S20으로 진행한다.

스텝 S20에 있어서, 판정부(207)는, 신호 처리부(204)에 의한 신호 처리 시간과, 인식부(205)에 의한 물체 인식 처리 시간을 비교하여, 인식부(205)에 의한 물체 인식 처리 시간 쪽이, 신호 처리부(204)에 의한 신호 처리 시간보다 빠른지 여부를 판정한다.

스텝 S20에 있어서, 인식부(205)에 의한 물체 인식 처리 시간 쪽이, 신호 처리부(204)에 의한 신호 처리 시간보다 빠른 경우, 처리는 스텝 S21로 진행한다.

스텝 S21에 있어서, 판정부(207)는, 인식부(205)에 의한 물체 인식 처리 시간 쪽이, 신호 처리부(204)에 의한 신호 처리 시간보다 빠른 것을 제어부(201)에 통지한다. 이 통지에 따라서, 제어부(201)는 인식부(205)를 제어하여, 신호 처리부(204)에 의한 신호 처리 시간과, 인식부(205)에 의한 물체 인식 처리 시간의 처리 시간 차에 따라서, 물체 인식 결과를 씨닝하여 출력하도록 제어한다.

그리고 스텝 S20에 있어서, 인식부(205)에 의한 물체 인식 처리 시간 쪽이, 신호 처리부(204)에 의한 신호 처리 시간보다 빠르지 않은 경우, 즉, 어느 처리 시간이든 거의 동일한 경우, 처리는 스텝 S19로 진행하여, 신호 처리부(204) 및 인식부(205)에 있어서의 씨닝 처리가 이루어지는 제어가 이루어지지 않는다.

이상의 처리에 의해, 물체 인식 결과와 촬상한 화상을 신호 처리부(204)에 있어서의 신호 처리 시간과 인식부(205)에 있어서의 물체 인식 처리 시간의 차분에 따라서, 어느 것을 씨닝하도록 함으로써 타이밍을 조정하여 적절하게 출력하는 것이 가능해진다.

또한, 이상에 있어서는, 물체 인식 결과와 화상의 양쪽의 데이터를 자동 운전 제어부(112)에 출력하는 예에 대해 설명하였지만, 자동 운전 제어부(112)에 있어서, 물체 인식 결과만을 사용하여 자동 운전을 제어하는 경우에는, 물체 인식 결과만을 출력하도록 해도 된다. 이와 같이 함으로써, 차내의 네트워크에 있어서 유통하는 데이터양을 저감시키는 것이 가능해져, 통신 속도를 향상시키는 것이 가능해진다.

또한, 화상으로부터 물체 인식 처리를 필요로 하지 않으므로, 센서부(200)로부터는 저해상도의 화상과 물체 인식 결과를 아울러 자동 운전 제어부(112)에 출력하도록 해도 된다.

또한, 이상에 있어서는, 물체 인식 결과 전부가 출력되는 예에 대해 설명하였지만, 물체 인식 결과 중, 자동 운전 제어에 필요한, 비교적 중요도가 높은 물체의 물체 인식 결과만을 출력하도록 해도 된다. 여기서, 비교적 중요도가 높은 물체란, 예를 들어 교통 상황을 파악함에 있어서 필요한 대상물이나, 충돌이나 접촉의 대상물 등이며, 구체적으로는 신호기, 도로 표지, 차량, 보행자, 자전거, 및 바이크 등이다. 또한, 중요도가 낮은 물체의 물체 인식 결과에 대해서는 출력하지 않도록 해도 되며, 예를 들어 하늘의 인식 결과에 대해서는 자동 운전 제어에는 필수라고 할 수는 없으므로, 하늘의 물체 인식 결과에 대해서는 출력하지 않도록 해도 된다.

이와 같이 함으로써, 차내의 네트워크에 있어서 유통하는 데이터양을 억제하면서, 자동 운전 제어에 필요한 화상과 물체 인식 결과를 자동 운전 제어부(112)에 유통시키는 것이 가능해진다.

또한, 이상에 있어서는, 물체 인식 처리 시간 쪽이, 신호 처리 시간보다 지연되는 경우, 화상이, 처리 시간 차에 따라서 씨닝되어 출력되는 예에 대해 설명하였지만, 화상을 씨닝하지 않고, 물체 인식 결과에 대해서는, 수 프레임 전의 화상의 것을, 현재의 화상에 대응지어 출력하도록 해도 된다. 이와 같이 함으로써, 물체 인식 결과의 정밀도는 저하되지만, 프레임 레이트를 떨어뜨릴 필요가 없어진다.

<<4. 제2 실시 형태>>

이상에 있어서는, 센서부(200)는, 이미지 센서(203)에 의해 촬상되는 화상에 기초하여 물체 인식 처리를 실행시켜, 물체 인식 결과와, 화상을 대응지어 자동 운전 제어부(112)에 출력하는 예에 대해 설명하였지만, 센서부(200)에 또 다른 정보를 센싱할 수 있는 복수의 센서를 마련하여, 복수의 센서의 센싱 결과를 물체 인식 결과에 부여하여 출력하도록 해도 된다.

예를 들어, 센서부(200)에 이미지 센서(203) 외에도, 밀리미터파 레이더, 및 LiDAR를 마련하여, 각각의 센싱 결과에 의해 얻어지는 물체의 속도 정보나 거리 정보를 물체 인식 결과의 각각에 메타데이터로서 부여하도록 해도 된다.

즉, 예를 들어 도 8에 도시되는 바와 같이, 상술한 처리에 의해 물체 인식 처리가 이루어짐으로써, 보행자 H1 내지 H4, 차량 C1 내지 C4, 백색선 L1, L2, 신호기 T1, 및 표지 M1이 인식된다.

여기서, 센서부(200)에 밀리미터파 레이더나 LiDAR를 더 마련하도록 함으로써, 물체 인식 결과 중, 소정의 정밀도로 센싱 가능한 이동하는 물체의 각각에 밀리미터파 레이더로 검출되는 물체의 속도 정보, 및 LiDAR로 검출되는 물체까지의 거리 정보를 메타데이터로서 부여한다.

이때, 물체 인식 결과 중, 소정의 정밀도로 센싱 가능한 이동하는 물체란, 예를 들어 차량 C1 내지 C4이다. 예를 들어, 보행자 H1 내지 H4는, 밀리미터파대의 전파를 투과하기 쉽고, 검출 가능한 속도 정보의 정밀도가 낮은 것이 알려져 있다.

이와 같이, 소정의 정밀도로 센싱 가능한 이동하는 물체에 대해서는, 메타데이터로서 속도 정보나 거리 정보가 부여됨으로써, 자동 운전 제어에 필요한 물체에 대해 더 상세한 정보가 얻어진다. 또한, 이후에 있어서는, 소정의 정밀도로 센싱 가능한 이동하는 물체와 같이, 메타데이터가 부여되는 물체에 대해, 특히 요 메타데이터 부여 물체라고도 칭한다.

도 8에 있어서는, 차량 C1 내지 C4 각각에는, 도면 중의 (V, D)로 표기되는 바와 같이, 속도(V)와 거리(D)가 부여된다.

더 구체적으로는, 차량 C1에 대해서는, H1(45, 8.0)이라고 표기되고, 차량 C1의 이동 속도가 45㎞/h이며, 자차로부터의 거리가 8.0m인 것이 나타나 있다. 또한, 차량 C2에 대해서는, C2(50, 70)라고 표기되고, 차량 C2의 이동 속도가 시속 50㎞/h이며, 자차로부터의 거리가 70m인 것이 나타나 있다.

차량 C3에 대해서는, C3(-40, 30)이라고 표기되고, 차량 C3의 이동 속도가 -40㎞/h이며, 자차로부터의 거리가 30m인 것이 나타나 있다. 또한, 차량 C4에 대해서는, C4(-50, 5.0)라고 표기되고, 차량 C4의 이동 속도가 시속 -50㎞/h이며, 거리가 5.0m인 것이 나타나 있다.

또한, 속도에 대해 「-」가 부여되어 있는 것은, 자차의 진행 방향에 대해 반대 방향인 것을 나타내고 있으며, 차량 C3, C4가 대향차인 것을 나타내고 있다.

또한, 도 8에 있어서의 표기는, 화상 인식 결과와의 대응을 설명하기 위한 표기이며, 실제로는 각각의 물체 인식 결과에 대응지어, 각각의 물체의 속도 정보 및 거리 정보가 메타데이터로서 물체 인식 결과에 부여된다.

또한, 이상에 있어서는, 밀리미터파 레이더(221)에 의해 소정의 정밀도로 센싱 가능한 이동하는 물체가, 메타데이터가 부여되는 요 메타데이터 부여 물체로서 설정되는 예에 대해 설명하였지만, 자동 운전 제어에 필요한, 비교적 중요도가 높은 물체에 메타데이터를 부여하도록 해도 된다. 비교적 중요도가 높은 물체란, 예를 들어 교통 상황을 파악함에 있어서 필요한 대상물이나, 충돌이나 접촉의 대상물 등이며, 구체적으로는 신호기, 도로 표지, 차량, 보행자, 자전거, 및 바이크 등이다. 또한, 당연히, 밀리미터파 레이더(221)나 LiDAR(222)의 물체 인식 결과 전부를 요 메타데이터 부여 물체로 설정하도록 해도 된다.

<속도 정보와 거리 정보를 물체 인식 결과에 부여하는 센서부의 구성예>

다음으로, 도 9의 블록도를 참조하여, 차내 네트워크를 통해 유통하는 센싱 결과의 데이터양을 저감하는, 제2 실시 형태의 구성예에 대해 설명한다.

또한, 도 9는, 도 3을 참조하여 설명한 차량 제어 시스템(100)을 실현하는 기능의 구성예 중, 차내 네트워크를 통해 유통하는 센싱 결과의 데이터양을 저감하고, 또한 속도와 거리의 정보를 물체 인식 결과의 각 물체 중 소정의 정밀도로 센싱 가능한 이동하는 물체에 부여하는 데이터 취득부(102)의 구성예를 도시하고 있다.

또한, 도 9의 데이터 취득부(102)에 있어서, 도 4의 데이터 취득부(102)와 동일한 기능을 구비한 구성에 대해서는 동일한 부호를 붙이고 있고, 그 설명은 적절하게 생략한다.

즉, 도 9의 데이터 취득부(102)에 있어서는, 새롭게 밀리미터파 레이더(221) 및 LiDAR(222)가 부여되어 있다.

밀리미터파 레이더(221)는, 밀리미터파대의 전파를 조사하여, 물체로부터 반사하는 반사파를 수신하고, 전파를 조사하고 나서 피크 강도의 반사파를 수신할 때까지의 왕복 시간에 기초하여 물체의 거리 및 속도를 검출하여, 인식부(205)에 출력한다.

LiDAR(222)는, 적외광을 포함하는 레이저광을 투광하고, 물체로부터의 반사광을 수광함으로써 레이저광을 투광한 타이밍으로부터 수광하는 타이밍까지의 왕복 시간에 의해 물체까지의 거리 정보를 검출하여, 3차원 점군 정보로서 인식부(205)에 출력한다.

인식부(205)는, 물체 인식 결과 중, 소정의 정밀도로 센싱 가능한 이동하는 물체에 대해 속도 정보와 거리 정보를 메타데이터로서 부여하고, 물체 인식 결과와 대응지어 등록하여 기억함과 함께, 자동 운전 제어부(112)에 출력한다.

또한, 물체 인식 결과와 대응지어 속도 정보 및 거리 정보가 등록된 후에는, 화상의 흐트러짐이나 밝기가 불충분한 등의 이유에 의해 화상으로부터 검출할 수 없는 물체 상태로 되어도, 인식부(205)는 직전과 현재의 밀리미터파 레이더(221)로부터 공급되는 속도 정보와, LiDAR(222)로부터 공급되는 거리 정보에 기초하여 물체의 위치를 추정한다.

또한, 이후에 있어서는, 물체 인식 결과와 대응지어 속도 정보 및 거리 정보가 등록된 물체 중, 화상의 흐트러짐이나 밝기가 불충분한 등의 이유에 의해 화상으로부터 검출할 수 없는 물체에 대해서는 비검출 물체라고도 칭한다. 또한, 소정의 정밀도로 센싱 가능한 이동하는 물체에 대해서는, 메타데이터 부여 물체라고도 칭한다.

<도 9의 데이터 취득부에 의한 센싱 처리>

다음으로, 도 10의 흐름도를 참조하여, 도 9의 데이터 취득부(102)에 의한 센싱 처리에 대해 설명한다.

또한, 도 9의 흐름도에 있어서의 스텝 S31 내지 S33, S36의 처리는, 도 7의 흐름도에 있어서의 스텝 S11 내지 S14의 처리와 동일하므로, 그 설명은 생략한다.

즉, 스텝 S34에 있어서, 밀리미터파 레이더(221)는, 차량(91)의 주위에 대해 밀리미터파대의 전파를 조사하여, 피크 강도의 반사파에 기초하여 물체의 속도 정보를 검출하여 인식부(205)에 출력한다.

스텝 S35에 있어서, LiDAR(222)는, 적외광을 포함하는 레이저광을 투광하고, 물체로부터의 반사광을 수광함으로써 레이저광의 왕복 시간에 기초하여 물체까지의 거리 정보를 포함하는 3차원 점군 정보를 검출하여 인식부(205)에 출력한다.

스텝 S36에 있어서, 인식부(205)는, 신호 처리부(204)로부터 공급되는 화상에 기초하여 화소 단위로 물체 인식을 행한다.

스텝 S37에 있어서, 인식부(205)는, 미처리 인식 물체를 처리 대상 물체로 설정한다.

스텝 S38에 있어서, 인식부(205)는, 처리 대상 물체가 소정의 정밀도로 센싱 가능한 이동하는 물체, 즉, 요 메타데이터 부여 물체인지 여부를 판정한다. 여기서, 소정의 정밀도로 센싱 가능한 이동하는 요 메타데이터 부여 물체란, 예를 들어 차량이다. 또한, 요 메타데이터 부여 물체에 대해서는, 임의의 물체로 설정하는 것이 가능하며, 예를 들어 차량뿐만 아니라, 모든 물체로 하도록 해도 된다.

스텝 S38에 있어서, 처리 대상 물체가 요 메타데이터 부여 물체라고 간주된 경우, 처리는 스텝 S39로 진행한다.

스텝 S39에 있어서, 인식부(205)는, 처리 대상 물체에 대해 밀리미터파 레이더(221)로부터 공급된 속도 정보와, LiDAR(222)로부터 공급된 거리 정보를 메타데이터로서 부여하고, 처리 대상 물체와 대응지어 등록(갱신)하여 기억한다.

또한, 스텝 S38에 있어서, 처리 대상 물체가 요 메타데이터 부여 물체가 아니라고 간주된 경우, 스텝 S39의 처리가 스킵되어, 메타데이터가 부여되지 않는다.

스텝 S40에 있어서, 인식부(205)는, 물체 인식 결과 중, 미처리 인식 물체가 존재하는지 여부를 판정하고, 미처리 인식 물체가 존재하는 경우, 처리는 스텝 S37로 되돌아간다.

스텝 S41에 있어서, 인식부(205)는, 등록된 물체 인식 결과 중, 비검출 물체 중 어느 것을 처리 대상 비검출 물체로 설정한다.

스텝 S42에 있어서, 인식부(205)는, 비검출 물체의, 현재의 속도 정보 및 거리 정보와, 직전의 속도 정보 및 거리 정보에 기초하여 비검출 물체의 현재의 위치를 추정하고, 추정한 위치에 비검출 물체의 물체 인식 결과가 존재하는 것이라고 간주하여, 현재의 속도 정보 및 거리 정보를 대응지어 등록한다.

또한, 처리 대상 비검출 물체의 현재의 속도 정보 및 거리 정보에 대해서는, 처리 대상 비검출 물체의 직전의 위치로부터, 속도 정보 및 거리 정보에 기초하여 예측되는 위치의 속도 정보 및 거리 정보가, 현재의 속도 정보 및 거리 정보라고 간주하여 사용된다.

또한, 처리 대상 비검출 물체에 대응하는, 현재의 속도 정보 및 거리 정보가 검출되어 있지 않은 경우에 대해서는, 물체 자체가 존재하지 않는 것이라고 간주되므로, 인식부(205)는, 처리 대상 비검출 물체와, 그 처리 대상 비검출 물체에 대응지어 등록된 속도 정보 및 거리 정보를 등록으로부터 해제한다.

스텝 S43에 있어서, 인식부(205)는, 미처리 비검출 물체가 존재하는지 여부를 판정하고, 존재하는 경우, 처리는 스텝 S41로 되돌아간다. 즉, 모든 비검출 물체에 대해, 대응하는 속도 정보 및 거리 정보에 기초하여 현재의 위치가 추정될 때까지 스텝 S41 내지 S43의 처리가 반복된다.

그리고 스텝 S43에 있어서, 미처리 비검출 물체가 없다고 간주된 경우, 처리는 스텝 S44로 진행한다.

스텝 S44에 있어서, 버퍼(206)는, 버퍼링된 화상을 자동 운전 제어부(112)에 출력한다.

스텝 S45에 있어서, 인식부(205)는, 도 8을 참조하여 설명한 바와 같이, 중요도가 높은 물체에 속도와 거리의 정보를 포함하는 메타데이터가 부여된 인식 결과를 차내의 네트워크를 통해 자동 운전 제어부(112) 및 판정부(207)에 출력한다.

스텝 S46에 있어서, 판정부(207)는, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간과, 신호 처리부(204)에 의한 신호 처리 시간을 비교하여, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간이, 신호 처리부(204)에 의한 신호 처리 시간보다 지연되는지 여부를 판정한다.

스텝 S46에 있어서, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간이, 신호 처리부(204)에 의한 신호 처리 시간보다 지연되는 경우, 처리는 스텝 S47로 진행한다.

스텝 S47에 있어서, 판정부(207)는, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간이, 신호 처리부(204)에 의한 신호 처리 시간보다 지연되는 것을 제어부(201)에 통지한다. 이 통지에 따라서, 제어부(201)는, 신호 처리부(204)를 제어하여, 신호 처리부(204)로부터 출력되는 신호 처리 결과인 화상을, 신호 처리부(204)에 의한 신호 처리 시간과, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간의 시간 차에 따라서 씨닝하여 출력하도록 제어한다.

스텝 S48에 있어서, 처리의 종료가 지시되었는지 여부가 판정되어, 종료가 지시되어 있지 않은 경우, 처리는 스텝 S31로 되돌아간다. 또한, 스텝 S48에 있어서, 종료가 지시되어 있는 경우, 처리는 종료된다.

또한, 스텝 S46에 있어서, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간이, 신호 처리부(204)에 의한 신호 처리 시간보다 지연되지 않는 경우, 처리는 스텝 S49로 진행한다.

스텝 S49에 있어서, 판정부(207)는, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간과, 신호 처리부(204)에 의한 신호 처리 시간을 비교하여, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간이, 신호 처리부(204)에 의한 신호 처리 시간보다 빠른지 여부를 판정한다.

스텝 S49에 있어서, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간이, 신호 처리부(204)에 의한 신호 처리 시간보다 빠른 경우, 처리는 스텝 S50으로 진행한다.

스텝 S50에 있어서, 판정부(207)는, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간이, 신호 처리부(204)에 의한 신호 처리 시간보다 빠른 것을 제어부(201)에 통지한다. 이 통지에 따라서, 제어부(201)는, 인식부(205)를 제어하여, 신호 처리부(204)로부터 출력되는 신호 처리 결과인 화상이 출력되지 않는 타이밍에 있어서, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 결과를 빈 패킷으로서 출력하도록 제어한다.

그리고 스텝 S49에 있어서, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간이, 신호 처리부(204)에 의한 신호 처리 시간보다 빠르지 않은 경우, 즉 어느 처리 시간이든 거의 동일한 경우, 처리는 스텝 S48로 진행하여, 신호 처리부(204)에 있어서의 씨닝 처리나, 인식부(205)에 있어서의 빈 패킷으로서 출력하는 제어가 이루어지지 않는다.

이상의 처리에 의해, 물체 인식 결과 중, 소정의 정밀도로 센싱 가능한 이동하는 물체인, 요 메타데이터 부여 물체에 대해서는, 속도 정보와 거리 정보가 메타데이터로서 부여되어, 물체 인식 결과와 대응지어 등록(갱신)된다. 이에 의해, 자동 운전 제어부(112)는, 소정의 정밀도로 센싱 가능한 이동하는 요 메타데이터 부여 물체에 대해서는, 화상 내의 좌표 정보에 부가하여, 이동 속도 및 거리 정보를 고려하여, 자동 운전 제어를 실현하는 것이 가능해진다.

이와 같이 함으로써, 차내의 네트워크에 있어서 유통하는 데이터양을 억제하면서, 자동 운전 제어에 필요한 화상과 물체 인식 결과를 자동 운전 제어부(112)에 유통시키는 것이 가능해진다.

또한, 물체 인식 결과와 대응지어 속도 정보 및 거리 정보가 등록된 후에는 화상으로부터 물체 인식 결과가 얻어지지 않는 상태가 되어도, 직전까지 대응지어 등록된 속도 정보 및 거리 정보와, 현재의 속도 정보 및 거리 정보에 기초하여 위치가 추정되어, 추정된 위치의 물체 인식 결과와 대응지어 속도 정보 및 거리 정보가 등록된다.

결과적으로, 이미지 센서(203)에 의해 촬상된 화상이 흐트러지는, 충분한 밝기가 없는, 와이퍼 블레이드 등에 의해 화상에 블라인드가 발생하는 것과 같은 화상 상의 문제에 의해, 물체 인식 결과가 얻어지지 않는 상태가 되어도, 밀리미터파 레이더(221)에 의해 얻어지는 속도 정보와 LiDAR(222)에 의해 얻어지는 거리 정보에 기초하여 물체 인식 결과를 계속 취득하는 것이 가능해진다.

또한, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간이, 신호 처리부(204)에 의한 신호 처리 시간보다 지연되는 경우에는, 신호 처리부(204)가 제어되어, 신호 처리 결과인 화상이 처리 시간의 시간 차에 따라서 씨닝하여 출력된다.

또한, 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 시간이, 신호 처리부(204)에 의한 신호 처리 시간보다 빠른 경우에는, 인식부(205)가 제어되어, 신호 처리 결과인 화상이 공급되지 않는 타이밍에 있어서의 밀리미터파 레이더(221) 및 LiDAR(222)의 처리 결과는, 빈 패킷으로서 출력된다.

이에 의해, 밀리미터파 레이더(221)에 의해 얻어지는 속도 정보와, LiDAR(222)에 의해 얻어지는 거리 정보가, 신호 처리부(204)와 밀리미터파 레이더(221) 및 LiDAR(222)의 각각의 처리 속도에 따른 타이밍으로 조정되어 출력된다.

<<5. 제3 실시 형태>>

이상에 있어서는, 물체 인식 결과 중, 소정의 정밀도로 센싱 가능한 이동하는 물체인, 요 메타데이터 부여 물체에 대해서는, 속도 정보와 거리 정보의 메타데이터가 부여되어 출력되는 예에 대해 설명하였지만, 차량(91)에 복수의 센서부(200)를 마련하도록 하여, 차량(91)의 전체 주위의 정보를 검출하도록 해도 된다.

보다 상세하게는, 예를 들어 도 11에 도시하는 바와 같이, 차량(91)의 전방 정면이 되는 범위 Z1, 전방 우측이 되는 범위 Z2, 후방 우측이 되는 범위 Z3, 후방 정면이 되는 범위 Z4, 후방 좌측이 되는 범위 Z5, 및 전방 좌측이 되는 Z6을 포함하는 전체 주위를 센싱할 수 있도록, 센서부(200-1 내지 200-6)가 마련되도록 해도 된다.

그리고 센서부(200-1 내지 200-6)의 각각의 센싱 결과가 통합되고, 그 통합 결과가 자동 운전 제어부(112)에 출력된다.

즉, 센서부(200-1 내지 200-6)의 각각의 물체 인식 결과에 대해서는, 센싱하는 차량(91)으로부터 본 범위 Z1 내지 Z6의 정보와 대응지어 출력되도록 해도 된다.

또한, 차량(91) 주변을 2차원 평면으로 하였을 때의 좌표를 설정하여, 센서부(200-1 내지 200-6)의 각각의 물체 인식 결과가, 차량(91) 주변의 2차원 평면 상의 좌표에 대응지어 하나의 맵 정보로서 출력되도록 해도 된다.

또한, 차내의 네트워크에 있어서 유통하는 데이터양을 저감시키기 위해, 운전 상태나 밀리미터파 레이더(221) 및 LiDAR(222)의 동작 상태에 따라서, 자동 운전 제어부(112)에 출력하는 데이터가 변화되도록 해도 된다.

예를 들어, 주행 속도가 일정한 상태가 되고, 또한 주위의 차량과의 위치 관계에 변화가 없는 상태가 소정 시간 계속되고 있는 경우, 모든 방향의 센싱 결과는 필요없고, 진행 방향인 범위 Z1을 센싱하는 센서부(200-1)로부터의 센싱 결과만을 출력시키도록 해도 된다. 이후에 있어서는, 이와 같이 일부의 방향의 센싱 결과만이 출력되는 모드를 저부하 모드라고도 칭한다.

또한, 센서부(200-1 내지 200-6)의 각각의 밀리미터파 레이더(221) 및 LiDAR(222)의 동작 상태에 문제가 있는 경우, 운전 상태에 관계없이, 모든 방향의 센싱 결과가 출력되도록 해도 된다. 이후에 있어서는, 이와 같이 모든 방향의 센싱 결과만이 출력되는 모드를 고부하 모드라고도 칭한다.

<차량의 전체 주위의 정보가 검출되도록 한 데이터 취득부의 구성예>

다음으로, 도 12의 블록도를 참조하여, 차량의 전체 주위의 정보가 검출되도록 한 데이터 취득부(102)의 제3 실시 형태의 구성예에 대해 설명한다.

또한, 도 12의 데이터 취득부(102)의 구성예에 있어서, 도 9의 데이터 취득부(102)에 있어서의 구성과 동일한 기능을 구비한 구성에 대해서는, 동일한 부호를 붙이고 있으며, 그 설명은 적절하게 생략한다.

즉, 도 12의 데이터 취득부(102)에 있어서 도 9와 다른 점은, 센서부(200)와 동일한 구성인 센서부(200-1 내지 200-6)가 도 11에 도시되는 바와 같이, 차량(91)의 전체 주위가 되는 범위 Z1 내지 Z6을 센싱할 수 있도록 마련되고, 인식 결과 통합부(231) 및 화상 통합부(232)가 마련되어 있는 점이 다르다.

인식 결과 통합부(231)는, 센서부(200-1 내지 200-6)의 각각으로부터 공급되는 물체 인식 결과를 취득하고, 범위 Z1 내지 Z6의 정보와 대응지어 자동 운전 제어부(112)에 출력한다.

화상 통합부(232)는, 센서부(200-1 내지 200-6)의 각각으로부터 공급되는 화상을, 범위 Z1 내지 Z6의 정보와 대응지어 자동 운전 제어부(112)에 출력한다.

또는, 인식 결과 통합부(231)는, 센서부(200-1 내지 200-6)의 각각으로부터 공급되는 물체 인식 결과를 취득하고, 차량(91) 주변의 2차원 평면 상의 좌표에 대응지어 하나의 맵 정보로서 출력하도록 해도 된다.

또한, 주행 속도가 일정한 상태가 되고, 또한 주위의 차량과의 위치 관계에 변화가 없는 상태가 소정 시간 계속되고 있는 경우, 모든 방향의 센싱 결과는 필요없으므로, 인식 결과 통합부(231)는 진행 방향인 범위 Z1을 센싱하는 센서부(200-1)로부터의 물체 인식 결과만을 출력시킨다.

이때, 화상 통합부(232)도, 진행 방향인 범위 Z1을 촬상하는 센서부(200-1)로부터의 화상만을 출력시킨다.

또한, 센서부(200-1 내지 200-6)의 각각의 밀리미터파 레이더(221) 및 LiDAR(222)의 동작 상태에 문제가 있는 경우, 인식 결과 통합부(231)는, 운전 상태에 관계없이, 모든 방향의 물체 인식 결과를 출력시킨다.

이때, 화상 통합부(232)도, 모든 방향을 촬상하는 센서부(200-1 내지 200-6)로부터의 모든 화상을 출력시킨다.

<통합 처리>

다음으로, 도 13의 흐름도를 참조하여, 도 12의 데이터 취득부(102)에 의해 통합 처리에 대해 설명한다. 또한, 이 처리에 있어서는, 센서부(200-1 내지 200-6) 각각에 있어서, 도 10의 흐름도를 참조하여 설명한 센싱 처리가 이루어져 있는 것이 전제가 된다.

스텝 S61에 있어서, 인식 결과 통합부(231)는, 센서부(200-1 내지 200-6)로부터의 각각으로부터 공급되는 물체 인식 결과를 취득한다. 마찬가지로, 화상 통합부(232)는, 센서부(200-1 내지 200-6)로부터의 각각으로부터 공급되는 화상을 취득한다.

스텝 S62에 있어서, 인식 결과 통합부(231)는, 속도 정보 및 거리 정보를 포함하는 메타데이터가 부여된 물체 인식 결과에 기초하여, 차량(91)이 일정한 속도로 주행 중이며, 또한 주위의 차량과의 거리가 일정한 상태가 소정 시간 계속되었는지 여부를 판정한다.

스텝 S62에 있어서, 차량(91)이 일정한 속도로 주행 중이며, 또한 주위의 차량과의 거리가 일정한 상태가 소정 시간 계속되고 있다고 간주된 경우, 처리는 스텝 S63으로 진행한다.

스텝 S63에 있어서, 인식 결과 통합부(231)는, 밀리미터파 레이더(221)로부터 공급되는 속도 정보, 및 LiDAR(222)로부터 공급되는 거리 정보의 유무에 기초하여, 밀리미터파 레이더(221) 및 LiDAR(222)의 동작 상태에 이상이 없는지 여부를 판정한다.

스텝 S63에 있어서, 밀리미터파 레이더(221) 및 LiDAR(222)의 동작 상태에 이상이 없다고 판정된 경우, 처리는 스텝 S64로 진행한다.

스텝 S64에 있어서, 인식 결과 통합부(231)는, 진행 방향인 범위 Z1을 센싱하는 센서부(200-1)로부터의 물체 인식 결과만을 자동 운전 제어부(112)에 출력시킨다(저부하 모드). 또한, 화상 통합부(232)는, 진행 방향인 범위 Z1을 센싱하는 센서부(200-1)로부터의 화상만을 자동 운전 제어부(112)에 출력시킨다.

또한, 스텝 S62에 있어서, 차량(91)이 일정한 속도로 주행 중이 아니거나, 혹은 주위의 차량과의 거리가 일정한 상태가 소정 시간 계속되고 있지 않다고 간주된 경우, 또는 스텝 S63에 있어서, 밀리미터파 레이더(221) 및 LiDAR(222) 중 적어도 어느 것의 동작 상태에 이상이 있다고 판정된 경우, 처리는 스텝 S65로 진행한다.

스텝 S65에 있어서, 인식 결과 통합부(231)는, 센서부(200-1 내지 200-6)로부터의 모든 방향의 물체 인식 결과를 출력시킨다. 또한, 화상 통합부(232)는, 센서부(200-1 내지 200-6)로부터의 모든 화상을 자동 운전 제어부(112)에 출력시킨다(고부하 모드).

이상의 일련의 처리에 의해, 차량(91)의 전체 주위를 커버하는 범위가 센싱되어, 물체 인식 결과와 화상이 자동 운전 제어부(112)에 출력되므로, 보다 고정밀도의 자동 운전 제어를 실현하는 것이 가능해진다.

또한, 차량(91)의 주행 상태나 밀리미터파 레이더(221)나 LiDAR(222)의 동작 상태의 이상의 유무에 따라서, 자동 운전 제어부(112)에 공급되는 물체 인식 결과와 화상의 센싱 범위가 변화된다.

보다 구체적으로는, 비교적 위험성이 낮은 상태에 있어서는, 진행 방향 전방의 물체 인식 결과와 화상만이 자동 운전 제어부(112)에 공급되게 되므로, 차내 네트워크에 있어서의 통신 부하를 저감시키는 것이 가능해진다.

여기서, 비교적 위험성이 낮은 상태란, 예를 들어 차량(91)이 일정한 속도로 주행 중이며, 또한 주위의 차량과의 거리가 일정한 상태가 소정 시간 계속되고 있는 상태나, 밀리미터파 레이더(221)나 LiDAR(222)의 동작 상태의 이상이 없는 상태이다.

또한, 이상에 있어서는, 비교적 위험성이 낮은 경우에는, 진행 방향 전방의 물체 인식 결과와 화상이 자동 운전 제어부(112)에 출력되는 예에 대해 설명하였지만, 위험성이 낮을수록 자동 운전 제어는 불필요한 상태가 된다. 따라서, 예를 들어 일반적인 보행 속도보다 저속이고, 브레이크에 의해 언제든지 정지할 수 있는 속도이며, 나아가 위험성이 낮은 경우에는, 물체 인식 결과 및 화상 모두 자동 운전 제어부(112)에 출력하지 않도록 해도 된다.

<<6. 제4 실시 형태>>

이상에 있어서는, 차량(91)의 모든 방향에 대해 복수의 센서(200)를 마련하여, 복수의 센싱 결과를 통합하여 출력하는 예에 대해 설명하고, 이미지 센서(203)가 단일 노광을 행하는 것으로서 설명하였지만, 물론 복수 동시 노광(즉, 1 프레임 기간 내에 복수의 노광 타이밍을 갖고, 1 프레임 기간 내에 복수의 화상을 촬상함)을 실시 가능한 구성이어도 된다. 각각의 감도로의 촬상 결과, 그리고 밀리미터파 레이더(221) 및 LiDAR(222)의 센싱 결과를, 차 외부의 상황에 따라서 선택적으로 사용함으로써 인식 정밀도를 향상시키도록 해도 된다.

즉, 도 14의 좌측부의 이미지 센서(203)는, 1 프레임 기간 내에 3매의 화상을 촬상하고, 각각 고감도부(203H), 중감도부(203M), 및 저감도부(203L)의 셔터 개폐 타이밍(즉, 노광 시간)이나, 센서 게인 조정과 같은 이미지 센서 제어를 실시함으로써 설정된다. 이 때문에, 도 14의 이미지 센서(203)에 있어서는, 3종류의 감도의 화상 PH, PM, PL을 동시에 촬상할 수 있다.

고감도 화상 PH는, 노광 시간이 소정 시간보다 긴 화상이며, 어두운 피사체용의 화상이다. 중감도 화상 PM은, 노광 시간이 고감도 화상 PH보다 짧고, 저감도 화상 PL보다 긴 화상이며, 중간 휘도의 피사체용의 화상이다. 저감도 화상 PL은, 노광 시간이 소정 시간보다 짧은 화상이며, 밝은 피사체용의 화상이다.

그리고 고감도 화상 PH가 신호 처리되어, 물체 인식 처리가 이루어짐으로써, 고감도 물체 인식 결과가 구해진다.

마찬가지로, 중감도 화상 PM이 신호 처리되어, 물체 인식 처리가 이루어짐으로써, 중감도 물체 인식 결과가 구해진다.

또한, 저감도 화상 PL이 신호 처리되어, 물체 인식 처리가 이루어짐으로써, 저감도 물체 인식 결과가 구해진다.

그리고 외계의 조건에 따라서, 고감도 물체 인식 결과, 중감도 물체 인식 결과, 저감도 물체 인식 결과, 밀리미터파 레이더(221)의 검출 결과, 및 LiDAR(222)의 검출 결과가 선택적으로 사용되어 물체 인식 정밀도가 향상된다.

즉, 예를 들어 외계의 조건에 있어서, 예를 들어 충분한 밝기가 있어, 모든 인식 결과를 사용할 수 있는 경우에 대해서는, 도 15의 Pat1에 나타낸 바와 같이, 고감도 물체 인식 결과, 중감도 물체 인식 결과, 저감도 물체 인식 결과, 밀리미터파 레이더(221)의 검출 결과, 및 LiDAR(222)의 검출 결과가 통합되어 사용된다.

또한, 예를 들어 외계의 조건이 소정의 조도보다 낮아 어두운 경우에 대해서는, 도 15의 Pat2에 나타낸 바와 같이, 고감도 물체 인식 결과, 밀리미터파 레이더(221)의 검출 결과, 및 LiDAR(222)의 검출 결과가 통합되어 사용된다.

또한, 예를 들어 외계의 조건이 역광인 경우에 대해서는, 도 15의 Pat3에 나타낸 바와 같이, 중감도 물체 인식 결과, 밀리미터파 레이더(221)의 검출 결과, 및 LiDAR(222)의 검출 결과가 통합되어 사용된다.

또한, 예를 들어 외계의 조건이 소정의 조도보다 높아 지나치게 밝은 경우에 대해서는, 도 15의 Pat4에 나타낸 바와 같이, 저감도 물체 인식 결과, 밀리미터파 레이더(221)의 검출 결과, 및 LiDAR(222)의 검출 결과가 통합되어 사용된다.

또한, 예를 들어 짙은 안개인 경우에 대해서는, 도 15의 Pat5에 나타낸 바와 같이, 밀리미터파 레이더(221)의 검출 결과, 및 LiDAR(222)의 검출 결과가 통합되어 사용된다. 단, 이 경우, 물체 인식 처리를 할 수 없지만, 물체의 위치, 속도, 및 거리에 대해서는 구할 수 있으므로, 물체 인식 결과로서는 불분명하지만, 물체가 존재하고, 물체의 화상 내에 있어서의 위치, 속도, 및 거리가 확인된다.

또한, 도 15에 있어서, 사용되는 센싱 결과의 종별이 기재되어 있으며, 상단으로부터 고감도 물체 인식 결과(고감도), 중감도 물체 인식 결과(중감도), 저감도 물체 인식 결과(저감도), 밀리미터파 레이더(221) 및 LiDAR(222)의 인식 결과(밀리미터파, LiDAR)인 것이 나타나 있다. 또한, 최하단에 있어서는, 물체 인식 결과가 얻어지는지 여부의 항목이 마련되어 있다. 또한, 좌측으로부터 차례로, 패턴 Pat1 내지 Pat5의 종별에 따른 선택되는 센싱 결과의 종별이 ○표로 나타나 있고, ×표는, 선택되지 않는 것이 나타나 있다.

<복수의 다른 감도로 촬상한 화상, 그리고 밀리미터파 레이더, 및 LiDAR의 센싱 결과를, 차 외부의 상황에 따라서 선택하도록 한 데이터 취득부의 구성예>

다음으로, 도 16을 참조하여, 복수의 다른 감도로 촬상한 화상, 그리고 밀리미터파 레이더(221), 및 LiDAR(222)의 센싱 결과를, 차 외부의 상황에 따라서 선택하도록 한 데이터 취득부(102)의 제4 실시 형태의 구성예에 대해 설명한다.

도 16의 데이터 취득부(102)에 있어서, 도 9의 데이터 취득부(102)와 다른 점은, 이미지 센서(203), 신호 처리부(204), 및 인식부(205)의 각각에 고감도 화상 PH, 중감도 화상 PM, 및 저감도 화상 PL을 처리하는 구성이 마련되고, 조도를 검출하는 조도 센서(241) 및 안개를 검출하는 안개 센서(242)가 더 마련되어 있는 점이다.

이미지 센서(203)는, 도 14를 참조한 바와 같이, 고감도부(203H), 중감도부(203M), 및 저감도부(203L)가 마련되어 있고, 다른 노광 시간에 의해 동시에 감도가 다른 화상을 촬상할 수 있고, 각각 신호 처리부(204)에 출력한다.

또한, 도 14에 있어서는, 감도를 3단계로 하는 예에 대해 설명하고 있지만, 2단계나 4단계 이상으로 분할되도록 해도 된다.

신호 처리부(204)는, 이미지 센서(203)의 분할수에 대응하여, 고감도 신호 처리부(204H), 중감도 신호 처리부(204M), 및 저감도 신호 처리부(204L)를 구비하고 있다. 고감도 신호 처리부(204H), 중감도 신호 처리부(204M), 및 저감도 신호 처리부(204L)는, 각각 고감도부(203H), 중감도부(203M), 및 저감도부(203L)로부터 공급되는 고감도 화상 PH, 중감도 화상 PM, 및 저감도 화상 PL을 신호 처리하고, 인식부(205)에 출력한다.

인식부(205)는, 이미지 센서(203)의 분할수에 대응하여, 고감도 인식부(205H), 중감도 인식부(205M), 및 저감도 인식부(205L), 그리고 인식 결과 통합부(205R)를 구비하고 있다. 고감도 인식부(205H), 중감도 인식부(205M), 및 저감도 인식부(205L)는, 각각 고감도 신호 처리부(204H), 중감도 신호 처리부(204M), 및 저감도 신호 처리부(204L)로부터 공급되는 신호 처리 결과인 고감도 화상 PH, 중감도 화상 PM, 및 저감도 화상 PL에 기초하여 물체 인식 처리를 행하고, 결과인 물체 인식 결과를 인식 결과 통합부(205R)에 출력한다.

인식 결과 통합부(205R)는, 조도 센서(241)로부터 공급되는 조도의 정보, 및 안개 센서(242)에 의해 공급되는 안개의 유무의 정보에 기초하여 도 15를 참조하여 설명한 바와 같이, 고감도 신호 처리부(204H), 중감도 신호 처리부(204M), 및 저감도 신호 처리부(204L)의 물체 인식 결과, 그리고 밀리미터파 레이더(221), 및 LiDAR(222)의 센싱 결과를 선택적으로 사용함으로써 물체 인식 결과를 통합하여, 자동 운전 제어부(112)에 출력한다.

이러한 구성에 의해, 외계의 조건에 따른 물체 인식 결과가 선택적으로 사용됨으로써, 물체 인식 정밀도를 향상시키는 것이 가능해진다.

<도 16의 데이터 취득부에 의한 센싱 처리>

다음으로, 도 17의 흐름도를 참조하여, 도 16의 데이터 취득부(102)에 의한 센싱 처리에 대해 설명한다.

또한, 도 17의 흐름도에 있어서, 스텝 S79 내지 S85의 처리는, 도 10의 흐름도를 참조하여 설명한 스텝 S44 내지 S50의 처리와 마찬가지이므로, 그 설명은 생략한다.

즉, 스텝 S71에 있어서, 이미지 센서(203)는, 제어부(201)에 의해 제어되어, 고감도부(203H), 중감도부(203M), 및 저감도부(203L)의 각각의 감도로, 렌즈(202)를 통해 입사하는 차량(91)의 주위의 감도가 다른 3매의 화상 PH, PM, PL을 촬상하고, 촬상한 화상 신호를 신호 처리부(204)에 출력한다.

스텝 S72에 있어서, 신호 처리부(204)는, 제어부(201)에 의해 제어되어, 고감도 신호 처리부(204H), 중감도 신호 처리부(204M), 및 저감도 신호 처리부(204L) 각각에 있어서, 고감도 화상 PH, 중감도 화상 PM, 및 저감도 화상 PL에 대해 신호 처리를 실시하고, 인식부(205), 버퍼(206), 및 판정부(207)에 출력한다.

스텝 S73에 있어서, 제어부(201)는, 신호 처리부(204)로부터 출력된 3종류의 감도의 화상 신호 중, 조도 센서(241)의 조도에 따른 감도의 화상을 버퍼(206)에 버퍼링시킨다. 또한, 조도 센서(241)를 사용하지 않고, 신호 처리부(204)에 이미지 센서(203)로 촬상한 화면 전체의 휘도 검파 처리부를 마련하여, 화면의 밝기를 검출하는 구성으로 해도 된다.

즉, 조도가 소정값보다 낮아 어두운 경우는, 고감도 신호 처리부(204H)에 의해 처리된 화상이 버퍼링되고, 조도가 소정값보다 높아 밝은 경우는, 저감도 신호 처리부(204L)에 의해 처리된 화상이 버퍼링되며, 그 이외의 경우, 중감도 신호 처리부(204M)에 의해 처리된 화상이 버퍼링된다.

스텝 S74에 있어서, 밀리미터파 레이더(221)는, 차량(91)의 주위에 대해 밀리미터파대의 전파를 조사하여, 피크 강도의 반사파에 기초하여, 물체의 속도 정보를 검출하여 인식부(205)에 출력한다.

스텝 S75에 있어서, LiDAR(222)는, 적외광을 포함하는 레이저광을 투광하고, 물체로부터의 반사광을 수광함으로써 레이저광의 왕복 시간에 기초하여, 물체까지의 거리 정보를 3차원 점군 정보로서 검출하고, 인식부(205)에 출력한다.

스텝 S76에 있어서, 인식부(205)의 고감도 인식부(205H), 중감도 인식부(205M), 및 저감도 인식부(205L)는, 각각의 감도의 화상 PH, PM, PL에 기초하여 물체 인식 처리를 행하고, 결과인 물체 인식 결과를 인식 결과 통합부(205R)에 출력한다.

스텝 S77에 있어서, 인식 결과 통합부(205R)는, 인식 결과 통합 처리를 실행하여, 각각의 감도에 인식 결과, 그리고 밀리미터파 레이더(221)의 속도 정보, 및 LiDAR(222)의 거리 정보에 기초하여, 인식 결과를 통합한다.

스텝 S78에 있어서, 인식 결과 통합부(205R)는, 인식 결과 통합 처리 결과에 기초하여, 물체 인식 결과에 대해, 밀리미터파 레이더(221)의 속도 정보 및 LiDAR(222)의 거리 정보를 메타데이터로서 부여하고, 물체 인식 결과를 생성한다.

그리고 스텝 S79에 있어서, 버퍼링되어 있던 화상이 자동 운전 제어부(112)에 출력되고, 스텝 S80에 있어서, 물체 인식 결과가 자동 운전 제어부(112)에 출력된다.

이후의 처리에 의해, 자동 운전 제어부(112)에 있어서는, 보다 고정밀도인 물체 인식 결과에 기초한 자동 운전 제어를 실현시키는 것이 가능해진다.

<인식 결과 통합 처리>

여기서, 도 18의 흐름도를 참조하여, 인식 결과 통합 처리에 대해 설명한다.

스텝 S101에 있어서, 인식 결과 통합부(205R)는, 조도 센서(241)에 의해 검출되는 차량(91)의 주위의 조도에 기초하여, 주위의 조도는 소정의 조도 이하이며, 어두운 상태인지 여부를 판정한다.

스텝 S101에 있어서, 주위의 조도는 소정의 조도 이하이며, 어두운 상태라고 판정된 경우, 처리는 스텝 S102로 진행한다.

스텝 S102에 있어서, 인식 결과 통합부(205R)는, 도 15의 Pat2에 나타낸 바와 같이, 고감도 물체 인식 결과, 밀리미터파 레이더(221)의 검출 결과, 및 LiDAR(222)의 검출 결과를 선택한다.

또한, 스텝 S101에 있어서, 주위의 조도는 소정의 조도 이하가 아니며, 어두운 상태가 아니라고 판정된 경우, 처리는 스텝 S103으로 진행한다.

스텝 S103에 있어서, 인식 결과 통합부(205R)는, 중감도 신호 처리 결과인 화상 PM에 있어서의, 화상 내의 명암 차에 기초하여 역광인지 여부를 판정한다.

스텝 S103에 있어서, 역광이라고 간주된 경우, 처리는 스텝 S104로 진행한다.

스텝 S104에 있어서, 인식 결과 통합부(205R)는, 도 15의 Pat3에 나타낸 바와 같이, 중감도 물체 인식 결과, 밀리미터파 레이더(221)의 검출 결과, 및 LiDAR(222)의 검출 결과를 선택한다.

또한, 스텝 S103에 있어서, 역광이 아니라고 판정된 경우, 처리는 스텝 S105로 진행한다.

스텝 S105에 있어서, 인식 결과 통합부(205R)는, 조도 센서(241)에 의해 검출되는 차량(91)의 주위의 조도에 기초하여, 소정의 조도 이상이며 과잉의 밝기인지 여부를 판정한다.

스텝 S105에 있어서, 소정의 조도 이상이며 과잉의 밝기라고 간주된 경우, 처리는 스텝 S106으로 진행한다.

스텝 S106에 있어서, 인식 결과 통합부(205R)는, 도 15의 Pat4에 나타낸 바와 같이, 저감도 물체 인식 결과, 밀리미터파 레이더(221)의 검출 결과, 및 LiDAR(222)의 검출 결과를 선택한다.

또한 스텝 S105에 있어서, 과잉의 밝기가 아니라고 간주된 경우, 처리는 스텝 S107로 진행한다.

스텝 S107에 있어서, 인식 결과 통합부(205R)는, 안개 센서(242)에 의해 검출되는 차량(91)의 주위가 안개인지 여부의 정보에 기초하여 안개의 유무를 판정한다.

스텝 S107에 있어서, 안개 상태라고 간주된 경우, 처리는 스텝 S108로 진행한다.

스텝 S108에 있어서, 인식 결과 통합부(205R)는, 도 15의 Pat5에 나타낸 바와 같이, 밀리미터파 레이더(221)의 검출 결과, 및 LiDAR(222)의 검출 결과를 선택한다. 단, 이 경우, 물체 인식 결과는 불분명해진다. 즉, 이 경우, 물체 인식 결과는 불분명하지만, 속도 정보와 거리 정보가 인식 물체가 불분명한 물체 인식 결과에 메타데이터로서 부여된다.

스텝 S107에 있어서, 안개 상태가 아니라고 간주된 경우, 즉, 지나치게 어둡지 않고, 지나치게 밝지 않으며, 역광도, 안개도 아닌 경우, 처리는 스텝 S109로 진행한다.

스텝 S109에 있어서, 인식 결과 통합부(205R)는, 모든 인식 결과를 사용할 수 있으므로, 도 15의 Pat1에 나타낸 바와 같이, 고감도 물체 인식 결과, 중감도 물체 인식 결과, 저감도 물체 인식 결과, 밀리미터파 레이더(221)의 검출 결과, 및 LiDAR(222)의 검출 결과가 선택된다.

이상의 처리에 의해, 복수의 감도의 화상에 기초한 물체 인식 결과, 및 밀리미터파 레이더(221)에 의해 구해지는 물체의 속도 정보, 및 LiDAR(222)에 의해 구해지는 물체의 거리 정보가 구해지고, 외계의 상황에 따라서 적절한 정보가 선택되어 물체 인식 결과가 생성되어, 자동 운전 제어부(112)에 출력된다.

결과적으로, 물체 인식 정밀도를 향상시키는 것이 가능해져, 고정밀도의 물체 인식 결과에 기초한 적절한 자동 운전 제어를 실현시키는 것이 가능해진다.

<<7. 제5 실시 형태>>

이상에 있어서는, 복수의 감도의 화상에 기초한 물체 인식 결과, 및 밀리미터파 레이더(221)에 의해 구해지는 물체의 속도 정보, 및 LiDAR(222)에 의해 구해지는 물체의 거리 정보가 구해지고, 외계의 상황에 따라서, 적절한 정보가 선택되어 물체 인식 결과가 생성되는 예에 대해 설명하였다.

그런데, 요즘에는 신호기에 사용되는 조명이나 차량의 윙커나 브레이크 램프 등에 LED(Light Emission Diode)가 사용되는 구성이 증가하고 있다.

예를 들어, LED를 사용한 신호기 등에 있어서는, 사람의 눈으로는 인식할 수 없는, 교류 전원의 주기에 따른 점멸이 이루어지고 있으므로, 셔터 스피드에 따라서 신호기가 모두 소등되어 버리는 것과 같은 화상이 촬상되는, 이른바 플리커 현상이 발생하는 경우가 있다.

즉, 도 19는 교류 전원의 전압의 변위를 나타낸 것인데, 이와 같이 전압이 변화되는 경우, LED는 위로 볼록, 또는 아래로 볼록한 타이밍에 있어서 밝게 점등되고, 파형의 정부가 반전되는 타이밍을 포함하는 타이밍에 있어서 소등되는 상태가 된다.

이 때문에, 이미지 센서(203)의 노광 시간이 화살표 SS1인 경우, 정부가 반전되는 근방의 타이밍에서는, LED가 소등되므로 촬상되지 않게 된다. 이에 비해, 이미지 센서(203)의 노광 시간이 화살표 SS1보다 긴 화살표 SS2인 경우, 파형의 정부가 반전되는 타이밍에 걸쳐 있는 기간을 포함하고 있어도, LED가 점등된 상태의 타이밍도 노광되어 있으므로, 어떠한 타이밍에 있어서도 LED가 소등된 상태의 화상이 촬상되는 일이 없다.

이 때문에, 일반적으로 신호기가 촬상되는 이미지 센서(203)에 있어서는, 도 20의 하단에 나타내는 바와 같이, 노광 시간을 11ms(＝1/90s)로 제한하여, 신호기의 LED가 소등된 화상이 촬상되지 않도록 설정되어 있다. 단, 도 20에 있어서는 F값이 1.8이고, ISO 100 상당인 것이 전제로 되어 있다.

또한, 도 20에 있어서, 노광 시간이 1/30s 내지 1/90s에 있어서는 노광 시간에 의한 감도 조정이 이루어지고, 노광 시간이 1/90s에 있어서는 게인(gain)에 의해 감도가 조정된다. 이에 의해, 플리커의 발생은 억제되게 된다.

그러나 주위의 상황이 지나치게 밝은 상태가 되면, 노광 시간에 제한이 있음으로써, 움직임이 있는 화상 등에서는 색 번짐이 발생하거나, 터널 출구의 화상 등에서 헐레이션 등이 발생할 우려가 있다.

그래서 본 개시에 있어서는, 물체 인식 결과에 의해 화상 내에 신호기가 존재하는 경우에 대해서는, 종래와 같이 노광 시간을 11ms(＝1/90s)로 제한하고, 그 이외의 경우에 대해서는, 도 20의 상단에 나타내는 바와 같이, 외계의 조도에 따라서, 노광 시간을 1/90s 내지 1/15000s 등의 범위에서 조정할 수 있도록 한다.

이러한 구성에 의해, LED를 사용한 신호기가 화상 내에 존재하는 경우에는, 소등되어 버린 화상이 촬상되는 것이 방지됨과 함께, 신호기가 화상 내에 존재하지 않을 때에는, 광량에 따른 노광 시간에 화상을 촬상하는 것이 가능해진다.

결과적으로, 움직임이 있는 화상에 있어서의 번짐이나 터널 출구의 화상 등에서의 헐레이션의 발생이 억제되면서, 신호기가 존재하는 경우에는 LED가 사용되어 있어도 신호기가 소등된 상태에서 촬상되는 일이 없어진다.

또한, 차량에 사용되는 조명 중, 테일 램프에 LED가 사용되는 경우에 있어서도 플리커가 발생하는 일이 있다. 이 경우에 대해서도 마찬가지의 처리가 필요하다. 또한, 차량에 사용되는 윙커에 LED가 사용되는 경우가 있는데 윙커에 대해서는 테일 램프만큼 점등 시간이 길지 않으므로, 플리커를 시인할 수 있는 상태로는 되지 않는다. 그래서 차량에 사용되는 램프 중 테일 램프가 화상 내에 존재할 때에는, 신호기에 대한 경우와 마찬가지의 처리를 행하고, 윙커의 경우에 대해서는, 밝기에 따른 노광 시간의 조정을 행하도록 한다.

<LED를 사용한 신호기나 차량의 조명이 화상 내에 존재하는지 여부에 따라서 노광 시간을 조정하는 데이터 취득부의 구성예>

다음으로, 도 21을 참조하여 LED를 사용한 신호기나 차량의 조명이 화상 내에 존재하는지 여부에 따라서 노광 시간을 조정하는 데이터 취득부(102)의 구성예에 대해 설명한다.

도 21의 데이터 취득부(102)에 있어서, 도 9의 데이터 취득부(102)의 구성과 다른 것은, 판정부(207)에, 신호기 판정부(207A) 및 차량 램프 판정부(207B)가 포함되어 있는 점이다.

신호기 판정부(207A)는, 인식부(205)의 물체 인식 결과에 기초하여 신호 처리부(204)로부터 출력되는 화상 내에 신호기가 포함되어 있는지 여부를 판정하고, 판정 결과를 제어부(201)에 출력한다.

차량 램프 판정부(207B)는, 인식부(205)의 물체 인식 결과에 기초하여 신호 처리부(204)로부터 출력되는 화상 내에 차량 램프가 있는지 여부를 판정한다. 또한, 차량 램프가 있는 경우, 차량 램프 판정부(207B)는, 차량 램프가, 점등 시간이 소정 시간보다 짧은 윙커인지 여부를 판정하고, 윙커가 아닐 때, 즉, 점등 시간이 소정 시간보다 긴 테일 램프인 경우, 판정 결과를 제어부(201)에 출력한다.

신호 처리부(204)는, 신호기나 테일 램프가 화상 내에 존재하는 것을 나타내는 판정 결과가 공급되는 경우, 이미지 센서(203)의 노광 시간을 플리커가 발생하지 않는 길이로 제한하고, 그 이외의 경우, 이미지 센서(203)의 노광 시간을 외계의 밝기에 따른 적절한 길이로 제어한다.

이러한 구성에 의해, 신호기나 테일 램프에 의한 플리커의 발생을 억제하면서, 움직임이 있는 화상에 있어서의 색 번짐이나 터널 출구의 화상 등에서의 헐레이션의 발생이 억제된다.

<플리커 억제 처리>

다음으로, 도 22의 흐름도를 참조하여, 도 22의 데이터 취득부(102)에 의한 플리커 억제 처리에 대해 설명한다. 또한, 여기서는 상술한 센싱 처리가 이루어지고, 인식부(205)로부터는 순차 물체 인식 결과가 공급된다.

스텝 S131에 있어서, 판정부(207)는 인식부(205)로부터 물체 인식 결과를 취득한다.

스텝 S132에 있어서, 신호기 판정부(207A)는, 물체 인식 결과에 신호기가 포함되어 있는지 여부를 판정한다.

스텝 S132에 있어서, 신호기가 포함되어 있다고 간주된 경우, 처리는 스텝 S103으로 진행한다.

스텝 S133에 있어서, 신호기 판정부(207A)는, 물체 인식 결과에 신호기가 포함되는 것을 제어부(201)에 통지한다. 제어부(201)는, 노광 시간을 조정하여 플리커 억제용의 상태가 되도록, 예를 들어 노광 시간을 11ms로 제한하도록 이미지 센서(203)를 제어한다.

스텝 S134에 있어서, 처리의 종료가 지시되었는지 여부가 판정되고, 종료가 지시되어 있지 않은 경우, 처리는 스텝 S131로 돌아가, 그 이후의 처리가 반복된다. 또한, 스텝 S134에 있어서, 처리의 종료가 지시되었다고 판정된 경우, 처리가 종료된다.

또한, 스텝 S132에 있어서, 신호기가 없다고 판정된 경우, 처리는 스텝 S135로 진행한다.

스텝 S135에 있어서, 차량 램프 판정부(207B)는, 물체 인식 결과에 차량 램프가 포함되어 있는지 여부를 판정하고, 차량 램프가 포함되어 있을 때, 처리는 스텝 S136으로 진행한다.

스텝 S136에 있어서, 차량 램프 판정부(207B)는, 차량 램프가, 점등 시간이 소정 시간보다 짧은 윙커인지 여부를 판정한다.

스텝 S136에 있어서, 윙커가 아니라고 판정된 경우, 처리는 스텝 S103으로 진행한다.

한편, 스텝 S136에 있어서, 윙커인 경우, 처리는 스텝 S137로 진행한다.

스텝 S137에 있어서, 차량 램프 판정부(207B)는, 물체 인식 결과에 신호기나 테일 램프가 포함되지 않음을 제어부(201)에 통지한다. 제어부(201)는, 외계의 조도에 맞춘, 통상 상태의 노광 시간이 되도록 이미지 센서(203)를 제어한다.

또한, 스텝 S135에 있어서, 차량 램프가 없다고 간주된 경우, 처리는 스텝 S137로 진행한다.

이상의 처리에 의해, LED가 사용된 신호기나 테일 램프에 대해서는, 플리커의 발생이 억제되고, 신호기나 테일 램프가 소등되어 있는 것과 같은 화상을 촬상하는 것이 억제되고, 신호기나 테일 램프가 없는 경우에 대해서는, 조도에 맞춘 통상 상태의 노광 시간으로 촬상하는 것이 가능해지므로, 움직임이 있는 화상에서의 색 번짐이나, 터널 출구의 화상 등에 있어서 헐레이션 등의 발생을 억제하는 것이 가능해진다.

<<8. 소프트웨어에 의해 실행시키는 예>>

그런데 상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 컴퓨터 등에, 기록 매체로부터 인스톨된다.

도 23은 범용의 컴퓨터의 구성예를 나타내고 있다. 이 컴퓨터는, CPU(Central Processing Unit)(1001)를 내장하고 있다. CPU(1001)에는 버스(1004)를 통해, 입출력 인터페이스(1005)가 접속되어 있다. 버스(1004)에는, ROM(Read Only Memory)(1002) 및 RAM(Random Access Memory)(1003)이 접속되어 있다.

입출력 인터페이스(1005)에는, 유저가 조작 커맨드를 입력하는 키보드, 마우스 등의 입력 디바이스를 포함하는 입력부(1006), 처리 조작 화면이나 처리 결과의 화상을 표시 디바이스에 출력하는 출력부(1007), 프로그램이나 각종 데이터를 저장하는 하드디스크 드라이브 등을 포함하는 기억부(1008), LAN(Local Area Network) 어댑터 등을 포함하는, 인터넷으로 대표되는 네트워크를 통한 통신 처리를 실행하는 통신부(1009)가 접속되어 있다. 또한, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크(MD(Mini Disc)를 포함함), 혹은 반도체 메모리 등의 리무버블 기록 매체(1011)에 대해 데이터를 판독 기입하는 드라이브(1010)가 접속되어 있다.

CPU(1001)는, ROM(1002)에 기억되어 있는 프로그램, 또는 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 기록 매체(1011)로부터 판독되어 기억부(1008)에 인스톨되고, 기억부(1008)로부터 RAM(1003)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(1003)에는 또한, CPU(1001)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절하게 기억된다.

이상과 같이 구성되는 컴퓨터에서는, CPU(1001)가, 예를 들어 기억부(1008)에 기억되어 있는 프로그램을, 입출력 인터페이스(1005) 및 버스(1004)를 통해 RAM(1003)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.

컴퓨터(CPU(1001))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기록 매체(1011)에 기록하여 제공할 수 있다. 또한 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.

컴퓨터에서는, 프로그램은, 리무버블 기록 매체(1011)를 드라이브(1010)에 장착함으로써, 입출력 인터페이스(1005)를 통해 기억부(1008)에 인스톨할 수 있다. 또한 프로그램은, 유선 또는 무선의 전송 매체를 통해 통신부(1009)에서 수신하여, 기억부(1008)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(1002)이나 기억부(1008)에 미리 인스톨해 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.

또한, 도 23에 있어서의 CPU(1001)가, 도 3에 있어서의 자동 운전 제어부(112)의 기능을 실현시킨다. 또한, 도 23에 있어서의 기억부(1008)가 도 3에 있어서의 기억부(111)를 실현한다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통해 접속되어 있는 복수의 장치, 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.

또한, 본 개시의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 개시의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

예를 들어, 본 개시는, 하나의 기능을 네트워크를 통해 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 본 개시는 이하와 같은 구성도 취할 수 있다.

<1> 자차가 되는 차량의 주위의 화상을 촬상하는 촬상부와,

상기 촬상부에 의해 촬상된 상기 화상 내의 물체를 인식하는 물체 인식 처리를 행하고, 상기 물체 인식 처리에 의한 물체 인식 처리 결과를, 인식한 상기 물체를 단위로 하여, 상기 차량의 운전을 제어하는 운전 제어부에 출력하는 물체 인식 처리부를

구비하는, 정보 처리 장치.

<2> 상기 물체 인식 처리부는, 상기 화상으로부터, 지상면, 사람, 차량, 건조물, 고정 물체, 자연 환경, 및 하늘의 정보 중 적어도 어느 하나를 상기 물체로서 인식하고, 상기 물체 인식 처리 결과로서 출력하는,

<1>에 기재된 정보 처리 장치.

<3> 상기 지상면의 상기 물체 인식 처리 결과에는, 도로, 보도, 주차장, 및 궤도 중 적어도 어느 하나가 포함되는,

<2>에 기재된 정보 처리 장치.

<4> 상기 사람의 상기 물체 인식 처리 결과에는, 보행자 및 운전자 중 적어도 어느 하나가 포함되는,

<2>에 기재된 정보 처리 장치.

<5> 상기 차량의 상기 물체 인식 처리 결과에는, 차, 트럭, 버스, 레일 상을 주행하는 전차나 열차, 바이크, 자전거, 및 견인 차량 중 적어도 어느 하나가 포함되는,

<2>에 기재된 정보 처리 장치.

<6> 상기 건조물의 상기 물체 인식 처리 결과에는, 건물, 벽, 펜스, 가드레일, 교량, 및 터널 중 적어도 어느 하나가 포함되는,

<2>에 기재된 정보 처리 장치.

<7> 상기 자연 환경의 상기 물체 인식 처리 결과에는, 식생이나 지형의 정보 중 적어도 어느 하나가 포함되는,

<2>에 기재된 정보 처리 장치.

<8> 상기 자연 환경의 상기 물체 인식 처리 결과에는, 식생이나 지형의 정보가 포함되는,

<2>에 기재된 정보 처리 장치.

<9> 상기 화상을 신호 처리하는 신호 처리부를 더 포함하고,

상기 물체 인식 처리부는, 상기 신호 처리부에 의해 신호 처리된 화상에 기초한 물체 인식 처리에 의해 상기 화상 내의 물체를 인식하고,

상기 물체 인식 처리부에 의한 물체 인식 처리가, 상기 신호 처리부에 의한 신호 처리보다 지연되는 경우, 상기 신호 처리부는, 상기 물체 인식 처리의 처리 시간과, 상기 신호 처리의 처리 시간의 시간 차에 기초하여 상기 신호 처리된 화상을 씨닝하여 출력하는,

<1> 내지 <8> 중 어느 하나에 기재된 정보 처리 장치.

<10> 상기 신호 처리된 화상이 씨닝되어 출력되는 경우, 상기 물체 인식 처리 결과는, 씨닝되는 화상수만큼 이전의 타이밍의 화상과 함께 출력되는,

<9>에 기재된 정보 처리 장치.

<11> 상기 화상을 신호 처리하는 신호 처리부를 더 포함하고,

상기 물체 인식 처리부는, 상기 신호 처리부에 의해 신호 처리된 화상에 기초한 물체 인식 처리에 의해 상기 화상 내의 물체를 인식하고,

상기 물체 인식 처리부에 의한 물체 인식 처리가, 상기 신호 처리부에 의한 신호 처리보다 빠른 경우, 상기 물체 인식 처리부는, 상기 물체 인식 처리의 처리 시간과, 상기 신호 처리의 처리 시간의 시간 차에 기초하여 상기 물체 인식 처리 결과를 씨닝하여 출력하는,

<1> 내지 <8> 중 어느 하나에 기재된 정보 처리 장치.

<12> 상기 자차의 주위의 물체의 속도 정보를 검출하는 속도 정보 검출부와,

상기 자차의 주위의 물체의 거리 정보를 검출하는 거리 정보 검출부를 더 포함하고,

상기 물체 인식 처리부는, 상기 물체 인식 처리 결과의 각각에 대응되어, 상기 속도 정보 및 상기 거리 정보를 포함하는 메타데이터를 부여하여 출력하는,

<1> 내지 <11> 중 어느 하나에 기재된 정보 처리 장치.

<13> 상기 물체 인식 처리부는, 상기 물체 인식 처리 결과 중, 상기 속도 정보 검출부 및 상기 거리 정보 검출부에 의한 검출 정밀도가 소정값보다 높은 상기 물체 인식 처리 결과에 대해, 상기 속도 정보 및 상기 거리 정보를 포함하는 메타데이터를 부여하여 출력하는,

<12>에 기재된 정보 처리 장치.

<14> 상기 물체 인식 처리부는, 상기 주위의 상황에 따라서, 상기 물체 인식 처리 결과 중 일부를 출력하는 저부하 모드, 또는 상기 물체 인식 처리 결과의 전부를 출력하는 고부하 모드 중 어느 모드로 상기 물체 인식 처리 결과를 출력하는,

<1> 내지 <13> 중 어느 하나에 기재된 정보 처리 장치.

<15> 상기 물체 인식 처리부는, 상기 주위의 상황이, 상기 주위의 차량의 속도가 일정 속도로 주행하며, 또한 거리가 일정한 상태에서 소정 시간 계속되는 상황인 경우, 상기 저부하 모드에 의해, 상기 물체 인식 처리 결과 중 진행 방향의 상기 물체 인식 처리 결과를 출력하는,

<14>에 기재된 정보 처리 장치.

<16> 상기 촬상부는, 다른 감도로 복수의 화상을 촬상하고,

상기 물체 인식 처리부는, 상기 다른 감도의 복수의 화상의 각각에 대해 물체 인식 처리를 행하여 다른 감도의 복수의 물체 인식 처리 결과를 생성하고, 상기 주위의 상황에 따라서, 상기 다른 감도의 복수의 물체 인식 처리 결과를 선택하여 출력하는,

<1> 내지 <15> 중 어느 하나에 기재된 정보 처리 장치.

<17> 상기 물체 인식 처리 결과 중, 소정의 물체 인식 결과가 포함되는 경우, 상기 촬상부의 파라미터가 제어되는,

<1> 내지 <16> 중 어느 하나에 기재된 정보 처리 장치.

<18> 상기 물체 인식 처리 결과 중, 소정의 물체 인식 결과로서 신호기, 및 테일 램프가 포함되는 경우, 상기 촬상부의 상기 파라미터 중 노광 시간이, 소정 시간 이상의 길이로 제어되는,

<17>에 기재된 정보 처리 장치.

<19> 자차가 되는 차량의 주위의 화상을 촬상하는 촬상 처리와,

촬상된 상기 화상 내의 물체를 인식하는 물체 인식 처리를 행하고, 상기 물체 인식 처리에 의한 물체 인식 처리 결과를, 인식한 상기 물체를 단위로 하여, 상기 차량의 운전을 제어하는 운전 제어부에 출력하는 물체 인식 처리를

포함하는, 정보 처리 방법.

<20> 자차가 되는 차량의 주위의 화상을 촬상하는 촬상부와,

상기 촬상부에 의해 촬상된 상기 화상 내의 물체를 인식하는 물체 인식 처리를 행하고, 상기 물체 인식 처리에 의한 물체 인식 처리 결과를, 인식한 상기 물체를 단위로 하여, 상기 차량의 운전을 제어하는 운전 제어부에 출력하는 물체 인식 처리부

로서 컴퓨터를 기능시키는, 프로그램.

91: 차량
100: 차량 제어 시스템
102: 데이터 취득부
102: 자동 운전 제어부
200, 200-1 내지 200-6: 센서부
201, 201-1 내지 201-6: 제어부
202, 202-1 내지 202-6: 렌즈
203, 203-1 내지 203-6: 이미지 센서
203H: 고감도부
203M: 중감도부
203L: 저감도부
204, 204-1 내지 204-6: 신호 처리부
204H: 고감도 신호 처리부
204M: 중감도 신호 처리부
204L: 저감도 신호 처리부
205, 205-1 내지 205-6: 인식부
205H: 고감도 인식부
205M: 중감도 인식부
205L: 저감도 인식부
205R: 인식 결과 통합부
206, 206-1 내지 206-6: 버퍼
207: 판정부
207A: 신호기 판정부
207B: 차량 램프 판정부
221: 밀리미터파 레이더
222: LiDAR
223: 충돌 판정부
231: 인식 결과 통합부
232: 화상 통합부
241: 조도 센서
242: 안개 센서

Claims (20)

1. 이동체의 주위의 화상을 촬상하는 촬상부와,
   상기 촬상부에 의해 촬상된 상기 화상 내의 물체를 인식하는 물체 인식 처리를 행하고, 상기 물체 인식 처리에 의한 물체 인식 처리 결과를, 인식한 상기 물체를 단위로 하여, 상기 이동체 내의 네트워크를 통해 출력하는 물체 인식 처리부를
   구비하는, 정보 처리 장치.
2. 제1항에 있어서,
   상기 물체 인식 처리부는, 상기 화상으로부터, 지상면, 사람, 차량, 건조물, 고정 물체, 자연 환경, 및 하늘의 정보 중 적어도 어느 하나를 상기 물체로서 인식하고, 상기 물체 인식 처리 결과로서 출력하는,
   정보 처리 장치.
3. 제2항에 있어서,
   상기 지상면의 상기 물체 인식 처리 결과에는, 도로, 보도, 주차장, 및 궤도 중 적어도 어느 하나가 포함되는,
   정보 처리 장치.
4. 제2항에 있어서,
   상기 사람의 상기 물체 인식 처리 결과에는, 보행자 및 운전자 중 적어도 어느 하나가 포함되는,
   정보 처리 장치.
5. 제2항에 있어서,
   상기 차량의 상기 물체 인식 처리 결과에는, 차, 트럭, 버스, 레일 상을 주행하는 전차나 열차, 바이크, 자전거, 및 견인 차량 중 적어도 어느 하나가 포함되는,
   정보 처리 장치.
6. 제2항에 있어서,
   상기 건조물의 상기 물체 인식 처리 결과에는, 건물, 벽, 펜스, 가드레일, 교량, 및 터널 중 적어도 어느 하나가 포함되는,
   정보 처리 장치.
7. 제2항에 있어서,
   상기 고정 물체의 상기 물체 인식 처리 결과에는, 폴, 폴군, 교통 표지, 및 신호기 중 적어도 어느 하나가 포함되는,
   정보 처리 장치.
8. 제2항에 있어서,
   상기 자연 환경의 상기 물체 인식 처리 결과에는, 식생이나 지형의 정보 중 적어도 어느 하나가 포함되는,
   정보 처리 장치.
9. 제1항에 있어서,
   상기 화상을 신호 처리하는 신호 처리부를 더 포함하고,
   상기 물체 인식 처리부는, 상기 신호 처리부에 의해 신호 처리된 화상에 기초한 물체 인식 처리에 의해 상기 화상 내의 물체를 인식하고,
   상기 물체 인식 처리부에 의한 물체 인식 처리가, 상기 신호 처리부에 의한 신호 처리보다 지연되는 경우, 상기 신호 처리부는, 상기 물체 인식 처리의 처리 시간과, 상기 신호 처리의 처리 시간의 시간 차에 기초하여 상기 신호 처리된 화상을 씨닝하여 출력하는,
   정보 처리 장치.
10. 제9항에 있어서,
    상기 신호 처리된 화상이 씨닝되어 출력되는 경우, 상기 물체 인식 처리 결과는, 씨닝되는 화상수만큼 이전의 타이밍의 화상과 함께 출력되는,
    정보 처리 장치.
11. 제1항에 있어서,
    상기 화상을 신호 처리하는 신호 처리부를 더 포함하고,
    상기 물체 인식 처리부는, 상기 신호 처리부에 의해 신호 처리된 화상에 기초한 물체 인식 처리에 의해 상기 화상 내의 물체를 인식하고,
    상기 물체 인식 처리부에 의한 물체 인식 처리가, 상기 신호 처리부에 의한 신호 처리보다 빠른 경우, 상기 물체 인식 처리부는, 상기 물체 인식 처리의 처리 시간과, 상기 신호 처리의 처리 시간의 시간 차에 기초하여 상기 물체 인식 처리 결과를 씨닝하여 출력하는,
    정보 처리 장치.
12. 제1항에 있어서,
    상기 이동체의 주위의 물체의 속도 정보를 검출하는 속도 정보 검출부와,
    상기 이동체의 주위의 물체의 거리 정보를 검출하는 거리 정보 검출부를 더 포함하고,
    상기 물체 인식 처리부는, 상기 물체 인식 처리 결과의 각각에 대응되어, 상기 속도 정보 및 상기 거리 정보를 포함하는 메타데이터를 부여하여 출력하는,
    정보 처리 장치.
13. 제12항에 있어서,
    상기 물체 인식 처리부는, 상기 물체 인식 처리 결과 중, 상기 속도 정보 검출부 및 상기 거리 정보 검출부에 의한 검출 정밀도가 소정값보다 높은 상기 물체 인식 처리 결과에 대해, 상기 속도 정보 및 상기 거리 정보를 포함하는 메타데이터를 부여하여 출력하는,
    정보 처리 장치.
14. 제1항에 있어서,
    상기 물체 인식 처리부는, 상기 주위의 상황에 따라서, 상기 물체 인식 처리 결과 중 일부를 출력하는 저부하 모드, 또는 상기 물체 인식 처리 결과의 전부를 출력하는 고부하 모드 중 어느 모드로 상기 물체 인식 처리 결과를 출력하는,
    정보 처리 장치.
15. 제14항에 있어서,
    상기 물체 인식 처리부는, 상기 주위의 상황이, 상기 주위의 이동체의 속도가 일정 속도로 이동하며, 또한 거리가 일정한 상태에서 소정 시간 계속되는 상황인 경우, 상기 저부하 모드에 의해, 상기 물체 인식 처리 결과 중 진행 방향의 상기 물체 인식 처리 결과를 출력하는,
    정보 처리 장치.
16. 제1항에 있어서,
    상기 촬상부는, 다른 감도로 복수의 화상을 촬상하고,
    상기 물체 인식 처리부는, 상기 다른 감도의 복수의 화상의 각각에 대해 물체 인식 처리를 행하여 다른 감도의 복수의 물체 인식 처리 결과를 생성하고, 상기 주위의 상황에 따라서, 상기 다른 감도의 복수의 물체 인식 처리 결과를 선택하여 출력하는,
    정보 처리 장치.
17. 제1항에 있어서,
    상기 물체 인식 처리 결과 중, 소정의 물체 인식 결과가 포함되는 경우, 상기 촬상부의 파라미터가 제어되는,
    정보 처리 장치.
18. 제17항에 있어서,
    상기 물체 인식 처리 결과 중, 소정의 물체 인식 결과로서 신호기, 및 테일 램프가 포함되는 경우, 상기 촬상부의 상기 파라미터 중 노광 시간이, 소정 시간 이상의 길이로 제어되는,
    정보 처리 장치.
19. 이동체의 주위의 화상을 촬상하는 촬상 처리와,
    촬상된 상기 화상 내의 물체를 인식하는 물체 인식 처리를 행하고, 상기 물체 인식 처리에 의한 물체 인식 처리 결과를, 인식한 상기 물체를 단위로 하여, 상기 이동체 내의 네트워크를 통해 출력하는 물체 인식 처리를
    포함하는, 정보 처리 방법.
20. 이동체의 주위의 화상을 촬상하는 촬상부와,
    상기 촬상부에 의해 촬상된 상기 화상 내의 물체를 인식하는 물체 인식 처리를 행하고, 상기 물체 인식 처리에 의한 물체 인식 처리 결과를, 인식한 상기 물체를 단위로 하여, 상기 이동체 내의 네트워크를 통해 출력하는 물체 인식 처리부
    로서 컴퓨터를 기능시키는, 프로그램.

Images