KR20220031561A - 이상 검출 장치와 이상 검출 방법 및 프로그램과 정보 처리 시스템 - Google Patents

Abstract

촬상부(500)는, 유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 촬상 화상을 취득한다. 검출부(221)의 비네팅양 산출부(2212)는 촬상부(500)에서 취득된 촬상 화상에 발생한 비네팅 영역의, 예를 들어 영역 사이즈를 네 코너에서 개별적으로 산출한다. 판단부(2214)는, 기준 시에 산출한 영역 사이즈에 대하여 포커스 이상 검출 처리 시에 산출한 영역 사이즈의 변화를 검출하여, 네 코너의 어느 것에서 영역 사이즈의 변화가 역치를 초과하는 경우에 포커스의 이상을 검출했다고 판단한다. 고정밀도로 포커스의 이상을 검출할 수 있게 된다.

Description

이상 검출 장치와 이상 검출 방법 및 프로그램과 정보 처리 시스템

이 기술은, 이상 검출 장치와 이상 검출 방법 및 프로그램과 정보 처리 시스템에 관한 것으로, 고정밀도로 포커스의 이상을 검출할 수 있도록 한다.

종래, 자동차 등의 이동체를 사용한 정보 처리 시스템은, 이동체에 탑재하여 이동체 전방 등의 촬상을 행하고, 얻어진 촬상 화상을 처리 해석하여, 장애물의 인식 등을 행하고 있다. 이러한 시스템은, 촬상 장치가 정상적으로 동작하지 않으면, 정확하게 장애물의 인식 등을 행할 수 없다. 이 때문에, 예를 들어 특허문헌 1은, 촬상 장치에서 취득한 스테레오 화상 데이터로부터 시차 화상 데이터를 생성하고, 시차 화상 데이터에 기초하여 촬상 장치가 이상인지 여부의 판단이 행해지고 있다.

일본 특허 공개 제2014-006243호 공보

그런데, 시차 화상 데이터에 기초하여 이상인지 여부의 판단을 행하는 경우, 촬상 장치는 스테레오 화상 데이터를 생성해야 한다는 점에서, 하나의 시점의 화상 데이터를 생성하는 촬상 장치는 이상을 검출할 수 없다.

그래서, 이 기술은 고정밀도로 포커스의 이상을 검출할 수 있는 이상 검출 장치와 이상 검출 방법 및 프로그램과 정보 처리 시스템을 제공하는 것을 목적으로 한다.

이 기술의 제1 측면은,

유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 상기 이미지 센서로 취득된 촬상 화상을 사용하여, 상기 촬상 화상의 비네팅 영역의 변화에 기초하여 포커스의 이상을 검출하는 검출부

를 구비하는 이상 검출 장치에 있다.

이 기술에 있어서는, 유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용한 촬상부에서 취득된 촬상 화상으로부터 비네팅 영역이 검출되고, 기준 시에 있어서의 비네팅 영역에 대한 포커스 이상 검출 처리 시에 있어서의 비네팅 영역의 변화에 기초하여 포커스의 이상이 검출된다. 예를 들어, 검출부는, 촬상 화상의 네 코너마다 비네팅 영역의 영역 사이즈의 변화를 검출하여, 네 코너의 어느 것에서 영역 사이즈의 변화가 비네팅 판정 역치를 초과하는 경우에 포커스의 이상을 검출했다고 판단한다. 또한, 검출부는, 촬상 화상의 선예도를 검출하여, 검출한 선예도가 미리 설정한 선예도 역치보다도 저하되어 있는 경우에 포커스의 이상을 검출했다고 판단한다. 또한, 검출부는, 포커스의 이상을 검출했을 때에 있어서의 비네팅 영역의 변화에 기초하여, 포커스의 이상의 원인을 판별해도 된다.

또한, 이상 검출 장치는, 이미지 센서로 촬상되는 피사체의 조명을 행하는 광원부를 더 구비해도 되고, 이미지 센서가 탑재된 차량의 동작 제어를 행하는 동작 제어부를 더 구비해도 된다. 동작 제어부는, 검출부에서 포커스의 이상이 검출된 때, 차량의 운전 지원 기능을 정지해도 되고, 동작 제어부에서 이미지 센서가 탑재된 차량의 자동 운전 제어 기능을 실행하는 경우, 검출부는 동작 제어부에서 차량의 자동 운전을 개시하기 전에 포커스 이상 검출 처리를 행하고, 동작 제어부는, 검출부에서 포커스의 이상이 검출된 때 자동 운전 제어 기능을 정지하여 수동 운전으로 전환한다.

이 기술의 제2 측면은,

유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 상기 이미지 센서로 취득된 촬상 화상을 사용하여, 상기 촬상 화상의 비네팅 영역의 변화에 기초하여 포커스의 이상을 검출부에서 검출하는 것

을 포함하는 이상 검출 방법에 있다.

이 기술의 제3 측면은,

포커스의 이상 검출을 컴퓨터로 실행시키는 프로그램이며,

유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 상기 이미지 센서로 취득된 촬상 화상을 취득하는 수순과,

상기 취득한 촬상 화상의 비네팅 영역에 기초하여 포커스의 이상을 검출하는 수순

을 상기 컴퓨터로 실행시키는 프로그램에 있다.

또한, 본 기술의 프로그램은, 예를 들어 다양한 프로그램·코드를 실행 가능한 범용 컴퓨터에 대하여, 컴퓨터 가독의 형식으로 제공하는 기억 매체, 통신 매체, 예를 들어 광 디스크나 자기 디스크, 반도체 메모리 등의 기억 매체, 혹은 네트워크 등의 통신 매체에 의해 제공 가능한 프로그램이다. 이러한 프로그램을 컴퓨터 가독의 형식으로 제공함으로써, 컴퓨터상에서 프로그램에 따른 처리가 실현된다.

이 기술의 제4 측면은,

이상 검출 장치와 상기 이상 검출 장치의 검출 결과를 사용하는 서버를 갖는 정보 처리 시스템이며,

상기 이상 검출 장치는,

유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 상기 이미지 센서로 취득된 촬상 화상을 사용하여, 상기 촬상 화상의 비네팅 영역의 변화에 기초하여 포커스의 이상을 검출하는 검출부를 갖고,

상기 서버는,

상기 검출부의 포커스 이상 검출 결과를 이용하여 유저 통지 정보를 생성하는 통지 정보 생성부를 갖는

정보 처리 시스템에 있다.

도 1은 이동체를 사용한 정보 처리 시스템의 구성을 예시한 도면이다.
도 2는 제어 시스템의 개략적인 기능 구성을 예시한 도면이다.
도 3은 검출부의 구성의 일부를 나타낸 도면이다.
도 4는 초점으로부터의 어긋남양과 화각의 관계를 예시한 도면이다.
도 5는 촬상부의 기준 시의 상태를 예시한 도면이다.
도 6은 검출부의 동작을 예시한 흐름도이다.
도 7은 검출부의 다른 동작을 예시한 흐름도이다.
도 8은 촬상부가 기준 시의 상태로부터 변화가 발생하고 있는 경우를 예시한 도면이다.
도 9는 촬상부가 기준 시의 상태로부터 변화가 발생하고 있는 다른 경우를 예시한 도면이다.
도 10은 촬상부에서 렌즈의 광축 어긋남이 발생한 경우를 예시한 도면이다.
도 11은 이미지 센서의 각이 변형된 경우를 나타낸 도면이다.
도 12는 조명광을 사용하지 않은 경우와 조명광을 사용한 경우를 예시한 도면이다.
도 13은 촬상면을 수직 방향 및 수평 방향으로 각각 구분한 경우를 예시한 도면이다.
도 14는 차량 전방을 촬상하는 촬상 장치에 포커스 이상의 검출 등의 기능을 마련한 경우를 예시한 도면이다.
도 15는 차량 후방이나 차량 측방을 촬상하는 촬상 장치에 포커스 이상의 검출 등의 기능을 마련한 경우를 예시한 도면이다.
도 16은 서버의 구성을 예시한 도면이다.
도 17은 서버의 동작을 예시한 흐름도이다.
도 18은 서버의 다른 구성을 예시한 도면이다.
도 19는 서버의 다른 동작을 예시한 흐름도이다.
도 20은 서버의 다른 일부의 구성을 예시한 도면이다.
도 21은 서버의 다른 일부의 동작을 예시한 흐름도이다.

이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. 실시 형태

1-1. 차량의 구성

1-2. 차량의 동작

1-3. 변형예

1-4. 서버의 구성과 동작

1-5. 서버의 다른 구성과 동작

2. 응용예

<1. 실시 형태>

도 1은, 본 기술이 적용될 수 있는 이동체를 사용한 정보 처리 시스템의 구성을 예시하고 있다. 정보 처리 시스템(10)은, 이동체, 예를 들어 차량(20)이 1 또는 복수대 마련되어 있고, 각 차량(20)과 서버(30)는 네트워크(40)를 통해 접속되어 있다. 차량(20)에는 본 기술의 이상 검출 장치가 마련되어 있고, 이상 검출 장치는, 유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 이미지 센서로 취득된 촬상 화상을 사용하여, 촬상 화상의 비네팅 영역의 변화에 기초하여 포커스의 이상을 검출한다. 또한, 서버(30)는, 차량(20)으로부터 취득한 포커스 이상 검출 결과를 이용하여 유저 통지 정보를 생성한다.

<1-1. 차량의 구성>

이어서, 차량(20)의 구성에 대하여 설명한다. 차량(20)은, 촬상부를 갖고 있고, 촬상부에서 취득된 촬상 화상을 이용하여 운전 지원 기능 혹은 자동 운전 제어 기능을 실행한다. 또한, 차량(20)은, 촬상부에 있어서의 포커스의 이상을 검출하여, 포커스 이상 검출 결과를 차량의 탑승자나 운전 제어부 등에 통지한다. 또한, 차량(20)은, 포커스 이상 검출 결과나 차량 등의 식별 정보를 적어도 포함하는 로그 정보를 서버(30)로 통지한다. 서버(30)는, 차량(20)으로부터 통지된 로그 정보에 기초하여 유저 통지 정보를 생성하고, 차량(20)의 관리자 등으로 통지하는 서비스 등을 행한다.

도 2는, 차량에 있어서의 제어 시스템의 개략적인 기능 구성을 예시한 도면이다. 차량(20)의 제어 시스템(200)은, 입력부(201), 데이터 취득부(202), 통신부(203), 차내 기기(204), 출력 제어부(205), 출력부(206), 구동계 제어부(207), 구동계 시스템(208), 보디계 제어부(209), 보디계 시스템(210), 기억부(211) 및 자동 운전 제어부(213)를 구비한다. 입력부(201), 데이터 취득부(202), 통신부(203), 출력 제어부(205), 구동계 제어부(207), 보디계 제어부(209), 기억부(211) 및 자동 운전 제어부(213)는, 통신 네트워크(212)를 통해 서로 접속되어 있다. 또한, 제어 시스템(200)의 각 부는, 통신 네트워크(212)를 통하지 않고, 직접 접속되는 경우도 있다.

또한, 이하, 제어 시스템(200)의 각 부가, 통신 네트워크(212)를 통해 통신을 행하는 경우, 통신 네트워크(212)의 기재를 생략하는 것으로 한다. 예를 들어, 입력부(201)와 자동 운전 제어부(213)가, 통신 네트워크(212)를 통해 통신을 행하는 경우, 단순히 입력부(201)와 자동 운전 제어부(213)가 통신을 행한다고 기재한다.

입력부(201)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(201)는, 터치 패널, 버튼, 스위치 등의 조작 디바이스, 그리고 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(201)는, 적외선 혹은 전파 등을 이용한 리모트 컨트롤 장치나 제어 시스템(200)의 조작에 대응한 외부 접속 기기여도 된다. 입력부(201)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하여, 제어 시스템(200)의 각 부에 공급한다.

데이터 취득부(202)는, 제어 시스템(200)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 제어 시스템(200)의 각 부에 공급한다. 데이터 취득부(202)는, 차외 상황을 파악하기 위한 촬상부(500)를 구비하고 있다. 촬상부(500)는, 유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 촬상 화상을 취득한다. 또한, 데이터 취득부(202)는, 차외 상황을 검출하기 위해, 예를 들어 날씨 또는 기상 등을 검출하기 위한 환경 센서 및 자차의 주위 물체를 검출하기 위한 주위 정보 검출 센서를 구비해도 된다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등을 포함한다.

또한, 데이터 취득부(202)는, 자차의 상태 등을 검출하기 위한 센서 등을 구비하고 있다. 예를 들어, 데이터 취득부(202)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU) 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다. 또한, 데이터 취득부(202)는, 자차의 현재 위치를 검출하기 위한 각종 센서를 구비하고 있다. 예를 들어, 데이터 취득부(202)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.

또한, 데이터 취득부(202)는, 차내의 정보를 검출하기 위한 각종 센서를 구비해도 된다. 예를 들어, 데이터 취득부(202)는, 운전자를 촬상하는 촬상 장치, 운전자의 생체 정보를 검출하는 생체 센서 및 차실내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되어, 좌석에 앉아 있는 탑승자 또는 스티어링 휠을 쥐고 있는 운전자의 생체 정보를 검출한다.

통신부(203)는, 차내 기기(204), 그리고 서버(30) 등의 차외 기기 등과 통신을 행하여, 제어 시스템(200)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 제어 시스템(200)의 각 부에 공급하거나 한다. 또한, 통신부(203)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것은 아니고, 또한 통신부(203)가, 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다.

예를 들어, 통신부(203)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication), 또는 WUSB(Wireless USB) 등에 의해, 차내 기기(204)와 무선 통신을 행한다. 또한, 예를 들어 통신부(203)는, 도시하지 않은 접속 단자(및, 필요하다면 케이블)를 통해, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등에 의해, 차내 기기(204)와 유선 통신을 행한다.

또한, 통신부(203)는, 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크)를 통해 서버(30)와의 통신을 행한다. 또한, 통신부(203)는, 자차의 근방에 존재하는 단말기나 무선국 등과의 통신이나, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 자차와 집 사이(Vehicle to Home)의 통신 및 보차간(Vehicle to Pedestrian) 통신 등을 행하도록 해도 된다.

차내 기기(204)는, 예를 들어 탑승자가 갖는 기기, 차내에 마련된 정보 기기 및 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.

출력 제어부(205)는, 자차의 탑승자 또는 차외에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(205)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하여, 출력부(206)에 공급함으로써, 출력부(206)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 예를 들어, 출력 제어부(205)는, 부감 화상 또는 파노라마 화상 등을 포함하는 출력 신호를 출력부(206)에 공급한다. 또한, 출력 제어부(205)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터 등을 포함하는 출력 신호를 출력부(206)에 공급한다.

출력부(206)는, 자차의 탑승자 또는 차외에 대하여, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(206)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(206)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다.

구동계 제어부(207)는, 각종 제어 신호를 생성하여, 구동계 시스템(208)에 공급함으로써, 구동계 시스템(208)의 제어를 행한다. 또한, 구동계 제어부(207)는, 필요에 따라, 구동계 시스템(208) 이외의 각 부에 제어 신호를 공급하여, 구동계 시스템(208)의 제어 상태의 통지 등을 행한다.

구동계 시스템(208)은, 자차의 구동계에 관계되는 각종 장치를 구비한다. 예를 들어, 구동계 시스템(208)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜으로 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고 전동 파워 스티어링 장치 등을 구비한다.

보디계 제어부(209)는, 각종 제어 신호를 생성하여, 보디계 시스템(210)에 공급함으로써, 보디계 시스템(210)의 제어를 행한다. 또한, 보디계 제어부(209)는, 필요에 따라, 보디계 시스템(210) 이외의 각 부에 제어 신호를 공급하여, 보디계 시스템(210)의 제어 상태의 통지 등을 행한다.

보디계 시스템(210)은, 차체에 장비된 보디계의 각종 장치를 구비한다. 예를 들어, 보디계 시스템(210)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 파워 시트, 스티어링 휠, 공조 장치 및 각종 램프(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 방향 지시등, 포그 램프 등) 등을 구비한다.

기억부(211)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 및 광자기 기억 디바이스 등을 구비한다. 기억부(211)는, 제어 시스템(200)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(211)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고, 넓은 에어리어를 커버하는 글로벌 맵 및 자차의 주위의 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.

또한, 기억부(211)는, 제어 시스템(200)이 마련된 차량(20)의 로그 정보를 기억한다. 로그 정보는, 차량(20)의 식별 정보(예를 들어, 차대 번호나 차량 번호, 초기 등록년(최초의 유저가 사용하기 시작한 해 등), 데이터 취득부(202)에 마련되어 있는 촬상부(500)의 식별 정보(예를 들어, 부품 번호나 일련 번호 등), 촬상부(500)의 사용 개시년, 촬상부(500)에 있어서의 포커스 이상 검출 결과와 이상을 검출한 시각이나 위치 및 이상 검출 시의 촬상 화상 등을 포함한다. 또한, 로그 정보는, 포커스 이상의 원인을 포함하고 있어도 된다. 또한, 로그 정보는, 차량(20)의 관리자 등의 정보, 포커스의 이상의 원인의 판별 결과 등을 포함해도 된다. 또한, 로그 정보는, 차외나 차내의 환경 정보(예를 들어, 차량(20)의 사용 시의 차내 온도나 차외 온도, 날씨 등), 차량의 이용 상황 정보(주행 거리나 이용 개시 시각 및 이용 종료 시각 등), 각 부의 고장 상황 정보(예를 들어, 고장의 발생 상황이나 수리 상황 등) 등을 포함해도 된다. 촬상부(500)에서 촬상된 화상의 선예도를 판정할 때 사용되는 역치(선예도 역치)나, 비네팅의 변화를 판정할 때 사용되는 역치(비네팅 판정 역치)를, 로그 정보는 포함해도 된다. 또한, 로그 정보는, 후술하는 검출부(221)에서 검출된 정보나 판단 결과 등이나, 그것들을 사용하여 산출된 정보를 포함해도 된다. 또한, 로그 정보는, 이상 상태를 운전자나 차량의 탑승원에게 통지한 이력을 포함해도 되고, 사고 정보(예를 들어, 사고의 종류, 피해 상황 등)를 포함해도 된다.

자동 운전 제어부(213)는, 자동 운전 제어 기능 혹은 운전 지원 기능 등을 실행한다. 자동 운전 제어부(213)는, 예를 들어 자차의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 자차의 충돌 경고, 또는 자차의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어, 운전자의 조작에 구애되지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 또한, 자동 운전 제어부(213)는, 자동 운전 제어 기능 대신에 운전 지원 기능을 실행해도 된다. 자동 운전 제어부(213)는, 검출부(221), 자기 위치 추정부(222), 상황 분석부(223), 계획부(224) 및 동작 제어부(225)를 구비한다.

자동 운전 제어부(213)는, 자동 운전 기능 제어나 운전 지원 기능을 실행할 때, 자동 운전 레벨 제어 정보에 기초하여, 자동 운전 기능 제어나 운전 지원 기능을 실행해도 되는지 여부의 가부 판단을 행한다. 실행해도 되는 경우는, 자동 운전 제어부(213)는, 이들 기능을 실행한다. 실행해서는 안되는 기능이 있는 경우, 자동 운전 제어부(213)는, 실행해서는 안되는 기능을 실행하지 않는다. 자동 운전 레벨 제어 정보는 미리 설정해 두어도 되고, 차외의 서버 등으로부터 수신한 것을 사용해도 된다.

검출부(221)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(221)는, 제어 시스템(200)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 외부의 정보나 주위 환경의 검출 처리를 행한다. 검출부(221)는, 자차의 외부의 정보의 검출 처리로서, 타차량, 사람, 장애물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등의 인식 처리나 추적 처리, 그리고 거리의 검출 처리 등을 행하고, 주위 환경의 검출 처리로서, 날씨, 기온, 습도, 밝기 및 노면 상태의 검출 처리 등을 행한다.

또한, 검출부(221)는, 제어 시스템(200)의 각 부로부터의 데이터 또는 신호에 기초하여, 차내 정보의 검출 처리를 행한다. 검출부(221)는, 차내 정보의 검출 처리로서, 운전자의 인증 처리 및 인식 처리, 운전자 상태의 검출 처리, 탑승자의 검출 처리 및 차내 환경의 검출 처리 등을 행한다. 검출부(221)는, 운전자 상태의 검출 처리에 있어서, 몸상태, 각성도, 집중도, 피로도, 시선 방향 등을 검출하고, 차내 환경의 검출 처리에 있어서, 기온, 습도, 밝기, 냄새 등을 검출한다.

또한, 검출부(221)는, 제어 시스템(200)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차 상태의 검출 처리를 행한다. 검출부(221)는, 자차 상태의 검출 처리로서, 속도, 가속도, 타각, 이상의 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고 기타의 차량 탑재 기기의 상태 등을 검출한다.

또한, 검출부(221)는, 데이터 취득부(202)에 마련된 촬상부(500)에 대하여 포커스의 이상 검출 처리를 행한다. 또한, 포커스의 이상 검출 처리의 상세에 대해서는 후술한다.

검출부(221)는, 포커스 이상 검출 결과를 나타내는 데이터를 자기 위치 추정부(222), 상황 분석부(223), 동작 제어부(225) 등에 공급한다. 또한, 검출부(221)는, 포커스 이상 검출 결과에 관한 정보나, 제어 시스템(200)의 각 부로부터의 데이터 또는 신호에 기초하여 각종 검출 처리를 행함으로써 얻어진 검출 결과를 기억부(211)에 기억시킨다.

자기 위치 추정부(222)는, 검출부(221)나 후술하는 상황 분석부(223) 등으로부터의 데이터 또는 신호에 기초하여, 자차의 위치 및 자세 등의 추정 처리를 행하여, 추정 결과를 나타내는 데이터를 상황 분석부(223)에 공급한다.

상황 분석부(223)는, 자차 및 주위 상황의 분석 처리를 행한다. 상황 분석부(223)는, 검출부(221) 및 자기 위치 추정부(222) 등의 제어 시스템(200)의 각 부로부터의 데이터 또는 신호를 필요에 따라 사용하면서, 기억부(211)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다.

상황 분석부(223)는, 구축한 맵과 검출부(221) 및 자기 위치 추정부(222) 등의 제어 시스템(200)의 각 부로부터의 데이터 또는 신호에 기초하여, 예를 들어 자차의 주위의 신호기의 위치 및 상태, 자차 주위의 교통 규제 내용, 그리고 주행 가능한 차선 등의 교통 룰에 관한 인식 처리를 행한다.

또한, 상황 분석부(223)는, 검출부(221), 자기 위치 추정부(222) 등의 제어 시스템(200)의 각 부로부터의 데이터 또는 신호 및 구축한 맵 등에 기초하여, 자차의 상황, 자차 주위의 상황 및 자차의 운전자의 상황 등의 인식 처리를 행한다. 상황 분석부(223)는, 자차 상황의 인식 처리로서, 예를 들어 자차의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고 이상의 유무 및 내용 등의 인식 처리를 행한다. 또한, 상황 분석부(223)는, 자차 주위의 상황의 인식 처리로서, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 운동 물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면의 상태, 그리고 주위의 날씨, 기온, 습도 및 밝기 등의 인식 처리를 행한다. 또한, 상황 분석부(223)는, 자차의 운전자의 상황 등의 인식 처리로서, 예를 들어 몸상태, 각성도, 집중도, 피로도, 시선의 움직임, 그리고 운전 조작 등의 인식 처리를 행한다.

또한, 상황 분석부(223)는, 교통 룰에 관한 인식 처리 결과나 자차의 상황, 자차 주위의 상황, 자차의 운전자의 상황 등의 인식 처리 결과에 기초하여, 자차의 상황, 자차 주위의 상황 및 운전자의 상황 등의 예측 처리를 행한다. 상황 분석부(223)는, 자차 상황의 예측 처리로서, 예를 들어 자차의 거동, 이상의 발생 및 주행 가능 거리 등의 예측 처리를 행하고, 자차 주위의 상황의 예측 처리로서, 예를 들어 자차의 주위의 운동 물체의 거동, 신호의 상태의 변화 및 날씨 등의 환경의 변화 등의 예측 처리를 행한다. 또한, 상황 분석부(223)는, 운전자의 상황의 예측 처리로서, 예를 들어 운전자의 거동 및 몸상태 등의 예측 처리를 행한다. 상황 분석부(223)는, 구축한 맵이나 인식 처리 및 예측 처리의 결과를 나타내는 데이터를 계획부(224)에 공급한다.

계획부(224)는, 상황 분석부(223) 등의 제어 시스템(200)의 각 부로부터의 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 계획부(224)는, 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를, 예를 들어 정체, 사고, 통행 규제, 공사 등의 상황 및 운전자의 몸상태 등을 고려하여 계획한다. 또한, 계획부(224)는, 계획한 루트를 계획된 시간 내에서 안전하게 주행하기 위해, 예를 들어 발진, 정지, 진행 방향, 주행 차선, 주행 속도 및 추월 등의 행동을 계획한다. 또한, 계획부(224)는, 계획한 행동을 실현하기 위한 자차의 동작, 예를 들어 가속, 감속 및 주행 궤도 등의 계획을 행한다. 계획부(224)는, 계획한 자차의 동작을 나타내는 데이터를, 동작 제어부(225)에 공급한다.

동작 제어부(225)는, 자차의 동작의 제어를 행한다. 동작 제어부(225)는, 계획부(224)에서 계획된 자차의 동작, 예를 들어 가속, 감속, 또는 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값 및 목적지로의 주행이나 차선 변경 등을 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(207)에 공급한다. 또한, 동작 제어부(225)는, 검출부(221)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대로의 진입, 운전자의 이상, 차량의 이상 등의 긴급 사태의 검출 처리를 행하고, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 자차의 동작을 계획하고, 계획한 동작을 자차에서 행하는 제어 명령을 구동계 제어부(207)에 공급한다. 또한, 동작 제어부(225)는, 검출부(221)에서 포커스가 이상이라고 판단된 때, 운전 지원 기능이나 자동 운전 제어 기능을 정지하여 수동 운전으로의 전환을 행하도록 해도 된다.

도 3은, 검출부의 구성의 일부를 나타내고 있다. 검출부(221)는, 데이터 취득부(202)에 마련되어 있는 촬상부(500)의 포커스의 이상을 검출하는 이상 검출부(2210)를 갖고 있다. 이상 검출부(2210)는, 신호 처리부(2211)와 비네팅양 산출부(2212) 및 판단부(2214)를 갖고 있다. 또한, 이상 검출부(2210)는, 페일세이프 검출부(2213)를 더 가져도 된다.

신호 처리부(2211)는, 데이터 취득부(202)의 촬상부(500)에서 생성된 화상 신호에 대하여, 비네팅양의 산출을 고정밀도로 행할 수 있도록 신호 처리를 행한다. 예를 들어, 화상 신호의 신호 레벨이 작으면, 비네팅 영역의 경계가 불명료해져, 비네팅양을 고정밀도로 산출할 수 없다. 따라서, 신호 처리부(2211)는, 비네팅양을 고정밀도로 산출할 수 있도록 촬상부(500)에서 생성된 화상 신호의 신호 레벨을 조정한다. 또한, 신호 처리부(2211)는, 비네팅양이 노이즈에 의한 영향을 받는 일이 없도록, 화상 신호의 노이즈 제거를 행해도 된다. 신호 처리부(2211)는, 처리 후의 화상 신호를 비네팅양 산출부(2212)와 페일세이프 검출부(2213)로 출력한다.

비네팅양 산출부(2212)는, 신호 처리부(2211)로부터 공급된 화상 신호로부터 비네팅 영역을 판별하고, 비네팅 영역의 영역 사이즈를 비네팅양으로서 산출한다. 비네팅 영역은, 예를 들어 네 코너마다, 코너로부터 미리 설정한 영역 역치보다도 신호 레벨이 작은 연속하는 화소 영역으로서, 비네팅 영역의 면적(혹은 화소수)을 비네팅양으로 한다. 비네팅양 산출부(2212)는 산출한 비네팅양을 판단부(2214)로 출력한다.

페일세이프 검출부(2213)는, 신호 처리부(2211)로부터 공급된 화상 신호에 기초하여 페일세이프 동작을 행하는지 검출한다. 예를 들어, 데이터 취득부(202)의 촬상부(500)에서 포커스 이상 등에 의해 촬상 화상의 선예도가 저하되면 주변의 피사체의 판별 등이 곤란해진다. 그래서, 페일세이프 검출부(2213)는, 신호 처리부(2211)로부터 공급된 화상 신호에 기초하여 선예도를 검출하여, 선예도가 미리 설정한 선예도 역치보다도 낮은 경우(화상이 흐리게 되어 있는 경우)는, 신호 처리부(2211)로부터 공급된 화상 신호에 기초한 운전 지원 기능 혹은 자동 운전 제어 기능 등을 행하지 않도록, 경고 혹은 동작 제어를 행한다. 선예도는, 예를 들어 신호 처리부(2211)로부터 공급된 화상 신호에 대하여 고주파 성분과 에지 영역의 추출을 행하여, 소정의 에지 영역 사이즈에 있어서의 고주파 성분의 강도로 한다. 또한, 선예도의 산출은 다른 방법을 사용해도 된다. 페일세이프 검출부(2213)는, 선예도와 미리 설정한 선예도 역치의 비교 결과를 페일세이프 검출 결과로서 판단부(2214)로 출력한다. 또한, 선예도 역치는, 차외의 서버로부터 송신된 역치를 사용해도 된다.

판단부(2214)는, 비네팅양 산출부(2212)에서 산출된 비네팅양에 기초하여, 데이터 취득부(202)의 촬상부(500)가 정상인지 판단한다. 판단부(2214)는, 비네팅양 산출부(2212)에서 산출된 비네팅양이 기준 시(예를 들어, 제조 공정에 있어서의 센터링 시나 최초의 사용 개시 시, 혹은 수리 완료 시 등)의 비네팅양에 대하여 포커스 이상 검출 처리 시에 있어서의 비네팅양의 변화가 비네팅 판정 역치를 초과하지 않을 때 촬상부(500)는 정상이라고 판단하고, 비네팅 판정 역치를 초과했을 때 촬상부(500)는 이상이라고 판단한다. 예를 들어, 판단부(2214)는, 촬상 화상에 있어서의 네 코너별 어느 것에서 비네팅양의 변화가 비네팅 판정 역치를 초과하는 경우에 포커스의 이상을 검출했다고 판단한다. 비네팅양의 변화를 판정하기 위한 비네팅 판정 역치는, 미리 설정되어 있다. 또한, 비네팅 판정 역치는, 차외의 서버로부터 송신된 역치를 사용해도 된다.

또한, 판단부(2214)는, 페일세이프 검출부(2213)를 더 갖고 있는 경우, 비네팅양뿐만 아니라, 페일세이프 검출부(2213)의 검출 결과를 사용하여, 데이터 취득부(202)의 촬상부(500)가 정상인지 판단한다. 판단부(2214)는, 페일세이프 검출부(2213)의 검출 결과에 의해 선예도가 미리 설정한 선예도 역치보다도 낮다는 것이 나타난 경우, 비네팅양에 관계없이 촬상부(500)는 이상이라고 판단한다. 판단부(2214)는, 판단 결과를 동작 제어부(225)로 출력한다. 또한, 판단부(2214)는, 비네팅양의 변화에 기초하여 이상의 원인을 판별해도 된다.

판단부(2214)는, 포커스 어긋남이 정상 범위 내인지 이상인지 판단하여, 그 판단 결과를 출력한다. 판단 결과는, 선예도에 기초하는 판단인지, 비네팅양에 기초하는 판단인지를 나타내는 정보를 포함하고 있어도 되고, 또한 선예도의 값이나 선예도 역치나, 각 비네팅양의 값이나 비네팅양의 역치를 포함하고 있어도 된다.

<1-2. 차량의 동작>

도 4는, 초점으로부터의 어긋남양과 화각의 관계를 예시하고 있다. 촬상부는, 렌즈와 이미지 센서의 간격이 길어지면 화각이 넓어지고, 짧아지면 화각이 좁아지는 성질이 있다. 또한 초점으로부터 이격되면 이격될수록, 해상도는 상실되어 공간 해상도(MTF)가 저하된다. 따라서, 본 기술은 포커스의 이상을 화각의 변화에 기초하여 검출한다. 구체적으로는, 데이터 취득부(202)에 사용하는 촬상부(500)는, 이미지 센서의 사이즈에 비해 유효상 원이 작은 렌즈를 사용하여, 이미지 센서의 촬상면의 주변에 비네팅 영역을 발생시킨다. 또한, 검출부는, 비네팅 영역(비네팅양)의 변화에 기초하여 포커스의 이상을 판단한다.

도 5는, 촬상부의 기준 시의 상태를 예시하고 있다. 도 5의 (a)는, 데이터 취득부(202)에 마련된 촬상부(500)의 구성을 예시하고 있다. 촬상부(500)는 렌즈(501)와, CMOS(Complementary Metal Oxide Semiconductor) 혹은 CCD(Charge Coupled Device) 등의 이미지 센서(502)를 갖고 있다. 렌즈(501)는 렌즈 홀더(503)에 고정하여 마련되어 있고, 이미지 센서(502)는 베이스부(504)에 고정하여 마련되어 있다. 렌즈 홀더(503)는 고정 부재(505)를 사용하여 베이스부(504)에 고정되어 있다.

도 5의 (b)는, 렌즈(501)와 이미지 센서(502)의 위치 관계를 나타내고 있고, 이미지 센서(502)는, 렌즈(501)의 초점 위치에 마련되어 있다. 도 5의 (c)는, 유효상 원 IMC(Image circle)와 이미지 센서의 위치 관계를 나타내고 있다. 예를 들어, 렌즈(501)의 광축 위치는 이미지 센서(502)에 있어서의 촬상면(502a)의 중앙 위치로 되어 있고, 유효상 원 IMC는 촬상면(502a)에 비해 작아, 촬상면(502a)의 네 코너에 비네팅 영역이 발생한다. 또한, 기준 시에 있어서의 우측 상단의 비네팅 영역을 영역 사이즈 Sru-s, 좌측 상단의 비네팅 영역을 영역 사이즈 Slu-s, 우측 하단의 비네팅 영역을 영역 사이즈 Srd-s, 좌측 하단의 비네팅 영역을 영역 사이즈 Sld-s라고 하자.

검출부(221)는, 기준 시에 있어서의 비네팅 영역의 영역 사이즈(비네팅양)와, 그 후의 포커스 이상 검출 처리 시에 검출한 영역 사이즈(비네팅양)에 기초하여, 촬상부(500)에서 포커스의 이상을 발생시켰는지 판단한다.

도 6은, 제어 시스템(200)에 있어서의 검출부(221)의 동작을 예시한 흐름도이고, 이 동작은 예를 들어 촬상부(500)의 기동 시나 차량(20)의 자동 운전을 개시하기 전에 행해진다. 또한, 도 6은, 페일세이프 검출부(2213)가 마련되어 있지 않은 경우의 동작이다.

또한, 이 동작은, 자동 운전을 개시하기 전뿐만 아니라, 자동 운전 중(자동 운전 기능(드라이버 지원 기능을 포함함)을 사용하고 있을 때)에 행해도 되고, 수동 운전이 이루어져 있을 때, 혹은 드라이버 등의 조작에 따라 행해도 된다.

스텝 ST1에서 검출부는 우측 상단 비네팅양의 변화가 역치 내인지 판별한다. 검출부(221)는, 우측 상단 비네팅양으로서 우측 상단의 비네팅 영역의 영역 사이즈 Sru를 산출하고, 산출한 영역 사이즈 Sru가 기준 시의 영역 사이즈 Sru-s에 비해 비네팅 판정 역치 내(예를 들어, ±Ts％의 범위 내)의 변화인지 판별한다. 검출부(221)는, 산출한 우측 상단의 비네팅 영역의 변화가 비네팅 판정 역치 내일 때는 스텝 ST2로 진행하고, 비네팅 판정 역치를 초과할 때는 스텝 ST6으로 진행한다.

스텝 ST2에서 검출부는 좌측 상단 비네팅양의 변화가 역치 내인지 판별한다. 검출부(221)는, 좌측 상단 비네팅양으로서 좌측 상단의 비네팅 영역의 영역 사이즈 Slu를 산출하고, 산출한 영역 사이즈 Slu가 기준 시의 영역 사이즈 Slu-s에 비해 비네팅 판정 역치 내(예를 들어, ±Ts％의 범위 내)의 변화인지 판별한다. 검출부(221)는, 산출한 좌측 상단의 비네팅 영역의 변화가 비네팅 판정 역치 내일 때는 스텝 ST3으로 진행하고, 비네팅 판정 역치를 초과할 때는 스텝 ST6으로 진행한다.

스텝 ST3에서 검출부는 우측 하단 비네팅양의 변화가 역치 내인지 판별한다. 검출부(221)는, 우측 하단 비네팅양으로서 우측 하단의 비네팅 영역의 영역 사이즈 Srd를 산출하고, 산출한 영역 사이즈 Srd가 기준 시의 영역 사이즈 Srd-s에 비해 비네팅 판정 역치 내(예를 들어, ±Ts％의 범위 내)의 변화인지 판별한다. 검출부(221)는, 산출한 우측 하단의 비네팅 영역의 변화가 비네팅 판정 역치 내일 때는 스텝 ST4로 진행하고, 비네팅 판정 역치를 초과할 때는 스텝 ST6으로 진행한다.

스텝 ST4에서 검출부는 좌측 하단 비네팅양의 변화가 역치 내인지 판별한다. 검출부(221)는, 좌측 하단 비네팅양으로서 좌측 하단의 비네팅 영역의 영역 사이즈 Sld를 산출하고, 산출한 영역 사이즈 Sld가 기준 시의 영역 사이즈 Sld-s에 비해 비네팅 판정 역치 내(예를 들어, ±Ts％의 범위 내)의 변화인지 판별한다. 검출부(221)는, 산출한 좌측 하단의 비네팅 영역의 변화가 비네팅 판정 역치 내일 때는 스텝 ST5로 진행하고, 비네팅 판정 역치를 초과할 때는 스텝 ST6으로 진행한다.

스텝 ST5에서 검출부는 정상이라고 판단한다. 검출부(221)는 데이터 취득부(202)의 촬상부(500)의 포커스 어긋남이 정상의 범위라는 판단 결과를 생성하여 동작 제어부(225)로 출력한다. 따라서, 자동 운전 제어부(213)는, 데이터 취득부(202)의 촬상부(500)에서 취득된 촬상 화상을 이용한 운전 지원 기능의 실행 가부 판정, 혹은 차량(20)의 자동 운전 제어 기능의 실행 가부 판정이 행해진다. 그리고, 실시해도 되는 경우는, 자동 운전 제어부(213)에 의해, 운전 지원 기능이나 자동 운전 기능이 실행된다.

스텝 ST6에서 검출부는 이상이라고 판별한다. 검출부(221)는, 데이터 취득부(202)의 촬상부(500)의 포커스 어긋남이 정상 범위를 초과하여 이상이라는 판단 결과를 생성하여 동작 제어부(225)로 출력한다. 따라서, 자동 운전 제어부(213)는, 데이터 취득부(202)의 촬상부(500)에서 취득된 촬상 화상을 이용한 운전 지원 기능이나 자동 운전 제어 기능을 정지한다.

이와 같이, 검출부(221)는, 하나의 시점의 촬상 화상에 있어서의 비네팅 영역의 변화에 기초하여, 포커스의 이상(포커스 어긋남)을 고정밀도로 검출할 수 있게 된다.

이어서, 페일세이프 검출부가 마련되어 있는 경우의 동작에 대하여 설명한다. 도 7은, 제어 시스템(200)에 있어서의 검출부(221)의 다른 동작을 예시한 흐름도이다. 또한, 도 7은, 페일세이프 검출부(2213)가 마련되어 있는 경우의 동작이고, 이 동작도 도 6에 나타내는 동작과 마찬가지로, 예를 들어 촬상부(500)의 기동 시나 차량(20)의 자동 운전을 개시하기 전에 행해진다.

스텝 ST10에서 검출부는 촬상 화상의 선예도가 미리 설정된 역치 이상인지 판별한다. 검출부(221)는, 데이터 취득부(202)의 촬상부(500)에서 취득된 촬상 화상의 선예도를 산출한다. 검출부(221)는 산출한 선예도가 미리 설정된 선예도 역치 이상인 경우는 스텝 ST11로 진행하고, 산출한 선예도가 미리 설정된 선예도 역치보다도 낮은 경우(화상이 흐리게 되어 있는 경우)는 스텝 ST16으로 진행한다.

스텝 ST11에서 검출부는 우측 상단 비네팅양의 변화가 역치 내인지 판별한다. 검출부(221)는, 우측 상단 비네팅양으로서 우측 상단의 비네팅 영역의 영역 사이즈 Sru를 산출하고, 산출한 영역 사이즈 Sru가 기준 시의 영역 사이즈 Sru-s에 비해 비네팅 판정 역치 내(예를 들어, ±Ts％의 범위 내)의 변화인지 판별한다. 검출부(221)는, 산출한 우측 상단의 비네팅 영역의 변화가 비네팅 판정 역치 내일 때는 스텝 ST12로 진행하고, 비네팅 판정 역치를 초과할 때는 스텝 ST16으로 진행한다.

스텝 ST12에서 검출부는 좌측 상단 비네팅양의 변화가 역치 내인지 판별한다. 검출부(221)는, 좌측 상단 비네팅양으로서 좌측 상단의 비네팅 영역의 영역 사이즈 Slu를 산출하고, 산출한 영역 사이즈 Slu가 기준 시의 영역 사이즈 Slu-s에 비해 비네팅 판정 역치 내(예를 들어, ±Ts％의 범위 내)의 변화인지 판별한다. 검출부(221)는, 산출한 좌측 상단의 비네팅 영역의 변화가 비네팅 판정 역치 내일 때는 스텝 ST13으로 진행하고, 비네팅 판정 역치를 초과할 때는 스텝 ST16으로 진행한다.

스텝 ST13에서 검출부는 우측 하단 비네팅양의 변화가 역치 내인지 판별한다. 검출부(221)는, 우측 하단 비네팅양으로서 우측 하단의 비네팅 영역의 영역 사이즈 Srd를 산출하고, 산출한 영역 사이즈 Srd가 기준 시의 영역 사이즈 Srd-s에 비해 비네팅 판정 역치 내(예를 들어, ±Ts％의 범위 내)의 변화인지 판별한다. 검출부(221)는, 산출한 우측 하단의 비네팅 영역의 변화가 비네팅 판정 역치 내일 때는 스텝 ST14로 진행하고, 비네팅 판정 역치를 초과할 때는 스텝 ST16으로 진행한다.

스텝 ST14에서 검출부는 좌측 하단 비네팅양의 변화가 역치 내인지 판별한다. 검출부(221)는, 좌측 하단 비네팅양으로서 좌측 하단의 비네팅 영역의 영역 사이즈 Sld를 산출하고, 산출한 영역 사이즈 Sld가 기준 시의 영역 사이즈 Sld-s에 비해 비네팅 판정 역치 내(예를 들어, ±Ts％의 범위 내)의 변화인지 판별한다. 검출부(221)는, 산출한 좌측 하단의 비네팅 영역의 변화가 비네팅 판정 역치 내일 때는 스텝 ST15로 진행하고, 비네팅 판정 역치를 초과할 때는 스텝 ST16으로 진행한다.

스텝 ST15에서 검출부는 정상이라고 판단한다. 검출부(221)는 데이터 취득부(202)의 촬상부(500)의 포커스 어긋남이 정상의 범위라는 판단 결과를 생성하여 동작 제어부(225)로 출력한다. 따라서, 자동 운전 제어부(213)는, 데이터 취득부(202)의 촬상부(500)에서 취득된 촬상 화상을 이용한 운전 지원 기능의 실행 가부 판정, 혹은 차량(20)의 자동 운전 제어 기능의 실행 가부 판정이 행해진다. 그리고, 실시해도 되는 경우는, 자동 운전 제어부(213)에 의해, 운전 지원 기능이나 자동 운전 기능이 실행된다.

스텝 ST16에서 검출부는 이상이라고 판별한다. 검출부(221)는 데이터 취득부(202)의 촬상부(500)의 포커스 어긋남이 정상 범위를 초과하여 이상이라는 판단 결과를 생성하여 동작 제어부(225)로 출력한다. 따라서, 자동 운전 제어부(213)는, 데이터 취득부(202)의 촬상부(500)에서 취득된 촬상 화상을 이용한 운전 지원 기능이나 차량(20)의 자동 운전 제어 기능을 정지한다.

이와 같이, 검출부(221)는, 하나의 시점의 화상 데이터에 기초하여, 촬상 화상의 선예도가 미리 설정된 선예도 역치 이상인 경우, 촬상 화상에 있어서의 비네팅 영역의 변화에 기초하여, 포커스의 이상을 고정밀도로 검출할 수 있게 된다. 또한, 촬상 화상의 선예도가 미리 설정된 선예도 역치보다도 낮은 경우(화상이 흐리게 되어 있는 경우), 선예도가 낮은 촬상 화상에 기초한 운전 지원 기능이 정지되므로, 차량(20)은, 촬상 화상에 기초하여 주위의 상황을 고정밀도로 파악할 수 없는 상황에서 자동 운전 등이 행해지는 것을 방지할 수 있게 된다.

도 8은, 촬상부가 기준 시의 상태로부터 변화가 발생한 경우를 예시하고 있다. 도 8의 (a)는, 경시 변화나 외력 등에 의해, 렌즈(501)와 이미지 센서(502)의 간격이 기준 시보다도 좁아진 경우를 나타내고 있다. 이 경우, 도 8의 (b)에 나타낸 바와 같이 이미지 센서(502)는 렌즈(501)의 초점 위치보다도 렌즈(501)에 가깝게 되어 있어, 도 8의 (c)에 나타낸 바와 같이, 유효상 원 IMC는 기준 시보다도 작아지고, 네 코너의 비네팅 영역의 영역 사이즈는, 기준 시보다도 커진다. 즉, 우측 상단의 비네팅 영역의 영역 사이즈 Sru-n은 영역 사이즈 Sru-s보다도 커진다. 마찬가지로, 좌측 상단의 비네팅 영역의 영역 사이즈 Slu-n은 영역 사이즈 Slu-s보다도 크고, 우측 하단의 비네팅 영역의 영역 사이즈 Srd-n은 영역 사이즈 Srd-s보다도 크고, 좌측 하단의 비네팅 영역의 영역 사이즈 Sld-n은 영역 사이즈 Sld-s보다도 커진다. 따라서, 네 코너의 비네팅 영역의 영역 사이즈가 기준 시보다도 커져, 어느 비네팅 영역의 변화가 비네팅 판정 역치를 초과한 경우, 검출부(221)는 촬상부(500)의 이상이라고 판단한다.

도 9는, 촬상부가 기준 시의 상태로부터 변화가 발생한 다른 경우를 예시하고 있다. 도 9의 (a)는, 경시 변화나 외력 등에 의해, 렌즈(501)와 이미지 센서(502)의 간격이 기준 시보다도 넓어진 경우를 나타내고 있다. 이 경우, 도 9의 (b)에 나타낸 바와 같이 이미지 센서(502)는 렌즈(501)의 초점 위치보다도 렌즈(501)로부터 이격되어 있어, 도 9의 (c)에 나타낸 바와 같이, 유효상 원 IMC는 기준 시보다도 커지고, 네 코너의 비네팅 영역의 영역 사이즈는, 기준 시보다도 작아진다. 즉, 우측 상단의 비네팅 영역의 영역 사이즈 Sru-f는 영역 사이즈 Sru-s보다도 작아진다. 마찬가지로, 좌측 상단의 비네팅 영역의 영역 사이즈 Slu-f는 영역 사이즈 Slu-s보다도 작고, 우측 하단의 비네팅 영역의 영역 사이즈 Srd-f는 영역 사이즈 Srd-s보다도 작고, 좌측 하단의 비네팅 영역의 영역 사이즈 Sld-f는 영역 사이즈 Sld-s보다도 작아진다. 따라서, 네 코너의 비네팅 영역의 영역 사이즈가 기준 시보다도 작아져, 어느 비네팅 영역의 변화가 비네팅 판정 역치를 초과한 경우, 검출부(221)는 촬상부(500)의 이상이라고 판단한다.

도 10은, 촬상부에서 렌즈의 광축 어긋남이 발생한 경우를 예시하고 있다. 도 10의 (a)는, 경시 변화나 외력 등에 의해, 이미지 센서(502)에 대한 렌즈(501)의 광축의 기울기가 발생한 경우를 나타내고 있다. 이 경우, 도 10의 (b)에 나타낸 바와 같이 렌즈의 초점 위치는 이미지 센서(502)의 중앙으로부터 이동하고, 도 10의 (c)에 나타낸 바와 같이, 유효상 원 IMC가 기준 시의 위치로부터 이동하여, 네 코너의 비네팅 영역의 영역 사이즈가 변화된다. 예를 들어, 도 10의 (c)의 경우, 우측 상단의 비네팅 영역의 영역 사이즈 Sru-t는 영역 사이즈 Sru-s보다도 작아지고, 우측 하단의 비네팅 영역의 영역 사이즈 Srd-t는 영역 사이즈 Srd-s보다도 작아진다. 또한, 좌측 상단의 비네팅 영역의 영역 사이즈 Slu-t는 영역 사이즈 Slu-s보다도 커지고, 좌측 하단의 비네팅 영역의 영역 사이즈 Sld-t는 영역 사이즈 Sld-s보다도 작아진다. 따라서, 네 코너의 어느 비네팅 영역의 영역 사이즈가 기준 시보다도 크거나 혹은 작아져, 비네팅 영역의 변화가 비네팅 판정 역치를 초과한 경우, 검출부(221)는 촬상부(500)의 이상이라고 판단한다.

또한, 도 10은, 렌즈(501)의 광축이 기울기를 발생시킨 경우를 예시하고 있지만, 이미지 센서가 기울기를 발생시킨 경우에도, 도 10의 (c)에 나타낸 바와 같이, 네 코너의 비네팅 영역의 영역 사이즈가 변화된다. 따라서, 검출부(221)는 이미지 센서의 기울기에 의한 포커스의 이상도 검출할 수 있다.

또한, 검출부(221)는, 이미지 센서의 각이 변형된 것에 의한 포커스의 이상도 검출할 수 있다. 도 11은, 이미지 센서의 각이 변형된 경우를 나타내고 있다. 도 11의 (a)에 나타낸 바와 같이 이미지 센서(502)는 렌즈(501)의 초점 위치에 있고, 우측 하단의 각이 변형되어 있다. 이 경우, 도 11의 (b)에 나타낸 바와 같이, 유효상 원 IMC는 기준 시와 대략 동등하고, 변형이 발생한 각에 대응하는 비네팅 영역의 영역 사이즈가 기준 시와 다르다. 즉, 우측 상단의 비네팅 영역의 영역 사이즈 Sru-w는 영역 사이즈 Sru-s와 대략 동등하고, 좌측 상단의 비네팅 영역의 영역 사이즈 Slu-w는 영역 사이즈 Slu-s와 대략 동등하고, 좌측 하단의 비네팅 영역의 영역 사이즈 Sld-w는 영역 사이즈 Sld-s와 대략 동등해진다. 또한, 우측 하단의 비네팅 영역의 영역 사이즈 Srd-w는 영역 사이즈 Sld-s보다도 커진다. 따라서, 우측 하단의 비네팅 영역 변화가 비네팅 판정 역치를 초과한 경우, 검출부(221)는 촬상부(500)의 이상이라고 판단한다.

이러한 본 기술에 의하면, 검출부는, 사용 환경에 의한 경시 변화나 외력에 의해 렌즈 홀더(503)와 베이스부(504)의 고정 상태의 변화나 이미지 센서의 변형 등이 발생하여, 렌즈와 이미지 센서의 위치 관계가 변화된 것에 의한 포커스의 이상을, 비네팅 영역의 변화에 기초하여 검출할 수 있게 된다. 또한, 검출부는, 렌즈의 열화 등에 의해 이미지 센서로 취득할 수 있는 촬상 화상의 선예도가 저하되는 포커스의 이상을 검출할 수 있다.

예를 들어, 검출부(221)는, 촬상부(500)에 대하여 상정 이상의 충격이 가해진 경우나 보증 대상 외의 온도 환경 하에서 사용된 경우, 화학 약품 등으로 된 경우, 혹은 우발적 고장 등에 의해, 렌즈와 이미지 센서의 위치 관계의 변화나 렌즈의 열화가 발생한 것에 의한 포커스의 이상을, 공간 해상도 측정용 차트나 이상 검출을 위한 넓은 작업 스페이스, 작업 스페이스를 작게 하기 위한 광각 렌즈 등을 사용하지 않고, 용이하게 고정밀도로 검출할 수 있다.

또한, 비네팅 영역의 변화는, 상술한 바와 같이 포커스의 이상의 원인에 대응하고 있는 점에서, 검출부(221)는 비네팅 영역의 변화에 기초하여 이상의 원인을 판별해도 된다. 예를 들어, 도 8에 나타낸 바와 같이, 네 코너의 비네팅 영역의 영역 사이즈가 크게 되어 있을 때, 검출부(221)는, 렌즈와 이미지 센서의 간격이 좁게 되어 있는 것이 이상의 원인이라고 판별한다. 또한, 검출부(221)는, 판별한 원인을 출력부(206)로부터 차량(20)의 이용자 등에게 통지해도 된다. 이와 같이, 비네팅 영역의 변화에 기초하여 이상 원인을 통지하면, 서비스 센터 등은 이상 상태를 해소하기 위한 작업을 용이하게 행하는 것이 가능하게 된다.

그런데, 차량의 주변이 어두운 경우, 검출부(221)는, 신호 처리부(2211)에서 화상 신호의 신호 레벨을 조정해도, 촬상 화상에 있어서의 비네팅 영역의 경계를 판별하는 것이 곤란하다. 따라서, 차량(20)은, 촬상부(500)에서 밝은 촬상 화상을 취득할 수 있도록 조명광을 출사하는 광원부 LT를 가져도 된다. 도 12는, 조명광을 사용하지 않은 경우와 조명광을 사용한 경우를 예시하고 있다. 차량의 주변이 어두운 경우, 검출부(221)는, 조명광을 사용하지 않으면, 도 12의 (a)에 나타낸 바와 같이, 촬상 화상이 어두워 비네팅 영역의 영역 사이즈를 산출하는 것이 곤란하다. 그러나, 검출부(221)는, 도 12의 (b)에 나타낸 바와 같이, 광원부 LT를 사용하여 피사체 OB의 조명을 행하면, 도 12의 (c)에 나타낸 바와 같이, 유효상 원 IMC의 외측인 비네팅 영역을 용이하게 판별할 수 있게 된다. 따라서, 검출부(221)는, 차량의 주변이 어두운 경우라도 포커스의 이상을 고정밀도로 검출할 수 있다.

또한, 본 기술과 같이, 이미지 센서의 사이즈에 비해 유효상 원이 작은 렌즈를 사용하여, 이미지 센서의 촬상면의 주변에 비네팅 영역을 발생시키는 경우, 비네팅 영역이 연속된 상태로 되면, 검출부는, 네 코너의 비네팅 영역의 영역 사이즈를 산출하는 것이 곤란해진다. 이러한 경우, 검출부는, 미리 이미지 센서의 촬상면을 구분하고, 구분 영역마다 비네팅 영역의 영역 사이즈를 산출해도 된다. 도 13은, 광축 위치를 기준으로 하여 촬상면을 수직 방향 및 수평 방향으로 각각 구분한 경우를 예시하고 있다. 또한, 도면에서는 구분 위치를 파선으로 나타내고 있다. 이와 같이, 촬상면을 4개로 구분하여, 구분 영역마다 비네팅 영역의 영역 사이즈를 산출하면, 검출부는, 비네팅 영역이 연속되는 상태로 되어도, 우측 상단과 좌측 상단 및 우측 하단과 좌측 하단의 비네팅 영역의 영역 사이즈를 산출할 수 있게 된다.

또한, 도 6 및 도 7에 나타내는 동작은, 촬상부의 기동 시뿐만 아니라, 촬상부의 사용 상황 등에 따른 타이밍에 행하도록 해도 된다. 예를 들어 도 6 및 도 7에 나타내는 동작은, 기동으로부터 소정 시간이 경과할 때마다 행하도록 해도 되고, 기온의 변동이 소정값을 초과한 경우나 날씨가 변화된 경우에 행하도록 해도 된다.

또한, 본 기술은, 이미지 센서의 사이즈에 비해 유효상 원이 작은 렌즈를 사용하여, 이미지 센서의 촬상면의 단부에 비네팅 영역을 발생시키고 있다. 따라서, 촬상부(500)에서 취득된 화상을 사용하여, 예를 들어 피사체 인식 등의 각종 화상 처리를 행하는 경우, 검출부는, 예를 들어 비네팅 영역을 제외한 중앙 부분의 소정 영역의 화상을 잘라내어 사용함으로써, 비네팅의 영향을 받는 일 없이 각종 화상 처리를 행할 수 있다.

<1-3. 변형예>

그런데, 상술한 실시 형태는, 차량(20)의 데이터 취득부(202)에 마련되어 있는 촬상부(500)에서 취득된 화상 데이터에 기초하여 포커스 이상을 자동 운전 제어부(213)에서 검출하는 경우를 예시했지만, 포커스 이상의 검출 등은, 예를 들어 FSC(Front Sensing Camera)와 같이 차량 전방을 촬상하는 촬상 장치에서 행하도록 해도 된다.

도 14는, 차량 전방을 촬상하는 촬상 장치에 포커스 이상의 검출 등의 기능을 마련한 경우를 예시하고 있다.

촬상 장치(60f)는, 광학계(61), 촬상부(62), 화상 처리부(63), 인식 처리부(64), 산출 처리부(65), 정보 생성부(67), 구동 제어부(68), 이상 검출부(69), 출력부(70)를 갖고 있다.

광학계(61)는, 도 5 등에 나타내는 렌즈(501)를 사용하여 구성되어 있고, 차량 전방이나 차량 주변을 나타내는 광학상을 촬상부(62)에 결상시킨다. 또한, 광학계(61)는, 도 5 등에 나타낸 바와 같이, 렌즈 홀더(503)나 고정 부재(505)를 사용하여 촬상부(62)에 설치되어 있다.

촬상부(62)는, 도 5 등에 나타내는 이미지 센서(502)와 이미지 센서(502)를 구동하는 구동 회로 등으로 구성되어 있고, 광학상을 나타내는 화상 신호를 생성한다. 본원의 기술은, 이미지 센서에 있어서의 촬상 영역의 세로와 가로의 사이즈가, 예를 들어 4.32㎜와 8.64㎜(1/1.7형)이고, 화소수가 수M 픽셀 이상(특히, 7M픽셀 이상)이고, 초점 위치 어긋남의 허용 범위가 ±수㎛(예를 들어, ±3㎛) 이내의 광학계를 사용한 촬상 장치에 적합하다. 또한, 본원의 기술은, 상기한 1/1, 7형이고 7M 픽셀인 이미지 센서보다도 화소의 밀도가 높은 이미지 센서(예를 들어, 1화소 근처 면적이 6.1(㎛×㎛)보다 작음)를 이용하고, 또한 초점 위치 어긋남의 허용 범위가 ±수㎛(예를 들어, ±3㎛) 이내의 광학계를 갖는 촬상 장치에 적합하다. 촬상부(62)는, 생성한 화상 신호를 화상 처리부(63)와 이상 검출부(69)로 출력한다.

화상 처리부(63)는, 촬상부(62)에서 취득된 촬상 화상 중의 물체를 인식하기 쉽게 하기 위한 처리를 행한다. 예를 들어, 화상 처리부(63)는, 자동 노출 제어, 자동 화이트 밸런스 조정, 하이 다이내믹 레인지 합성 등의 화상 처리를 행하여, 처리 화상을 인식 처리부(64)로 출력한다.

인식 처리부(64)는, 화상 처리부(63)로부터 출력된 처리 화상을 사용하여 물체의 인식 처리를 행하여, 처리 화상으로부터 예를 들어 차량, 보행자, 장애물, 신호기, 교통 표지, 도로의 차선(레인), 보도의 연석 등을 검출한다. 인식 처리부(64)는, 인식 결과를 산출 처리부(65)로 출력한다.

산출 처리부(65)는, 인식 처리부(64)에서 검출된 물체에 관한 물체 정보를 산출한다. 산출 처리부(65)는, 물체 정보로서, 예를 들어 물체의 형상, 물체까지의 거리, 물체의 이동 방향 및 이동 속도 등을 산출한다. 또한, 산출 처리부(65)는, 동적인 물체 정보를 산출할 때, 시간적으로 연속되는 복수의 촬상 화상을 사용한다.

정보 생성부(67)는, 차량에 필요한 구동 내용을 포함하는 구동 제어 정보를 생성한다. 정보 생성부(67)는, 인식 처리부(64)의 인식 결과나 산출 처리부(65)에서 산출된 물체 정보에 기초하여 차량에 실행시켜야 할 구동 내용을 판단하여, 이 구동 내용을 포함하는 구동 제어 정보를 생성한다.

차량의 구동 내용으로서는, 예를 들어 속도의 변경(가속, 감속), 진행 방향의 변경 등을 들 수 있다. 구체예로서, 정보 생성부(67)는, 차량과 선행 차량의 차간 거리가 작은 경우에는 감속이 필요하다고 판단하고, 차량이 레인을 일탈하는 경우에는 레인 중앙 근처로의 진행 방향의 변경이 필요하다고 판단한다.

정보 생성부(67)는, 구동 제어 정보를 구동 제어부(68)로 송신한다. 또한, 정보 생성부(67)는, 구동 제어 정보 이외의 정보를 생성해도 된다. 예를 들어, 정보 생성부(67)는, 처리 화상으로부터 주위 환경의 밝기를 검출하여, 주위 환경이 어두운 경우에 차량의 전조등을 점등시키기 위한 조명 제어 정보를 생성해도 된다.

구동 제어부(68)는, 구동 제어 정보에 기초한 구동 제어 신호를 생성하여 출력부(70)로부터 출력시킨다. 예를 들어, 구동 제어부(68)는, 구동력 발생 기구에 의해 차량을 가속시키고, 제동 기구에 의해 차량을 감속시켜, 스티어링 기구에 의해 차량의 진행 방향을 변경시킬 수 있다.

이상 검출부(69)는, 도 3에 나타내는 이상 검출부(2210)와 마찬가지로 구성되어 있다. 이상 검출부(69)는, 촬상부(62)에서 생성된 화상 신호에 대하여, 비네팅양의 산출을 고정밀도로 행할 수 있도록 신호 처리, 예를 들어 신호 레벨의 조정이나 노이즈 제거 등을 행한다. 또한, 이상 검출부(69)는, 화상 신호로부터 비네팅 영역을 판별하여, 비네팅 영역의 영역 사이즈를 비네팅양으로서 산출한다. 이상 검출부(69)는, 산출된 비네팅양에 기초하여 촬상부(60f)가 정상인지 판단을 행하고, 산출된 비네팅양이 기준 시의 비네팅양에 비해 포커스 이상 검출 처리 시에 있어서의 비네팅양의 변화가 비네팅 판정 역치를 초과하지 않을 때 촬상부(60f)는 정상이라고 판단하고, 비네팅 판정 역치를 초과했을 때 촬상부(60f)는 이상이라고 판단한다.

또한, 이상 검출부(69)는, 촬상부(62)에서 생성된 화상 신호에 기초하여 선예도를 검출하여, 선예도가 미리 설정한 선예도 역치보다도 낮은 경우(화상이 흐리게 되어 있는 경우)는, 촬상부(62)에서 취득된 촬상 화상에 기초한 운전 지원 기능 혹은 자동 운전 제어 기능 등을 실행하지 않도록, 경고 혹은 동작 제어를 행한다.

또한, 이상 검출부(69)는, 선예도와 선예도 역치의 비교 결과를 페일세이프 검출 결과로 하여, 비네팅양과 페일세이프 검출 결과를 사용하여 촬상부(62)가 정상인지 판단하고, 선예도가 미리 설정한 선예도 역치보다도 낮은 것이 나타난 경우, 비네팅양에 관계되지 않고 촬상부(62)는 이상이라고 판단한다. 이상 검출부(69)는, 판단 결과를 출력부(70)로 출력한다.

출력부(70)는, 구동 제어부(68)에서 생성된 구동 제어 신호와 이상 검출부(69)에서의 판단 결과를 차량의 다른 기능 블록으로 출력한다. 또한, 출력부(70)는, 촬상부(62)에서 생성된 화상 신호, 혹은 화상 처리부(63)에서 처리된 화상 신호를 다른 기능 블록으로 출력해도 된다.

또한, 포커스 이상의 검출 등은, 차량 전방을 촬상하는 촬상 장치에 한정되지 않고 차량 후방이나 차량 측방을 촬상하는 촬상 장치에 마련해도 된다.

도 15는, 차량 후방이나 차량 측방을 촬상하는 촬상 장치에 포커스 이상의 검출 등의 기능을 마련한 경우를 예시하고 있다.

촬상 장치(60sb)는, 광학계(61), 촬상부(62), 화상 처리부(63), 인식 처리부(64), 제2 산출 처리부(66), 이상 검출부(69), 출력부(70)를 갖고 있다. 또한, 광학계(61), 촬상부(62), 화상 처리부(63), 인식 처리부(64), 이상 검출부(69), 출력부(70)는, 상술한 촬상 장치(60f)와 마찬가지로 구성되어 있다.

제2 산출 처리부(66)는, 인식 처리부(64)에서 검출된 물체에 관한 물체 정보를 산출한다. 제2 산출 처리부(66)는, 물체 정보로서, 예를 들어 검출한 물체의 위치와 자차량의 위치 관계에 기초하여 물체까지의 거리를 산출하여 출력부(70)를 통해 출력한다.

출력부(70)는, 제2 산출 처리부(66)에서 산출된 물체 정보와 이상 검출부(69)에서의 판단 결과를 차량의 다른 기능 블록으로 출력한다. 또한, 출력부(70)는, 촬상부(62)에서 생성된 화상 신호, 혹은 화상 처리부(63)에서 처리된 화상 신호를 다른 기능 블록으로 출력해도 된다.

또한, 차량 후방이나 차량 측방의 촬상 화상에 포함된 물체에 따라 차량의 구동 제어를 행하는 경우, 촬상 장치(60sb)는, 정보 생성부(67)나 구동 제어부(68)를 가져도 된다.

또한, 상술한 실시 형태는, 차량(20)의 기억부(211)에 로그 정보를 기억하고 있지만, 촬상 장치(60f 혹은 60sb)에 로그 정보를 기억해도 된다.

이와 같이, 차량(20)과 별개로 촬상 장치를 마련해도, 본 기술은 상술한 실시 형태와 마찬가지인 동작을 행하는 것이나 마찬가지의 효과를 얻는 것이 가능하다.

<1-4. 서버의 구성과 동작>

이어서, 서버의 구성과 동작에 대하여 설명한다. 도 16은 서버의 구성을 예시하고 있다. 서버(30)는, 통신부(301), 통지 정보 생성부(302), 유저 정보 데이터베이스(305) 및 통지부(306)를 갖고 있다.

통신부(301)는, 차량(20)과의 통신을 행하여, 차량(20)의 기억부(211)에 기억되어 있는 로그 정보를 취득하여, 통지 정보 생성부(302)로 출력한다.

통지 정보 생성부(302)는, 차량(20)으로부터 취득한 로그 정보 등에 기초한 차량 성능의 판단 결과에 따라 통지 정보를 생성한다. 통지 정보 생성부(302)는, 차량(20)으로부터 취득한 로그 정보 등에 기초하여 소정의 성능이 유지되고 있는지 판단한다. 통지 정보 생성부(302)는, 이상의 발생, 이상의 발생 빈도 등에 의해 소정의 성능이 유지되고 있지 않다고 판단한 경우, 그 취지를 차량의 관리자 등으로 통지하기 위한 통지 정보를 생성하여 통지부(306)로 출력한다. 또한, 관리자는, 차량의 소유자, 차량을 공동으로 사용할 때의 관리자나 관리 회사 등을 포함한다.

유저 정보 데이터베이스(305)는, 차량별 관리자 등에 관한 유저 정보, 예를 들어 관리자 등의 명칭이나 주소, 연락처 등을 나타내는 정보를 기억하고 있다.

통지부(306)는, 통지 정보 생성부(302)에서 성능을 판별한 차량(20)의 관리자 등에 관한 정보를 유저 정보 데이터베이스(305)로부터 취득하고, 취득한 유저 정보로 나타난 연락처에, 통지 정보 생성부(302)에서 생성한 통지 정보를 통지한다. 예를 들어, 통지부(306)는, 차량(20)의 관리자 앞으로, 포커스의 이상 등이 발생한 것을 나타내는 메일의 송부나 송신 혹은 음성 통지 등의 처리를 행한다. 또한, 로그 정보에 관리자 등의 연락처를 나타내는 정보가 포함되어 있는 경우, 통지부(306)는, 로그 정보로 나타난 연락처를 사용해도 된다.

도 17은, 서버의 동작을 예시한 흐름도이다. 스텝 ST21에서 서버는 로그 정보를 취득한다. 서버(30)의 통신부(301)는, 차량(20)과 통신을 행하여 차량(20)에서 생성된 정보를 취득하고 스텝 ST22로 진행한다. 또한, 로그 정보의 취득은, 예를 들어 소정 기간이 경과할 때마다 서버(30)로부터 차량(20)으로 로그 정보의 요구를 행해도 되고, 소정 기간이 경과할 때마다 혹은 이상이 발생했을 때에 차량(20)으로부터 제공되는 로그 정보를 서버(30)에서 취득해도 된다.

스텝 ST22에서 서버는 성능 판단 처리를 행한다. 서버(30)의 통지 정보 생성부(302)는, 차량(20)으로부터 취득한 로그 정보에 기초하여 차량(20)의 성능을 판단하고 스텝 ST23으로 진행한다.

스텝 ST23에서 서버는 통지가 필요한지 판단한다. 서버(30)의 통지 정보 생성부(302)는, 스텝 ST22의 성능 판단 결과에 기초하여, 차량의 관리자 등으로의 통지가 필요하다고 판단한다. 통지 정보 생성부(302)는, 차량(20)에서 소정의 성능이 유지되고 있다고 판단한 경우는, 통지가 필요없다고 판단하여 스텝 ST21로 복귀된다. 또한, 통지 정보 생성부(302)는, 차량(20)에서 소정의 성능이 유지되고 있지 않다고 판단한 경우는, 통지가 필요하다고 판단하여 스텝 ST24로 진행한다.

스텝 ST24에서 서버는 통지 정보를 생성한다. 서버(30)의 통지 정보 생성부(302)는, 소정의 성능이 유지되고 있지 않은 것 혹은 이상 개소 등을 통지하기 위한 통지 정보를 생성하여 스텝 ST25로 진행한다.

스텝 ST25에서 서버는 통지 처리를 행한다. 서버(30)의 통지부(306)는, 스텝 ST21에서 로그 정보를 취득한 차량의 관리자 등에 대하여, 스텝 ST24에서 생성한 통지 정보를 통지하는 처리를 행한다.

이와 같이, 차량(20)의 관리자 등에게 성능 판별 결과를 통지하면, 포커스의 이상 등이 발생한 경우에 차량(20)의 탑승자뿐만 아니라 관리자 등에게서도 이상을 파악할 수 있으므로, 이상 발생에 대한 대처를 확실하게 행할 수 있게 된다. 또한, 서버(30)를 차량(20)의 메이커나 서비스센터 등에서 이용함으로써, 차량 상황의 파악이 용이해져, 신속히 적절한 서비스를 제공하는 것도 가능하게 된다.

<1-5. 서버의 다른 구성과 동작>

이어서, 서버의 다른 구성과 동작에 대하여, 예를 들어 차량의 보험 계약을 행하는 보험 회사에서 서버를 이용하는 경우에 대하여 설명한다. 도 18은 서버의 다른 구성을 예시하고 있다. 서버(30)는, 통신부(301), 사고 정보 데이터베이스(303), 통지 정보 생성부(304), 유저 정보 데이터베이스(305) 및 통지부(306)를 갖고 있다.

통신부(301)는, 차량(20)과의 통신을 행하여, 차량(20)에 있어서의 기억부(211)에 기억되어 있는 로그 정보를 취득하여, 통지 정보 생성부(304)로 출력한다.

사고 정보 데이터베이스(303)는, 예를 들어 사고 차량의 종류, 사고 차량에 있어서의 이상의 발생 상태, 사고 차량의 종류나 발생한 이상별 사고 발생률이나 사고의 종류, 피해 상황 등을 사고 정보로서 기억하고 있다.

통지 정보 생성부(304)는, 차량(20)으로부터 취득한 로그 정보 및 사고 정보 데이터베이스(303)에 기억되어 있는 사고 정보에 기초하여, 로그 정보를 취득한 차량(20)의 보험료를 산출한다. 통지 정보 생성부(304)는 산출한 보험료를 나타내는 통지 정보를 생성하여 통지부(306)로 출력한다. 통지 정보 생성부(304)는, 예를 들어 포커스의 이상이 발생한 경우에 있어서의 사고 발생률이나 사고의 종류 및 피해 상황 등, 포커스의 이상이 발생하고 있는 상태의 계속 기간이나 이상의 정도 등의 적어도 어느 것을 사용하여 보험료의 산출을 행한다. 통지 정보 생성부(304)는, 예를 들어 포커스의 이상이 발생하고 있지 않은 경우나 이상 발생에 대한 대처가 빠르게 행해져 이상 상태의 계속 기간이 단기간인 경우에 보험료를 경감한다. 또한, 통지 정보 생성부(304)는, 예를 들어 이상이 발생하고 있는 상태가 장기간 방치되어 있는 경우, 포커스의 이상이 발생하고 있을 때의 사고 발생률이 높은 경우나 중대 사고가 많은 경우 등에는 보험료를 증액해도 된다.

유저 정보 데이터베이스(305)는, 차량마다 보험 계약을 행한 계약자 등에 관한 유저 정보, 예를 들어 계약자의 명칭이나 주소, 연락처 등을 나타내는 정보를 기억하고 있다.

통지부(306)는, 통지 정보 생성부(304)에서 보험료를 산출한 차량(20)의 보험 계약자에 관한 정보를 유저 정보 데이터베이스(305)로부터 취득하고, 취득한 유저 정보로 나타난 연락처에 통지 정보를 통지한다. 예를 들어, 통지부(306)는, 보험 계약자 앞으로, 포커스의 이상이 발생한 것에 의해 보험료가 변경되는 것 등을 나타내는 메일의 송부나 송신 혹은 음성 통지 등의 처리를 행한다.

또한, 보험료의 산출 및 보험료의 통지는, 예를 들어 보험 계약 만료 시부터 소정 기간 전의 타이밍에 행해도 되고, 로그 정보에 기초하여 보험료의 경감을 할 수 없는 사상(혹은 보험료가 높아지는 사상)이 발생한 경우에는, 빠르게 보험료의 통지를 행하도록 해도 된다.

도 19는, 서버의 다른 동작을 예시한 흐름도이다. 스텝 ST31에서 서버는 로그 정보를 취득한다. 서버(30)의 통신부(301)는, 차량(20)과 통신을 행하여 차량(20)에서 생성된 정보를 취득하고 스텝 ST32로 진행한다. 또한, 로그 정보의 취득은, 예를 들어 소정 기간이 경과할 때마다 서버(30)로부터 차량(20)에 대하여 로그 정보의 요구를 행해도 되고, 소정 기간이 경과할 때마다 혹은 이상이 발생했을 때에 차량(20)으로부터 제공되는 로그 정보를 서버(30)에서 취득해도 된다.

스텝 ST32에서 서버는 보험료 산출 처리를 행한다. 서버(30)의 통지 정보 생성부(304)는, 차량(20)으로부터 취득한 로그 정보 및 데이터베이스에 기억되어 있는 사고 정보에 기초하여 상술한 바와 같이 보험료를 산출하고 스텝 ST33으로 진행한다.

스텝 ST33에서 서버는 통지 처리를 행한다. 서버(30)의 통지부(306)는, 스텝 ST31에서 로그 정보를 취득한 차량의 관리자 등에 대하여, 스텝 ST32에서 산출한 보험료를 통지하는 처리를 행한다.

이와 같이, 차량(20)을 계약차로 하는 보험 계약을 행한 계약자 등에게 보험료 산출 결과를 통지하면, 포커스의 이상이 발생한 경우에 계약자 등에게 보험료가 통지되므로, 보험료가 높아지지 않도록 이상 발생에 대한 대처를 빠르게 행할 수 있게 된다.

그런데, 서버(30)는, 정보 데이터베이스에 축적되어 있는 로그 정보를 사용하여, 자동 운전 제어부(213)에서 사용하는 자동 운전 레벨 제어 정보나, 자동 운전 제어부(213)의 검출부(221) 혹은 촬상 장치(60f)(60sb)의 이상 검출부(69)에서 사용하는 역치(선예도 역치나 비네팅 판정 역치)를 생성해도 된다.

도 20은, 서버의 다른 일부의 구성을 예시하고 있다. 통신부(301)는, 상술한 바와 같이, 차량(20)과의 통신을 행하여, 차량으로부터 로그 정보(사고 정보가 포함되어도 됨)를 취득한다. 또한, 통신부(301)는, 외부의 데이터베이스(예를 들어, 보험 회사 등의 데이터베이스)로부터 사고 정보 등을 취득해도 된다. 또한, 통신부(301)는, 후술하는 자동 운전 레벨 제어 정보나, 적절한 역치(선예도 역치나 비네팅 판정 역치)를 각 차량으로 송신한다.

정보 데이터베이스(311)는, 차량별 정보, 예를 들어 차량의 종류, 차의 초기 등록년, 차량 탑재 카메라의 종류(모델별), 차량 탑재 카메라의 사용 연수, 역치(선예도 역치나 비네팅 판정 역치), 사고의 유무 등과, 사고 차량별 정보, 예를 들어 사고 차량에 있어서의 이상의 발생 상태, 사고 차량의 종류나 발생한 이상별 사고 발생률이나 사고의 종류, 피해 상황 등을 기억한다.

안전성 판정부(312)는, 정보 데이터베이스(311)에 기억되어 있는 정보의 정보에 기초하여, 역치의 안전성을 판별한다. 예를 들어, 사고를 일으키지 않은 차량에 관한 정보와 사고가 발생한 차량에 관한 정보나 사고 정보를 통계 처리하여 설정된 역치(선예도 역치나 비네팅 판정 역치)가 안전성에 관하여 적절한지 판정한다.

안전성 판정부(312)는, 안전성이 충분하지 않다고 판정한 경우, 자동 운전 레벨 제어 정보로서, 차량에 있어서 허용되는 자동 운전 레벨을 낮추는 지시 정보(자동 운전 기능(/ADAS 기능)을 허가하지 않는 지시 정보를 포함함)를 생성하여, 통신부(301)를 통해, 차량으로 송신한다. 또한, 안전성 판정부(312)는, 안전성이 충분하다고 판정한 경우, 자동 운전 레벨 제어 정보로서 자동 운전 허가 정보를 생성하여, 통신부(301)를 통해, 차량으로 송신한다.

또한, 안전성 판정부(312)는, 상술한 통계 처리에 의해, 예를 들어 차종, 차량 탑재 카메라의 종류, 차량 탑재 카메라의 사용 연수별로, 적절한 역치를 산출하도록해도 된다. 또한, 안전성 판정부(312)는, 산출한 적절한 역치가 설정되어 있는 현재의 역치와 다른 경우, 통신부(301)를 통해, 적절한 역치를 각 차량으로 송신한다.

도 21은, 서버의 다른 일부의 동작을 예시한 흐름도이다. 스텝 ST41에서 서버는 로그 정보와 사고 정보를 취득한다. 서버(30)의 통신부(301)는, 차량(20)과 통신을 행하여 차량(20)에서 생성된 로그 정보나 사고 정보를 취득하고, 정보 데이터베이스(311)는 취득한 로그 정보나 사고 정보를 기억하고 스텝 ST42로 진행한다. 또한, 로그 정보의 취득은, 예를 들어 소정 기간이 경과할 때마다 서버(30)로부터 차량(20)에 대하여 로그 정보의 요구를 행해도 되고, 소정 기간이 경과할 때마다 혹은 이상이 발생했을 때에 차량(20)으로부터 제공되는 로그 정보를 서버(30)에서 취득해도 된다. 또한, 사고 정보의 취득은, 예를 들어 사고가 발생했을 때에 차량(20)으로부터 제공되는 사고 정보를 서버(30)에서 취득한다.

스텝 ST42에서 서버는 안전성 판정 처리를 행한다. 서버(30)의 안전성 판정부(312)는, 정보 데이터베이스(311)에 기억되어 있는 로그 정보 및 사고 정보에 기초하여 역치의 안전성을 판별하고, 판별 결과에 따른 자동 운전 레벨 제어 정보를 생성하고 스텝 ST43으로 진행한다. 예를 들어, 안전성 판정부(312)는, 설정된 역치(선예도 역치나 비네팅 판정 역치)가 안전성에 관하여 충분하지 않다고 판정한 경우, 차량에 있어서 허용되는 자동 운전 레벨을 낮추는 지시를 나타내는 자동 운전 레벨 제어 정보를 생성한다. 또한, 안전성 판정부(312)는, 설정된 역치가 안전성에 관하여 충분하다고 판정한 경우, 자동 운전 허가 정보를 나타내는 자동 운전 레벨 제어 정보를 생성한다. 또한, 안전성 판정부(312)는, 상술한 바와 같이 통계 처리에 의해 적절한 역치를 산출하고 스텝 ST43으로 진행한다.

스텝 ST43에서 서버는 정보 송신 처리를 행한다. 서버(30)의 통신부(301)는, 스텝 ST42에서 생성한 자동 운전 레벨 제어 정보를 차량(20)으로 송신하는 처리를 행한다. 또한, 통신부(301)는, 산출한 적절한 역치가 현재 설정되어 있는 역치와 다르다고 안전성 판정부(312)에서 판정된 경우, 산출한 적절한 역치를, 통신부(301)를 통해, 차량 혹은 촬상 장치로 송신한다.

이와 같이, 서버(30)는, 차량(20)으로부터 취득한 로그 정보나 사고 정보에 기초하여 생성한 자동 운전 레벨 제어 정보나 산출한 적절한 역치를 차량(20)이나 촬상 장치(60f, 60sb)로 송신하므로, 차량(20)은 더 안전하게 운전 제어를 행할 수 있다.

<2. 응용예>

본 개시에 관한 기술은, 촬상부를 사용하는 여러 분야에 적용할 수 있다. 예를 들어, 본 개시에 관한 기술은, 상술한 바와 같은 차량뿐만 아니라, 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등의 이동체에 탑재되는 장치로서 실현되어도 된다. 또한, 공장의 생산 공정에서 사용되는 기기나 건설 분야에서 사용되는 기기, 감시 분야나 의료 분야 등에 적용할 수도 있다.

명세서 중에 있어서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시킨다. 또는, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다.

예를 들어, 프로그램은 기록 매체로서의 하드 디스크나 SSD(Solid State Drive), ROM(Read Only Memory)에 미리 기록해 둘 수 있다. 혹은, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto optical) 디스크, DVD(Digital Versatile Disc), BD(Blu-Ray Disc(등록 상표)), 자기 디스크, 반도체 메모리 카드 등의 리무버블 기록 매체에, 일시적 또는 영속적으로 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체는, 소위 패키지 소프트웨어로서 제공할 수 있다.

또한, 프로그램은, 리무버블 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터 LAN(Local Area Network)이나 인터넷 등의 네트워크를 통해, 컴퓨터에 무선 또는 유선으로 전송해도 된다. 컴퓨터에서는, 그렇게 하여 전송되어 오는 프로그램을 수신하여, 내장하는 하드 디스크 등의 기록 매체에 인스톨할 수 있다.

또한, 본 명세서에 기재한 효과는 어디까지나 예시이며 한정되는 것은 아니고, 기재되어 있지 않은 부가적인 효과가 있어도 된다. 또한, 본 기술은, 상술한 기술의 실시 형태에 한정하여 해석되어서는 안된다. 이 기술의 실시 형태는, 예시라는 형태로 본 기술을 개시하고 있고, 본 기술의 요지를 일탈하지 않는 범위에서 당업자가 실시 형태의 수정이나 대용을 이룰 수 있는 것은 자명하다. 즉, 본 기술의 요지를 판단하기 위해서는, 청구범위를 참작해야 한다.

또한, 본 기술의 이상 검출 장치는 이하와 같은 구성도 취할 수 있다.

(1) 유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 상기 이미지 센서로 취득된 촬상 화상을 사용하여, 상기 촬상 화상의 비네팅 영역의 변화에 기초하여 포커스의 이상을 검출하는 검출부

를 구비하는 이상 검출 장치.

(2) 상기 검출부는, 기준 시에 있어서의 상기 비네팅 영역에 대하여 포커스 이상 검출 처리 시에 있어서의 상기 비네팅 영역의 변화가 비네팅 판정 역치를 초과하는 경우에 상기 포커스의 이상을 검출했다고 판단하는 (1)에 기재된 이상 검출 장치.

(3) 상기 검출부는, 상기 촬상 화상의 네 코너마다 상기 비네팅 영역의 영역 사이즈의 변화를 검출하여, 네 코너의 어느 것에서 상기 변화가 상기 비네팅 판정 역치를 초과하는 경우에 상기 포커스의 이상을 검출했다고 판단하는 (2)에 기재된 이상 검출 장치.

(4) 상기 검출부는, 상기 포커스의 이상 검출 시에 있어서의 상기 비네팅 영역의 변화에 기초하여, 상기 포커스의 이상의 원인을 판별하는 (3)에 기재된 이상 검출 장치.

(5) 상기 검출부는, 상기 촬상 화상의 선예도를 검출하여, 검출한 선예도가 미리 설정한 선예도 역치보다도 저하되어 있는 경우에 상기 포커스의 이상을 검출했다고 판단하는 (1) 내지 (4)의 어느 것에 기재된 이상 검출 장치.

(6) 상기 이미지 센서로 촬상되는 피사체의 조명을 행하는 광원부를 더 구비하는

(1) 내지 (5)의 어느 것에 기재된 이상 검출 장치.

(7) 상기 유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 촬상 화상을 취득하는 촬상부를 더 구비하는 (1) 내지 (6)의 어느 것에 기재된 이상 검출 장치.

(8) 상기 이미지 센서가 탑재된 차량의 동작 제어를 행하는 동작 제어부를 구비하고,

상기 동작 제어부는, 상기 검출부에서 상기 포커스의 이상이 검출된 때, 상기 차량의 운전 지원 기능을 정지하는 (1) 내지 (7)의 어느 것에 기재된 이상 검출 장치.

(9) 상기 이미지 센서가 탑재된 차량의 자동 운전 제어 기능을 실행하는 동작 제어부를 구비하고,

상기 동작 제어부는, 상기 검출부에서 상기 포커스의 이상이 검출된 때, 상기 자동 운전 제어 기능을 정지하고 수동 운전으로 전환하는 (1) 내지 (7)의 어느 것에 기재된 이상 검출 장치.

(10) 상기 검출부는, 상기 동작 제어부에서 상기 차량의 자동 운전을 개시하기 전에 상기 포커스 이상 검출 처리를 행하는 (9)에 기재된 이상 검출 장치.

10: 정보 처리 시스템
20: 차량
30: 서버
40: 네트워크
60f, 60sb: 촬상 장치
61: 광학계
62: 촬상부
63: 화상 처리부
64: 인식 처리부
65: 산출 처리부
66: 제2 산출 처리부
67: 정보 생성부
68: 구동 제어부
69: 이상 검출부
70: 출력부
200: 제어 시스템
201: 입력부
202: 데이터 취득부
203: 통신부
204: 차내 기기
211: 기억부
212: 통신 네트워크
213: 자동 운전 제어부
221: 검출부
222: 자기 위치 추정부
223: 상황 분석부
224: 계획부
225: 동작 제어부
301: 통신부
302, 304: 통지 정보 생성부
303: 사고 정보 데이터베이스
305: 유저 정보 데이터베이스
306: 통지부
311: 정보 데이터베이스
312: 안전성 판정부
500: 촬상부
501: 렌즈
502: 이미지 센서
502a: 촬상면
503: 렌즈 홀더
504: 베이스부
505: 고정 부재
2210: 이상 검출부
2211: 신호 처리부
2212: 비네팅양 산출부
2213: 페일세이프 검출부
2214: 판단부

Claims (16)

1. 유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 상기 이미지 센서로 취득된 촬상 화상을 사용하여, 상기 촬상 화상의 비네팅 영역의 변화에 기초하여 포커스의 이상을 검출하는 검출부
   를 구비하는, 이상 검출 장치.
2. 제1항에 있어서, 상기 검출부는, 기준 시에 있어서의 상기 비네팅 영역에 대하여 포커스 이상 검출 처리 시에 있어서의 상기 비네팅 영역의 변화가 비네팅 판정 역치를 초과하는 경우에 상기 포커스의 이상을 검출했다고 판단하는,
   이상 검출 장치.
3. 제2항에 있어서, 상기 검출부는, 상기 촬상 화상의 네 코너마다 상기 비네팅 영역의 영역 사이즈의 변화를 검출하여, 네 코너의 어느 것에서 상기 변화가 상기 비네팅 판정 역치를 초과하는 경우에 상기 포커스의 이상을 검출했다고 판단하는,
   이상 검출 장치.
4. 제3항에 있어서, 상기 검출부는, 상기 포커스의 이상 검출 시에 있어서의 상기 비네팅 영역의 변화에 기초하여, 상기 포커스의 이상의 원인을 판별하는,
   이상 검출 장치.
5. 제1항에 있어서, 상기 검출부는, 상기 촬상 화상의 선예도를 검출하여, 검출한 선예도가 미리 설정한 선예도 역치보다도 저하되어 있는 경우에 상기 포커스의 이상을 검출했다고 판단하는,
   이상 검출 장치.
6. 제1항에 있어서, 상기 이미지 센서로 촬상되는 피사체의 조명을 행하는 광원부를 더 구비하는,
   이상 검출 장치.
7. 제1항에 있어서, 상기 유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 촬상 화상을 취득하는 촬상부를 더 구비하는,
   이상 검출 장치.
8. 제1항에 있어서, 상기 이미지 센서가 탑재된 차량의 동작 제어를 행하는 동작 제어부를 구비하고,
   상기 동작 제어부는, 상기 검출부에서 상기 포커스의 이상이 검출된 때, 상기 차량의 운전 지원 기능을 정지하는,
   이상 검출 장치.
9. 제1항에 있어서, 상기 이미지 센서가 탑재된 차량의 자동 운전 제어 기능을 실행하는 동작 제어부를 구비하고,
   상기 동작 제어부는, 상기 검출부에서 상기 포커스의 이상이 검출된 때, 상기 자동 운전 제어 기능을 정지하고 수동 운전으로 전환하는,
   이상 검출 장치.
10. 제9항에 있어서, 상기 검출부는, 상기 동작 제어부에서 상기 차량의 자동 운전을 개시하기 전에 상기 포커스 이상 검출 처리를 행하는,
    이상 검출 장치.
11. 유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 상기 이미지 센서로 취득된 촬상 화상을 사용하여, 상기 촬상 화상의 비네팅 영역의 변화에 기초하여 포커스의 이상을 검출부에서 검출하는 것
    을 포함하는, 이상 검출 방법.
12. 포커스의 이상 검출을 컴퓨터로 실행시키는 프로그램이며,
    유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 상기 이미지 센서로 취득된 촬상 화상을 취득하는 수순과,
    상기 취득한 촬상 화상의 비네팅 영역에 기초하여 포커스의 이상을 검출하는 수순
    을 상기 컴퓨터로 실행시키는, 프로그램.
13. 이상 검출 장치와 상기 이상 검출 장치의 검출 결과를 사용하는 서버를 갖는 정보 처리 시스템이며,
    상기 이상 검출 장치는,
    유효상 원이 이미지 센서의 촬상면보다 작은 렌즈를 사용하여 상기 이미지 센서로 취득된 촬상 화상을 사용하여, 상기 촬상 화상의 비네팅 영역의 변화에 기초하여 포커스의 이상을 검출하는 검출부를 갖고,
    상기 서버는,
    상기 검출부의 포커스 이상 검출 결과를 이용하여 유저 통지 정보를 생성하는 통지 정보 생성부를 갖는,
    정보 처리 시스템.
14. 제13항에 있어서, 상기 통지 정보 생성부는, 상기 이미지 센서가 탑재된 기기의 관리자에 대하여 상기 포커스 이상 검출 결과를 사용하여 판별한 상기 기기의 성능을 나타내는 성능 정보를 상기 유저 통지 정보로서 생성하는,
    정보 처리 시스템.
15. 제13항에 있어서, 상기 통지 정보 생성부는, 상기 이미지 센서가 탑재된 차량의 관리자에 대하여 상기 포커스 이상 검출 결과를 사용하여 산출한 보험료를 나타내는 정보를 상기 유저 통지 정보로서 생성하는,
    정보 처리 시스템.
16. 제13항에 있어서, 상기 서버는,
    상기 검출부의 포커스 이상 검출 결과를 포함하는 로그 정보를 사용하여, 자동 운전 레벨 제어 정보와, 상기 검출부에서 상기 포커스의 이상을 검출하기 위한 역치를 생성하는 안전성 판정부를 갖는, 정보 처리 시스템.

Images