KR20220006520A - 화상 인식 장치 및 화상 인식 방법 - Google Patents

화상 인식 장치 및 화상 인식 방법 Download PDF

Info

Publication number
KR20220006520A
KR20220006520A KR1020217035917A KR20217035917A KR20220006520A KR 20220006520 A KR20220006520 A KR 20220006520A KR 1020217035917 A KR1020217035917 A KR 1020217035917A KR 20217035917 A KR20217035917 A KR 20217035917A KR 20220006520 A KR20220006520 A KR 20220006520A
Authority
KR
South Korea
Prior art keywords
image
subject
imaging
pixel
image data
Prior art date
Application number
KR1020217035917A
Other languages
English (en)
Inventor
카즈유키 오쿠이케
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20220006520A publication Critical patent/KR20220006520A/ko

Links

Images

Classifications

    • H04N5/2353—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H04N5/2253—
    • H04N5/2258—
    • H04N9/0455—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

본 개시에 따른 화상 인식 장치(화상 인식 시스템(100))는, 촬상부(10)와, 인식부(14)를 갖는다. 촬상부(10)는, 감도가 다른 촬상 화소를 사용하여, 1프레임 기간에 복수의 화상을 동일한 노광 시작 타이밍에서 촬상하여 화상 데이터를 생성한다. 인식부(14)는, 화상 데이터의 각각으로부터 피사체를 인식한다. 촬상부(10)는, 노광 시간, 컬러 필터의 투광율, 또는 수광 면적이 다른 복수의 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는다.

Description

화상 인식 장치 및 화상 인식 방법
본 개시는, 화상 인식 장치 및 화상 인식 방법에 관한 것이다.
1프레임 기간에 감도가 다른 복수의 화상을 촬상하여 합성함으로써 HDR(High Dynamic Range) 화상을 생성하는 HDR 촬상 모드를 구비하고, HDR 화상으로부터 피사체를 인식하는 촬상 장치가 있다(예를 들면, 특허문헌 1 참조).
특허문헌 1: 일본공개특허 2014-103643호 공보
그러나, 상기의 종래 기술에서는, 피사체의 인식 정밀도가 저하되는 경우가 있다. 이에, 본 개시에서는, 피사체의 인식 정밀도를 향상시킬 수 있는 화상 인식 장치 및 화상 인식 방법을 제안한다.
본 개시에 관한 화상 인식 장치는, 촬상부와, 인식부를 갖는다. 촬상부는, 감도가 다른 촬상 화소를 사용하여, 1프레임 기간에 복수의 화상을 동일한 노광 시작 타이밍으로 촬상하여 화상 데이터를 생성한다. 인식부는, 상기 화상 데이터의 각각으로부터 피사체를 인식한다.
도 1a는 본 개시의 제1 실시형태에 따른 화소 어레이를 나타내는 설명도이다.
도 1b는 본 개시의 제1 실시형태에 따른 다른 화소 어레이를 나타내는 설명도이다.
도 2a는 일반적인 DNN의 사용예를 나타내는 설명도이다.
도 2b는 본 개시의 제1 실시형태에 따른 DNN의 사용예를 나타내는 설명도이다.
도 3은 본 개시의 제1 실시형태에 따른 화상 인식 시스템의 구성예를 나타내는 도면이다.
도 4는 본 개시의 제1 실시형태에 따른 신호 처리부가 실행하는 처리의 설명도이다.
도 5a는 본 개시의 제1 실시형태에 따른 인식부가 실행하는 처리의 설명도이다.
도 5b는 본 개시의 제1 실시형태에 따른 인식부가 실행하는 처리의 설명도이다.
도 6은 본 개시의 제1 실시형태에 따른 신호 처리부가 실행하는 처리의 제1 변형예를 나타내는 설명도이다.
도 7은 본 개시의 제1 실시형태에 따른 DNN의 사용예의 변형예를 나타내는 설명도이다.
도 8은 본 개시의 제1 실시형태에 따른 화상 인식 시스템의 변형예를 나타내는 설명도이다.
도 9는 본 개시의 제1 실시형태에 따른 이미지 센서의 제1 동작예를 나타내는 설명도이다.
도 10은 본 개시의 제1 실시형태에 따른 이미지 센서가 실행하는 처리의 제1 구체예를 나타내는 플로우 차트이다.
도 11은 본 개시의 제1 실시형태에 따른 이미지 센서의 제2 동작예를 나타내는 설명도이다.
도 12는 본 개시의 제1 실시형태에 따른 이미지 센서가 실행하는 처리의 제2 구체예를 나타내는 플로우 차트이다.
도 13은 본 개시의 제1 실시형태에 따른 이미지 센서의 제2 동작예에 의한 작용 효과의 설명도이다.
도 14는 본 개시의 제2 실시형태에 따른 화소 어레이를 나타내는 설명도이다.
도 15는 본 개시의 제2 실시형태에 따른 DNN의 사용예를 나타내는 설명도이다.
도 16은 본 개시의 제2 실시형태에 따른 DNN의 다른 사용예를 나타내는 설명도이다.
도 17은 본 개시의 제2 실시형태에 따른 이미지 센서가 실행하는 처리의 구체예를 나타내는 플로우 차트이다.
도 18은 본 개시의 제2 실시형태에 따른 다른 화소 어레이를 채용한 이미지 센서의 동작예를 나타내는 설명도이다.
도 19는 제2 실시형태에 따른 이미지 센서의 다른 동작예의 설명도이다.
도 20은 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 21은 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
이하, 본 개시의 실시형태에 대해 도면에 기초하여 상세하게 설명한다. 한편, 이하의 각 실시형태에 있어서, 동일한 부위에는 동일한 부호를 붙임으로써 중복하는 설명을 생략한다.
(1. 제1 실시형태)
[1-1. 제1 실시형태에 따른 화상 인식 방법의 개요]
먼저, 본 개시에 따른 화상 인식 방법의 개요에 대해 설명한다. 본 개시에 따른 화상 인식 방법에서는, 감도가 다른 촬상 화소를 사용하여, 1프레임 기간에 복수의 화상을 동일한 노광 시작 타이밍에서 촬상하여 화상 데이터를 생성하고, 화상 데이터의 각각으로부터 피사체를 인식한다.
복수의 화상의 촬상에는, HDR(High Dynamic Range) 화상의 촬상에 사용되는 화소 어레이를 사용한다. 도 1a는, 본 개시의 제1 실시형태에 따른 화소 어레이를 나타내는 설명도이다. 예를 들면, 도 1a에 도시된 바와 같이, HDR 화상의 촬상에 사용되는 화소 어레이(A1)는, 고감도 촬상 화소와, 저감도 촬상 화소가 2열씩 교대로 2차원 배열되어 있다.
고감도 촬상 화소 및 저감도 촬상 화소가 배치되는 영역에는, 각각 적색광을 수광하는 촬상 화소(R), 녹색광을 수광하는 촬상 화소(Gr, Gb), 청색광을 수광하는 촬상 화소(B)가 베이어 배열(Bayer array)되어 있다. 한편, 이하에서는, 촬상 화소(R, Gr, Gb, B)로부터 출력되는 수광량에 따른 신호를 신호(R, Gr, Gb, B), 또는 화소 신호(R, Gr, Gb, B)로 기재하는 경우가 있다.
한편, 촬상 화소(Gr)는, 촬상 화소(R)가 배치되는 열에 설치되어 녹색광을 수광하는 촬상 화소이다. 촬상 화소(Gb)는, 촬상 화소(B)가 배치되는 열에 설치되어 녹색광을 수광하는 촬상 화소이다. 고감도 촬상 화소 및 저감도 촬상 화소는, 수광 면적이 모두 동일하고, 동시에 노광이 개시되지만, 노광 시간이 다르다.
여기에서의 고감도 촬상 화소는, 통상보다 노광 시간이 긴 촬상 화소이며, 주위가 어두운 경우라도 충분한 수광량을 얻을 수 있다. 이에 의해, 고감도 촬상 화소는, 휘도가 지나치게 낮아 통상의 노광 시간으로는 노출 부족인 피사체라도, 피사체의 상이 선명하게 찍힌 고감도 화상을 촬상할 수 있다.
또한, 여기서의 저감도 촬상 화소는, 통상보다 노광 시간이 짧은 촬상 화소이며, 주위가 밝은 경우라도 포화되는 경우가 없다. 이에 의해, 저감도 촬상 화소는, 휘도가 지나치게 높아 통상의 노광 시간으로는 노출 과다인 피사체라도, 피사체의 상이 선명하게 찍힌 저감도 화상을 촬상할 수 있다.
HDR 화상은, 상기한 고감도 화상과 저감도 화상을 HDR 합성함으로써 생성된다. 이 때문에, HDR 화상은, 어두운 피사체로부터 밝은 피사체까지 모든 피사체의 상이 선명하게 찍힌 화상이 된다.
한편, 도 1a에 도시된 화소 어레이(A1)에서는, 노광 시간을 다르게 함으로써, 수광 면적이 동일한 촬상 화소를 고감도 촬상 화소 또는 저감도 촬상 화소로서 기능시켰으나, 이는 일례이다. 예를 들면, 화소 어레이(A1)는, 각 촬상 화소에 적층되는 컬러 필터의 투광율을 다르게 함으로써, 노광 시간을 동일하게 하더라도, 각 촬상 화소를 고감도 촬상 화소 또는 저감도 촬상 화소로서 기능시킬 수 있다.
이 경우, 화소 어레이(A1)에서는, 투광율이 높은 컬러 필터가 적층되는 촬상 화소가 고감도 촬상 화소가 되고, 투광율이 낮은 컬러 필터가 적층되는 촬상 화소가 저감도 촬상 화소가 된다. 이러한 화소 어레이(A1)에 의해서도, 동시에 고감도 화상 및 저감도 화상을 촬상할 수 있기 때문에, 양 화상을 HDR 합성함으로써, HDR 화상을 촬상하는 것이 가능하다. 한편, 화소 어레이(A1)는, 촬상 화소에 적층하는 컬러 필터의 투광성을 조정함으로써, 중감도 촬상 화소(moderate-sensitivity imaging pixel)를 설치하는 것도 가능하다.
또한, 촬상 화소의 수광 면적을 다르게 함으로써, 컬러 필터의 투광성 및 노광 시간이 동일한 촬상 화소를 고감도 촬상 화소 또는 저감도 촬상 화소로서 기능시킬 수도 있다. 도 1b는, 본 개시의 제1 실시형태에 따른 다른 화소 어레이를 나타내는 설명도이다.
도 1b에 도시된 바와 같이, 화소 어레이(A2)는, 베이어 배열된 수광 면적이 넓은 촬상 화소(R, Gr, Gb, B)와, 수광 면적이 넓은 각 촬상 화소(R, Gr, Gb, B)의 네 코너에 배치된 수광 면적이 좁은 촬상 화소(R, Gr, Gb, B)를 구비한다. 수광 면적이 좁은 촬상 화소(R, Gr, Gb, B)의 각각의 배치는, 베이어 배열과 같은 배치로 되어 있다.
화소 어레이(A2)에서는, 컬러 필터의 투광성 및 노광 시간이 동일한 경우, 수광 면적이 넓은 촬상 화소(R, Gr, Gb, B)의 수광량이, 수광 면적이 좁은 촬상 화소(R, Gr, Gb, B)의 수광량보다 많게 된다.
이 때문에, 수광 면적이 넓은 촬상 화소(R, Gr, Gb, B)가 고감도 촬상 화소가 되고, 수광 면적이 좁은 촬상 화소(R, Gr, Gb, B)가 저감도 촬상 화소가 된다. 이러한 화소 어레이(A2)에 의해서도, 고감도 화상 및 저감도 화상을 촬상할 수 있기 때문에, 양 화상을 HDR 합성함으로써 HDR을 촬상하는 것이 가능하다.
여기서, 화상 데이터로부터 피사체를 인식하는 방법의 일례로서, DNN(Deep Neural Network)을 사용하는 화상 인식 방법이 있다. DNN은, 화상 데이터로부터 피사체의 특징(패턴)을 인식하도록 기계학습에 의해 설계된 인간의 뇌신경 회로(뉴럴네트워크(neural network))를 모델로 한 다계층 구조의 알고리즘이다.
도 2a는, 일반적인 DNN의 사용예를 나타내는 설명도이다. 예를 들면, HDR 화상으로부터 피사체를 인식하는 경우, 도 2a에 도시된 바와 같이, HDR 합성 후의 HDR 화상에 있어서의 각 화소의 신호(R, G, B)(HDR 화상의 화상 데이터)를 DNN에 입력하면, DNN으로부터 피사체의 인식 결과가 출력된다.
그러나, HDR 화상에는, HDR 합성이 행해짐으로써 실제로는 존재하지 않는 아티팩트(artifact)가 찍히는 경우가 있다. 이 때문에, HDR 화상에 있어서의 각 화소의 신호(R, G, B)를 DNN에 입력하면, 아티팩트의 폐해에 의해, DNN에 의한 피사체의 인식 정밀도가 저하되는 경우가 있다.
이에, 본 개시에서는, HDR 합성 전의 고감도 화상 및 저감도 화상의 각각으로부터 피사체를 인식함으로써, 아티팩트의 영향을 배제하고, 피사체의 인식 정밀도를 향상시킨다. 도 2b는, 본 개시의 제1 실시형태에 따른 DNN의 사용예를 나타내는 설명도이다.
도 2b에 도시된 바와 같이, 본 개시에서는, 예를 들면, 고감도 촬상 화소로부터 출력되는 고감도 신호(R, Gr, Gb, B)(고감도 화상의 화상 데이터) 및 저감도 촬상 화소로부터 출력되는 저감도 신호(R, Gr, Gb, B)(저감도 화상의 화상 데이터)를 DNN에 입력한다.
이에 의해, DNN은, 고감도 화상으로부터 인식한 피사체의 인식 결과와, 저감도 화상으로부터 인식한 피사체의 인식 결과를 출력한다. 이 때, DNN은, 아티팩트를 포함하지 않는 고감도 화상 및 저감도 화상으로부터 피사체를 인식하기 때문에, 아티팩트의 영향을 받지 않고 고정밀도인 피사체의 인식 결과를 출력할 수 있다.
이와 같이, 본 개시에 따른 화상 인식 방법은, 감도가 다른 촬상 화소를 사용하여, 1프레임 기간에 복수의 화상을 동일한 노광 시작 타이밍에서 촬상하여 화상 데이터를 생성하고, 화상 데이터의 각각으로부터 피사체를 인식하기 때문에 피사체의 인식 정밀도를 향상시킬 수 있다.
[1-2. 제1 실시형태에 따른 화상 인식 시스템의 구성]
다음으로, 도 3을 참조하여, 제1 실시형태에 따른 화상 인식 시스템의 구성에 대해 설명한다. 도 3은, 본 개시의 제1 실시형태에 따른 화상 인식 시스템의 구성예를 나타내는 도면이다. 도 3에 도시된 바와 같이, 제1 실시형태에 따른 화상 인식 시스템(100)은, 화상 인식 장치의 일례인 이미지 센서(1)와, 어플리케이션 프로세서(이하, AP(2)라고 기재함)를 갖는다.
이미지 센서(1)는, 촬상부(10)와, 신호 처리부(13)와, 인식부(14)와, 데이터 송신 판단부(15)와, 선택기(이하, SEL(16)이라고 기재함)와, 송신부(17)를 구비한다. 촬상부(10)는, 촬상 소자(11)와, A/D(Analog/Digital) 변환부(12)를 구비한다.
촬상 소자(11)는, 예를 들면, 도 1b에 나타내는 화소 어레이(A2)를 구비한다. 한편, 촬상 소자(11)는, 도 1a에 나타낸 수광 면적이 동일하고 노광 시간이 다른 촬상 화소를 구비하는 화소 어레이(A1)이어도 되고, 수광 면적 및 노광 시간이 동일하고 적층되는 컬러 필터의 투광성이 다른 촬상 화소를 구비하는 화소 어레이이어도 된다.
이하에서는, 화소 어레이(A2)가 구비하는 수광 면적이 넓은 촬상 화소를 대화소, 수광 면적이 좁은 촬상 화소를 소화소라고 칭하는 경우가 있다. 촬상 소자(11)는, 동일한 노광 시작 타이밍 및 동일한 노광 시간으로 대화소와 소화소를 노광하여, 고감도 화상 및 저감도 화상을 동시에 촬상한다.
그리고, 촬상 소자(11)는, 각 대화소 및 소화소로부터 A/D 변환부(12)로 수광량에 따른 아날로그의 화소 신호를 출력한다. A/D 변환부(12)는, 촬상 소자(11)로부터 입력되는 아날로그의 화소 신호를 디지털의 화소 신호로 A/D 변환하여 고감도 화상의 화상 데이터와 저감도 화상의 화상 데이터를 생성하고, 신호 처리부(13)에 출력한다.
신호 처리부(13)는, CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory) 등을 갖는 마이크로 컴퓨터나 각종의 회로를 포함한다.
신호 처리부(13)는, A/D 변환부(12)로부터 입력되는 고감도 화상의 화상 데이터와, 저감도 화상의 화상 데이터에 대해, 각각 소정의 신호 처리를 실행하고, 신호 처리 후의 고감도 화상의 화상 데이터 및 저감도 화상의 화상 데이터를 인식부(14)와, SEL(16)에 출력한다.
여기서, 도 4를 참조하여, 신호 처리부(13)가 실행하는 처리의 흐름에 대해 설명한다. 도 4는, 본 개시의 제1 실시형태에 따른 신호 처리부가 실행하는 처리의 설명도이다. 도 4에 도시된 바와 같이, 신호 처리부(13)는, 입력되는 화상 데이터에 대해, 먼저, 셰이딩(shading) 보정을 행하고, 계속하여, 혼색 보정을 행한다.
그 후, 신호 처리부(13)는, 화상 데이터에 대해 디지털 게인 조정을 행하고, 계속하여, 화이트 밸런스 게인 조정을 행한다. 그 후, 신호 처리부(13)는, 화상 데이터에 대해 디모자이크를 행한 후, 마지막으로 감마 보정을 행하고, 감마 보정 후의 화상 데이터를 출력한다.
또한, 디모자이크에서는, 고감도 화상 및 저감도 화상의 각 화소의 색을 주위의 화소 색에 의해 보완하는 처리를 행한다. 이 때문에, 디모자이크 전의 고감도 화상 및 저감도 화상의 화상 데이터는, 4종류의 화소 신호(R, Gr, Gb, B)가 되지만, 디모자이크 후의 화상 데이터는, 3종류의 화소 신호(R, G, B)가 된다.
도 3으로 돌아가서, 인식부(14)는, CPU, ROM, RAM 등을 갖는 마이크로 컴퓨터나 각종의 회로를 포함한다. 인식부(14)는, CPU가 ROM에 기억된 물체 인식 프로그램을, RAM을 작업 영역으로서 사용하여 실행함으로써 기능하는 물체 인식부(31)와, RAM 또는 ROM에 설치되는 물체 인식용 데이터 기억부(32)를 구비한다.
물체 인식용 데이터 기억부(32)에는, 복수의 DNN이 기억되어 있다. 예를 들면, 물체 인식용 데이터 기억부(32)에는, 고감도 화상의 화상 데이터로부터 물체를 인식하는 DNN, 저감도 화상의 화상 데이터로부터 물체를 인식하는 DNN이 기억되어 있다. 한편, 물체 인식용 데이터 기억부(32)에는, 인식 대상이 되는 물체의 종류별의 DNN이 기억된다.
물체 인식부(31)는, 설정되는 인식 대상의 종류에 따른 DNN을 물체 인식용 데이터 기억부(32)로부터 판독하고, 화상 데이터를 DNN에 입력하여 DNN으로부터 출력되는 피사체의 인식 결과를 데이터 송신 판단부(15)에 출력하고, 인식 결과의 메타 데이터를 SEL(16)에 출력한다.
여기서, 도 5a 및 도 5b를 참조하여, 인식부(14)가 행하는 처리의 흐름에 대해 설명한다. 도 5a 및 도 5b는, 본 개시의 제1 실시형태에 따른 인식부가 실행하는 처리의 설명도이다. 도 5a에 도시된 바와 같이, 인식부(14)는, 먼저, 입력되는 화상 데이터의 사이즈 및 입력 값을 DNN용의 사이즈 및 입력 값에 맞춰 정규화하고, 정규화 후의 화상 데이터를 DNN에 입력하여 물체 인식을 행한다. 그리고, 인식부(14)는, DNN으로부터 출력되는 피사체의 인식 결과를 데이터 송신 판단부(15)에 출력하고, 인식 결과의 메타 데이터를 SEL(16)에 출력한다.
이 때, 도 5b에 도시된 바와 같이, 인식부(14)는, 대화소의 화소 신호(R, G, B)와, 소화소의 화소 신호(R, G, B)를 DNN에 입력한다. 이에 의해, 인식부(14)는, 아티팩트가 없는 고감도 화상 및 저감도 화상의 각각으로부터 피사체를 인식함으로써, 피사체의 인식 정밀도를 향상시킬 수 있다.
도 3으로 돌아가서, 데이터 송신 판단부(15)는, 인식부(14)로부터 입력되는 인식 결과에 따라 SEL(16)로부터 출력시키는 데이터를 스위칭하는 제어 신호를 SEL(16)에 출력한다. 데이터 송신 판단부(15)는, 인식부(14)에 의해 피사체가 인식된 경우에는, 화상 데이터와, 인식 결과를 나타내는 메타 데이터를 송신부(17)로 출력시키는 제어 신호를 SEL(16)에 출력한다.
또한, 데이터 송신 판단부(15)는, 인식부(14)에 의해 피사체가 인식되지 않은 경우, 그 취지를 나타내는 정보(NO 데이터)를 송신부(17)로 출력시키는 제어 신호를 SEL(16)에 출력한다. SEL(16)은, 데이터 송신 판단부(15)로부터 입력되는 제어 신호에 따라, 화상 데이터 및 메타 데이터의 세트, 또는, NO 데이터 중 어느 하나를 송신부(17)로 출력한다.
송신부(17)는, AP(2)와의 사이에서 데이터 통신을 행하는 통신 I/F(인터페이스)이며, SEL(16)로부터 입력되는 화상 데이터 및 메타 데이터의 세트, 또는, NO 데이터 중 어느 하나를 AP(2)로 송신한다.
AP(2)는, 화상 인식 시스템(100)의 용도에 따른 각종 애플리케이션 프로그램을 실행하는 CPU, ROM, RAM 등을 갖는 마이크로 컴퓨터나 각종의 회로를 포함한다. AP(2)는, 수신부(21)와, 인증부(22)와, 인증용 데이터 기억부(23)를 구비한다.
인증용 데이터 기억부(23)에는, 이미지 센서(1)에 의해 인식된 피사체를 인증하기 위한 인증용 프로그램 및 인증용 화상 데이터 등이 기억되어 있다. 수신부(21)는, 이미지 센서(1)와의 사이에서 데이터 통신을 행하는 통신 I/F이다. 수신부(21)는, 이미지 센서(1)로부터 화상 데이터 및 메타 데이터의 세트, 또는, NO 데이터 중 어느 하나를 수신하여 인증부(22)로 출력한다.
인증부(22)는, 수신부(21)로부터 NO 데이터가 입력되는 경우에는 기동하지 않고, 화상 데이터 및 메타 데이터의 세트가 입력된 경우에 기동한다. 인증부(22)는, 기동하면 인증용 데이터 기억부(23)로부터 인증용 프로그램을 판독하여 실행하고, 이미지 센서(1)에 의해 인식된 피사체를 인증한다.
예를 들면, 인증부(22)는, 피사체가 사람인 것을 나타내는 메타 데이터와 화상 데이터의 세트가 입력되는 경우, 화상 데이터와 사람의 인증용 화상 데이터를 조회하여, 인식된 사람이 누구인지를 특정하는 처리 등을 행한다.
이 때, 인증부(22)는, 이미지 센서(1)에 의해 피사체가 사람이라고 고정밀도로 인식된 아티팩트의 영향이 없는 고감도 화상 및 저감도 화상의 화상 데이터에 기초하여 사람을 특정함으로써, 인식된 사람이 누구인지를 정확하게 특정할 수 있다. 한편, 상기한 제1 실시형태는, 일례이며, 다양한 변형이 가능하다. 다음으로 제1 실시형태에 따른 변형예에 대해 설명한다.
[1-3. 제1 실시형태에 따른 이미지 센서의 변형예]
도 6은, 본 개시의 제1 실시형태에 따른 신호 처리부가 실행하는 처리의 변형예를 나타내는 설명도이다. 도 7은, 본 개시의 제1 실시형태에 따른 DNN의 사용예의 변형예를 나타내는 설명도이다.
도 6에 도시된 바와 같이, 변형예에 따른 신호 처리부는, 입력되는 화상 데이터에 대해, 셰이딩 보정, 혼색 보정, 디지털 게인 조정, 화이트 밸런스 게인 조정, 및 감마 보정을 행하고, 신호 처리 후의 화상 데이터를 인식부(14)와, SEL(16)로 출력한다.
이와 같이, 신호 처리부는, 도 4에 나타낸 신호 처리로부터 디모자이크를 생략할 수 있다. 이 경우, 인식부(14)는, 디모자이크가 실행되지 않는 화상 데이터로부터 피사체를 인식한다. 전술한 바와 같이, 디모자이크가 실행되지 않는 고감도 화상 및 저감도 화상의 화상 데이터는, 4종류의 화소 신호(R, Gr, Gb, B)가 된다.
따라서, 도 7에 도시된 바와 같이, 인식부(14)는, 대화소의 화소 신호(R, Gr, Gb, B)와, 소화소의 화소 신호(R, Gr, Gb, B)를 DNN에 입력한다. 이러한 경우, 인식부(14)는, DNN의 입력 채널 수가 증가하기 때문에 처리량이 증가하지만, DNN에는, 고감도 화상 및 저감도 화상의 화상 데이터가 개별적으로 입력되기 때문에, 아티팩트의 영향을 받지 않고 피사체를 고정밀도로 인식할 수 있다.
한편, 다른 변형예에서는, 신호 처리부 자체를 생략할 수도 있다. 이러한 경우, 도 7에 나타내는 예와 마찬가지로, 인식부(14)는, 대화소의 화소 신호(R, Gr, Gb, B)와, 소화소의 화소 신호(R, Gr, Gb, B)를 DNN에 입력하므로 처리량이 증가하지만, 신호 처리를 행하지 않는 만큼, 이미지 센서(1) 전체로서의 처리량이 대폭으로 저감된다.
한편, 제1 실시형태에서는, 데이터 송신 판단부(15)는, 피사체를 인식한 경우, 매회, 인식 결과의 메타 데이터와 화상 데이터를 SEL(16)에 출력시켰지만, 배터리 잔량에 따라 SEL(16)로부터 출력시키는 데이터를 선택해도 된다.
예를 들면, 데이터 송신 판단부(15)는, 인식부(14)에 의해 피사체가 인식된 경우, 배터리의 잔량이 충분히 있는 통상 모드에서는, 메타 데이터와 화상 데이터를 SEL(16)로부터 출력시킨다. 또한, 데이터 송신 판단부(15)는, 배터리의 잔량이 부족한 저소비 전력 모드에서는, 메타 데이터만을 SEL(16)로부터 출력시킨다. 이에 의해, 데이터 송신 판단부(15)는, 배터리의 잔량이 부족한 경우, 이미지 센서(1)의 소비 전력을 낮게 억제할 수 있다.
[1-4. 제1 실시형태에 따른 화상 인식 시스템의 변형예]
다음으로, 도 8을 참조하여, 제1 실시형태에 따른 화상 인식 시스템의 변형예에 대해 설명한다. 도 8은, 본 개시의 제1 실시형태에 따른 화상 인식 시스템의 변형예를 나타내는 설명도이다.
전술한 화상 인식 시스템(100)에서는, 이미지 센서(1)가 고감도 화상과 저감도 화상으로부터 피사체를 인식하였지만, 변형예에 따른 화상 인식 시스템(100a)에서는, 이미지 센서(1a)로부터 AP(2a)에 고감도 화상 및 저감도 화상을 송신하여, AP(2a)로 피사체 인식을 행한다.
구체적으로는, 도 8에 도시된 바와 같이, 변형예에 따른 화상 인식 시스템(100a)의 이미지 센서(1a)는, 고감도 화상 및 저감도 화상을 촬상하고, 대화소의 화소 신호(R, Gr, Gb, B)와, 소화소의 화소 신호(R, Gr, Gb, B)를 AP(2a)로 송신한다.
화상 인식 시스템(100a)의 AP(2a)는, DNN을 구비하고 있고, 이미지 센서(1a)로부터 수신하는 대화소의 화소 신호(R, Gr, Gb, B)와, 소화소의 화소 신호(R, Gr, Gb, B)를 DNN에 입력한다. 이에 의해, AP(2a)는, 아티팩트의 영향을 받지 않고, 고감도 화상 및 저감도 화상으로부터 고정밀도로 피사체를 인식할 수 있다.
[1-5. 제1 실시형태에 따른 이미지 센서가 실행하는 처리의 제1 구체예]
다음으로, 도 9 및 도 10을 참조하여, 제1 실시형태에 따른 이미지 센서가 실행하는 처리의 제1 구체예에 대해 설명한다.
한편, 여기서는, 이미지 센서(1)가 도 1a에 나타내는 촬상 화소의 수광 면적이 동일하고 노광 시간이 다른 화소 어레이(A1)를 구비하는 것으로 하고, 노광 시간이 긴 촬상 화소를 장시간 노광 화소, 노광 시간이 짧은 촬상 화소를 단시간 노광 화소라고 칭하여 설명한다.
또한, 여기서는, 도 9를 참조하여, 이미지 센서(1)가 화상으로부터 사람을 인식하는 경우의 동작의 개요를 설명한 후, 도 10을 참조하여, 이미지 센서(1)가 실행하는 처리의 제1 구체예에 대해 설명한다.
도 9는, 본 개시의 제1 실시형태에 따른 이미지 센서의 제1 동작예를 나타내는 설명도이다. 도 10은, 본 개시의 제1 실시형태에 따른 이미지 센서(1)가 실행하는 처리의 제1 구체예를 나타내는 플로우 차트이다.
도 9에 도시된 바와 같이, 이미지 센서(1)는, 먼저, 사람(P)이 찍힌 풀사이즈 화상(D1)을 촬상하고, 풀사이즈 화상(D1)을 비닝(binning)함으로써 해상도를 예를 들면 4분의 1로 저하시킨 제1 DNN 입력 이미지(D2)를 생성한다.
그리고, 이미지 센서(1)는, 제1 DNN 입력 이미지(D2)로부터 사람(P)을 인식한 경우, 비닝을 행하지 않는 풀사이즈 화상(D1)으로부터 사람(P)의 부분을 잘라내어 제2 DNN 입력 이미지(D3)를 생성한다.
구체적으로는, 도 10에 도시된 바와 같이, 이미지 센서(1)는, 먼저, 센서 설정 1로 제1 DNN 입력 이미지(D2)의 화상 데이터를 생성한다(스텝(S101)). 여기서, 센서 설정 1은, 낮은 AD 비트(ex. 4비트), 비닝(ex. H4V4), 장시간 노광 화소만 사용, 잘라내기(ex. 없음), 낮은 FPS(ex. 1fps)로 되어 있는 것으로 한다.
이 경우, 이미지 센서(1)는, 장시간 노광 화소만을 사용하여, 1fps의 프레임 레이트로 풀사이즈 화상(D1)을 촬상하고, 풀사이즈 화상(D1)의 화소 신호를 4비트로 아날로그 디지털 변환한다. 그 후, 이미지 센서(1)는, 풀사이즈 화상(D1)의 해상도를 비닝에 의해 4분의 1로 저하시키고, 화상 잘라내기를 행함이 없이 제1 DNN 입력 이미지(D2)를 생성한다.
계속해서, 이미지 센서(1)는, 제1 DNN 입력 이미지(D2)의 화상 데이터를 DNN에 입력하여 제1 DNN을 실행한다(스텝(S102)). 이 때, 이미지 센서(1)는, 사람 또는 물체의 검출을 낮은 정확도(저 accuracy)로 행한다. 그 후, 이미지 센서(1)는, 사람 또는 물체가 검출되었는지의 판정을 행한다(스텝(S103)).
그리고, 이미지 센서(1)는, 사람 또는 물체가 검출되지 않는다고 판정한 경우(스텝(S103), 아니오), 처리를 스텝(S102)으로 이동한다. 또한, 이미지 센서(1)는, 사람 또는 물체가 검출되었다고 판정한 경우(스텝(S103), 예), 처리를 스텝(S104)으로 이동한다.
스텝(S104)에 있어서, 이미지 센서(1)는, 센서 설정 2로 제2 DNN 입력 이미지(D3)의 화상 데이터를 생성한다. 여기서, 센서 설정 2는, 높은 AD 비트(ex. 10비트), 비닝(ex. 없음), 장/단시간 노광 화소 사용, 잘라내기(ex. 피사체 부근), 높은 FPS(ex. 30fps)로 되어 있는 것으로 한다.
이 경우, 이미지 센서(1)는, 장시간 노광 화소 및 단시간 노광 화소를 사용하여, 30fps의 프레임 레이트로 풀사이즈 화상(D1)을 촬상하고, 풀사이즈 화상(D1)의 화소 신호를 10비트로 아날로그 디지털 변환한다. 그 후, 이미지 센서(1)는, 풀사이즈 화상(D1)의 해상도를 저하시키지 않고, 풀사이즈 화상(D1)으로부터 피사체 부근의 부분을 잘라내어 제2 DNN 입력 이미지(D3)를 생성한다.
계속해서, 이미지 센서(1)는, 제2 DNN 입력 이미지(D3)의 화상 데이터를 DNN에 입력하여 제2 DNN을 실행한다(스텝(S105)). 이 때, 이미지 센서(1)는, 사람 인증 또는 물체 판별을 높은 정확도(고 accuracy)로 행한다. 그 후, 이미지 센서(1)는, 인식 대상인 사람 또는 물체가 검출되었는지의 판정을 행한다(스텝(S106)).
그리고, 이미지 센서(1)는, 사람 또는 물체가 검출되지 않는다고 판정한 경우(스텝(S106), 아니오), 처리를 스텝(S101)으로 이동한다. 또한, 이미지 센서(1)는, 사람 또는 물체가 검출되었다고 판정한 경우(스텝(S106), 예), AP(2)에 AP 기동 통지를 행하고(스텝(S107)), 처리를 종료한다. 이 때, 이미지 센서(1)는, 예를 들면, MIPI(Mobile Industry Processor Interface) 규격에 준거한 통신 방식으로 화상 데이터와 피사체의 검출(인식) 결과를 AP(2)에 출력한다.
[1-6. 제1 실시형태에 따른 이미지 센서가 실행하는 처리의 제2 구체예]
다음으로, 도 11~도 13을 참조하여, 제1 실시형태에 따른 이미지 센서가 실행하는 처리의 제2 구체예에 대해 설명한다.
한편, 여기서도, 이미지 센서(1)가 도 1a에 나타내는 촬상 화소의 수광 면적이 동일하고 노광 시간이 다른 화소 어레이(A1)를 구비하는 것으로 하고, 노광 시간이 긴 촬상 화소를 장시간 노광 화소, 노광 시간이 짧은 촬상 화소를 단시간 노광 화소라고 칭하여 설명한다.
한편, 여기서는, 도 11을 참조하여, 이미지 센서(1)가 화상으로부터 전방 차량과 신호기를 인식하는 경우의 동작의 개요를 설명한 후, 도 12를 참조하여, 이미지 센서(1)가 실행하는 처리의 제2 구체예를 설명하고, 그 후, 도 13을 참조하여 제2 구체예의 작용 효과를 설명한다.
도 11은, 본 개시의 제1 실시형태에 따른 이미지 센서의 제2 동작예를 나타내는 설명도이다. 도 12는, 본 개시의 제1 실시형태에 따른 이미지 센서(1)가 실행하는 처리의 제2 구체예를 나타내는 플로우 차트이다. 도 13은, 본 개시의 제1 실시형태에 따른 이미지 센서의 제2 동작예에 의한 작용 효과의 설명도이다.
도 11에 도시된 바와 같이, 이미지 센서(1)는, 먼저, 전방 차량(C) 및 신호기(S)가 찍힌 풀사이즈 화상(D4)을 촬상하고, 풀사이즈 화상(D4)에 대해 비닝에 의한 해상도의 저하를 행하지 않고 제1 DNN 입력 이미지(D5)를 생성한다.
그리고, 이미지 센서(1)는, 제1 DNN 입력 이미지(D5)로부터 신호기(S)를 인식한 경우, 풀사이즈 화상(D4)로부터 신호기(S)의 부분을 잘라내어 제2 DNN 입력 이미지(D6)를 생성한다. 또한, 이미지 센서(1)는, 제1 DNN 입력 이미지(D5)로부터 전방 차량(C)를 인식한 경우, 풀사이즈 화상(D4)로부터 전방 차량의 부분을 잘라내어 제3 DNN 입력 이미지(D7)를 생성한다.
구체적으로는, 도 12에 도시된 바와 같이, 이미지 센서(1)는, 먼저, 센서 설정 1로 제1 DNN 입력 이미지(D5)의 화상 데이터를 생성한다(스텝(S201)). 여기서, 센서 설정 1은, AD 비트(ex. 10비트), 비닝(ex. 없음), 장/단시간 노광 화소 사용, 잘라내기(ex. 없음), 높은 FPS(ex. 30fps)로 되어 있는 것으로 한다.
이 경우, 이미지 센서(1)는, 장시간 노광 화소 및 단시간 노광 화소를 사용하여, 30fps의 프레임 레이트로 풀사이즈 화상(D4)을 촬상하고, 풀사이즈 화상(D4)의 화소 신호를 10비트로 아날로그 디지털 변환한다. 그리고, 이미지 센서(1)는, 풀사이즈 화상(D4)의 해상도를 저하시키지 않고, 화상 잘라내기를 행함이 없이 제1 DNN 입력 이미지(D5)를 생성한다.
계속해서, 이미지 센서(1)는, 제1 DNN 입력 이미지(D5)의 화상 데이터를 DNN에 입력하여 제1 DNN을 실행한다(스텝(S202)). 이 때, 이미지 센서(1)는, 물체의 검출을 높은 정확도(고 accuracy)로 행한다. 그 후, 이미지 센서(1)는, 물체가 검출되었는지의 판정을 행한다(스텝(S203)).
그리고, 이미지 센서(1)는, 물체가 검출되지 않는다고 판정한 경우(스텝(S203), 아니오), 처리를 스텝(S202)으로 이동한다. 또한, 이미지 센서(1)는, 물체가 검출되었다고 판정한 경우(스텝(S203), 예), 검출 결과로부터 적절한 설정을 선택한다.
예를 들면, 이미지 센서(1)는, 신호기(S)를 검출(인식)한 경우, 센서 설정 2로 제2 DNN 입력 이미지(D6)의 화상 데이터를 생성한다(스텝(S204)). 여기서, 센서 설정 2는, 낮은 AD 비트(ex. 8비트), 비닝(ex. 없음), 장시간 노광 화소 사용, 잘라내기(ex. 피사체 부근), 높은 FPS(ex. 60fps)로 되어 있는 것으로 한다.
이 경우, 이미지 센서(1)는, 장시간 노광 화소를 사용하여, 60fps의 프레임 레이트로 풀사이즈 화상(D4)을 촬상하고, 풀사이즈 화상(D4)의 화소 신호를 8비트로 아날로그 디지털 변환한다. 그 후, 이미지 센서(1)는, 풀사이즈 화상(D4)의 해상도를 저하시키지 않고, 풀사이즈 화상(D4)로부터 피사체(신호기(S)) 부근의 부분을 잘라내어 제2 DNN 입력 이미지(D6)의 화상 데이터를 생성한다.
계속해서, 이미지 센서(1)는, 제2 DNN 입력 이미지(D6)의 화상 데이터를 DNN에 입력하여 제2 DNN을 실행한다(스텝(S205)). 이 때, 이미지 센서(1)는, 신호기 인식과 트래킹을 높은 정확도(고 accuracy)로 행한다. 그 후, 이미지 센서(1)는, 처리를 스텝(S208)으로 이동한다.
또한, 이미지 센서(1)는, 전방 차량(C)를 검출(인식)한 경우, 센서 설정 3으로 제3 DNN 입력 이미지(D7)의 화상 데이터를 생성한다(스텝(S206)). 여기서, 센서 설정 3은, 낮은 AD 비트(ex. 8비트), 비닝(ex. 없음), 단시간 노광 화소 사용, 잘라내기(ex. 피사체 부근), 높은 FPS(ex. 60fps)로 되어 있는 것으로 한다.
이 경우, 이미지 센서(1)는, 단시간 노광 화소를 사용하여, 60fps의 프레임 레이트로 풀사이즈 화상(D4)을 촬상하고, 풀사이즈 화상(D4)의 화소 신호를 8비트로 아날로그 디지털 변환한다. 그 후, 이미지 센서(1)는, 풀사이즈 화상(D4)의 해상도를 저하시키지 않고, 풀사이즈 화상(D4)로부터 피사체(전방 차량(C)) 부근의 부분을 잘라내어 제3 DNN 입력 이미지(D7)의 화상 데이터를 생성한다.
계속해서, 이미지 센서(1)는, 제3 DNN 입력 이미지(D7)의 화상 데이터를 DNN에 입력하여 제3 DNN을 실행한다(스텝(S207)). 이 때, 이미지 센서(1)는, 전방 차량 인식과 트래킹을 높은 정확도(고 accuracy)로 행한다. 그 후, 이미지 센서(1)는, 처리를 스텝(S208)으로 이동한다.
스텝(S208)에 있어서, 이미지 센서(1)는, 인식 대상인 신호기(S) 또는 전방 차량(C)이 검출되었는지의 판정을 행한다. 그리고, 이미지 센서(1)는, 신호기(S) 또는 전방 차량(C)가 검출되지 않는다고 판정한 경우(스텝(S208), 아니오), 처리를 스텝(S201)으로 이동한다.
또한, 이미지 센서(1)는, 신호기(S) 또는 전방 차량(C)이 검출되었다고 판정한 경우(스텝(S208), 예), AP(2)로 ADAS(Advanced Driver Assistance System) 통지를 행하고 (스텝(S209)), 처리를 종료한다. 이 때, 이미지 센서(1)는, 예를 들면, MIPI 규격에 준거한 통신 방식으로 화상 데이터와 피사체의 검출(인식)결과를 AP(2)에 출력한다.
한편, 이미지 센서(1)는, 피사체를 인식할 때마다, 매회, 화상 데이터와 피사체의 검출(인식)결과를 AP(2)에 출력할 필요는 없다. 예를 들면, 이미지 센서(1)는, AP(2)로부터 요구되는 경우에 한해, 화상 데이터와 피사체의 검출(인식)결과를 AP(2)에 출력할 경우도 있다.
이미지 센서(1)는, 상기 처리를 실행함으로써, 신호기(S)의 상태 및 전방 차량(C)의 위치를 고정밀도로 인식할 수 있다. 구체적으로는, LED(Light Emitting Diode)이 채용된 신호기(S)는, 미소 시간 주기로 점등과 소등을 반복하는 플리커를 일으키고 있다.
이 때문에, 이미지 센서(1)는, 단시간 노광 화소에서 신호기(S)를 촬상한 경우, 촬상 화상 중의 신호기(S)가 소등하고 있는 경우가 있다. 이 때문에, 이미지 센서(1)는, 플리커에 의한 피사체의 오인식을 방지하기 위해, 적어도 10ms 이상의 노광이 필요하다. 한편, 이미지 센서(1)는, 예를 들면, 전방 차량 등의 플리커를 일으키지 않는 피사체의 경우, 피사체의 흔들림을 억제하기 위해, 노광 시간을 짧게 할 필요가 있다.
이에, 도 13에 도시된 바와 같이, 이미지 센서(1)는, 장시간 노광 화소에 의해 촬상한 화상 데이터에 대해 신호기 인식용의 제2 DNN을 실행하고, 단시간 노광 화소에 의해 촬상한 화상에 대해 전방 차량 인식용의 제3 DNN을 실행한다.
이에 의해, 이미지 센서(1)는, 플리커의 영향을 받지 않고 신호기(S)의 상태를 고정밀도로 인식할 수 있고, 피사체의 흔들림을 억제함으로써 전방 차량(C)의 위치를 고정밀도로 인식할 수 있다.
(2. 제2 실시형태)
다음으로, 제2 실시형태에 따른 화상 인식 시스템에 대해 설명한다. 제2 실시형태에 따른 화상 인식 시스템은, 이미지 센서가 구비하는 화소 어레이의 구성과, 이미지 센서가 실행하는 처리가 제1 실시형태와는 다르고, 그 이외의 구성은 제1 실시형태와 마찬가지이다. 이 때문에, 이하에서는, 제1 실시형태와 다른 점에 대해 설명한다.
[2-1. 제2 실시형태에 따른 화소 어레이]
도 14는, 본 개시의 제2 실시형태에 따른 화소 어레이를 나타내는 설명도이다. 도 14에 나타내는 화소 어레이(A3)는, 적색광을 수광하는 4개의 화소(L, M, M, S)를 구비하는 촬상 화소(R), 녹색광을 수광하는 4개의 화소(L, M, M, S)를 구비하는 촬상 화소(Gr, Gb), 청색광을 수광하는 4개의 화소(L, M, M, S)를 구비하는 촬상 화소(B)가 베이어 배열된다.
화소(L, M, M, S)는, 모두 수광 면적이 동일하지만, 노광 시간이 다르다. 화소(L)는, 장시간 노광 화소이다. 화소(M)는, 중시간 노광 화소이다. 화소(S)는, 단시간 노광 화소이다. 이러한 화소 어레이(A3)는, 통상, 각 화소로부터 화소 신호를 출력함으로써, 매우 고해상도의 화소 어레이로서 기능한다. 또한, 화소 어레이(A3)는, 주위가 어두워진 경우, 2화소를 1화소로 비닝함으로써, 어두운 장소에서도 피사체를 찍을 수 있는 화소 어레이로서 기능한다.
제2 실시형태에 따른 이미지 센서는, 화소 어레이(A3)에 의해 장시간 노광 화상, 중시간 노광 화상, 및 단시간 노광 화상을 촬상한다. 그리고, 이미지 센서는, 장시간 노광 화상, 중시간 노광 화상, 및 단시간 노광 화상의 각각으로부터 피사체를 인식한다.
도 15는, 본 개시의 제2 실시형태에 따른 DNN의 사용예를 나타내는 설명도이다. 도 16은, 본 개시의 제2 실시형태에 따른 DNN의 다른 사용예를 나타내는 설명도이다. 제2 실시형태에 따른 이미지 센서는, 도 3에 나타내는 이미지 센서(1)와 동일한 구성을 구비한다.
따라서, 도 15에 도시된 바와 같이, 이미지 센서는, 디모자이크 후의 장시간 노광의 화소 신호(R, G, B)와, 중시간 노광의 화소 신호(R, G, B)와, 단시간 노광의 화소 신호(R, G, B)를 DNN에 입력한다.
DNN으로부터는, 장시간 노광 화상, 중시간 노광 화상, 및 단시간 노광 화상의 각각으로부터 피사체가 인식된 인식 결과가 출력된다. 이에 의해, 이미지 센서는, 아티팩트가 없는 장시간 노광 화상, 중시간 노광 화상, 및 단시간 노광 화상의 각각으로부터, 고휘도, 중휘도, 및 저휘도의 피사체를 고정밀도로 인식할 수 있다.
또한, 제2 실시형태에 따른 이미지 센서는, 제1 실시형태와 마찬가지로, 디모자이크를 생략할 수 있고, 신호 처리부(13)에 의한 신호 처리를 생략할 수도 있다. 이러한 경우, 도 16에 도시된 바와 같이, 이미지 센서는, 디모자이크가 행해지지 않는 장시간 노광의 화소 신호(R, Gr, Gb, B)와, 중시간 노광의 화소 신호(R, Gr, Gb, B)와, 단시간 노광의 화소 신호(R, Gr, Bb, B)를 DNN에 입력한다.
이에 의해, DNN의 입력 채널 수가 증가하여 처리량이 증가하지만, DNN에는, 장시간 노광 화상, 중시간 노광 화상, 및 단시간 노광 화상의 화상 데이터가 개별적으로 입력되기 때문에, 아티팩트의 영향을 받지 않고 피사체를 고정밀도로 인식할 수 있다.
[2-2. 제2 실시형태에 따른 이미지 센서가 실행하는 처리의 구체예]
다음으로, 도 17을 참조하여, 제1 실시형태에 따른 이미지 센서가 실행하는 처리의 구체예에 대해 설명한다. 여기서는, 이미지 센서가 화상으로부터 전방 차량과 신호기를 인식하는 경우에 실행하는 처리에 대해 설명한다.
도 17은, 본 개시의 제2 실시형태에 따른 이미지 센서가 실행하는 처리의 구체예를 나타내는 플로우 차트이다. 제2 실시형태에 따른 이미지 센서는, 도 11에 나타낸 각 화상과 마찬가지의 풀사이즈 화상(D4), 제1 DNN 입력 이미지(D5), 제2 DNN 입력 이미지(D6), 및 제3 DNN 입력 이미지(D7)의 화상 데이터를 생성하지만, 센서 설정 1, 2, 3의 내용이 제1 실시형태와는 다르다.
구체적으로는, 도 17에 도시된 바와 같이, 이미지 센서는, 먼저, 센서 설정 1로 제1 DNN 입력 이미지(D5)의 화상 데이터를 생성한다(스텝(S301)). 여기서, 센서 설정 1은, AD 비트(ex. 10비트), 비닝(ex. 없음), 장/중/단시간 노광 화소 사용, 잘라내기(ex. 없음), 높은 FPS(ex. 30fps)로 되어 있는 것으로 한다.
이 경우, 이미지 센서는, 장시간 노광 화소, 중시간 노광 화소, 및 단시간 노광 화소를 사용하여, 30fps의 프레임 레이트로 풀사이즈 화상(D4)을 촬상하고, 풀사이즈 화상(D4)의 화소 신호를 10비트로 아날로그 디지털 변환한다. 그리고, 이미지 센서는, 풀사이즈 화상(D4)의 해상도를 저하시키지 않고, 화상 잘라내기를 행함이 없이 제1 DNN 입력 이미지(D5)를 생성한다.
계속해서, 이미지 센서는, 제1 DNN 입력 이미지(D5)의 화상 데이터를 DNN에 입력하여 제1 DNN을 실행한다(스텝(S302)). 이 때, 이미지 센서는, 물체의 검출을 높은 정확도(고 accuracy)로 행한다. 그 후, 이미지 센서는, 물체가 검출되었는지의 판정을 행한다(스텝(S303)).
그리고, 이미지 센서는, 물체가 검출되지 않는다고 판정한 경우(스텝(S303), 아니오), 처리를 스텝(S302)으로 이동한다. 또한, 이미지 센서는, 물체가 검출되었다고 판정한 경우(스텝(S303), 예), 검출 결과로부터 적절한 설정을 선택한다.
예를 들면, 이미지 센서는, 신호기(S)를 검출(인식)한 경우, 센서 설정 2로 제2 DNN 입력 이미지(D6)의 화상 데이터를 생성한다(스텝(S304)). 여기서, 센서 설정 2는, 낮은 AD 비트(ex. 8비트), 비닝(ex. 없음), 중시간 노광 화소 사용, 잘라내기(ex. 피사체 부근), 높은 FPS(ex. 60fps)로 되어 있는 것으로 한다.
이 경우, 이미지 센서는, 중시간 노광 화소를 사용하여, 60fps의 프레임 레이트로 풀사이즈 화상(D4)을 촬상하고, 풀사이즈 화상(D4)의 화소 신호를 8비트로 아날로그 디지털 변환한다. 그 후, 이미지 센서는, 풀사이즈 화상(D4)의 해상도를 저하시키지 않고, 풀사이즈 화상(D4)로부터 피사체(신호기(S)) 부근의 부분을 잘라내어 제2 DNN 입력 이미지(D6)의 화상 데이터를 생성한다.
계속해서, 이미지 센서는, 제2 DNN 입력 이미지(D6)의 화상 데이터를 DNN에 입력하여 제2 DNN을 실행한다(스텝(S305)). 이 때, 이미지 센서는, 신호기 인식과 트래킹을 높은 정확도(고 accuracy)로 행한다. 그 후, 이미지 센서는, 처리를 스텝(S308)으로 이동한다.
또한, 이미지 센서는, 전방 차량(C)를 검출(인식)한 경우, 센서 설정 3으로 제3 DNN 입력 이미지(D7)의 화상 데이터를 생성한다(스텝(S306)). 여기서, 센서 설정 3은, 낮은 AD 비트(ex. 8비트), 비닝(ex. 없음), 단시간 노광 화소 사용, 잘라내기(ex. 피사체 부근), 높은 FPS(ex. 60fps)로 되어 있는 것으로 한다.
이 경우, 이미지 센서는, 단시간 노광 화소를 사용하여, 60fps의 프레임 레이트로 풀사이즈 화상(D4)을 촬상하고, 풀사이즈 화상(D4)의 화소 신호를 8비트로 아날로그 디지털 변환한다. 그 후, 이미지 센서는, 풀사이즈 화상(D4)의 해상도를 저하시키지 않고, 풀사이즈 화상(D4)로부터 피사체(전방 차량(C)) 부근의 부분을 잘라내어 제3 DNN 입력 이미지(D7)의 화상 데이터를 생성한다.
계속해서, 이미지 센서는, 제3 DNN 입력 이미지(D7)의 화상 데이터를 DNN에 입력하여 제3 DNN을 실행한다(스텝(S307)). 이 때, 이미지 센서는, 전방 차량 인식과 트래킹을 높은 정확도(고 accuracy)로 행한다. 그 후, 이미지 센서는, 처리를 스텝(S308)으로 이동한다.
스텝(S308)에 있어서, 이미지 센서는, 인식 대상인 신호기(S) 또는 전방 차량(C)이 검출되었는지의 판정을 행한다. 그리고, 이미지 센서는, 신호기(S) 또는 전방 차량(C)이 검출되지 않는다고 판정한 경우(스텝(S308), 아니오), 처리를 스텝(S301)으로 이동한다.
또한, 이미지 센서는, 신호기(S) 또는 전방 차량(C)이 검출되었다고 판정한 경우(스텝(S308), 예), AP(2)로 ADAS 통지를 행하고(스텝(S309)), 처리를 종료한다.
한편, 이미지 센서(1)는, 피사체를 인식할 때마다, 매회, 화상 데이터와 피사체의 검출(인식)결과를 AP(2)에 출력할 필요는 없다. 예를 들면, 이미지 센서(1)는, AP(2)로부터 요구되는 경우에 한해, 화상 데이터와 피사체의 검출(인식) 결과를 AP(2)에 출력하는 경우도 있다.
이와 같이, 제2 실시형태에 따른 이미지 센서는, 중시간 노광 화소에 의해 촬상한 화상 데이터에 대해 신호기 인식용의 제2 DNN을 실행하고, 단시간 노광 화소에 의해 촬상한 화상에 대해 전방 차량 인식용의 제3 DNN을 실행한다.
이에 의해, 이미지 센서는, 플리커의 영향을 받지 않고 신호기(S)의 상태를 고정밀도로 인식할 수 있고, 피사체의 흔들림을 억제함으로써 전방 차량(C)의 위치를 고정밀도로 인식할 수 있다.
[2-3. 제2 실시형태에 따른 다른 화소 어레이]
제2 실시형태에 따른 화소 어레이는, 도 14에 나타낸 화소 어레이(A3)에 한정되는 것은 아니다. 다음으로, 도 18을 참조하여, 다른 화소 어레이를 채용한 경우의 이미지 센서 동작예에 대해 설명한다. 도 18은, 본 개시의 제2 실시형태에 따른 다른 화소 어레이를 채용한 이미지 센서의 동작예를 나타내는 설명도이다.
이미지 센서는, 도 18의 우상에 나타내는 화소 어레이(A4)를 채용할 수도 있다. 화소 어레이(A4)는, 적색광을 수광하는 4개의 화소(M, M, M, S)를 구비하는 촬상 화소(R), 녹색광을 수광하는 4개의 화소(M, M, M, S)를 구비하는 촬상 화소(Gr, Gb), 청색광을 수광하는 4개의 화소(M, M, M, S)를 구비하는 촬상 화소(B)가 베이어 배열된다. 화소(M, M, M, S)는, 모두 수광 면적이 동일하지만, 노광 시간이 다르다. 화소(M)는, 중시간 노광 화소이다. 화소(S)는, 단시간 노광 화소이다.
이미지 센서는, 화소 어레이(A3)를 채용하는 경우, 화소 어레이(A3)의 화소(M, M, M, S)마다, 셔터 제어 및 화소 신호의 판독 제어를 독립적으로 행한다. 여기서, 전술한 바와 같이, 이미지 센서는, 플리커를 일으키는 신호기의 상태를 정확하게 인식하기 위해, 10ms 이상의 장시간 노광이 필요하다. 그러나, 이미지 센서는, 통상의 화소에서 주간에 10ms 이상의 장시간 노광을 행하면, 화소가 포화되는 경우가 있다.
이에, 이미지 센서는, 화소 어레이(A3)를 채용하는 경우, 도 18에 도시된 바와 같이, 예를 들면, 3개의 중시간 노광 화소(M, M, M)를 3.3ms씩 시계열로 순차 중시간 노광시킨다. 이에 의해, 3개의 각 중시간 노광 화소(M, M, M)는, 포화되지 않는다. 또한, 이 때, 이미지 센서는, 동시에 단시간 노광 화소(S)를 단시간 노광시킨다.
그리고, 이미지 센서는, 중시간 노광 화상의 각 화상 데이터에 대해 신호기 인식용의 제2 DNN을 실행하고, 단시간 노광 화상의 화상 데이터에 대해 전방 차량 인식용의 제3 DNN을 실행한다. 이에 의해, 이미지 센서는, 플리커의 영향을 받지 않고 신호기의 상태를 고정밀도로 인식할 수 있고, 피사체의 흔들림을 억제함으로써 전방 차량의 위치를 고정밀도로 인식할 수 있다.
[2-4. 제2 실시형태에 따른 이미지 센서의 다른 동작예]
다음으로, 도 19를 참조하여, 제2 실시형태에 따른 이미지 센서의 다른 동작예에 대해 설명한다. 도 19는, 제2 실시형태에 따른 이미지 센서의 다른 동작예의 설명도이다. 한편, 여기서는, 이미지 센서가 도 14에 나타내는 화소 어레이(A3)를 구비하는 것으로 하여 설명한다.
단, 도 19에 나타내는 화소 어레이(A3)의 장시간 노광 화소(L) 상에는 저투광율의 컬러 필터가 설치되고, 중시간 노광 화소(M) 상에는 중투광율의 컬러 필터가 설치되고, 단시간 노광 화소(S) 상에는 고투광율의 컬러 필터가 설치된다.
이러한 구성의 경우, 도 19에 도시된 바와 같이, 이미지 센서는, 장시간 노광 화소(L)을 장시간 노광시켜 저감도 화상의 화상 데이터를 생성하고, 저감도 화상의 화상 데이터에 대해 신호기 인식용의 제2 DNN을 실행한다. 이 때, 장시간 노광 화소(L)는, 저투광율의 컬러 필터가 적층되어 있기 때문에, 장시간 노광하더라도 포화되지 않는다. 이에 의해, 이미지 센서는, 플리커의 영향을 받지 않고 신호기의 상태를 고정밀도로 인식할 수 있다.
또한, 이미지 센서는, 중시간 노광 화상(M)을 중시간 노광시켜 중감도 화상을 생성하고, 단시간 노광 화소(S)를 단시간 노광시켜 고감도 화상을 생성하고, 중감도 화상 및 고감도 화상의 화상 데이터 각각에 대해 전방 차량 인식용의 제3 DNN을 실행한다. 이에 의해, 이미지 센서는, 피사체의 흔들림을 억제함으로써 전방 차량의 위치를 고정밀도로 인식할 수 있다.
[3. 이동체에의 응용예]
본 개시와 관련되는 기술(본 기술)은 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시와 관련되는 기술은 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 20은, 본 개시와 관련되는 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 20에 나타낸 예에서는, 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은 키리스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은 촬상부(12031)에 차 밖의 화상을 촬상시키고, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면, 운전자를 촬상하는 카메라를 포함한다. 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 20의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 21은, 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 21에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104 및 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프런트 노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)에 의해 취득되는 전방의 화상은, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
한편, 도 21에는, 촬상부(12101 내지 12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프런트 노즈에 설치된 촬상부(12101)의 촬상 범위를 나타낸다. 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는 거리 정보를 취득하는 기능을 갖고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104) 중 적어도 하나는 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 가지는 촬상 소자여도 된다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차와의 사이에서 미리 확보해야 하는 차간 거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형차량, 보행자, 전신주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면, 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 절차에 의해 행해진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하여, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어하여도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 예를 들면, 차외 정보 검출 유닛(12030), 촬상부(12031), 차내 정보 검출 유닛(12040), 및 운전자 상태 검출부(12041) 등에 적용될 수 있다. 예를 들면, 도 3의 이미지 센서(1)는, 촬상부(12031)에 적용할 수 있다. 촬상부(12031)에 본 개시에 따른 기술을 적용함으로써, 예를 들면, 더 보기 쉬운 촬영 화상을 얻을 수 있기 때문에, 운전자의 피로를 경감하는 것이 가능해진다.
[4. 효과]
화상 인식 장치의 일례인 이미지 센서(1)는, 촬상부(10)와, 인식부(14)를 갖는다. 촬상부(10)는, 감도가 다른 촬상 화소를 사용하여, 1프레임 기간에 복수의 화상을 동일한 노광 시작 타이밍에서 촬상하여 화상 데이터를 생성한다. 인식부(14)는, 화상 데이터의 각각으로부터 피사체를 인식한다. 이에 의해, 이미지 센서(1)는, 아티팩트의 영향을 배제함으로써, 피사체의 인식 정밀도를 향상시킬 수 있다.
또한, 촬상부(10)는, 수광 면적이 동일하고 노광 시간이 다른 복수의 촬상 화소가 2차원에 배열된 화소 어레이를 갖는다. 이에 의해, 이미지 센서(1)는, 장시간 노광 화상과 단시간 노광 화상으로부터, 각각 고정밀도로 피사체를 인식할 수 있다.
또한, 촬상부(10)는, 수광 면적이 동일하고 적층되는 컬러 필터의 투광율이 다른 복수의 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는다. 이에 의해, 이미지 센서(1)는, 고감도 화상과 저감도 화상으로부터, 각각 고정밀도로 피사체를 인식할 수 있다.
또한, 촬상부(10)는, 수광 면적이 다른 복수의 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는다. 이에 의해, 이에 의해, 이미지 센서(1)는, 대화소의 화소 신호와 소화소의 화소 신호로부터, 각각 고정밀도로 피사체를 인식할 수 있다.
또한, 촬상부(10)는, 장시간 노광 촬상 화소, 중시간 노광 촬상 화소, 및 단시간 노광 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는다. 이에 의해, 이미지 센서(1)는, 장시간 노광 화상과, 중시간 노광 화상과, 단시간 노광 화상으로부터, 각각 고정밀도로 피사체를 인식할 수 있다.
또한, 촬상부(10)는, 저감도 촬상 화소, 중감도 촬상 화소, 및 고감도 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는다. 이에 의해, 이미지 센서(1)는, 고감도 화상과, 중감도 화상과, 저감도 화상으로부터, 각각 고정밀도로 피사체를 인식할 수 있다.
또한, 인식부(14)는, 피사체를 인식한 경우, 피사체의 인식 결과 및 화상 데이터를 후단의 장치로 출력하고, 피사체를 인식하지 않는 경우, 그 취지를 나타내는 정보를 후단의 장치에 출력한다. 이에 의해, 이미지 센서(1)는, 피사체를 인식하지 않는 경우, 소비 전력을 저감할 수 있다.
또한, 인식부(14)는, 디모자이크 처리가 실행된 화상 데이터로부터 피사체를 인식한다. 이에 의해, 이미지 센서(1)는, 예를 들면, DNN의 입력 채널 수를 적게 함으로써, 처리 부하를 저감하면서, 고정밀도로 피사체를 인식할 수 있다.
또한, 인식부(14)는, 디모자이크 처리가 실행되지 않는 화상 데이터로부터 피사체를 인식한다. 이에 의해, 이미지 센서(1)는, 예를 들면, DNN의 입력 채널 수가 증가하지만, 고정밀도로 피사체를 인식할 수 있다.
인식부는, 촬상부로부터 입력되는 화상 데이터로부터 피사체를 인식한다. 이에 의해, 이미지 센서(1)는, 신호 처리를 생략할 수 있기 때문에, 대폭으로 처리 부하를 저감하면서, 고정밀도로 피사체를 인식할 수 있다.
또한, 촬상부(10)는, 인식부(14)에 의해 피사체가 검출되기 전에는, 저감도의 촬상 화소를 사용하여, 저해상 및 저프레임 레이트로 촬상한 화상 전체의 화상 데이터를 생성한다. 촬상부(10)는, 인식부에 의해 피사체가 검출된 후에는, 고감도의 촬상 화소를 사용하여, 고해상도 및 고프레임 레이트로 촬상한 화상으로부터 피사체를 잘라낸 화상 데이터를 생성한다. 인식부(14)는, 피사체를 검출하기 전에는, 화상 데이터에 피사체가 존재하는지 여부를 인식하고, 피사체를 검출한 후에는, 피사체가 무엇인지를 인식한다. 이에 의해, 이미지 센서는, 피사체를 검출할때까지 필요한 처리 부하 및 소비 전력을 저감할 수 있다.
또한, 촬상부(10)는, 인식부(14)에 의해 피사체가 검출되기 전에는, 저감도의 촬상 화소 및 고감도의 촬상 화소를 사용하여, 고해상 및 고프레임 레이트로 촬상한 화상 전체의 화상 데이터를 생성한다. 촬상부(10)는, 인식부(14)에 의해 검출된 피사체가 신호기인 경우에는, 저감도의 촬상 화소를 사용하고, 피사체가 차량인 경우에는, 고감도의 촬상 화소를 사용하여, 고해상도 및 고프레임 레이트로 촬상한 화상으로부터 피사체를 잘라낸 화상 데이터를 생성한다. 인식부(14)는, 피사체를 검출하기 전에는, 화상 데이터로부터 피사체를 인식하는 처리를 행하고, 피사체를 인식한 후에는, 화상 데이터에 기초하여 피사체에 따른 인식 처리를 행한다. 이에 의해, 이미지 센서는, 플리커가 일어나는 신호기의 상태를 정확하게 인식할 수 있음과 함께, 전방 차량의 위치를 고정밀도로 인식할 수 있다.
또한, 촬상부(10)는, 인식부(14)에 의해 피사체가 검출되기 전에는, 장시간 노광 촬상 화소, 중시간 노광 촬상 화소, 및 단시간 노광 촬상 화소를 사용하여, 고해상 및 고프레임 레이트로 촬상한 화상 전체의 화상 데이터를 생성한다. 촬상부(10)는, 인식부(14)에 의해 검출된 피사체가 신호기인 경우에는, 중시간 노광 촬상 화소를 사용하고, 피사체가 차량인 경우에는, 단시간 노광 촬상 화소를 사용하여, 고해상도 및 고프레임 레이트로 촬상한 화상으로부터 피사체를 잘라낸 화상 데이터를 생성한다. 인식부(14)는, 피사체를 검출하기 전에는, 화상 데이터로부터 피사체를 인식하는 처리를 행하고, 피사체를 인식한 후에는, 화상 데이터에 기초하여 피사체에 따른 인식 처리를 행한다. 이에 의해, 이미지 센서는, 플리커가 일어나는 신호기의 상태를 정확하게 인식할 수 있음과 함께, 전방 차량의 위치를 고정밀도로 인식할 수 있다.
또한, 화상 인식 방법은, 감도가 다른 촬상 화소를 사용하여, 1프레임 기간에 복수의 화상을 동일한 노광 시작 타이밍에서 촬상하여 화상 데이터를 생성하고, 화상 데이터의 각각으로부터 피사체를 인식한다. 이에 의해, 아티팩트의 영향을 배제함으로써, 피사체의 인식 정밀도를 향상시킬 수 있다.
한편, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 또한 다른 효과가 있어도 된다.
한편, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
감도가 다른 촬상 화소를 사용하여, 1프레임 기간에 복수의 화상을 동일한 노광 시작 타이밍에서 촬상하여 화상 데이터를 생성하는 촬상부와,
상기 화상 데이터의 각각으로부터 피사체를 인식하는 인식부를 갖는 화상 인식 장치.
(2)
상기 촬상부는,
수광 면적이 동일하고 노광 시간이 다른 복수의 상기 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는 상기 (1)에 기재된 화상 인식 장치.
(3)
상기 촬상부는,
수광 면적이 동일하고 적층되는 컬러 필터의 투광율이 다른 복수의 상기 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는 상기 (1)에 기재된 화상 인식 장치.
(4)
상기 촬상부는,
수광 면적이 다른 복수의 상기 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는 상기 (1)에 기재된 화상 인식 장치.
(5)
상기 촬상부는,
장시간 노광 촬상 화소, 중시간 노광 촬상 화소, 및 단시간 노광 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는 상기 (1)에 기재된 화상 인식 장치.
(6)
상기 촬상부는,
저감도 촬상 화소, 중감도 촬상 화소, 및 고감도 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는 상기 (1)에 기재된 화상 인식 장치.
(7)
상기 인식부는,
상기 피사체를 인식한 경우, 상기 피사체의 인식 결과 및 상기 화상 데이터를 후단의 장치로 출력하고, 상기 피사체를 인식하지 않는 경우, 그 취지를 나타내는 정보를 후단의 장치로 출력하는 상기 (1)~(6) 중 어느 하나에 기재된 화상 인식 장치.
(8)
상기 인식부는,
디모자이크 처리가 실행된 상기 화상 데이터로부터 상기 피사체를 인식하는 상기 (1)~(6) 중 어느 하나에 기재된 화상 인식 장치.
(9)
상기 인식부는,
디모자이크 처리가 실행되지 않는 상기 화상 데이터로부터 상기 피사체를 인식하는 상기 (1)~(6) 중 어느 하나에 기재된 화상 인식 장치.
(10)
상기 인식부는,
상기 촬상부에서 입력되는 상기 화상 데이터로부터 상기 피사체를 인식하는 상기 (1)~(6) 중 어느 하나에 기재된 화상 인식 장치.
(11)
상기 촬상부는,
상기 인식부에 의해 상기 피사체가 검출되기 전에는, 저감도의 상기 촬상 화소를 사용하여, 저해상 및 저프레임 레이트로 촬상한 화상 전체의 화상 데이터를 생성하고,
상기 인식부에 의해 상기 피사체가 검출된 후에는, 고감도의 상기 촬상 화소를 사용하여, 고해상도 및 고프레임 레이트로 촬상한 화상으로부터 상기 피사체를 잘라낸 화상 데이터를 생성하고,
상기 인식부는,
상기 피사체를 검출하기 전에는, 상기 화상 데이터에 상기 피사체가 존재하는지 여부를 인식하고, 상기 피사체를 검출한 후에는, 상기 피사체가 무엇인지를 인식하는 상기 (1)~(10) 중 어느 하나에 기재된 화상 인식 장치.
(12)
상기 촬상부는,
상기 인식부에 의해 상기 피사체가 검출되기 전에는, 저감도의 상기 촬상 화소 및 고감도의 상기 촬상 화소를 사용하여, 고해상 및 고프레임 레이트로 촬상한 화상 전체의 화상 데이터를 생성하고,
상기 인식부에 의해 검출된 상기 피사체가 신호기인 경우에는, 저감도의 상기 촬상 화소를 사용하고, 상기 피사체가 차량인 경우에는, 고감도의 상기 촬상 화소를 사용하여, 고해상도 및 고프레임 레이트로 촬상한 화상으로부터 상기 피사체를 잘라낸 화상 데이터를 생성하고,
상기 인식부는,
상기 피사체를 검출하기 전에는, 상기 화상 데이터로부터 상기 피사체를 인식하는 처리를 행하고, 상기 피사체를 인식한 후에는, 상기 화상 데이터에 기초하여 상기 피사체에 따른 인식 처리를 행하는 상기 (1)~(10) 중 어느 하나에 기재된 화상 인식 장치.
(13)
상기 촬상부는,
상기 인식부에 의해 상기 피사체가 검출되기 전에는, 상기 장시간 노광 촬상 화소, 상기 중시간 노광 촬상 화소, 및 상기 단시간 노광 촬상 화소를 사용하여, 고해상 및 고프레임 레이트로 촬상한 화상 전체의 화상 데이터를 생성하고,
상기 인식부에 의해 검출된 상기 피사체가 신호기인 경우에는, 상기 중시간 노광 촬상 화소를 사용하고, 상기 피사체가 차량인 경우에는, 상기 단시간 노광 촬상 화소를 사용하여, 고해상도 및 고프레임 레이트로 촬상한 화상으로부터 상기 피사체를 잘라낸 화상 데이터를 생성하고,
상기 인식부는,
상기 피사체를 검출하기 전에는, 상기 화상 데이터로부터 상기 피사체를 인식하는 처리를 행하고, 상기 피사체를 인식한 후에는, 상기 화상 데이터에 기초하여 상기 피사체에 따른 인식 처리를 행하는 상기 (5)에 기재된 화상 인식 장치.
(14)
감도가 다른 촬상 화소를 사용하여, 1프레임 기간에 복수의 화상을 동일한 노광 시작 타이밍에서 촬상하여 화상 데이터를 생성하는 단계와,
상기 화상 데이터의 각각으로부터 피사체를 인식하는 단계를 포함하는, 화상 인식 방법.
100: 화상 인식 시스템
1: 이미지 센서
10: 촬상부
11: 촬상 소자
12: A/D 변환부
13: 신호 처리부
14: 인식부
15: 데이터 송신 판단부
16: SEL
17: 송신부
2: AP
21: 수신부
22: 인증부
23: 인증용 데이터 기억부
31: 물체 인식부
32: 물체 인식용 데이터 기억부

Claims (14)

  1. 감도가 다른 촬상 화소를 사용하여, 1프레임 기간에 복수의 화상을 동일한 노광 시작 타이밍에서 촬상하여 화상 데이터를 생성하는 촬상부와,
    상기 화상 데이터의 각각으로부터 피사체를 인식하는 인식부를 갖는 화상 인식 장치.
  2. 제1항에 있어서,
    상기 촬상부는,
    수광 면적이 동일하고 노광 시간이 다른 복수의 상기 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는 화상 인식 장치.
  3. 제1항에 있어서,
    상기 촬상부는,
    수광 면적이 동일하고 적층되는 컬러 필터의 투광율이 다른 복수의 상기 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는 화상 인식 장치.
  4. 제1항에 있어서,
    상기 촬상부는,
    수광 면적이 다른 복수의 상기 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는 화상 인식 장치.
  5. 제1항에 있어서,
    상기 촬상부는,
    장시간 노광 촬상 화소, 중시간 노광 촬상 화소, 및 단시간 노광 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는 화상 인식 장치.
  6. 제1항에 있어서,
    상기 촬상부는,
    저감도 촬상 화소, 중감도 촬상 화소, 및 고감도 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는 화상 인식 장치.
  7. 제1항에 있어서,
    상기 인식부는,
    상기 피사체를 인식한 경우, 상기 피사체의 인식 결과 및 상기 화상 데이터를 후단의 장치로 출력하고, 상기 피사체를 인식하지 않는 경우, 그 취지를 나타내는 정보를 후단의 장치로 출력하는 화상 인식 장치.
  8. 제1항에 있어서,
    상기 인식부는,
    디모자이크 처리가 실행된 상기 화상 데이터로부터 상기 피사체를 인식하는 화상 인식 장치.
  9. 제1항에 있어서,
    상기 인식부는,
    디모자이크 처리가 실행되지 않는 상기 화상 데이터로부터 상기 피사체를 인식하는 화상 인식 장치.
  10. 제1항에 있어서,
    상기 인식부는,
    상기 촬상부에서 입력되는 상기 화상 데이터로부터 상기 피사체를 인식하는 화상 인식 장치.
  11. 제1항에 있어서,
    상기 촬상부는,
    상기 인식부에 의해 상기 피사체가 검출되기 전에는, 저감도의 상기 촬상 화소를 사용하여, 저해상 및 저프레임 레이트로 촬상한 화상 전체의 화상 데이터를 생성하고,
    상기 인식부에 의해 상기 피사체가 검출된 후에는, 고감도의 상기 촬상 화소를 사용하여, 고해상도 및 고프레임 레이트로 촬상한 화상으로부터 상기 피사체를 잘라낸 화상 데이터를 생성하고,
    상기 인식부는,
    상기 피사체를 검출하기 전에는, 상기 화상 데이터에 상기 피사체가 존재하는지 여부를 인식하고, 상기 피사체를 검출한 후에는, 상기 피사체가 무엇인지를 인식하는, 화상 인식 장치.
  12. 제1항에 있어서,
    상기 촬상부는,
    상기 인식부에 의해 상기 피사체가 검출되기 전에는, 저감도의 상기 촬상 화소 및 고감도의 상기 촬상 화소를 사용하여, 고해상 및 고프레임 레이트로 촬상한 화상 전체의 화상 데이터를 생성하고,
    상기 인식부에 의해 검출된 상기 피사체가 신호기인 경우에는, 저감도의 상기 촬상 화소를 사용하고, 상기 피사체가 차량인 경우에는, 고감도의 상기 촬상 화소를 사용하여, 고해상도 및 고프레임 레이트로 촬상한 화상으로부터 상기 피사체를 잘라낸 화상 데이터를 생성하고,
    상기 인식부는,
    상기 피사체를 검출하기 전에는, 상기 화상 데이터로부터 상기 피사체를 인식하는 처리를 행하고, 상기 피사체를 인식한 후에는, 상기 화상 데이터에 기초하여 상기 피사체에 따른 인식 처리를 행하는 화상 인식 장치.
  13. 제5항에 있어서,
    상기 촬상부는,
    상기 인식부에 의해 상기 피사체가 검출되기 전에는, 상기 장시간 노광 촬상 화소, 상기 중시간 노광 촬상 화소, 및 상기 단시간 노광 촬상 화소를 사용하여, 고해상 및 고프레임 레이트로 촬상한 화상 전체의 화상 데이터를 생성하고,
    상기 인식부에 의해 검출된 상기 피사체가 신호기인 경우에는, 상기 중시간 노광 촬상 화소를 사용하고, 상기 피사체가 차량인 경우에는, 상기 단시간 노광 촬상 화소를 사용하여, 고해상도 및 고프레임 레이트로 촬상한 화상으로부터 상기 피사체를 잘라낸 화상 데이터를 생성하고,
    상기 인식부는,
    상기 피사체를 검출하기 전에는, 상기 화상 데이터로부터 상기 피사체를 인식하는 처리를 행하고, 상기 피사체를 인식한 후에는, 상기 화상 데이터에 기초하여 상기 피사체에 따른 인식 처리를 행하는 화상 인식 장치.
  14. 감도가 다른 촬상 화소를 사용하여, 1프레임 기간에 복수의 화상을 동일한 노광 시작 타이밍에서 촬상하여 화상 데이터를 생성하는 단계와,
    상기 화상 데이터의 각각으로부터 피사체를 인식하는 단계를 포함하는, 화상 인식 방법.
KR1020217035917A 2019-05-10 2020-04-28 화상 인식 장치 및 화상 인식 방법 KR20220006520A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019089917A JP2020188310A (ja) 2019-05-10 2019-05-10 画像認識装置および画像認識方法
JPJP-P-2019-089917 2019-05-10
PCT/JP2020/018198 WO2020230636A1 (ja) 2019-05-10 2020-04-28 画像認識装置および画像認識方法

Publications (1)

Publication Number Publication Date
KR20220006520A true KR20220006520A (ko) 2022-01-17

Family

ID=73223010

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217035917A KR20220006520A (ko) 2019-05-10 2020-04-28 화상 인식 장치 및 화상 인식 방법

Country Status (7)

Country Link
US (1) US11710291B2 (ko)
JP (1) JP2020188310A (ko)
KR (1) KR20220006520A (ko)
CN (1) CN113826105A (ko)
DE (1) DE112020002319T5 (ko)
TW (1) TWI800722B (ko)
WO (1) WO2020230636A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202143119A (zh) * 2020-05-07 2021-11-16 瑞典商安訊士有限公司 在具有光強度廣泛範圍的場景中利用神經網路之物件偵測
CN115769250A (zh) * 2020-07-15 2023-03-07 安致尔软件公司 用于机动车的视觉系统
CN112085701B (zh) * 2020-08-05 2024-06-11 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
WO2023140026A1 (ja) * 2022-01-18 2023-07-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
WO2023145698A1 (ja) * 2022-01-28 2023-08-03 ｉ－ＰＲＯ株式会社 カメラ装置および画像処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014103643A (ja) 2012-11-22 2014-06-05 Canon Inc 撮像装置及び被写体認識方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102834309B (zh) 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制系统
JP5678804B2 (ja) 2011-05-27 2015-03-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9596398B2 (en) * 2011-09-02 2017-03-14 Microsoft Technology Licensing, Llc Automatic image capture
JP6514076B2 (ja) * 2015-09-11 2019-05-15 株式会社東芝 固体撮像装置
US10666881B2 (en) * 2015-09-24 2020-05-26 Sony Semiconductor Solutions Corporation Solid-state image sensor and electronic device
JP6891119B2 (ja) * 2015-09-24 2021-06-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子及び電子機器
US10362246B2 (en) * 2016-03-31 2019-07-23 Sony Corporation Solid-state image pickup device, method of driving the same, and electronic apparatus
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
CN110036632B (zh) * 2016-12-08 2021-07-09 新唐科技日本株式会社 固体摄像装置以及使用该固体摄像装置的摄像装置
JP2018169517A (ja) * 2017-03-30 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像モジュールおよび撮像装置の制御方法
KR102385365B1 (ko) * 2017-07-21 2022-04-12 삼성전자주식회사 전자 장치 및 전자 장치에서 이미지 데이터를 압축하는 방법
EP3462731B1 (en) * 2017-09-29 2021-11-10 Canon Kabushiki Kaisha Imaging device, imaging system, and moving body

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014103643A (ja) 2012-11-22 2014-06-05 Canon Inc 撮像装置及び被写体認識方法

Also Published As

Publication number Publication date
WO2020230636A1 (ja) 2020-11-19
DE112020002319T5 (de) 2022-01-27
JP2020188310A (ja) 2020-11-19
US11710291B2 (en) 2023-07-25
CN113826105A (zh) 2021-12-21
US20220207850A1 (en) 2022-06-30
TW202101959A (zh) 2021-01-01
TWI800722B (zh) 2023-05-01

Similar Documents

Publication Publication Date Title
KR20220006520A (ko) 화상 인식 장치 및 화상 인식 방법
KR20190051968A (ko) 촬상 장치 및 전자 기기
KR20220016056A (ko) 화상 인식 장치 및 화상 인식 방법
WO2020230660A1 (ja) 画像認識装置、固体撮像装置、および画像認識方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US11553117B2 (en) Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium
US20210297589A1 (en) Imaging device and method of controlling imaging device
TWI842952B (zh) 攝像裝置
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
US12088927B2 (en) Imaging device and imaging method
US20200014899A1 (en) Imaging device, imaging system, and method of controlling imaging device
WO2020166284A1 (ja) 撮像装置
WO2021166601A1 (ja) 撮像装置、および撮像方法
JP2024000625A (ja) 固体撮像装置および電子機器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal