KR20220016056A - 화상 인식 장치 및 화상 인식 방법 - Google Patents

화상 인식 장치 및 화상 인식 방법 Download PDF

Info

Publication number
KR20220016056A
KR20220016056A KR1020217037346A KR20217037346A KR20220016056A KR 20220016056 A KR20220016056 A KR 20220016056A KR 1020217037346 A KR1020217037346 A KR 1020217037346A KR 20217037346 A KR20217037346 A KR 20217037346A KR 20220016056 A KR20220016056 A KR 20220016056A
Authority
KR
South Korea
Prior art keywords
image
imaging
unit
recognition
subject
Prior art date
Application number
KR1020217037346A
Other languages
English (en)
Inventor
카즈유키 오쿠이케
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20220016056A publication Critical patent/KR20220016056A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H04N5/353—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

피사체의 인식 정밀도를 향상시킬 수 있는 화상 인식 장치 및 화상 인식 방법을 제공한다. 본 개시에 따른 화상 인식 장치(이미지 센서(1))는 촬상부(10)와 인식부(14)를 갖는다. 촬상부(10)는, 가시광을 수광하는 촬상 화소(R, Gr, Gb, B)와, 적외광을 수광하는 촬상 화소(IR)를 사용하여, 1 프레임 기간에 복수의 화상을 동일 노광 타이밍에서 촬상하여 화상 데이터를 생성한다. 인식부(14)는 화상 데이터의 각각으로부터 피사체를 인식한다.

Description

화상 인식 장치 및 화상 인식 방법
본 개시는 화상 인식 장치 및 화상 인식 방법에 관한 것이다.
1 프레임 기간에 감도가 서로 다른 복수의 화상을 촬상하여 합성함으로써 HDR(High Dynamic Range) 화상을 생성하는 HDR 촬상 모드를 구비하고, HDR 화상으로부터 피사체를 인식하는 촬상 장치가 있다(예를 들면, 특허문헌 1 참조).
또한, 가시광을 수광하는 촬상 화소와, 적외광을 수광하는 촬상 화소를 사용하여 촬상한 화상을 합성함으로써, HDR 화상을 생성하고, HDR 화상으로부터 피사체를 인식하는 촬상 장치도 있다.
특허문헌 1: 일본특허공개 제2014-103643호 공보
그러나, 상기 종래 기술에서는, 피사체의 인식 정밀도가 저하되는 경우가 있다. 이에, 본 개시에서는, 피사체의 인식 정밀도를 향상시킬 수 있는 화상 인식 장치 및 화상 인식 방법을 제안한다.
본 개시에 따른 화상 인식 장치는 촬상부와 인식부를 갖는다. 촬상부는, 가시광을 수광하는 촬상 화소와, 적외광을 수광하는 촬상 화소를 사용하여, 1 프레임 기간에 복수의 화상을 동일 노광 타이밍에서 촬상하여 화상 데이터를 생성한다. 인식부는, 상기 화상 데이터의 각각으로부터 피사체를 인식한다.
도 1은 본 개시에 따른 화소 어레이를 나타내는 설명도이다.
도 2a는 일반적인 DNN의 사용예를 나타내는 설명도이다.
도 2b는 본 개시에 따른 DNN의 사용예를 나타내는 설명도이다.
도 3은 본 개시에 따른 화상 인식 시스템의 구성예를 나타내는 도면이다.
도 4는 본 개시에 따른 신호 처리부가 실행하는 처리의 설명도이다.
도 5a는 본 개시에 따른 인식부가 실행하는 처리의 설명도이다.
도 5b는 본 개시에 따른 인식부가 실행하는 처리의 설명도이다.
도 6은 본 개시에 따른 신호 처리부가 실행하는 처리의 변형예를 나타내는 설명도이다.
도 7은 본 개시에 따른 인식부가 사용하는 DNN의 변형예를 나타내는 설명도이다.
도 8은 본 개시에 따른 화소 어레이의 제1 변형예를 나타내는 설명도이다.
도 9는 본 개시에 따른 화소 어레이의 제2 변형예를 나타내는 설명도이다.
도 10은 본 개시에 따른 화소 어레이의 제2 변형예를 채용한 경우의 DNN의 사용예를 나타내는 설명도이다.
도 11은 본 개시에 따른 화소 어레이의 제3 변형예를 나타내는 설명도이다.
도 12는 차량 제어 시스템의 개략적인 구성의 일례를 제시하는 블록도이다.
도 13은 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
이하에, 본 개시의 실시형태에 대해 도면에 기초하여 상세하게 설명한다. 한편, 이하의 각 실시형태에 있어서, 동일한 부위에는 동일한 부호를 붙임으로써 중복된 설명을 생략한다.
[1. 화상 인식 방법의 개요]
먼저, 본 개시에 따른 화상 인식 방법의 개요에 대해 설명한다. 본 개시에 따른 화상 인식 방법에서는, 가시광을 수광하는 촬상 화소와, 적외광을 수광하는 촬상 화소를 사용하여, 1 프레임 기간에 복수의 화상을 동일 노광 타이밍에서 촬상하여 화상 데이터를 생성하고, 화상 데이터의 각각으로부터 피사체를 인식한다. 여기서의 동일 노광 타이밍에서 촬상한다는 것은, 예를 들면, 복수의 화소의 노광을 별개의 타이밍에서 개시시키고, 동일한 타이밍에서 종료시켜 화상을 촬상하는 것을 의미한다.
복수의 화상의 촬상에는, HDR(High Dynamic Range) 화상의 촬상에 사용되는 화소 어레이를 사용한다. 도 1은 본 개시에 따른 화소 어레이를 나타내는 설명도이다. 예를 들면, 도 1에 나타내는 바와 같이, HDR 화상의 촬상에 사용되는 화소 어레이(A1)는, 적색 광을 수광하는 촬상 화소(R), 녹색 광을 수광하는 촬상 화소(Gr, Gb), 청색 광을 수광하는 촬상 화소(B)가 베이어 배열(Bayer array)되어 있다.
한편, 촬상 화소(Gr)는, 촬상 화소(R)가 배치되는 열에 설치되어 녹색 광을 수광하는 촬상 화소이다. 촬상 화소(Gb)는, 촬상 화소(B)가 배치되는 열에 설치되어 녹색 광을 수광하는 촬상 화소이다.
촬상 화소(R, Gr, Gb, B)는, 각각, L자 형상으로 배치되는 수광 면적이 동일한 3개의 촬상 소자를 구비한다. 촬상 소자(L)는, 촬상 소자(M, S)에 비해 노광 시간이 긴 장시간 노광 소자이다. 촬상 소자(S)는, 촬상 소자(L, M)에 비해 노광 시간이 짧은 단시간 노광 소자이다.
촬상 소자(M)는, 촬상 소자(S)보다 노광 시간이 길고, 촬상 소자(L)보다 노광 시간이 짧은 중간 시간 노광 소자이다. 또한, 화소 어레이(A1)는, 같은 색의 광을 수광하는 L자 형상으로 배치된 촬상 소자(L, M, S)에 의해 삼방이 둘러싸이는 위치에, 적외광을 수광하는 촬상 화소가 되는 촬상 소자(IR)를 구비한다.
촬상 소자(L)는, 노광 시간이 길므로, 주위가 어두운 경우이어도 충분한 수광량을 얻을 수 있다. 이에 의해, 촬상 소자(L)는, 휘도가 너무 낮아 통상의 노광 시간에서는 과소노출되는 피사체라 하더라도, 피사체의 상이 예쁘게 찍힌 고감도 화상(이하, 장시간 노광 화상이라고 하는 경우가 있음)을 촬상할 수 있다.
촬상 소자(S)는, 노광 시간이 짧으므로, 주위가 밝은 경우이어도 포화하는 경우가 없다. 이에 의해, 촬상 소자(S)는, 휘도가 너무 높아 통상의 노광 시간에서는 과다노출되는 피사체라 하더라도, 피사체의 상이 예쁘게 찍힌 저감도 화상(이하, 단시간 노광 화상이라고 하는 경우가 있음)을 촬상할 수 있다. 한편, 촬상 소자(M)는, 일반적인 디지털 카메라와 마찬가지의 노광 시간에서 중간 감도 화상(이하, 중간 시간 노광 화상이라고 하는 경우가 있음)을 촬상할 수 있다.
촬상 소자(IR)는, 적외광을 수광하므로, 예를 들면, 육안으로는 보기 어려운 어둠 속에서의 보행자나 차량, 차량의 헤드라이트나 스포트라이트로 보기 어려운 보행자, 연기나 안개로 인해 보기 어려운 물체 등의 상이 예쁘게 찍힌 IR(Infrared Ray) 화상을 촬상할 수 있다. 또한, 촬상 소자(IR)는 피사체의 열 정보를 검지할 수도 있다.
HDR 화상은, 상기한 고감도 화상, 중간 감도 화상, 저감도 화상, 및 IR 화상을 HDR 합성함으로써 생성된다. 이 때문에, HDR 화상은, 어두운 피사체, 밝은 피사체, 및 육안으로는 보이기 어려운 피사체 등의 모든 피사체의 상이 예쁘게 찍힌 화상이 된다.
한편, 도 1에 나타내는 화소 어레이(A1)에서는, 노광 시간을 다르게 함으로써, 수광 면적이 동일한 촬상 소자(L, M, S)에 의해 고감도 화상, 중간 감도 화상, 또는 저감도 화상을 촬상하지만, 이것은 일례이다. 예를 들면, 화소 어레이(A1)는, 각 촬상 화소에 적층되는 컬러 필터의 투광율을 다르게 함으로써, 노광 시간을 동일하게 하더라도, 고감도 화상, 중간 감도 화상, 또는 저감도 화상을 촬상할 수 있다.
이 경우, 화소 어레이(A1)에서는, 컬러 필터의 투광율이 통상보다 높은 촬상 화소가 고감도 촬상 화소가 되고, 컬러 필터의 투광율이 통상의 촬상 화소가 중간 감도 촬상 화소가 되고, 컬러 필터의 투광율이 통상보다 낮은 촬상 화소가 저감도 촬상 화소가 된다.
한편, 노광 개시 시간을 다르게 하는 방법으로서, 노광 개시 시간을 동일하게 하고 노광 종료 시간을 다르게 하는 방법, 노광 개시 시간을 다르게 하고 노광 종료 시간을 동일하게 하는 방법, 노광 개시 시간과 종료 시간 모두를 다른 시간으로 하는 방법을 사용하더라도, 고감도 화상, 중간 감도 화상, 또는 저감도 화상을 촬상할 수 있다.
이러한 화소 어레이(A1)에 의해서도, 동시에 고감도 화상 및 저감도 화상을 촬상할 수 있으므로, 양쪽 화상을 HDR 합성함으로써, HDR 화상을 촬상하는 것이 가능하다. 또한, 촬상 화소의 수광 면적을 다르게 함으로써, 컬러 필터의 투광성 및 노광 시간이 동일한 촬상 화소를 고감도 촬상 화소 또는 저감도 촬상 화소로서 기능시킬 수도 있다.
여기서, 화상 데이터로부터 피사체를 인식하는 방법의 일례로서, DNN(Deep Neural Network)을 사용하는 화상 인식 방법이 있다. DNN은, 화상 데이터로부터 피사체의 특징(패턴)을 인식하도록 기계 학습에 의해 설계된 인간의 뇌신경 회로(뉴럴 네트워크)를 모델로 한 다계층 구조의 알고리즘이다.
도 2a는 일반적인 DNN의 사용예를 나타내는 설명도이다. 예를 들면, HDR 화상으로부터 피사체를 인식하는 경우, 도 2a에 나타내는 바와 같이, HDR 합성 후의 HDR 화상에 있어서의 적(R), 녹(G), 청(B)의 각 화소의 신호(R, G, B)(HDR 화상의 화상 데이터)를 DNN에 입력하면, DNN으로부터 피사체의 인식 결과가 출력된다.
그러나, HDR 화상에는, HDR 합성이 행해졌으므로 실제로는 존재하지 않는 아티팩트(artifact)가 찍혀 들어가는 경우가 있다. 이 때문에, HDR 화상에 있어서의 각 화소의 신호(R, G, B)를 DNN에 입력하면, 아티팩트의 폐해에 의해, DNN에 의한 피사체의 인식 정밀도가 저하되는 경우가 있다.
이에, 본 개시에서는, HDR 합성 전의 고감도 화상, 중간 감도 화상, 저감도 화상, 및 IR 화상의 각각으로부터 피사체를 인식함으로써, 아티팩트의 영향을 배제하고, 피사체의 인식 정밀도를 향상시킨다. 도 2b는 본 개시에 따른 DNN의 사용예를 나타내는 설명도이다.
도 2b에 나타내는 바와 같이, 본 개시에서는, 예를 들면, 촬상 소자(L)로부터 출력되는 장시간 노광 신호(R, Gr, Gb, B)(고감도 화상의 화상 데이터)와, 촬상 소자(M)로부터 출력되는 중간 시간 노광 신호(R, Gr, Gb, B)(중간 감도 화상의 화상 데이터)를 DNN에 입력한다. 나아가, 본 개시에서는, 촬상 소자(S)로부터 출력되는 단시간 노광 신호(R, Gr, Gb, B)(저감도 화상의 화상 데이터)와, 촬상 소자(IR)로부터 출력되는 적외광 신호(IRr, IRgr, IRgb, IRb)(IR 화상의 화상 데이터)를 DNN에 입력한다.
이에 의해, DNN은, 고감도 화상, 중간 감도 화상, 저감도 화상과 IR 화상으로부터 피사체를 인식한 인식 결과를 출력한다.
이 때, DNN은, 아티팩트를 포함하지 않는 고감도 화상, 중간 감도 화상, 저감도 화상 및 IR 화상으로부터 피사체를 인식하므로, 아티팩트의 영향을 받지 않고 고정밀도인 피사체의 인식 결과를 출력할 수 있다.
이와 같이, 본 개시에 따른 화상 인식 방법은, 가시광을 수광하는 촬상 화소와, 적외광을 수광하는 촬상 화소를 사용하여, 1 프레임 기간에 복수의 노광 시간에서 촬상하고, 이들 모두를 사용하여 피사체를 인식하므로 피사체의 인식 정밀도를 향상시킬 수 있다.
[2. 화상 인식 시스템의 구성]
다음으로, 도 3을 참조하여, 본 개시에 따른 화상 인식 시스템의 구성에 대해 설명한다. 도 3은 본 개시에 따른 화상 인식 시스템의 구성예를 나타내는 도면이다. 도 3에 나타내는 바와 같이, 본 개시에 따른 화상 인식 시스템(100)은, 화상 인식 장치의 일례인 이미지 센서(1)와, 애플리케이션 프로세서(이하, AP(2)라고 기재함)를 갖는다.
이미지 센서(1)는, 촬상부(10)와, 신호 처리부(13)와, 인식부(14)와, 데이터 송신 판단부(15)와, 선택기(이하, SEL(16)이라고 기재함)와, 송신부(17)를 구비한다. 촬상부(10)는, 화소 어레이(A1)와, A/D(Analog/Digital) 변환부(12)를 구비한다.
화소 어레이(A1)는, 촬상 소자(L, M, S, IR)에 의해, 고감도 화상, 중간 감도 화상, 저감도 화상, 및 IR 화상을 촬상한다. 그리고, 화소 어레이(A1)는, 촬상 소자(L, M, S, IR)로부터 A/D 변환부(12)로 수광량에 따른 아날로그 화소 신호를 출력한다.
A/D 변환부(12)는, 화소 어레이(A1)로부터 입력되는 아날로그 화소 신호를 디지털 화소 신호로 A/D 변환하여 고감도 화상의 화상 데이터와, 중간 감도의 화상 데이터와, 저감도 화상의 화상 데이터와, 적외광의 화상 데이터를 생성하여, 신호 처리부(13)로 출력한다.
신호 처리부(13)는, CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory) 등을 갖는 마이크로컴퓨터나 각종의 회로를 포함한다.
신호 처리부(13)는, A/D 변환부(12)로부터 입력되는 고감도 화상의 화상 데이터와, 중간 감도의 화상 데이터와, 저감도 화상의 화상 데이터와, 적외광의 화상 데이터에 대해, 각각 소정의 신호 처리를 실행한다. 그리고, 신호 처리부(13)는, 신호 처리 후의 고감도 화상의 화상 데이터와, 중간 감도의 화상 데이터와, 저감도 화상의 화상 데이터와, 적외광의 화상 데이터를 인식부(14)와 SEL(16)로 출력한다.
여기서, 도 4를 참조하여, 신호 처리부(13)가 실행하는 처리의 흐름에 대해 설명한다. 도 4는 본 개시에 따른 신호 처리부가 실행하는 처리의 설명도이다. 도 4에 나타내는 바와 같이, 신호 처리부(13)는, 입력되는 화상 데이터에 대해, 먼저, 셰이딩 보정(shading correction)을 행하고, 계속해서, 혼색 보정을 행한다.
그 후, 신호 처리부(13)는, 화상 데이터에 대해 디지털 게인 조정을 행하고, 계속해서, 화이트 밸런스 게인 조정을 행한다. 그 후, 신호 처리부(13)는, 화상 데이터에 대해 디모자이크(demosaicing)를 행한 후, 마지막으로 감마 보정을 행하고, 감마 보정 후의 화상 데이터를 출력한다.
한편, 디모자이크에서는, 고감도 화상, 중간 감도 화상, 저감도 화상, 및 IR 화상의 각 화소의 색을 주위의 화소의 색에 따라 보완하는 처리를 행한다. 이 때문에, 디모자이크 전의 고감도 화상, 중간 감도 화상, 저감도 화상의 화상 데이터는, 각각 4종류의 화소 신호(R, Gr, Gb, B)가 되지만, 디모자이크 후의 화상 데이터는 3종류의 화소 신호(R, G, B)가 된다. 또한, 디모자이크 전의 IR 화상의 화상 데이터는 4종류의 화소 신호(IRr, IRgr, IRgb, IRb)가 되지만, 디모자이크 후의 화상 데이터는 1종류의 화상 신호(IR)가 된다.
도 3으로 돌아와서, 인식부(14)는 CPU, ROM, RAM 등을 갖는 마이크로컴퓨터나 각종의 회로를 포함한다. 인식부(14)는, CPU가 ROM에 기억된 물체 인식 프로그램을, RAM을 작업 영역으로서 사용하여 실행함으로써 기능하는 물체 인식부(31)와, RAM 또는 ROM에 설치되는 물체 인식용 데이터 기억부(32)를 구비한다. 물체 인식용 데이터 기억부(32)에는, 인식 대상이 되는 물체의 종류마다 DNN이 기억되어 있다.
물체 인식부(31)는, 설정되는 인식 대상의 종류에 따른 DNN을 물체 인식용 데이터 기억부(32)로부터 판독하고, 화상 데이터를 DNN에 입력하여 DNN으로부터 출력되는 피사체의 인식 결과를 데이터 송신 판단부(15)로 출력하고, 인식 결과의 메타데이터를 SEL(16)로 출력한다.
여기서, 도 5a 및 도 5b를 참조하여, 인식부(14)가 행하는 처리의 흐름에 대해 설명한다. 도 5a 및 도 5b는 본 개시에 따른 인식부가 실행하는 처리의 설명도이다. 도 5a에 나타내는 바와 같이, 인식부(14)는, 먼저, 입력되는 화상 데이터의 사이즈 및 입력 값을 DNN용의 사이즈 및 입력 값에 맞춰 정규화하고, 정규화 후의 화상 데이터를 DNN에 입력하여 물체 인식을 행한다. 그리고, 인식부(14)는, DNN으로부터 출력되는 피사체의 인식 결과를 데이터 송신 판단부(15)로 출력하고, 인식 결과의 메타데이터를 SEL(16)로 출력한다.
이 때, 도 5b에 나타내는 바와 같이, 인식부(14)는, 장시간 노광 신호(R, G, B)와, 중간 시간 노광 신호(R, G, B)와, 단시간 노광 신호(R, G, B)와, 적외광 신호(IR)를 DNN에 입력한다. 이에 의해, 인식부(14)는, 아티팩트가 없는 고감도 화상, 중간 감도 화상, 저감도 화상, 및 IR 화상의 각각으로부터 피사체를 인식함으로써, 피사체의 인식 정밀도를 향상시킬 수 있다.
도 3으로 돌아와서, 데이터 송신 판단부(15)는, 인식부(14)로부터 입력되는 인식 결과에 따라 SEL(16)로부터 출력시키는 데이터를 스위칭하는 제어 신호를 SEL(16)로 출력한다. 데이터 송신 판단부(15)는, 인식부(14)에 의해 피사체가 인식된 경우에는, 화상 데이터와, 인식 결과를 나타내는 메타데이터를 송신부(17)로 출력시키는 제어 신호를 SEL(16)로 출력한다.
또한, 데이터 송신 판단부(15)는, 인식부(14)에 의해 피사체가 인식되지 않은 경우, 그 취지를 나타내는 정보(No 데이터)를 송신부(17)로 출력시키는 제어 신호를 SEL(16)로 출력한다. SEL(16)은, 데이터 송신 판단부(15)로부터 입력되는 제어 신호에 따라, 화상 데이터 및 메타데이터의 세트, 또는, No 데이터 중 어느 하나를 송신부(17)로 출력한다.
송신부(17)는, AP(2)와의 사이에서 데이터 통신을 행하는 통신 I/F(인터페이스)이며, SEL(16)로부터 입력되는 화상 데이터 및 메타데이터의 세트, 또는, No 데이터 중 어느 하나를 AP(2)로 송신한다.
이와 같이, 이미지 센서(1)는, 피사체를 인식한 경우에만 화상 데이터를 AP(2)로 송신하고, 피사체를 인식하지 않은 경우에는, 화상 데이터를 AP(2)로 송신하지 않기 때문에, 화상 데이터의 송신에 필요한 소비 전력을 저감할 수 있다.
AP(2)는, 화상 인식 시스템(100)의 용도에 따른 각종 애플리케이션 프로그램을 실행하는 CPU, ROM, RAM 등을 갖는 마이크로컴퓨터나 각종의 회로를 포함한다. AP(2)는, 수신부(21)와, 인증부(22)와, 인증용 데이터 기억부(23)를 구비한다.
인증용 데이터 기억부(23)에는, 이미지 센서(1)에 의해 인식된 피사체를 인증하기 위한 인증용 프로그램 및 인증용 화상 데이터 등이 기억되어 있다. 수신부(21)는, 이미지 센서(1)와의 사이에서 데이터 통신을 행하는 통신 I/F이다. 수신부(21)는, 이미지 센서(1)로부터 화상 데이터 및 메타데이터의 세트, 또는, No 데이터 중 어느 하나를 수신하여 인증부(22)로 출력한다.
인증부(22)는, 수신부(21)로부터 No 데이터가 입력되는 경우에는 기동하지 않고, 화상 데이터 및 메타데이터의 세트가 입력된 경우에 기동한다. 인증부(22)는, 기동하면 인증용 데이터 기억부(23)로부터 인증용 프로그램을 판독하여 실행하고, 이미지 센서(1)에 의해 인식된 피사체를 인증한다.
예를 들면, 인증부(22)는, 피사체가 사람인 것을 나타내는 메타데이터와 화상 데이터의 세트가 입력되는 경우, 화상 데이터와 사람의 인증용 화상 데이터를 대조하여, 인식된 사람이 누구인지를 특정하는 처리 등을 행한다.
이 때, 인증부(22)는, 이미지 센서(1)에 의해 피사체가 사람인 것으로 고정밀도로 인식된 아티팩트의 영향이 없는 고감도 화상, 중간 감도 화상, 저감도 화상, 및 IR 화상의 화상 데이터에 기초하여 사람을 특정한다. 이에 의해, 인증부(22)는, 인식된 사람이 누구인지를 정확하게 특정할 수 있다. 한편, 상기한 실시형태는, 일례이며, 다양한 변형이 가능하다. 다음으로, 본 개시에 따른 실시형태에 따른 변형예에 대해 설명한다.
[3. 신호 처리부가 실행하는 처리의 변형예]
도 6은 본 개시에 따른 신호 처리부가 실행하는 처리의 변형예를 나타내는 설명도이다. 도 7은 본 개시에 따른 DNN의 사용예의 변형예를 나타내는 설명도이다.
도 6에 나타내는 바와 같이, 변형예에 따른 신호 처리부는, 입력되는 화상 데이터에 대해, 셰이딩 보정, 혼색 보정, 디지털 게인 조정, 화이트 밸런스 게인 조정, 및 감마 보정을 행하고, 신호 처리 후의 화상 데이터를 인식부(14)와 SEL(16)에 출력한다.
이와 같이, 신호 처리부는, 도 4에 나타낸 신호 처리로부터 디모자이크를 생략할 수 있다. 이 경우, 인식부(14)는, 디모자이크가 실행되지 않은 화상 데이터로부터 피사체를 인식한다. 전술한 바와 같이, 디모자이크가 실행되지 않은 고감도 화상, 중간 감도 화상, 및 저감도 화상의 화상 데이터는, 4종류의 화소 신호(R, Gr, Gb, B)가 된다. 또한, 디모자이크가 실행되지 않은 IR 화상의 화상 데이터는, 화소 신호(IRr, IRgr, IRgb, IRb)가 된다.
이 때문에, 인식부(14)는, 장시간 노광 신호(R, Gr, Gb, B)와, 중간 시간 노광 신호(R, Gr, Gb, B)와, 단시간 노광 신호(R, Gr, Gb, B)와, 적외광 신호(IRr, IRgr, IRgb, IR)를 DNN에 입력한다(도 2b 참조). 이러한 경우, 인식부(14)는, DNN의 입력 채널 수가 늘어나므로 처리량이 늘지만, DNN에는, 고감도 화상, 중간 감도 화상, 저감도 화상, IR 화상의 화상 데이터가 개별적으로 입력되므로, 아티팩트의 영향을 받지 않고 피사체를 고정밀도로 인식할 수 있다.
한편, 다른 변형예에서는, 신호 처리부 자체를 생략할 수도 있다. 이러한 경우에도 마찬가지로, 인식부(14)는, 장시간 노광 신호(R, Gr, Gb, B)와, 중간 시간 노광 신호(R, Gr, Gb, B)와, 단시간 노광 신호(R, Gr, Gb, B)와, 적외광 신호(IRr, IRgr, IRgb, IR)를 DNN에 입력한다. 이 때문에, 인식부(14)는, 처리량이 늘지만, 신호 처리를 행하지 않는 만큼, 이미지 센서(1) 전체로서의 처리량이 대폭 저감된다.
한편, 상기한 실시형태에서는, 데이터 송신 판단부(15)는, 피사체를 인식한 경우에, 매회, 인식 결과의 메타데이터와 화상 데이터를 SEL(16)에 출력시켰지만, 배터리 잔량에 따라 SEL(16)로부터 출력시키는 데이터를 선택해도 된다.
예를 들면, 데이터 송신 판단부(15)는, 인식부(14)에 의해 피사체가 인식된 경우, 배터리의 잔량이 소정 잔량 이상 있는 상태의 통상 모드에서는, 메타데이터와 화상 데이터를 SEL(16)로부터 출력시킨다. 또한, 데이터 송신 판단부(15)는, 배터리의 잔량이 소정 잔량 미만인 상태의 저소비 전력 모드에서는, 메타데이터만을 SEL(16)로부터 출력시킨다. 이에 의해, 데이터 송신 판단부(15)는, 배터리의 잔량이 부족한 경우에, 이미지 센서(1)의 소비 전력을 낮게 억제할 수 있다.
[4. 인식부에 의한 피사체 인식의 변형예]
도 7은 본 개시에 따른 인식부가 사용하는 DNN의 변형예를 나타내는 설명도이다. 도 2b 및 도 5b에 나타낸 예에서는, 인식부(14)는, 1개의 DNN을 사용하여 피사체의 인식을 행하였지만, 도 7에 나타내는 바와 같이, 2개의 DNN을 사용할 수도 있다.
구체적으로는, 장시간 노광 화상, 중간 시간 노광 화상, 및 단시간 노광 화상에는, 색채가 있지만, IR 화상에는, 색채가 없다. 이 때문에, 장시간 노광 화상, 중간 시간 노광 화상, 및 단시간 노광 화상과, IR 화상에서는, 화상 중의 피사체의 특징이 다르다.
이에, 변형예에 따른 인식부는, 제1 DNN과 제2 DNN을 사용하여 피사체를 인식한다. 제1 DNN은, 장시간 노광 화상, 중간 시간 노광 화상, 및 단시간 노광 화상으로부터 피사체를 인식하는 것에 특화하여 기계 학습된 학습 모델이다. 제2 DNN은, IR 화상으로부터 피사체를 인식하는 것에 특화하여 기계 학습된 학습 모델이다.
변형예에 따른 인식부는, 제1 DNN에 장시간 노광 신호(R, G, B), 중간 시간 노광 신호(R, G, B), 단시간 노광 신호(R, G, B)를 입력하고, 장시간 노광 화상, 중간 시간 노광 화상, 및 단시간 노광 화상으로부터 피사체를 인식한다. 또한, 인식부는, 제2 DNN에 적외광 신호를 입력하여, IR 화상으로부터 피사체를 인식한다. 이에 의해, 인식부는, 피사체의 인식 정밀도를 더욱 향상시킬 수 있다.
[5. 화소 어레이의 변형예]
도 8은 본 개시에 따른 화소 어레이의 제1 변형예를 나타내는 설명도이다. 도 9는 본 개시에 따른 화소 어레이의 제2 변형예를 나타내는 설명도이다. 도 10은 본 개시에 따른 화소 어레이의 제2 변형예를 채용한 경우의 DNN의 사용예를 나타내는 설명도이다. 도 11은 본 개시에 따른 화소 어레이의 제3 변형예를 나타내는 설명도이다.
도 8에 나타내는 바와 같이, 제1 변형예에 따른 화소 어레이(A2)는, 도 1에 나타낸 촬상 소자(IR) 대신에 ToF(Time of Flight) 센서를 구비한다. 화소 어레이(A2)를 채용하는 경우, 이미지 센서(1)는, 피사체를 향해 적외광을 조사하는 발광부를 구비한다.
ToF 센서는, 적외광이 조사되고 나서, 피사체에서 반사된 적외광을 수광할 때까지의 시간에 기초하여, 피사체까지의 거리를 측정하는 센서이다. 이미지 센서(1)는, 이러한 화소 어레이(A2)를 채용함으로써, 피사체의 인식에 더하여, 피사체까지의 거리를 측정할 수 있다.
또한, 도 9에 나타내는 바와 같이, 제2 변형예에 따른 화소 어레이(A3)는, 적색 광을 수광하는 촬상 화소(R)와, 녹색 광을 수광하는 촬상 화소(G)와, 청색 광을 수광하는 촬상 화소(B)와, 적외광을 수광하는 촬상 화소(IR)를 구비한다.
촬상 화소(R)는, 장시간 노광하는 촬상 소자(RL)와 단시간 노광하는 촬상 소자(RS)를 구비한다. 촬상 화소(G)는, 장시간 노광하는 촬상 소자(GL)와 단시간 노광하는 촬상 소자(GS)를 구비한다. 촬상 화소(B)는, 장시간 노광하는 촬상 소자(BL)와 단시간 노광하는 촬상 소자(BS)를 구비한다.
이와 같이, 화소 어레이(A3)는, 각 촬상 화소(R, G, B)가, 각각 2개의 촬상 소자(RL, RS, GL, GS, BL, BS)를 구비한다. 이러한 화소 어레이(A3)는, 일반적으로는, 각 촬상 화소(R, G, B)가 구비하는 모든 촬상 소자(RL, RS, GL, GS, BL, BS)의 노광 시간을 동일하게 하고, 좌우의 촬상 소자에 의해 수광되는 광의 위상차에 기초하여 초점을 자동 조정하는 오토포커스(autofocus)에 사용된다.
본 개시에서는, 이러한 화소 어레이(A3)의 촬상 화소(R, G, B)가 구비하는 촬상 소자(RL, RS, GL, GS, BL, BS)의 노광 시간을 개별적으로 제어함으로써, 촬상 소자(RL, GL, BL)를 장시간 노광 화소, 촬상 소자(RS, GS, BS)를 단시간 노광 화소로서 기능시킨다.
이에 의해, 화소 어레이(A3)는 장시간 노광 화상 및 단시간 노광 화상을 촬상할 수 있다. 또한, 화소 어레이(A3)는 촬상 소자(IR)를 구비하므로, 장시간 노광 화상 및 단시간 노광 화상과 동시에 IR 화상을 촬상할 수도 있다.
인식부(14)는, 화소 어레이(A3)가 채용되는 경우, 도 10에 나타내는 바와 같이, 촬상 화소(RL, GL, BL)로부터 출력되는 장시간 노광 신호, 촬상 화소(RS, GS, BS)로부터 출력되는 단시간 노광 신호, 및 촬상 소자(IR)로부터 출력되는 적외광 신호를 DNN에 입력한다. 이에 의해, 인식부(14)는, 장시간 노광 화상, 단시간 노광 화상, 및 IR 화상의 각각으로부터 고정밀도로 피사체를 인식할 수 있다.
또한, 도 11에 나타내는 바와 같이, 제4 변형예에 따른 화소 어레이(A4)는, 도 9에 나타낸 화소 어레이(A3)와 마찬가지로, 적색 광을 수광하는 한 쌍의 촬상 소자(R, R), 녹색 광을 수광하는 한 쌍의 촬상 소자(G, G), 및 청색 광을 수광하는 촬상 소자(B, B)를 구비한다. 또한, 화소 어레이(A4)는, 적외광을 수광하는 한 쌍의 촬상 소자(IR, IR)를 구비한다. 각 촬상 소자(R, G, B, IR)는, 각각, 2개의 광전 변환 소자(PD)를 구비한다.
이러한 화소 어레이(A4)에서는, 예를 들면, 한 쌍의 촬상 소자(R, R)가 구비하는 4개의 광전 변환 소자(PD) 중, 1개를 장시간 노광, 2개를 중간 시간 노광, 나머지 1개를 단시간 노광시킨다. 또한, 화소 어레이(A4)에서는, 한 쌍의 촬상 소자(G, G)가 구비하는 4개의 광전 변환 소자(PD) 중, 1개를 장시간 노광, 2개를 중간 시간 노광, 나머지 1개를 단시간 노광시킨다.
또한, 화소 어레이(A4)에서는, 예를 들면, 한 쌍의 촬상 소자(B, B)가 구비하는 4개의 광전 변환 소자(PD) 중, 1개를 장시간 노광, 2개를 중간 시간 노광, 나머지 1개를 단시간 노광시킨다. 이에 의해, 화소 어레이(A4)는 장시간 노광 화상, 중간 시간 노광 화상, 및 단시간 노광 화상을 촬상할 수 있다.
또한, 화소 어레이(A4)는, 촬상 소자(IR, IR)를 노광시킴으로써, IR 화상을 촬상할 수 있다. 이러한 화소 어레이(A4)가 채용되는 경우, 인식부(14)는, 장시간 노광 화상, 중간 시간 노광 화상, 단시간 노광 화상, 및 IR 화상의 화상 데이터를 DNN에 입력함으로써, 아티팩트의 영향을 받지 않고, 고정밀도로 피사체를 인식할 수 있다.
[6. 이동체에의 응용예]
본 개시에 따른 기술(본 기술)은 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 따른 기술은 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 12는 본 개시에 따른 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 12에 나타낸 예에서는, 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은 키리스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은 촬상부(12031)에 차 밖의 화상을 촬상시키고, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면, 운전자를 촬상하는 카메라를 포함한다. 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 12의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 13은 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 13에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프런트 노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)에 의해 취득되는 전방의 화상은, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 13에는 촬상부(12101 내지 12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프런트 노즈에 설치된 촬상부(12101)의 촬상 범위를 나타낸다. 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는 거리 정보를 취득하는 기능을 가지고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104) 중 적어도 하나는 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 가지는 촬상 소자여도 된다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로컴퓨터(12051)는, 선행차와의 사이에서 미리 확보해야 하는 차간거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형차량, 보행자, 전신주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면, 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 절차에 의해 행해진다. 마이크로컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하여, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 예를 들면, 차외 정보 검출 유닛(12030), 촬상부(12031), 차내 정보 검출 유닛(12040), 및 운전자 상태 검출부(12041) 등에 적용될 수 있다. 예를 들면, 도 1의 화상 인식 장치(1)는, 차내 정보 검출 유닛(12040) 및 운전자 상태 검출부(12041)에 적용할 수 있다. 차내 정보 검출 유닛(12040) 및 운전자 상태 검출부(12041)에 본 개시에 따른 기술을 적용함으로써, 피사체인 운전자의 인식 정밀도가 향상되므로, 운전자의 피로 정도, 집중 정도, 졸고 있지 않은지 등을 보다 정확하게 검출하는 것이 가능해진다.
[7. 효과]
화상 인식 장치의 일례인 이미지 센서(1)는, 촬상부(10)와, 인식부(14)를 갖는다. 촬상부(10)는, 가시광을 수광하는 촬상 화소(R, Gr, Gb, B)와, 적외광을 수광하는 촬상 화소(IR)를 사용하여, 1 프레임 기간에 복수의 화상을 동일 노광 타이밍에서 촬상하여 화상 데이터를 생성한다. 인식부는, 화상 데이터의 각각으로부터 피사체를 인식한다. 이에 의해, 이미지 센서(1)는, 아티팩트의 영향을 배제함으로써, 피사체의 인식 정밀도를 향상시킬 수 있다.
또한, 촬상부(10)는, 수광 면적이 동일하며 노광 시간이 서로 다른 복수의 촬상 화소(R, Gr, Gb, B)와, 적외광을 수광하는 촬상 화소(IR)가 2차원으로 배열된 화소 어레이(A1)를 갖는다. 이에 의해, 이미지 센서(1)는, 노광 시간이 서로 다른 화상 데이터 및 IR 화상의 각각으로부터 피사체를 인식함으로써, 아티팩트의 영향을 받지 않고, 고정밀도로 피사체를 인식할 수 있다.
또한, 화소 어레이(A1)는, 가시광을 수광하는 장시간 노광 촬상 화소의 일례인 촬상 소자(L), 중간 시간 노광 촬상 화소의 일례인 촬상 소자(M), 및 단시간 노광 촬상 화소의 일례인 촬상 소자(S)를 갖는다. 이에 의해, 이미지 센서(1)는, 장시간 노광 화상, 중간 시간 노광 화상, 및 단시간 노광 화상의 각각으로부터 피사체를 인식함으로써, 아티팩트의 영향을 받지 않고, 고정밀도로 피사체를 인식할 수 있다.
또한, 화소 어레이(A3)는, 각 화소가 노광 시간이 서로 다른 2개의 촬상 소자(RL, RS, GL, GS, BL, BS)에 의해 구성된다. 이에 의해, 이미지 센서(1)는, 오토포커스용의 위상차 화소를 사용하여, 장시간 노광 화상 및 단시간 노광 화상을 촬상할 수 있다.
또한, 화소 어레이(A4)는, 각 화소가 2개의 촬상 소자(R, R, G, G, B, B)에 의해 구성된다. 각 촬상 소자(R, G, B)는, 노광 시간이 서로 다른 2개의 광전 변환 소자(PD)를 구비한다. 이에 의해, 이미지 센서(1)는, 각 광전 변환 소자(PD)의 노광 시간을 제어함으로써, 장시간 노광 화상, 중간 시간 노광 화상, 및 단시간 노광 화상을 촬상할 수 있다.
또한, 인식부(14)는, 피사체를 인식한 경우에, 피사체의 인식 결과 및 화상 데이터를 후단의 장치의 일례인 AP(2)로 출력하고, 피사체를 인식하지 않는 경우에, 그 취지를 나타내는 정보를 AP(2)로 출력한다. 이에 의해, 이미지 센서(1)는, 피사체를 인식하지 않는 경우에, 화상 데이터의 출력을 행하지 않으므로, 소비 전력을 저감할 수 있다.
또한, 인식부(14)는, 배터리의 잔량이 소정 잔량 이상인 경우에, 피사체의 인식 결과 및 화상 데이터를 AP(2)로 출력하고, 소정 잔량 미만인 경우에, AP(2)로 화상 데이터를 출력하지 않고 피사체의 인식 결과를 출력한다. 이에 의해, 이미지 센서(1)는, 배터리 잔량이 소정 잔량 미만인 경우에, 피사체를 인식하더라도 화상 데이터의 출력을 행하지 않으므로, 소비 전력을 저감할 수 있다.
또한, 인식부(14)는, 디모자이크 처리가 실행된 화상 데이터로부터 피사체를 인식한다. 이에 의해, 이미지 센서(1)는, DNN을 사용하여 피사체를 인식하는 경우에, DNN의 입력 채널 수를 저감함으로써, 처리 부하를 저감할 수 있다.
또한, 인식부(14)는, 디모자이크 처리가 실행되지 않은 화상 데이터로부터 피사체를 인식한다. 이에 의해, 이미지 센서(1)는, DNN을 사용하여 피사체를 인식하는 경우에, 처리량이 늘어나지만, 고감도 화상, 중간 감도 화상, 저감도 화상, IR 화상의 화상 데이터로부터 고정밀도로 피사체를 인식할 수 있다.
또한, 인식부(14)는, 촬상부(10)로부터 입력되는 화상 데이터로부터 피사체를 인식한다. 이에 의해, 이미지 센서(1)는, DNN을 사용하여 피사체를 인식하는 경우에, 처리량이 늘어나지만, 신호 처리를 행하지 않는 만큼, 이미지 센서(1) 전체로서의 처리량이 대폭 저감될 수 있다.
또한, 적외광을 수광하는 촬상 화소는 ToF(Time of Flight) 센서이다. 이에 의해, 이미지 센서(1)는, 피사체의 인식에 더하여, 피사체까지의 거리를 측정할 수 있다.
또한, 화상 인식 방법은, 가시광을 수광하는 촬상 화소와, 적외광을 수광하는 촬상 화소를 사용하여, 1 프레임 기간에 복수의 화상을 동일 노광 타이밍에서 촬상하여 화상 데이터를 생성하고, 화상 데이터의 각각으로부터 피사체를 인식한다. 이러한 화상 인식 방법에 의하면, 아티팩트의 영향을 배제함으로써, 피사체의 인식 정밀도를 향상시킬 수 있다.
한편, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 또한 다른 효과가 있어도 된다.
한편, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
가시광을 수광하는 촬상 화소와, 적외광을 수광하는 촬상 화소를 사용하여, 1 프레임 기간에 복수의 화상을 동일 노광 타이밍에서 촬상하여 화상 데이터를 생성하는 촬상부와,
상기 화상 데이터의 각각으로부터 피사체를 인식하는 인식부를 갖는 화상 인식 장치.
(2)
상기 촬상부는,
수광 면적이 동일하며 노광 시간이 서로 다른 복수의 상기 촬상 화소와, 적외광을 수광하는 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는 상기 (1)에 기재된 화상 인식 장치.
(3)
상기 화소 어레이는,
상기 가시광을 수광하는 장시간 노광 촬상 화소, 중간 시간 노광 촬상 화소, 및 단시간 노광 촬상 화소를 갖는 상기 (2)에 기재된 화상 인식 장치.
(4)
상기 화소 어레이는,
각 화소가 노광 시간이 서로 다른 2개의 광전 변환 소자에 의해 구성되는 상기 (2)에 기재된 화상 인식 장치.
(5)
상기 화소 어레이는,
각 화소가 2개의 촬상 소자에 의해 구성되고,
각각의 상기 촬상 소자는,
노광 시간이 서로 다른 2개의 광전 변환 소자를 구비하는 상기 (2)에 기재된 화상 인식 장치.
(6)
상기 인식부는,
상기 피사체를 인식한 경우에, 상기 피사체의 인식 결과 및 상기 화상 데이터를 후단의 장치로 출력하고, 상기 피사체를 인식하지 않는 경우에, 그 취지를 나타내는 정보를 후단의 장치로 출력하는 상기 (1)∼(5) 중 어느 하나에 기재된 화상 인식 장치.
(7)
상기 인식부는,
배터리의 잔량이 소정 잔량 이상인 경우에, 상기 피사체의 인식 결과 및 상기 화상 데이터를 후단의 장치로 출력하고, 상기 소정 잔량 미만인 경우에, 상기 후단의 장치로 상기 화상 데이터를 출력하지 않고 상기 피사체의 인식 결과를 출력하는 상기 (6)에 기재된 화상 인식 장치.
(8)
상기 인식부는,
디모자이크 처리가 실행된 상기 화상 데이터로부터 상기 피사체를 인식하는 상기 (1)∼(7) 중 어느 하나에 기재된 화상 인식 장치.
(9)
상기 인식부는,
디모자이크 처리가 실행되지 않은 상기 화상 데이터로부터 상기 피사체를 인식하는 상기 (1)∼(8) 중 어느 하나에 기재된 화상 인식 장치.
(10)
상기 인식부는,
상기 촬상부로부터 입력되는 상기 화상 데이터로부터 상기 피사체를 인식하는 상기 (1)∼(8) 중 어느 하나에 기재된 화상 인식 장치.
(11)
상기 적외광을 수광하는 촬상 화소는,
ToF(Time of Flight) 센서인 상기 (1)∼(10) 중 어느 하나에 기재된 화상 인식 장치.
(12)
가시광을 수광하는 촬상 화소와, 적외광을 수광하는 촬상 화소를 사용하여, 1 프레임 기간에 복수의 화상을 동일 노광 타이밍에서 촬상하여 화상 데이터를 생성하고,
상기 화상 데이터의 각각으로부터 피사체를 인식하는 화상 인식 방법.
100: 화상 인식 시스템
1: 이미지 센서
10: 촬상부
A1, A2, A3, A4: 화소 어레이
12: A/D 변환부
13: 신호 처리부
14: 인식부
15: 데이터 송신 판단부
16: SEL
17: 송신부
2: AP
21: 수신부
22: 인증부
23: 인증용 데이터 기억부
31: 물체 인식부
32: 물체 인식용 데이터 기억부

Claims (12)

  1. 가시광을 수광하는 촬상 화소와, 적외광을 수광하는 촬상 화소를 사용하여, 1 프레임 기간에 복수의 화상을 동일 노광 타이밍에서 촬상하여 화상 데이터를 생성하는 촬상부와,
    상기 화상 데이터의 각각으로부터 피사체를 인식하는 인식부를 갖는, 화상 인식 장치.
  2. 제1항에 있어서,
    상기 촬상부는,
    수광 면적이 동일하며 노광 시간이 서로 다른 복수의 상기 촬상 화소와, 적외광을 수광하는 촬상 화소가 2차원으로 배열된 화소 어레이를 갖는, 화상 인식 장치.
  3. 제2항에 있어서,
    상기 화소 어레이는,
    상기 가시광을 수광하는 장시간 노광 촬상 화소, 중간 시간 노광 촬상 화소, 및 단시간 노광 촬상 화소를 갖는, 화상 인식 장치.
  4. 제2항에 있어서,
    상기 화소 어레이는,
    각 화소가 노광 시간이 서로 다른 2개의 촬상 소자에 의해 구성되는, 화상 인식 장치.
  5. 제2항에 있어서,
    상기 화소 어레이는,
    각 화소가 2개의 촬상 소자에 의해 구성되고,
    각각의 상기 촬상 소자는,
    노광 시간이 서로 다른 2개의 광전 변환 소자를 구비하는, 화상 인식 장치.
  6. 제1항에 있어서,
    상기 인식부는,
    상기 피사체를 인식한 경우에, 상기 피사체의 인식 결과 및 상기 화상 데이터를 후단의 장치로 출력하고, 상기 피사체를 인식하지 않는 경우에, 그 취지를 나타내는 정보를 후단의 장치로 출력하는, 화상 인식 장치.
  7. 제6항에 있어서,
    상기 인식부는,
    배터리의 잔량이 미리 정해진 잔량 이상인 경우에, 상기 피사체의 인식 결과 및 상기 화상 데이터를 후단의 장치로 출력하고, 상기 미리 정해진 잔량 미만인 경우에, 상기 후단의 장치로 상기 화상 데이터를 출력하지 않고 상기 피사체의 인식 결과를 출력하는, 화상 인식 장치.
  8. 제1항에 있어서,
    상기 인식부는,
    디모자이크 처리가 실행된 상기 화상 데이터로부터 상기 피사체를 인식하는, 화상 인식 장치.
  9. 제1항에 있어서,
    상기 인식부는,
    디모자이크 처리가 실행되지 않은 상기 화상 데이터로부터 상기 피사체를 인식하는, 화상 인식 장치.
  10. 제1항에 있어서,
    상기 인식부는,
    상기 촬상부로부터 입력되는 상기 화상 데이터로부터 상기 피사체를 인식하는, 화상 인식 장치.
  11. 제1항에 있어서,
    상기 적외광을 수광하는 촬상 화소는,
    ToF(Time of Flight) 센서인, 화상 인식 장치.
  12. 가시광을 수광하는 촬상 화소와, 적외광을 수광하는 촬상 화소를 사용하여, 1 프레임 기간에 복수의 화상을 동일 노광 타이밍에서 촬상하여 화상 데이터를 생성하고,
    상기 화상 데이터의 각각으로부터 피사체를 인식하는, 화상 인식 방법.
KR1020217037346A 2019-05-30 2020-05-18 화상 인식 장치 및 화상 인식 방법 KR20220016056A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-101728 2019-05-30
JP2019101728A JP2020198470A (ja) 2019-05-30 2019-05-30 画像認識装置および画像認識方法
PCT/JP2020/019587 WO2020241336A1 (ja) 2019-05-30 2020-05-18 画像認識装置および画像認識方法

Publications (1)

Publication Number Publication Date
KR20220016056A true KR20220016056A (ko) 2022-02-08

Family

ID=73552920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217037346A KR20220016056A (ko) 2019-05-30 2020-05-18 화상 인식 장치 및 화상 인식 방법

Country Status (6)

Country Link
US (1) US20220201183A1 (ko)
JP (1) JP2020198470A (ko)
KR (1) KR20220016056A (ko)
CN (1) CN113875217A (ko)
DE (1) DE112020002567T5 (ko)
WO (1) WO2020241336A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022086456A (ja) 2020-11-30 2022-06-09 日本光電工業株式会社 癌細胞捕集用多孔質体
JP7351889B2 (ja) * 2021-12-02 2023-09-27 財団法人車輌研究測試中心 車室内監視・状況理解感知方法及びそのシステム
WO2023140026A1 (ja) * 2022-01-18 2023-07-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
WO2023166859A1 (ja) * 2022-03-01 2023-09-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム及びファクトリーオートメーションシステム
JP7444958B1 (ja) 2022-12-12 2024-03-06 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014103643A (ja) 2012-11-22 2014-06-05 Canon Inc 撮像装置及び被写体認識方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285198A (ja) * 1999-03-31 2000-10-13 Omron Corp 画像認識システムおよび情報採取システム
US7065645B2 (en) * 2003-01-20 2006-06-20 Mordechai Teicher System, method, and apparatus for visual authentication
JP5436281B2 (ja) * 2010-03-16 2014-03-05 富士フイルム株式会社 放射線撮影システム、コンソール、放射線撮影用カセッテ、及びプログラム
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2012226513A (ja) * 2011-04-19 2012-11-15 Honda Elesys Co Ltd 検知装置、及び検知方法
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
JP2015041890A (ja) * 2013-08-22 2015-03-02 ソニー株式会社 制御装置、制御方法、および電子機器
KR20150118213A (ko) * 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
JP6418785B2 (ja) * 2014-05-21 2018-11-07 キヤノン株式会社 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
JP2016033694A (ja) * 2014-07-30 2016-03-10 東芝テック株式会社 物体認識装置及び物体認識プログラム
US10033947B2 (en) * 2015-11-04 2018-07-24 Semiconductor Components Industries, Llc Multi-port image pixels
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
US20180164156A1 (en) * 2016-12-12 2018-06-14 Microsoft Technology Licensing, Llc Hybrid Sensor with Enhanced Infrared Detection Capabilities
CN109005363B (zh) * 2018-08-13 2020-07-17 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及存储介质
US10916036B2 (en) * 2018-12-28 2021-02-09 Intel Corporation Method and system of generating multi-exposure camera statistics for image processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014103643A (ja) 2012-11-22 2014-06-05 Canon Inc 撮像装置及び被写体認識方法

Also Published As

Publication number Publication date
CN113875217A (zh) 2021-12-31
US20220201183A1 (en) 2022-06-23
DE112020002567T5 (de) 2022-04-21
WO2020241336A1 (ja) 2020-12-03
JP2020198470A (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
KR20220016056A (ko) 화상 인식 장치 및 화상 인식 방법
WO2020230636A1 (ja) 画像認識装置および画像認識方法
US11805330B2 (en) Image recognition device, solid-state imaging device, and image recognition method
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2021060118A1 (ja) 撮像装置
CN110073652B (zh) 成像装置以及控制成像装置的方法
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
US20220276379A1 (en) Device, measuring device, distance measuring system, and method
WO2020246264A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20220113410A1 (en) Distance measuring device, distance measuring method, and program
US12088927B2 (en) Imaging device and imaging method
US20220268890A1 (en) Measuring device and distance measuring device
JPWO2020149094A1 (ja) 撮像装置、撮像システムおよび故障検出方法
US20200014899A1 (en) Imaging device, imaging system, and method of controlling imaging device
US11483499B2 (en) Imaging apparatus for addition of pixels on the basis of a temperature of an imaging array
WO2021002071A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20200099852A1 (en) Solid-state imaging device, driving method, and electronic apparatus