KR20210052444A - 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램 - Google Patents

촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램 Download PDF

Info

Publication number
KR20210052444A
KR20210052444A KR1020217004864A KR20217004864A KR20210052444A KR 20210052444 A KR20210052444 A KR 20210052444A KR 1020217004864 A KR1020217004864 A KR 1020217004864A KR 20217004864 A KR20217004864 A KR 20217004864A KR 20210052444 A KR20210052444 A KR 20210052444A
Authority
KR
South Korea
Prior art keywords
unit
reading
read
recognition
line
Prior art date
Application number
KR1020217004864A
Other languages
English (en)
Inventor
케이타로 야마모토
스그루 아오키
류타 사토
료지 에키
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20210052444A publication Critical patent/KR20210052444A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H04N5/374—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06K9/78—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H04N5/2253—
    • H04N5/345—
    • H04N5/378—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Character Discrimination (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 개시의 촬상 장치는, 복수의 화소가 배열된 화소 영역을 갖는 촬상부(10)와, 화소 영역에 포함되는 화소로부터의 화소 신호의 판독을 제어하는 판독 제어부(11)와, 판독 제어부가 화소 신호의 판독을 행하는, 화소 영역의 일부로서 판독 단위를 설정하는 제1 판독 단위 설정부(142)와, 판독 단위로부터 판독된 화소 신호에 기초하는 제1 화상을 후단으로 출력하는 화상 출력부(143, 15)와, 판독 제어부가 화소 신호의 판독을 행하는 판독 단위를 제어하는 제2 판독 단위 제어부(123)와, 판독 단위마다의 교사 데이터를 학습하고, 판독 단위마다의 화소 신호에 대해 인식 처리를 행하여 인식 처리의 결과인 인식 결과를 출력하는 인식부(14)를 구비한다.

Description

촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
본 개시는 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램에 관한 것이다.
최근, 디지털 스틸 카메라, 디지털 비디오 카메라, 다기능형 휴대 전화기(스마트폰) 등에 탑재되는 소형 카메라 등의 촬상 장치의 고성능화에 따라, 촬상 화상에 포함되는 소정의 오브젝트를 인식하는 화상 인식 기능을 탑재하는 촬상 장치가 개발되고 있다.
특허문헌 1: 일본특허공개 제2017-112409호 공보
일반적으로, 화상 인식 기능에 있어서 인식 처리에 적합한 화상은, 사람에 의한 시인에 적합한 화상과는 다르다. 그 때문에, 화상 인식 기능을 탑재하는 촬상 장치에 있어서 인식의 정밀도를 높이려고 하는 경우, 인식 처리를 위해 촬상된 화상이, 시인용 화상으로서의 정보를 충분히 제공하는 것이 곤란하게 될 우려가 있다.
본 개시는, 인식 처리용 촬상과 시인용 촬상을 양립 가능한 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램을 제공하는 것을 목적으로 한다.
본 개시에 따른 촬상 장치는, 복수의 화소가 배열된 화소 영역을 갖는 촬상부와, 화소 영역에 포함되는 화소로부터의 화소 신호의 판독을 제어하는 판독 제어부와, 판독 제어부가 화소 신호의 판독을 행하는, 화소 영역의 일부로서 판독 단위를 설정하는 제1 판독 단위 설정부와, 판독 단위로부터 판독된 화소 신호에 기초하는 제1 화상을 후단으로 출력하는 화상 출력부와, 판독 제어부가 화소 신호의 판독을 행하는 판독 단위를 설정하는 제2 판독 단위 설정부와, 판독 단위마다의 교사 데이터를 학습하고, 판독 단위마다의 화소 신호에 대해 인식 처리를 행하여 인식 처리의 결과인 인식 결과를 출력하는 인식부를 구비한다.
도 1은 본 개시의 각 실시형태에 적용 가능한 촬상 장치의 일례의 구성을 나타내는 블록도이다.
도 2a는 각 실시형태에 따른 촬상 장치의 하드웨어 구성의 예를 나타내는 모식도이다.
도 2b는 각 실시형태에 따른 촬상 장치의 하드웨어 구성의 예를 나타내는 모식도이다.
도 3a는 각 실시형태에 따른 촬상 장치를 2층 구조의 적층형 CIS에 의해 형성한 예를 나타내는 도면이다.
도 3b는 각 실시형태에 따른 촬상 장치를 3층 구조의 적층형 CIS에 의해 형성한 예를 나타내는 도면이다.
도 4는 각 실시형태에 적용 가능한 센서부의 일례의 구성을 나타내는 블록도이다.
도 5a는 롤링 셔터 방식(rolling shutter method)을 설명하기 위한 모식도이다.
도 5b는 롤링 셔터 방식을 설명하기 위한 모식도이다.
도 5c는 롤링 셔터 방식을 설명하기 위한 모식도이다.
도 6a는 롤링 셔터 방식에 있어서의 라인 솎음(line thinning)을 설명하기 위한 모식도이다.
도 6b는 롤링 셔터 방식에 있어서의 라인 솎음을 설명하기 위한 모식도이다.
도 6c는 롤링 셔터 방식에 있어서의 라인 솎음을 설명하기 위한 모식도이다.
도 7a는 롤링 셔터 방식에 있어서의 다른 촬상 방법의 예를 모식적으로 나타내는 도면이다.
도 7b는 롤링 셔터 방식에 있어서의 다른 촬상 방법의 예를 모식적으로 나타내는 도면이다.
도 8a는 글로벌 셔터 방식(global shutter method)을 설명하기 위한 모식도이다.
도 8b는 글로벌 셔터 방식을 설명하기 위한 모식도이다.
도 8c는 글로벌 셔터 방식을 설명하기 위한 모식도이다.
도 9a는 글로벌 셔터 방식에 있어서 실현 가능한 샘플링의 패턴의 예를 모식적으로 나타내는 도면이다.
도 9b는 글로벌 셔터 방식에 있어서 실현 가능한 샘플링의 패턴의 예를 모식적으로 나타내는 도면이다.
도 10은 CNN에 의한 화상 인식 처리를 개략적으로 설명하기 위한 도면이다.
도 11은 인식 대상의 화상의 일부로부터 인식 결과를 얻는 화상 인식 처리를 개략적으로 설명하기 위한 도면이다.
도 12a는 시계열 정보를 사용하지 않는 경우의, DNN에 의한 식별 처리의 예를 개략적으로 나타내는 도면이다.
도 12b는 시계열 정보를 사용하지 않는 경우의, DNN에 의한 식별 처리의 예를 개략적으로 나타내는 도면이다.
도 13a는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제1 예를 개략적으로 나타내는 도면이다.
도 13b는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제1 예를 개략적으로 나타내는 도면이다.
도 14a는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제2 예를 개략적으로 나타내는 도면이다.
도 14b는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제2 예를 개략적으로 나타내는 도면이다.
도 15a는 프레임의 구동 속도와 화소 신호의 판독량과의 관계에 대해 설명하기 위한 도면이다.
도 15b는 프레임의 구동 속도와 화소 신호의 판독량과의 관계에 대해 설명하기 위한 도면이다.
도 16은 본 개시의 각 실시형태에 따른 인식 처리를 개략적으로 설명하기 위한 모식도이다.
도 17은 제1 실시형태에 따른 인식 처리부에 의한 인식 처리를 나타내는 일례의 플로우차트이다.
도 18은 1프레임분의 화상 데이터의 일례를 나타내는 도면이다.
도 19는 제1 실시형태에 따른 인식 처리부가 실행하는 기계 학습 처리의 흐름을 설명하기 위한 도면이다.
도 20a는 제1 실시형태의 응용예에 대해 설명하기 위한 모식도이다.
도 20b는 제1 실시형태의 응용예에 대해 설명하기 위한 모식도이다.
도 21은 제2 실시형태에 따른 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 22는 제2 실시형태에 따른 인식 처리부에 있어서의 처리의 예에 대해 보다 상세하게 나타내는 모식도이다.
도 23은 제2 실시형태에 따른 기능을 설명하기 위한 일례의 기능 블록도이다.
도 24는 제2 실시형태에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다.
도 25는 제2 실시형태에 따른 인식 처리를 개략적으로 나타내는 모식도이다.
도 26은 프레임 판독 도중에 인식 처리를 종료시키는 예에 대해 설명하기 위한 도면이다.
도 27은 프레임 판독 도중에 인식 처리를 종료시키는 예에 대해 설명하기 위한 도면이다.
도 28은 제2 실시형태에 따른 인식 처리를 나타내는 일례의 플로우차트이다.
도 29a는 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예를 나타내는 일례의 타임 차트이다.
도 29b는 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예를 나타내는 일례의 타임 차트이다.
도 30은 제2 실시형태에 따른 판독 및 인식 처리의 제어의 다른 예를 나타내는 일례의 타임 차트이다.
도 31은 제2 실시형태의 제1 변형예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다.
도 32는 제2 실시형태의 제2 변형예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다.
도 33은 제2 실시형태의 제3 변형예에 따른 프레임 판독 처리를 설명하기 위한 모식도이다.
도 34는 제2 실시형태의 제3 변형예에 따른 인식 처리를 개략적으로 나타내는 모식도이다.
도 35는 판독 단위가 에어리어인 경우에 프레임 판독 도중에 인식 처리를 종료시키는 예에 대해 설명하기 위한 도면이다.
도 36은 판독 단위가 에어리어인 경우에 프레임 판독 도중에 인식 처리를 종료시키는 예에 대해 설명하기 위한 도면이다.
도 37은 제2 실시형태의 제4 변형예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다.
도 38은 제2 실시형태의 제4 변형예에 적용 가능한 인식 처리를 개략적으로 나타내는 모식도이다.
도 39는 제2 실시형태의 제4 변형예에 따른 판독 및 제어의 예를 나타내는 일례의 타임 차트이다.
도 40은 제2 실시형태의 제4 변형예에 따른 프레임 판독 처리에 대해 보다 구체적으로 설명하기 위한 도면이다.
도 41은 제2 실시형태의 제4 변형예에 따른 프레임 판독 처리에 대해 보다 구체적으로 설명하기 위한 도면이다.
도 42는 제2 실시형태의 제5 변형예에 따른 프레임 판독 처리를 설명하기 위한 모식도이다.
도 43은 제2 실시형태의 제6 변형예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다.
도 44는 제2 실시형태의 제6 변형예에 따른 판독 및 인식 처리를 행하는 패턴의 예를 나타내는 도면이다.
도 45는 제2 실시형태의 제7 변형예에 따른 프레임의 판독 처리의 제1 예를 설명하기 위한 모식도이다.
도 46은 제2 실시형태의 제7 변형예의 제1 다른 예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다.
도 47은 제2 실시형태의 제7 변형예의 제2 다른 예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다.
도 48은 제2 실시형태의 제7 변형예의 제3 다른 예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다.
도 49는 제2 실시형태의 제8 변형예에 따른 기능을 설명하기 위한 일례의 기능 블록도이다.
도 50은 제2 실시형태의 제8 변형예에 따른 인식 처리를 나타내는 일례의 플로우차트이다.
도 51a는 제2 실시형태의 제8 변형예에 따른 판독 및 인식 처리의 제1 예에 대해 설명하기 위한 도면이다.
도 51b는 제2 실시형태의 제8 변형예에 따른 판독 및 인식 처리의 제1 예에 대해 설명하기 위한 도면이다.
도 52는 제2 실시형태의 제9 변형예에 따른 노출 패턴의 예를 나타내는 도면이다.
도 53은 제2 실시형태의 제10 변형예에 따른 기능을 설명하기 위한 일례의 기능 블록도이다.
도 54는 제2 실시형태의 제10 변형예에 따른 처리를 나타내는 일례의 플로우차트이다.
도 55는 제2 실시형태의 제10 변형예에 따른 제1 처리를 설명하기 위한 모식도이다.
도 56은 제2 실시형태의 제10 변형예에 따른 제2 처리를 설명하기 위한 모식도이다.
도 57a는 제2 실시형태의 제10 변형예에 따른 제3 처리를 설명하기 위한 모식도이다.
도 57b는 제2 실시형태의 제10 변형예에 따른 제3 처리를 설명하기 위한 모식도이다.
도 58a는 제2 실시형태의 제10 변형예에 따른 제3 처리를 설명하기 위한 모식도이다.
도 58b는 제2 실시형태의 제10 변형예에 따른 제3 처리를 설명하기 위한 모식도이다.
도 59a는 제2 실시형태의 제10 변형예에 따른 제3 처리를 설명하기 위한 모식도이다.
도 59b는 제2 실시형태의 제10 변형예에 따른 제3 처리를 설명하기 위한 모식도이다.
도 60은 제2 실시형태의 제10 변형예에 따른 인식 처리부에 있어서의 처리의 예에 대해 보다 상세하게 나타내는 모식도이다.
도 61은 제3 실시형태에 따른 기능을 설명하기 위한 일례의 기능 블록도이다.
도 62는 제3 실시형태에 적용 가능한 판독 단위 패턴의 예를 나타내는 모식도이다.
도 63은 제3 실시형태에 적용 가능한 판독 순서 패턴의 예를 나타내는 모식도이다.
도 64는 제3 실시형태의 제1 변형예에 따른 기능을 설명하기 위한 일례의 기능 블록도이다.
도 65는 제3 실시형태의 제1 변형예의 제1 설정 방법을 설명하기 위한 모식도이다.
도 66은 제3 실시형태의 제1 변형예의 제2 설정 방법을 설명하기 위한 모식도이다.
도 67은 제3 실시형태의 제1 변형예의 제3 설정 방법을 설명하기 위한 모식도이다.
도 68은 제3 실시형태의 제3 변형예에 따른 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 69는 제4 실시형태에 따른 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 70은 제4 실시형태에 따른 화상 처리를 개략적으로 설명하기 위한 모식도이다.
도 71은 제4 실시형태에 따른 판독 처리의 예를 나타내는 도면이다.
도 72는 제4 실시형태에 따른 처리를 나타내는 일례의 플로우차트이다.
도 73은 제4 실시형태에 따른 화상 데이터 축적부의 제어의 제3 예에 대해 설명하기 위한 도면이다.
도 74는 제4 실시형태의 제1 변형예에 대해 설명하기 위한 도면이다.
도 75는 제4 실시형태의 제2 변형예에 대해 설명하기 위한 도면이다.
도 76은 제4 실시형태의 제3 변형예에 있어서의 제1 예에 대해 설명하기 위한 도면이다.
도 77은 본 개시의 기술을 적용한 촬상 장치의 사용예를 설명하는 도면이다.
도 78은 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 79는 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
이하, 본 개시의 실시형태에 대해 도면에 기초하여 상세하게 설명한다. 한편, 이하의 실시형태에 있어서, 동일한 부위에는 동일한 부호를 부여함으로써 중복 설명을 생략한다.
이하, 본 개시의 실시형태에 대해 하기의 순서에 따라 설명한다.
1. 본 개시의 각 실시형태에 따른 구성예
2. 본 개시에 적용 가능한 기존 기술의 예
2-1. 롤링 셔터의 개요
2-2. 글로벌 셔터의 개요
2-3. DNN(Deep Neural Network)에 대해
2-3-1. CNN(Convolutional Neural Network)의 개요
2-3-2. RNN(Recurrent Neural Network)의 개요
2-4. 구동 속도에 대해
3. 본 개시의 개요
4. 제1 실시형태
4-1. 인식 처리부에 의한 동작 예
4-2. 인식 처리부에 의한 동작의 구체예
4-3. 제1 실시형태의 응용예
5. 제2 실시형태
5-0-1. 제2 실시형태에 따른 구성예
5-0-2. 제2 실시형태에 따른 인식 처리부에 있어서의 처리의 예
5-0-3. 제2 실시형태에 따른 인식 처리의 상세 내용
5-0-4. 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예
5-1. 제2 실시형태의 제1 변형예
5-2. 제2 실시형태의 제2 변형예
5-3. 제2 실시형태의 제3 변형예
5-4. 제2 실시형태의 제4 변형예
5-5. 제2 실시형태의 제5 변형예
5-6. 제2 실시형태의 제6 변형예
5-7. 제2 실시형태의 제7 변형예
5-8. 제2 실시형태의 제8 변형예
5-9. 제2 실시형태의 제9 변형예
5-10. 제2 실시형태의 제10 변형예
6. 제3 실시형태
6-0-1. 판독 단위 패턴, 판독 순서 패턴의 결정 방법
6-0-1-1. 판독 단위 패턴, 판독 순서 패턴의 예
6-0-1-2. 판독 단위 패턴의 우선도 설정 방법의 구체예
6-0-1-3. 판독 순서 패턴의 우선도 설정 방법의 구체예
6-1. 제3 실시형태의 제1 변형예
6-2. 제3 실시형태의 제2 변형예
6-3. 제3 실시형태의 제3 변형예
7. 제4 실시형태
7-1. 제4 실시형태의 제1 변형예
7-2. 제4 실시형태의 제2 변형예
7-3. 제4 실시형태의 제3 변형예
8. 제5 실시형태
[1. 본 개시의 각 실시형태에 따른 구성예]
본 개시에 따른 촬상 장치의 구성에 대해 개략적으로 설명한다. 도 1은 본 개시의 각 실시형태에 적용 가능한 촬상 장치의 일례의 구성을 나타내는 블록도이다. 도 1에 있어서, 촬상 장치(1)는, 센서부(10)와, 센서 제어부(11)와, 인식 처리부(12)와, 메모리(13)와, 시인 처리부(14)와, 출력 제어부(15)를 포함하고, 이들 각 부가 CMOS(Complementary Metal Oxide Semiconductor)를 사용하여 일체적으로 형성된 CMOS 이미지 센서(CIS)이다. 한편, 촬상 장치(1)는, 이 예로 한정되지 않고, 적외광에 의한 촬상을 행하는 적외광 센서 등의 다른 종류의 광 센서여도 된다.
센서부(10)는, 광학부(30)를 통해 수광면에 조사된 광에 따른 화소 신호를 출력한다. 보다 구체적으로는, 센서부(10)는, 적어도 1개의 광전 변환 소자를 포함하는 화소가 행렬 형상으로 배열되는 화소 어레이를 갖는다. 화소 어레이에 행렬 형상으로 배열되는 각 화소에 의해 수광면이 형성된다. 센서부(10)는, 또한, 화소 어레이에 포함되는 각 화소를 구동하기 위한 구동 회로와, 각 화소로부터 판독된 신호에 대해 소정의 신호 처리를 실시하여 각 화소의 화소 신호로서 출력하는 신호 처리 회로를 포함한다. 센서부(10)는, 화소 영역에 포함되는 각 화소의 화소 신호를 디지털 형식의 화상 데이터로서 출력한다.
이하, 센서부(10)가 가지는 화소 어레이에 있어서, 화소 신호를 생성하기 위해 유효한 화소가 배치되는 영역을 프레임이라고 부른다. 프레임에 포함되는 각 화소로부터 출력된 각 화소 신호에 기초하는 화소 데이터에 의해 프레임 화상 데이터가 형성된다. 또한, 센서부(10)의 화소 배열에 있어서의 각 행을 각각 라인이라고 부르고, 라인에 포함되는 각 화소로부터 출력된 화소 신호에 기초하는 화소 데이터에 의해 라인 화상 데이터가 형성된다. 나아가, 센서부(10)가 수광면에 조사된 광에 따른 화소 신호를 출력하는 동작을 촬상이라고 부른다. 센서부(10)는, 후술하는 센서 제어부(11)로부터 공급되는 촬상 제어 신호에 따라, 촬상 시의 노출이나, 화소 신호에 대한 게인(아날로그 게인)이 제어된다.
센서 제어부(11)는, 예를 들면 마이크로프로세서에 의해 구성되고, 센서부(10)로부터의 화소 데이터의 판독을 제어하고, 프레임에 포함되는 각 화소로부터 판독된 각 화소 신호에 기초하는 화소 데이터를 출력한다. 센서 제어부(11)로부터 출력된 화소 데이터는 인식 처리부(12) 및 시인 처리부(14)로 전달된다.
또한, 센서 제어부(11)는, 센서부(10)에 있어서의 촬상을 제어하기 위한 촬상 제어 신호를 생성한다. 센서 제어부(11)는, 예를 들면, 후술하는 인식 처리부(12) 및 시인 처리부(14)로부터의 지시에 따라, 촬상 제어 신호를 생성한다. 촬상 제어 신호는, 전술한, 센서부(10)에 있어서의 촬상 시의 노출이나 아날로그 게인을 나타내는 정보를 포함한다. 촬상 제어 신호는, 나아가, 센서부(10)가 촬상 동작을 행하기 위해 사용하는 제어 신호(수직 동기 신호, 수평 동기 신호 등)를 포함한다. 센서 제어부(11)는, 생성된 촬상 제어 신호를 센서부(10)에 공급한다.
광학부(30)는, 피사체로부터의 광을 센서부(10)의 수광면에 조사시키기 위한 것이며, 예를 들면 센서부(10)에 대응하는 위치에 배치된다. 광학부(30)는, 예를 들면 복수의 렌즈와, 입사광에 대한 개구부의 크기를 조정하기 위한 조리개 기구와, 수광면에 조사되는 광의 초점을 조정하기 위한 포커스 기구를 포함한다. 광학부(30)는, 수광면에 광이 조사되는 시간을 조정하는 셔터 기구(기계적 셔터)를 더 포함해도 된다. 광학부(30)가 가지는 조리개 기구나 포커스 기구, 셔터 기구는, 예를 들면 센서 제어부(11)에 의해 제어하게 할 수 있다. 이에 한정되지 않고, 광학부(30)에 있어서의 조리개나 포커스는, 촬상 장치(1)의 외부로부터 제어하게도 할 수 있다. 또한, 광학부(30)를 촬상 장치(1)와 일체적으로 구성하는 것도 가능하다.
인식 처리부(12)는, 센서 제어부(11)로부터 전달된 화소 데이터에 기초하여, 화소 데이터에 의한 화상에 포함되는 오브젝트의 인식 처리를 행한다. 본 개시에 있어서는, 예를 들면, DSP(Digital Signal Processor)가, 교사 데이터에 의해 미리 학습되어 메모리(13)에 학습 모델로서 기억되는 프로그램을 판독하여 실행함으로써, DNN(Deep Neural Network)을 사용한 인식 처리를 행하는, 기계 학습부로서의 인식 처리부(12)가 구성된다. 인식 처리부(12)는, 인식 처리에 필요한 화소 데이터를 센서부(10)로부터 판독하도록, 센서 제어부(11)에 대해 지시할 수 있다. 인식 처리부(12)에 의한 인식 결과는 출력 제어부(15)로 전달된다.
시인 처리부(14)는, 센서 제어부(11)로부터 전달된 화소 데이터에 대해, 사람이 시인하기에 적합한 화상을 얻기 위한 처리를 실행하고, 예를 들면, 한 세트의 화소 데이터로 이루어지는 화상 데이터를 출력한다. 예를 들면, ISP(Image Signal Processor)가 도시되지 않은 메모리에 미리 기억되는 프로그램을 판독하여 실행함으로써, 해당 시인 처리부(14)가 구성된다.
예를 들면, 시인 처리부(14)는, 센서부(10)에 포함되는 각 화소에 컬러 필터가 설치되고, 화소 데이터가 R(적색), G(녹색), B(청색)의 각 색 정보를 갖고 있는 경우, 디모자이크(demosaic) 처리, 화이트 밸런스 처리 등을 실행할 수 있다. 또한, 시인 처리부(14)는, 시인 처리에 필요한 화소 데이터를 센서부(10)로부터 판독하도록, 센서 제어부(11)에 대해 지시할 수 있다. 시인 처리부(14)에 의해 화소 데이터가 화상 처리된 화상 데이터는, 출력 제어부(15)로 전달된다.
출력 제어부(15)는, 예를 들면 마이크로프로세서에 의해 구성되고, 인식 처리부(12)로부터 전달된 인식 결과와, 시인 처리부(14)로부터 시인 처리 결과로서 전달된 화상 데이터 중 일방 또는 양쪽 모두를, 촬상 장치(1)의 외부로 출력한다. 출력 제어부(15)는, 화상 데이터를, 예를 들면 표시 디바이스를 갖는 표시부(31)에 출력할 수 있다. 이에 의해, 사용자는, 표시부(31)에 의해 표시된 화상 데이터를 시인할 수 있다. 한편, 표시부(31)는, 촬상 장치(1)에 내장되는 것이어도 되고, 촬상 장치(1)의 외부의 구성이어도 된다.
도 2a 및 도 2b는 각 실시형태에 따른 촬상 장치(1)의 하드웨어 구성의 예를 나타내는 모식도이다. 도 2a는, 1개의 칩(2)에 대해, 도 1에 나타낸 구성 중 센서부(10), 센서 제어부(11), 인식 처리부(12), 메모리(13), 시인 처리부(14) 및 출력 제어부(15)가 탑재되는 예이다. 한편, 도 2a에 있어서, 메모리(13) 및 출력 제어부(15)는 번잡함을 피하기 위해 생략되어 있다.
도 2a에 나타내는 구성에서는, 인식 처리부(12)에 의한 인식 결과는, 도시되지 않은 출력 제어부(15)를 통해 칩(2)의 외부로 출력된다. 또한, 도 2a의 구성에 있어서는, 인식 처리부(12)는, 인식에 사용하기 위한 화소 데이터를, 센서 제어부(11)로부터, 칩(2)의 내부 인터페이스를 통해 취득할 수 있다.
도 2b는 1개의 칩(2)에 대해, 도 1에 나타낸 구성 중 센서부(10), 센서 제어부(11), 시인 처리부(14) 및 출력 제어부(15)가 탑재되고, 인식 처리부(12) 및 메모리(13)(도시하지 않음)가 칩(2)의 외부에 놓여진 예이다. 도 2b에 있어서도, 전술한 도 2a와 마찬가지로, 메모리(13) 및 출력 제어부(15)는, 번잡함을 피하기 위해 생략되어 있다.
이 도 2b의 구성에 있어서는, 인식 처리부(12)는, 인식에 사용하기 위한 화소 데이터를, 칩간의 통신을 행하기 위한 인터페이스를 통해 취득하게 된다. 또한, 도 2b에서는, 인식 처리부(12)에 의한 인식 결과가, 인식 처리부(12)로부터 직접적으로 외부로 출력되도록 나타내져 있지만, 이것은 이 예에 한정되지 않는다. 즉, 도 2b의 구성에 있어서, 인식 처리부(12)는, 인식 결과를 칩(2)으로 되돌리고, 칩(2)에 탑재되는 도시하지 않은 출력 제어부(15)로부터 출력시키도록 해도 된다.
도 2a에 나타내는 구성은, 인식 처리부(12)가 센서 제어부(11)와 함께 칩(2)에 탑재되어, 인식 처리부(12)와 센서 제어부(11) 사이의 통신을, 칩(2)의 내부 인터페이스에 의해 고속으로 실행할 수 있다. 한편, 도 2a에 나타내는 구성에서는 인식 처리부(12)의 교체가 불가능하여, 인식 처리의 변경이 어렵다. 이에 대해, 도 2b에 나타내는 구성은, 인식 처리부(12)가 칩(2)의 외부에 설치되기 때문에, 인식 처리부(12)와 센서 제어부(11) 사이의 통신을, 칩간의 인터페이스를 통해 행할 필요가 있다. 그 때문에, 인식 처리부(12)와 센서 제어부(11) 사이의 통신은, 도 2a의 구성과 비교하여 저속으로 되어, 제어에 지연이 발생할 가능성이 있다. 한편, 인식 처리부(12)의 교체가 용이하여, 다양한 인식 처리의 실현이 가능하다.
이하, 특별히 기재가 없는 한, 촬상 장치(1)는, 도 2a의, 1개의 칩(2)에 센서부(10), 센서 제어부(11), 인식 처리부(12), 메모리(13), 시인 처리부(14) 및 출력 제어부(15)가 탑재되는 구성을 채용하는 것으로 한다.
전술한 도 2a에 나타내는 구성에 있어서, 촬상 장치(1)는, 1개의 기판 상에 형성할 수 있다. 이에 한정되지 않고, 촬상 장치(1)를, 복수의 반도체 칩이 적층되어 일체적으로 형성된 적층형 CIS로 해도 된다.
일례로서, 촬상 장치(1)를, 반도체 칩을 2층으로 적층한 2층 구조에 의해 형성할 수 있다. 도 3a는 각 실시형태에 따른 촬상 장치(1)를 2층 구조의 적층형 CIS에 의해 형성한 예를 나타내는 도면이다. 도 3a의 구조에서는, 제1 층의 반도체 칩에 화소부(20a)를 형성하고, 제2 층의 반도체 칩에 메모리+로직부(20b)를 형성하고 있다. 화소부(20a)는, 적어도 센서부(10)에 있어서의 화소 어레이를 포함한다. 메모리+로직부(20b)는, 예를 들면, 센서 제어부(11), 인식 처리부(12), 메모리(13), 시인 처리부(14) 및 출력 제어부(15)와, 촬상 장치(1)와 외부와의 통신을 행하기 위한 인터페이스를 포함한다. 메모리+로직부(20b)는, 나아가, 센서부(10)에 있어서의 화소 어레이를 구동하는 구동 회로의 일부 또는 전부를 포함한다. 또한, 도시는 생략하지만, 메모리+로직부(20b)는, 예를 들면 시인 처리부(14)가 화상 데이터의 처리를 위해 사용하는 메모리를 더 포함할 수 있다.
도 3a의 우측에 나타내는 바와 같이, 제1 층의 반도체 칩과, 제2 층의 반도체 칩을 전기적으로 접촉시키면서 접합함으로써, 촬상 장치(1)를 1개의 고체 촬상 소자로서 구성한다.
다른 예로서, 촬상 장치(1)를, 반도체 칩을 3층으로 적층한 3층 구조에 의해 형성할 수 있다. 도 3b는 각 실시형태에 따른 촬상 장치(1)를 3층 구조의 적층형 CIS에 의해 형성한 예를 나타내는 도면이다. 도 3b의 구조에서는, 제1 층의 반도체 칩에 화소부(20a)를 형성하고, 제2 층의 반도체 칩에 메모리부(20c)를 형성하고, 제3층의 반도체 칩에 로직부(20b')를 형성하고 있다. 이 경우, 로직부(20b')는, 예를 들면, 센서 제어부(11), 인식 처리부(12), 시인 처리부(14) 및 출력 제어부(15)와, 촬상 장치(1)와 외부와의 통신을 행하기 위한 인터페이스를 포함한다. 또한, 메모리부(20c)는, 메모리(13)와, 예를 들면 시인 처리부(14)가 화상 데이터의 처리를 위해 사용하는 메모리를 포함할 수 있다. 메모리(13)는 로직부(20b')에 포함시켜도 된다.
도 3b의 우측에 나타내는 바와 같이, 제1 층의 반도체 칩과, 제2 층의 반도체 칩과, 제3층의 반도체 칩을 전기적으로 접촉시키면서 접합함으로써, 촬상 장치(1)를 1개의 고체 촬상 소자로서 구성한다.
도 4는 각 실시형태에 적용 가능한 센서부(10)의 일례의 구성을 나타내는 블록도이다. 도 4에 있어서, 센서부(10)는, 화소 어레이부(101)와, 수직 주사부(102)와, AD(Analog to Digital) 변환부(103)와, 화소 신호선(106)과, 수직 신호선(VSL)과, 제어부(1100)와, 신호 처리부(1101)를 포함한다. 한편, 도 4에 있어서, 제어부(1100) 및 신호 처리부(1101)는, 예를 들면 도 1에 나타낸 센서 제어부(11)에 포함되는 것으로 할 수도 있다.
화소 어레이부(101)는 각각 수광한 광에 대해 광전 변환을 행하는, 예를 들면 포토다이오드에 의한 광전 변환 소자와, 광전 변환 소자로부터 전하의 판독을 행하는 회로를 포함하는 복수의 화소 회로(100)를 포함한다. 화소 어레이부(101)에 있어서, 복수의 화소 회로(100)는, 수평 방향(행 방향) 및 수직 방향(열 방향)으로 행렬 형상의 배열로 배치된다. 화소 어레이부(101)에 있어서, 화소 회로(100)의 행 방향의 배열을 라인이라고 부른다. 예를 들면, 1920화소×1080라인으로 1프레임의 화상이 형성되는 경우, 화소 어레이부(101)는, 적어도 1920개의 화소 회로(100)가 포함되는 라인을, 적어도 1080라인 포함한다. 프레임에 포함되는 화소 회로(100)로부터 판독된 화소 신호에 의해 1프레임의 화상(화상 데이터)이 형성된다.
이하, 센서부(10)에 있어서 프레임에 포함되는 각 화소 회로(100)로부터 화소 신호를 판독하는 동작을, 적절히, 프레임으로부터 화소를 판독하는 등과 같이 기술한다. 또한, 프레임에 포함되는 라인이 가지는 각 화소 회로(100)로부터 화소 신호를 판독하는 동작을, 적절히, 라인을 판독하는 등과 같이 기술한다.
또한, 화소 어레이부(101)에는, 각 화소 회로(100)의 행 및 열에 대해, 행마다 화소 신호선(106)이 접속되고, 열마다 수직 신호선(VSL)이 접속된다. 화소 신호선(106)의 화소 어레이부(101)와 접속되지 않는 단부는, 수직 주사부(102)에 접속된다. 수직 주사부(102)는, 후술하는 제어부(1100)의 제어에 따라, 화소로부터 화소 신호를 판독할 때의 구동 펄스 등의 제어 신호를, 화소 신호선(106)을 통해 화소 어레이부(101)로 전송한다. 수직 신호선(VSL)의 화소 어레이부(101)와 접속되지 않는 단부는, AD 변환부(103)에 접속된다. 화소로부터 판독된 화소 신호는, 수직 신호선(VSL)을 통해 AD 변환부(103)로 전송된다.
화소 회로(100)로부터의 화소 신호의 판독 제어에 대해 개략적으로 설명한다. 화소 회로(100)로부터의 화소 신호의 판독은, 노출에 의해 광전 변환 소자에 축적된 전하를 부유 확산층(FD; Floating Diffusion)으로 전송하고, 부유 확산층에 있어서 전송된 전하를 전압으로 변환함으로써 행한다. 부유 확산층에 있어서 전하가 변환된 전압은, 증폭기를 통해 수직 신호선(VSL)으로 출력된다.
보다 구체적으로는, 화소 회로(100)에 있어서, 노출 중에는, 광전 변환 소자와 부유 확산층의 사이를 오프(열린) 상태로 하여, 광전 변환 소자에서, 광전 변환에 의해 입사된 광에 따라 생성된 전하를 축적시킨다. 노출 종료 후, 화소 신호선(106)을 통해 공급되는 선택 신호에 따라 부유 확산층과 수직 신호선(VSL)을 접속한다. 나아가, 화소 신호선(106)을 통해 공급되는 리셋 펄스에 따라 부유 확산층을 전원 전압(VDD) 또는 블랙 레벨 전압의 공급선과 단기간에 접속하여, 부유 확산층을 리셋한다. 수직 신호선(VSL)에는, 부유 확산층의 리셋 레벨의 전압(전압A로 함)이 출력된다. 그 후, 화소 신호선(106)을 통해 공급되는 전송 펄스에 의해 광전 변환 소자와 부유 확산층의 사이를 온(닫힌) 상태로 하여, 광전 변환 소자에 축적된 전하를 부유 확산층으로 전송한다. 수직 신호선(VSL)에 대해, 부유 확산층의 전하량에 따른 전압(전압B로 함)이 출력된다.
AD 변환부(103)는, 수직 신호선(VSL)마다 설치된 AD 변환기(107)와, 참조 신호 생성부(104)와, 수평 주사부(105)를 포함한다. AD 변환기(107)는, 화소 어레이부(101)의 각 열(컬럼)에 대해 AD 변환 처리를 행하는 컬럼 AD 변환기이다. AD 변환기(107)는, 수직 신호선(VSL)을 통해 화소 회로(100)로부터 공급된 화소 신호에 대해 AD 변환 처리를 실시하고, 노이즈 저감을 행하는 상관 이중 샘플링(CDS: Correlated Double Sampling) 처리를 위한 2개의 디지털 값(전압A 및 전압B에 각각 대응하는 값)을 생성한다.
AD 변환기(107)는, 생성된 2개의 디지털 값을 신호 처리부(1101)에 공급한다. 신호 처리부(1101)는, AD 변환기(107)로부터 공급되는 2개의 디지털 값에 기초하여 CDS 처리를 행하여, 디지털 신호에 의한 화소 신호(화소 데이터)를 생성한다. 신호 처리부(1101)에 의해 생성된 화소 데이터는, 센서부(10)의 외부로 출력된다.
참조 신호 생성부(104)는, 제어부(1100)로부터 입력되는 제어 신호에 기초하여, 각 AD 변환기(107)가 화소 신호를 2개의 디지털 값으로 변환하기 위해 사용하는 램프 신호를 참조 신호로서 생성한다. 램프 신호는, 레벨(전압값)이 시간에 대해 일정한 기울기로 저하되는 신호, 또는 레벨이 계단 형상으로 저하되는 신호이다. 참조 신호 생성부(104)는 생성된 램프 신호를 각 AD 변환기(107)에 공급한다. 참조 신호 생성부(104)는, 예를 들면 DAC(Digital to Analog Converter) 등을 사용하여 구성된다.
참조 신호 생성부(104)로부터, 소정의 경사를 따라 계단 형상으로 전압이 강하하는 램프 신호가 공급되면, 카운터에 의해 클록 신호에 따라 카운트가 개시된다. 비교기는, 수직 신호선(VSL)로부터 공급되는 화소 신호의 전압과, 램프 신호의 전압을 비교하고, 램프 신호의 전압이 화소 신호의 전압에 걸치는 타이밍에서 카운터에 의한 카운트를 정지시킨다. AD 변환기(107)는, 카운트가 정지된 시간의 카운트 값에 따른 값을 출력함으로써, 아날로그 신호에 의한 화소 신호를, 디지털 값으로 변환한다.
AD 변환기(107)는, 생성된 2개의 디지털 값을 신호 처리부(1101)에 공급한다. 신호 처리부(1101)는, AD 변환기(107)로부터 공급되는 2개의 디지털 값에 기초하여 CDS 처리를 행하여, 디지털 신호에 의한 화소 신호(화소 데이터)를 생성한다. 신호 처리부(1101)에 의해 생성된 디지털 신호에 의한 화소 신호는, 센서부(10)의 외부로 출력된다.
수평 주사부(105)는, 제어부(1100)의 제어 하에서, 각 AD 변환기(107)를 소정의 순서로 선택하는 선택 주사를 행함으로써, 각 AD 변환기(107)가 일시적으로 보유하고 있는 각 디지털 값을 신호 처리부(1101)에 순차적으로 출력시킨다. 수평 주사부(105)는, 예를 들면 시프트 레지스터나 어드레스 디코더 등을 사용하여 구성된다.
제어부(1100)는, 센서 제어부(11)로부터 공급되는 촬상 제어 신호에 따라, 수직 주사부(102), AD 변환부(103), 참조 신호 생성부(104) 및 수평 주사부(105) 등의 구동 제어를 행한다. 제어부(1100)는, 수직 주사부(102), AD 변환부(103), 참조 신호 생성부(104) 및 수평 주사부(105)의 동작 기준이 되는 각종의 구동 신호를 생성한다. 제어부(1100)는, 예를 들면, 촬상 제어 신호에 포함되는 수직 동기 신호 또는 외부 트리거 신호와, 수평 동기 신호에 기초하여 수직 주사부(102)가 화소 신호선(106)을 통해 각 화소 회로(100)에 공급하기 위한 제어 신호를 생성한다. 제어부(1100)는, 생성된 제어 신호를 수직 주사부(102)에 공급한다.
또한, 제어부(1100)는, 예를 들면, 센서 제어부(11)로부터 공급되는 촬상 제어 신호에 포함되는, 아날로그 게인을 나타내는 정보를 AD 변환부(103)로 전달한다. AD 변환부(103)는, 이 아날로그 게인을 나타내는 정보에 따라, AD 변환부(103)에 포함되는 각 AD 변환기(107)에 수직 신호선(VSL)을 통해 입력되는 화소 신호의 게인을 제어한다.
수직 주사부(102)는, 제어부(1100)로부터 공급되는 제어 신호에 기초하여 화소 어레이부(101)의 선택된 화소 행의 화소 신호선(106)에 구동 펄스를 포함하는 각종 신호를, 라인마다 각 화소 회로(100)에 공급하고, 각 화소 회로(100)로부터, 화소 신호를 수직 신호선(VSL)에 출력시킨다. 수직 주사부(102)는, 예를 들면 시프트 레지스터나 어드레스 디코더 등을 사용하여 구성된다. 또한, 수직 주사부(102)는, 제어부(1100)로부터 공급되는 노출을 나타내는 정보에 따라, 각 화소 회로(100)에 있어서의 노출을 제어한다.
이와 같이 구성된 센서부(10)는, AD 변환기(107)가 열마다 배치된 컬럼 AD 방식의 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서이다.
[2. 본 개시에 적용 가능한 기존 기술의 예]
본 개시에 따른 각 실시형태의 설명에 앞서, 이해를 용이하기 하기 위해, 본 개시에 적용 가능한 기존 기술에 대해 개략적으로 설명한다.
(2-1. 롤링 셔터의 개요)
화소 어레이부(101)에 의한 촬상을 행할 때의 촬상 방식으로서, 롤링 셔터(RS) 방식과 글로벌 셔터(GS) 방식이 알려져 있다. 먼저, 롤링 셔터 방식에 대해 개략적으로 설명한다. 도 5a, 도 5b 및 도 5c는 롤링 셔터 방식을 설명하기 위한 모식도이다. 롤링 셔터 방식에서는, 도 5a에 나타내는 바와 같이, 프레임(200)의, 예를 들면 상단의 라인(201)으로부터 라인 단위로 순서대로 촬상을 행한다.
한편, 상기 설명에서는, 「촬상」을, 센서부(10)가 수광면에 조사된 광에 따른 화소 신호를 출력하는 동작을 가리킨다고 설명하였다. 보다 상세하게는, 「촬상」은, 화소에 있어서 노출을 행하고, 화소에 포함되는 광전 변환 소자에 노출에 의해 축적된 전하에 기초한 화소 신호를 센서 제어부(11)에 전송할 때까지의 일련의 동작을 가리키는 것으로 한다. 또한, 프레임은, 전술한 바와 같이, 화소 어레이부(101)에 있어서, 화소 신호를 생성하기 위해 유효한 화소 회로(100)가 배치되는 영역을 가리킨다.
예를 들면, 도 4의 구성에 있어서, 하나의 라인에 포함되는 각 화소 회로(100)에 있어서 노출을 동시에 실행한다. 노출의 종료 후, 노출에 의해 축적된 전하에 기초하는 화소 신호를, 해당 라인에 포함되는 각 화소 회로(100)에 있어서 일제히, 각 화소 회로(100)에 대응하는 각 수직 신호선(VSL)을 통해 각각 전송한다. 이 동작을 라인 단위로 순차적으로 실행함으로써, 롤링 셔터에 의한 촬상을 실현할 수 있다.
도 5b는 롤링 셔터 방식에 있어서의 촬상과 시간의 관계의 예를 모식적으로 나타내고 있다. 도 5b에 있어서, 종축은 라인 위치, 횡축은 시간을 나타낸다. 롤링 셔터 방식에서는, 각 라인에 있어서의 노출이 라인 순차적으로 행해지기 때문에, 도 5b에 나타내는 바와 같이, 각 라인에 있어서의 노출의 타이밍이 라인의 위치에 따라 순서대로 시프트되게 된다. 따라서, 예를 들면 촬상 장치(1)와 피사체와의 수평 방향의 위치 관계가 고속으로 변화하는 경우, 도 5c에 예시되는 바와 같이, 촬상된 프레임(200)의 화상에 왜곡이 생긴다. 도 5c의 예에서는, 프레임(200)에 대응하는 화상(202)이, 촬상 장치(1)와 피사체와의 수평 방향의 위치 관계의 변화 속도 및 변화 방향에 따른 각도로 기울어진 화상으로 되어 있다.
롤링 셔터 방식에 있어서, 라인을 솎아내어 촬상하는 것도 가능하다. 도 6a, 도 6b 및 도 6c는, 롤링 셔터 방식에 있어서의 라인 솎음을 설명하기 위한 모식도이다. 도 6a에 나타내는 바와 같이, 전술한 도 5a의 예와 마찬가지로, 프레임(200)의 상단 라인(201)으로부터 프레임(200)의 하단을 향해 라인 단위로 촬상을 행한다. 이 때, 소정 수마다 라인을 건너뛰고 읽으면서 촬상을 행한다.
여기서는, 설명을 위해, 1라인 솎음에 의해 1라인 걸러서 촬상을 행하는 것으로 한다. 즉, 제n 라인의 촬상의 다음은 제(n+2) 라인의 촬상을 행한다. 이 때, 제n 라인의 촬상으로부터 제(n+2) 라인의 촬상까지의 시간이, 솎음을 행하지 않은 경우의, 제n 라인의 촬상으로부터 제(n+1) 라인의 촬상까지의 시간과 동등한 것으로 한다.
도 6b는 롤링 셔터 방식에 있어서 1라인 솎음을 행한 경우의 촬상과 시간의 관계의 예를 모식적으로 나타내고 있다. 도 6b에 있어서, 종축은 라인 위치, 횡축은 시간을 나타낸다. 도 6b에 있어서, 노출A는 솎음을 행하지 않은 도 5b의 노출에 대응하고, 노출B는 1라인 솎음을 행한 경우의 노출을 나타내고 있다. 노출B에 나타내는 바와 같이, 라인 솎음을 행함으로써, 라인 솎음을 행하지 않은 경우에 비해, 동일한 라인 위치에서의 노출의 타이밍의 어긋남을 단축시킬 수 있다. 따라서, 도 6c에 화상(203)으로서 예시되는 바와 같이, 촬상된 프레임(200)의 화상에 생기는 기울기 방향의 왜곡이, 도 5c에 나타낸 라인 솎음을 행하지 않은 경우에 비해 작아진다. 한편, 라인 솎음을 행하는 경우에는, 라인 솎음을 행하지 않은 경우에 비해, 화상의 해상도가 낮아진다.
상기 설명에서는, 롤링 셔터 방식에 있어서 프레임(200)의 상단으로부터 하단을 향해 라인 순차적으로 촬상을 행하는 예에 대해 설명하였지만, 이것은 이 예에 한정되지 않는다. 도 7a 및 도 7b는, 롤링 셔터 방식에 있어서의 다른 촬상 방법의 예를 모식적으로 나타내는 도면이다. 예를 들면, 도 7a에 나타내는 바와 같이, 롤링 셔터 방식에 있어서, 프레임(200)의 하단으로부터 상단을 향해 라인 순차적인 촬상을 행할 수 있다. 이 경우에는, 프레임(200)의 상단으로부터 하단을 향해 라인 순차적으로 촬상한 경우에 비해, 화상(202)의 왜곡의 수평 방향의 방향이 반대로 된다.
또한, 예를 들면, 화소 신호를 전송하는 수직 신호선(VSL)의 범위를 설정함으로써, 라인의 일부를 선택적으로 판독하는 것도 가능하다. 나아가, 촬상을 행하는 라인과, 화소 신호를 전송하는 수직 신호선(VSL)을 각각 설정함으로써, 촬상을 개시 및 종료하는 라인을, 프레임(200)의 상단 및 하단 이외로 하는 것도 가능하다. 도 7b는 폭 및 높이가 프레임(200)의 폭 및 높이에 각각 미치지 않는 사각형의 영역(205)을 촬상의 범위로 한 예를 모식적으로 나타내고 있다. 도 7b의 예에서는, 영역(205)의 상단의 라인(204)로부터 라인 순차적으로 영역(205)의 하단을 향해서 촬상을 행하고 있다.
(2-2. 글로벌 셔터의 개요)
다음으로, 화소 어레이부(101)에 의한 촬상을 행할 때의 촬상 방식으로서, 글로벌 셔터(GS) 방식에 대해 개략적으로 설명한다. 도 8a, 도 8b 및 도 8c는 글로벌 셔터 방식을 설명하기 위한 모식도이다. 글로벌 셔터 방식에서는, 도 8a에 나타내는 바와 같이, 프레임(200)에 포함되는 전체 화소 회로(100)에서 동시에 노출을 행한다.
도 4의 구성에 있어서 글로벌 셔터 방식을 실현하는 경우, 일례로서, 각 화소 회로(100)에 있어서 광전 변환 소자와 FD의 사이에 커패시터를 더 설치한 구성으로 하는 것이 생각된다. 그리고, 광전 변환 소자와 해당 커패시터의 사이에 제1 스위치를, 해당 커패시터와 부유 확산층의 사이에 제2 스위치를 각각 설치하고, 이들 제1 및 제2 스위치 각각의 개폐를, 화소 신호선(106)을 통해 공급되는 펄스에 의해 제어하는 구성으로 한다.
이러한 구성에 있어서, 노출 기간 중에는, 프레임(200)에 포함되는 전체 화소 회로(100)에 있어서, 제1 및 제2 스위치를 각각 열고, 노출 종료에서 제1 스위치를 열림으로부터 닫힘으로 하여 광전 변환 소자부터 커패시터로 전하를 전송한다. 이후, 커패시터를 광전 변환 소자로 간주하여, 롤링 셔터 방식에서 설명한 판독 동작과 마찬가지의 시퀀스로, 커패시터로부터 전하를 판독한다. 이에 의해, 프레임(200)에 포함되는 전체 화소 회로(100)에 있어서 동시 노출이 가능해진다.
도 8b는 글로벌 셔터 방식에 있어서의 촬상과 시간의 관계의 예를 모식적으로 나타내고 있다. 도 8b에 있어서, 종축은 라인 위치, 횡축은 시간을 나타낸다. 글로벌 셔터 방식에서는, 프레임(200)에 포함되는 전체 화소 회로(100)에 있어서 동시에 노출이 행해지기 때문에, 도 8b에 나타내는 바와 같이, 각 라인에 있어서의 노출의 타이밍을 동일하게 할 수 있다. 따라서, 예를 들면 촬상 장치(1)와 피사체와의 수평 방향의 위치 관계가 고속으로 변화되는 경우라 하더라도, 도 8c에 예시되는 바와 같이, 촬상된 프레임(200)의 화상(206)에는, 해당 변화에 따른 왜곡이 생기지 않는다.
글로벌 셔터 방식에서는, 프레임(200)에 포함되는 전체 화소 회로(100)에 있어서의 노출 타이밍의 동시성을 확보할 수 있다. 그 때문에, 각 라인의 화소 신호선(106)에 의해 공급하는 각 펄스의 타이밍과, 각 수직 신호선(VSL)에 의한 전송의 타이밍을 제어함으로써, 다양한 패턴으로의 샘플링(화소 신호의 판독)을 실현할 수 있다.
도 9a 및 도 9b는 글로벌 셔터 방식에 있어서 실현 가능한 샘플링의 패턴의 예를 모식적으로 나타내는 도면이다. 도 9a는 프레임(200)에 포함되는, 행렬 형상으로 배열된 각 화소 회로(100)로부터, 화소 신호를 판독하는 샘플(208)을 체크무늬 형상으로 추출하는 예이다. 또한, 도 9b는 해당 각 화소 회로(100)로부터, 화소 신호를 판독하는 샘플(208)을 격자 형상으로 추출하는 예이다. 또한, 글로벌 셔터 방식에 있어서도, 전술한 롤링 셔터 방식과 마찬가지로, 라인 순차적으로 촬상을 행할 수 있다.
(2-3. DNN에 대해)
다음으로, 각 실시형태에 적용 가능한 DNN(Deep Neural Network)을 사용한 인식 처리에 대해 개략적으로 설명한다. 각 실시형태에서는, DNN 중, CNN(Convolutional Neural Network)과 RNN(Recurrent Neural Network)을 사용하여 화상 데이터에 대한 인식 처리를 행한다. 이하, 「화상 데이터에 대한 인식 처리」를, 적절히, 「화상 인식 처리」등이라고 부른다.
(2-3-1. CNN의 개요)
먼저, CNN에 대해 개략적으로 설명한다. CNN에 의한 화상 인식 처리는, 일반적으로는, 예를 들면 행렬 형상으로 배열된 화소에 의한 화상 정보에 기초하여 화상 인식 처리를 행한다. 도 10은 CNN에 의한 화상 인식 처리를 개략적으로 설명하기 위한 도면이다. 인식 대상의 오브젝트인 숫자 「8」을 묘화한 화상(50)의 전체 화소 정보(51)에 대해, 소정 방식으로 학습된 CNN(52)에 의한 처리를 실시한다. 이에 의해, 인식 결과(53)로서 숫자 「8」이 인식된다.
이에 대해, 라인마다의 화상에 기초하여 CNN에 의한 처리를 실시하여, 인식 대상의 화상의 일부로부터 인식 결과를 얻는 것도 가능하다. 도 11은 이 인식 대상의 화상의 일부로부터 인식 결과를 얻는 화상 인식 처리를 개략적으로 설명하기 위한 도면이다. 도 11에 있어서, 화상(50')은 인식 대상의 오브젝트인 숫자 「8」을 라인 단위로 부분적으로 취득한 것이다. 이 화상(50')의 화소 정보(51')를 형성하는 예를 들면 라인마다의 화소 정보(54a, 54b 및 54c)에 대해 순차적으로, 소정 방식으로 학습된 CNN(52')에 의한 처리를 실시한다.
예를 들면, 제1 라인째의 화소 정보(54a)에 대한 CNN(52')에 의한 인식 처리에 의해 얻어진 인식 결과(53a)는 유효한 인식 결과가 아니었던 것으로 한다. 여기서, 유효한 인식 결과란, 예를 들면, 인식된 결과에 대한 신뢰도를 나타내는 스코어가 소정 값 이상인 인식 결과를 가리킨다. CNN(52')은, 이 인식 결과(53a)에 기초하여 내부 상태의 갱신(55)을 행한다. 다음으로, 제2 라인째의 화소 정보(54b)에 대해, 이전의 인식 결과(53a)에 의해 내부 상태의 갱신(55)이 행해진 CNN(52')에 의해 인식 처리가 행해진다. 도 11에서는, 그 결과, 인식 대상의 숫자가 「8」 또는 「9」 중 어느 하나인 것을 나타내는 인식 결과(53b)가 얻어지고 있다. 나아가, 이 인식 결과(53b)에 기초하여 CNN(52')의 내부 정보의 갱신(55)을 행한다. 다음으로, 제3 라인째의 화소 정보(54c)에 대해, 이전의 인식 결과(53b)에 의해 내부 상태의 갱신(55)이 행해진 CNN(52')에 의해 인식 처리가 행해진다. 도 11에서는, 그 결과, 인식 대상의 숫자가 「8」 또는 「9」 중 「8」로 좁혀진다.
여기서, 이 도 11에 나타낸 인식 처리는, 이전의 인식 처리의 결과를 사용하여 CNN의 내부 상태를 갱신하고, 이 내부 상태가 갱신된 CNN에 의해, 이전의 인식 처리를 행한 라인에 인접하는 라인의 화소 정보를 사용하여 인식 처리를 행하고 있다. 즉, 이 도 11에 나타낸 인식 처리는, 화상에 대해 라인 순차적으로, CNN의 내부 상태를 이전의 인식 결과에 기초하여 갱신하면서 실행되고 있다. 따라서, 도 11에 나타내는 인식 처리는, 라인 순차적으로 재귀적으로 실행되는 처리이며, RNN에 상당하는 구조를 가지고 있다고 생각할 수 있다.
(2-3-2. RNN의 개요)
다음으로, RNN에 대해 개략적으로 설명한다. 도 12a 및 도 12b는 시계열 정보를 사용하지 않는 경우의, DNN에 의한 식별 처리(인식 처리)의 예를 개략적으로 나타내는 도면이다. 이 경우, 도 12a에 나타내는 바와 같이, 1개의 화상을 DNN에 입력한다. DNN에 있어서, 입력된 화상에 대해 식별 처리가 행해지고, 식별 결과가 출력된다.
도 12b는 도 12a의 처리를 보다 상세하게 설명하기 위한 도면이다. 도 12b에 나타내는 바와 같이, DNN은 특징 추출 처리와 식별 처리를 실행한다. DNN에 있어서, 입력된 화상에 대해 특징 추출 처리에 의해 특징량을 추출한다. 또한, DNN에 있어서, 추출된 특징량에 대해 식별 처리를 실행하여, 식별 결과를 얻는다.
도 13a 및 도 13b는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제1 예를 개략적으로 나타내는 도면이다. 이 도 13a 및 도 13b의 예에서는, 시계열상의, 고정 수의 과거 정보를 사용하여, DNN에 의한 식별 처리를 행한다. 도 13a의 예에서는, 시간 T의 화상[T]과, 시간 T보다 앞의 시간 T-1의 화상[T-1]과, 시간 T-1보다 앞의 시간 T-2의 화상[T-2]을 DNN에 입력한다. DNN에 있어서, 입력된 각 화상[T], [T-1] 및 [T-2]에 대해 식별 처리를 실행하여, 시간 T에 있어서의 식별 결과[T]를 얻는다.
도 13b는 도 13a의 처리를 보다 상세하게 설명하기 위한 도면이다. 도 13b에 나타내는 바와 같이, DNN에 있어서, 입력된 화상[T], [T-1] 및 [T-2] 각각에 대해, 전술한 도 12b를 사용하여 설명한 특징 추출 처리를 일대일로 실행하여, 화상[T], [T-1] 및 [T-2]에 각각 대응하는 특징량을 추출한다. DNN에서는, 이들 화상[T], [T-1] 및 [T-2]에 기초하여 얻어진 각 특징량을 통합하고, 통합된 특징량에 대해 식별 처리를 실행하여, 시간 T에 있어서의 식별 결과[T]을 얻는다.
이 도 13a 및 도 13b의 방법에서는, 특징량 추출을 행하기 위한 구성이 복수개 필요하게 되고, 이용 가능한 과거 화상의 수에 따라, 특징량 추출을 행하기 위한 구성이 필요하게 되어, DNN의 구성이 대규모로 될 우려가 있다.
도 14a 및 도 14b는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제2 예를 개략적으로 나타내는 도면이다. 도 14a의 예에서는, 내부 상태가 시간 T-1의 상태로 갱신된 DNN에 대해 시간 T의 화상[T]을 입력하여, 시간 T에 있어서의 식별 결과[T]를 얻고 있다.
도 14b는 도 14a의 처리를 보다 상세하게 설명하기 위한 도면이다. 도 14b에 나타내는 바와 같이, DNN에 있어서, 입력된 시간 T의 화상[T]에 대해 전술한 도 12b를 사용하여 설명한 특징 추출 처리를 실행하여, 화상[T]에 대응하는 특징량을 추출한다. DNN에 있어서, 시간 T보다 앞의 화상에 의해 내부 상태가 갱신되고, 갱신된 내부 상태에 관한 특징량이 보존되고 있다. 이 보존된 내부 정보에 관한 특징량과, 화상[T]에 있어서의 특징량을 통합하여, 통합된 특징량에 대해 식별 처리를 실행한다.
이 도 14a 및 도 14b에 나타내는 식별 처리는, 예를 들면 직전의 식별 결과를 사용하여 내부 상태가 갱신된 DNN을 사용하여 실행되는 것으로, 재귀적 처리가 된다. 이와 같이, 재귀적인 처리를 행하는 DNN을 RNN(Recurrent Neural Network)이라고 부른다. RNN에 의한 식별 처리는, 일반적으로는 동영상 인식 등에 사용되고, 예를 들면 시계열로 갱신되는 프레임 화상에 의해 DNN의 내부 상태를 순차적으로 갱신함으로써, 식별 정밀도를 향상시키는 것이 가능하다.
본 개시에서는, RNN을 롤링 셔터 방식의 구조에 적용한다. 즉, 롤링 셔터 방식에서는, 화소 신호의 판독이 라인 순차적으로 행해진다. 이에, 이 라인 순차적으로 판독되는 화소 신호를 시계열상의 정보로 하여, RNN에 적용시킨다. 이에 의해, CNN을 사용한 경우(도 13b 참조)와 비교하여 소규모의 구성으로, 복수의 라인에 기초하는 식별 처리를 실행 가능하게 된다. 이에 한정되지 않고, RNN을 글로벌 셔터 방식의 구조에 적용할 수도 있다. 이 경우, 예를 들면, 인접하는 라인을 시계열상의 정보로 간주하는 것이 생각된다.
(2-4. 구동 속도에 대해)
다음으로, 프레임의 구동 속도와 화소 신호의 판독량의 관계에 대해, 도 15a 및 도 15b를 사용하여 설명한다. 도 15a는 화상 내의 전체 라인을 판독하는 예를 나타내는 도면이다. 여기서, 인식 처리의 대상이 되는 화상의 해상도가, 수평 640화소×수직 480화소(480라인)인 것으로 한다. 이 경우, 14400 [라인/초]의 구동 속도로 구동함으로써, 30 [fps(frame per second)]로의 출력이 가능하게 된다.
다음으로, 라인을 솎아내어 촬상을 행하는 것을 생각한다. 예를 들면, 도 15b에 나타내는 바와 같이, 1라인씩 건너뛰고 읽어서 촬상을 행하는, 1/2 솎음 판독으로 촬상을 행하는 것으로 한다. 1/2 솎음의 제1 예로서, 전술한 것과 마찬가지로 14400 [라인/초]의 구동 속도로 구동하는 경우, 화상으로부터 판독하는 라인수가 1/2이 되기 때문에, 해상도는 저하하지만, 솎음을 행하지 않은 경우의 두 배의 속도의 60 [fps]로의 출력이 가능하게 되어, 프레임 레이트를 향상시킬 수 있다. 1/2 솎음의 제2 예로서, 구동 속도를 제1 예의 절반인 7200 [fps]로서 구동하는 경우, 프레임 레이트는 솎아내지 않는 경우와 마찬가지로 30 [fps]이 되지만, 저전력화가 가능하게 된다.
화상의 라인을 판독할 때에, 솎음을 행하지 않을지, 솎음을 행하고 구동 속도를 올릴지, 솎음을 행하고 구동 속도를 솎음을 행하지 않은 경우와 동일하게 할지는, 예를 들면, 판독된 화소 신호에 기초하는 인식 처리의 목적 등에 따라 선택할 수 있다.
[3. 본 개시의 개요]
이하, 본 개시의 각 실시형태에 대해 보다 상세하게 설명한다. 먼저, 본 개시의 각 실시형태에 따른 처리에 대해 개략적으로 설명한다. 도 16은 본 개시의 각 실시형태에 따른 인식 처리를 개략적으로 설명하기 위한 모식도이다. 도 16에 있어서, 단계(S1)에서, 각 실시형태에 따른 촬상 장치(1)(도 1 참조)에 의해, 인식 대상이 되는 대상 화상의 촬상을 개시한다.
한편, 대상 화상은, 예를 들면 손으로 쓴 숫자 「8」을 묘화한 화상인 것으로 한다. 또한, 메모리(13)에는, 소정의 교사 데이터에 의해 숫자를 식별 가능하게 학습된 학습 모델이 프로그램으로서 미리 기억되어 있고, 인식 처리부(12)는, 메모리(13)로부터 이 프로그램을 판독하여 실행함으로써, 화상에 포함되는 숫자의 식별이 가능하게 되어 있는 것으로 한다. 나아가, 촬상 장치(1)는, 롤링 셔터 방식에 의해 촬상을 행하는 것으로 한다. 한편, 촬상 장치(1)가 글로벌 셔터 방식으로 촬상을 행하는 경우라 하더라도, 이하의 처리는, 롤링 셔터 방식의 경우와 동일하게 적용 가능하다.
촬상이 개시되면, 촬상 장치(1)는, 단계(S2)에서, 프레임을 라인 단위로, 프레임의 상단측으로부터 하단측을 향해 순차적으로 판독한다.
어떤 위치까지 라인이 판독되면, 인식 처리부(12)에 의해, 판독된 라인에 의한 화상으로부터 「8」 또는 「9」의 숫자가 식별된다(단계(S3)). 예를 들면, 숫자 「8」 및 「9」는, 상부 절반의 부분에 공통되는 특징 부분을 포함하므로, 위에서부터 순서대로 라인을 판독하여 해당 특징 부분이 인식된 시점에서, 인식된 오브젝트가 숫자 「8」 및 「9」 중 어느 하나라고 식별할 수 있다.
여기서, 단계(S4a)에 나타내는 바와 같이, 프레임의 하단의 라인 또는 하단 부근의 라인까지 판독함으로써 인식된 오브젝트의 전체 모습이 나타나고, 단계(S2)에서 숫자 「8」 또는 「9」 중 어느 하나로서 식별된 오브젝트가 숫자 「8」인 것이 확정된다.
한편, 단계(S4b) 및 단계(S4c)는 본 개시에 관련되는 처리가 된다.
단계(S4b)에 나타내는 바와 같이, 단계(S3)에서 판독을 행한 라인 위치로부터 더욱 라인을 읽어 나가, 숫자 「8」의 하단에 도달하는 도중이더라도, 인식된 오브젝트가 숫자 「8」이라고 식별하는 것이 가능하다. 예를 들면, 숫자 「8」의 하부 절반과 숫자 「9」의 하부 절반은 각각 다른 특징을 갖는다. 이 특징의 차이가 명확하게 되는 부분까지 라인을 판독함으로써, 단계(S3)에서 인식된 오브젝트가 숫자 「8」 및 「9」 중 어느 것인지가 식별 가능하게 된다. 도 16의 예에서는, 단계(S4b)에 있어서, 해당 오브젝트가 숫자「8」이라고 확정되어 있다.
또한, 단계(S4c)에 나타내는 바와 같이, 단계(S3)의 라인 위치로부터, 단계(S3)의 상태에 있어서 더욱 판독함으로써, 단계(S3)에서 식별된 오브젝트가 숫자 「8」 또는 「9」 중 어느 것인지를 구별할 수 있을 것 같은 라인 위치로 점프하는 것도 생각된다. 이러한 점프하여 도달한 곳의 라인을 판독함으로써, 단계(S3)에서 식별된 오브젝트가 숫자 「8」 또는 「9」 중 어느 것인지를 확정할 수 있다. 한편, 점프하여 도달하는 곳의 라인 위치는, 소정의 교사 데이터에 기초하여 미리 학습된 학습 모델에 기초하여 결정할 수 있다.
여기서, 전술한 단계(S4b) 또는 단계(S4c)에서 오브젝트가 확정된 경우, 촬상 장치(1)는 인식 처리를 종료시킬 수 있다. 이에 의해, 촬상 장치(1)에 있어서의 인식 처리의 단시간화 및 저전력화를 실현하는 것이 가능해진다.
한편, 교사 데이터는, 판독 단위마다의 입력 신호와 출력 신호의 조합을 복수개 보유한 데이터이다. 일례로서, 전술한 숫자를 식별하는 태스크에서는, 입력 신호로서 판독 단위마다의 데이터(라인 데이터, 서브샘플링된 데이터 등)를 적용하고, 출력 신호로서 「정답의 숫자」를 나타내는 데이터를 적용할 수 있다. 다른 예로서, 예를 들면 물체를 검출하는 태스크에서는, 입력 신호로서 판독 단위마다의 데이터(라인 데이터, 서브샘플링된 데이터 등)를 적용하고, 출력 신호로서 물체 클래스(object class)(인체/차량/비물체)나 물체의 좌표(x, y, h, w) 등을 적용할 수 있다. 또한, 자기 교사 학습을 사용하여 입력 신호만으로부터 출력 신호를 생성해도 된다.
[4. 제1 실시형태]
다음으로, 본 개시의 제1 실시형태에 대해 설명한다.
(4-1. 인식 처리부에 의한 동작 예)
제1 실시형태에 따른 촬상 장치(1)에 있어서, 인식 처리부(12)는, 전술한 바와 같이, 소정의 교사 데이터에 기초하여 미리 학습된 학습 모델로서 메모리(13)에 기억되는 프로그램을 판독하여 실행함으로써, DNN을 이용한 인식기로서 기능한다.
도 17은 제1 실시형태에 따른 인식 처리부(12)에 의한 인식 처리를 나타내는 일례의 플로우차트이다. 도 17에 있어서, 단계(S121)에서, 촬상 장치(1)에 있어서, 인식 처리부(12)를 구성하는 DSP는, 메모리(13)로부터 학습 모델을 판독하여 실행한다. 이에 의해, 해당 DSP가 인식 처리부(12)로서 기능한다.
다음으로, 단계(S122)에서, 촬상 장치(1)에 있어서 인식 처리부(12)는, 센서 제어부(11)에 대해 센서부(10)로부터의 프레임 판독을 개시하도록 지시한다. 이 프레임 판독에서는, 예를 들면, 1프레임분의 화상 데이터가 라인 단위(행 단위라고도 말함)로 순차적으로 판독된다. 인식 처리부(12)는, 1프레임에 있어서의 소정 라인수의 화상 데이터가 판독되었는지 여부를 판정한다.
인식 처리부(12)는, 1프레임에 있어서의 소정 라인수의 화상 데이터가 판독되었다고 판정하면(단계(S123), 「YES」), 처리를 단계(S124)로 이행시킨다. 단계(S124)에서, 인식 처리부(12)는, 판독된 소정 라인수분의 화상 데이터에 대해, CNN을 이용한 기계 학습 처리로서의 인식 처리를 실행한다. 즉, 인식 처리부(12)는, 소정 라인수의 화상 데이터를 단위 영역으로 하여, 학습 모델을 사용한 기계 학습 처리를 실행한다. 또한, CNN을 이용한 기계 학습 처리에서는, 예를 들면, 얼굴 검출, 얼굴 인증, 시선 검출, 표정 인식, 얼굴 방향 검출, 물체 검출, 물체 인식, 움직임(동물체) 검출, 애완동물 검출, 장면(scene) 인식, 상태 검출, 회피 대상물 인식 등의 인식 처리나 검출 처리가 실행된다.
여기서, 얼굴 검출이란, 화상 데이터에 포함되는 인물의 얼굴을 검출하는 처리이다. 얼굴 인증이란, 생체 인증의 하나로서, 화상 데이터에 포함되는 인물의 얼굴이 미리 등록된 인물의 얼굴과 일치하는지 여부를 인증하는 처리이다. 시선 검출이란, 화상 데이터에 포함되는 인물의 시선의 방향을 검출하는 처리이다. 표정 인식이란, 화상 데이터에 포함되는 인물의 표정을 인식하는 처리이다. 얼굴 방향 검출이란, 화상 데이터에 포함되는 인물의 얼굴의 상하 방향을 검출하는 처리이다. 물체 검출이란, 화상 데이터에 포함되는 물체를 검출하는 처리이다. 물체 인식이란, 화상 데이터에 포함되는 물체가 무엇인지를 인식하는 처리이다. 움직임(동물체) 검출이란, 화상 데이터에 포함되는 동물체를 검출하는 처리이다. 애완동물 검출이란, 화상 데이터에 포함되는 개나 고양이 등의 애완동물을 검출하는 처리이다. 장면 인식이란, 촬영하고 있는 장면(바다나 산 등)을 인식하는 처리이다. 상태 검출이란, 화상 데이터에 포함되는 인물 등의 상태(통상의 상태인지 이상(異常)의 상태인지 등)를 검출하는 처리이다. 회피 대상물 인식이란, 자신이 이동하는 경우의 그 진행 방향 전방에 존재하는 회피 대상의 물체를 인식하는 처리이다. 인식 처리부(12)에 의해 실행되는 기계 학습 처리는 이들 예에 한정되지 않는다.
단계(S125)에서, 인식 처리부(12)는, 단계(S124)에 의한 CNN을 이용한 기계 학습 처리가 성공했는지 여부를 판정한다. 인식 처리부(12)는, CNN을 이용한 기계 학습 처리에 성공했다고 판정한 경우(단계(S125), 「YES」), 처리를 단계(S129)로 이행시킨다. 한편, 인식 처리부(12)는, 단계(S124)에 의한 CNN을 이용한 기계 학습 처리에 실패했다고 판정한 경우(단계(S125), 「NO」), 처리를 단계(S126)로 이행시킨다. 단계(S126)에서, 인식 처리부(12)는, 센서 제어부(11)로부터 다음 소정 라인수의 화상 데이터가 판독되는 것을 대기한다(단계(S126), 「NO」).
한편, 본 설명에 있어서, 기계 학습 처리에 성공한다는 것은, 예를 들면, 상기에서 예시한 바와 같은 얼굴 검출이나 얼굴 인증 등에 있어서, 일정한 검출 결과나 인식 결과나 인증이 얻어진 것을 의미한다. 한편, 기계 학습 처리에 실패한다는 것은, 예를 들면, 상기에서 예시한 바와 같은 얼굴 검출이나 얼굴 인증 등에 있어서, 충분한 검출 결과나 인식 결과나 인증이 얻어지지 않은 것을 의미한다.
다음으로, 단계(S126)에 있어서, 다음 소정 라인수의 화상 데이터(단위 영역)가 판독되면(단계(S126), 「YES」), 인식 처리부(12)는, 단계(S127)에서, 판독된 소정 라인수의 화상 데이터에 대해, RNN을 이용한 기계 학습 처리를 실행한다. RNN을 이용한 기계 학습 처리에서는, 예를 들면, 동일 프레임의 화상 데이터에 대해 지금까지에 실행한 CNN 또는 RNN을 이용한 기계 학습 처리의 결과도 이용된다.
단계(S128)에서, 인식 처리부(12)는, 단계(S127)에 있어서의 RNN을 이용한 기계 학습 처리에 성공했다고 판정한 경우(단계(S128), 「YES」), 처리를 단계(S129)로 이행시킨다.
단계(S129)에서, 인식 처리부(12)는, 단계(S124) 또는 단계(S127)에서 성공한 기계 학습 결과가, 예를 들면, 인식 처리부(12)로부터 출력 제어부(15)로 공급된다. 이 단계(S129)에서 출력되는 기계 학습 결과는, 예를 들면 인식 처리부(12)에 의한 유효한 인식 결과이다. 인식 처리부(12)는, 해당 기계 학습 결과를 메모리(13)에 저장해도 된다.
또한, 인식 처리부(12)는, 단계(S128)에서, 단계(S127)에 있어서의 RNN을 이용한 기계 학습 처리에 실패했다고 판정한 경우(단계(S128), 「NO」), 처리를 단계(S130)로 이행시킨다. 단계(S130)에서, 인식 처리부(12)는, 1프레임분의 화상 데이터의 판독이 완료되었는지 여부를 판정한다. 인식 처리부(12)는, 1프레임분의 화상 데이터의 판독이 완료되어 있지 않다고 판정한 경우(단계(S130), 「NO」), 처리를 단계(S126)로 되돌리고, 다음 소정 라인수의 화상 데이터에 대한 처리가 실행된다.
한편, 인식 처리부(12)는, 단계(S130)에서 1프레임분의 화상 데이터의 판독이 완료되어 있다고 판정한 경우(단계(S130), 「YES」), 예를 들면, 인식 처리부(12)는, 단계(S131)에서, 이 도 17의 플로우차트에 의한 일련의 처리를 종료할지 여부를 판정한다. 인식 처리부(12)는, 종료하지 않는다고 판정한 경우(단계(S131), 「NO」), 처리를 단계(S122)로 되돌리고, 다음 프레임에 대해 마찬가지의 동작을 실행한다. 또한, 인식 처리부(12)는, 종료한다고 판정한 경우(단계(S131), 「YES」), 이 도 17의 플로우차트에 의한 일련의 처리를 종료시킨다.
한편, 단계(S131)에 의한 다음 프레임으로 이행할지 여부의 판정은, 예를 들면, 촬상 장치(1)의 외부로부터 종료의 지시가 입력되었는지 여부에 기초하여 행해도 되고, 미리 정해 둔 소정 프레임수의 화상 데이터에 대한 일련의 처리가 완료되었는지 여부에 기초하여 행해도 된다.
또한, 얼굴 검출, 얼굴 인증, 시선 검출, 표정 인식, 얼굴 방향 검출, 물체 검출, 물체 인식, 움직임(동물체) 검출, 장면 인식, 상태 검출 등의 기계 학습 처리를 연속해서 행하는 경우, 직전의 기계 학습 처리에 실패하고 있는 경우에는, 다음 기계 학습 처리가 스킵되어도 된다. 예를 들면, 얼굴 검출 후에 얼굴 인증을 실행하는 경우에, 얼굴 검출에 실패하고 있는 경우에는, 다음 얼굴 인증이 스킵되어도 된다.
(4-2. 인식 처리부에 의한 동작의 구체예)
다음으로, 도 17을 사용하여 설명한 기계 학습부의 동작을, 구체예를 사용하여 설명한다. 한편, 이하에서는, DNN을 이용해서 얼굴 검출을 실행하는 경우를 예시한다.
도 18은 1프레임분의 화상 데이터의 일례를 나타내는 도면이다. 도 19는 제1 실시형태에 따른 인식 처리부(12)가 실행하는 기계 학습 처리의 흐름을 설명하기 위한 도면이다.
도 18에 나타내는 바와 같은 화상 데이터에 대해 기계 학습에 의해 얼굴 검출을 실행하는 경우, 도 19의 섹션(a)에 나타내는 바와 같이, 인식 처리부(12)에는, 먼저, 소정 라인수분의 화상 데이터가 입력된다(도 17의 단계(S123)에 상당). 인식 처리부(12)는, 입력된 소정 라인수분의 화상 데이터에 대해 CNN을 이용한 기계 학습 처리를 실행함으로써, 얼굴 검출을 실행한다(도 17의 단계(S124)에 상당). 다만, 도 19의 섹션(a)의 단계에서는, 아직 얼굴 전체의 화상 데이터가 입력되고 있지 않기 때문에, 인식 처리부(12)는 얼굴 검출에 실패한다(도 17의 단계(S125)의 「NO」에 상당).
이어서, 도 19의 섹션(b)에 나타내는 바와 같이, 인식 처리부(12)에는, 다음 소정 라인수분의 화상 데이터가 입력된다(도 17의 단계(S126)에 상당). 인식 처리부(12)는, 도 19의 섹션(a)에서 입력된 소정 라인수분의 화상 데이터에 대해 실행한 CNN을 이용한 기계 학습 처리의 결과를 사용하면서, 새롭게 입력된 소정 라인수분의 화상 데이터에 대해 RNN을 이용한 기계 학습 처리를 실행함으로써, 얼굴 검출을 실행한다(도 17의 단계(S127)에 상당).
도 19의 섹션(b)의 단계에서는, 도 19의 섹션(a)의 단계에서 입력된 소정 라인수분의 화소 데이터와 합쳐서, 얼굴 전체의 화상 데이터가 입력되고 있다. 따라서, 도 19의 섹션(b)의 단계에 있어서, 인식 처리부(12)는 얼굴 검출에 성공한다(도 17의 단계(S128)의 「YES」에 상당). 그러면, 본 동작에서는, 그 이후의 화상 데이터(도 19 섹션(c)∼(f)의 화상 데이터)가 판독되지 않고, 얼굴 검출의 결과가 출력된다(도 17의 단계(S129)에 상당).
이와 같이, 소정 라인수씩의 화상 데이터에 대해 DNN을 이용한 기계 학습 처리를 실행함으로써, 얼굴 검출에 성공한 시점 이후의 화상 데이터에 대한 판독이나 기계 학습 처리의 실행을 생략하는 것이 가능해진다. 그에 따라, 단시간에 검출이나 인식이나 인증 등의 처리를 완료하는 것이 가능해지기 때문에, 처리 시간의 단축 및 소비 전력의 저감을 실현하는 것이 가능해진다.
한편, 소정 라인수는, 학습 모델의 알고리즘이 요구하는 필터의 크기에 따라 결정되는 라인수이며, 그 최소 수는 1라인이다.
또한, 센서 제어부(11)에 의해 센서부(10)로부터 판독되는 화상 데이터는, 열 방향 및 행 방향 중 적어도 일방으로 솎아내진 화상 데이터여도 된다. 그 경우, 예를 들면, 열 방향으로 1행 걸러서 화상 데이터를 판독하는 경우에는, 2(N-1) (N은 1 이상의 정수) 라인째의 화상 데이터가 판독된다.
또한, 학습 모델의 알고리즘이 요구하는 필터가 라인 단위가 아니고, 예를 들면, 1×1 화소나 5×5 화소 등의 화소 단위의 사각형 영역인 경우에는, 소정 라인수의 화상 데이터 대신에, 그 필터의 형상이나 사이즈에 따른 사각형 영역의 화상 데이터를, 인식 처리부(12)가 기계 학습 처리를 실행하는 단위 영역의 화상 데이터로서, 인식 처리부(12)에 입력하여도 된다.
나아가, 상기 설명에서는, DNN의 예로서 CNN과 RNN을 예시했지만, 이들에 한정되지 않고, 다른 학습 모델을 이용하는 것도 가능하다.
(4-3. 제1 실시형태의 응용예)
다음으로, 제1 실시형태의 응용예에 대해 설명한다. 여기서는, 제1 실시형태의 응용예로서, 예를 들면 도 17의 플로우차트의 단계(S124)에서의 CNN에 의한 기계 학습 처리의 결과나, 단계(S127)에서의 RNN에 의한 기계 학습 처리의 결과에 기초하여, 다음으로 판독을 행하는 소정 라인수에 있어서의 노출을 제어하는 예에 대해 설명한다. 도 20a 및 도 20b는 제1 실시형태의 응용예에 대해 설명하기 위한 모식도이다.
도 20a의 섹션(a)는 과다 노출된(overexposed) 화상(60a)의 예를 나타내는 모식도이다. 화상(60a)은 과다 노출 때문에, 화상(60a)이 전체적으로 흰빛을 띠게 되고, 예를 들면 화상(60a)에 포함되는 오브젝트로서의 모니터(62)는, 화면 내 밝은 부분이 하얗게 날아가 버려 사람의 눈에는 세부의 판별이 곤란하게 되어 있다. 한편, 화상(60a)에 포함되는 오브젝트로서의 사람(61)은, 과다 노출 때문에 약간 흰빛을 띠게 되어 있지만, 모니터(62)와 비교하면, 사람의 눈에는 식별이 용이하게 보인다.
도 20a의 섹션(b)는, 과소 노출된(underexposed) 화상(60b)의 예를 나타내는 모식도이다. 화상(60b)은 과소 노출 때문에, 화상(60b)이 전체적으로 거무스름하게 되고, 예를 들면 화상(60a)에서는 보이고 있던 사람(61)이 사람의 눈에 식별 곤란하게 되어 버린다. 한편, 화상(60b)에 포함되는 모니터(62)는, 화상(60a)과 비교하여, 사람의 눈에는 세부까지 상세하게 식별 가능하게 되어 있다.
도 20b는 제1 실시형태의 응용예에 따른 판독 방법을 설명하기 위한 모식도이다. 도 20b의 섹션(a) 및 (b)에서는, 전술한 도 17의 플로우차트의 단계(S122)에 있어서, 프레임 판독을 과소 노출 상태에서 개시하는 경우에 대해 나타내어져 있다.
도 20b의 섹션(a)는 제1 실시형태의 응용예에 있어서의 제1 예에 따른 판독 방법을 나타내고 있다. 도 20b의 섹션(a)의 화상(60c)에 있어서, 예를 들면 프레임의 선두 라인 L#1의 단계(S124)에 의한 CNN을 이용한 인식 처리가 실패, 또는 인식 결과의 신뢰도를 나타내는 스코어가 소정 값 이하였던 것으로 한다. 이 경우, 인식 처리부(12)는, 단계(S126)에서 판독하는 라인 L#2의 노출을 인식 처리에 적합한 노출로 설정(이 경우, 노출량을 많게 설정)하도록, 센서 제어부(11)에 지시한다. 한편, 도 20b에 있어서, 라인 L#1, L#2, …은 각각 1개의 라인이어도 되고, 서로 인접하는 복수 라인이어도 된다.
도 20b의 섹션(a)의 예에서는, 라인 L#2의 노출량을 라인 L#1의 노출량보다 많게 하고 있다. 그 결과, 라인 L#2가 과다 노출로 되고, 예를 들면 단계(S127)에 의한 RNN을 이용한 인식 처리가 실패 또는 스코어가 소정 값 이하였던 것으로 한다. 인식 처리부(12)는, 단계(S130)로부터 단계(S126)로 처리가 되돌아가 판독되는 라인 L#3의 노출량을 라인 L#2의 노출량보다 적게 설정하도록, 센서 제어부(11)에 지시한다. 라인 L#4, …, L#m, …에 대해서도, 마찬가지로, 인식 처리의 결과에 따라 다음 라인의 노출량을 순차적으로 설정해 간다.
이와 같이, 어떤 라인의 인식 결과에 기초하여 다음으로 판독을 행하는 라인의 노출량을 조정함으로써, 보다 고정밀도로 인식 처리를 실행하는 것이 가능하게 된다.
또한, 전술한 응용예의 추가 응용으로서, 도 20b의 섹션(b)에 나타내는 바와 같이, 소정의 라인까지 판독한 시점에서 노출을 재설정하고, 다시 프레임의 선두 라인으로부터 판독을 실행하는 방법도 생각된다. 도 20b의 섹션(b)에 나타내는 바와 같이, 인식 처리부(12)는, 전술한 섹션(a)와 마찬가지로 하여, 프레임의 선두 라인 L#1로부터 예를 들면 라인 L#m까지 판독을 행하여(1st), 그 인식 결과에 기초하여 노출을 재설정한다. 인식 처리부(12)는, 재설정된 노출에 기초하여 다시 프레임의 각 라인 L#1, L#2, …의 판독을 행한다(2nd).
이와 같이, 소정 수의 라인의 판독을 행한 결과에 기초하여 노출을 재설정하고, 재설정된 노출에 기초하여 다시 프레임의 선두로부터 라인 L#1, L#2, …을 다시 판독함으로써, 더욱 고정밀도로 인식 처리를 실행하는 것이 가능하게 된다.
[5. 제2 실시형태]
(5-0-1. 제2 실시형태에 따른 구성예)
다음으로, 본 개시의 제2 실시형태에 대해 설명한다. 제2 실시형태는 전술한 제1 실시형태에 의한 인식 처리를 확장한 것이다. 도 21은 제2 실시형태에 따른 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다. 한편, 도 21에 있어서, 도 1에 나타내는 광학부(30), 센서부(10), 메모리(13) 및 표시부(31)는 생략되어 있다. 또한, 도 21에 있어서, 도 1의 구성에 대해 트리거 생성부(16)가 추가되어 있다.
도 21에 있어서, 센서 제어부(11)는 판독부(110)과 판독 제어부(111)를 포함한다. 인식 처리부(12)는, 특징량 계산부(120)와, 특징량 축적 제어부(121)와, 판독 결정부(123)와, 인식 처리 실행부(124)를 포함하고, 특징량 축적 제어부(121)는 특징량 축적부(122)를 포함한다. 또한, 시인 처리부(14)는, 화상 데이터 축적 제어부(140)와, 판독 결정부(142)와, 화상 처리부(143)를 포함하고, 화상 데이터 축적 제어부(140)는 화상 데이터 축적부(141)를 포함한다.
센서 제어부(11)에 있어서, 판독 제어부(111)는, 인식 처리부(12)에 포함되는 판독 결정부(123)로부터, 인식 처리부(12)에 있어서 판독을 행하는 판독 영역을 나타내는 판독 영역 정보를 수취한다. 판독 영역 정보는, 예를 들면, 하나 또는 복수의 라인의 라인 번호이다. 이에 한정되지 않고, 판독 영역 정보는, 하나의 라인 내의 화소 위치를 나타내는 정보이어도 된다. 또한, 판독 영역 정보로서, 하나 이상의 라인 번호와, 라인 내의 하나 이상의 화소의 화소 위치를 나타내는 정보를 조합함으로써, 다양한 패턴의 판독 영역을 지정하는 것이 가능하다. 한편, 판독 영역은 판독 단위와 동등하다. 이에 한정되지 않고, 판독 영역과 판독 단위가 달라도 된다.
마찬가지로, 판독 제어부(111)는, 시인 처리부(14)에 포함되는 판독 결정부(142)로부터, 시인 처리부(14)에서 판독을 행하는 판독 영역을 나타내는 판독 영역 정보를 수취한다.
판독 제어부(111)는, 이들 판독 결정부(123 및 142)에 기초하여, 실제로 판독을 행하는 판독 영역을 나타내는 판독 영역 정보를 판독부(110)로 전달한다. 예를 들면, 판독 제어부(111)는, 판독 결정부(123)로부터 수취한 판독 영역 정보와, 판독 결정부(142)로부터 수취한 판독 영역 정보에 컨플릭트(conflict)가 생기고 있는 경우, 중재를 행하여 판독부(110)로 전달되는 판독 영역 정보를 조정할 수 있다.
또한, 판독 제어부(111)는, 판독 결정부(123) 또는 판독 결정부(142)로부터 노출이나 아날로그 게인을 나타내는 정보를 수취할 수 있다. 판독 제어부(111)는, 수취된 노출이나 아날로그 게인을 나타내는 정보를 판독부(110)로 전달한다.
판독부(110)는, 판독 제어부(111)로부터 전달된 판독 영역 정보에 따라, 센서부(10)로부터의 화소 데이터의 판독을 행한다. 예를 들면, 판독부(110)는, 판독 영역 정보에 기초하여 판독을 행하는 라인을 나타내는 라인 번호와, 해당 라인에서 판독하는 화소의 위치를 나타내는 화소 위치 정보를 구하고, 구한 라인 번호와 화소 위치 정보를 센서부(10)로 전달한다. 판독부(110)는, 센서부(10)로부터 취득한 각 화소 데이터를, 판독 영역 정보와 함께, 인식 처리부(12) 및 시인 처리부(14)로 전달한다.
또한, 판독부(110)는, 판독 제어부(111)로부터 수취한 노출이나 아날로그 게인을 나타내는 정보에 따라, 센서부(10)에 대해 노출이나 아날로그 게인(AG)을 설정한다. 나아가, 판독부(110)는 수직 동기 신호 및 수평 동기 신호를 생성하고, 센서부(10)에 공급할 수 있다.
인식 처리부(12)에 있어서, 판독 결정부(123)는, 특징량 축적 제어부(121)로부터, 다음으로 판독을 행할 판독 영역을 나타내는 판독 정보를 수취한다. 판독 결정부(123)는, 수취된 판독 정보에 기초하여 판독 영역 정보를 생성하여, 판독 제어부(111)로 전달한다.
여기서, 판독 결정부(123)는, 판독 영역 정보에 나타내는 판독 영역으로서, 예를 들면, 소정의 판독 단위로, 해당 판독 단위의 화소 데이터를 판독하기 위한 판독 위치 정보가 부가된 정보를 사용할 수 있다. 판독 단위는, 1개 이상의 화소의 집합이며, 인식 처리부(12)나 시인 처리부(14)에 의한 처리의 단위가 된다. 일례로서, 판독 단위가 라인이라면, 라인의 위치를 나타내는 라인 번호 [L#x]가 판독 위치 정보로서 부가된다. 또한, 판독 단위가 복수의 화소를 포함하는 사각형 영역이라면, 해당 사각형 영역의 화소 어레이부(101)에 있어서의 위치를 나타내는 정보, 예를 들면 상부좌측 코너(upper left corner)의 화소의 위치를 나타내는 정보가 판독 위치 정보로서 부가된다. 판독 결정부(123)는, 적용되는 판독 단위가 미리 지정된다. 이에 한정되지 않고, 판독 결정부(123)는, 예를 들면 판독 결정부(123)의 외부로부터의 지시에 따라, 판독 단위를 결정할 수도 있다. 따라서, 판독 결정부(123)는, 판독 단위를 제어하는 판독 단위 제어부로서 기능한다.
한편, 판독 결정부(123)는, 후술하는 인식 처리 실행부(124)로부터 전달되는 인식 정보에 기초하여 다음으로 판독을 행할 판독 영역을 결정하고, 결정된 판독 영역을 나타내는 판독 영역 정보를 생성할 수도 있다.
마찬가지로, 시인 처리부(14)에 있어서, 판독 결정부(142)는, 예를 들면 화상 데이터 축적 제어부(140)로부터, 다음으로 판독을 행할 판독 영역을 나타내는 판독 정보를 수취한다. 판독 결정부(142)는, 수취된 판독 정보에 기초하여 판독 영역 정보를 생성하여, 판독 제어부(111)로 전달한다.
인식 처리부(12)에 있어서, 특징량 계산부(120)는, 판독부(110)로부터 전달된 화소 데이터 및 판독 영역 정보에 기초하여, 해당 판독 영역 정보로 나타내어지는 영역에 있어서의 특징량을 산출한다. 특징량 계산부(120)는, 산출된 특징량을 특징량 축적 제어부(121)로 전달한다.
특징량 계산부(120)는, 후술하는 바와 같이, 판독부(110)로부터 전달된 화소 데이터와, 특징량 축적 제어부(121)로부터 전달된, 과거의 특징량에 기초하여 특징량을 산출해도 된다. 이에 한정되지 않고, 특징량 계산부(120)는, 예를 들면 판독부(110)로부터 노출이나 아날로그 게인을 설정하기 위한 정보를 취득하고, 취득된 이들 정보를 또한 사용하여 특징량을 산출해도 된다.
인식 처리부(12)에 있어서, 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터 전달된 특징량을 특징량 축적부(122)에 축적한다. 또한, 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터 특징량이 전달되면, 다음 판독을 행하는 판독 영역을 나타내는 판독 정보를 생성하여, 판독 결정부(123)로 전달한다.
여기서, 특징량 축적 제어부(121)는, 이미 축적된 특징량과, 새롭게 전달된 특징량을 통합하여 축적할 수 있다. 또한, 특징량 축적 제어부(121)는, 특징량 축적부(122)에 축적된 특징량 중, 불필요해진 특징량을 삭제할 수 있다. 불필요해진 특징량은, 예를 들면 이전 프레임에 관한 특징량이나, 새로운 특징량이 산출된 프레임 화상과는 다른 장면의 프레임 화상에 기초하여 산출되어 이미 축적된 특징량 등이 생각된다. 또한, 특징량 축적 제어부(121)는, 필요에 따라 특징량 축적부(122)에 축적된 모든 특징량을 삭제하여 초기화할 수도 있다.
또한, 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터 전달된 특징량과, 특징량 축적부(122)에 축적되는 특징량에 기초하여 인식 처리 실행부(124)가 인식 처리에 사용하기 위한 특징량을 생성한다. 특징량 축적 제어부(121)는, 생성된 특징량을 인식 처리 실행부(124)로 전달한다.
인식 처리 실행부(124)는 특징량 축적 제어부(121)로부터 전달된 특징량에 기초하여 인식 처리를 실행한다. 인식 처리 실행부(124)는 인식 처리에 의해 물체 검출, 얼굴 검출 등을 행한다. 인식 처리 실행부(124)는, 인식 처리에 의해 얻어진 인식 결과를 출력 제어부(15)로 전달한다. 인식 처리 실행부(124)는, 인식 처리에 의해 생성되는 인식 결과를 포함하는 인식 정보를 판독 결정부(123)로 전달할 수도 있다. 한편, 인식 처리 실행부(124)는, 예를 들면 트리거 생성부(16)에 의해 생성된 트리거를 계기로 특징량 축적 제어부(121)로부터 특징량을 수취하여 인식 처리를 실행할 수 있다.
한편, 시인 처리부(14)에 있어서, 화상 데이터 축적 제어부(140)는, 판독부(110)로부터, 판독 영역으로부터 판독된 화소 데이터와, 해당 화상 데이터에 대응하는 판독 영역 정보를 수취한다. 화상 데이터 축적 제어부(140)는, 이들 화소 데이터 및 판독 영역 정보를 관련지어 화상 데이터 축적부(141)에 축적한다.
화상 데이터 축적 제어부(140)는, 판독부(110)로부터 전달된 화소 데이터와, 화상 데이터 축적부(141)에 축적된 화상 데이터에 기초하여, 화상 처리부(143)가 화상 처리를 행하기 위한 화상 데이터를 생성한다. 화상 데이터 축적 제어부(140)는, 생성된 화상 데이터를 화상 처리부(143)로 전달한다. 이에 한정되지 않고, 화상 데이터 축적 제어부(140)는, 판독부(110)로부터 전달된 화소 데이터를, 그대로 화상 처리부(143)로 전달할 수도 있다.
또한, 화상 데이터 축적 제어부(140)는, 판독부(110)로부터 전달된 판독 영역 정보에 기초하여, 다음 판독을 행하는 판독 영역을 나타내는 판독 정보를 생성하여, 판독 결정부(142)로 전달한다.
여기서, 화상 데이터 축적 제어부(140)는, 이미 축적된 화상 데이터와, 새롭게 전달된 화소 데이터를, 예를 들면 가산 평균 등에 의해 통합하여 축적할 수 있다. 또한, 화상 데이터 축적 제어부(140)는, 화상 데이터 축적부(141)에 축적된 화상 데이터 중, 불필요해진 화상 데이터를 삭제할 수 있다. 불필요해진 화상 데이터는, 예를 들면 이전 프레임에 관한 화상 데이터나, 새로운 화상 데이터가 산출된 프레임 화상과는 다른 장면의 프레임 화상에 기초하여 산출되어 이미 축적된 화상 데이터 등이 생각된다. 또한, 화상 데이터 축적 제어부(140)는, 필요에 따라 화상 데이터 축적부(141)에 축적된 모든 화상 데이터를 삭제하여 초기화할 수도 있다.
나아가, 화상 데이터 축적 제어부(140)는, 판독부(110)로부터 노출이나 아날로그 게인을 설정하기 위한 정보를 취득하고, 취득된 이들 정보를 사용하여 보정한 화상 데이터를, 화상 데이터 축적부(141)에 축적할 수도 있다.
화상 처리부(143)는, 화상 데이터 축적 제어부(140)로부터 전달된 화상 데이터에 대해 소정의 화상 처리를 실시한다. 예를 들면, 화상 처리부(143)는, 해당 화상 데이터에 대해 소정의 고화질화 처리를 실시할 수 있다. 또한, 전달된 화상 데이터가 라인 솎음 등에 의해 공간적으로 데이터가 삭감된 화상 데이터인 경우, 보간 처리에 의해 솎아내진 부분에 화상 정보를 보충하는 것도 가능하다. 화상 처리부(143)는, 화상 처리를 실시한 화상 데이터를 출력 제어부(15)로 전달한다.
한편, 화상 처리부(143)는, 예를 들면 트리거 생성부(16)에 의해 생성된 트리거를 계기로 화상 데이터 축적 제어부(140)로부터 화상 데이터를 수취하여 화상 처리를 실행할 수 있다.
출력 제어부(15)는, 인식 처리 실행부(124)로부터 전달된 인식 결과와, 화상 처리부(143)로부터 전달된 화상 데이터 중 일방 또는 양쪽 모두를 출력한다. 출력 제어부(15)는, 예를 들면 트리거 생성부(16)에 의해 생성된 트리거에 따라, 인식 결과 및 화상 데이터 중 일방 또는 양쪽 모두를 출력한다.
트리거 생성부(16)는, 인식 처리부(12)로부터 전달되는 인식 처리에 관한 정보와, 시인 처리부(14)로부터 전달되는 화상 처리에 관한 정보에 기초하여, 인식 처리 실행부(124)로 전달하는 트리거와, 화상 처리부(143)로 전달하는 트리거와, 출력 제어부(15)로 전달하는 트리거를 생성한다. 트리거 생성부(16)는, 생성된 각트리거를, 각각 소정의 타이밍에서 인식 처리 실행부(124)와, 화상 처리부(143)와, 출력 제어부(15)로 전달한다.
(5-0-2. 제2 실시형태에 따른 인식 처리부에 있어서의 처리의 예)
도 22는 제2 실시형태에 따른 인식 처리부(12)에 있어서의 처리의 예에 대해 보다 상세하게 나타내는 모식도이다. 여기서는, 판독 영역이 라인으로 되고, 판독부(110)가, 화상(60)의 프레임 상단으로부터 하단을 향해, 라인 단위로 화소 데이터를 판독하는 것으로 한다. 판독부(110)에 라인 단위로 판독된 라인 L#x의 라인 화상 데이터(라인 데이터)가 특징량 계산부(120)에 입력된다.
특징량 계산부(120)에서는, 특징량 추출 처리(1200)와 통합 처리(1202)가 실행된다. 특징량 계산부(120)는, 입력된 라인 데이터에 대해 특징량 추출 처리(1200)를 실시하여, 라인 데이터로부터 특징량(1201)을 추출한다. 여기서, 특징량 추출 처리(1200)는, 미리 학습에 의해 구한 파라미터에 기초하여, 라인 데이터로부터 특징량(1201)을 추출한다. 특징량 추출 처리(1200)에 의해 추출된 특징량(1201)은, 통합 처리(1202)에 의해, 특징량 축적 제어부(121)에 의해 처리된 특징량(1212)과 통합된다. 통합된 특징량(1210)은 특징량 축적 제어부(121)로 전달된다.
특징량 축적 제어부(121)에서는, 내부 상태 갱신 처리(1211)가 실행된다. 특징량 축적 제어부(121)로 전달된 특징량(1210)은 인식 처리 실행부(124)로 전달되고, 내부 상태 갱신 처리(1211)가 실시된다. 내부 상태 갱신 처리(1211)는, 미리 학습된 파라미터에 기초하여 특징량(1210)을 삭감하여 DNN의 내부 상태를 갱신하고, 갱신된 내부 상태에 관한 특징량(1212)을 생성한다. 이 특징량(1212)이 통합 처리(1202)에 의해 특징량(1201)과 통합된다. 이 특징량 축적 제어부(121)에 의한 처리가, RNN을 이용한 처리에 상당한다.
인식 처리 실행부(124)는, 특징량 축적 제어부(121)로부터 전달된 특징량(1210)에 대해, 예를 들면 소정의 교사 데이터를 사용하여 미리 학습된 파라미터에 기초하여 인식 처리(1240)를 실행하여, 인식 결과를 출력한다.
전술한 바와 같이, 제2 실시형태에 따른 인식 처리부(12)에서는, 특징량 추출 처리(1200)와, 통합 처리(1202)와, 내부 상태 갱신 처리(1211)와, 인식 처리(1240)에 있어서, 미리 학습된 파라미터에 기초하여 처리가 실행된다. 파라미터의 학습은, 예를 들면 상정되는 인식 대상에 기초하는 교사 데이터를 사용하여 행해진다.
한편, 전술한 특징량 계산부(120), 특징량 축적 제어부(121), 판독 결정부(123) 및 인식 처리 실행부(124)의 기능은, 예를 들면, 촬상 장치(1)가 구비하는 DSP에, 메모리(13) 등에 기억되는 프로그램이 판독되어 실행됨으로써 실현된다. 마찬가지로, 전술한 화상 데이터 축적 제어부(140), 판독 결정부(142) 및 화상 처리부(143)의 기능은, 예를 들면, 촬상 장치(1)가 구비하는 ISP에, 메모리(13) 등에 기억되는 프로그램이 판독되어 실행됨으로써 실현된다. 이들 프로그램은 미리 메모리(13)에 기억되어 있어도 되고, 외부로부터 촬상 장치(1)에 공급하여 메모리(13)에 기입하여도 된다.
(5-0-3. 제2 실시형태에 따른 인식 처리의 상세 내용)
다음으로, 제2 실시형태에 대해 보다 상세하게 설명한다. 도 23은 제2 실시형태에 따른 기능을 설명하기 위한 일례의 기능 블록도이다. 제2 실시형태에서는, 인식 처리부(12)에 의한 인식 처리가 주로 설명되므로, 도 23에서는, 전술한 도 21의 구성에 대하여, 시인 처리부(14), 출력 제어부(15) 및 트리거 생성부(16)를 생략하고 있다. 또한, 도 23에서는, 센서 제어부(11)에 있어서, 판독 제어부(111)가 생략되어 있다.
도 24는, 제2 실시형태에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다. 제2 실시형태에서는, 판독 단위가 라인으로 되고, 프레임 Fr(x)에 대해 라인 순차적으로 화소 데이터의 판독이 행해진다. 도 24의 예에서는, 제m 프레임 Fr(m)에 있어서, 프레임 Fr(m)의 상단의 라인 L#1로부터 라인 순차적으로 라인 L#2, L#3, …으로 라인 판독이 행해진다. 프레임 Fr(m)에 있어서의 라인 판독이 완료하면, 다음의 제(m+1) 프레임 Fr(m+1)에 있어서, 마찬가지로 하여 상단의 라인 L#1로부터 라인 순차적으로 라인의 판독이 행해진다.
도 25는 제2 실시형태에 따른 인식 처리를 개략적으로 나타내는 모식도이다. 도 25에 나타내는 바와 같이, 인식 처리는, CNN(52')에 의한 처리 및 내부 정보의 갱신(55)을, 각 라인 L#1, L#2, L#3…의 화소 정보(54) 각각에 대해 순차적으로 실행함으로써 행해진다. 그 때문에, CNN(52')에는 1 라인분의 화소 정보(54)를 입력해도 되고, 인식기(56)를 극히 소규모로 구성하는 것이 가능하다. 한편, 인식기(56)는, 순차적으로 입력되는 정보에 대해 CNN(52')에 의한 처리를 실행하여 내부 정보의 갱신(55)을 행하기 때문에, RNN으로서의 구성을 갖는다.
라인 순차의 인식 처리를, RNN을 사용하여 행함으로써, 프레임에 포함되는 모든 라인을 판독하지 않아도, 유효한 인식 결과가 얻어지는 경우가 있다. 이 경우, 인식 처리부(12)는, 유효한 인식 결과가 얻어진 시점에서, 인식 처리를 종료시킬 수 있다. 도 26 및 도 27을 사용하여, 프레임 판독 도중에 인식 처리를 종료시키는 예에 대해 설명한다.
도 26은 인식 대상이 숫자 「8」인 경우의 예를 나타내는 도면이다. 도 26의 예에서는, 프레임(70)에 있어서, 수직 방향의 3/4 정도의 범위(71)가 판독된 시점에서 숫자 「8」이 인식되고 있다. 따라서, 인식 처리부(12)는, 이 범위(71)가 판독된 시점에서 숫자 「8」이 인식되었다는 것을 나타내는 유효한 인식 결과를 출력하고, 프레임(70)에 대한 라인 판독 및 인식 처리를 종료시킬 수 있다.
도 27은 인식 대상이 사람인 경우의 예를 나타내는 도면이다. 도 27의 예에서는, 프레임(72)에 있어서, 수직 방향의 1/2 정도의 범위(73)가 판독된 시점에서, 사람(74)이 인식되고 있다. 따라서, 인식 처리부(12)는, 이 범위(73)가 판독된 시점에서 사람(74)이 인식되었다는 것을 나타내는 유효한 인식 결과를 출력하고, 프레임(72)에 대한 라인 판독 및 인식 처리를 종료시킬 수 있다.
이와 같이, 제2 실시형태에서는, 프레임에 대한 라인 판독 도중에 유효한 인식 결과가 얻어진 경우에, 라인 판독 및 인식 처리를 종료시킬 수 있다. 그 때문에, 인식 처리에 있어서의 저전력화가 가능해지고, 인식 처리에 필요한 시간을 단축하는 것이 가능해진다.
상기 설명에서는, 라인 판독을 프레임의 상단측으로부터 하단측을 향해 행하고 있지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 라인 판독을 프레임의 하단측으로부터 상단측을 향해 행해도 된다. 즉, 촬상 장치(1)에 대해 먼 곳에 있는 물체에 의한 오브젝트는, 일반적으로는, 라인 판독을 프레임의 상단측으로부터 하단측을 향해 행함으로써, 보다 조기에 인식하는 것이 가능하다. 한편, 촬상 장치(1)에 대해 전방측에 있는 물체에 의한 오브젝트는, 일반적으로는, 라인 판독을 프레임의 하단측으로부터 상단측을 향해 행함으로써, 보다 조기에 인식하는 것이 가능하다.
예를 들면, 해당 촬상 장치(1)를 차재용으로서 전방을 촬상하도록 설치하는 것을 생각한다. 이 경우, 전방의 물체(예를 들면, 자신의 차의 전방의 차량이나 보행자)는, 촬상되는 화면의 아래 부분에 존재하기 때문에, 라인 판독을 프레임의 하단측으로부터 상단측을 향해 행하면, 보다 효과적이다. 또한, ADAS(Advanced Driver-Assistance Systems)에 있어서 즉시 정지가 필요한 경우에는, 해당하는 물체가 적어도 1개 인식되면 되고, 1개의 물체가 인식된 경우에, 다시 프레임의 하단측으로부터 라인 판독을 실행하는 것이 보다 효과적이라고 생각된다. 나아가, 예를 들면 고속도로 등에서는, 먼 곳의 물체가 우선되는 경우가 있다. 이 경우에는, 프레임의 상단측으로부터 하단측을 향해 라인 판독을 실행하는 것이 바람직하다.
나아가, 판독 단위를, 화소 어레이부(101)에 있어서의 행렬 방향 중 열 방향으로 해도 된다. 예를 들면, 화소 어레이부(101)에 있어서 1열에 배열되는 복수의 화소를 판독 단위로 하는 것이 생각된다. 촬상 방식으로서 글로벌 셔터 방식을 적용함으로써, 열을 판독 단위로 하는 열 판독이 가능하다. 글로벌 셔터 방식에서는, 열 판독과 라인 판독을 스위칭하여 실행하는 것이 가능하다. 판독을 열 판독에 고정적으로 하는 경우, 예를 들면 화소 어레이부(101)를 90°회전시켜, 롤링 셔터 방식을 사용하는 것이 생각된다.
예를 들면, 촬상 장치(1)에 대해 좌측에 있는 물체의 오브젝트는, 열 판독에 의해 프레임의 좌단측으로부터 순차적으로 판독을 행함으로써, 보다 조기에 인식하는 것이 가능하다. 마찬가지로, 촬상 장치(1)에 대해 우측에 있는 물체의 오브젝트는, 열 판독에 의해 프레임의 우단측으로부터 순차적으로 판독을 행함으로써, 보다 조기에 인식하는 것이 가능하다.
해당 촬상 장치(1)를 차재용으로서 사용하는 예에서는, 예를 들면 차량이 선회하고 있을 때에는, 선회측에 있는 물체의 오브젝트가 우선되는 경우가 있다. 이러한 경우, 선회측의 단부로부터 열 판독에 의해 판독을 행하는 것이 바람직하다. 선회 방향은, 예를 들면 차량의 스티어링 정보에 기초하여 취득할 수 있다. 이에 한정되지 않고, 예를 들면 촬상 장치(1)에 대해 3방향의 각속도(角速度)를 검지 가능한 센서를 설치하고, 이 센서의 검지 결과에 기초하여 선회 방향을 취득하는 것이 가능하다.
도 28은 제2 실시형태에 따른 인식 처리를 나타내는 일례의 플로우차트이다. 이 도 28의 플로우차트에 의한 처리는, 예를 들면 프레임으로부터의 판독 단위(예를 들면, 1라인)의 화소 데이터의 판독에 대응하는 처리이다. 여기서는, 판독 단위가 라인인 것으로서 설명을 행한다. 예를 들면, 판독 영역 정보는, 판독을 행하는 라인을 나타내는 라인 번호를 사용할 수 있다.
단계(S100)에서, 인식 처리부(12)는, 프레임의 판독 라인에 의해 나타내어지는 라인으로부터 라인 데이터의 판독을 행한다. 보다 구체적으로는, 인식 처리부(12)에 있어서 판독 결정부(123)는, 다음으로 판독을 행하는 라인의 라인 번호를 센서 제어부(11)로 전달한다. 센서 제어부(11)에 있어서, 판독부(110)는, 전달된 라인 번호에 따라, 센서부(10)로부터, 해당 라인 번호로 나타내어지는 라인의 화소 데이터를 라인 데이터로서 판독한다. 판독부(110)는, 센서부(10)로부터 판독된 라인 데이터를 특징량 계산부(120)로 전달한다. 또한, 판독부(110)는, 화소 데이터의 판독을 행한 영역을 나타내는 판독 영역 정보(예를 들면, 라인 번호)를 특징량 계산부(120)로 전달한다.
다음 단계(S101)에서, 특징량 계산부(120)는, 판독부(110)로부터 전달된 화소 데이터에 기초하여, 라인 데이터에 기초하는 특징량을 계산하고, 라인의 특징량을 산출한다. 다음 단계(S102)에서, 특징량 계산부(120)는, 특징량 축적 제어부(121)로부터, 특징량 축적부(122)에 축적되어 있는 특징량을 취득한다. 다음 단계(S103)에서, 특징량 계산부(120)는, 단계(S101)에서 산출된 특징량과, 단계(S102)에서 특징량 축적 제어부(121)로부터 취득된 특징량을 통합한다. 통합된 특징량은 특징량 축적 제어부(121)로 전달된다. 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터 전달된 통합된 특징량을, 특징량 축적부(122)에 축적한다(단계(S104)).
한편, 단계(S100)로부터의 일련의 처리가 프레임의 선두 라인에 대한 처리이며, 또한, 특징량 축적부(122)가 예를 들면 초기화되어 있는 경우에는, 단계(S102) 및 단계(S103)에 의한 처리를 생략할 수 있다. 또한, 이 때, 단계(S104)에 의한 처리는, 해당 선두 라인에 기초하여 계산된 라인 특징량을 특징량 축적부(122)에 축적하는 처리로 된다.
또한, 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터 전달된 통합된 특징량을, 인식 처리 실행부(124)로도 전달한다. 단계(S105)에서, 인식 처리 실행부(124)는, 특징량 축적 제어부(121)로부터 전달된, 통합된 특징량을 사용하여 인식 처리를 실행한다. 다음 단계(S106)에서, 인식 처리 실행부(124)는, 단계(S105)의 인식 처리에 의한 인식 결과를 출력한다.
단계(S107)에서, 인식 처리부(12)에 있어서 판독 결정부(123)는, 특징량 축적 제어부(121)로부터 전달된 판독 정보에 따라 다음 판독을 행하는 판독 라인을 결정한다. 예를 들면, 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터, 특징량과 함께, 판독 영역 정보를 수취한다. 특징량 축적 제어부(121)는, 이 판독 영역 정보에 기초하여, 예를 들면 미리 지정된 판독 패턴(이 예에서는 라인 순차)에 따라, 다음으로 판독을 행하는 판독 라인을 결정한다. 이 결정된 판독 라인에 대해, 단계(S100)로부터의 처리가 다시 실행된다.
(5-0-4. 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예)
다음으로, 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예에 대해 설명한다. 도 29a 및 도 29b는, 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예를 나타내는 일례의 타임 차트이다. 도 29a 및 도 29b의 예는, 1 촬상 주기(1 프레임 주기) 내에 촬상 동작을 행하지 않은 블랭크 기간 blk를 제공하는 예이다. 도 29a 및 도 29b에 있어서, 오른쪽 방향으로 시간이 진행하는 것을 나타내고 있다.
도 29a는 촬상 주기의, 예를 들면, 1/2의 기간을 연속적으로 블랭크 기간 blk에 할당하는 예이다. 도 29a에 있어서, 촬상 주기는 프레임 주기로서, 예를 들면 1/30 [sec]이다. 센서부(10)로부터의 프레임의 판독은 이 프레임 주기로 행해진다. 촬상 시간은 프레임에 포함되는 모든 라인의 촬상을 행하기 위해 필요한 시간이다. 도 29a의 예에서는, 프레임이 n개의 라인을 포함하는 것으로 하고, 라인 L#1∼라인 L#n의 n개의 라인의 촬상을, 1/30 [sec]의 프레임 주기에 대해 1/2의 기간인 1/60 [sec]에서 완료하고 있다. 1 라인의 촬상에 할당되는 시간은, 1/(60×n) [sec]가 된다. 프레임에 있어서 마지막 라인 L#n을 촬상한 타이밍으로부터, 다음 프레임의 선두 라인 L#1을 촬상하는 타이밍까지의 1/30 [sec]의 기간은 블랭크 기간 blk로 되어 있다.
예를 들면, 라인 L#1의 촬상이 종료된 타이밍에서, 다음 라인 L#2의 촬상이 개시되고, 인식 처리부(12)에 의해, 해당 라인 L#1에 대한 라인 인식 처리, 즉, 라인 L#1에 포함되는 화소 데이터에 대한 인식 처리가 실행된다. 인식 처리부(12)는, 라인 L#1에 대한 라인 인식 처리를, 다음 라인 L#2의 촬상이 개시되기 전에 종료시킨다. 인식 처리부(12)는, 라인 L#1에 대한 라인 인식 처리가 종료되면, 해당 인식 처리의 인식 결과를 출력한다.
다음 라인 L#2에 대해서도 마찬가지로, 라인 L#2의 촬상이 종료된 타이밍에서 다음 라인 L#3의 촬상이 개시되고, 인식 처리부(12)에 의해, 해당 라인 L#2에 대한 라인 인식 처리가 실행되고, 실행된 라인 인식 처리가 다음 라인 L#3의 촬상 개시 전에 종료된다. 도 29a의 예에서는, 이와 같이, 라인 L#1, L#2, #3, …, L#m, …의 촬상이 순차적으로 실행된다. 그리고, 각 라인 L#1, L#2, L#3, …, L#m, …각각에 있어서, 촬상 종료 타이밍에서, 촬상이 종료된 라인의 다음 라인의 촬상이 개시되고, 촬상이 종료된 라인에 대한 라인 인식 처리가 실행된다.
이와 같이, 판독 단위(이 예에서는 라인)마다, 순차적으로 인식 처리를 실행함으로써, 인식기(인식 처리부(12))에 프레임의 화상 데이터를 모두 입력하지 않아도, 인식 결과를 순차적으로 얻을 수 있고, 인식 결과가 얻어질 때까지의 지연을 저감시키는 것이 가능해진다. 또한, 어떤 라인에서 유효한 인식 결과가 얻어진 경우, 그 시점에서, 인식 처리를 종료시킬 수 있고, 인식 처리의 시간 단축이나 저전력화가 가능해진다. 또한, 각 라인의 인식 결과 등에 대해, 시간축에서 정보 전파를 행하여 통합함으로써, 인식 정밀도를 서서히 향상시켜 가는 것이 가능해진다.
한편, 도 29a의 예에서는, 프레임 주기 내의 블랭크 기간 blk에 있어서, 프레임 주기 내에 실행되어야 할 다른 처리(예를 들면, 인식 결과를 사용한 시인 처리부(14)에 있어서의 화상 처리)를 실행할 수 있다.
도 29b는 1라인의 촬상마다 블랭크 기간 blk를 제공하는 예이다. 도 29b의 예에서는, 프레임 주기(촬상 주기)가 도 29a의 예와 마찬가지의 1/30 [sec]로 되어 있다. 한편, 촬상 시간은, 촬상 주기와 동일한 1/30 [sec]로 되어 있다. 또한, 도 29b의 예에서는, 1프레임 주기에 있어서, 라인 L#1∼라인 L#n의 n개의 라인 촬상이 1/(30×n) [sec]의 시간 간격으로 실행되고, 1 라인분의 촬상 시간이 1/(60×n) [sec]인 것으로 한다.
이 경우, 각 라인 L#1∼L#n의 촬상마다, 1/(60×n) [sec]의 블랭크 기간 blk를 제공하는 것이 가능해진다. 이 각 라인 L#1∼L#n의 블랭크 기간 blk 각각에 있어서, 대응하는 라인의 촬상 화상에 대해 실행되어야 할 다른 처리(예를 들면, 인식 결과를 사용한 시인 처리부(14)에 있어서의 화상 처리)를 실행할 수 있다. 이 때, 이 이외의 처리에 대해, 대상 라인의 다음 라인의 촬상이 종료하기 직전까지의 시간(이 예에서는 대략 1/(30×n) [sec])을 할당할 수 있다. 이 도 29b의 예에서는, 이 이외의 처리의 처리 결과를 라인마다 출력할 수 있고, 다른 처리에 의한 처리 결과를 보다 신속히 취득하는 것이 가능해진다.
도 30은 제2 실시형태에 따른 판독 및 인식 처리의 제어의 다른 예를 나타내는 일례의 타임 차트이다. 전술한 도 29의 예에서는, 프레임에 포함되는 전체 라인 L#1∼L#n의 촬상을 프레임 주기의 1/2의 기간에서 완료시키고, 프레임 주기의 나머지 1/2의 기간을 블랭크 기간으로 하고 있었다. 이에 대해, 도 30에 나타내는 예에서는, 프레임 주기 내에 블랭크 기간을 제공하지 않고, 프레임에 포함되는 전체 라인 L#1∼L#n의 촬상을 프레임 주기의 전체 기간을 사용하여 행한다.
여기서, 1라인의 촬상 시간을 도 29a 및 도 29b와 동일한 1/(60×n) [sec]로 하고, 프레임에 포함되는 라인수를, 도 29a 및 도 29b와 동일한 n개로 한 경우, 프레임 주기, 즉 촬상 주기는 1/60 [sec]가 된다. 따라서, 도 30에 나타내는 블랭크 기간 blk를 제공하지 않은 예에서는, 전술한 도 29a 및 도 29b의 예에 비해, 프레임 레이트를 고속화할 수 있다.
[5-1. 제2 실시형태의 제1 변형예]
다음으로, 제2 실시형태의 제1 변형예에 대해 설명한다. 제2 실시형태의 제1 변형예는, 판독 단위를 순차적으로 인접하는 복수의 라인으로 한 예이다. 한편, 제2 실시형태의 제1 변형예, 및 후술하는 제2 실시형태의 제2∼제7 변형예에서는, 도 23을 사용하여 설명한 구성을 그대로 적용할 수 있으므로, 구성에 관한 상세한 설명을 생략한다.
도 31은 제2 실시형태의 제1 변형예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다. 도 31에 나타내는 바와 같이, 제2 실시형태의 제1 변형예에서는, 각각 순차적으로 인접하는 복수의 라인을 포함하는 라인 군이 판독 단위로 되고, 프레임 Fr(m)에 대해 라인 군 순차적으로 화소 데이터의 판독이 행해진다. 인식 처리부(12)에 있어서, 판독 결정부(123)는, 예를 들면 미리 지정된 라인수를 포함하는 라인 군 Ls#x를 판독 단위로서 결정한다.
판독 결정부(123)는, 라인 군 Ls#x로서 결정된 판독 단위를 나타내는 정보에, 해당 판독 단위의 화소 데이터를 판독하기 위한 판독 위치 정보를 부가한 판독 영역 정보를 판독 제어부(111)에 전달한다. 판독 제어부(111)는, 판독 결정부(123)로부터 전달된 판독 영역 정보를 판독부(110)로 전달한다. 판독부(110)는, 판독 제어부(111)로부터 전달된 판독 영역 정보에 따라, 센서부(10)로부터의 화소 데이터의 판독을 행한다.
도 31의 예에서는, 제m 프레임 Fr(m)에 있어서, 프레임 Fr(m)의 상단의 라인 군 Ls#1로부터 라인 순차적으로 라인 군 Ls#2, Ls#3, …, Ls#p, … 등으로 라인 군 Ls#x의 판독이 행해진다. 프레임 Fr(m)에 있어서의 라인 군 Ls#x의 판독이 완료하면, 다음의 제(m+1) 프레임 Fr(m+1)에 있어서, 마찬가지로 하여 상단의 라인 군 Ls#1로부터 라인 순차적으로 라인 군 Ls#2, Ls#3, …의 판독이 행해진다.
이와 같이, 복수 라인을 포함하는 라인 군 Ls#x를 판독 단위로 하여 화소 데이터의 판독을 행함으로써, 라인 순차적으로 판독을 행하는 경우와 비교하여, 1프레임분의 화소 데이터를 보다 고속으로 판독하는 것이 가능해진다. 또한, 인식 처리부(12)는, 한번의 인식 처리에 보다 많은 화소 데이터를 사용하는 것이 가능해져서, 인식의 응답 속도를 향상시키는 것이 가능하다. 나아가, 라인 순차의 판독에 비해 1프레임에 있어서의 판독 횟수가 적어도 되기 때문에, 센서부(10)의 촬상 방식이 롤링 셔터 방식인 경우에, 촬상된 프레임 화상의 왜곡을 억제하는 것이 가능하다.
한편, 이 제2 실시형태의 제1 변형예에서도, 전술한 제2 실시형태와 마찬가지로, 라인 군 Ls#x의 판독을, 프레임의 하단측으로부터 상단측을 향해 실행해도 된다. 또한, 프레임에 대한 라인 군 Ls#x의 판독 도중에 유효한 인식 결과가 얻어진 경우에, 라인 군의 판독 및 인식 처리를 종료시킬 수 있다. 그 때문에, 인식 처리에 있어서의 저전력화가 가능해지고, 인식 처리에 필요한 시간을 단축하는 것이 가능해진다.
[5-2. 제2 실시형태의 제2 변형예]
다음으로, 제2 실시형태의 제2 변형예에 대해 설명한다. 제2 실시형태의 제2 변형예는 판독 단위를 1개의 라인의 일부로 하는 예이다.
도 32는 제2 실시형태의 제2 변형예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다. 도 32에 나타내는 바와 같이, 제2 실시형태의 제2 변형예에서는, 라인 순차적으로 행해지는 라인 판독에 있어서, 각 라인의 일부(부분 라인이라고 부름)가 판독 단위로 되고, 프레임 Fr(m)에 대하여, 라인 순차적으로, 각 라인에 있어서의 부분 라인 Lp#x에 대해 화소 데이터의 판독이 행해진다. 인식 처리부(12)에 있어서, 판독 결정부(123)는, 예를 들면 라인에 포함되는 화소 중, 순차적으로 인접하는, 라인에 포함되는 전체 화소수보다 수가 적은 복수의 화소를, 판독 단위로서 결정한다.
판독 결정부(123)는, 부분 라인 Lp#x로서 결정된 판독 단위를 나타내는 정보에, 해당 부분 라인 Lp#x의 화소 데이터를 판독하기 위한 판독 위치 정보를 부가한 판독 영역 정보를, 판독 제어부(111)로 전달한다. 여기서, 판독 단위를 나타내는 정보는, 예를 들면 부분 라인 Lp#x의 1라인 내에서의 위치와, 부분 라인 Lp#x에 포함되는 화소수에 의해 구성하는 것을 생각할 수 있다. 또한, 판독 위치 정보는, 판독을 행하는 부분 라인 Lp#x가 포함되는 라인의 번호를 사용하는 것을 생각할 수 있다. 판독 제어부(111)는, 판독 결정부(123)로부터 전달된 판독 영역 정보를 판독부(110)로 전달한다. 판독부(110)는, 판독 제어부(111)로부터 전달된 판독 영역 정보에 따라, 센서부(10)로부터의 화소 데이터의 판독을 행한다.
도 32의 예에서는, 제m 프레임 Fr(m)에 있어서, 프레임 Fr(m)의 상단의 라인에 포함되는 부분 라인 Lp#1로부터, 라인 순차적으로, 각 라인에 포함되는 부분 라인 Lp#2, Lp#3, …등으로 각 부분 라인 Lp#x의 판독이 행해진다. 프레임 Fr(m)에 있어서의 라인 군의 판독이 완료하면, 다음의 제(m+1) 프레임 Fr(m+1)에 있어서, 마찬가지로 하여 상단의 라인에 포함되는 부분 라인 Lp#1로부터, 라인 순차적으로 부분 라인 Lp#x의 판독이 행해진다.
이와 같이, 라인 판독에 있어서, 판독을 행하는 화소를 라인의 일부에 포함되는 화소로 한정함으로써, 라인 전체로부터 화소 데이터를 판독하는 경우에 비해 좁은 대역에서 화소 데이터의 전송이 가능해진다. 제2 실시형태의 제2 변형예에 따른 판독 방법에서는, 라인 전체로부터 화소 데이터를 판독하는 경우에 비해 화소 데이터의 전송량이 적어지기 때문에, 저전력화가 가능해진다.
한편, 이 제2 실시형태의 제2 변형예에서도, 전술한 제2 실시형태와 마찬가지로, 부분 라인의 판독을, 프레임의 하단측으로부터 상단측을 향해 실행해도 된다. 또한, 프레임에 대한 부분 라인의 판독 도중에 유효한 인식 결과가 얻어진 경우에, 부분 라인 Lp#x의 판독 및 인식 처리를 종료시킬 수 있다. 그 때문에, 인식 처리에 있어서의 저전력화가 가능해지고, 인식 처리에 필요한 시간을 단축하는 것이 가능해진다.
[5-3. 제2 실시형태의 제3 변형예]
다음으로, 제2 실시형태의 제3 변형예에 대해 설명한다. 제2 실시형태의 제3 변형예는, 판독 단위를 프레임 내에 있어서의 소정 사이즈의 에어리어로 한 예이다.
도 33은 제2 실시형태의 제3 변형예에 따른 프레임 판독 처리를 설명하기 위한 모식도이다. 도 33에 나타내는 바와 같이, 제2 실시형태의 제3 변형예에서는, 프레임 내에 있어서, 라인 방향 및 수직 방향의 각각에 대해 순차적으로 인접하는 복수의 화소를 포함하는 소정 사이즈의 에어리어 Ar#x-y가 판독 단위로 되고, 프레임 Fr(m)에 대해, 해당 에어리어 Ar#x-y가 예를 들면 라인 방향으로 순차적으로 판독되고, 나아가, 이 에어리어 Ar#x-y의 라인 방향의 순차 판독이 수직 방향으로 순차적으로 반복된다. 인식 처리부(12)에 있어서, 판독 결정부(123)는, 예를 들면 라인 방향의 사이즈(화소수)와, 수직 방향의 사이즈(라인수)에 의해 정의되는 에어리어 Ar#x-y를 판독 단위로서 결정한다.
판독 결정부(123)는, 에어리어 Ar#x-y로서 결정된 판독 단위를 나타내는 정보에, 해당 에어리어 Ar#x-y의 화소 데이터를 판독하기 위한 판독 위치 정보를 부가한 판독 영역 정보를 판독 제어부(111)로 전달한다. 여기서, 판독 단위를 나타내는 정보는, 예를 들면 전술한 라인 방향의 사이즈(화소수)와 수직 방향의 사이즈(라인수)에 의해 구성하는 것을 생각할 수 있다. 또한, 판독 위치 정보는, 판독을 행하는 에어리어 Ar#x-y에 포함되는 소정의 화소의 위치, 예를 들면 해당 에어리어 Ar#x-y의 상부좌측 코너의 화소의 화소 위치를 사용하는 것을 생각할 수 있다. 판독 제어부(111)는, 판독 결정부(123)로부터 전달된 판독 영역 정보를 판독부(110)로 전달한다. 판독부(110)는, 판독 제어부(111)로부터 전달된 판독 영역 정보에 따라, 센서부(10)로부터의 화소 데이터의 판독을 행한다.
도 33의 예에서는, 제m 프레임 Fr(m)에 있어서, 프레임 Fr(m)의 상부좌측 코너에 위치하는 에어리어 Ar#1-1로부터 라인 방향으로 순차적으로, 에어리어 Ar#2-1, Ar#3-1, …등으로 각 에어리어 Ar#x-y의 판독이 행해진다. 프레임 Fr(m)에 있어서, 라인 방향의 우단까지 판독이 행해지면, 수직 방향의 판독 위치가 이동되고, 다시 프레임 Fr(m)의 좌단으로부터 라인 방향으로 순차적으로, 에어리어 Ar#1-2, Ar#2-2, Ar#3-2, …등으로 각 에어리어 Ar#x-y의 판독이 행해진다.
도 34는 제2 실시형태의 제3 변형예에 따른 인식 처리를 개략적으로 나타내는 모식도이다. 도 34에 나타내는 바와 같이, 인식 처리는, CNN(52')에 의한 처리 및 내부 정보의 갱신(55)을, 각 에어리어 Ar#1-1, Ar#2-1, Ar#3-1, …의 화소 정보(54) 각각에 대해 순차적으로 실행함으로써 행해진다. 그 때문에, CNN(52')에는 1에어리어분의 화소 정보(54)를 입력하면 되고, 인식기(56)를 극히 소규모로 구성하는 것이 가능하다. 한편, 인식기(56)는, 순차적으로 입력되는 정보에 대해 CNN(52')에 의한 처리를 실행하여 내부 정보의 갱신(55)을 행하기 때문에, RNN으로서의 구성을 갖는다.
라인 순차의 인식 처리를, RNN을 사용하여 행함으로써, 프레임에 포함되는 모든 라인을 판독하지 않아도, 유효한 인식 결과가 얻어지는 경우가 있다. 이 경우, 인식 처리부(12)는, 유효한 인식 결과가 얻어진 시점에서, 인식 처리를 종료시킬 수 있다. 도 35 및 도 36을 사용하여, 판독 단위가 에어리어 Ar#x-y인 경우에, 프레임 판독 도중에 인식 처리를 종료시키는 예에 대해 설명한다.
도 35는 인식 대상이 숫자 「8」인 경우의 예를 나타내는 도면이다. 도 35의 예에서는, 프레임(80)에 있어서, 전체의 2/3 정도의 범위(81)가 판독된 시점의 위치 P1에서, 숫자 「8」이 인식되고 있다. 따라서, 인식 처리부(12)는, 이 범위(81)가 판독된 시점에서 숫자 「8」이 인식되었다는 것을 나타내는 유효한 인식 결과를 출력하고, 프레임(80)에 대한 라인 판독 및 인식 처리를 종료시킬 수 있다.
도 36은 인식 대상이 사람인 경우의 예를 나타내는 도면이다. 도 36의 예에서는, 프레임(82)에 있어서, 수직 방향의 1/2 정도의 범위(83)가 판독된 시점의 위치 P2에서, 사람(84)이 인식되고 있다. 따라서, 인식 처리부(12)는, 이 범위(83)가 판독된 시점에서 사람(84)이 인식되었다는 것을 나타내는 유효한 인식 결과를 출력하고, 프레임(82)에 대한 라인 판독 및 인식 처리를 종료시킬 수 있다.
이와 같이, 제2 실시형태의 제3 변형예에서는, 프레임에 대한 에어리어 판독 도중에 유효한 인식 결과가 얻어진 경우에, 에어리어 판독 및 인식 처리를 종료시킬 수 있다. 그 때문에, 인식 처리에 있어서의 저전력화가 가능해지고, 인식 처리에 필요한 시간을 단축하는 것이 가능해진다. 또한, 제2 실시형태의 제3 변형예에서는, 예를 들면 전술한 제2 실시형태나 제2 실시형태의 제1 변형예에 따른, 라인 방향의 전체 폭에 걸쳐 판독을 행하는 예에 비해, 과잉 판독이 줄어들고, 인식 처리에 필요한 시간을 단축하는 것이 가능해진다.
상기 설명에서는, 에어리어 Ar#x-y의 판독을, 라인 방향에 대해 좌단측으로부터 우단측을 향해 행하고, 수직 방향에 대해서는 프레임의 상단측으로부터 하단측을 향해 행하고 있지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 라인 방향의 판독을 우단측으로부터 좌단측을 향해 행해도 되고, 수직 방향의 판독을 프레임의 하단측으로부터 상단측을 향해 행해도 된다.
[5-4. 제2 실시형태의 제4 변형예]
다음으로, 제2 실시형태의 제4 변형예에 대해 설명한다. 제2 실시형태의 제4 변형예는, 판독 단위를, 인접하지 않는 화소를 포함하는 복수의 화소로 이루어지는 패턴으로 하는 예이다.
도 37은 제2 실시형태의 제4 변형예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다. 도 37에 나타내는 바와 같이, 제2 실시형태의 제4 변형예에서는, 예를 들면 라인 방향 및 수직 방향의 각각에 대해 이산적 및 주기적으로 배치되는 복수의 화소에 의해 구성되는 패턴 Pφ#x-y가 판독 단위로 된다. 도 37의 예에서는, 라인 방향으로 소정의 간격마다 배치되는 3개의 화소와, 해당 3개의 화소에 대해 라인 방향의 위치를 각각 대응시켜 수직 방향으로 소정의 간격으로 배치되는 3개의 화소의, 주기적으로 배치되는 6개의 화소에 의해 패턴 Pφ#x-y가 구성되어 있다. 인식 처리부(12)에 있어서, 판독 결정부(123)는, 이 패턴 Pφ#x-y에 따라 배열되는 복수의 화소를 판독 단위로서 결정한다.
한편, 상기 설명에서는, 패턴 Pφ#x-y가 이산적인 복수의 화소에 의해 구성되도록 설명하였지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 서로 인접하는 복수의 화소를 포함하는 화소군의 복수개를 이산적으로 배치하여, 패턴 Pφ#x-y를 구성해도 된다. 예를 들면 서로 인접하는 2화소×2화소의 4화소로 이루어지는 화소군의 복수개를, 도 37에 나타내는 바와 같이 이산적이며 주기적으로 배치하여, 패턴 Pφ#x-y를 구성할 수 있다.
판독 결정부(123)는, 패턴 Pφ#x-y로서 결정된 판독 단위를 나타내는 정보에, 해당 패턴 Pφ#x-y를 판독하기 위한 판독 위치 정보를 부가한 판독 영역 정보를 판독 제어부(111)로 전달한다. 여기서, 판독 단위를 나타내는 정보는, 예를 들면 패턴 Pφ#x-y를 구성하는 화소 중 소정의 화소(예를 들면, 패턴 Pφ#x-y를 구성하는 화소 중 상부좌측 코너의 화소)와, 패턴 Pφ#x-y를 구성하는 다른 화소 각각의 위치 관계를 나타내는 정보에 의해 구성하는 것을 생각할 수 있다. 또한, 판독 위치 정보는, 판독을 행하는 패턴 Pφ#x-y에 포함되는 소정의 화소의 위치를 나타내는 정보(라인 내에서의 위치를 나타내는 정보 및 라인 번호)를 사용하는 것을 생각할 수 있다. 판독 제어부(111)는, 판독 결정부(123)로부터 전달된 판독 영역 정보를 판독부(110)로 전달한다. 판독부(110)는, 판독 제어부(111)로부터 전달된 판독 영역 정보에 따라, 센서부(10)로부터의 화소 데이터의 판독을 행한다.
도 37의 예에서는, 제m 프레임 Fr(m)에 있어서, 예를 들면 상부좌측 코너의 화소가 프레임 Fr(m)의 상부좌측 코너에 위치하는 패턴 Pφ#1-1로부터 라인 방향으로 순차적으로, 예를 들면 1화소씩 위치를 시프트시키면서, 패턴 Pφ#2-1, Pφ#3-1, …등으로, 각 패턴 Pφ#x-y의 판독이 행해진다. 예를 들면 패턴 Pφ#x-y의 우단이 프레임 Fr(m)의 우단에 도달하면, 프레임 Fr(m)의 좌단으로부터, 수직 방향으로 1화소분(1라인분) 위치를 시프트시키고, 마찬가지로 하여 패턴 Pφ#1-2, Pφ#2-2, Pφ#3-2, …으로, 각 패턴 Pφ#x-y의 판독이 행해진다.
패턴 Pφ#x-y는 화소가 주기적으로 배치되어 구성되어 있기 때문에, 패턴 Pφ#x-y를 1화소씩 시프트시키는 동작은, 패턴 Pφ#x-y의 위상을 시프트시키는 동작이라고 말할 수 있다. 즉, 제2 실시형태의 제4 변형예에서는, 패턴 Pφ#x-y를 라인 방향으로 위상 Δφ씩 시프트시키면서, 각 패턴 P#x-y의 판독을 행한다. 패턴 Pφ#x-y의 수직 방향으로의 이동은, 예를 들면 라인 방향의 최초 패턴 Pφ#1-y의 위치에 대해 수직 방향으로 위상 Δφ'를 시프트시켜 행한다.
도 38은 제2 실시형태의 제4 변형예에 적용 가능한 인식 처리를 개략적으로 나타내는 모식도이다. 도 38에서는, 수평 방향(라인 방향) 및 수직 방향으로 각각 1화소를 두고 떨어진 4개의 화소에 의해 패턴 Pφ#z가 구성되어 있는 예를 나타내고 있다. 도 38의 섹션(a), (b), (c) 및 (d)에 나타내는 바와 같이, 수평 방향 및 수직 방향으로 각각 1화소분의 위상을 시프트시킨 4개의 화소에 의한 패턴 Pφ#1, Pφ#2, Pφ#3 및 Pφ#4에 의해, 4화소×4화소의 에어리어에 포함되는 16개의 모든 화소를 중복하지 않고 판독할 수 있다. 패턴 Pφ#1, Pφ#2, Pφ#3 및 Pφ#4 각각에 따라 판독된 각 4개의 화소는 4화소×4화소의 샘플 영역에 포함되는 16개의 화소를 서로 중복하지 않도록 추출한 서브샘플 Sub#1, Sub#2, Sub#3 및 Sub#4이다.
도 38의 섹션(a)∼(d)의 예에서는, 인식 처리는, CNN(52')에 의한 처리 및 내부 정보의 갱신(55)을, 서브샘플 Sub#1, Sub#2, Sub#3 및 Sub#4 각각에 대해 실행함으로써 행해진다. 그 때문에, CNN(52')에는, 한번의 인식 처리에 대해 4개의 화소 데이터만을 입력하면 되고, 인식기(56)를 극히 소규모로 구성하는 것이 가능하다.
도 39는 제2 실시형태의 제4 변형예에 따른 판독 및 제어의 예를 나타내는 일례의 타임 차트이다. 도 39에 있어서, 촬상 주기는 프레임 주기이며, 예를 들면 1/30 [sec]이다. 센서부(10)로부터의 프레임의 판독은, 이 프레임 주기로 행해진다. 촬상 시간은, 프레임에 포함되는 모든 서브샘플 Sub#1∼Sub#4의 촬상을 행하기 위해 필요한 시간이다. 도 39의 예에서는, 촬상 시간은 촬상 주기와 동일한 1/30 [sec]로 되어 있다. 한편, 1개의 서브샘플 Sub#x의 촬상을, 서브샘플 촬상이라고 부른다.
제2 실시형태의 제4 변형예에서는, 촬상 시간을 4개의 기간으로 분할하고, 각각의 기간에 있어서, 각 서브샘플 Sub#1, Sub#2, Sub#3 및 Sub#4의 서브샘플 촬상을 실행한다.
보다 구체적으로는, 센서 제어부(11)는, 촬상 시간을 분할한 제1∼제4 기간 중 제1 기간에 있어서, 서브샘플 Sub#1에 의한 서브샘플 촬상을 프레임 전체에 걸쳐 실행한다. 센서 제어부(11)는, 예를 들면, 4화소×4화소의 샘플 영역을, 서로 중복하지 않도록 라인 방향으로 이동시키면서 서브샘플 Sub#1의 추출을 행한다. 센서 제어부(11)는, 이 라인 방향으로 샘플 영역을 이동시키면서 서브샘플 Sub#1의 추출을 행하는 동작을 수직 방향으로 반복 실행한다.
1프레임분의 서브샘플 Sub#1의 추출이 종료되면, 인식 처리부(12)는, 예를 들면 추출된 1프레임분의 서브샘플 Sub#1을, 서브샘플 Sub#1마다 인식기(56)에 입력하여 인식 처리를 실행한다. 인식 처리부(12)는, 1프레임분의 인식 처리의 종료 후에 인식 결과를 출력한다. 이에 한정되지 않고, 인식 처리부(12)는, 1프레임분의 인식 처리 도중에 유효한 인식 결과가 얻어진 경우에 인식 결과를 출력하고, 해당 서브샘플 Sub#1에 대한 인식 처리를 종료시켜도 된다.
이후, 제2, 제3 및 제4 기간 각각에 있어서, 마찬가지로 하여, 서브샘플 Sub#2, Sub#3 및 Sub#4에 의한, 프레임 전체에 걸친 서브샘플 촬상을 각각 실행한다.
도 40 및 도 41을 사용하여, 제2 실시형태의 제4 변형예에 따른 프레임 판독 처리에 대해 보다 구체적으로 설명한다. 도 40은 인식 대상이 숫자 「8」이며, 크기가 다른 3개의 숫자 「8」이 1프레임에 포함되어 있는 경우의 예를 나타내는 도면이다. 도 40의 섹션(a), (b) 및 (c)에 있어서, 프레임(90)에 대해, 각각 숫자 「8」을 나타내고 크기가 다른 3개의 오브젝트(93L, 93M 및 93S)가 포함되어 있다. 이들 중 오브젝트(93L)가 가장 크고, 오브젝트(93S)가 가장 작다.
도 40의 섹션(a)에 있어서, 샘플 영역(92)에서 서브샘플 Sub#1이 추출되고 있다. 프레임(90)에 포함되는 각 샘플 영역(92)에서 서브샘플 Sub#1을 추출함으로써, 도 40의 섹션(a)에 나타내는 바와 같이, 프레임(90)으로부터, 수평 및 수직 방향 각각에 대해 1화소 띈 간격으로, 격자 형상으로 화소가 판독된다. 도 40의 섹션(a)의 예에서는, 인식 처리부(12)는, 이 격자 형상으로 판독된 화소의 화소 데이터에 기초하여, 오브젝트(93L, 93M 및 93S) 중 가장 큰 오브젝트(93L)를 인식하고 있다.
프레임(90)으로부터의 서브샘플 Sub#1의 추출이 종료되면, 다음으로, 샘플 영역(92)에 있어서의 서브샘플 Sub#2의 추출이 행해진다. 서브샘플 Sub#2는, 서브샘플 Sub#1에 대해, 샘플 영역(92) 내에 있어서 수평 및 수직 방향으로 각각 1화소씩 시프트된 화소로 이루어진다. 인식기(56)는, 서브샘플 Sub#1의 인식 결과에 기초하여 내부 상태가 갱신되어 있으므로, 서브샘플 Sub#2의 추출에 따른 인식 결과는, 서브샘플 Sub#1의 인식 처리의 영향을 받은 것이 된다. 그 때문에, 서브샘플 Sub#2의 추출에 따른 인식 처리는, 도 40의 섹션(b)에 나타내는 바와 같이, 체크무늬 형상으로 판독된 화소의 화소 데이터에 기초하여 행하여졌다고 생각할 수 있다. 따라서, 도 40의 섹션(b)에 나타내는, 서브샘플 Sub#2를 더 추출한 상태에서는, 도 40의 섹션(a)에 나타내는 서브샘플 Sub#1만을 추출한 상태에 비해, 화소 데이터에 기초하는 해상도가 향상되고, 보다 고정밀도의 인식 처리가 가능해진다. 도 40의 섹션(b)의 예에서는, 전술한 오브젝트(93L)의 다음으로 큰 오브젝트(93M)가, 또한 인식되고 있다.
도 40의 섹션(c)는, 프레임(90)에 있어서, 샘플 영역(92)에 포함되는 모든 서브샘플 Sub#1∼Sub#4의 추출이 종료된 상태를 나타내고 있다. 이 도 40의 섹션(c)에서는, 프레임(90)에 포함되는 모든 화소가 판독되게 되고, 서브샘플 Sub#1 및 Sub#2의 추출에서 인식된 오브젝트(93L 및 93M)에 더하여, 가장 작은 오브젝트(93S)가 인식되고 있다.
도 41은, 인식 대상이 사람이며, 해당 촬상 장치(1)로부터 각각 다른 거리에 있는 세 사람의 화상이 1프레임에 포함되어 있는 경우의 예를 나타내는 도면이다. 도 41의 섹션(a), (b) 및 (c)에 있어서, 프레임(95)에 대해, 각각 사람의 화상으로서, 크기가 다른 3개의 오브젝트(96L, 96M 및 96S)가 포함되어 있다. 이들 중, 오브젝트(96L)가 가장 크고, 프레임(95)에 포함되는 세 사람 중, 해당 오브젝트(96L)에 대응하는 사람이 해당 촬상 장치(1)의 가장 근거리에 있게 된다. 또한, 오브젝트(96L, 96M 및 96S) 중 가장 작은 오브젝트(96S)는, 프레임(95)에 포함되는 세 사람 중, 해당 오브젝트(96S)에 대응하는 사람이 해당 촬상 장치(1)에 대해 가장 원거리에 있는 사람을 나타내고 있다.
도 41에 있어서, 섹션(a)는 도 40의 섹션(a)에 대응하고, 전술한 서브샘플 Sub#1의 추출을 행하여 인식 처리를 실행하여, 가장 큰 오브젝트(96L)가 인식된 예이다. 도 41의 섹션(b)는 도 40의 섹션(b)에 대응하고, 도 41의 섹션(a)의 상태에 대해, 나아가 서브샘플 Sub#2의 추출을 행하여 인식 처리를 실행하여, 다음으로 큰 오브젝트(96M)가 인식된 예이다. 또한, 도 41의 섹션(c)는, 도 40의 섹션(c)에 대응하고, 도 41의 섹션(b)의 상태에 대해, 나아가 서브샘플 Sub#3 및 Sub#4의 추출을 행하여 인식 처리를 실행하여, 프레임(95)에 포함되는 전체 화소의 화소 데이터에 기초하여 인식 처리를 실행한 예이다. 도 41의 섹션(c)에서는, 오브젝트(96L 및 96M)에 더하여, 가장 작은 오브젝트(96S)가 인식된 모습이 나타내어져 있다.
이와 같이, 서브샘플 Sub#1, Sub#2, …등으로 추출을 행하여 인식 처리를 반복함으로써, 순차적으로, 보다 먼 곳에 있는 사람을 인식할 수 있게 된다.
도 40 및 도 41의 예에 있어서, 예를 들면 인식 처리에 할당 가능한 시간에 따라 프레임 판독 및 인식 처리를 제어할 수 있다. 일례로서, 인식 처리에 할당 가능한 시간이 짧은 경우, 프레임(90)에 있어서의 서브샘플 Sub#1의 추출이 종료되고, 오브젝트(93L)가 인식된 시점에서, 프레임 판독 및 인식 처리를 종료하는 것을 생각할 수 있다. 한편, 인식 처리에 할당 가능한 시간이 긴 경우, 모든 서브샘플 Sub#1∼Sub#4의 추출이 종료될 때까지, 프레임 판독 및 인식 처리의 실행을 계속시키는 것을 생각할 수 있다.
이에 한정되지 않고, 인식 처리부(12)는, 인식 결과의 신뢰도(스코어)에 따라 프레임 판독 및 인식 처리를 제어해도 된다. 예를 들면, 인식 처리부(12)는, 도 41의 섹션(b)에 있어서, 서브샘플 Sub#2의 추출 및 인식 처리에 기초하는 인식 결과에 대한 스코어가 소정 값 이상이라면, 인식 처리를 종료시키고, 다음 서브샘플 Sub#3의 추출을 실행하지 않게 할 수 있다.
이와 같이, 제2 실시형태의 제4 변형예에서는, 소정의 인식 결과가 얻어진 시점에서 인식 처리를 종료시킬 수 있어, 인식 처리부(12)에 있어서의 처리량의 삭감이나 저전력화가 가능해진다.
또한, 제2 실시형태의 제4 변형예에서는, 프레임 내의 사이즈가 큰 오브젝트에 대한 인식 응답 속도를 고속화할 수 있어, 프레임 레이트를 올리는 것이 가능해진다.
[5-5. 제2 실시형태의 제5 변형예]
다음으로, 제2 실시형태의 제5 변형예에 대해 설명한다. 제2 실시형태의 제5 변형예는, 판독 단위를, 인접하지 않는 화소를 포함하는 복수의 화소가 랜덤하게 배치된 패턴으로 하는 예이다.
도 42는 제2 실시형태의 제5 변형예에 따른 프레임 판독 처리를 설명하기 위한 모식도이다. 도 42에 나타내는 바와 같이, 제2 실시형태의 제5 변형예에서는, 예를 들면 프레임 Fr(m) 내에 이산적 및 비주기적으로 배치되는 복수의 화소에 의해 구성되는 패턴 Rd#m_x가 판독 단위로 된다. 즉, 제2 실시형태의 제5 변형예에 따른 판독 단위는, 프레임의 전체가 대상이 된다.
제2 실시형태의 제5 변형예에서는, 전술한 도 39를 참조하여, 1프레임 주기를 복수의 기간으로 분할하고, 기간마다 패턴을 스위칭한다. 도 42의 예에서는, 제m 프레임 Fr(m)의 프레임 주기가 분할된 최초의 기간에 있어서, 인식 처리부(12)는, 프레임 Fr(m) 내의 이산적 및 비주기적으로 배치되는 복수의 화소에 의한 패턴 Rd#m_1에 따라 화소를 판독하여 인식 처리를 실행한다. 일례로서, 인식 처리부(12)는, 프레임 Fr(m)에 포함되는 전체 화소수가 s, 프레임 주기의 분할수가 D로 한 경우, 프레임 Fr(m) 내의 이산적 및 비주기적으로 배치되는 (s/D)개의 화소를 선택하여, 패턴 Rd#m_1을 구성한다.
해당 프레임 주기가 분할된 다음 기간에 있어서, 인식 처리부(12)는, 프레임 Fr(m)에 있어서 패턴 Rd#m_1과는 다른 화소가 선택된 패턴 Rd#m_2에 따라 화소를 판독하여 인식 처리를 실행한다.
다음의 제(m+1) 프레임 Fr(m+1)에 있어서도 마찬가지로, 프레임 Fr(m+1)의 프레임 주기가 분할된 최초의 기간에 있어서, 인식 처리부(12)는, 프레임 Fr(m+1) 내의 이산적 및 비주기적으로 배치되는 복수의 화소에 의한 패턴 Rd# (m+1)_1에 따라 화소를 판독하여 인식 처리를 실행한다. 인식 처리부(12)는, 다음 기간에 있어서, 패턴 Rd# (m+1)_1과는 다른 화소가 선택된 패턴 Rd# (m+1)_2에 따라 화소를 판독하여 인식 처리를 실행한다.
인식 처리부(12)에 있어서, 판독 결정부(123)는, 예를 들면, 프레임 Fr(m)의 프레임 주기가 분할된 최초의 기간에 있어서, 프레임 Fr(m)에 포함되는 모든 화소로부터, 의사 난수에 기초하여 소정 수의 화소를 선택하여 판독 단위로서의 패턴 Rd#m_1을 결정한다. 판독 결정부(123)는, 다음 기간에 있어서, 예를 들면 프레임 Fr(m)에 포함되는 모든 화소로부터 패턴 Rd#m_1에서 선택한 화소를 제외한 화소로부터, 의사 난수에 기초하여 소정 수의 화소를 선택하고, 판독 단위로서의 패턴 Rd#m_2를 결정한다. 이에 한정되지 않고, 인식 처리부(12)는, 다시 프레임 Fr(m)에 포함되는 모든 화소로부터 의사 난수에 기초하여 소정 수의 화소를 선택하여, 판독 단위로서의 패턴 Rd#m_2를 결정해도 된다.
판독 결정부(123)는, 패턴 Rd#m_x로서 결정된 판독 단위를 나타내는 정보에, 해당 패턴 Rd#m_x의 화소 데이터를 판독하기 위한 판독 위치 정보를 부가한 판독 영역 정보를 판독 제어부(111)로 전달한다. 판독 제어부(111)는, 판독 결정부(123)로부터 전달된 판독 영역 정보를 판독부(110)로 전달한다. 판독부(110)는, 판독 제어부(111)로부터 전달된 판독 영역 정보에 따라, 센서부(10)로부터의 화소 데이터의 판독을 행한다.
여기서, 판독 단위를 나타내는 정보는, 예를 들면 해당 패턴 Rd#m_1에 포함되는 각 화소의, 프레임 Fr(m) 내에 있어서의 위치 정보(예를 들면, 라인 번호 및 라인 내에서의 화소 위치를 나타내는 정보)에 의해 구성하는 것을 생각할 수 있다. 또한, 이 경우의 판독 단위는, 프레임 Fr(m)의 전체를 대상으로 하고 있기 때문에, 판독 위치 정보를 생략하는 것이 가능하다. 판독 위치 정보로서, 프레임 Fr(m) 내의 소정의 화소의 위치를 나타내는 정보를 사용해도 된다.
제2 실시형태의 제5 변형예에서는, 이와 같이, 프레임 판독 처리를, 프레임 Fr(m)의 모든 화소로부터 이산적이며 비주기적으로 배치되는 복수의 화소에 의한 패턴 Rd#m_x를 사용해 행하고 있다. 그 때문에, 주기적인 패턴을 사용한 경우와 비교하여, 샘플링의 아티팩트(artifact)를 감소시키는 것이 가능하다. 예를 들면, 제2 실시형태의 제5 변형예에 따른 프레임 판독 처리에 의하면, 인식 처리에 있어서, 시간적인 주기 패턴(예를 들면, 플리커(flicker))에 대해 오검출이나 미검출을 억제할 수 있다. 또한, 해당 프레임 판독 처리에 의하면, 인식 처리에 있어서, 공간적인 주기 패턴(펜스(fence)나 메시 형상의 구조물 등)에 대한 오검출이나 미검출의 억제도 가능하다.
나아가, 해당 프레임 판독 처리에 의하면, 시간 경과에 따라 인식 처리에 사용할 수 있는 화소 데이터가 증가해 가기 때문에, 예를 들면 프레임 Fr(m) 내의 사이즈가 큰 오브젝트에 대한 인식 응답 속도를 고속화할 수 있어, 프레임 레이트를 올리는 것이 가능해진다.
한편, 상기 설명에서는, 인식 처리부(12)가 각 패턴 Rd#m_x를 그때마다 생성하도록 설명하였지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 각 패턴 Rd#m_x를 미리 생성하여 메모리 등에 기억해 두고, 판독 결정부(123)는, 이 기억된 각 패턴 Rd#m_x로부터 메모리로부터 판독하여 사용해도 된다.
[5-6. 제2 실시형태의 제6 변형예]
다음으로, 제2 실시형태의 제6 변형예에 대해 설명한다. 제2 실시형태의 제6 변형예는, 인식 처리의 결과에 따라 판독 단위의 구성을 변경하는 예이다. 도 43은 제2 실시형태의 제6 변형예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다. 여기서는, 도 37을 사용하여 설명한, 인접하지 않는 화소를 포함하는 복수의 화소로 이루어지는 패턴에 의한 판독 단위를 예로 들어 설명을 행한다.
도 43에 있어서, 제m 프레임 Fr(m)에서, 도 37을 이용하여 설명한 패턴 Pφ#x-y와 마찬가지로, 판독 결정부(123)는, 라인 방향 및 수직 방향의 각각에 대해 이산적 및 주기적으로 배치되는 복수의 화소에 의해 구성되는 패턴 Pt#x-y를 생성하여, 초기 판독 단위로 한다. 판독 결정부(123)는, 패턴 Pt#x-y로서 결정된 판독 단위를 나타내는 정보에, 해당 패턴 Pt#x-y를 판독하기 위한 판독 위치 정보를 부가한 판독 영역 정보를, 판독 제어부(111)로 전달한다. 판독 제어부(111)는 판독 결정부(123)로부터 전달된 판독 영역 정보를 판독부(110)로 전달한다. 판독부(110)는, 판독 제어부(111)로부터 전달된 판독 영역 정보에 따라, 센서부(10)로부터의 화소 데이터의 판독을 행한다.
인식 처리부(12)는, 도 43에 나타내는 바와 같이, 프레임 Fr(m)에 있어서, 좌단측으로부터 수평 방향으로 위상 Δφ만큼 위치를 시프트시키면서 패턴 Pt#1-1, Pt#2-1, Pt#3-1로, 판독 및 인식 처리를 행하고, 패턴 Pt#x-y의 우단이 프레임 Fr(m)의 우단에 도달하면, 다시 프레임 Fr(m)의 우단측으로부터 수직 방향으로 위상 Δφ'만큼 위치를 시프트시키고 수평 방향으로 위상 Δφ만큼 위치를 시프트시키면서 패턴 Pt#1-2, …등으로 판독 및 인식 처리를 행한다.
프레임 Fr(m)에 있어서의 인식 결과에 따라, 인식 처리부(12)는, 새로운 패턴 Pt'#x-y를 생성한다. 일례로서, 인식 처리부(12)는, 프레임 Fr(m)에 대한 인식 처리에 있어서, 프레임 Fr(m)의 중앙부에 대상 오브젝트(예를 들면, 사람)를 인식한 것으로 한다. 인식 처리부(12)에 있어서, 판독 결정부(123)는, 이 인식 결과에 따라, 새로운 판독 단위로서, 프레임 Fr(m)의 중앙부의 화소에 집중하여 판독을 행하는 패턴 Pt'#x-y를 생성한다.
판독 결정부(123)는 패턴 Pt'#x-1을, 패턴 Pt#x-y와 비교하여 보다 적은 화소에 의해 생성할 수 있다. 또한, 판독 결정부(123)는, 패턴 Pt'#x-y의 화소 배치를, 패턴 Pt#x-y에 있어서의 화소 배치에 비해 보다 밀집시킨 것으로 할 수 있다.
판독 결정부(123)는, 패턴 Pt'#x-y로서 결정된 판독 단위를 나타내는 정보에, 해당 패턴 Pt'#x-y를 판독하기 위한 판독 위치 정보를 부가한 판독 영역 정보를 판독 제어부(111)로 전달한다. 여기서, 판독 결정부(123)는 이 패턴 Pt'#x-y를 다음 프레임 Fr(m+1)에 적용한다. 판독 제어부(111)는 판독 결정부(123)로부터 전달된 판독 영역 정보를 판독부(110)로 전달한다. 판독부(110)는, 판독 제어부(111)로부터 전달된 판독 영역 정보에 따라, 센서부(10)로부터의 화소 데이터의 판독을 행한다.
도 43의 예에서는, 인식 처리부(12)는, 프레임 Fr(m+1)에 있어서, 먼저 프레임 Fr(m+1)의 중앙부에 있어서 패턴 Pt'#1-1에 의한 판독 및 인식 처리를 행하고, 다음으로 수평 방향으로 예를 들면 위상 Δφ만큼 위치를 시프트시켜 패턴 Pt'#2-1에 의한 판독 및 인식 처리를 행한다. 나아가, 인식 처리부(12)는, 패턴 Pt'#1-1의 위치로부터 수직 방향으로 위상 Δφ'만큼 위치를 시프트시키고, 나아가 수평 방향으로 위상 Δφ만큼 위치를 시프트시키면서, 패턴 Pt'#1-2 및 Pt'#2-2의 판독을 행한다.
제2 실시형태의 제6 변형예에서는, 이와 같이, 초기 패턴인 패턴 Pt#x-y에 기초하는 프레임 Fr(m)에 있어서의 인식 결과에 기초하여, 다음 프레임 Fr(m+1)에서 화소의 판독에 사용하는 패턴 Pt'#x-y를 생성한다. 이에 의해, 보다 고정밀도의 인식 처리가 가능해진다. 또한, 인식 처리의 결과에 따라 생성하는 새로운 패턴 Pt'#x-y를 사용하여, 오브젝트가 인식된 부분으로 좁혀서 인식 처리를 실행함으로써, 인식 처리부(12)에 있어서의 처리량의 삭감, 저전력화, 프레임 레이트의 향상 등이 실현 가능해진다.
(제6 변형예의 다른 예)
다음으로, 제2 실시형태의 제6 변형예의 다른 예에 대해 설명한다. 도 44는 제2 실시형태의 제6 변형예에 따른 판독 및 인식 처리를 행하는 패턴의 예를 나타내는 도면이다. 도 44에 나타내는 패턴 Cc#x는 고리 형상(環狀)으로 되고, 시간 경과에 따라 고리 형상의 반경이 변화하도록 된 판독 단위이다. 도 44의 예에서는, 프레임 Fr(m)의 프레임 주기가 분할된 최초의 기간에 있어서, 반경이 작은 패턴 Cc#1로 되고, 다음 기간에서 패턴 Cc#1보다 반경의 큰 패턴 Cc#2로 되고, 그 다음 기간에서 패턴 Cc#2보다 더 반경의 큰 패턴 Cc#3로 되어 있다.
예를 들면, 인식 처리부(12)는, 전술한 도 43에 나타내는 바와 같이, 프레임 Fr(m)에 있어서, 좌단측으로부터 수평 방향으로 위상 Δφ만큼 위치를 시프트시키면서 패턴 Pt#1-1, Pt#2-1, Pt#3-1로 판독 및 인식 처리를 행하고, 패턴 Pt#x-y의 우단이 프레임 Fr(m)의 우단에 도달하면, 다시 프레임 Fr(m)의 우단측으로부터 수직 방향으로 위상 Δφ'만큼 위치를 시프트시키고 수평 방향으로 위상 Δφ만큼 위치를 시프트시키면서 패턴 Pt#1-2, …로 판독 및 인식 처리를 행한다.
프레임 Fr(m)에 있어서의 인식 결과에 따라, 인식 처리부(12)는, 고리 형상을 갖는 새로운 패턴 Cc#1을 생성한다. 일 예로서, 인식 처리부(12)는, 프레임 Fr(m)에 대한 인식 처리에 있어서, 프레임 Fr(m)의 중앙부에 대상 오브젝트(예를 들면, 사람)를 인식한 것으로 한다. 인식 처리부(12)에 있어서, 판독 결정부(123)는, 이 인식 결과에 따라, 패턴 Cc#1, Cc#2, …을 생성하고, 이 패턴 Cc#1, Cc#2, …에 기초하여 판독 및 인식 처리를 행한다.
한편, 도 44에서는, 패턴 Cc#m의 반경을 시간 경과에 따라 크게 하고 있지만, 이것은 이 예에 한정되지 않고, 패턴 Cc#m의 반경을 시간 경과에 따라 작게 해도 된다.
제2 실시형태의 제6 변형예의 또 다른 예로서, 판독을 행하는 패턴에 있어서의 화소의 밀도를 변화시켜도 된다. 또한, 도 44에 나타낸 패턴 Cc#m에서는, 고리 형상의 중심으로부터 외주를 향해, 또는 외주부터 중심을 향해 크기를 변화시키고 있지만, 이것은 이 예에 한정되지 않는다.
[5-7. 제2 실시형태의 제7 변형예]
다음으로, 제2 실시형태의 제7 변형예에 대해 설명한다. 전술한 제2 실시형태, 및 제2 실시형태의 제1∼제4 변형예에서는, 화소의 판독을 행하는 라인, 에어리어 및 패턴을, 프레임 내의 좌표의 순서(라인 번호, 라인 내의 화소의 순서 등)에 따라 순차적으로 이동시키고 있었다. 이에 대해, 제2 실시형태의 제7 변형예에서는, 프레임 내의 화소를 단시간에 보다 균일하게 판독할 수 있도록, 화소의 판독을 행하는 라인, 에어리어 및 패턴을 설정한다.
도 45는 제2 실시형태의 제7 변형예에 따른 프레임의 판독 처리의 제1 예를 설명하기 위한 모식도이다. 한편, 도 45에서는, 설명을 위해, 프레임 Fr(m)이 라인 L#1, L#2, L#3, L#4, L#5, L#6, L#7, L#8의 8라인을 포함하는 것으로 하고 있다.
도 45의 섹션(a)에 나타내는 판독 처리는, 제2 실시형태에 있어서 도 24를 사용하여 설명한 판독 처리에 대응하는 것으로, 판독 단위가 라인으로 되고, 프레임 Fr(m)에 대해, 라인 L#1, L#2, …, L#8의 순으로, 라인 순차적으로 화소 데이터의 판독을 행하는 예를 나타내고 있다. 이 섹션(a)의 예에서는, 프레임 Fr(m)의 판독을 개시하고 나서, 프레임 Fr(m)의 하부의 화소 데이터가 얻어질 때까지의 지연이 크다.
도 45의 섹션(b)는 제2 실시형태의 제7 변형예에 따른 판독 처리의 예를 나타내고 있다. 이 섹션(b)에서도, 전술한 도 45의 섹션(a)와 마찬가지로, 판독 단위가 라인으로 되어 있다. 이 섹션(b)의 예에서는, 프레임 Fr(m)에 있어서, 홀수 라인 번호의 각 라인과 짝수 라인 번호의 각 라인의 각각에 대해, 라인간의 거리가 프레임 Fr(m)의 라인수의 1/2만큼 떨어진 2개의 라인을 쌍으로 하고 있다. 그리고, 이러한 쌍 중 홀수 라인 번호의 쌍을 순차적으로 판독하고, 다음으로 짝수 라인 번호의 쌍을 순차적으로 판독하도록 하고 있다.
보다 구체적으로는, 도 45의 섹션(b)의 예에서는, 프레임 주기의 전반에 있어서, 예를 들면 프레임 Fr(m)에 포함되는 각 라인 L#x 중, 홀수 라인 번호의 라인 L#1, L#3, L#5 및 L#7에 대해, 판독 순서를 바꾸어, 라인 L#1, L#5, L#3, L#7의 순으로 판독하고 있다. 프레임 주기의 후반에 대해서도 마찬가지로, 프레임 Fr(m)에 포함되는 각 라인 L#x 중, 짝수 라인 번호의 라인 L#2, L#4, L#6 및 L#8에 대해, 판독 순서를 바꾸어, 라인 L#2, L#6, L#4, L#8의 순으로 판독하고 있다.
이러한 각 라인 L#x의 판독 순서의 제어는, 판독 결정부(123)가, 판독 위치 정보를 도 45의 섹션(b)에 나타내는 바와 같은 판독 순서에 따라 순차적으로 설정함으로써, 실현하는 것이 가능하다.
이와 같이 판독 순서를 정함으로써, 프레임 Fr(m)의 판독을 개시하고 나서, 프레임 Fr(m)의 하부의 화소 데이터가 얻어질 때까지의 지연을, 섹션(a)의 예와 비교하여, 단축하는 것이 가능하다. 또한, 제2 실시형태의 제7 변형예에서는, 프레임 내의 사이즈가 큰 오브젝트에 대한 인식 응답 속도를 고속화할 수 있어, 프레임 레이트를 올리는 것이 가능해진다.
한편, 도 45의 섹션(b)를 사용하여 설명한 각 라인 L#x의 판독 순서는 일례이며, 상정하는 오브젝트의 인식이 용이하도록, 판독 영역을 설정할 수 있다. 예를 들면, 판독 결정부(123)는, 촬상 장치(1)의 외부로부터 주어진 외부 정보에 기초하여 프레임 내에서 인식 처리를 우선적으로 실행하는 영역을 설정하고, 이 영역에 대한 판독 영역의 판독을 우선적으로 실행하도록, 판독 위치 정보를 결정할 수 있다. 또한, 판독 결정부(123)는, 프레임 내에 있어서 촬상되는 장면에 따라, 프레임 내에서 인식 처리를 우선적으로 실행하는 영역을 설정할 수도 있다.
또한, 이 제2 실시형태의 제7 변형예에 있어서도, 전술한 제2 실시형태와 마찬가지로, 프레임에 대한 각 라인의 판독 도중에 유효한 인식 결과가 얻어진 경우에, 라인의 판독 및 인식 처리를 종료시킬 수 있다. 이에 의해, 인식 처리에 있어서의 저전력화가 가능해지고, 인식 처리에 필요한 시간을 단축하는 것이 가능해진다.
(제2 실시형태의 제7 변형예의 제1 다른 예)
다음으로, 제2 실시형태의 제7 변형예의 제1 다른 예에 대해 설명한다. 전술한 제2 실시형태의 제7 변형예에서는, 1개의 라인을 판독 단위로 하고 있었지만, 이것은 이 예에 한정되지 않는다. 이 제1 다른 예에서는, 인접하지 않는 2개의 라인을 판독 단위로 하고 있다.
도 46은 제2 실시형태의 제7 변형예의 제1 다른 예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다. 도 46의 예에서는, 도 45의 섹션(b)에서 설명한, 프레임 Fr(m)에 있어서, 라인 번호가 홀수인 각 라인과, 라인 번호가 짝수인 각 라인의 각각에 대해 쌍으로 한, 라인간의 거리가 라인수의 1/2만큼 떨어진 2개의 라인을 판독 단위로 하고 있다. 보다 구체적으로는, 라인 L#1 및 L#5의 쌍, 라인 L#3 및 L#7의 쌍, 라인 L#2 및 L#6의 쌍, 및 라인 L#4 및 L#8의 쌍이 각각 판독 단위로 되어 있다. 그리고, 이러한 쌍 중 라인 번호가 홀수인 쌍을 순차적으로 판독하고, 다음으로 라인 번호가 짝수인 쌍을 순차적으로 판독하도록 하고 있다.
이 제1 다른 예에서는, 판독 단위가 2개의 라인을 포함하기 때문에, 인식 처리에 필요한 시간을, 전술한 제2 실시형태의 제7 변형예에 비해, 보다 단축하는 것이 가능하다.
(제2 실시형태의 제7 변형예의 제2 다른 예)
다음으로, 제2 실시형태의 제7 변형예의 제2 다른 예에 대해 설명한다. 이 제2 다른 예는, 도 33을 사용하여 설명한, 제2 실시형태의 제3 변형예에 따른, 판독 단위를 프레임 내에 있어서의 소정 사이즈의 에어리어로 한 예에, 프레임 내의 화소를 단시간에 보다 균일하게 판독할 수 있도록 판독 단위의 판독을 행하는 판독 영역을 설정하는 예를 적용시킨 것이다.
도 47은 제2 실시형태의 제7 변형예의 제2 다른 예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다. 도 47의 예에서는, 도 33을 사용하여 설명한 각 에어리어 Ar#x-y의 위치를 프레임 Fr(m)에 있어서 이산적으로 지정하여 프레임 Fr(m)의 판독을 행한다. 일례로서, 프레임 Fr(m)의 상부좌측 코너의 에어리어 Ar#1-1의 판독 및 인식 처리 후에, 프레임 Fr(m)에 있어서 해당 에어리어 Ar#1-1과 동일한 라인을 포함하고 프레임 Fr(m)의 라인 방향의 중앙부에 위치하는 에어리어 Ar#3-1의 판독 및 인식 처리를 행한다. 다음으로, 프레임 Fr(m)의 하부의 1/2의 영역의 상부좌측 코너의 에어리어 Ar#1-3의 판독 및 인식 처리를 행하고, 프레임 Fr(m)에 있어서 해당 에어리어 Ar#1-3과 동일한 라인을 포함하고 프레임 Fr(m)의 라인 방향의 중앙부에 위치하는 에어리어 Ar#3-3의 판독 및 인식 처리를 행한다.
에어리어 Ar#2-2 및 Ar#4-2, 및 에어리어 Ar#2-4 및 Ar#4-4도 마찬가지로 하여, 판독 및 인식 처리를 행한다.
이와 같이 판독 순서를 정함으로써, 프레임 Fr(m)의 판독을 프레임 Fr(m)의 좌단측으로부터 개시하고 나서, 프레임 Fr(m)의 하부 및 우단측의 화소 데이터가 얻어질 때까지의 지연을, 도 33의 예와 비교하여, 단축하는 것이 가능하다. 또한, 이 제2 다른 예에서는, 프레임 내의 사이즈가 큰 오브젝트에 대한 인식 응답 속도를 고속화할 수 있어, 프레임 레이트를 올리는 것이 가능해진다.
또한, 이 제2 다른 예에 있어서도, 전술한 제2 실시형태와 마찬가지로, 프레임에 대한 각 에어리어 Ar#x-y의 판독 도중에 유효한 인식 결과가 얻어진 경우에, 에어리어 Ar#x-y의 판독 및 인식 처리를 종료시킬 수 있다. 이에 의해, 인식 처리에 있어서의 저전력화가 가능해지고, 인식 처리에 필요한 시간을 단축하는 것이 가능해진다.
(제2 실시형태의 제7 변형예의 제3 다른 예)
다음으로, 제2 실시형태의 제7 변형예의 제3 다른 예에 대해 설명한다. 이 제3 다른 예는, 도 37을 사용하여 설명한, 제2 실시형태의 제3 변형예에 따른, 판독 단위를 라인 방향 및 수직 방향의 각각에 대해 이산적 및 주기적으로 배치되는 복수의 화소에 의해 구성되는 패턴으로 한 예에, 프레임 내의 화소를 단시간에 보다 균일하게 판독할 수 있도록 판독 단위의 판독을 행하는 판독 영역을 설정하는 예를 적용시킨 것이다.
도 48은 제2 실시형태의 제7 변형예의 제3 다른 예에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다. 도 48의 예에서는, 패턴 Pφ#z를 도 37을 사용하여 설명한 패턴 Pφ#x-y와 동등한 구성으로 하고, 패턴 Pφ#z의 위치를 프레임 Fr(m)에 있어서 이산적으로 지정하여 프레임 Fr(m)의 판독을 행한다.
일례로서, 인식 처리부(12)는, 프레임 Fr(m)의 상부좌측 코너을 개시 위치로 하여, 해당 상부좌측 코너에 위치하는 패턴 Pφ#1의 판독 및 인식 처리를 행한다. 다음으로, 패턴 Pφ#1에 있어서의 화소의 라인 방향 및 수직 방향 각각의 간격의 1/2의 거리만큼 위치를 시프트시킨 패턴 Pφ#2의 판독 및 인식 처리를 행한다. 다음으로, 패턴 Pφ#1의 위치에 대해 라인 방향의 간격의 1/2만큼 위치를 시프트시킨 패턴 Pφ#3의 판독 및 인식 처리를 행하고, 다음으로 패턴 Pφ#1의 위치에 대해 수직 방향의 간격의 1/2만큼 위치를 시프트시킨 패턴 Pφ#4의 판독 및 인식 처리를 행한다. 이들 패턴 Pφ#1∼Pφ#4의 판독 및 인식 처리를, 패턴 Pφ#1의 위치를 예를 들면 1화소씩 라인 방향으로 시프트시키면서 반복 실행하고, 나아가 1화소씩 수직 방향으로 시프트시키면서, 반복해서 실행한다.
이와 같이 판독 순서를 정함으로써, 프레임 Fr(m)의 판독을 프레임 Fr(m)의 좌단측으로부터 개시하고 나서, 프레임 Fr(m)의 하부 및 우단측의 화소 데이터가 얻어질 때까지의 지연을, 도 37의 예와 비교하여, 단축하는 것이 가능하다. 또한, 이 제3 다른 예에서는, 프레임 내의 사이즈가 큰 오브젝트에 대한 인식 응답 속도를 고속화할 수 있어, 프레임 레이트를 올리는 것이 가능해진다.
또한, 이 제3 다른 예에 있어서도, 전술한 제2 실시형태와 마찬가지로, 프레임에 대한 각 패턴 Pφ#z의 판독 도중에 유효한 인식 결과가 얻어진 경우에, 패턴 Pφ#z의 판독 및 인식 처리를 종료시킬 수 있다. 이에 의해, 인식 처리에 있어서의 저전력화가 가능해지고, 인식 처리에 필요한 시간을 단축하는 것이 가능해진다.
[5-8. 제2 실시형태의 제8 변형예]
다음으로, 제2 실시형태의 제8 변형예에 대해 설명한다. 제2 실시형태의 제8 변형예는, 센서부(10)에 있어서의 노출 및 아날로그 게인 중 적어도 일방을, 미리 정해진 패턴에 따라 제어하는 예이다. 한편, 이하에서는, 아날로그 게인을 적절히 「AG」로 줄여서 설명을 행한다.
도 49는 제2 실시형태의 제8 변형예에 따른 기능을 설명하기 위한 일례의 기능 블록도이다. 도 49에 있어서, 판독 결정부(123a)는, 특징량 축적 제어부(121)로부터 전달되는 판독 정보에 기초하여, 판독 영역 정보와, 노출 시간 및 아날로그 게인을 나타내는 정보를 생성한다. 이에 한정되지 않고, 판독 결정부(123a)는, 노출 시간 및 아날로그 게인에 관해, 이들 중 적어도 일방을 생성하도록 해도 된다. 판독 결정부(123a)는 생성된 판독 영역 정보, 노출 시간 및 아날로그 게인을 판독부(110)로 전달한다.
도 50은 제2 실시형태의 제8 변형예에 따른 인식 처리를 나타내는 일례의 플로우차트이다. 이 도 50의 플로우차트에 의한 처리는, 예를 들면 프레임으로부터의 판독 단위(예를 들면, 1라인)의 화소 데이터의 판독에 대응하는 처리이다. 한편, 여기서는, 판독 단위가 라인인 것으로서 설명을 행하고, 판독 영역 정보는 판독을 행하는 라인을 나타내는 라인 번호인 것으로 한다.
도 50의 플로우차트에 있어서, 단계(S100)∼단계(S107)의 처리는, 제2 실시형태에서 설명한 도 28의 플로우차트에 있어서의 단계(S100)∼단계(S107)의 처리와 동등하다.
즉, 단계(S100)에서, 인식 처리부(12)는, 프레임의 판독 라인에 의해 나타내어지는 라인으로부터 라인 데이터의 판독을 행한다. 다음 단계(S101)에서, 특징량 계산부(120)는, 판독부(110)로부터 전달된 라인 데이터에 기초하여 라인의 특징량을 산출한다. 다음 단계(S102)에서, 특징량 계산부(120)는, 특징량 축적 제어부(121)로부터, 특징량 축적부(122)에 축적되어 있는 특징량을 취득한다. 다음 단계(S103)에서, 특징량 계산부(120)는, 단계(S101)에서 산출된 특징량과, 단계(S102)에서 특징량 축적 제어부(121)로부터 취득한 특징량을 통합하여 특징량 축적 제어부(121)로 전달한다.
다음 단계(S104)에서, 특징량 축적 제어부(121)는 통합된 특징량을 특징량 축적부(122)에 축적한다(단계(S104)). 다음 단계(S105)에서, 인식 처리 실행부(124)는 통합된 특징량을 사용하여 인식 처리를 실행한다. 다음 단계(S106)에서, 인식 처리 실행부(124)는, 단계(S105)의 인식 처리에 의한 인식 결과를 출력한다. 단계(S107)에서, 인식 처리부(12)에 있어서 판독 결정부(123)는, 특징량 축적 제어부(121)로부터 전달된 판독 정보에 따라 다음 판독을 행하는 판독 라인을 결정한다.
단계(S107)의 처리 후, 처리가 단계(S1070)로 이행된다. 단계(S1070)에서, 판독 결정부(123)는, 미리 정해진 노출 패턴에 따라 다음 판독에 있어서의 노출 시간을 결정한다. 다음 단계(S1071)에서, 판독 결정부(123)는, 미리 정해진 AG 패턴에 따라 다음 판독에 있어서의 아날로그 게인을 결정한다.
단계(S107)에서 결정된 판독 라인에 대해, 단계(S1070) 및 단계(S1071)에서 각각 결정된 노출 시간 및 아날로그 게인을 적용하고, 단계(S100)로부터의 처리가 다시 실행된다.
한편, 단계(S107)∼단계(S1071)의 순서는 전술한 순서에 한정되지 않는다. 또한, 단계(S1070) 및 단계(S1071)의 처리 중 일방은 생략할 수 있다.
(판독 및 인식 처리의 제1 예)
다음으로, 제2 실시형태의 제8 변형예에 따른 판독 및 인식 처리의 제1 예에 대해, 도 51a 및 도 51b를 사용하여 설명한다. 도 51a는 제2 실시형태의 제8 변형예에 적용 가능한 노출 패턴의 예를 나타내는 모식도이다. 도 51a에 있어서, 종축은 라인, 횡축은 시간을 나타내고 있다. 도 51a의 예에서는, 노출 패턴은 라인 L#1, L#2, … 마다 교대로, 제1 노출 시간과, 제1 노출 시간보다 짧은 제2 노출 시간이 적용되는 패턴으로 되어 있다. 따라서, 라인 번호가 홀수인 라인 L#1, L#3, …, L# (2n-1)에 있어서 제1 노출 시간에 의해 노출이 행해지고, 라인 번호가 짝수인 라인 L#2, L#4, …, L#2n에 있어서 제1 노출 시간보다 시간이 짧은 제2 노출 시간에 의해 행해진다. 한편, 라인 데이터의 전송 시간은 노출 시간에 관계없이 일정하게 된다.
도 51b는 도 51a의 노출 패턴에 따라 촬상을 행한 경우의 촬상 화상의 예를 나타내는 도면이다. 이 예에서는, 라인 번호가 홀수인 라인 L#1, L#3, …, L# (2n-1)에서는 과다 노출로 되도록 제1 노출 시간이 설정되고, 라인 번호가 짝수인 라인 L#2, L#4, …, L#2n에서는 과소 노출로 되도록 제2 노출 시간이 설정되어 있다.
여기서, 인식 처리부(12), 보다 상세하게는, 도 22를 참조하여, 특징량 추출 처리(1200), 통합 처리(1202), 내부 상태 갱신 처리(1211) 및 인식 처리(1240)는, 각각, 도 51b에 나타낸 바와 같은, 미리, 라인마다 명암이 스위칭되는 화상에 기초하여 학습을 행하여 구한 파라미터에 의해 실행된다. 이에 한정되지 않고, 인식 처리부(12)는 일반적인 화상을 사용하여 학습을 행해도 된다.
이와 같이, 1프레임 내에서 라인마다 교대로 다른 노출을 설정함으로써, 인식 처리부(12)는, 1프레임에 있어서의 인식 처리에서 밝은 오브젝트 및 어두운 오브젝트를 각각 인식 가능하게 된다.
한편, 도 51a의 예에서는, 소정의 노출 패턴에 따라, 라인마다 교대로 노출 시간을 스위칭하고 있지만, 이것은 이 예에 한정되지 않는다. 즉, 소정의 AG 패턴에 따라, 라인마다 교대로 아날로그 게인을 스위칭해도 되고, 소정의 노출 패턴 및 AG 패턴에 각각 따라서 노출 시간 및 아날로그 게인을 각각 스위칭해도 된다.
또한, 도 51a의 예에서는, 판독 단위를 라인으로 하고, 라인마다 교대로 제1 노출 시간과 제2 노출 시간을 설정하고 있지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 전술한 제2 실시형태의 제1∼제7 변형예의 각 판독 단위에 대해, 제2 실시형태의 제8 변형예에 따른, 판독 단위마다의 노출 시간 및 아날로그 게인의 설정을 적용하는 것도 가능하다.
[5-9. 제2 실시형태의 제9 변형예]
다음으로, 제2 실시형태의 제9 변형예에 대해 설명한다. 제2 실시형태의 제9 변형예는, 프레임에 있어서, 노출 시간의 길이를, 공간적으로 밀도를 다르게 하여 설정하는 예이다. 한편, 제2 실시형태의 제9 변형예에서는, 도 49를 사용하여 설명한 구성을 그대로 적용할 수 있으므로, 구성에 관한 상세한 설명을 생략한다.
도 52는 제2 실시형태의 제9 변형예에 따른 노출 패턴의 예를 나타내는 도면이다. 도 52의 섹션(a)∼(c)에 있어서, 각 셀은 예를 들면 복수의 화소를 포함하는 에어리어이다. 도 52의 각 섹션(a)∼(c)에 있어서, 블랭크 셀은, 노출을 행하지 않는, 또는 판독을 행하지 않은 에어리어이다. 또한, 도 52에서는, 셀의 농담에 의해 3단계로 노출 시간을 표현하고 있으며, 노출 시간이 짧은 셀은, 보다 진하게 채워져 있다. 이하, 블랭크 셀은 노출을 행하지 않은 에어리어를 나타내는 것으로 한다. 또한, 채워져 있는 셀은, 채우기의 농담에 따라, 단시간, 중시간 및 장시간의 노출 시간으로 노출이 행해지는 에어리어인 것으로 설명을 행한다. 한편, 중시간은, 단시간보다 길고 장시간보다 짧은 시간이다. 도 52의 각 섹션(a)∼(c)의 각각에 있어서, 예를 들면 채워진 셀의 집합에 의해 판독 단위가 구성된다.
구체적으로는, 섹션(a)에 나타내는 프레임(210a)은, 노출 시간이 단시간으로 설정된 에어리어가, 중앙부에서 조밀하게 되고, 주변부를 향함에 따라 성기게 되어 가는 예(제1 패턴이라고 함)이다. 또한, 섹션(b)에 나타내는 프레임(210b)은, 노출 시간이 중시간으로 설정된 에어리어가, 프레임(210b)의 전체에 실질적으로 균일하게 배치된 예(제2 패턴이라고 함)이다. 나아가, 섹션(c)에 나타내는 프레임(210c)은, 노출 시간이 장시간으로 설정된 에어리어가, 주변부에서 조밀하게 되고, 중앙부를 향함에 따라 성기게 되어 가는 예(제3 패턴이라고 함)이다.
인식 처리부(12)에 있어서 판독 결정부(123)는, 예를 들면 특징량 축적 제어부(121)로부터 전달된 판독 정보나, 인식 처리 실행부(124)로부터 전달된 인식 정보(도시하지 않음)에 따른 패턴을, 전술한 제1∼제3 패턴으로부터 선택한다. 이에 한정되지 않고, 판독 결정부(123)는, 예를 들면 사용자 조작 등 외부로부터의 제어 정보에 따라, 제1∼제3 패턴으로부터 하나의 패턴을 선택해도 된다.
판독 결정부(123)는, 선택된 패턴의 노출 시간과, 각 에어리어의 위치를 포함하는 판독 영역 정보를 생성하고, 생성된 판독 영역 정보를 센서 제어부(11)로 전달한다. 센서 제어부(11)에 있어서, 판독부(110)는, 전달된 판독 영역 정보에 따라, 센서부(10)로부터 화소 데이터의 판독을 행한다. 한편, 전술한 제1∼제3 패턴에 의한 판독은 글로벌 셔터 방식에 적용하는 것이 바람직하다.
여기서, 제2 실시형태의 제9 변형예에 따른 촬상 장치(1)를 차재용으로서 전방을 촬상하도록 설치하는 경우에 대해 생각한다. 이 경우, 야간 등에는 헤드라이트에 의해, 촬상 화상에 있어서 공간적으로 명암차가 생긴다. 구체적으로는, 촬상 화상의 휘도값이 중앙부에서 높아지고, 주변부를 향함에 따라 낮아진다고 생각된다. 이에, 어두운 장소에서 헤드라이트를 점등한 경우에는, 제1 패턴(도 52의 섹션(a))을 선택한다.
또한, 노출 시간이 다른 에어리어를 전술한 제1∼제3 패턴과는 다른 패턴으로 배치할 수도 있다. 예를 들면, 노출 시간이 장시간으로 설정된 에어리어가, 중앙부에서 조밀하게 되고, 주변부를 향함에 따라 성기게 되어 가는 제4 패턴과, 노출 시간이 단시간으로 설정된 에어리어가, 주변부에서 조밀하게 되고, 중앙부를 향함에 따라 성기게 되어 가는 제5 패턴을 생각한다.
전술한 차량용의 예에 있어서, 해당 촬상 장치(1)가 탑재되는 차량이 전방으로 이동하고 있는 경우, 차량의 이동에 따라 촬상 화상에 보케(blurring)가 발생한다. 이 보케는, 화상 중심부에서 적고, 주변을 향함에 따라 커진다. 그 때문에, 화상 중심부에 대해 인식 처리를 실행하고 싶은 경우에는, 제4 패턴을 선택하고, 화상의 주변부에 대해 인식 처리를 실행하고 싶은 경우에는, 제5 패턴을 선택하는 것을 생각할 수 있다.
이와 같이, 노출 시간의 길이를, 프레임 내에 있어서 공간적으로 밀도를 다르게 하여 설정함으로써, 인식 처리부(12)는, 1프레임에 있어서의 인식 처리에서 밝은 오브젝트 및 어두운 오브젝트를 각각 인식 가능하게 된다. 또한, 프레임 내의 위치에 따라 노출을 행하는 에어리어의 밀도를 다르게 하고 있기 때문에, 밝은 오브젝트나 어두운 오브젝트의 공간적인 출현 빈도를 검출 가능하다.
[5-10. 제2 실시형태의 제10 변형예]
다음으로, 제2 실시형태의 제10 변형예에 대해 설명한다. 제2 실시형태의 제10 변형예는, 특징량 축적 제어부(121)에서 생성되는 특징량에 기초하여, 다음으로 판독 단위의 판독을 행하는 판독 영역을 결정하는 예이다.
도 53은 제2 실시형태의 제10 변형예에 따른 기능을 설명하기 위한 일례의 기능 블록도이다. 도 53의 섹션(a)에 있어서, 특징량 축적 제어부(121a)는, 특징량 계산부(120)로부터 전달된 특징량과, 특징량 축적부(122)에 축적된 특징량을 통합하고, 통합된 특징량을, 판독 정보와 함께 판독 결정부(123b)로 전달한다. 판독 결정부(123b)는, 특징량 축적 제어부(121a)로부터 전달된 특징량과 판독 정보에 기초하여, 판독 영역 정보와, 노출 시간 및 아날로그 게인을 나타내는 정보를 생성한다. 이에 한정되지 않고, 판독 결정부(123b)는 노출 시간 및 아날로그 게인에 관해, 이들 중 적어도 일방을 생성하도록 해도 된다. 판독 결정부(123b)는, 생성된 판독 영역 정보, 노출 시간 및 아날로그 게인을 판독부(110)로 전달한다.
도 53의 섹션(b)는, 제2 실시형태의 제10 변형예에 따른 판독 결정부(123b)의 기능을 보다 상세하게 설명하기 위한 일례의 기능 블록도이다. 도 53의 섹션(b)에 있어서, 판독 결정부(123b)는 판독 영역 결정부(1230)와, 노출 시간 결정부(1231)와, AG량 결정부(1232)를 포함한다.
특징량 축적 제어부(121)로부터 판독 결정부(123b)로 전달된 판독 정보 및 특징량은, 이들 판독 영역 결정부(1230), 노출 시간 결정부(1231) 및 AG량 결정부(1232)에 각각 입력된다. 판독 영역 결정부(1230)는, 입력된 판독 정보 및 특징량에 기초하여, 다음으로 판독을 행할 판독 영역을 나타내는 판독 영역 정보(예를 들면, 라인 번호)를 생성하여, 출력한다. 노출 시간 결정부(1231)는, 입력된 특징량에 기초하여, 다음 촬상에 있어서의 노출 시간을 나타내는 정보를 생성하여 출력한다. 또한, AG량 결정부(1232)는, 입력된 특징량에 기초하여, 다음 촬상에 있어서의 아날로그 게인을 나타내는 정보를 생성하여 출력한다.
도 54는 제2 실시형태의 제10 변형예에 따른 처리를 나타내는 일례의 플로우차트이다. 이 도 54의 플로우차트에 의한 처리는, 예를 들면 프레임으로부터의 판독 단위(예를 들면, 1라인)의 화소 데이터의 판독에 대응하는 처리이다. 한편, 여기서는, 판독 단위가 라인인 것으로서 설명을 행하고, 판독 영역 정보는 판독을 행하는 라인을 나타내는 라인 번호인 것으로 한다.
도 54의 플로우차트에 있어서, 단계(S100)∼단계(S106)의 처리는, 제2 실시형태에서 설명한 도 28의 플로우차트에 있어서의 단계(S100)∼단계(S107)의 처리와 동등하다.
즉, 단계(S100)에서, 인식 처리부(12)는, 프레임의 판독 라인으로 나타내어지는 라인으로부터 라인 데이터의 판독을 행한다. 다음 단계(S101)에서, 특징량 계산부(120)는, 판독부(110)로부터 전달된 라인 데이터에 기초하여 라인의 특징량을 산출한다. 다음 단계(S102)에서, 특징량 계산부(120)는, 특징량 축적 제어부(121)로부터, 특징량 축적부(122)에 축적되어 있는 특징량을 취득한다. 다음 단계(S103)에서, 특징량 계산부(120)는, 단계(S101)에서 산출된 특징량과, 단계(S102)에서 특징량 축적 제어부(121)로부터 취득된 특징량을 통합하여 특징량 축적 제어부(121)로 전달한다.
다음 단계(S104)에서, 특징량 축적 제어부(121)는, 통합된 특징량을, 특징량 축적부(122)에 축적한다. 다음 단계(S105)에서, 인식 처리 실행부(124)는, 통합된 특징량을 사용하여 인식 처리를 실행한다. 다음 단계(S106)에서, 인식 처리 실행부(124)는, 단계(S105)의 인식 처리에 의한 인식 결과를 출력한다.
다음 단계(S1080)에서, 판독 결정부(123b)에 있어서 판독 영역 결정부(1230)는, 특징량 축적 제어부(121)로부터 전달된, 판독 정보와, 단계(S101)에서 산출된 특징량과 단계(S102)에서 특징량 축적 제어부(121)로부터 취득된 특징량을 통합한 특징량을 사용하여 다음으로 판독을 행하는 판독 라인을 결정한다. 다음 단계(S1081)에서, 판독 결정부(123b)에 있어서 노출 시간 결정부(1231)는, 특징량 축적 제어부(121)로부터 전달된, 통합된 특징량에 기초하여 다음 판독에 있어서의 노출 시간을 결정한다. 다음 단계(S1082)에서, 판독 결정부(123b)에 있어서 AG량 결정부(1232)는, 특징량 축적 제어부(121)로부터 전달된, 통합된 특징량에 기초하여 다음 판독에 있어서의 아날로그 게인을 결정한다.
단계(S1080)에서 결정된 판독 라인에 대해, 단계(S1081) 및 단계(S1082)에서 각각 결정된 노출 시간 및 아날로그 게인을 적용하여, 단계(S100)로부터의 처리가 다시 실행된다.
한편, 단계(S1080)∼단계(S1082)의 순서는, 전술한 순서에 한정되지 않는다. 또한, 단계(S1081) 및 단계(S1082)의 처리 중 일방은 생략할 수 있다.
(제1 처리)
먼저, 제2 실시형태의 제10 변형예에 따른 제1 처리에 대해 설명한다. 도 55는 제2 실시형태의 제10 변형예에 따른 제1 처리를 설명하기 위한 모식도이다. 한편, 도 55에 나타내는 처리는, 전술한 도 16의 단계(S1)∼단계(S4c)의 처리에 대응한다. 또한, 여기서는, 판독 단위를 라인으로 하고, 롤링 셔터 방식에 의해 촬상을 행하는 것으로 한다.
도 55에 있어서, 단계(S1)에서, 촬상 장치(1)(도 1 참조)에 의해, 인식 대상이 되는 대상 화상(손으로 쓴 숫자 「8」)의 촬상을 개시한다. 여기서, 메모리(13)에는, 소정의 교사 데이터에 의해 숫자를 식별 가능하게 학습된 학습 모델이 프로그램으로서 미리 기억되어 있고, 인식 처리부(12)는, 메모리(13)로부터 이 프로그램을 판독하여 실행함으로써, 화상에 포함되는 숫자의 식별을 가능하게 되어 있는 것으로 한다.
촬상이 개시되면, 단계(S2)에서, 센서 제어부(11)는, 인식 처리부(12)로부터 전달되는 판독 영역 정보에 따라, 프레임을 라인 단위로, 프레임의 상단측으로부터 하단측을 향해 순차적으로 판독한다.
어떤 위치까지 라인이 판독되면, 인식 처리부(12)에 의해, 판독된 라인에 의한 화상으로부터, 「8」 또는 「9」의 숫자가 식별된다(단계(S3)). 인식 처리부(12)에 있어서, 판독 결정부(123b)는, 특징량 축적 제어부(121)로부터 전달된 통합된 특징량에 기초하여, 단계(S3)에서 식별된 오브젝트가 숫자 「8」 또는 「9」 중 어느 것인지를 식별 가능할 것으로 예측되는 라인 L#m을 지정하는 판독 영역 정보를 생성하여, 판독부(110)로 전달한다. 그리고, 인식 처리부(12)는, 판독부(110)에 의해 그 라인 L#m을 판독한 화소 데이터에 기초하여 인식 처리를 실행한다(단계(S4c)).
여기서, 전술한 단계(S4c)에서 오브젝트가 확정된 경우, 인식 처리부(12)는, 인식 처리를 종료시킬 수 있다. 이에 의해, 인식 처리의 단시간화 및 저전력화를 실현하는 것이 가능해진다.
(제2 처리)
다음으로, 제2 실시형태의 제10 변형예에 따른 제2 처리에 대해 설명한다. 도 56은 제2 실시형태의 제10 변형예에 따른 제2 처리를 설명하기 위한 모식도이다. 한편, 도 56에 나타내는 처리는, 전술한 도 55의 처리에 대응하는 것이다. 이 제2 처리에서는, 프레임의 라인 단위로의 판독을, 라인을 솎아내면서 실행한다.
도 56에 있어서, 단계(S10)에서, 촬상 장치(1)에 의해, 인식 대상이 되는 대상 화상(손으로 쓴 숫자 「8」)의 촬상을 개시한다. 여기서, 전술한 것과 마찬가지로, 메모리(13)에는, 예를 들면, 소정의 교사 데이터에 의해 라인 단위로 판독을 행한 경우에 숫자를 식별 가능하게 학습된 학습 모델이 프로그램으로서 미리 기억되어 있고, 인식 처리부(12)는, 메모리(13)로부터 이 프로그램을 판독하여 실행함으로써, 화상에 포함되는 숫자의 식별을 가능하게 되어 있는 것으로 한다.
촬상이 개시되면, 단계(S11)에서, 센서 제어부(11)는, 인식 처리부(12)로부터 전달되는 판독 영역 정보에 따라, 프레임을 라인 단위로, 프레임의 상단측으로부터 하단측을 향해 라인을 솎아내면서 판독한다. 도 56의 예에서는, 센서 제어부(11)는, 판독 영역 정보에 따라, 먼저 프레임의 상단의 라인 L#1을 판독하고, 다음으로 소정 수의 라인을 솎아낸 라인 L#p를 판독한다. 인식 처리부(12)는, 라인 L#1 및 L#p의 각 라인 데이터에 대해, 판독마다 인식 처리를 실행한다.
여기서, 솎음에 의한 라인 단위로의 판독을 더 행하여, 라인 L#q를 판독한 라인 데이터에 대해 인식 처리부(12)에 의한 인식 처리를 실행한 결과, 「8」 또는 「0」의 숫자가 인식된 것으로 한다(단계(S12)). 판독 결정부(123b)는, 특징량 축적 제어부(121)로부터 전달된 통합된 특징량에 기초하여, 단계(S12)에서 식별된 오브젝트가 숫자 「8」 또는 「0」 중 어느 것인지를 식별 가능할 것으로 예측되는 라인 L#r을 지정하는 판독 영역 정보를 생성하여, 판독부(110)로 전달한다. 이 때, 라인 L#r의 위치는 라인 L#q에 대해 프레임의 상단측이어도 되고, 하단측이어도 된다.
인식 처리부(12)는, 판독부(110)에 의해 그 라인 L#r을 판독한 화소 데이터에 기초하여 인식 처리를 실행한다(단계(S13)).
이 제2 처리에서는, 프레임의 라인 판독을 라인을 솎아내면서 행하기 때문에, 인식 처리의 보다 더 단시간화 및 저전력화를 실현하는 것이 가능해진다.
(제3 처리)
다음으로, 제2 실시형태의 제10 변형예에 따른 제3 처리에 대해 설명한다. 이 제2 실시형태의 제10 변형예에 따른 제3 처리에서는, 판독 단위에 의한 판독을 행하면서, 노출 시간이나 아날로그 게인을 적응적으로 설정하는 예이다.
도 57a 및 도 57b, 도 58a 및 도 58b, 및, 도 59a 및 도 59b는, 제2 실시형태의 제10 변형예에 따른 제3 처리를 설명하기 위한 모식도이다. 이하에서는, 노출 시간 및 아날로그 게인 중, 노출 시간을 적응적으로 설정하는 경우에 대해 설명한다.
도 57a 및 도 57b는, 전술한 도 51a 및 도 51b와 대응하는 도면으로서, 노출 시간의 적응적인 설정을 행하지 않은 경우의 예를 나타내고 있다. 도 57a에 나타내는 노출 패턴은, 전술한 도 51a에 나타내는 노출 패턴에 대해, 제1 노출 시간과, 제1 노출 시간보다 시간이 짧은 제2 노출 시간의 시간 차가 보다 크게 되어 있다. 노출 패턴은, 도 51a의 예와 마찬가지로, 제1 노출 시간과 제2 노출 시간이 라인 L#1, L#2, … 마다 교대로 적용되는 패턴으로 되어 있다.
도 57b는 도 57a의 노출 패턴에 따라 촬상을 행한 경우의 촬상 화상(200a)의 예를 나타내는 도면이다. 이 예에서는, 홀수 라인 번호의 라인 L#1, L#3, …, L# (2n-1)에서는 과다 노출로 되도록 제1 노출 시간이 설정되고, 짝수 라인 번호의 라인 L#2, L#4, …, L#2n에서는 과소 노출가 되도록 제2 노출 시간이 설정되어 있다.
도 58a 및 도 58b는, 도 57a의 노출 패턴에 따라 촬상을 행하고, 각 라인 L#1, L#2, …, L# (2n-1)로부터 판독한 화소 데이터에 따른, 통합된 특징량에 기초하여, 각 라인 L#2, L#3, …, L#2n의 노출 시간을 설정한 경우의 예를 나타내고 있다.
라인 L#1로부터의 판독이 행해지면, 판독 결정부(123b)는, 이 라인 L#1로부터 판독한 화소 데이터에 기초하여 특징량 계산부(120)에 의해 산출된 특징량과 특징량 축적부(122)에 축적된 특징량을 특징량 축적 제어부(121)가 통합한 특징량에 기초하여, 다음 홀수 라인 번호의 라인 L#3의 노출 시간(노출 시간(L#3이라고 함))을 설정한다. 도 58a의 예에서는, 노출 시간(L#3)은, 라인 L#1의 노출 시간에 비해 짧게 되어 있다. 판독 결정부(123b)는 이 노출 시간(L#3)을 보유한다. 한편, 판독 결정부(123b)에 의한 노출 시간의 설정 처리는, 예를 들면 다음 라인(이 경우에는 라인 L#2)의 전송 기간 중에 실행된다.
다음으로 짝수 라인 번호의 라인 L#2로부터의 판독이 행해진다. 판독 결정부(123b)는, 라인 L#2로부터 판독된 화소 데이터에 기초하여 특징량 계산부(120)에 의해 산출된 특징량과 특징량 축적부(122)에 축적된 특징량을 특징량 축적 제어부(121)가 통합한 특징량에 기초하여, 다음 짝수 라인 번호의 라인 L#4의 노출 시간(L#4)을 설정하여, 보유한다. 도 58a의 예에서는, 노출 시간(L#4)은, 라인 L#2의 노출 시간에 비해 짧게 되어 있다.
라인 L#2의 판독 및 인식 처리가 종료되면, 판독 결정부(123b)는, 보유하고 있는 노출 시간(L#3)과, 다음 라인 L#3의 판독을 지시하기 위한 판독 영역 정보를 판독부(110)로 전달한다.
라인 L#3의 판독에 대해서도 마찬가지로, 판독 결정부(123b)는, 라인 L#3으로부터 판독된 화소 데이터에 기초하여 다음 홀수 라인 번호의 라인 L#5의 노출 시간(L#5)을 설정한다. 도 58a의 예에서는, 노출 시간(L#5)은, 라인 L#3의 노출 시간에 비해 짧게 되어 있다. 판독 결정부(123b)는 이 노출 시간(L#5)을 보유한다. 다음으로 짝수 라인 번호의 라인 L#4로부터의 판독이 행해지고, 판독 결정부(123b)는, 라인 L#4로부터 판독된 화소 데이터에 기초하여 다음 짝수 라인 번호의 라인 L#6의 노출 시간(L#6)을 설정한다. 도 58a의 예에서는, 노출 시간(L#6)은, 라인 L#4의 노출 시간에 비해 짧게 되어 있다. 판독 결정부(123b)는 이 노출 시간(L#6)을 보유한다.
이와 같이 하여, 라인 판독 및 노출 설정을, 홀수 라인 번호의 라인과 짝수 라인 번호의 라인으로 교대로 반복해 간다. 이에 의해, 도 58b에 나타내는 바와 같이, 과다 노출로 설정되는 홀수 라인 번호의 라인 L#1, L#3, …, L# (2n-1)과, 과소 노출로 설정되는 짝수 라인 번호의 라인 L#2, L#4, …, L#2n의 각각에 있어서, 노출 시간이 적절하게 설정되게 된다.
여기서, 판독 결정부(123b)는, 노출 시간을, 라인으로부터 판독한 화소 정보에 기초하여 얻어진 특징량을 사용하여 설정하고 있다. 그 때문에, 판독 결정부(123b)는, 인식 처리 실행부(124)가 인식 처리를 실행하기에 적합한 노출 시간을 설정하는 것이 가능하다.
도 57b와 도 58b를 비교하면, 도 58b의 예에서는, 과다 노출로 되는 홀수 라인 번호의 라인 L#1, L#3, …에서는 휘도가 억제되고, 과소 노출로 되는 짝수 라인 번호의 라인 L#2, L#4, …에서는 휘도가 높게 되고 있다. 그 때문에, 도 58b의 예는, 홀수 라인 번호의 라인 및 짝수 라인 번호의 라인의 각각에 있어서, 도 57b의 예에 비해 보다 고정밀도로 인식 처리가 실행되는 것이 기대된다.
한편, 프레임의 하단부에 있어서 홀수 라인 번호의 라인 및 짝수 라인 번호의 라인에 각각 설정된 노출 시간을 사용하여, 다음 프레임에 있어서의 홀수 라인 번호의 라인 및 짝수 라인 번호의 라인 각각의 노출 시간을 설정할 수 있다.
전술한 도 58a 및 도 58b의 예에서는, 프레임의 전체 라인을 판독하도록 하고 있지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 프레임의 도중까지 라인 판독을 행하고, 그 결과에 따라 판독 위치를 되돌리도록 할 수 있다.
도 59a 및 도 59b를 사용하여 설명한다. 도 59a 및 도 59b는, 전술한 도 58a 및 도 58b의 예와 마찬가지로, 도 57a의 노출 패턴에 따라 촬상을 행하고, 각 라인 L#1, L#2, …, L# (2n-1)로부터 판독된 화소 데이터에 따른, 통합된 특징량에 기초하여, 각 라인 L#2, L#3, …, L#2n의 노출 시간을 설정한 경우의 예를 나타내고 있다.
도 59a의 예에 있어서, 예를 들면 라인 L#2로부터 판독된 화소 데이터에 기초하는 인식 처리 실행부(124)에 의한 인식 처리에 의해, 소정의 오브젝트(사람이라 함)가 인식된 것으로 한다. 예를 들면, 인식 처리 실행부(124)는, 사람이 인식된 것을 나타내는 인식 정보를 판독 결정부(123b)로 전달한다. 판독 결정부(123b)는, 이 인식 정보에 따라, 다음 프레임에 있어서의 해당 라인 L#2에 대응하는 라인 L#2'의 노출 시간을 설정한다. 도 59a의 예에서는, 판독 결정부(123b)는 라인 L#2'의 노출 시간을 라인 L#2의 노출 시간에 비해 길게 설정하고 있다.
판독 결정부(123b)는, 라인 L#2'의 노출 시간을 설정하면, 라인 L#2'를 나타내는 판독 영역 정보와, 라인 L#2'에 대해 설정된 노출 시간를 판독부(110)로 전달한다. 판독부(110)는, 이 판독 영역 정보 및 노출 시간에 따라, 예를 들면 라인 L#3의 전송 처리의 종료 후, 라인 L#2'의 노출을 개시한다.
판독 결정부(123b)는, 라인 L#3 이후에 대해, 도 58a와 마찬가지로 하여 홀수 라인 번호의 라인 L#3, L#5, …, 및 짝수 라인 번호의 라인 L#4, L#6 각각의 노출 시간을 설정한다. 여기서, 도 59a의 예에서는, 라인 L#7의 전송 처리의 종료 직후에, 라인 L#2'의 노출이 종료되고, 라인 L#2'로부터 판독된 화소 데이터의 전송이 개시되고 있다.
도 59b에 나타내는 바와 같이, 라인 L#2'는, 도 58b에 나타낸 라인 L#2와 비교하여 고휘도로 되고, 보다 고정밀도의 인식이 가능하게 되는 것이 기대된다.
한편, 판독 결정부(123b)는, 라인 L#2'와 동일한 프레임에 포함되는, 라인 L#2' 이후의 각 라인 L#3', L#4', …에 대해, 도 58a 및 도 58b를 사용하여 설명한 처리와 마찬가지로 하여, 각각 노출 시간이 설정되어, 판독이 행해진다.
라인 L#2'는, 이전 프레임의 라인 L#2로부터 판독된 화소 데이터에 기초하는 인식 정보에 따라 노출 시간이 설정되고 있다. 그 때문에, 인식 처리 실행부(124)는, 라인 L#2'에 기초하는 인식 처리를, 라인 L#2에 기초하는 인식 처리와 비교하여 보다 고정밀도로 실행하는 것이 가능해진다.
한편, 제2 실시형태의 제10 변형예의 제3 처리에서는, 라인의 판독 결과에 기초하여 라인의 노출 시간을 설정하고 있지만, 이것은 이 예에 한정되지 않고, 라인의 아날로그 게인을 설정하도록 해도 된다.
여기서, 노출 시간을 길게 하면, 높은 휘도값에서의 촬상이 가능해지고, 노이즈를 저감시키는 것이 가능해진다. 한편, 노출 시간을 길게 하면, 예를 들면 동적인 장면에 있어서 블러가 증가될 우려가 있다. 이에 대해, 아날로그 게인을 조정해도 블러에 변화가 생기지 않는 한편, 아날로그 게인을 올리면, 노이즈가 증가될 우려가 있다.
따라서, 인식 처리의 목적이나, 촬상 대상에 따라 노출 시간과 아날로그 게인 중 어느 것을 설정할지를 선택하는 것이 바람직하다. 예를 들면, 촬상 대상이 동적인 장면인 경우에는 아날로그 게인을 올려서 블러를 억제하고, 촬상 대상이 정적인 장면인 경우에는 노출 시간을 길게 해서 밝게 촬상하고, 노이즈를 억제하는, 등의 응용이 생각된다.
도 60은 제2 실시형태의 제10 변형예에 따른 인식 처리부(12)에 있어서의 처리의 예에 대해 보다 상세하게 나타내는 모식도이다. 도 60에 나타내는 구성에서는, 전술한 도 22에 나타낸 구성에 대해, 판독 결정부(123b)가 추가되어 있다. 판독 결정부(123b)는, 내부 상태 갱신 처리(1211)에 의해 갱신된, 내부 상태에 관한 특징량(1212)이 입력된다.
판독 결정부(123b)에 있어서의 처리는, 다음 라인 결정 처리(1233)와, 다음 노출 결정 처리(1234)와, 다음 AG 결정 처리(1235)를 포함한다. 이들 다음 라인 결정 처리(1233), 다음 노출 결정 처리(1234) 및 다음 AG 결정 처리(1235)는, 각각, 도 53의 섹션(b)를 사용하여 설명한 판독 영역 결정부(1230), 노출 시간 결정부(1231) 및 AG량 결정부(1232) 각각에서 실행되는 처리이다.
다음 라인 결정 처리(1233), 다음 노출 결정 처리(1234) 및 다음 AG 결정 처리(1235)는, 각각, 미리 학습된 파라미터에 기초하여 처리가 실행된다. 파라미터의 학습은, 예를 들면 상정되는 판독 패턴이나 인식 대상에 기초하는 교사 데이터를 사용하여 행해진다. 전술한 예에서는, 상정되는 판독 패턴은, 예를 들면 과다 노출된 라인과 과소 노출된 라인을 교대로 판독하는 패턴을 사용할 수 있다.
한편, 전술한 도 57a 및 도 57b, 도 58a 및 도 58b, 및 도 59a 및 도 59b에서는, 판독 단위가 라인인 것으로서 설명을 행하였지만, 이것은 이 예에 한정되지 않는다. 즉, 제2 실시형태의 제10 변형예에 대해, 순차적으로 인접하는 복수 라인 등 다른 판독 단위를 적용시켜도 된다.
한편, 전술한 제2 실시형태 및 그 각 변형예에 따른 촬상 장치(1)는, 판독 단위의 판독마다, 인식 처리부(12)에 의한 인식 처리를 행하고 있지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 판독 단위마다의 인식 처리와, 통상의 인식 처리, 즉 프레임 전체에 대한 판독을 행하고 프레임 전체로부터 판독된 화소의 화소 데이터에 기초하는 인식 처리를, 스위칭 가능하게 해도 된다. 즉, 통상의 인식 처리는, 프레임 전체의 화소에 기초하여 실행되기 때문에, 판독 단위마다의 인식 처리와 비교하여 보다 고정밀도의 인식 결과를 얻는 것이 가능하다.
예를 들면, 판독 단위마다의 인식 처리에 대해, 일정 시간마다 통상의 인식 처리를 행할 수 있다. 또한, 판독 단위마다의 인식 처리에 대해, 긴급시에 통상의 인식 처리를 행하여 인식의 안정도를 향상시키도록 해도 된다. 또한, 판독 단위마다의 인식 처리로부터 통상의 인식 처리로 스위칭하는 경우, 통상의 인식 처리는 판독 단위마다의 인식 처리에 비해 속보성(速報性; immediacy)이 저하되기 때문에, 통상의 인식 처리에 있어서, 장치를 동작시키기 위한 클록을 보다 고속 클록으로 스위칭해도 된다. 나아가, 판독 단위마다의 인식 처리에 의한 신뢰도가 낮은 경우에, 통상의 인식 처리로 스위칭하도록 하고, 인식 처리의 신뢰도가 높아진 경우에, 판독 단위마다의 인식 처리로 되돌리도록 해도 된다.
[6. 제3 실시형태]
다음으로, 본 개시의 제3 실시형태에 대해 설명한다. 제3 실시형태는, 프레임 판독시의 파라미터를 적응적으로 설정하는 예이다. 프레임 판독시의 파라미터로서는, 판독 단위, 판독 단위에 따른 프레임 내에서의 판독 순서, 판독 영역, 노출 시간, 아날로그 게인 등을 생각할 수 있다. 한편, 제3 실시형태에 따른 촬상 장치(1)는, 전체로서의 기능은, 도 21을 사용하여 설명한 기능을 적용할 수 있으므로, 전체 구성의 설명에 대해서는 생략한다.
도 61은 제3 실시형태에 따른 기능을 설명하기 위한 일례의 기능 블록도이다. 제3 실시형태에서는, 인식 처리부(12)에 의한 인식 처리가 주로 설명되므로, 도 61의 섹션(a)에 나타내는 구성은, 전술한 도 21의 구성에 대하여, 시인 처리부(14), 출력 제어부(15) 및 트리거 생성부(16)와, 센서 제어부(11)에 있어서의 판독 제어부(111)가 생략되어 있다.
한편, 도 61의 섹션(a)에 나타내는 구성은, 도 21의 구성에 대해 외부 정보 취득부(17)가 추가되어 있고, 판독 결정부(123c)에 대해 판독부(110)로부터 화소 데이터가 전달된다. 또한, 판독 결정부(123c)는, 인식 처리 실행부(124)로부터 인식 정보를 전달받는다.
나아가, 외부 정보 취득부(17)는, 해당 촬상 장치(1)의 외부에서 발생하는 외부 정보를 취득하고, 취득된 외부 정보를 판독 결정부(123c)로 전달한다.
구체적으로는, 외부 정보 취득부(17)는, 소정 형식의 신호의 송수신을 행하는 인터페이스를 사용할 수 있다. 외부 정보는, 예를 들면 해당 촬상 장치(1)가 차재용인 경우에는, 차량 정보를 적용할 수 있다. 차량 정보는, 예를 들면 차량 시스템으로부터 취득되는 정보로서, 예를 들면 스티어링 정보나 속도 정보이다. 환경 정보는, 해당 촬상 장치(1)의 주위 환경을 나타내는 정보로서, 예를 들면 주위의 밝기이다. 이하에서는, 특별히 기재가 없는 한, 해당 촬상 장치(1)가 차재용으로서 사용되고, 외부 정보는, 해당 촬상 장치(1)가 탑재되는 차량으로부터 취득되는 차량 정보인 것으로서 설명을 행한다.
도 61의 섹션(b)는, 제3 실시형태에 따른 판독 결정부(123c)의 기능을 보다 상세하게 설명하기 위한 일례의 기능 블록도이다. 도 61의 섹션(b)에 있어서, 판독 결정부(123c)는, 판독 단위 패턴 선택부(300)와, 판독 순서 패턴 선택부(302)와, 판독 결정 처리부(304)를 포함한다. 판독 단위 패턴 선택부(300)는, 다른 복수의 판독 패턴이 미리 저장된 판독 단위 패턴 DB(데이터베이스)(301)를 포함한다. 또한, 판독 순서 패턴 선택부(302)는, 복수의 다른 판독 순서 패턴이 미리 저장된 판독 순서 패턴 DB(303)를 포함한다.
판독 결정부(123c)는, 전달된 인식 정보, 화소 데이터, 차량 정보 및 환경 정보 중 하나 이상의 정보에 기초하여, 판독 단위 패턴 DB(301)에 저장되는 각 판독 단위 패턴과, 판독 순서 패턴 DB(303)에 저장되는 각 판독 순서 패턴에 대해 각각 우선도를 설정한다.
판독 단위 패턴 선택부(300)는, 판독 단위 패턴 DB(301)에 저장되는 각 판독 단위 패턴 중, 가장 우선도가 높게 설정된 판독 단위 패턴을 선택한다. 판독 단위 패턴 선택부(300)는, 판독 단위 패턴 DB(301)로부터 선택된 판독 단위 패턴을 판독 결정 처리부(304)로 전달한다. 마찬가지로, 판독 순서 패턴 선택부(302)는, 판독 순서 패턴 DB(303)에 저장되는 각 판독 순서 패턴 중, 가장 우선도가 높게 설정된 판독 순서 패턴을 선택한다. 판독 순서 패턴 선택부(302)는, 판독 순서 패턴 DB(303)으로부터 선택된 판독 순서 패턴을 판독 결정 처리부(304)로 전달한다.
판독 결정 처리부(304)는, 특징량 축적 제어부(121)로부터 전달된 판독 정보와, 판독 단위 패턴 선택부(300)로부터 전달된 판독 단위 패턴과, 판독 순서 패턴 선택부(302)로부터 전달된 판독 순서 패턴에 따라, 프레임으로부터 다음으로 판독을 행할 판독 영역을 결정하고, 결정된 판독 영역을 나타내는 판독 영역 정보를 판독부(110)로 전달한다. 또한, 판독 결정 처리부(304)는, 판독 결정부(123c)로 전달된 화소 데이터, 인식 정보, 차량 정보 및 환경 정보 중 하나 이상의 정보에 기초하여, 프레임으로부터 다음 판독을 행할 때의 노출 시간 및 아날로그 게인 각각을 나타내는 정보를 생성하고, 생성된 이들 각 정보를 판독부(110)로 전달한다.
(6-0-1. 판독 단위 패턴, 판독 순서 패턴의 설정 방법)
도 61의 섹션(a) 및 (b)에 나타낸 구성에 의한, 제3 실시형태에 따른 판독 단위 패턴 및 판독 순서 패턴의 설정 방법의 예에 대해 설명한다.
(6-0-1-1. 판독 단위 패턴, 판독 순서 패턴의 예)
여기서, 제3 실시형태에 적용 가능한 판독 단위 패턴 및 판독 순서 패턴의 예에 대해 설명한다. 도 62는 제3 실시형태에 적용 가능한 판독 단위 패턴의 예를 나타내는 모식도이다. 도 62의 예에서는, 판독 단위 패턴(410, 411, 412, 413 및 414)의 5개의 판독 단위 패턴이 나타내어져 있다.
판독 단위 패턴(410)은 전술한 도 24에 대응하고, 라인을 판독 단위로 하여 프레임(400)에 있어서 라인별로 판독을 행하는 판독 단위 패턴이다. 판독 단위 패턴(411)은 전술한 도 33에 대응하고, 프레임(400)에 있어서 소정 사이즈의 에어리어를 판독 단위로 하여 프레임(400)에 있어서 에어리어별로 판독을 행하는 판독 패턴이다.
판독 단위 패턴(412)은 전술한 도 37에 대응하고, 인접하지 않는 화소를 포함하고 또한 주기적으로 배치된 복수의 화소에 의한 화소 세트를 판독 단위로 하여, 프레임(400)에 있어서 이 복수의 화소별로 판독을 행하는 판독 단위 패턴이다. 판독 단위 패턴(413)은 전술한 도 42에 대응하고, 이산적 및 비주기적으로 배치된 복수의 화소(랜덤 패턴)를 판독 단위로 하여 프레임(400)에 있어서 랜덤 패턴을 갱신하면서 판독을 행하는 판독 단위 패턴이다. 이들 판독 단위 패턴(412 및 413)은, 프레임(400)으로부터 보다 균일하게 화소를 샘플링 가능하게 되어 있다.
또한, 판독 단위 패턴(414)은 전술한 도 43에 대응하고, 인식 정보에 기초하여 패턴을 적응적으로 생성하도록 한 판독 단위 패턴이다.
도 62를 사용하여 설명한 각 판독 단위 패턴(410∼414)은, 도 61의 섹션(b)에 나타낸 판독 단위 패턴 DB(301)에 미리 기억된다.
한편, 제3 실시형태에 따른 판독 단위 패턴으로서 적용 가능한 판독 단위는, 도 62에 나타낸 예에 한정되지 않는다. 예를 들면, 제2 실시형태 및 그 각 변형예에서 설명한 각 판독 단위를, 제3 실시형태에 따른 판독 단위 패턴으로서 적용 가능하다.
도 63은 제3 실시형태에 적용 가능한 판독 순서 패턴의 예를 나타내는 모식도이다. 도 63의 섹션(a)는 판독 단위가 라인으로 된 경우의 판독 순서 패턴의 예를 나타낸다. 섹션(b)는 판독 단위가 에어리어로 된 경우의 판독 순서 패턴의 예를 나타낸다. 섹션(c)는 판독 단위가 전술한 화소 세트로 된 경우의 판독 순서 패턴의 예를 나타낸다.
또한, 도 63의 섹션(a), (b) 및 (c) 각각에 있어서, 좌측의 판독 순서 패턴(420a, 430a 및 440a)은, 각각, 라인순 또는 화소순으로 순차적으로 판독을 행하는 판독 순서 패턴의 예를 나타내고 있다.
여기서, 섹션(a)의 판독 순서 패턴(420a)은, 프레임(400)의 상단측으로부터 하단측을 향해 라인 순차적으로 판독을 행하는 예이다. 섹션(b) 및 (c)의 판독 순서 패턴(430a 및 440a)은, 각각, 프레임(400)의 상부좌측 코너로부터 라인 방향을 따라 에어리어 또는 화소 세트마다 순차적으로 판독을 행하고, 이 라인 방향의 판독을, 프레임(400)의 수직 방향으로 반복해서 행하는 예이다. 이들 판독 순서 패턴(420a, 430a 및 440a)을 순방향의 판독 순서 패턴이라고 부른다.
한편, 섹션(a)의 판독 순서 패턴(420b)은, 프레임(400)의 하단측으로부터 상단측을 향해 라인 순차적으로 판독을 행하는 예이다. 섹션(b) 및 (c)의 판독 순서 패턴(430b 및 440b)은, 각각, 프레임(400)의 하부우측 코너로부터 라인 방향을 따라 에어리어 또는 화소 세트마다 순차적으로 판독을 행하고, 이 라인 방향의 판독을, 프레임(400)의 수직 방향으로 반복해서 행하는 예이다. 이들 판독 순서 패턴(420b, 430b 및 440b)을 역방향의 판독 순서 패턴이라고 부른다.
나아가, 섹션(a)의 판독 순서 패턴(420c)은, 라인을 솎아내면서 프레임(400)의 상단측으로부터 하단측을 향해 판독을 행하는 예이다. 섹션(b) 및 (c)의 판독 순서 패턴(430c 및 440c)은, 각각, 프레임(400) 내에 있어서 에어리어를 이산적인 위치 및 판독순으로 판독을 행하는 예이다. 판독 순서 패턴(430c)에서는, 예를 들면 4개의 화소에 의해 판독 단위가 구성되어 있는 경우, 도면 중에 화살표로 나타내는 순서로 각 화소의 판독을 행한다. 판독 순서 패턴(440c)에서는, 예를 들면 도면 중의 영역(442)에 나타내는 바와 같이, 패턴의 기준이 되는 화소를, 화소 위치의 라인 방향 및 열 방향의 순서와는 다른 순서로, 이산적인 위치로 이동시키면서 각 화소의 판독을 행한다.
도 63을 사용하여 설명한 각 판독 순서 패턴(420a∼420c), 판독 순서 패턴(430a∼430c), 및 판독 순서 패턴(420a∼420c)은, 도 61의 섹션(b)에 나타낸 판독 순서 패턴 DB(303)에 미리 기억된다.
(6-0-1-2. 판독 단위 패턴의 설정 방법의 구체예)
전술한 도 62 및 도 63을 참조하여, 제3 실시형태에 따른 판독 단위 패턴의 설정 방법의 예에 대해 보다 구체적으로 설명한다.
먼저, 화상 정보(화소 데이터)에 기초하는 판독 단위 패턴의 설정 방법에 대해 설명한다. 판독 결정부(123c)는, 판독부(110)로부터 전달된 화소 데이터에 포함되는 노이즈를 검출한다. 여기서, 복수의 화소가 모아 배치된 편이, 단독의 화소가 흩어져 배치된 경우에 비해 노이즈에 대한 내성이 높다. 그 때문에, 판독 결정부(123c)는, 판독부(110)로부터 전달된 화소 데이터에 소정 레벨 이상의 노이즈가 포함되는 경우에, 판독 단위 패턴 DB(301)에 저장되는 각 판독 단위 패턴(410∼414) 중 판독 단위 패턴(410 또는 411)의 우선도를 다른 판독 단위 패턴의 우선도보다 높게 설정한다.
다음으로, 인식 정보에 기초하는 판독 단위 패턴의 설정 방법에 대해 설명한다. 제1 설정 방법은, 인식 처리 실행부(124)로부터 전달된 인식 정보에 기초하여, 프레임(400)에 소정 크기 이상으로 큰 오브젝트가 많이 인식된 경우의 예이다. 이 경우, 판독 결정부(123c)는, 판독 단위 패턴 DB(301)에 저장되는 각 판독 단위 패턴(410∼414) 중 판독 단위 패턴(412 또는 413)의 우선도를, 다른 판독 단위 패턴의 우선도보다 높게 설정한다. 이것은, 프레임(400) 전체를 균일하게 샘플링함으로써, 속보성을 보다 높이는 것이 가능해지기 때문이다.
제2 설정 방법은, 예를 들면 화소 데이터에 기초하여 촬상된 화상에 플리커가 검지된 경우의 예이다. 이 경우, 판독 결정부(123c)는, 판독 단위 패턴 DB(301)에 저장되는 각 판독 단위 패턴(410∼414) 중 판독 단위 패턴(413)의 우선도를 다른 판독 단위 패턴의 우선도보다 높게 설정한다. 이것은, 플리커에 대해서는, 랜덤 패턴에 의해 프레임(400) 전체를 샘플링함으로써, 플리커에 의한 아티팩트를 억제할 수 있기 때문이다.
제3 설정 방법은, 인식 정보에 기초하여 판독 단위의 구성을 적응적으로 변경하는 경우에 있어서, 보다 효율적으로 인식 처리를 실행 가능할 것으로 생각되는 구성이 생성된 경우의 예이다. 이 경우, 판독 결정부(123c)는, 판독 단위 패턴 DB(301)에 저장되는 각 판독 단위 패턴(410∼414) 중 판독 단위 패턴(414)의 우선도를 다른 판독 단위 패턴의 우선도보다 높게 설정한다.
다음으로, 외부 정보 취득부(17)에 의해 취득된 외부 정보에 기초하는 판독 단위 패턴의 설정 방법에 대해 설명한다. 제1 설정 방법은, 외부 정보에 기초하여 해당 촬상 장치(1)가 탑재되어 있는 차량이 좌우 어느 하나의 방향으로 선회한 경우의 예이다. 이 경우, 판독 결정부(123c)는, 판독 단위 패턴 DB(301)에 저장되는 각 판독 단위 패턴(410∼414) 중 판독 단위 패턴(410 또는 411)의 우선도를 다른 판독 단위 패턴의 우선도보다 높게 한다.
여기서, 이 제1 설정 방법에 있어서, 판독 결정부(123c)는, 판독 단위 패턴(410)에 대해서는, 화소 어레이부(101)에 있어서의 행렬 방향 중 열 방향을 판독 단위로 하고, 프레임(400)의 라인 방향으로 열 순차적으로 판독을 행하는 설정으로 한다. 또한, 판독 단위 패턴(411)에 대해서는, 에어리어를 열 방향을 따라 판독하고, 그것을 라인 방향을 향해 반복하는 설정으로 한다.
판독 결정부(123c)는, 차량이 왼쪽 방향으로 선회하는 경우에는, 열 순차의 판독, 또는 에어리어의 열 방향을 따른 판독을, 프레임(400)의 좌단측으로부터 개시하도록, 판독 결정 처리부(304)에 대해 설정한다. 한편, 차량이 오른쪽 방향으로 선회하는 경우에는, 열 순차의 판독, 또는 에어리어의 열 방향을 따른 판독을, 프레임(400)의 우단측으로부터 개시하도록, 판독 결정 처리부(304)에 대해 설정한다.
한편, 판독 결정부(123c)는, 차량이 직진하고 있는 경우에는, 통상의 라인 순차 또는 에어리어의 라인 방향을 따른 판독으로 하고, 차량이 좌선회 또는 우선회한 경우에, 예를 들면 특징량 축적부(122)에 축적된 특징량을 초기화하여, 전술한 열 순차의 판독, 또는 에어리어를 열 방향을 따른 판독에 의해 판독 처리를 재개할 수 있다.
외부 정보에 기초하는 판독 단위 패턴의 제2 설정 방법은, 외부 정보에 기초하여, 해당 촬상 장치(1)가 탑재되어 있는 차량이 고속도로 주행을 하고 있는 경우의 예이다. 이 경우, 판독 결정부(123c)는, 판독 단위 패턴 DB(301)에 저장되는 각 판독 단위 패턴(410∼414) 중 판독 단위 패턴(410 또는 411)의 우선도를 다른 판독 단위 패턴의 우선도보다 높게 설정한다. 고속도로 주행의 경우, 먼 곳의 작은 물체에 의한 오브젝트의 인식이 중요하다고 생각된다. 이에, 프레임(400)의 상단측으로부터 순차적으로 판독을 행함으로써, 먼 곳의 작은 물체에 의한 오브젝트에 대한 속보성을 보다 향상시키는 것이 가능해진다.
(6-0-1-3. 판독 순서 패턴의 설정 방법의 구체예)
전술한 도 62 및 도 63을 참조하여, 제3 실시형태에 따른 판독 순서 패턴의 설정 방법의 예에 대해 보다 구체적으로 설명한다.
먼저, 화상 정보(화소 데이터)에 기초하는 판독 순서 패턴의 설정 방법에 대해 설명한다. 판독 결정부(123c)는, 판독부(110)로부터 전달된 화소 데이터에 포함되는 노이즈를 검출한다. 여기서, 인식 처리의 대상이 되는 영역의 변화가 적을수록, 인식 처리가 노이즈의 영향을 받기 어렵고, 인식 처리가 용이해진다. 그 때문에, 판독 결정부(123c)는, 판독부(110)로부터 전달된 화소 데이터에 소정 레벨 이상의 노이즈가 포함되는 경우에, 판독 순서 패턴 DB(303)에 저장되는 각 판독 순서 패턴(420a∼420c, 430a∼430c, 및, 440a∼440c) 가운데, 판독 순서 패턴(420a, 430a 및 440a) 중 어느 하나의 우선도를 다른 판독 순서 패턴의 우선도보다 높게 설정한다. 이에 한정되지 않고, 판독 순서 패턴(420b, 430b 및 440b) 중 어느 하나의 우선도를 다른 판독 순서 패턴의 우선도보다 높게 설정해도 된다.
한편, 판독 순서 패턴(420a, 430a 및 440a), 및 판독 순서 패턴(420b, 430b 및 440b) 중 어느 것의 우선도를 높게 설정할지는, 예를 들면, 판독 단위 패턴 선택부(300)에서 판독 단위 패턴(410∼414) 중 어느 것의 우선도를 높게 설정하고 있는지, 및 프레임(400)의 상단측 및 하단측 중 어느 것으로부터 판독이 시작되고 있는지에 기초하여 정할 수 있다.
다음으로, 인식 정보에 기초하는 판독 순서 패턴의 설정 방법에 대해 설명한다. 판독 결정부(123c)는, 인식 처리 실행부(124)로부터 전달된 인식 정보에 기초하여, 프레임(400)에 소정 크기 이상으로 큰 오브젝트가 많이 인식된 경우에, 판독 순서 패턴 DB(303)에 저장되는 각 판독 순서 패턴(420a∼420c, 430a∼430c, 및, 440a∼440c) 가운데, 판독 순서 패턴(420c, 430c 및 440c) 중 어느 하나의 우선도를 다른 판독 순서 패턴의 우선도보다 높게 설정한다. 이것은, 프레임(400) 전체를 순차적으로 판독하는 것보다도, 균일하게 샘플링한 편이, 속보성을 보다 높이는 것이 가능해지기 때문이다.
다음으로, 외부 정보에 기초하는 판독 순서 패턴의 설정 방법에 대해 설명한다. 제1 설정 방법은, 외부 정보에 기초하여, 해당 촬상 장치(1)가 탑재되어 있는 차량이 좌우 어느 하나의 방향으로 선회한 경우의 예이다. 이 경우, 판독 결정부(123c)는, 판독 순서 패턴 DB(303)에 저장되는 각 판독 순서 패턴(420a∼420c, 430a∼430c, 및, 440a∼440c) 가운데, 판독 순서 패턴(420a, 430a 및 440a) 중 어느 하나의 우선도를 다른 판독 단위 패턴의 우선도보다 높게 한다.
여기서, 이 제1 설정 방법에 있어서, 판독 결정부(123c)는, 판독 순서 패턴(420a)에 대해서는, 화소 어레이부(101)에 있어서의 행렬 방향 중 열 방향을 판독 단위로 하고, 프레임(400)의 라인 방향으로 열 순차적으로 판독을 행하는 설정으로 한다. 또한, 판독 순서 패턴(430a)에 대해서는, 에어리어를 열 방향에 따라 판독하고, 그것을 라인 방향을 향해 반복하는 설정으로 한다. 나아가, 판독 순서 패턴(440a)에 대해서는, 화소 세트를 열 방향을 따라 판독하고, 그것을 라인 방향을 향해 반복하는 설정으로 한다.
판독 결정부(123c)는, 차량이 왼쪽 방향으로 선회하는 경우에는, 열 순차의 판독 또는 에어리어의 열 방향을 따른 판독을 프레임(400)의 좌단측으로부터 개시하도록, 판독 결정 처리부(304)에 대해 설정한다. 한편, 차량이 오른쪽 방향으로 선회하는 경우에는, 열 순차의 판독 또는 에어리어의 열 방향을 따른 판독을 프레임(400)의 우단측으로부터 개시하도록, 판독 결정 처리부(304)에 대해 설정한다.
한편, 판독 결정부(123c)는, 차량이 직진하고 있는 경우에는, 통상의 라인 순차 또는 에어리어의 라인 방향을 따른 판독으로 하고, 차량이 좌선회 또는 우선회한 경우에, 예를 들면 특징량 축적부(122)에 축적된 특징량을 초기화하여, 전술한 열 순차의 판독 또는 에어리어를 열 방향을 따른 판독에 의해, 판독 처리를 재개할 수 있다.
외부 정보에 기초하는 판독 순서 패턴의 제2 설정 방법은, 외부 정보에 기초하여, 해당 촬상 장치(1)가 탑재되어 있는 차량이 고속도로 주행을 하고 있는 경우의 예이다. 이 경우, 판독 결정부(123c)는, 판독 순서 패턴 DB(303)에 저장되는 각 판독 순서 패턴(420a∼420c, 430a∼430c, 및, 440a∼440c) 가운데, 판독 순서 패턴(420a, 430a 및 440a) 중 어느 하나의 우선도를 다른 판독 순서 패턴의 우선도보다 높게 한다. 고속도로 주행의 경우, 먼 곳의 작은 물체에 의한 오브젝트의 인식이 중요하다고 생각된다. 이에, 프레임(400)의 상단측으로부터 순차적으로 판독을 행함으로써, 먼 곳의 작은 물체에 의한 오브젝트에 대한 속보성을 향상시킬 수 있다.
여기서, 전술한 바와 같이, 판독 단위 패턴이나 판독 순서 패턴의 우선도를, 복수의 다른 정보(화상 정보, 인식 정보, 외부 정보)에 기초하여 설정하는 경우, 다른 판독 단위 패턴끼리 또는 다른 판독 순서 패턴끼리 충돌할 가능성이 있다. 이 충돌을 회피하기 위해서는, 예를 들면, 각각의 정보에 기초하여 설정되는 각 우선도를 미리 다르게 해 두는 것이 생각된다.
[6-1. 제3 실시형태의 제1 변형예]
다음으로, 제3 실시형태의 제1 변형예에 대해 설명한다. 제3 실시형태의 제1 변형예는, 프레임 판독을 행하는 경우의 판독 영역을 적응적으로 설정하는 예이다.
도 64는 제3 실시형태의 제1 변형예에 따른 기능을 설명하기 위한 일례의 기능 블록도이다. 제3 실시형태의 제1 변형예에서는, 인식 처리부(12)에 의한 인식 처리가 주로 설명되므로, 도 64의 섹션(a)에 나타내는 구성은, 전술한 도 21의 구성에 대하여, 시인 처리부(14), 출력 제어부(15) 및 트리거 생성부(16)와, 센서 제어부(11)에 있어서의 판독 제어부(111)가 생략되어 있다. 또한, 도 64의 섹션(a) 및 (b)에 나타내는 판독 결정부(123d)는, 도 61에 나타낸 제3 실시형태에 따른 판독 결정부(123c)와 기능이 다르다.
도 64의 섹션(b)에 있어서, 판독 결정부(123b)는, 전술한 도 53의 섹션(b)에 나타내어지는 판독 결정부(123b)에 대응하는 구성을 가지며, 판독 영역 결정부(1230')와, 노출 시간 결정부(1231')와, AG량 결정부(1232')를 포함한다.
특징량 축적 제어부(121)로부터 판독 결정부(123d)로 전달된 판독 정보 및 특징량은, 이들 판독 영역 결정부(1230'), 노출 시간 결정부(1231') 및 AG량 결정부(1232')에 각각 입력된다. 또한, 판독부(110)로부터 전달된 화소 데이터와, 인식 처리 실행부(124)로부터 전달된 인식 정보와, 외부 정보 취득부(17)로부터 전달된 차량 정보 및 환경 정보가 판독 영역 결정부(1230'), 노출 시간 결정부(1231') 및 AG량 결정부(1232')에 각각 입력된다.
판독 영역 결정부(1230')는, 입력된 판독 정보, 특징량, 화소 데이터, 인식 정보, 차량 정보 및 환경 정보 중 적어도 하나의 정보에 기초하여, 다음으로 판독을 행할 판독 영역을 나타내는 판독 영역 정보(예를 들면, 라인 번호)를 생성하여, 출력한다. 노출 시간 결정부(1231')는, 입력된 판독 정보, 특징량, 화소 데이터, 인식 정보, 차량 정보 및 환경 정보 중 적어도 하나의 정보에 기초하여, 다음 촬상에 있어서의 노출 시간을 나타내는 정보를 생성하여, 출력한다. 또한, AG량 결정부(1232')는, 입력된 판독 정보, 특징량, 화소 데이터, 인식 정보, 차량 정보 및 환경 정보 중 적어도 하나의 정보에 기초하여, 다음 촬상에 있어서의 아날로그 게인을 나타내는 정보를 생성하여, 출력한다.
(판독 영역의 적응적인 설정 방법)
다음으로, 제3 실시형태의 제1 변형예에 따른, 판독 영역의 적응적인 설정 방법에 대해, 보다 구체적으로 설명한다. 한편, 여기서는, 해당 촬상 장치(1)가 차재용으로서 사용되는 것으로서 설명을 행한다.
(판독 영역을 인식 정보에 기초하여 설정하는 예)
먼저, 판독 영역을 인식 정보에 기초하여 적응적으로 설정하는 제1 설정 방법에 대해 설명한다. 제1 설정 방법에서는, 판독 결정부(123d)는, 인식 처리 실행부(124)의 인식 처리에 의해 검출된 영역이나 클래스를 사용하여 프레임 내의 영역을 적응적으로 설정하고, 다음으로 판독을 행할 판독 영역을 한정한다. 이 제1 설정 방법에 대해, 도 65를 사용하여 보다 구체적으로 설명한다.
도 65는 제3 실시형태의 제1 변형예의 제1 설정 방법을 설명하기 위한 모식도이다. 도 65의 섹션(a)에 있어서, 프레임(500a)에 대해, 판독 단위를 라인으로 하여, 라인 순차, 또한, 라인 솎음에 의해 라인 판독을 행하고 있다. 도 65의 섹션(a)의 예에서는, 인식 처리 실행부(124)는, 라인 판독에 의해 판독된 화소 데이터에 기초하는 인식 처리를 프레임(500a) 전체에 대해 실행하고 있다. 그 결과, 인식 처리 실행부(124)는, 프레임(500a) 내의 영역(501)에 특정 오브젝트(이 예에서는 사람)를 검출하고 있다. 인식 처리 실행부(124)는, 이 인식 결과를 나타내는 인식 정보를 판독 결정부(123d)로 전달한다.
판독 결정부(123d)에 있어서, 판독 영역 결정부(1230')는, 인식 처리 실행부(124)로부터 전달된 인식 정보에 기초하여, 다음으로 판독을 행할 판독 영역을 결정한다. 예를 들면, 판독 영역 결정부(1230')는, 인식된 영역(501) 및 해당 영역(501)의 주변부를 포함하는 영역을, 다음으로 판독을 행할 판독 영역으로 결정한다. 판독 영역 결정부(1230')는, 영역(502)에 의한 판독 영역을 나타내는 판독 영역 정보를 판독부(110)로 전달한다.
판독부(110)는, 판독 영역 결정부(1230')로부터 전달된 판독 영역 정보에 따라, 예를 들면 라인 솎음을 행하지 않고 프레임 판독을 행하여, 판독된 화소 데이터를 인식 처리부(12)로 전달한다. 도 65의 섹션(b)는, 해당 판독 영역에 따라 판독된 화상의 예를 나타낸다. 이 예에서는, 프레임(500a)의, 예를 들면 다음 프레임인 프레임(500b)에 있어서, 판독 영역 정보에 나타내어지는 영역(502)의 화소 데이터가 취득되고, 영역(502)의 외부는 무시되고 있다. 인식 처리부(12)에 있어서, 인식 처리 실행부(124)는, 영역(502)에 대해 인식 처리를 행한다. 이에 의해, 영역(501)으로부터 검출된 사람이 보행자라고 인식된다.
이와 같이, 인식 처리 실행부(124)에 의해 검출된 영역에 기초하여, 다음으로 판독을 행할 판독 영역을 한정함으로써, 고정밀도의 인식 처리를 보다 고속으로 실행 가능해진다.
이에 한정되지 않고, 이 제1 결정 방법에 있어서, 프레임(500a)에서 인식된 오브젝트가 정지체 및 동물체 중 어느 것이지에 따라, 해당 오브젝트의 다음 프레임(500b)에서의 위치를 예측하고, 예측된 위치에 기초하여 다음으로 판독을 행할 판독 영역을 한정할 수도 있다. 또한, 이 때, 인식된 오브젝트가 동물체인 경우에는, 그 속도를 또한 예측함으로써, 다음으로 판독을 행할 판독 영역을 보다 고정밀도로 한정하는 것이 가능해진다.
또한, 이 제1 결정 방법에 있어서, 인식된 오브젝트의 종류에 따라, 다음으로 판독을 행할 판독 영역을 한정하는 것도 가능하다. 예를 들면, 판독 결정부(123d)는, 프레임(500a)에서 인식된 오브젝트가 신호기라면, 다음 프레임(500b)에서 판독을 행할 판독 영역을, 해당 신호기의 램프 부분으로 한정할 수 있다. 또한, 판독 결정부(123d)는, 프레임(500a)에서 인식된 오브젝트가 신호기라면, 프레임 판독의 방법을 플리커의 영향을 저감시키는 판독 방법으로 변경하고, 다음 프레임(500b)에서의 판독을 행할 수도 있다. 플리커의 영향을 저감시키는 판독 방법의 예로서는, 전술한 제2 실시형태의 제5 변형예에 따른 패턴 Rd#m_x를 적용할 수 있다.
다음으로, 판독 영역을 인식 정보에 기초하여 적응적으로 설정하는 제2 설정 방법에 대해 설명한다. 제2 설정 방법에서는, 판독 결정부(123d)는, 인식 처리 실행부(124)에 있어서의 인식 처리 도중의 인식 정보를 사용하여, 다음으로 판독을 행할 판독 영역을 한정한다. 이 제2 설정 방법에 대해, 도 66을 사용하여 보다 구체적으로 설명한다.
도 66은 제3 실시형태의 제1 변형예의 제2 설정 방법을 설명하기 위한 모식도이다. 이 예에서는, 인식 대상의 오브젝트가 차량의 번호판(license plate)인 것으로 한다. 도 66의 섹션(a)는, 프레임(500c)에 대한 프레임 판독에 따른 인식 처리 도중의 영역(503)에 있어서, 버스 차량을 나타내는 오브젝트가 인식된 예를 나타내는 도면이다. 이 도 66의 섹션(a)는, 예를 들면, 전술한 도 65의 섹션(b)에 나타낸, 판독 영역을 영역(502)으로 한정하여 판독 및 인식 처리를 행하는 예에 대응시킬 수 있다.
여기서, 판독 영역 결정부(1230')는, 인식 처리 도중의 영역(503)에 있어서, 오브젝트가 버스 차량인 것이 인식된 경우, 영역(503)으로부터 인식된 내용에 기초하여, 해당 버스 차량의 번호판의 위치를 예측할 수 있다. 판독 영역 결정부(1230')는, 예측된 번호판의 위치에 기초하여, 다음으로 판독을 행할 판독 영역을 결정하고, 결정된 판독 영역을 나타내는 판독 영역 정보를 판독부(110)로 전달한다.
판독부(110)는, 판독 영역 결정부(1230')로부터 전달된 판독 영역 정보에 따라, 프레임(500c)의, 예를 들면 다음 프레임(500d)의 판독을 행하여, 판독된 화소 데이터를 인식 처리부(12)로 전달한다. 도 66의 섹션(b)는, 해당 판독 영역에 따라 판독된 화상의 예를 나타낸다. 이 예에서는, 프레임(500d)에 있어서, 판독 영역 정보에 나타내어지는, 예측된 번호판의 위치를 포함하는 영역(504)의 화소 데이터가 취득되고 있다. 인식 처리부(12)에 있어서, 인식 처리 실행부(124)는 영역(504)에 대해 인식 처리를 행한다. 이에 의해, 영역(504)에 포함되는 오브젝트로서의 번호판에 대한 인식 처리가 행해지고, 예를 들면 영역(503)에 대한 인식 처리로 검출된 버스 차량의 차량 번호를 취득할 수 있다.
이 제2 설정 방법에서는, 인식 처리 실행부(124)에 의한 프레임(500c)의 판독에 따른 대상이 되는 오브젝트 전체에 대한 인식 처리 도중에, 다음 프레임(500d)의 판독 영역을 결정하고 있기 때문에, 고정밀도의 인식 처리를 보다 고속으로 실행 가능해진다.
한편, 도 66의 섹션(a)에 나타내는 프레임(500c)에 대한 인식 처리에 있어서, 판독 결정부(123d)는, 인식 처리 실행부(124)로부터 인식 도중에 전달된 인식 정보에 나타내어지는 신뢰도가 소정 레벨 이상인 경우에, 영역(504)을 다음으로 판독을 행할 판독 영역으로 결정하고, 도 66의 섹션(b)에 나타내는 판독을 행하도록 할 수 있다. 이 경우, 해당 인식 정보에 나타내어지는 신뢰도가 소정 레벨 미만인 경우에는, 프레임(500c)에 있어서 오브젝트 전체에 대한 인식 처리를 실행한다.
다음으로, 판독 영역을 인식 정보에 기초하여 적응적으로 설정하는 제3 설정 방법에 대해 설명한다. 제3 설정 방법에서는, 판독 결정부(123d)는, 인식 처리 실행부(124)에 있어서의 인식 처리의 신뢰도를 사용하여, 다음으로 판독을 행할 판독 영역을 한정한다. 이 제3 설정 방법에 대해, 도 67을 사용하여 보다 구체적으로 설명한다.
도 67의 섹션(a)에 있어서, 프레임(500e)에 대해, 판독 단위를 라인으로 하여, 라인 순차, 또한, 라인 솎음에 의해 라인 판독을 행하고 있다. 도 67의 섹션(a)의 예에서는, 인식 처리 실행부(124)는, 라인 판독에 의해 판독된 화소 데이터에 기초하는 인식 처리를 프레임(500a) 전체에 대해 실행하고, 프레임(500e) 내의 영역(505a)에 특정 오브젝트(이 예에서는 사람)를 검출하고 있다. 인식 처리 실행부(124)는, 이 인식 결과를 나타내는 인식 정보를 판독 결정부(123d)로 전달한다.
판독 결정부(123d)에 있어서, 판독 영역 결정부(1230')는, 인식 처리 실행부(124)로부터 전달된 인식 정보에 나타내어지는 신뢰도가 소정 레벨 이상이라면, 예를 들면 프레임(500e)의 다음 프레임에 대한 판독을 행하지 않은 것을 나타내는 판독 영역 정보를 생성한다. 판독 영역 결정부(1230')는, 생성된 판독 영역 정보를 판독부(110)로 전달한다.
한편, 판독 영역 결정부(1230')는, 인식 처리 실행부(124)로부터 전달된 인식 정보에 나타내어지는 신뢰도가 소정 레벨 미만이라면, 프레임(500e)의 다음 프레임에 대한 판독을 행하도록, 판독 영역 정보를 생성한다. 예를 들면, 판독 영역 결정부(1230')는, 프레임(500e)에서 특정 오브젝트(사람)가 검출된 영역(505a)에 대응하는 영역을 판독 영역으로서 지정하는 판독 영역 정보를 생성한다. 판독 영역 결정부(1230')는, 생성된 판독 영역 정보를 판독부(110)로 전달한다.
판독부(110)는, 판독 영역 결정부(1230')로부터 전달된 판독 영역 정보에 따라, 프레임(500e)의 다음 프레임의 판독을 행한다. 여기서, 판독 영역 결정부(1230')는, 프레임(500e)의 다음 프레임의, 영역(505a)에 대응하는 영역을, 솎음을 행하지 않고 판독하는 지시를, 판독 영역 정보에 부가할 수 있다. 판독부(110)는, 이 판독 영역 정보에 따라 프레임(500e)의 다음 프레임의 판독을 행하고, 판독된 화소 데이터를 인식 처리부(12)로 전달한다.
도 67의 섹션(b)는, 해당 판독 영역 정보에 따라 판독된 화상의 예를 나타낸다. 이 예에서는, 프레임(500e)의, 예를 들면 다음 프레임인 프레임(500f)에 있어서, 판독 영역 정보에 나타내어지는, 영역(505a)에 대응하는 영역(505b)의 화소 데이터가 취득되고 있다. 프레임(500f)에 있어서의 영역(505b) 이외의 부분은, 예를 들면 판독을 행하지 않고 프레임(500e)의 화소 데이터를 그대로 사용할 수 있다. 인식 처리부(12)에 있어서, 인식 처리 실행부(124)는, 영역(505b)에 대해 인식 처리를 행한다. 이에 의해, 영역(501)으로부터 검출된 사람이 보행자인 것을, 보다 높은 신뢰도에 의해 인식할 수 있다.
(판독 영역을 외부 정보에 기초하여 적응적으로 설정하는 예)
다음으로, 판독 영역을 외부 정보에 기초하여 적응적으로 설정하는 제1 설정 방법에 대해 설명한다. 제1 설정 방법에서는, 판독 결정부(123d)는, 외부 정보 취득부(17)로부터 전달된 차량 정보에 기초하여 프레임 내의 영역을 적응적으로 설정하고, 다음으로 판독을 행할 판독 영역을 한정한다. 이에 의해, 차량의 주행에 적합한 인식 처리를 실행할 수 있다.
예를 들면, 판독 결정부(123d)에 있어서 판독 영역 결정부(1230')는, 차량 정보에 기초하여 차량의 기울기를 취득하고, 취득된 기울기에 따라 판독 영역을 결정한다. 일례로서, 판독 영역 결정부(1230')는, 차량 정보에 기초하여, 차량이 단차 등으로 올라가, 프론트측이 들어 올려진 상태인 것을 취득한 경우, 판독 영역을 프레임의 상단측을 향해 보정한다. 또한, 판독 영역 결정부(1230')는, 차량 정보에 기초하여 차량이 선회하고 있는 상태를 취득한 경우, 선회 방향에 있어서의 미관측 영역(예를 들면, 좌선회라면 좌단측의 영역)을 판독 영역으로 결정한다.
다음으로, 판독 영역을 외부 정보에 기초하여 적응적으로 설정하는, 제2 설정 방법에 대해 설명한다. 제2 설정 방법에서는, 외부 정보로서 현재 위치를 순차적으로 반영 가능한 지도 정보를 사용한다. 이 경우, 판독 영역 결정부(1230')는, 현재 위치가 차량에 의한 주행에 주의가 필요한 에어리어(예를 들면, 학교나 보육원의 주변)인 경우에, 예를 들면 프레임의 판독 빈도를 올리는 것을 지시하는 판독 영역 정보를 생성한다. 이에 의해, 어린이가 갑자기 뛰어나옴 등에 의한 사고를 방지하는 것이 가능하다.
다음으로, 판독 영역을 외부 정보에 기초하여 적응적으로 설정하는 제3 설정 방법에 대해 설명한다. 제3 설정 방법에서는, 외부 정보로서 다른 센서에 의한 검출 정보를 사용한다. 다른 센서의 예로서는, LiDAR(Laser Imaging Detection and Ranging) 방식의 센서가 생각된다. 판독 영역 결정부(1230')는, 이 이외의 센서에 의한 검출 정보의 신뢰도가 소정 레벨 이상인 영역의 판독을 스킵하는 판독 영역 정보를 생성한다. 이에 의해, 프레임 판독 및 인식 처리의 저전력화 및 고속화가 가능해진다.
[6-2. 제3 실시형태의 제2 변형예]
다음으로, 제3 실시형태의 제2 변형예에 대해 설명한다. 제3 실시형태의 제2 변형예는, 프레임 판독을 행하는 경우의 노출 시간 및 아날로그 게인 중 적어도 일방을 적응적으로 설정하는 예이다.
(노출 시간 및 아날로그 게인을 화상 정보에 기초하여 적응적으로 설정하는 예)
먼저, 노출 시간 및 아날로그 게인을, 화상 정보(화소 데이터)에 기초하여 적응적으로 설정하는 방법에 대해 설명한다. 판독 결정부(123d)는, 판독부(110)로부터 전달된 화소 데이터에 포함되는 노이즈를 검출한다. 판독부(110)로부터 전달된 화소 데이터에 소정 레벨 이상의 노이즈가 포함되는 경우에, 노출 시간 결정부(1231')는 노출 시간을 보다 길게 설정하고, AG량 결정부(1232')는 아날로그 게인을 보다 높게 설정한다.
(노출 시간 및 아날로그 게인을 인식 정보에 기초하여 적응적으로 설정하는 예)
다음으로, 노출 시간 및 아날로그 게인을, 인식 정보에 기초하여 적응적으로 설정하는 방법에 대해 설명한다. 인식 처리 실행부(124)로부터 전달된 인식 정보에 나타내어지는 신뢰도가 소정 레벨 미만인 경우, 판독 결정부(123d)에 있어서 노출 시간 결정부(1231') 및 AG량 결정부(1232')는, 각각, 노출 시간 및 아날로그 게인을 조정한다. 판독부(110)는, 이 조정된 노출 시간 및 아날로그 게인에 의해, 예를 들면 다음 프레임의 판독을 행한다.
(노출 시간 및 아날로그 게인을 외부 정보에 기초하여 적응적으로 설정하는 예)
다음으로, 노출 시간 및 아날로그 게인을, 외부 정보에 기초하여 적응적으로 설정하는 방법에 대해 설명한다. 여기서는, 외부 정보로서 차량 정보를 사용한다.
제1 예로서, 판독 결정부(123d)에 있어서 노출 시간 결정부(1231') 및 AG량 결정부(1232')는, 외부 정보 취득부(17)로부터 전달된 차량 정보가 헤드라이트의 점등을 나타내고 있는 경우에, 프레임의 중앙부와 주변부에서 노출 시간 및 아날로그 게인을 다르게 한다. 즉, 차량에서 헤드라이트가 점등되고 있는 경우, 프레임의 중앙부는 휘도값이 높고, 주변부는 휘도값이 낮아진다. 이에, 헤드라이트가 점등되고 있는 경우에는, 프레임 중앙부에 대해, 노출 시간 결정부(1231')는 노출 시간을 보다 짧게 하고, AG량 결정부(1232')는 아날로그 게인을 보다 높게 한다. 한편, 헤드라이트가 점등되고 있는 경우에는, 프레임 주변부에 대해, 노출 시간 결정부(1231')는 노출 시간을 보다 길게 하고, AG량 결정부(1232')는 아날로그 게인을 보다 낮게 한다.
제2 예로서, 판독 결정부(123d)에 있어서 노출 시간 결정부(1231') 및 AG량 결정부(1232')는, 외부 정보 취득부(17)로부터 전달된 차량 정보에 나타내어지는 차량의 속도에 기초하여 노출 시간 및 아날로그 게인을 적응적으로 설정한다. 예를 들면, 프레임 중앙부에서는, 차량 이동에 의한 보케가 적다. 그 때문에, 프레임 중앙부에 있어서, 노출 시간 결정부(1231')는 노출 시간을 보다 길게 설정하고, AG량 결정부(1232')는 아날로그 게인을 보다 낮게 설정한다. 한편, 프레임 주변부에서는, 차량 이동에 의한 보케가 커진다. 그 때문에, 프레임 주변부에 있어서, 노출 시간 결정부(1231')는 노출 시간을 보다 짧게 설정하고, AG량 결정부(1232')는 아날로그 게인을 보다 높게 설정한다.
여기서, 차량 정보에 기초하여 차량의 속도가 보다 고속으로 변화된 경우, 프레임 중앙부에 있어서, 노출 시간 결정부(1231')는 노출 시간을 보다 짧은 시간으로 변경하고, AG량 결정부(1232')는 아날로그 게인을 보다 높은 게인으로 변경한다.
이와 같이, 노출 시간 및 아날로그 게인을 적응적으로 설정함으로써, 인식 처리에 있어서의 촬상 환경의 변화의 영향을 억제할 수 있다.
[6-3. 제3 실시형태의 제3 변형예]
다음으로, 제3 실시형태의 제3 변형예에 대해 설명한다. 제3 실시형태의 제3 변형예는 판독 영역, 노출 시간, 아날로그 게인 및 구동 속도를, 소정 방식으로 지시된 우선 모드에 따라 설정하는 예이다. 한편, 구동 속도는 센서부(10)를 구동하는 속도이고, 구동 속도를 센서부(10)에 허용되는 범위 내에서 고속으로 함으로써, 예를 들면 프레임 판독의 속도를 고속화할 수 있다.
도 68은 제3 실시형태의 제3 변형예에 따른 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다. 도 68의 섹션(a)에 나타내는 구성은, 도 64의 섹션(a)에 나타내는 구성에 대해, 우선 모드 지시부(2020)가 추가되어 있다. 또한, 판독 결정부(123e)는, 도 64에 나타낸 판독 결정부(123d)와는 다른 기능을 포함한다.
도 68의 섹션(b)는 제3 실시형태의 제3 변형예에 따른 판독 결정부(123e)의 기능을 보다 상세하게 설명하기 위한 일례의 기능 블록도이다. 도 68의 섹션(b)에 있어서, 판독 결정부(123e)는 리소스 조정부(2000)를 가지며, 리소스 조정부(2000)는 판독 영역 결정부(2010)와, 노출 시간 결정부(2011)와, AG량 결정부(2012)와, 구동 속도 결정부(2013)를 포함한다.
특징량 축적 제어부(121)로부터 판독 결정부(123e)로 전달된 판독 정보 및 특징량은, 판독 영역 결정부(2010), 노출 시간 결정부(2011), AG량 결정부(2012) 및 구동 속도 결정부(2013)에 각각 입력된다. 또한, 외부 정보 취득부(17)로부터 전달된 차량 정보 및 환경 정보와, 판독부(110)로부터 전달된 화소 데이터가 판독 영역 결정부(2010), 노출 시간 결정부(2011), AG량 결정부(2012) 및 구동 속도 결정부(2013)에 각각 입력된다.
판독 영역 결정부(2010)는, 입력된 각 정보에 기초하여, 다음으로 판독을 행할 판독 영역을 나타내는 판독 영역 정보(예를 들면, 라인 번호)를 생성하여, 출력한다. 노출 시간 결정부(2011)는, 입력된 각 정보에 기초하여, 다음 촬상에 있어서의 노출 시간을 나타내는 정보를 생성하여, 출력한다. AG량 결정부(2012)는, 입력된 각 정보에 기초하여 다음 촬상에 있어서의 아날로그 게인을 나타내는 정보를 생성하여, 출력한다.
또한, 구동 속도 결정부(2013)는, 입력된 각 정보에 기초하여, 센서부(10)의 구동 속도를 조정하기 위한 구동 속도 정보를 생성하여, 출력한다. 구동 속도 결정부(2013)에 의한 구동 속도의 조정 방법의 하나로서, 예를 들면 센서부(10)의 클록 신호 주파수를 변경하는 방법이 있다. 이 방법에서는, 구동 속도에 따라 센서부(10)에 있어서의 소비 전력이 변하게 된다. 또한, 구동 속도의 다른 조정 방법으로서, 센서부(10)에 있어서의 소비 전력을 고정적으로 하여 구동 속도를 조정하는 방법이 있다. 예를 들면, 구동 속도 결정부(2013)는, 센서부(10)로부터 판독하는 화소 데이터의 비트수를 변경함으로써, 구동 속도를 조정할 수 있다. 구동 속도 결정부(2013)는, 생성된 구동 속도 정보를 판독부(110)로 전달한다. 판독부(110)는, 구동 속도 정보를 촬상 제어 정보에 포함시켜 센서부(10)로 전달한다.
우선 모드 지시부(2020)는, 사용자 조작에 따른 지시나 상위 시스템으로부터의 지시에 따라, 우선 모드를 설정하기 위한 우선 모드 설정 정보를 출력한다. 우선 모드 설정 정보는 리소스 조정부(2000)에 입력된다. 리소스 조정부(2000)는, 입력된 우선 모드 설정 정보에 따라, 판독 영역 결정부(2010)에 의한 판독 영역 정보의 생성과, 노출 시간 결정부(2011)에 의한 노출 시간의 생성과, AG량 결정부(2012)에 의한 아날로그 게인의 생성과, 구동 속도 결정부(2013)에 의한 구동 속도 정보의 생성을 조정한다.
우선 모드 지시부(2020)에서는, 다양한 우선 모드를 지시할 수 있다. 우선 모드의 예로서는, 인식 정밀도를 우선으로 여기는 정밀도 우선 모드, 소비 전력을 우선으로 여기는 저전력 모드, 인식 결과의 속보성을 우선하는 속보성 우선 모드, 넓은 영역에 대한 인식 처리를 우선하는 넓은 영역 우선 모드, 어두운 환경에서의 촬상에 대한 인식 처리를 우선하는 어두운 장소 모드, 작은 물체에 대한 인식 처리를 우선하는 작은 물체 우선 모드, 고속으로 이동하는 물체에 대한 인식 처리를 우선하는 고속 물체 우선 모드 등 다양하게 생각된다. 우선 모드 지시부(2020)는, 이들 각 우선 모드로부터 하나의 우선 모드를 지시해도 되고, 각 우선 모드로부터 복수의 우선 모드를 지시해도 된다.
(우선 모드의 동작 예)
우선 모드의 동작 예에 대해 설명한다. 제1 예로서, 리소스 조정부(2000)가, 우선 모드 지시부(2020)에서 지시된 우선 모드에 해당하는 설정을 채용하는 예에 대해 설명한다. 예를 들면, 제1 설정이, 촬상 환경이 어두운 환경이며, 촬상된 화소 데이터에 소정 레벨 이상의 노이즈가 포함되어 있는 경우를 상정한 설정으로서, 노출 시간이 10 [msec], 아날로그 게인이 1배인 것으로 한다. 또한, 제2 설정이, 제3 실시형태의 제3 변형예에 따른 촬상 장치(1)가 탑재되는 차량이 소정 속도 이상의 고속으로 주행하는 등, 촬상 장치(1)가 고속으로 이동하고, 촬상 화상에 보케가 많은 경우를 상정한 설정으로서, 노출 시간이 1 [msec], 아날로그 게인이 10배인 것으로 한다.
이 경우에 있어서, 우선 모드 지시부(2020)에 의해 리소스 조정부(2000)에 대해 어두운 장소 우선 모드가 지시되고 있는 경우에는, 리소스 조정부(2000)는 제1 설정을 채용한다. 리소스 조정부(2000)는, 채용된 제1 설정에 따라, 노출 시간 결정부(2011) 및 AG량 결정부(2012)에 대해 노출 시간 = 10 [msec] 및 아날로그 게인 = 1배를 설정하도록 지시한다. 노출 시간 결정부(2011) 및 AG량 결정부(2012)는, 각각, 지시된 노출 시간 및 아날로그 게인을 판독부(110)로 전달한다. 판독부(110)는 노출 시간 결정부(2011) 및 AG량 결정부(2012)로부터 전달된 노출 시간 및 아날로그 게인을 센서부(10)에 설정한다.
제2 예로서, 리소스 조정부(2000)가, 우선 모드 지시부(2020)에서 지시된 우선 모드에 대해 채용하는 설정을, 가중치를 부여하여 결정하는 예에 대해 설명한다. 일례로서, 전술한 제1 설정 및 제2 설정을 예로 들면, 리소스 조정부(2000)는, 우선 모드 지시부(2020)에서 지시된 우선 모드에 따라, 제1 설정 및 제2 설정 각각에 가중치 부여를 행한다. 리소스 조정부(2000)는, 가중치가 부여된 제1 설정 및 제2 설정에 따라, 지시된 우선 모드에 의한 설정을 결정한다. 한편, 예를 들면, 설정을 행하는 대상(노출 시간, 아날로그 게인 등)과, 해당 대상에 따른 가중치의 값은, 우선 모드 지시부(2020)에 의해 지시 가능한 각 우선 모드에 대해, 미리 설정하여 기억해 둘 수 있다.
제3 예로서, 리소스 조정부(2000)가, 우선 모드 지시부(2020)에서 지시된 우선 모드에 대해 채용하는 설정의 빈도에 가중치를 부여하고, 해당 우선 모드에 대한 설정을 결정하는 예에 대해 설명한다. 일례로서, 프레임 전체를 실질적으로 균일하게 판독하는 균일 판독을 행하는 제3 설정과, 프레임의 주변 부분을 중점적으로 판독하는 주변 판독을 행하는 제4 설정을 생각한다. 여기서, 제3 설정을, 통상 시의 판독 설정으로 한다. 또한, 제4 설정을, 신뢰도가 소정 레벨 미만인 오브젝트가 인식된 경우의 판독 설정으로 한다.
이 경우에 있어서, 예를 들면, 우선 모드 지시부(2020)에 의해 리소스 조정부(2000)에 대해 넓은 영역 우선 모드가 지시되고 있는 경우에는, 리소스 조정부(2000)는 제3 설정에 의한 판독 및 인식 처리의 빈도를 제4 설정에 의한 판독 및 인식 처리의 빈도에 비해 높게 할 수 있다. 구체적인 예로서, 리소스 조정부(2000)는, 예를 들면 프레임 단위의 시계열에서, 「제3 설정」, 「제3 설정」, 「제4 설정」, 「제3 설정」, 「제3 설정」, 「제4 설정」, …과 같이 지정하여, 제3 설정에 의한 동작의 빈도를 제4 설정에 의한 동작의 빈도에 비해 높게 한다.
다른 예로서, 예를 들면, 우선 모드 지시부(2020)에 의해 리소스 조정부(2000)에 대해 정밀도 우선 모드가 지시되고 있는 경우에는, 리소스 조정부(2000)는, 제4 설정에 의한 판독 및 인식 처리의 빈도를 제3 설정에 의한 판독 및 인식 처리의 빈도에 비해 높게 할 수 있다. 구체적인 예로서, 리소스 조정부(2000)는, 예를 들면 프레임 단위의 시계열에서, 「제4 설정」, 「제4 설정」, 「제3 설정」, 「제4 설정」, 「제4 설정」, 「제3 설정」, …과 같이 실행하여, 제4 설정에 의한 동작의 빈도를 제3 동작의 빈도에 비해 높게 한다.
이와 같이 하여 우선 모드에 의한 동작을 결정함으로써, 다양한 상황에 있어서 적절한 프레임 판독 및 인식 처리를 실행하는 것이 가능해진다.
(구동 속도의 조정 예)
구동 속도 결정부(2013)는, 판독 결정부(123d)로 전달되는 각 정보에 기초하여, 센서부(10)를 구동하는 구동 속도를 조정할 수 있다. 예를 들면, 구동 속도 결정부(2013)는, 예를 들면 차량 정보가 긴급시를 나타내고 있는 경우에는, 인식 처리의 정밀도나 즉응성을 향상시키기 위해, 구동 속도를 올리도록 할 수 있다. 구동 속도 결정부(2013)는, 인식 정보에 기초하여 인식 처리의 신뢰도가 소정 레벨 이하이며, 프레임을 다시 판독할 필요가 있는 경우에는, 구동 속도를 올리도록 할 수 있다. 또한, 구동 속도 결정부(2013)는, 차량 정보에 기초하여 차량이 선회하고 있는 것으로 되고, 또한, 인식 정보에 기초하여 프레임에 미관측 영역이 출현한 것으로 된 경우에는, 해당 미관측 영역의 판독이 종료될 때까지, 구동 속도를 올리도록 할 수 있다. 나아가, 구동 속도 결정부(2013)는, 예를 들면 현재 위치를 순차적으로 반영 가능한 지도 정보에 기초하여, 현재 위치가 차량에 의한 주행에 주의가 필요한 에어리어인 경우에, 구동 속도를 올리도록 할 수 있다.
한편, 우선 모드 지시부(2020)에 의해 저전력 모드가 지시되고 있는 경우에는, 전술한 차량 정보가 긴급시를 나타내고 있는 경우 이외에는, 구동 속도를 올리지 않도록 할 수 있다. 또한, 마찬가지로 저전력 모드가 지시되고 있는 경우에는, 판독 영역 결정부(2010)에 의해 프레임 내에서 물체가 인식되는 것이 예측되는 영역을 판독 영역으로 결정하고, 구동 속도 결정부(2013)는 구동 속도를 낮추도록 할 수 있다.
[7. 제4 실시형태]
다음으로, 본 개시의 제4 실시형태에 대해 설명한다. 전술한 제1∼제3 실시형태, 및 이들의 각 변형예에서는, 본 개시에 따른 인식 처리의 다양한 형태에 대해 설명하였다. 여기서, 예를 들면 기계 학습을 사용한 화상 인식 처리용으로 처리된 화상은, 사람에 의한 시인에 적합하지 않은 경우가 많다. 이 제4 실시형태에서는, 프레임 판독을 행한 화상에 대한 인식 처리를 행하면서, 사람의 시인에 견딜 수 있는 화상을 출력 가능하게 한다.
도 69는 제4 실시형태에 따른 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다. 이 도 69에 나타내는 촬상 장치에서는, 전술한 도 21에 나타낸 촬상 장치에 대하여, 시인 처리부(14)에 있어서의 판독 결정부(142a)에 대해, 인식 처리 실행부(124)로부터 인식 정보가 공급되는 점이 다르다.
도 70은 제4 실시형태에 따른 화상 처리를 개략적으로 설명하기 위한 모식도이다. 여기서는, 프레임 판독을, 도 33을 사용하여 설명한, 소정 사이즈의 에어리어 Ar#z를 판독 단위로 하여, 프레임의 수평 방향 및 수직 방향으로 순차적으로 판독함으로써 행하는 것으로 한다. 도 70의 섹션(a)는, 판독부(110)에 의해 각 에어리어 Ar#10, Ar#11, …, Ar#15 각각의 화소 데이터가 순차적으로 판독되는 모습을 모식적으로 나타내고 있다. 본 개시에 따른 인식 처리부(12)는, 이 순서로 판독된 각 에어리어 Ar#10, Ar#11, …, Ar#15 각각의 화소 데이터에 기초하여 인식 처리를 실행할 수 있다.
시인 처리부(14)에서는, 예를 들면, 이 순차적으로 판독된 각 에어리어 Ar#10, Ar#11, …, Ar#15 각각의 화소 데이터에 의해, 도 70의 섹션(b)에 나타내는 바와 같이, 예를 들면 프레임의 화상을 순차적으로 갱신해 간다. 이에 의해, 시인에 적합한 화상을 생성할 수 있다.
보다 구체적으로는, 시인 처리부(14)는, 판독부(110)에 의해 순서대로 판독된 각 에어리어 Ar#10, Ar#11, …, Ar#15 각각의 화소 데이터를, 화상 데이터 축적 제어부(140)에 있어서의 화상 데이터 축적부(141)에 축적한다. 화상 데이터 축적 제어부(140)는, 이 때, 동일한 프레임으로부터 판독된 각 에어리어 Ar#10, Ar#11, …, Ar#15 각각의 화소 데이터에 대해, 프레임 내에서의 위치 관계를 유지한 상태로, 화상 데이터 축적부(141)에 축적한다. 즉, 화상 데이터 축적 제어부(140)는, 각 화소 데이터를, 해당 각 화소 데이터가 프레임 내에서의 각 위치에 매핑된 화상 데이터로서, 화상 데이터 축적부(141)에 축적한다.
화상 데이터 축적 제어부(140)는, 예를 들면 화상 처리부(143)로부터의 요구에 따라, 화상 데이터 축적부(141)에 축적된, 동일 프레임의 각 에어리어 Ar#10, Ar#11, …, Ar#15 각각의 화소 데이터를, 해당 프레임의 화상 데이터로서 화상 데이터 축적부(141)로부터 판독한다.
여기서, 본 개시에서는, 인식 처리부(12)에 있어서, 프레임 판독 도중에, 예를 들면 원하는 인식 결과가 얻어진 경우에, 그 시점에서 프레임의 판독을 종료시킬 수 있다(제2 실시형태, 도 26 및 도 27 등 참조). 또한, 인식 처리부(12)에 있어서, 프레임 판독 도중에 소정의 인식 결과가 얻어진 경우에, 그 인식 결과에 기초하여 프레임 판독을 행하는 위치를, 원하는 인식 결과가 얻어질 것으로 예측되는 위치로 점프시킬 수도 있다(제2 실시형태의 제10 변형예, 도 55, 도 56 등 참조). 이 경우, 인식 처리의 종료와 함께 프레임 판독이 종료되고, 프레임 화상에 있어서 화상의 결핍 부분이 생길 가능성이 있다.
그 때문에, 제4 실시형태에서는, 시인 처리부(14)는, 인식 처리부(12)에 의한 인식 처리가 종료된 시점에서 프레임에 있어서 판독되어 있지 않은 미처리 영역이 존재하는 경우에, 인식 처리의 종료 후에 이 미처리 영역의 판독을 행하여, 프레임 화상의 결핍 부분을 보충한다.
도 71은 제4 실시형태에 따른 판독 처리의 예를 나타내는 도면이다. 전술한 도 55의 예를 참조하면서, 제4 실시형태에 따른 판독처리에 대해 설명한다. 도 71의 단계(S20)는, 도 55의 단계(S4c)의 처리에 대응한다. 즉, 도 55를 참조하여, 단계(S1)에서, 촬상 장치(1)에 의해, 인식 대상이 되는 대상 화상(손으로 쓴 숫자 「8」)의 촬상을 개시한다. 단계(S2)에서, 센서 제어부(11)는, 인식 처리부(12)로부터 전달되는 판독 영역 정보에 따라, 프레임을 라인 단위로, 프레임의 상단측으로부터 하단측을 향해 순차적으로 판독한다. 어떤 위치까지 라인이 판독되면, 인식 처리부(12)에 의해, 판독된 라인에 의한 화상으로부터 「8」 또는 「9」의 숫자가 식별된다 (단계(S3)).
한편, 단계(S2)에 있어서 판독부(110)에 의해 판독된 화소 데이터는, 인식 처리부(12)로 전달되고, 시인 처리부(14)에도 전달된다. 시인 처리부(14)에 있어서, 화상 데이터 축적 제어부(140)는, 판독부(110)로부터 전달된 화소 데이터를 순차적으로 화상 데이터 축적부(141)에 축적한다.
인식 처리부(12)에 있어서, 판독 결정부(123f)는, 단계(S3)까지의 인식 처리의 결과에 기초하여, 단계(S3)에서 식별된 오브젝트가 숫자 「8」 또는 「9」 중 어느 것인지를 식별 가능할 것으로 예측되는 예측 라인을 지정하는 판독 영역 정보를 생성하여, 판독부(110)로 전달한다. 판독부(110)는, 이 판독 영역 정보에 따라 판독된 예측 라인을 인식 처리부(12)에 전달하고, 시인 처리부(14)로 전달한다. 시인 처리부(14)에 있어서 화상 데이터 축적 제어부(140)는, 판독부(110)로부터 전달된 예측 라인의 화소 데이터를 화상 데이터 축적부(141)에 축적한다.
인식 처리부(12)는, 판독부(110)에 의해 전달된 예측 라인의 화소 데이터에 기초하여 인식 처리를 실행한다(단계(S20)). 인식 처리부(12)는, 단계(S20)에서 오브젝트가 확정되면, 인식 결과를 출력한다(단계(S21)).
인식 처리부(12)에 있어서, 인식 처리 실행부(124)는, 단계(S21)에서 인식 결과가 출력되면, 인식 처리의 종료를 나타내는 인식 정보를 시인 처리부(14)로 전달한다. 시인 처리부(14)는, 인식 처리 실행부(124)로부터 전달된 이 인식 정보에 따라, 단계(S20)의 시점에서의 미처리 영역의 판독을 행한다(단계(S22)).
보다 구체적으로는, 시인 처리부(14)로 전달된, 인식 처리의 종료를 나타내는 인식 정보를 판독 결정부(142a)로 전달한다. 판독 결정부(142a)는, 전달된 인식 정보에 따라, 미처리 영역에 대한 판독을 행하기 위한 판독 영역을 설정한다. 판독 결정부(142a)는, 설정된 판독 영역을 나타내는 판독 영역 정보를 판독부(110)로 전달한다. 판독부(110)는, 전달된 판독 영역 정보에 따라 프레임에 있어서의 미처리 영역의 판독을 행하여, 판독된 화소 데이터를 시인 처리부(14)로 전달한다. 시인 처리부(14)에 있어서 화상 데이터 축적 제어부(140)는, 판독부(110)로부터 전달된 미처리 영역의 화소 데이터를 화상 데이터 축적부(141)에 축적한다.
판독부(110)에 의한 프레임의 미처리 영역의 판독이 종료됨으로써, 프레임 전체의 판독이 완료된다. 화상 데이터 축적부(141)에는, 인식 처리를 위해 판독된 화소 데이터와, 인식 처리의 종료 후에 미처리 영역으로부터 판독된 화소 데이터가 축적되어 있다. 따라서, 예를 들면, 화상 데이터 축적 제어부(140)는, 화상 데이터 축적부(141)로부터 동일 프레임의 화소 데이터를 판독함으로써, 프레임 화상 전체에 의한 화상 데이터를 출력할 수 있다(단계(S23)).
한편, 도 71에서 설명한 단계(S1)∼단계(S23)의 일련의 처리는, 1프레임 주기 내에서 실행되면, 시인 처리부(14)에 의해 촬상의 타이밍에 대해 실질적으로 실시간의 동영상을 출력 가능하게 되어, 바람직하다.
한편, 단계(S20)까지의 인식 처리를 위한 판독과, 단계(S22)에 의한 시인 처리를 위한 판독이 프레임의 라인 순차의 판독과 다른 순서로 행해진다. 그 때문에, 예를 들면 센서부(10)의 촬상 방식이 롤링 셔터 방식인 경우, 판독 순서가 분단된 각 라인 군에 있어서, 판독 순서와 시간의 부정합에 의한 어긋남(시각 어긋남이라고 부름)이 발생한다. 이 시각 어긋남은, 예를 들면 각 라인 군의 라인 번호와 프레임 주기에 기초하여 화상 처리에 의해 보정할 수 있다.
또한, 촬상 장치(1)가 피사체에 대해 이동하고 있는 경우, 이 시각 어긋남은 보다 현저하게 된다. 이 경우에는, 예를 들면 촬상 장치(1)에 3방향의 각속도를 검지 가능한 자이로가 탑재되어 있으면, 이 자이로의 검지 출력에 기초하여 촬상 장치(1)의 이동 방법 및 속도를 구하고, 이 이동 방향 및 속도를 또한 사용하여, 시각 어긋남을 보정할 수 있다.
도 72는 제4 실시형태에 따른 처리를 나타내는 일례의 플로우차트이다. 이 도 72의 플로우차트에 있어서, 단계(S200)∼단계(S206)의 처리는, 전술한 도 54의 플로우차트에 있어서의 단계(S100)∼단계(S1080)의 처리와 동등한 처리가 된다.
즉, 단계(S200)에서, 판독부(110)는, 대상 프레임의 판독 라인에 의해 나타내어지는 라인으로부터 라인 데이터의 판독을 행한다. 판독부(110)는, 판독된 라인의 각 화소 데이터에 의한 라인 데이터를 인식 처리부(12) 및 시인 처리부(14)로 전달한다.
단계(S200)의 처리가 종료되면, 처리가 단계(S201) 및 단계(S211)로 이행된다. 단계(S201)∼단계(S208)의 처리는 인식 처리부(12)에 있어서의 처리이다. 한편, 단계(S211)∼단계(S214)의 처리는 시인 처리부(14)에 있어서의 처리이다. 이들 인식 처리부(12)에 있어서의 처리와, 시인 처리부(14)에 있어서의 처리는, 병렬로 실행하는 것이 가능하다.
먼저, 단계(S201)로부터의 인식 처리부(12)에 의한 처리에 대해 설명한다. 단계(S201)에서, 인식 처리부(12)는, 대상 프레임에 대한 인식 처리가 종료되어 있는지 여부를 판정한다. 인식 처리부(12)는, 종료되어 있다고 판정한 경우(단계(S201), 「Yes」), 단계(S202) 이하의 처리를 실행하지 않는다. 한편, 인식 처리부(12)는, 종료되어 있지 않다고 판정한 경우(단계(S201), 「No」), 처리를 단계(S202)로 이행시킨다.
단계(S202)∼단계(S208)의 처리는, 도 54의 단계(S101)∼단계(S1080)의 처리와 동등하다. 즉, 단계(S202)에서, 인식 처리부(12)에 있어서 특징량 계산부(120)는, 판독부(110)로부터 전달된 라인 데이터에 기초하여 라인의 특징량을 산출한다. 다음 단계(S203)에서, 특징량 계산부(120)는, 특징량 축적 제어부(121)로부터, 특징량 축적부(122)에 축적되어 있는 특징량을 취득한다. 다음 단계(S204)에서, 특징량 계산부(120)는, 단계(S202)에서 산출된 특징량과, 단계(S203)에서 특징량 축적 제어부(121)로부터 취득된 특징량을 통합하여 특징량 축적 제어부(121)로 전달한다.
다음 단계(S205)에서, 특징량 축적 제어부(121)는, 통합된 특징량을 특징량 축적부(122)에 축적한다. 다음 단계(S206)에서, 인식 처리 실행부(124)는, 통합된 특징량을 사용하여 인식 처리를 실행한다. 다음 단계(S207)에서, 인식 처리 실행부(124)는, 단계(S206)의 인식 처리에 의한 인식 결과를 출력한다. 여기서, 인식 처리 실행부(124)는, 해당 인식 결과를 포함하는 인식 정보를 시인 처리부(14)의 판독 결정부(142a)로 전달한다.
다음 단계(S208)에서, 판독 결정부(123f)에 있어서 판독 영역 결정부(1230)는, 특징량 축적 제어부(121)로부터 전달된, 판독 정보와, 단계(S202)에서 산출된 특징량과 단계(S203)에서 특징량 축적 제어부(121)로부터 취득된 특징량을 통합한 특징량을 사용하여 다음으로 판독을 행하는 판독 라인을 결정한다. 판독 결정부(123f)는, 결정된 판독 라인을 나타내는 정보(판독 영역 정보)를, 센서 제어부(11)에 있어서의 판독 제어부(111)로 전달한다. 단계(S208)의 처리가 종료되면, 처리가 단계(S220)로 이행된다.
다음으로, 단계(S211)로부터의 시인 처리부(14)에 의한 처리에 대해 설명한다. 단계(S211)에서, 시인 처리부(14)에 있어서 화상 데이터 축적 제어부(140)는, 판독부(110)로부터 전달된 라인 데이터를 화상 데이터 축적부(141)에 축적한다. 다음 단계(S212)에서, 시인 처리부(14)에 있어서 화상 처리부(143)는, 예를 들면 화상 데이터 축적부(141)에 축적된 라인 데이터에 의한 화상 데이터에 대해 시인용 화상 처리를 실시한다. 다음 단계(S213)에서, 화상 처리부(143)는 시인용 화상 처리를 실시한 화상 데이터를 출력한다.
이에 한정되지 않고, 화상 처리부(143)는, 단계(S213)에서, 시인용 화상 처리를 실시한 화상 데이터를, 다시 화상 데이터 축적부(141)에 축적해도 된다. 또한, 화상 처리부(143)는, 단계(S212)에 있어서의 화상 처리를, 화상 데이터 축적부(141)에 대상 프레임 전체의 화상 데이터가 축적된 경우에, 해당 화상 데이터에 대한 화상 처리를 실시해도 된다.
다음 단계(S214)에서, 시인 처리부(14)에 있어서 판독 결정부(142a)는, 단계(S200)에서 판독된 라인 데이터를 나타내는 라인 정보와, 단계(S207)에서 인식 처리 실행부(124)로부터 전달된 인식 정보에 기초하여, 다음으로 판독을 행하는 판독 라인을 결정한다. 판독 결정부(142a)는, 결정된 판독 라인을 나타내는 정보(판독 영역 정보)를 판독 제어부(111)로 전달한다. 단계(S214)의 처리가 종료되면, 처리가 단계(S220)로 이행된다.
단계(S220)에서, 판독 제어부(111)는, 단계(S208)에서 인식 처리부(12)로부터 전달된 판독 라인과, 단계(S214)에서 시인 처리부(14)로부터 전달된 판독 라인 중 어느 하나의 판독 라인을 나타내는 판독 영역 정보를 판독부(110)로 전달한다. 여기서, 인식 처리부(12)에 있어서 인식 처리가 행해지고 있는 경우(단계(S201), 「No」)에는, 단계(S208)에서 인식 처리부(12)로부터 전달된 판독 라인과, 단계(S214)에서 시인 처리부(14)로부터 전달된 판독 라인이 일치한다. 그 때문에, 판독 제어부(111)는, 인식 처리부(12)로부터 전달된 판독 라인과, 시인 처리부(14)로부터 전달된 판독 라인 중 어느 하나를 나타내는 판독 영역 정보를 판독부(110)로 전달해도 된다. 한편, 인식 처리부(12)에 있어서 인식 처리가 행해지고 있지 않은 경우에는(단계(S201), 「Yes」), 판독 제어부(111)는, 시인 처리부(14)로부터 전달된 판독 영역 정보를 판독부(110)로 전달한다.
이와 같이, 제4 실시형태에서는, 인식 처리의 종료 후에 프레임의 미처리 영역을 판독하도록 하고 있어 있기 때문에, 인식 처리가 도중에 종료된 경우나, 인식 처리에 있어서 판독 위치의 점프가 발생한 경우라 하더라도, 프레임 전체의 화상을 취득할 수 있다.
한편, 상기 설명에서는, 시인 처리부(14)는, 프레임 판독으로 판독된 화소 데이터에 의해, 프레임의 화상을 순차적으로 갱신하도록 설명하였지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 시인 처리부(14)는, 프레임 판독으로 판독된 화소 데이터를, 예를 들면 화상 데이터 축적부(141)에 축적하고, 축적된 동일 프레임의 화소 데이터의 양이 임계값을 초과한 경우에, 화상 데이터 축적부(141)로부터 해당 동일 프레임의 화소 데이터를 모아서 판독해도 된다. 또한, 예를 들면 프레임 판독을 라인 솎음에 의해 행하는 경우, 솎아내진 부분을 주위의 화소 데이터에 의해 보간해도 된다.
(화상 데이터의 출력의 트리거 예)
한편, 시인 처리부(14)는, 화상 데이터의 출력이 프레임 단위로 행해지는 경우에는, 화상 데이터 축적부(141)에 프레임분의 화상 데이터가 축적되고 나서, 화상 데이터의 출력을 행한다. 한편, 화상 데이터의 출력이 프레임 단위가 아닌 경우에는, 시인 처리부(14)는, 예를 들면 판독부(110)로부터 전달된 라인 데이터를 순차적으로 출력할 수 있다.
(화상 데이터의 축적 제어)
다음으로, 제4 실시형태에 적용 가능한, 화상 데이터 축적부(141)의 제어 예에 대해 설명한다. 화상 데이터 축적부(141)의 제어의 제1 예로서, 화상 데이터 축적 제어부(140)는, 화상 데이터 축적부(141)에 축적되는 화상 데이터가 부족한 경우에, 판독부(110)로부터 전달된 라인 데이터를 화상 데이터 축적부(141)에 축적한다.
일례로서, 화상 처리부(143)가 화상 처리를 행하는 단위분의 화상 데이터가 화상 데이터 축적부(141)에 축적되어 있지 않은 경우에는, 판독부(110)로부터 전달된 라인 데이터를 화상 데이터 축적부(141)에 축적한다. 보다 구체적인 예로서는, 화상 처리부(143)가 프레임 단위로 화상 처리를 행하는 경우에, 화상 데이터 축적부(141)에 축적되는 대상 프레임의 화상 데이터가 1프레임에 미치지 않는 경우에, 판독부(110)로부터 전달된 화소 데이터를 화상 데이터 축적부(141)에 축적하는 것이 생각된다.
화상 데이터 축적부(141)의 제어의 제2 예로서, 촬상 대상에 있어서의 장면이 변화한 경우에, 화상 데이터 축적부(141)에 축적되어 있는 화상 데이터를 파기한다. 촬상 대상에 있어서의 장면의 변화는, 예를 들면 촬상 대상의 명암, 움직임, 화면 구성 등의 급변에 의해 발생한다. 해당 촬상 장치(1)가 차량에 탑재되어 사용되는 경우, 해당 차량이 터널 등에 들어간 경우, 또는 터널로부터 나온 경우에 촬상 대상의 명암이 급변하여, 장면의 변화가 발생한다. 또한, 해당 차량이 급가속, 급정차한 경우, 또는 해당 차량이 급선회한 경우에, 촬상 대상의 움직임이 급변하여, 장면의 변화가 발생한다. 나아가, 해당 차량이 복잡한 장소로부터 돌연 개방된 장소로 나간 경우, 촬상 대상의 화면 구성이 급변하여, 장면의 변화가 발생한다. 촬상 대상에 있어서의 장면의 변화는, 판독부(110)로부터 전달된 화소 데이터에 기초하여 판정할 수 있다. 이에 한정되지 않고, 인식 처리 실행부(124)로부터 시인 처리부(14)로 전달되는 인식 정보에 기초하여, 촬상 대상에 있어서의 장면의 변화를 판정하는 것도 가능하다.
화상 데이터 축적부(141)의 제어의 제3 예로서, 판독부(110)로부터 전달된 라인 데이터를 화상 데이터 축적부(141)에 축적하지 않는다. 도 73을 사용하여, 제4 실시형태에 따른 화상 데이터 축적부(141)의 제어의 제3 예에 대해 설명한다. 도 73에 있어서, 단계(S30)는, 사람이 인식된 영역(511)이 포함되는 프레임(510)에 있어서, 프레임(510)에 포함되는 모든 화소 데이터가 판독된 상태를 나타내고 있다.
다음 단계(S31)에서, 인식 처리부(12)는, 단계(S30)로부터 일정 시간 경과 후에 판독부(110)에 의해 프레임 판독을 행하고, 단계(S30)에서 인식된 영역(511)에 있어서 인식 결과에 변화가 생기고 있지 않은지 여부를 판정한다. 이 예에서는, 인식 처리부(12)는, 사람이 인식된 영역(511)의 일부(이 예에서는 라인 L#tgt)에 대해 인식 처리를 실행함으로써, 판정을 행한다. 예를 들면, 인식 처리부(12)는, 단계(S31)에 있어서 인식 처리를 실행한 부분의 인식 스코어의, 단계(S30)의 상태에 대한 변화량이 임계값 이하인 경우에, 인식 결과에 변화가 없다고 판정할 수 있다. 인식 처리부(12)는, 인식 결과에 변화가 없다고 판정한 경우, 단계(S31)에서 판독한 라인 데이터의 화상 데이터 축적부(141)에의 축적을 행하지 않는다.
예를 들면, 영역(511)에 포함되는 사람의 머리카락 흔들림만이 인식되고, 사람의 위치에 변화가 없는 경우, 인식 스코어가 임계값보다 낮아지고, 인식 결과로서는 변화가 없는 것으로 되는 경우가 있다. 이 경우, 단계(S31)에서 판독된 화소 데이터의 축적을 행하지 않아도, 시인성의 관점에서, 화상 데이터의 일관성을 유지할 수 있다. 이와 같이, 화상으로서는 변화가 있지만, 인식 결과로서는 변화가 없는 경우에 판독된 화소 데이터의 축적을 행하지 않도록 함으로써, 화상 데이터 축적부(141)의 용량을 절약할 수 있다.
[7-1. 제4 실시형태의 제1 변형예]
다음으로, 제4 실시형태의 제1 변형예에 대해 설명한다. 제4 실시형태의 제1 변형예는, 프레임 판독을 행한 화상을 출력할 때에, 특정 오브젝트가 인식되거나, 또는, 인식될 것으로 예측되는 영역을 마스킹하는 예이다.
도 74를 사용하여, 제4 실시형태의 제1 변형예에 대해 설명한다. 도 74에 있어서, 인식 처리부(12)는, 단계(S41)에서, 프레임(520)의 상단으로부터 라인 L#m의 위치까지 라인 데이터의 판독을 행한 시점에서, 영역(521a)에 있어서 특정 오브젝트(이 예에서는 사람)의 일부를 인식하고 있다. 시인 처리부(14)는, 이 라인 L#m까지의 라인 데이터에 의한 화상을 출력한다. 또는, 시인 처리부(14)는, 이 라인 L#m까지의 라인 데이터를 화상 데이터 축적부(141)에 축적한다.
여기서, 인식 처리부(12)는, 해당 특정 오브젝트의 일부를 인식한 시점에서, 해당 특정 오브젝트의 전체(단계(S42)에 영역(521b)으로서 나타냄)를 예측할 수 있다. 인식 처리부(12)는, 특정 오브젝트가 인식 및 예측된 영역(521b)의 정보를 포함하는 인식 정보를 시인 처리부(14)로 전달한다. 또한, 인식 처리부(12)는, 인식 처리를 해당 특정 오브젝트가 인식된 라인 L#m의 위치에서 종료시킨다.
시인 처리부(14)는, 라인 L#m 이후에도 프레임(520)으로부터의 라인 데이터의 판독을 계속하고, 판독된 라인 데이터에 의한 화상을 출력하거나, 또는, 판독된 라인 데이터를 화상 데이터 축적부(141)에 축적한다. 이 때, 시인 처리부(14)는, 특정 오브젝트가 포함된다고 예측된 영역(521b)에 있어서, 라인 L#m 이후에 판독된 부분을 마스킹한다(단계(S42)). 예를 들면, 시인 처리부(14)에 있어서, 화상 처리부(143)는, 이 영역(521b)의 일부를 마스킹하여 출력한다. 이에 한정되지 않고, 화상 처리부(143)는, 이 영역(521b)의 일부를 마스킹한 프레임 화상을, 화상 데이터 축적부(141)에 축적해도 된다. 또한, 시인 처리부(14)는, 이 영역(521b)에 있어서의 라인 L#m 이후의 화소 데이터를 판독하지 않도록 해도 된다.
또한, 시인 처리부(14)는, 단계(S43)에 나타내는 바와 같이, 특정 오브젝트가 포함된다고 예측된 영역(521b)의 전부를 마스킹해도 된다. 이 경우, 마스킹의 대상은, 시인 처리부(14)가 출력하기 위한 화소 데이터이며, 예를 들면 인식 처리부(12)가 인식 처리에 사용하는 화소 데이터에 대해서는, 마스킹을 행하지 않는다.
상기 설명에서는, 프레임(520)에 있어서, 특정 오브젝트가 인식된 영역(521b)을 마스킹하고, 그 이외의 부분의 화상을, 예를 들면 출력하고 있다. 이것은 이 예에 한정되지 않고, 예를 들면 영역(521b) 이외의 부분을 마스킹하고, 영역(521b) 내의 화상을, 예를 들면 출력할 수도 있다.
이와 같이, 시인용 화상에 있어서 특정 오브젝트가 인식된 영역(521b)을 마스킹함으로써, 프라이버시의 보호를 실현하는 것이 가능하다. 예를 들면, 제4 실시형태의 제1 변형예에 따른 촬상 장치(1)가 도로 감시 카메라, 드라이브 레코더(drive recorder), 드론 탑재용 등에 적용되는 경우, 촬상된 화상 데이터(예를 들면, 동일 화상 데이터)로부터 개인 정보만을 소거하고, 취급이 용이한 형식으로 할 수 있다. 이러한 용도의 경우의 마스킹 대상이 되는 특정 오브젝트로서는, 사람, 얼굴, 차량, 차량 번호 등을 들 수 있다.
[7-2. 제4 실시형태의 제2 변형예]
다음으로, 제4 실시형태의 제2 변형예에 대해 설명한다. 제4 실시형태의 제2 변형예는, 다른 방식으로 물체 검출 등을 행하는 센서의 출력과, 해당 촬상 장치(1)에 의한 출력 화상을 통합하여 표시시키도록 한 경우에, 프레임에 있어서의, 표시에 적합한 영역을 우선적으로 판독하도록 한 예이다.
도 75를 사용하여, 제4 실시형태의 제2 변형예에 대해 설명한다. 여기서는, 다른 방식의 센서로서, LiDAR 방식의 센서(이하, LiDAR 센서라고 부름)를 적용한다. 이에 한정되지 않고, 다른 방식의 센서로서, 레이더 등을 적용할 수도 있다. 도시는 생략하지만, 제4 실시형태의 제2 변형예에 따른 촬상 장치(1)는, 이 이외의 방식의 센서에 의한 검지 결과를, 예를 들면 인식 처리 실행부(124)로부터의 인식 정보 대신에, 판독 결정부(142a)에 입력하는 것으로 한다.
도 75에 있어서, 섹션(a)는, LiDAR 센서에 의해 취득된 화상(530)의 예를 나타내고 있다. 이 섹션(a)에 있어서, 영역(531)이 LiDAR 센서로부터 소정 거리(예를 들면, 10 [m]∼수 10 [m]) 이내의 범위에서 취득된 화상인 것으로 한다.
도 75에 있어서, 섹션(b)는, 제4 실시형태의 제2 변형예에 따른 촬상 장치(1)에 의해 촬상되는 프레임(540)의 예를 나타내고 있다. 이 프레임(540)에 있어서, 사선을 부여하여 나타내는 영역(541)이 섹션(a)의 영역(531)에 대응하고, 해당 촬상 장치(1)로부터 소정 거리 이내의 범위에 있는 물체 등의 오브젝트를 포함한다. 한편, 영역(542)은, 해당 촬상 장치(1)로부터 소정 거리 너머가 촬상되는 영역으로서, 예를 들면 하늘이나 먼 곳의 풍경이 포함된다.
도 75의 섹션(a)에 있어서, LiDAR 센서 및 해당 촬상 장치(1)로부터 소정 거리 이내의 범위에 대응하는 영역(531)은, 오브젝트가 조밀하고, 표시에 적합한 영역이라고 생각된다. 한편, 영역(531) 이외의 부분은, 오브젝트가 성기고, 중점적으로 표시를 행할 필요성이 적은 영역이라고 생각된다. 이에, 시인 처리부(14)에 있어서, 판독 결정부(142a)는, 영역(541 및 542) 중, 프레임(540)의 판독을, 해당 영역(531)에 대응하는 영역(541)에 대해 우선적으로 실행한다. 예를 들면, 판독 결정부(142a)는, 영역(541)의 판독을 솎음을 하지 않고 고해상도에서 실행한다. 한편, 판독 결정부(142a)는, 영역(542)에 대해서는, 예를 들면 솎음 판독 등에 의해 저해상도의 판독을 행하거나, 또는 판독을 행하지 않는다.
이와 같이, 제4 실시형태의 제2 변형예에 따른 촬상 장치(1)는, 다른 방식의 센서에 의한 검지 결과에 따라 프레임 판독의 해상도를 설정함으로써, 프레임(540)의 판독을 최적화하는 것이 가능하다.
[7-3. 제4 실시형태의 제3 변형예]
다음으로, 제4 실시형태의 제3 변형예에 대해 설명한다. 제4 실시형태의 제3 변형예는, 인식 처리부(12) 및 시인 처리부(14)에 의한 프레임 판독을 적응적으로 행하는 예이다. 제4 실시형태의 제3 변형예의 제1 예는, 특정 오브젝트가 인식된 영역의 판독을 우선적으로 행하고, 그 후, 미처리 영역의 판독을 행한다. 이 때, 미처리 영역의 판독은, 솎음 판독 등 저해상도의 판독 방법으로 행한다.
도 76을 사용하여, 제4 실시형태의 제3 변형예에 있어서의 제1 예에 대해 설명한다. 도 76에 있어서, 인식 처리부(12)는, 단계(S50)에서, 프레임(540)의 상단으로부터 라인 L#m의 위치까지 라인 데이터의 판독을 행한 시점에서, 영역(541)에 있어서 특정 오브젝트(이 예에서는 사람)를 인식하고 있다. 시인 처리부(14)는, 이 라인 L#m까지의 라인 데이터에 의한 화상을 출력한다. 또는, 시인 처리부(14)는, 이 라인 L#m까지의 라인 데이터를 화상 데이터 축적부(141)에 축적한다.
한편, 이 도 76의 단계(S50)에서는, 전술한 도 74의 단계(S40)와 마찬가지로, 인식 처리부(12)는, 해당 특정 오브젝트의 일부(라인 L#m까지의 영역)를 인식한 시점에서, 해당 특정 오브젝트의 전체의 영역(541)을 예측하고 있다.
다음 단계(S51)에서, 인식 처리부(12)는, 프레임(540)의 라인 L#m보다 아래의 부분에 있어서, 단계(S50)에서 인식된 영역(541)을 우선적으로 판독한다. 인식 처리부(12)는, 영역(541)으로부터 판독된 화소 데이터에 기초하여 보다 상세한 인식 처리를 실행하는 것이 가능하다. 인식 처리부(12)는, 영역(541)에 있어서의 특정 오브젝트의 인식이 행해지면, 인식 처리를 종료시킨다. 또한, 시인 처리부(14)는 이 영역(541)의 화소 데이터에 의한 화상을 출력한다. 또는, 시인 처리부(14)는 이 영역(541)의 화소 데이터를 화상 데이터 축적부(141)에 축적한다.
다음 단계(S52)에서, 시인 처리부(14)는, 프레임(540)의 라인 L#m 이후의 영역의 판독을 행한다. 이 때, 시인 처리부(14)는, 라인 L#m 이후의 영역의 판독을, 라인 L#m 이전의 판독에 비해 저해상도로 행할 수 있다. 도 76의 예에서는, 시인 처리부(14)는, 라인 L#m 이후의 판독을, 솎음 판독에 의해 행하고 있다. 한편, 시인 처리부(14)는, 이 판독을, 예를 들면 영역(541)의 부분을 제외하고 행할 수 있다.
시인 처리부(14)는, 솎음 판독에 의해 판독한, 프레임(540)의 라인 L#m 이후의 라인 데이터에 의한 화상을 출력한다. 이 경우, 시인 처리부(14)에 있어서 화상 처리부(143)는, 솎아내진 라인 데이터를 라인간에서 보간하여 출력할 수 있다. 또는, 시인 처리부(14)는, 라인 L#m 이후의 라인 데이터를 화상 데이터 축적부(141)에 축적한다.
이와 같이, 제4 실시형태의 제3 변형예의 제1 예에서는, 인식 처리부(12)에 의해 특정 오브젝트가 인식된 후에는, 미처리 영역을 시인 처리부(14)에 의해 저해상도에 의해 판독하고 있다. 그 때문에, 특정 오브젝트에 대한 보다 고정밀도의 인식 처리가 가능해지고, 프레임 전체의 화상을 보다 고속으로 출력하는 것이 가능해진다.
다음으로, 제4 실시형태의 제3 변형예의 제2 예에 대해 설명한다. 이 제2 예에서는, 인식 처리용과 시인 처리용에서 판독의 조건을 변화시킨다. 일례로서, 인식 처리용과 시인 처리용에서, 노출 시간 및 아날로그 게인 중 적어도 일방을 다르게 한다. 구체적인 예로서, 인식 처리부(12)는, 아날로그 게인을 최대한으로 올린 촬상에 의해 프레임 판독을 행한다. 한편, 시인 처리부(14)는, 노출 시간을 적절하게 설정한 촬상에 의해 프레임 판독을 행한다.
이 때, 인식 처리부(12)에 의한 프레임 판독과, 시인 처리부(14)에 의한 프레임 판독을 프레임마다 교대로 실행할 수 있다. 이에 한정되지 않고, 인식 처리부(12)에 의한 프레임 판독과, 시인 처리부(14)에 의한 프레임 판독을 판독 단위(예를 들면, 라인)마다 전환하여 실행할 수도 있다. 이에 의해, 인식 처리 및 시인 처리를, 각각 적절한 조건에서 실행하는 것이 가능해진다.
[8. 제5 실시형태]
다음으로, 제5 실시형태로서, 본 개시에 따른, 제1∼제4 실시형태 및 각 변형예에 따른 촬상 장치(1)의 적용예에 대해 설명한다. 도 77은 전술한 제1∼제4 실시형태 및 각 변형예에 따른 촬상 장치(1)를 사용하는 사용예를 나타내는 도면이다.
전술한 촬상 장치(1)는, 예를 들면, 이하와 같이, 가시광이나, 적외광, 자외광, X선 등의 광을 센싱하는 다양한 경우에 사용할 수 있다.
·디지털 카메라나, 카메라 기능을 가진 휴대기기 등의, 감상용으로 제공되는 화상을 촬영하는 장치.
·자동 정지 등의 안전 운전이나, 운전자의 상태의 인식 등을 위해, 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차재용 센서, 주행 차량이나 도로를 감시하는 감시 카메라, 차량 사이 등의 측거(測距)를 행하는 측거 센서 등의, 교통용으로 제공되는 장치.
·사용자의 제스처를 촬영하여, 그 제스처에 따른 기기 조작을 행하기 위해, TV나, 냉장고, 에어컨 등의 가전에 제공되는 장치.
·내시경이나, 적외광의 수광에 의한 혈관 촬영을 행하는 장치 등의, 의료나 헬스케어용으로 제공되는 장치.
·방범 용도의 감시 카메라나, 인물 인증 용도의 카메라 등의, 보안용으로 제공되는 장치.
·피부를 촬영하는 피부 측정기나, 두피를 촬영하는 현미경 등의, 미용용으로 제공되는 장치.
·스포츠 용도 등을 위한 액션 카메라나 웨어러블 카메라 등의, 스포츠용으로 제공되는 장치.
·밭이나 작물의 상태를 감시하기 위한 카메라 등의, 농업용으로 제공되는 장치.
[본 개시에 따른 기술의 추가 적용예]
본 개시와 관련되는 기술(본 기술)은 다양한 제품에 적용할 수 있다. 예를 들면, 본 개시와 관련되는 기술은 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇과 같은 각종의 이동체에 탑재되는 장치에 대해 적용되어도 된다.
도 78은 본 개시와 관련되는 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 78에 나타낸 예에서는, 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은 키리스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은 촬상부(12031)에 차 밖의 화상을 촬상 시키고, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(12030)은, 예를 들면, 수신된 화상에 대해 화상 처리를 실시하고, 화상 처리의 결과에 기초하여 물체 검출 처리나 거리 검출 처리를 행한다.
촬상부(12031)는 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면, 운전자를 촬상하는 카메라를 포함한다. 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 78의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 79는 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다. 도 79에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104 및 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 및 12105)는, 예를 들면, 차량(12100)의 프런트 노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프런트 노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)에서 취득되는 전방의 화상은, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 79에는 촬상부(12101∼12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프런트 노즈에 설치된 촬상부(12101)의 촬상 범위를 나타낸다. 촬상 범위(12112 및 12113)는, 각각 사이드 미러에 설치된 촬상부(12102 및 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101∼12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.
촬상부(12101∼12104) 중 적어도 하나는 거리 정보를 취득하는 기능을 가지고 있어도 된다. 예를 들면, 촬상부(12101∼12104) 중 적어도 하나는 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 가지는 촬상 소자여도 된다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101∼12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111∼12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로컴퓨터(12051)는, 선행차와의 사이에서 미리 확보해야 하는 차간거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101∼12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형차량, 보행자, 전신주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101∼12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101∼12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면, 적외선 카메라로서의 촬상부(12101∼12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 절차에 의해 행해진다. 마이크로컴퓨터(12051)가, 촬상부(12101∼12104)의 촬상 화상 중에 보행자가 존재한다고 판정하여, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 예를 들면, 촬상부(12031)에 적용될 수 있다. 본 개시에 따른 촬상 장치(1)를 촬상부(12031)에 적용함으로써, 보행자나 장해물 등의 인식을 보다 고속으로 실행하는 것이 가능해지고, 또한, 저전력화가 가능해진다.
한편, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 또한 다른 효과가 있어도 된다.
한편, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
복수의 화소가 배열된 화소 영역을 갖는 촬상부와,
상기 화소 영역에 포함되는 화소로부터의 화소 신호의 판독을 제어하는 판독 제어부와,
상기 판독 제어부가 상기 화소 신호의 판독을 행하는, 상기 화소 영역의 일부로서 판독 단위를 설정하는 제1 판독 단위 설정부와,
상기 판독 단위로부터 판독된 상기 화소 신호에 기초하는 제1 화상을 후단으로 출력하는 화상 출력부와,
상기 판독 제어부가 상기 화소 신호의 판독을 행하는 상기 판독 단위를 설정하는 제2 판독 단위 설정부와,
상기 판독 단위마다의 교사 데이터를 학습하고, 상기 판독 단위마다의 상기 화소 신호에 대해 인식 처리를 행하여 해당 인식 처리의 결과인 인식 결과를 출력하는 인식부를 구비하는 촬상 장치.
(2)
상기 제1 판독 단위 설정부는,
상기 인식 결과에 따라 상기 판독 단위를 결정하는, 상기 (1)에 기재된 촬상 장치.
(3)
상기 제1 판독 단위 설정부는,
상기 화상 출력부에 의한 상기 제1 화상의 출력을, 상기 인식부가 상기 인식 처리를 행하기 위한 상기 화소 신호에 의한 제2 화상의 출력과는 다른 타이밍에서 실행하는, 상기 (1) 또는 (2)에 기재된 촬상 장치.
(4)
상기 제1 판독 단위 설정부는,
상기 인식부에 의해 특정 오브젝트가 인식된 프레임 화상 내의 영역에 상기 판독 단위를 설정하지 않는, 상기 (1) 내지 (3) 중 어느 하나에 기재된 촬상 장치.
(5)
상기 화상 출력부는,
상기 인식부에 의해 특정 오브젝트가 인식된 프레임 화상 내의 영역을 마스킹하는, 상기 (1) 내지 (3) 중 어느 하나에 기재된 촬상 장치.
(6)
상기 화상 출력부는,
상기 인식부에 의해 특정 오브젝트가 인식된 프레임 화상 내의 영역 중, 해당 인식 후에 판독되는 영역을 마스킹하는, 상기 (4)에 기재된 촬상 장치.
(7)
상기 제1 판독 단위 설정부는,
다른 센서 장치의 검지 출력에 따라 상기 판독 단위를 설정하는, 상기 (1) 내지 (6) 중 어느 하나에 기재된 촬상 장치.
(8)
상기 제1 판독 단위 설정부는,
상기 인식부에 의해 특정 오브젝트가 인식된 프레임 화상 내의 영역에, 해당프레임 화상 내의 다른 영역에 비해 우선적으로 상기 판독 단위를 설정하는, 상기 (1) 내지 (3)에 기재된 촬상 장치.
(9)
상기 제1 판독 단위 설정부는,
상기 특정 오브젝트가 인식된 프레임 화상 내의 영역의 해상도보다 낮은 해상도로 상기 화소 신호의 판독을 행하도록, 상기 다른 영역에 상기 판독 단위를 설정하는, 상기 (8)에 기재된 촬상 장치.
(10)
상기 제1 판독 단위 설정부는,
상기 특정 오브젝트가 인식된 프레임 화상 내의 영역의 판독이 종료된 후에, 상기 다른 영역에 상기 판독 단위를 설정하는, 상기 (8) 또는 (9)에 기재된 촬상 장치.
(11)
상기 제1 판독 단위 설정부는,
상기 판독 단위에 대하여, 상기 제2 판독 단위 제어부가 상기 판독 단위에 대해 설정하는 촬상 조건과는 다른 촬상 조건을 설정하는, 상기 (1) 내지 (10) 중 어느 하나에 기재된 촬상 장치.
(12)
상기 판독 단위로부터 판독된 상기 화소 신호의 축적부에의 축적을 제어하는 축적 제어부를 더 구비하고,
상기 축적 제어부는,
상기 화소 신호와 상기 인식부의 상기 인식 결과 중 적어도 일방에 따라 상기 축적부에 대한 상기 화소 신호의 축적을 제어하는, 상기 (1) 내지 (11) 중 어느 하나에 기재된 촬상 장치.
(13)
상기 축적 제어부는,
상기 인식부에 의한 제1 인식 결과에 대한, 해당 제1 인식 결과로부터 소정 시간 후의 제2 인식 결과의 변화량이 임계값 이하인 경우에, 해당 제2 인식 결과에 대응하여 판독된 상기 화소 신호의 상기 축적부에의 축적을 행하지 않는, 상기 (12)에 기재된 촬상 장치.
(14)
상기 축적 제어부는,
상기 화상 출력부가 상기 제1 화상을 후단으로 출력하기 위한 단위분의 상기 화소 신호가 상기 축적부에 축적되어 있지 않은 경우에, 상기 축적부에 대해 상기 화소 신호를 축적하는, 상기 (12) 또는 (13)에 기재된 촬상 장치.
(15)
상기 축적 제어부는,
상기 판독 제어부에 의해 판독된 상기 화소 신호에 기초하여 촬상 대상의 장면에 변화가 있었다고 판단된 경우에, 상기 축적부에 축적된 상기 화소 신호를 파기하는, 상기 (12) 내지 (14) 중 어느 하나에 기재된 촬상 장치.
(16)
상기 화상 출력부는,
상기 제1 화상의 처리 단위가 프레임 단위가 아닌 경우에, 상기 제1 화상을, 상기 판독 단위로부터 판독된 상기 화소 신호에 따라 순차적으로 출력하는, 상기 (1) 내지 (15) 중 어느 하나에 기재된 촬상 장치.
(17)
복수의 화소가 배열된 화소 영역을 갖는 촬상부와, 상기 화소 영역에 포함되는 화소로부터의 화소 신호의 판독을 제어하는 판독 제어부와, 상기 판독 제어부가 상기 화소 신호의 판독을 행하는, 상기 화소 영역의 일부로서 판독 단위를 설정하는 제1 판독 단위 설정부와, 상기 판독 단위로부터 판독된 상기 화소 신호에 기초하는 제1 화상을 후단으로 출력하는 화상 출력부와, 상기 판독 제어부가 상기 화소 신호의 판독을 행하는 상기 판독 단위를 설정하는 제2 판독 단위 제어부를 구비하는 촬상 장치와,
상기 판독 단위마다의 교사 데이터를 학습하고, 상기 판독 단위마다의 상기 화소 신호에 대해 인식 처리를 행하여 해당 인식 처리의 결과인 인식 결과를 출력하는 인식부를 구비하는 정보 처리 장치를 포함하는 촬상 시스템.
(18)
프로세서에 의해 실행되는 촬상 방법으로서,
촬상부가 갖는 복수의 화소가 배열된 화소 영역에 포함되는 화소로부터의 화소 신호의 판독을 제어하는 판독 제어 단계와,
상기 판독 제어 단계에 의해 상기 화소 신호의 판독을 행하는, 상기 화소 영역의 일부로서 판독 영역을 설정하는 제1 판독 단위 설정 단계와,
상기 판독 영역으로부터 판독된 상기 화소 신호에 기초하는 제1 화상을 후단으로 출력하는 화상 출력 단계와,
상기 판독 제어 단계에 의해 상기 화소 신호의 판독을 행하는 상기 판독 단위를 제어하는 제2 판독 단위 제어 단계와,
상기 판독 단위마다의 교사 데이터를 학습하고, 상기 판독 단위마다의 상기 화소 신호에 대해 인식 처리를 행하여 해당 인식 처리의 결과인 인식 결과를 출력하는 인식 단계를 포함하는 촬상 방법.
(19)
프로세서에 의해 실행되는,
촬상부가 갖는 복수의 화소가 배열된 화소 영역에 포함되는 화소로부터의 화소 신호의 판독을 제어하는 판독 제어 단계와,
상기 판독 제어 단계에 의해 상기 화소 신호의 판독을 행하는, 상기 화소 영역의 일부로서 판독 단위를 설정하는 제1 판독 단위 설정 단계와,
상기 판독 단위로부터 판독된 상기 화소 신호에 기초하는 제1 화상을 후단으로 출력하는 화상 출력 단계와,
상기 판독 제어 단계에 의해 상기 화소 신호의 판독을 행하는 상기 판독 단위를 제어하는 판독 단위 제어 단계와,
상기 판독 단위마다의 교사 데이터를 학습하고, 상기 판독 단위마다의 상기 화소 신호에 대해 인식 처리를 행하여 해당 인식 처리의 결과인 인식 결과를 출력하는 인식 단계
를 프로세서에 실행시키기 위한 촬상 프로그램.
나아가, 본 기술은 이하와 같은 구성도 취할 수 있다.
(20)
화상 데이터를 생성하는 촬상부와,
상기 촬상부로부터 판독된 단위 영역마다의 화상 데이터에 대해 학습 모델을 사용한 기계 학습 처리를 실행하는 기계 학습부와,
상기 기계 학습 처리의 결과에 기초하여 소정의 기능을 실행하는 기능 실행부를 구비하는 전자 기기.
(21)
상기 기계 학습부는, 동일 프레임의 화상 데이터에 있어서의 최초에 입력된 단위 영역의 화상 데이터에 대해 CNN(Convolution Neural Network)을 이용한 기계 학습 처리를 실행하는, 상기 (20)에 기재된 전자 기기.
(22)
상기 기계 학습부는, 상기 최초에 입력된 단위 영역의 화상 데이터에 대한 상기 CNN을 이용한 기계 학습 처리에 실패한 경우, 상기 동일 프레임의 화상 데이터에 있어서의 다음에 입력된 단위 영역의 화상 데이터에 대해 RNN(Recurrent Neural Network)을 이용한 기계 학습 처리를 실행하는, 상기 (21)에 기재된 전자 기기.
(23)
상기 촬상부로부터 라인 단위로 화상 데이터를 판독하는 컨트롤부를 더 구비하고,
상기 기계 학습부에는, 상기 라인 단위로 상기 화상 데이터가 입력되는, 상기 (20) 내지 (22) 중 어느 하나에 기재된 전자 기기.
(24)
상기 단위 영역의 화상 데이터는 소정 라인수의 화상 데이터인, 상기 (20) 내지 (23) 중 어느 하나에 기재된 전자 기기.
(25)
상기 단위 영역의 화상 데이터는 사각형 영역의 화상 데이터인, 상기 (20) 내지 (23) 중 어느 하나에 기재된 전자 기기.
(26)
상기 학습 모델의 프로그램을 기록하는 메모리를 더 구비하고,
상기 기계 학습부는, 상기 메모리로부터 상기 프로그램을 판독하여 실행함으로써, 상기 기계 학습 처리를 실행하는, 상기 (20) 내지 (25) 중 어느 하나에 기재된 전자 기기.
1: 촬상 장치
10: 센서부
11: 센서 제어부
12: 인식 처리부
14: 시인 처리부
110: 판독부
111: 판독 제어부
120: 특징량 계산부
121: 특징량 축적 제어부
122: 특징량 축적부
123, 123a, 123b, 123c, 123d, 123e, 123f, 142, 142a: 판독 결정부
124: 인식 처리 실행부
140: 화상 데이터 축적 제어부
141: 화상 데이터 축적부
143: 화상 처리부
300: 판독 단위 패턴 선택부
301: 판독 단위 패턴 DB
302: 판독 순서 패턴 선택부
303: 판독 순서 패턴 DB
304: 판독 결정 처리부
1230, 1230', 2010: 판독 영역 결정부
1231, 1231', 2011: 노출 시간 결정부
1232, 1232', 2012: AG량 결정부
2000: 리소스 조정부
2013: 구동 속도 결정부
2020: 우선 모드 지시부

Claims (19)

  1. 복수의 화소가 배열된 화소 영역을 갖는 촬상부와,
    상기 화소 영역에 포함되는 화소로부터의 화소 신호의 판독을 제어하는 판독 제어부와,
    상기 판독 제어부가 상기 화소 신호의 판독을 행하는, 상기 화소 영역의 일부로서 판독 단위를 설정하는 제1 판독 단위 설정부와,
    상기 판독 단위로부터 판독된 상기 화소 신호에 기초하는 제1 화상을 후단으로 출력하는 화상 출력부와,
    상기 판독 제어부가 상기 화소 신호의 판독을 행하는 상기 판독 단위를 설정하는 제2 판독 단위 설정부와,
    상기 판독 단위마다의 교사 데이터를 학습하고, 상기 판독 단위마다의 상기 화소 신호에 대해 인식 처리를 행하여 해당 인식 처리의 결과인 인식 결과를 출력하는 인식부를 구비하는, 촬상 장치.
  2. 제1항에 있어서,
    상기 제1 판독 단위 설정부는,
    상기 인식 결과에 따라 상기 판독 단위를 결정하는, 촬상 장치.
  3. 제1항에 있어서,
    상기 제1 판독 단위 설정부는,
    상기 화상 출력부에 의한 상기 제1 화상의 출력을, 상기 인식부가 상기 인식 처리를 행하기 위한 상기 화소 신호에 의한 제2 화상의 출력과는 다른 타이밍에서 실행하는, 촬상 장치.
  4. 제1항에 있어서,
    상기 제1 판독 단위 설정부는,
    상기 인식부에 의해 특정 오브젝트가 인식된 프레임 화상 내의 영역에 상기 판독 단위를 설정하지 않는, 촬상 장치.
  5. 제1항에 있어서,
    상기 화상 출력부는,
    상기 인식부에 의해 특정 오브젝트가 인식된 프레임 화상 내의 영역을 마스킹하는, 촬상 장치.
  6. 제4항에 있어서,
    상기 화상 출력부는,
    상기 인식부에 의해 특정 오브젝트가 인식된 프레임 화상 내의 영역 중, 해당 인식 후에 판독되는 영역을 마스킹하는, 촬상 장치.
  7. 제1항에 있어서,
    상기 제1 판독 단위 설정부는,
    다른 센서 장치의 검지 출력에 따라 상기 판독 단위를 설정하는, 촬상 장치.
  8. 제1항에 있어서,
    상기 제1 판독 단위 설정부는,
    상기 인식부에 의해 특정 오브젝트가 인식된 프레임 화상 내의 영역에, 해당프레임 화상 내의 다른 영역에 비해 우선적으로 상기 판독 단위를 설정하는, 촬상 장치.
  9. 제8항에 있어서,
    상기 제1 판독 단위 설정부는,
    상기 특정 오브젝트가 인식된 프레임 화상 내의 영역의 해상도보다 낮은 해상도로 상기 화소 신호의 판독을 행하도록, 상기 다른 영역에 상기 판독 단위를 설정하는, 촬상 장치.
  10. 제8항에 있어서,
    상기 제1 판독 단위 설정부는,
    상기 특정 오브젝트가 인식된 프레임 화상 내의 영역의 판독이 종료된 후에, 상기 다른 영역에 상기 판독 단위를 설정하는, 촬상 장치.
  11. 제1항에 있어서,
    상기 제1 판독 단위 설정부는,
    상기 판독 단위에 대하여, 상기 제2 판독 단위 설정부가 상기 판독 단위에 대해 설정하는 촬상 조건과는 다른 촬상 조건을 설정하는, 촬상 장치.
  12. 제1항에 있어서,
    상기 판독 단위로부터 판독된 상기 화소 신호의 축적부에의 축적을 제어하는 축적 제어부를 더 구비하고,
    상기 축적 제어부는,
    상기 화소 신호와 상기 인식부의 상기 인식 결과 중 적어도 일방에 따라 상기 축적부에 대한 상기 화소 신호의 축적을 제어하는, 촬상 장치.
  13. 제12항에 있어서,
    상기 축적 제어부는,
    상기 인식부에 의한 제1 인식 결과에 대한, 해당 제1 인식 결과로부터 미리 정해진 시간 후의 제2 인식 결과의 변화량이 임계값 이하인 경우에, 해당 제2 인식 결과에 대응하여 판독된 상기 화소 신호의 상기 축적부에의 축적을 행하지 않는, 촬상 장치.
  14. 제12항에 있어서,
    상기 축적 제어부는,
    상기 화상 출력부가 상기 제1 화상을 후단으로 출력하기 위한 단위분의 상기 화소 신호가 상기 축적부에 축적되어 있지 않은 경우에, 상기 축적부에 대해 상기 화소 신호를 축적하는, 촬상 장치.
  15. 제12항에 있어서,
    상기 축적 제어부는,
    상기 판독 제어부에 의해 판독된 상기 화소 신호에 기초하여 촬상 대상의 장면에 변화가 있었다고 판단된 경우에, 상기 축적부에 축적된 상기 화소 신호를 파기하는, 촬상 장치.
  16. 제1항에 있어서,
    상기 화상 출력부는,
    상기 제1 화상의 처리 단위가 프레임 단위가 아닌 경우에, 상기 제1 화상을, 상기 판독 단위로부터 판독된 상기 화소 신호에 따라 순차적으로 출력하는, 촬상 장치.
  17. 복수의 화소가 배열된 화소 영역을 갖는 촬상부와, 상기 화소 영역에 포함되는 화소로부터의 화소 신호의 판독을 제어하는 판독 제어부와, 상기 판독 제어부가 상기 화소 신호의 판독을 행하는, 상기 화소 영역의 일부로서 판독 단위를 설정하는 제1 판독 단위 설정부와, 상기 판독 단위로부터 판독된 상기 화소 신호에 기초하는 제1 화상을 후단으로 출력하는 화상 출력부와, 상기 판독 제어부가 상기 화소 신호의 판독을 행하는 상기 판독 단위를 설정하는 제2 판독 단위 제어부를 구비하는 촬상 장치와,
    상기 판독 단위마다의 교사 데이터를 학습하고, 상기 판독 단위마다의 상기 화소 신호에 대해 인식 처리를 행하여 해당 인식 처리의 결과인 인식 결과를 출력하는 인식부를 구비하는 정보 처리 장치를 포함하는, 촬상 시스템.
  18. 프로세서에 의해 실행되는 촬상 방법으로서,
    촬상부가 갖는 복수의 화소가 배열된 화소 영역에 포함되는 화소로부터의 화소 신호의 판독을 제어하는 판독 제어 단계와,
    상기 판독 제어 단계에 의해 상기 화소 신호의 판독을 행하는, 상기 화소 영역의 일부로서 판독 단위를 설정하는 제1 판독 단위 설정 단계와,
    상기 판독 단위로부터 판독된 상기 화소 신호에 기초하는 제1 화상을 후단으로 출력하는 화상 출력 단계와,
    상기 판독 제어 단계에 의해 상기 화소 신호의 판독을 행하는 상기 판독 단위를 제어하는 제2 판독 단위 제어 단계와,
    상기 판독 단위마다의 교사 데이터를 학습하고, 상기 판독 단위마다의 상기 화소 신호에 대해 인식 처리를 행하여 해당 인식 처리의 결과인 인식 결과를 출력하는 인식 단계를 포함하는, 촬상 방법.
  19. 프로세서에 의해 실행되는,
    촬상부가 갖는 복수의 화소가 배열된 화소 영역에 포함되는 화소로부터의 화소 신호의 판독을 제어하는 판독 제어 단계와,
    상기 판독 제어 단계에 의해 상기 화소 신호의 판독을 행하는, 상기 화소 영역의 일부로서 판독 단위를 설정하는 제1 판독 단위 설정 단계와,
    상기 판독 단위로부터 판독된 상기 화소 신호에 기초하는 제1 화상을 후단으로 출력하는 화상 출력 단계와,
    상기 판독 제어 단계에 의해 상기 화소 신호의 판독을 행하는 상기 판독 단위를 제어하는 판독 단위 제어 단계와,
    상기 판독 단위마다의 교사 데이터를 학습하고, 상기 판독 단위마다의 상기 화소 신호에 대해 인식 처리를 행하여 해당 인식 처리의 결과인 인식 결과를 출력하는 인식 단계
    를 프로세서에 실행시키기 위한, 촬상 프로그램.
KR1020217004864A 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램 KR20210052444A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018163700 2018-08-31
JPJP-P-2018-163700 2018-08-31
JP2019159133A JP6635222B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JPJP-P-2019-159133 2019-08-30
PCT/JP2019/034500 WO2020045685A1 (ja) 2018-08-31 2019-09-02 撮像装置、撮像システム、撮像方法および撮像プログラム

Publications (1)

Publication Number Publication Date
KR20210052444A true KR20210052444A (ko) 2021-05-10

Family

ID=69166772

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020217004989A KR20210052446A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
KR1020217004871A KR20210053883A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
KR1020217004864A KR20210052444A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
KR1020217004985A KR20210053884A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020217004989A KR20210052446A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
KR1020217004871A KR20210053883A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217004985A KR20210053884A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램

Country Status (7)

Country Link
US (7) US11704904B2 (ko)
EP (4) EP3846444A4 (ko)
JP (9) JP6638852B1 (ko)
KR (4) KR20210052446A (ko)
CN (4) CN112585531B (ko)
BR (4) BR112021003115A2 (ko)
WO (4) WO2020045685A1 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076972B2 (ja) * 2017-09-29 2022-05-30 キヤノン株式会社 撮像素子及び撮像装置
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US12108141B2 (en) 2019-08-05 2024-10-01 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
KR20220134538A (ko) * 2020-01-31 2022-10-05 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 촬상 방법
JP7492345B2 (ja) * 2020-02-27 2024-05-29 キヤノン株式会社 撮像素子及びその制御方法、及び、撮像装置及びその制御方法
WO2021187121A1 (ja) * 2020-03-19 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
DE112021001771T5 (de) * 2020-03-24 2023-01-05 Sony Semiconductor Solutions Corporation Renderingsystem und system zur verifizierung automatisierten fahrens
US20230162468A1 (en) * 2020-03-31 2023-05-25 Sony Group Corporation Information processing device, information processing method, and information processing program
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
US20230254600A1 (en) * 2020-07-20 2023-08-10 Sony Group Corporation Information processing apparatus, information processing system, information processing method, and information processing program
KR20220028928A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 부분 영상 기반의 영상 처리 방법 및 장치
US12075175B1 (en) * 2020-09-08 2024-08-27 Meta Platforms Technologies, Llc Programmable smart sensor with adaptive readout
KR20220105292A (ko) * 2021-01-20 2022-07-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US20240078803A1 (en) * 2021-01-29 2024-03-07 Sony Group Corporation Information processing apparatus, information processing method, computer program, and sensor apparatus
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
KR20220156327A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
JP2022186333A (ja) * 2021-06-04 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2022270000A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
CN113344778B (zh) * 2021-08-05 2021-11-05 成都市谛视科技有限公司 一种成像控制方法、装置、设备及计算机可读存储介质
WO2023047775A1 (ja) * 2021-09-27 2023-03-30 富士フイルム株式会社 画像生成方法、プロセッサ、及びプログラム
US12119989B2 (en) * 2021-10-29 2024-10-15 Keysight Technologies, Inc. System and method for configuring network elements in a design network topology
WO2023090036A1 (ja) 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
WO2023127614A1 (ja) 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127654A1 (ja) 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JPWO2023127615A1 (ko) * 2021-12-28 2023-07-06
CN118451721A (zh) * 2021-12-28 2024-08-06 索尼集团公司 信息处理设备、信息处理方法、信息处理程序和信息处理系统
JPWO2023127653A1 (ko) * 2021-12-28 2023-07-06
WO2023149188A1 (ja) * 2022-02-02 2023-08-10 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2023141906A (ja) * 2022-03-24 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2023189080A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2024090345A (ja) * 2022-12-23 2024-07-04 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および、光検出装置の制御方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017112409A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193875A (ja) * 1987-10-05 1989-04-12 Mitsubishi Heavy Ind Ltd 文字認識装置
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
JPH09138802A (ja) * 1995-11-15 1997-05-27 Hitachi Ltd 文字認識翻訳システム
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
EP1354291B1 (en) 2001-01-22 2006-08-02 Hand Held Products, Inc. Optical reader having partial frame operating mode
US20040028137A1 (en) * 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4130180B2 (ja) 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) * 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
JP4830270B2 (ja) * 2004-06-14 2011-12-07 ソニー株式会社 固体撮像装置および固体撮像装置の信号処理方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP4640155B2 (ja) * 2005-12-15 2011-03-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2007201660A (ja) 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
US20090258667A1 (en) 2006-04-14 2009-10-15 Nec Corporation Function unlocking system, function unlocking method, and function unlocking program
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
JP2008015860A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Ind Co Ltd 画像認識カメラ
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
WO2009120582A2 (en) * 2008-03-27 2009-10-01 Pressline Services, Inc Printing press, folder, and methods of operation
JP5288915B2 (ja) 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
KR20110056616A (ko) * 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) * 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
JP5691736B2 (ja) 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5866826B2 (ja) * 2011-06-30 2016-02-24 株式会社ニコン 撮像装置
JP5839872B2 (ja) 2011-07-19 2016-01-06 オリンパス株式会社 固体撮像装置、撮像装置、および信号読み出し方法
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
JP5987306B2 (ja) 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JPWO2013164915A1 (ja) * 2012-05-02 2015-12-24 株式会社ニコン 撮像装置
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP5955170B2 (ja) * 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
US9294703B2 (en) * 2012-12-03 2016-03-22 Samsung Electronics Co., Ltd. Image sensor including data transmission circuit having split bus segments
CN103077407B (zh) 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及系统
JP2014139732A (ja) 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
US9979904B2 (en) * 2013-01-25 2018-05-22 Innovaciones Microelectrónicas S.L. (Anafocus) Advanced region of interest function for image sensors
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) * 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6289184B2 (ja) * 2014-03-14 2018-03-07 オリンパス株式会社 画像認識装置および画像認識方法
JP6338436B2 (ja) * 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
KR102192088B1 (ko) * 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
JP2016061797A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 焦点調節装置及びその制御方法
JP6168022B2 (ja) * 2014-09-30 2017-07-26 株式会社デンソー 画像認識装置
US10175345B2 (en) * 2014-10-17 2019-01-08 Voxtel, Inc. Event tracking imager
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
US10602084B2 (en) 2015-07-16 2020-03-24 Sony Corporation Imaging apparatus which performs compressive sensing reading data for a partitioned block output from an image sensor
CN105373785B (zh) 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
JP6762710B2 (ja) * 2015-12-14 2020-09-30 キヤノン株式会社 撮像装置及びその制御方法
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP7058933B2 (ja) * 2016-05-09 2022-04-25 株式会社ニコン 撮像素子及びこれを用いた撮像装置
JP2017207650A (ja) * 2016-05-19 2017-11-24 キヤノン株式会社 レンズ装置
JP2017228975A (ja) * 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
EP4064679A1 (en) * 2016-09-16 2022-09-28 Sony Semiconductor Solutions Corporation Imaging device and electronic device
JP2018081545A (ja) 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
TWI754696B (zh) * 2016-12-14 2022-02-11 日商索尼半導體解決方案公司 固體攝像元件及電子機器
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
US10380853B1 (en) * 2017-05-22 2019-08-13 Amazon Technologies, Inc. Presence detection and detection localization
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
JP7091635B2 (ja) * 2017-11-15 2022-06-28 大日本印刷株式会社 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
KR102661596B1 (ko) * 2018-08-08 2024-04-29 삼성전자주식회사 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
TWI820194B (zh) * 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
CN112585605A (zh) * 2018-09-06 2021-03-30 索尼公司 信息处理系统、信息处理方法、终端装置和信息处理装置
US11290640B2 (en) * 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017112409A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法

Also Published As

Publication number Publication date
US11595608B2 (en) 2023-02-28
BR112021003119A2 (pt) 2021-05-11
EP3846446A4 (en) 2021-10-20
CN112585943B (zh) 2022-12-27
BR112021003084A2 (pt) 2021-05-11
JP2020039126A (ja) 2020-03-12
CN112585943A (zh) 2021-03-30
WO2020045686A1 (ja) 2020-03-05
US20210306586A1 (en) 2021-09-30
US20230334848A1 (en) 2023-10-19
KR20210052446A (ko) 2021-05-10
CN112567728A (zh) 2021-03-26
JP7424051B2 (ja) 2024-01-30
EP3846441A4 (en) 2021-10-13
EP3846441A1 (en) 2021-07-07
EP3846443A4 (en) 2021-09-22
JP2024028531A (ja) 2024-03-04
JP7500962B2 (ja) 2024-06-18
EP3846446A1 (en) 2021-07-07
US11763554B2 (en) 2023-09-19
US20240029424A1 (en) 2024-01-25
JP7424034B2 (ja) 2024-01-30
US11704904B2 (en) 2023-07-18
EP3846444A4 (en) 2021-10-06
JP7380180B2 (ja) 2023-11-15
WO2020045685A1 (ja) 2020-03-05
CN112585948B (zh) 2024-09-13
JP2020039124A (ja) 2020-03-12
KR20210053884A (ko) 2021-05-12
CN112585531B (zh) 2023-05-30
EP3846443A1 (en) 2021-07-07
US11741700B2 (en) 2023-08-29
JP2020039125A (ja) 2020-03-12
JP2020048225A (ja) 2020-03-26
JP2020043615A (ja) 2020-03-19
CN112585948A (zh) 2021-03-30
JP6635222B1 (ja) 2020-01-22
JP2020039123A (ja) 2020-03-12
JP6635221B1 (ja) 2020-01-22
BR112021003115A2 (pt) 2021-05-11
CN112585531A (zh) 2021-03-30
US20210329164A1 (en) 2021-10-21
BR112021003183A2 (pt) 2021-05-11
US20210321054A1 (en) 2021-10-14
US20210329163A1 (en) 2021-10-21
WO2020045684A1 (ja) 2020-03-05
US12080061B2 (en) 2024-09-03
JP6638851B1 (ja) 2020-01-29
EP3846444A1 (en) 2021-07-07
KR20210053883A (ko) 2021-05-12
CN112567728B (zh) 2023-06-09
US20230394813A1 (en) 2023-12-07
WO2020045682A1 (ja) 2020-03-05
JP6638852B1 (ja) 2020-01-29
JP2020054007A (ja) 2020-04-02
JP2020043614A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
JP6635221B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
WO2022019026A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal