KR20210053884A - 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램 - Google Patents

촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램 Download PDF

Info

Publication number
KR20210053884A
KR20210053884A KR1020217004985A KR20217004985A KR20210053884A KR 20210053884 A KR20210053884 A KR 20210053884A KR 1020217004985 A KR1020217004985 A KR 1020217004985A KR 20217004985 A KR20217004985 A KR 20217004985A KR 20210053884 A KR20210053884 A KR 20210053884A
Authority
KR
South Korea
Prior art keywords
unit
recognition
output
line
read
Prior art date
Application number
KR1020217004985A
Other languages
English (en)
Inventor
류타 사토
스그루 아오키
케이타로 야마모토
료지 에키
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20210053884A publication Critical patent/KR20210053884A/ko

Links

Images

Classifications

    • H04N5/3765—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06K9/00664—
    • G06K9/00791—
    • G06K9/3233—
    • G06K9/78—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H04N5/23229—
    • H04N5/345—
    • H04N5/378—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Character Discrimination (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

촬상 장치는, 복수의 화소가 배열된 화소 영역을 가지며, 화소 영역에 포함되는 화소로부터 화소 신호를 판독하여 출력하는 촬상부(10)와, 화소 영역의 일부로서 설정되는 판독 단위를 제어하는 판독 단위 제어부(123)와, 판독 단위마다의 교사 데이터를 학습한 인식부(12)와, 판독 단위마다 인식부에 의해 인식된 인식 결과를 출력하는 제1 출력부(124)와, 화소 신호를 후단으로 출력하는 제2 출력부(143)와, 제1 출력부가 인식 결과를 출력하는 제1 타이밍과 제2 출력부가 화소 신호를 출력하는 제2 타이밍을 제어하기 위한 트리거 신호를 생성하는 트리거 생성부(16a)를 구비한다.

Description

촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
본 개시는 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램에 관한 것이다.
최근, 디지털 스틸 카메라, 디지털 비디오 카메라, 다기능형 휴대 전화기(스마트폰) 등에 탑재되는 소형 카메라 등의 촬상 장치의 고성능화에 따라, 촬상 화상에 포함되는 소정의 오브젝트를 인식하는 화상 인식 기능을 탑재하는 촬상 장치가 개발되고 있다.
특허문헌 1: 일본특허공개 제2017-112409호 공보
일반적으로, 화상 인식 기능에 있어서 인식 처리에 적합한 화상은, 사람에 의한 시인에 적합한 화상과는 다르다. 그 때문에, 화상 인식 기능을 탑재하는 촬상 장치에 있어서 인식의 정밀도를 높이려고 하는 경우, 인식 처리를 위해 촬상된 화상이, 시인용 화상으로서의 정보를 충분히 제공하는 것이 곤란하게 될 우려가 있다.
본 개시는, 인식 처리용 촬상과 시인용 촬상을 양립 가능한 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램을 제공하는 것을 목적으로 한다.
본 개시에 따른 촬상 장치는, 복수의 화소가 배열된 화소 영역을 가지며, 화소 영역에 포함되는 화소로부터 화소 신호를 판독하여 출력하는 촬상부와, 화소 영역의 일부로서 설정되는 판독 단위를 제어하는 판독 단위 제어부와, 판독 단위마다의 교사 데이터를 학습한 인식부와, 판독 단위마다 인식부에 의해 인식된 인식 결과를 출력하는 제1 출력부와, 화소 신호를 후단으로 출력하는 제2 출력부와, 제1 출력부가 인식 결과를 출력하는 제1 타이밍과 제2 출력부가 화소 신호를 출력하는 제2 타이밍을 제어하기 위한 트리거 신호를 생성하는 트리거 생성부를 구비한다.
도 1은 본 개시의 각 실시형태에 적용 가능한 촬상 장치의 일례의 구성을 나타내는 블록도이다.
도 2a는 각 실시형태에 따른 촬상 장치의 하드웨어 구성의 예를 나타내는 모식도이다.
도 2b는 각 실시형태에 따른 촬상 장치의 하드웨어 구성의 예를 나타내는 모식도이다.
도 3a는 각 실시형태에 따른 촬상 장치를 2층 구조의 적층형 CIS에 의해 형성한 예를 나타내는 도면이다.
도 3b는 각 실시형태에 따른 촬상 장치를 3층 구조의 적층형 CIS에 의해 형성한 예를 나타내는 도면이다.
도 4는 각 실시형태에 적용 가능한 센서부의 일례의 구성을 나타내는 블록도이다.
도 5a는 롤링 셔터 방식(rolling shutter method)을 설명하기 위한 모식도이다.
도 5b는 롤링 셔터 방식을 설명하기 위한 모식도이다.
도 5c는 롤링 셔터 방식을 설명하기 위한 모식도이다.
도 6a는 롤링 셔터 방식에 있어서의 라인 솎음(line thinning)을 설명하기 위한 모식도이다.
도 6b는 롤링 셔터 방식에 있어서의 라인 솎음을 설명하기 위한 모식도이다.
도 6c는 롤링 셔터 방식에 있어서의 라인 솎음을 설명하기 위한 모식도이다.
도 7a는 롤링 셔터 방식에 있어서의 다른 촬상 방법의 예를 모식적으로 나타내는 도면이다.
도 7b는 롤링 셔터 방식에 있어서의 다른 촬상 방법의 예를 모식적으로 나타내는 도면이다.
도 8a는 글로벌 셔터 방식(global shutter method)을 설명하기 위한 모식도이다.
도 8b는 글로벌 셔터 방식을 설명하기 위한 모식도이다.
도 8c는 글로벌 셔터 방식을 설명하기 위한 모식도이다.
도 9a는 글로벌 셔터 방식에 있어서 실현 가능한 샘플링의 패턴의 예를 모식적으로 나타내는 도면이다.
도 9b는 글로벌 셔터 방식에 있어서 실현 가능한 샘플링의 패턴의 예를 모식적으로 나타내는 도면이다.
도 10은 CNN에 의한 화상 인식 처리를 개략적으로 설명하기 위한 도면이다.
도 11은 인식 대상의 화상의 일부로부터 인식 결과를 얻는 화상 인식 처리를 개략적으로 설명하기 위한 도면이다.
도 12a는 시계열 정보를 사용하지 않는 경우의, DNN에 의한 식별 처리의 예를 개략적으로 나타내는 도면이다.
도 12b는 시계열 정보를 사용하지 않는 경우의, DNN에 의한 식별 처리의 예를 개략적으로 나타내는 도면이다.
도 13a는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제1 예를 개략적으로 나타내는 도면이다.
도 13b는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제1 예를 개략적으로 나타내는 도면이다.
도 14a는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제2 예를 개략적으로 나타내는 도면이다.
도 14b는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제2 예를 개략적으로 나타내는 도면이다.
도 15a는 프레임의 구동 속도와 화소 신호의 판독량과의 관계에 대해 설명하기 위한 도면이다.
도 15b는 프레임의 구동 속도와 화소 신호의 판독량과의 관계에 대해 설명하기 위한 도면이다.
도 16은 본 개시의 각 실시형태에 따른 인식 처리를 개략적으로 설명하기 위한 모식도이다.
도 17은 제1 실시형태에 따른 인식 처리부에 의한 인식 처리를 나타내는 일례의 플로우차트이다.
도 18은 1프레임분의 화상 데이터의 일례를 나타내는 도면이다.
도 19는 제1 실시형태에 따른 인식 처리부가 실행하는 기계 학습 처리의 흐름을 설명하기 위한 도면이다.
도 20a는 제1 실시형태의 응용예에 대해 설명하기 위한 모식도이다.
도 20b는 제1 실시형태의 응용예에 대해 설명하기 위한 모식도이다.
도 21은 제2 실시형태에 따른 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 22는 제2 실시형태에 따른 인식 처리부에 있어서의 처리의 예에 대해 보다 상세하게 나타내는 모식도이다.
도 23은 제2 실시형태에 따른 기능을 설명하기 위한 일례의 기능 블록도이다.
도 24는 제2 실시형태에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다.
도 25는 제2 실시형태에 따른 인식 처리를 개략적으로 나타내는 모식도이다.
도 26은 프레임 판독 도중에 인식 처리를 종료시키는 예에 대해 설명하기 위한 도면이다.
도 27은 프레임 판독 도중에 인식 처리를 종료시키는 예에 대해 설명하기 위한 도면이다.
도 28은 제2 실시형태에 따른 인식 처리를 나타내는 일례의 플로우차트이다.
도 29a는 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예를 나타내는 일례의 타임 차트이다.
도 29b는 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예를 나타내는 일례의 타임 차트이다.
도 30은 제2 실시형태에 따른 판독 및 인식 처리의 제어의 다른 예를 나타내는 일례의 타임 차트이다.
도 31은 제3 실시형태에 따른 제어를 나타내는 일례의 플로우차트이다.
도 32는 제3 실시형태에 따른 출력 제어 처리의 예를 모식적으로 나타내는 모식도이다.
도 33a는 제3 실시형태에 따른 촬상 장치의 인식 처리부측의 일례의 기능을 나타내는 기능 블록도이다.
도 33b는 제3 실시형태에 따른 촬상 장치의 시인 처리부측의 일례의 기능을 나타내는 기능 블록도이다.
도 34는 제3 실시형태에 따른, 시간에 따라 트리거 신호를 출력하는 경우의 처리를 나타내는 일례의 플로우차트이다.
도 35는 제3 실시형태의 제1 변형예에 따른 출력 제어 처리의 예를 모식적으로 나타내는 모식도이다.
도 36a는 제3 실시형태의 제1 변형예에 따른 촬상 장치의 인식 처리부측의 일례의 기능을 나타내는 기능 블록도이다.
도 36b는 제3 실시형태의 제1 변형예에 따른 촬상 장치의 시인 처리부측의 일례의 기능을 나타내는 기능 블록도이다.
도 37은 제3 실시형태의 제1 변형예에 따른 처리를 나타내는 일례의 플로우차트이다.
도 38은 제3 실시형태의 제2 변형예에 따른 출력 제어 처리의 예를 모식적으로 나타내는 모식도이다.
도 39a는 제3 실시형태의 제2 변형예에 따른 촬상 장치의 인식 처리부측의 일례의 기능을 나타내는 기능 블록도이다.
도 39b는 제3 실시형태의 제2 변형예에 따른 촬상 장치의 시인 처리부측의 일례의 기능을 나타내는 기능 블록도이다.
도 40은 제3 실시형태의 제2 변형예에 따른 처리를 나타내는 일례의 플로우차트이다.
도 41a는 제3 실시형태의 제3 변형예에 따른 촬상 장치의 인식 처리부측의 일례의 기능을 나타내는 기능 블록도이다.
도 41b는 제3 실시형태의 제3 변형예에 따른 촬상 장치의 시인 처리부측의 일례의 기능을 나타내는 기능 블록도이다.
도 42는 제3 실시형태의 제3 변형예에 따른 처리를 나타내는 일례의 플로우차트이다.
도 43은 제4 실시형태에 따른 출력 제어 처리의 예를 모식적으로 나타내는 모식도이다.
도 44는 제4 실시형태에 따른 촬상 장치의 일례의 기능을 나타내는 기능 블록도이다.
도 45는 제4 실시형태에 따른 처리를 나타내는 일례의 플로우차트이다.
도 46은 제4 실시형태의 제1 변형예에 따른 촬상 장치의 일례의 기능을 나타내는 기능 블록도이다.
도 47은 제4 실시형태의 제1 변형예에 따른 처리를 나타내는 일례의 플로우차트이다.
도 48은 제4 실시형태의 제2 변형예에 따른 출력 제어 처리의 예를 모식적으로 나타내는 모식도이다.
도 49는 제4 실시형태의 제2 변형예에 따른 촬상 장치(1)의 일례의 기능을 나타내는 기능 블록도이다.
도 50은 제4 실시형태의 제1 변형예에 따른 처리를 나타내는 일례의 플로우차트이다.
도 51은 제5 실시형태에 따른 조정(調停; mediation) 처리의 개요를 설명하기 위한 일례의 플로우차트이다.
도 52는 제5 실시형태에 적용 가능한 촬상 장치(1)의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 53은 제5 실시형태에 따른 조정 처리를 설명하기 위한 모식도이다.
도 54는 제5 실시형태에 따른 조정 처리를 나타내는 일례의 플로우차트이다.
도 55는 제5 실시형태의 제1 변형예에 적용 가능한 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 56은 제5 실시형태의 제1 변형예에 따른 조정 처리의 제1 예를 설명하기 위한 모식도이다.
도 57은 제5 실시형태의 제1 변형예에 따른 조정 처리의 제2 예를 설명하기 위한 모식도이다.
도 58은 제5 실시형태의 제1 변형예에 따른 조정 처리를 나타내는 일례의 플로우차트이다.
도 59는 제5 실시형태의 제2 변형예에 적용 가능한 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 60은 제5 실시형태의 제2 변형예에 따른 조정 처리를 설명하기 위한 모식도이다.
도 61은 제5 실시형태의 제2 변형예에 따른 조정 처리를 나타내는 일례의 플로우차트이다.
도 62는 제5 실시형태의 제3 변형예에 적용 가능한 촬상 장치(1)의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 63은 제5 실시형태의 제3 변형예에 따른 조정 처리를 나타내는 일례의 플로우차트이다.
도 64는 본 개시의 기술을 적용한 촬상 장치의 사용예를 설명하는 도면이다.
도 65는 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 66은 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
이하, 본 개시의 실시형태에 대해 도면에 기초하여 상세하게 설명한다. 한편, 이하의 실시형태에 있어서, 동일한 부위에는 동일한 부호를 부여함으로써 중복 설명을 생략한다.
이하, 본 개시의 실시형태에 대해 하기의 순서에 따라 설명한다.
1. 본 개시의 각 실시형태에 따른 구성예
2. 본 개시에 적용 가능한 기존 기술의 예
2-1. 롤링 셔터의 개요
2-2. 글로벌 셔터의 개요
2-3. DNN(Deep Neural Network)에 대해
2-3-1. CNN(Convolutional Neural Network)의 개요
2-3-2. RNN(Recurrent Neural Network)의 개요
2-4. 구동 속도에 대해
3. 본 개시의 개요
4. 제1 실시형태
4-1. 인식 처리부에 의한 동작 예
4-2. 인식 처리부에 의한 동작의 구체예
4-3. 제1 실시형태의 응용예
5. 제2 실시형태
5-0-1. 제2 실시형태에 따른 구성예
5-0-2. 제2 실시형태에 따른 인식 처리부에 있어서의 처리의 예
5-0-3. 제2 실시형태에 따른 인식 처리의 상세 내용
5-0-4. 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예
6. 제3 실시형태
6-0. 제3 실시형태의 개요
6-0-1. 시간에 따른 트리거 신호 출력의 예
6-1. 제3 실시형태의 제1 변형예
6-2. 제3 실시형태의 제2 변형예
6-3. 제3 실시형태의 제3 변형예
7. 제4 실시형태
7-1. 제4 실시형태의 제1 변형예
7-2. 제4 실시형태의 제2 변형예
8. 제5 실시형태
8-0-1. 조정 처리의 구체예
8-1. 제5 실시형태의 제1 변형예
8-2. 제5 실시형태의 제2 변형예
8-3. 제5 실시형태의 제3 변형예
9. 제6 실시형태
[1. 본 개시의 각 실시형태에 따른 구성예]
본 개시에 따른 촬상 장치의 구성에 대해 개략적으로 설명한다. 도 1은 본 개시의 각 실시형태에 적용 가능한 촬상 장치의 일례의 구성을 나타내는 블록도이다. 도 1에 있어서, 촬상 장치(1)는, 센서부(10)와, 센서 제어부(11)와, 인식 처리부(12)와, 메모리(13)와, 시인 처리부(14)와, 출력 제어부(15)를 포함하고, 이들 각 부가 CMOS(Complementary Metal Oxide Semiconductor)를 사용하여 일체적으로 형성된 CMOS 이미지 센서(CIS)이다. 한편, 촬상 장치(1)는, 이 예로 한정되지 않고, 적외광에 의한 촬상을 행하는 적외광 센서 등의 다른 종류의 광 센서여도 된다.
센서부(10)는, 광학부(30)를 통해 수광면에 조사된 광에 따른 화소 신호를 출력한다. 보다 구체적으로는, 센서부(10)는, 적어도 1개의 광전 변환 소자를 포함하는 화소가 행렬 형상으로 배열되는 화소 어레이를 갖는다. 화소 어레이에 행렬 형상으로 배열되는 각 화소에 의해 수광면이 형성된다. 센서부(10)는, 또한, 화소 어레이에 포함되는 각 화소를 구동하기 위한 구동 회로와, 각 화소로부터 판독된 신호에 대해 소정의 신호 처리를 실시하여 각 화소의 화소 신호로서 출력하는 신호 처리 회로를 포함한다. 센서부(10)는, 화소 영역에 포함되는 각 화소의 화소 신호를 디지털 형식의 화상 데이터로서 출력한다.
이하, 센서부(10)가 가지는 화소 어레이에 있어서, 화소 신호를 생성하기 위해 유효한 화소가 배치되는 영역을 프레임이라고 부른다. 프레임에 포함되는 각 화소로부터 출력된 각 화소 신호에 기초하는 화소 데이터에 의해 프레임 화상 데이터가 형성된다. 또한, 센서부(10)의 화소 배열에 있어서의 각 행을 각각 라인이라고 부르고, 라인에 포함되는 각 화소로부터 출력된 화소 신호에 기초하는 화소 데이터에 의해 라인 화상 데이터가 형성된다. 나아가, 센서부(10)가 수광면에 조사된 광에 따른 화소 신호를 출력하는 동작을 촬상이라고 부른다. 센서부(10)는, 후술하는 센서 제어부(11)로부터 공급되는 촬상 제어 신호에 따라, 촬상 시의 노출이나, 화소 신호에 대한 게인(아날로그 게인)이 제어된다.
센서 제어부(11)는, 예를 들면 마이크로프로세서에 의해 구성되고, 센서부(10)로부터의 화소 데이터의 판독을 제어하고, 프레임에 포함되는 각 화소로부터 판독된 각 화소 신호에 기초하는 화소 데이터를 출력한다. 센서 제어부(11)로부터 출력된 화소 데이터는 인식 처리부(12) 및 시인 처리부(14)로 전달된다.
또한, 센서 제어부(11)는, 센서부(10)에 있어서의 촬상을 제어하기 위한 촬상 제어 신호를 생성한다. 센서 제어부(11)는, 예를 들면, 후술하는 인식 처리부(12) 및 시인 처리부(14)로부터의 지시에 따라, 촬상 제어 신호를 생성한다. 촬상 제어 신호는, 전술한, 센서부(10)에 있어서의 촬상 시의 노출이나 아날로그 게인을 나타내는 정보를 포함한다. 촬상 제어 신호는, 나아가, 센서부(10)가 촬상 동작을 행하기 위해 사용하는 제어 신호(수직 동기 신호, 수평 동기 신호 등)를 포함한다. 센서 제어부(11)는, 생성된 촬상 제어 신호를 센서부(10)에 공급한다.
광학부(30)는, 피사체로부터의 광을 센서부(10)의 수광면에 조사시키기 위한 것이며, 예를 들면 센서부(10)에 대응하는 위치에 배치된다. 광학부(30)는, 예를 들면 복수의 렌즈와, 입사광에 대한 개구부의 크기를 조정하기 위한 조리개 기구와, 수광면에 조사되는 광의 초점을 조정하기 위한 포커스 기구를 포함한다. 광학부(30)는, 수광면에 광이 조사되는 시간을 조정하는 셔터 기구(기계적 셔터)를 더 포함해도 된다. 광학부(30)가 가지는 조리개 기구나 포커스 기구, 셔터 기구는, 예를 들면 센서 제어부(11)에 의해 제어하게 할 수 있다. 이에 한정되지 않고, 광학부(30)에 있어서의 조리개나 포커스는, 촬상 장치(1)의 외부로부터 제어하게도 할 수 있다. 또한, 광학부(30)를 촬상 장치(1)와 일체적으로 구성하는 것도 가능하다.
인식 처리부(12)는, 센서 제어부(11)로부터 전달된 화소 데이터에 기초하여, 화소 데이터에 의한 화상에 포함되는 오브젝트의 인식 처리를 행한다. 본 개시에 있어서는, 예를 들면, DSP(Digital Signal Processor)가, 교사 데이터에 의해 미리 학습되어 메모리(13)에 학습 모델로서 기억되는 프로그램을 판독하여 실행함으로써, DNN(Deep Neural Network)을 사용한 인식 처리를 행하는, 기계 학습부로서의 인식 처리부(12)가 구성된다. 인식 처리부(12)는, 인식 처리에 필요한 화소 데이터를 센서부(10)로부터 판독하도록, 센서 제어부(11)에 대해 지시할 수 있다. 인식 처리부(12)에 의한 인식 결과는 출력 제어부(15)로 전달된다.
시인 처리부(14)는, 센서 제어부(11)로부터 전달된 화소 데이터에 대해, 사람이 시인하기에 적합한 화상을 얻기 위한 처리를 실행하고, 예를 들면, 한 세트의 화소 데이터로 이루어지는 화상 데이터를 출력한다. 예를 들면, ISP(Image Signal Processor)가 도시되지 않은 메모리에 미리 기억되는 프로그램을 판독하여 실행함으로써, 해당 시인 처리부(14)가 구성된다.
예를 들면, 시인 처리부(14)는, 센서부(10)에 포함되는 각 화소에 컬러 필터가 설치되고, 화소 데이터가 R(적색), G(녹색), B(청색)의 각 색 정보를 갖고 있는 경우, 디모자이크(demosaic) 처리, 화이트 밸런스 처리 등을 실행할 수 있다. 또한, 시인 처리부(14)는, 시인 처리에 필요한 화소 데이터를 센서부(10)로부터 판독하도록, 센서 제어부(11)에 대해 지시할 수 있다. 시인 처리부(14)에 의해 화소 데이터가 화상 처리된 화상 데이터는, 출력 제어부(15)로 전달된다.
출력 제어부(15)는, 예를 들면 마이크로프로세서에 의해 구성되고, 인식 처리부(12)로부터 전달된 인식 결과와, 시인 처리부(14)로부터 시인 처리 결과로서 전달된 화상 데이터 중 일방 또는 양쪽 모두를, 촬상 장치(1)의 외부로 출력한다. 출력 제어부(15)는, 화상 데이터를, 예를 들면 표시 디바이스를 갖는 표시부(31)에 출력할 수 있다. 이에 의해, 사용자는, 표시부(31)에 의해 표시된 화상 데이터를 시인할 수 있다. 한편, 표시부(31)는, 촬상 장치(1)에 내장되는 것이어도 되고, 촬상 장치(1)의 외부의 구성이어도 된다.
도 2a 및 도 2b는 각 실시형태에 따른 촬상 장치(1)의 하드웨어 구성의 예를 나타내는 모식도이다. 도 2a는, 1개의 칩(2)에 대해, 도 1에 나타낸 구성 중 센서부(10), 센서 제어부(11), 인식 처리부(12), 메모리(13), 시인 처리부(14) 및 출력 제어부(15)가 탑재되는 예이다. 한편, 도 2a에 있어서, 메모리(13) 및 출력 제어부(15)는 번잡함을 피하기 위해 생략되어 있다.
도 2a에 나타내는 구성에서는, 인식 처리부(12)에 의한 인식 결과는, 도시되지 않은 출력 제어부(15)를 통해 칩(2)의 외부로 출력된다. 또한, 도 2a의 구성에 있어서는, 인식 처리부(12)는, 인식에 사용하기 위한 화소 데이터를, 센서 제어부(11)로부터, 칩(2)의 내부 인터페이스를 통해 취득할 수 있다.
도 2b는 1개의 칩(2)에 대해, 도 1에 나타낸 구성 중 센서부(10), 센서 제어부(11), 시인 처리부(14) 및 출력 제어부(15)가 탑재되고, 인식 처리부(12) 및 메모리(13)(도시하지 않음)가 칩(2)의 외부에 놓여진 예이다. 도 2b에 있어서도, 전술한 도 2a와 마찬가지로, 메모리(13) 및 출력 제어부(15)는, 번잡함을 피하기 위해 생략되어 있다.
이 도 2b의 구성에 있어서는, 인식 처리부(12)는, 인식에 사용하기 위한 화소 데이터를, 칩간의 통신을 행하기 위한 인터페이스를 통해 취득하게 된다. 또한, 도 2b에서는, 인식 처리부(12)에 의한 인식 결과가, 인식 처리부(12)로부터 직접적으로 외부로 출력되도록 나타내져 있지만, 이것은 이 예에 한정되지 않는다. 즉, 도 2b의 구성에 있어서, 인식 처리부(12)는, 인식 결과를 칩(2)으로 되돌리고, 칩(2)에 탑재되는 도시하지 않은 출력 제어부(15)로부터 출력시키도록 해도 된다.
도 2a에 나타내는 구성은, 인식 처리부(12)가 센서 제어부(11)와 함께 칩(2)에 탑재되어, 인식 처리부(12)와 센서 제어부(11) 사이의 통신을, 칩(2)의 내부 인터페이스에 의해 고속으로 실행할 수 있다. 한편, 도 2a에 나타내는 구성에서는 인식 처리부(12)의 교체가 불가능하여, 인식 처리의 변경이 어렵다. 이에 대해, 도 2b에 나타내는 구성은, 인식 처리부(12)가 칩(2)의 외부에 설치되기 때문에, 인식 처리부(12)와 센서 제어부(11) 사이의 통신을, 칩간의 인터페이스를 통해 행할 필요가 있다. 그 때문에, 인식 처리부(12)와 센서 제어부(11) 사이의 통신은, 도 2a의 구성과 비교하여 저속으로 되어, 제어에 지연이 발생할 가능성이 있다. 한편, 인식 처리부(12)의 교체가 용이하여, 다양한 인식 처리의 실현이 가능하다.
이하, 특별히 기재가 없는 한, 촬상 장치(1)는, 도 2a의, 1개의 칩(2)에 센서부(10), 센서 제어부(11), 인식 처리부(12), 메모리(13), 시인 처리부(14) 및 출력 제어부(15)가 탑재되는 구성을 채용하는 것으로 한다.
전술한 도 2a에 나타내는 구성에 있어서, 촬상 장치(1)는, 1개의 기판 상에 형성할 수 있다. 이에 한정되지 않고, 촬상 장치(1)를, 복수의 반도체 칩이 적층되어 일체적으로 형성된 적층형 CIS로 해도 된다.
일례로서, 촬상 장치(1)를, 반도체 칩을 2층으로 적층한 2층 구조에 의해 형성할 수 있다. 도 3a는 각 실시형태에 따른 촬상 장치(1)를 2층 구조의 적층형 CIS에 의해 형성한 예를 나타내는 도면이다. 도 3a의 구조에서는, 제1 층의 반도체 칩에 화소부(20a)를 형성하고, 제2 층의 반도체 칩에 메모리+로직부(20b)를 형성하고 있다. 화소부(20a)는, 적어도 센서부(10)에 있어서의 화소 어레이를 포함한다. 메모리+로직부(20b)는, 예를 들면, 센서 제어부(11), 인식 처리부(12), 메모리(13), 시인 처리부(14) 및 출력 제어부(15)와, 촬상 장치(1)와 외부와의 통신을 행하기 위한 인터페이스를 포함한다. 메모리+로직부(20b)는, 나아가, 센서부(10)에 있어서의 화소 어레이를 구동하는 구동 회로의 일부 또는 전부를 포함한다. 또한, 도시는 생략하지만, 메모리+로직부(20b)는, 예를 들면 시인 처리부(14)가 화상 데이터의 처리를 위해 사용하는 메모리를 더 포함할 수 있다.
도 3a의 우측에 나타내는 바와 같이, 제1 층의 반도체 칩과, 제2 층의 반도체 칩을 전기적으로 접촉시키면서 접합함으로써, 촬상 장치(1)를 1개의 고체 촬상 소자로서 구성한다.
다른 예로서, 촬상 장치(1)를, 반도체 칩을 3층으로 적층한 3층 구조에 의해 형성할 수 있다. 도 3b는 각 실시형태에 따른 촬상 장치(1)를 3층 구조의 적층형 CIS에 의해 형성한 예를 나타내는 도면이다. 도 3b의 구조에서는, 제1 층의 반도체 칩에 화소부(20a)를 형성하고, 제2 층의 반도체 칩에 메모리부(20c)를 형성하고, 제3층의 반도체 칩에 로직부(20b')를 형성하고 있다. 이 경우, 로직부(20b')는, 예를 들면, 센서 제어부(11), 인식 처리부(12), 시인 처리부(14) 및 출력 제어부(15)와, 촬상 장치(1)와 외부와의 통신을 행하기 위한 인터페이스를 포함한다. 또한, 메모리부(20c)는, 메모리(13)와, 예를 들면 시인 처리부(14)가 화상 데이터의 처리를 위해 사용하는 메모리를 포함할 수 있다. 메모리(13)는 로직부(20b')에 포함시켜도 된다.
도 3b의 우측에 나타내는 바와 같이, 제1 층의 반도체 칩과, 제2 층의 반도체 칩과, 제3층의 반도체 칩을 전기적으로 접촉시키면서 접합함으로써, 촬상 장치(1)를 1개의 고체 촬상 소자로서 구성한다.
도 4는 각 실시형태에 적용 가능한 센서부(10)의 일례의 구성을 나타내는 블록도이다. 도 4에 있어서, 센서부(10)는, 화소 어레이부(101)와, 수직 주사부(102)와, AD(Analog to Digital) 변환부(103)와, 화소 신호선(106)과, 수직 신호선(VSL)과, 제어부(1100)와, 신호 처리부(1101)를 포함한다. 한편, 도 4에 있어서, 제어부(1100) 및 신호 처리부(1101)는, 예를 들면 도 1에 나타낸 센서 제어부(11)에 포함되는 것으로 할 수도 있다.
화소 어레이부(101)는 각각 수광한 광에 대해 광전 변환을 행하는, 예를 들면 포토다이오드에 의한 광전 변환 소자와, 광전 변환 소자로부터 전하의 판독을 행하는 회로를 포함하는 복수의 화소 회로(100)를 포함한다. 화소 어레이부(101)에 있어서, 복수의 화소 회로(100)는, 수평 방향(행 방향) 및 수직 방향(열 방향)으로 행렬 형상의 배열로 배치된다. 화소 어레이부(101)에 있어서, 화소 회로(100)의 행 방향의 배열을 라인이라고 부른다. 예를 들면, 1920화소×1080라인으로 1프레임의 화상이 형성되는 경우, 화소 어레이부(101)는, 적어도 1920개의 화소 회로(100)가 포함되는 라인을, 적어도 1080라인 포함한다. 프레임에 포함되는 화소 회로(100)로부터 판독된 화소 신호에 의해 1프레임의 화상(화상 데이터)이 형성된다.
이하, 센서부(10)에 있어서 프레임에 포함되는 각 화소 회로(100)로부터 화소 신호를 판독하는 동작을, 적절히, 프레임으로부터 화소를 판독하는 등과 같이 기술한다. 또한, 프레임에 포함되는 라인이 가지는 각 화소 회로(100)로부터 화소 신호를 판독하는 동작을, 적절히, 라인을 판독하는 등과 같이 기술한다.
또한, 화소 어레이부(101)에는, 각 화소 회로(100)의 행 및 열에 대해, 행마다 화소 신호선(106)이 접속되고, 열마다 수직 신호선(VSL)이 접속된다. 화소 신호선(106)의 화소 어레이부(101)와 접속되지 않는 단부는, 수직 주사부(102)에 접속된다. 수직 주사부(102)는, 후술하는 제어부(1100)의 제어에 따라, 화소로부터 화소 신호를 판독할 때의 구동 펄스 등의 제어 신호를, 화소 신호선(106)을 통해 화소 어레이부(101)로 전송한다. 수직 신호선(VSL)의 화소 어레이부(101)와 접속되지 않는 단부는, AD 변환부(103)에 접속된다. 화소로부터 판독된 화소 신호는, 수직 신호선(VSL)을 통해 AD 변환부(103)로 전송된다.
화소 회로(100)로부터의 화소 신호의 판독 제어에 대해 개략적으로 설명한다. 화소 회로(100)로부터의 화소 신호의 판독은, 노출에 의해 광전 변환 소자에 축적된 전하를 부유 확산층(FD; Floating Diffusion)으로 전송하고, 부유 확산층에 있어서 전송된 전하를 전압으로 변환함으로써 행한다. 부유 확산층에 있어서 전하가 변환된 전압은, 증폭기를 통해 수직 신호선(VSL)으로 출력된다.
보다 구체적으로는, 화소 회로(100)에 있어서, 노출 중에는, 광전 변환 소자와 부유 확산층의 사이를 오프(열린) 상태로 하여, 광전 변환 소자에서, 광전 변환에 의해 입사된 광에 따라 생성된 전하를 축적시킨다. 노출 종료 후, 화소 신호선(106)을 통해 공급되는 선택 신호에 따라 부유 확산층과 수직 신호선(VSL)을 접속한다. 나아가, 화소 신호선(106)을 통해 공급되는 리셋 펄스에 따라 부유 확산층을 전원 전압(VDD) 또는 블랙 레벨 전압의 공급선과 단기간에 접속하여, 부유 확산층을 리셋한다. 수직 신호선(VSL)에는, 부유 확산층의 리셋 레벨의 전압(전압A로 함)이 출력된다. 그 후, 화소 신호선(106)을 통해 공급되는 전송 펄스에 의해 광전 변환 소자와 부유 확산층의 사이를 온(닫힌) 상태로 하여, 광전 변환 소자에 축적된 전하를 부유 확산층으로 전송한다. 수직 신호선(VSL)에 대해, 부유 확산층의 전하량에 따른 전압(전압B로 함)이 출력된다.
AD 변환부(103)는, 수직 신호선(VSL)마다 설치된 AD 변환기(107)와, 참조 신호 생성부(104)와, 수평 주사부(105)를 포함한다. AD 변환기(107)는, 화소 어레이부(101)의 각 열(컬럼)에 대해 AD 변환 처리를 행하는 컬럼 AD 변환기이다. AD 변환기(107)는, 수직 신호선(VSL)을 통해 화소 회로(100)로부터 공급된 화소 신호에 대해 AD 변환 처리를 실시하고, 노이즈 저감을 행하는 상관 이중 샘플링(CDS: Correlated Double Sampling) 처리를 위한 2개의 디지털 값(전압A 및 전압B에 각각 대응하는 값)을 생성한다.
AD 변환기(107)는, 생성된 2개의 디지털 값을 신호 처리부(1101)에 공급한다. 신호 처리부(1101)는, AD 변환기(107)로부터 공급되는 2개의 디지털 값에 기초하여 CDS 처리를 행하여, 디지털 신호에 의한 화소 신호(화소 데이터)를 생성한다. 신호 처리부(1101)에 의해 생성된 화소 데이터는, 센서부(10)의 외부로 출력된다.
참조 신호 생성부(104)는, 제어부(1100)로부터 입력되는 제어 신호에 기초하여, 각 AD 변환기(107)가 화소 신호를 2개의 디지털 값으로 변환하기 위해 사용하는 램프 신호를 참조 신호로서 생성한다. 램프 신호는, 레벨(전압값)이 시간에 대해 일정한 기울기로 저하되는 신호, 또는 레벨이 계단 형상으로 저하되는 신호이다. 참조 신호 생성부(104)는 생성된 램프 신호를 각 AD 변환기(107)에 공급한다. 참조 신호 생성부(104)는, 예를 들면 DAC(Digital to Analog Converter) 등을 사용하여 구성된다.
참조 신호 생성부(104)로부터, 소정의 경사를 따라 계단 형상으로 전압이 강하하는 램프 신호가 공급되면, 카운터에 의해 클록 신호에 따라 카운트가 개시된다. 비교기는, 수직 신호선(VSL)로부터 공급되는 화소 신호의 전압과, 램프 신호의 전압을 비교하고, 램프 신호의 전압이 화소 신호의 전압에 걸치는 타이밍에서 카운터에 의한 카운트를 정지시킨다. AD 변환기(107)는, 카운트가 정지된 시간의 카운트 값에 따른 값을 출력함으로써, 아날로그 신호에 의한 화소 신호를, 디지털 값으로 변환한다.
AD 변환기(107)는, 생성된 2개의 디지털 값을 신호 처리부(1101)에 공급한다. 신호 처리부(1101)는, AD 변환기(107)로부터 공급되는 2개의 디지털 값에 기초하여 CDS 처리를 행하여, 디지털 신호에 의한 화소 신호(화소 데이터)를 생성한다. 신호 처리부(1101)에 의해 생성된 디지털 신호에 의한 화소 신호는, 센서부(10)의 외부로 출력된다.
수평 주사부(105)는, 제어부(1100)의 제어 하에서, 각 AD 변환기(107)를 소정의 순서로 선택하는 선택 주사를 행함으로써, 각 AD 변환기(107)가 일시적으로 보유하고 있는 각 디지털 값을 신호 처리부(1101)에 순차적으로 출력시킨다. 수평 주사부(105)는, 예를 들면 시프트 레지스터나 어드레스 디코더 등을 사용하여 구성된다.
제어부(1100)는, 센서 제어부(11)로부터 공급되는 촬상 제어 신호에 따라, 수직 주사부(102), AD 변환부(103), 참조 신호 생성부(104) 및 수평 주사부(105) 등의 구동 제어를 행한다. 제어부(1100)는, 수직 주사부(102), AD 변환부(103), 참조 신호 생성부(104) 및 수평 주사부(105)의 동작 기준이 되는 각종의 구동 신호를 생성한다. 제어부(1100)는, 예를 들면, 촬상 제어 신호에 포함되는 수직 동기 신호 또는 외부 트리거 신호와, 수평 동기 신호에 기초하여 수직 주사부(102)가 화소 신호선(106)을 통해 각 화소 회로(100)에 공급하기 위한 제어 신호를 생성한다. 제어부(1100)는, 생성된 제어 신호를 수직 주사부(102)에 공급한다.
또한, 제어부(1100)는, 예를 들면, 센서 제어부(11)로부터 공급되는 촬상 제어 신호에 포함되는, 아날로그 게인을 나타내는 정보를 AD 변환부(103)로 전달한다. AD 변환부(103)는, 이 아날로그 게인을 나타내는 정보에 따라, AD 변환부(103)에 포함되는 각 AD 변환기(107)에 수직 신호선(VSL)을 통해 입력되는 화소 신호의 게인을 제어한다.
수직 주사부(102)는, 제어부(1100)로부터 공급되는 제어 신호에 기초하여 화소 어레이부(101)의 선택된 화소 행의 화소 신호선(106)에 구동 펄스를 포함하는 각종 신호를, 라인마다 각 화소 회로(100)에 공급하고, 각 화소 회로(100)로부터, 화소 신호를 수직 신호선(VSL)에 출력시킨다. 수직 주사부(102)는, 예를 들면 시프트 레지스터나 어드레스 디코더 등을 사용하여 구성된다. 또한, 수직 주사부(102)는, 제어부(1100)로부터 공급되는 노출을 나타내는 정보에 따라, 각 화소 회로(100)에 있어서의 노출을 제어한다.
이와 같이 구성된 센서부(10)는, AD 변환기(107)가 열마다 배치된 컬럼 AD 방식의 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서이다.
[2. 본 개시에 적용 가능한 기존 기술의 예]
본 개시에 따른 각 실시형태의 설명에 앞서, 이해를 용이하기 하기 위해, 본 개시에 적용 가능한 기존 기술에 대해 개략적으로 설명한다.
(2-1. 롤링 셔터의 개요)
화소 어레이부(101)에 의한 촬상을 행할 때의 촬상 방식으로서, 롤링 셔터(RS) 방식과 글로벌 셔터(GS) 방식이 알려져 있다. 먼저, 롤링 셔터 방식에 대해 개략적으로 설명한다. 도 5a, 도 5b 및 도 5c는 롤링 셔터 방식을 설명하기 위한 모식도이다. 롤링 셔터 방식에서는, 도 5a에 나타내는 바와 같이, 프레임(200)의, 예를 들면 상단의 라인(201)으로부터 라인 단위로 순서대로 촬상을 행한다.
한편, 상기 설명에서는, 「촬상」을, 센서부(10)가 수광면에 조사된 광에 따른 화소 신호를 출력하는 동작을 가리킨다고 설명하였다. 보다 상세하게는, 「촬상」은, 화소에 있어서 노출을 행하고, 화소에 포함되는 광전 변환 소자에 노출에 의해 축적된 전하에 기초한 화소 신호를 센서 제어부(11)에 전송할 때까지의 일련의 동작을 가리키는 것으로 한다. 또한, 프레임은, 전술한 바와 같이, 화소 어레이부(101)에 있어서, 화소 신호를 생성하기 위해 유효한 화소 회로(100)가 배치되는 영역을 가리킨다.
예를 들면, 도 4의 구성에 있어서, 하나의 라인에 포함되는 각 화소 회로(100)에 있어서 노출을 동시에 실행한다. 노출의 종료 후, 노출에 의해 축적된 전하에 기초하는 화소 신호를, 해당 라인에 포함되는 각 화소 회로(100)에 있어서 일제히, 각 화소 회로(100)에 대응하는 각 수직 신호선(VSL)을 통해 각각 전송한다. 이 동작을 라인 단위로 순차적으로 실행함으로써, 롤링 셔터에 의한 촬상을 실현할 수 있다.
도 5b는 롤링 셔터 방식에 있어서의 촬상과 시간의 관계의 예를 모식적으로 나타내고 있다. 도 5b에 있어서, 종축은 라인 위치, 횡축은 시간을 나타낸다. 롤링 셔터 방식에서는, 각 라인에 있어서의 노출이 라인 순차적으로 행해지기 때문에, 도 5b에 나타내는 바와 같이, 각 라인에 있어서의 노출의 타이밍이 라인의 위치에 따라 순서대로 시프트되게 된다. 따라서, 예를 들면 촬상 장치(1)와 피사체와의 수평 방향의 위치 관계가 고속으로 변화하는 경우, 도 5c에 예시되는 바와 같이, 촬상된 프레임(200)의 화상에 왜곡이 생긴다. 도 5c의 예에서는, 프레임(200)에 대응하는 화상(202)이, 촬상 장치(1)와 피사체와의 수평 방향의 위치 관계의 변화 속도 및 변화 방향에 따른 각도로 기울어진 화상으로 되어 있다.
롤링 셔터 방식에 있어서, 라인을 솎아내어 촬상하는 것도 가능하다. 도 6a, 도 6b 및 도 6c는, 롤링 셔터 방식에 있어서의 라인 솎음을 설명하기 위한 모식도이다. 도 6a에 나타내는 바와 같이, 전술한 도 5a의 예와 마찬가지로, 프레임(200)의 상단 라인(201)으로부터 프레임(200)의 하단을 향해 라인 단위로 촬상을 행한다. 이 때, 소정 수마다 라인을 건너뛰고 읽으면서 촬상을 행한다.
여기서는, 설명을 위해, 1라인 솎음에 의해 1라인 걸러서 촬상을 행하는 것으로 한다. 즉, 제n 라인의 촬상의 다음은 제(n+2) 라인의 촬상을 행한다. 이 때, 제n 라인의 촬상으로부터 제(n+2) 라인의 촬상까지의 시간이, 솎음을 행하지 않은 경우의, 제n 라인의 촬상으로부터 제(n+1) 라인의 촬상까지의 시간과 동등한 것으로 한다.
도 6b는 롤링 셔터 방식에 있어서 1라인 솎음을 행한 경우의 촬상과 시간의 관계의 예를 모식적으로 나타내고 있다. 도 6b에 있어서, 종축은 라인 위치, 횡축은 시간을 나타낸다. 도 6b에 있어서, 노출A는 솎음을 행하지 않은 도 5b의 노출에 대응하고, 노출B는 1라인 솎음을 행한 경우의 노출을 나타내고 있다. 노출B에 나타내는 바와 같이, 라인 솎음을 행함으로써, 라인 솎음을 행하지 않은 경우에 비해, 동일한 라인 위치에서의 노출의 타이밍의 어긋남을 단축시킬 수 있다. 따라서, 도 6c에 화상(203)으로서 예시되는 바와 같이, 촬상된 프레임(200)의 화상에 생기는 기울기 방향의 왜곡이, 도 5c에 나타낸 라인 솎음을 행하지 않은 경우에 비해 작아진다. 한편, 라인 솎음을 행하는 경우에는, 라인 솎음을 행하지 않은 경우에 비해, 화상의 해상도가 낮아진다.
상기 설명에서는, 롤링 셔터 방식에 있어서 프레임(200)의 상단으로부터 하단을 향해 라인 순차적으로 촬상을 행하는 예에 대해 설명하였지만, 이것은 이 예에 한정되지 않는다. 도 7a 및 도 7b는, 롤링 셔터 방식에 있어서의 다른 촬상 방법의 예를 모식적으로 나타내는 도면이다. 예를 들면, 도 7a에 나타내는 바와 같이, 롤링 셔터 방식에 있어서, 프레임(200)의 하단으로부터 상단을 향해 라인 순차적인 촬상을 행할 수 있다. 이 경우에는, 프레임(200)의 상단으로부터 하단을 향해 라인 순차적으로 촬상한 경우에 비해, 화상(202)의 왜곡의 수평 방향의 방향이 반대로 된다.
또한, 예를 들면, 화소 신호를 전송하는 수직 신호선(VSL)의 범위를 설정함으로써, 라인의 일부를 선택적으로 판독하는 것도 가능하다. 나아가, 촬상을 행하는 라인과, 화소 신호를 전송하는 수직 신호선(VSL)을 각각 설정함으로써, 촬상을 개시 및 종료하는 라인을, 프레임(200)의 상단 및 하단 이외로 하는 것도 가능하다. 도 7b는 폭 및 높이가 프레임(200)의 폭 및 높이에 각각 미치지 않는 사각형의 영역(205)을 촬상의 범위로 한 예를 모식적으로 나타내고 있다. 도 7b의 예에서는, 영역(205)의 상단의 라인(204)로부터 라인 순차적으로 영역(205)의 하단을 향해서 촬상을 행하고 있다.
(2-2. 글로벌 셔터의 개요)
다음으로, 화소 어레이부(101)에 의한 촬상을 행할 때의 촬상 방식으로서, 글로벌 셔터(GS) 방식에 대해 개략적으로 설명한다. 도 8a, 도 8b 및 도 8c는 글로벌 셔터 방식을 설명하기 위한 모식도이다. 글로벌 셔터 방식에서는, 도 8a에 나타내는 바와 같이, 프레임(200)에 포함되는 전체 화소 회로(100)에서 동시에 노출을 행한다.
도 4의 구성에 있어서 글로벌 셔터 방식을 실현하는 경우, 일례로서, 각 화소 회로(100)에 있어서 광전 변환 소자와 FD의 사이에 커패시터를 더 설치한 구성으로 하는 것이 생각된다. 그리고, 광전 변환 소자와 해당 커패시터의 사이에 제1 스위치를, 해당 커패시터와 부유 확산층의 사이에 제2 스위치를 각각 설치하고, 이들 제1 및 제2 스위치 각각의 개폐를, 화소 신호선(106)을 통해 공급되는 펄스에 의해 제어하는 구성으로 한다.
이러한 구성에 있어서, 노출 기간 중에는, 프레임(200)에 포함되는 전체 화소 회로(100)에 있어서, 제1 및 제2 스위치를 각각 열고, 노출 종료에서 제1 스위치를 열림으로부터 닫힘으로 하여 광전 변환 소자부터 커패시터로 전하를 전송한다. 이후, 커패시터를 광전 변환 소자로 간주하여, 롤링 셔터 방식에서 설명한 판독 동작과 마찬가지의 시퀀스로, 커패시터로부터 전하를 판독한다. 이에 의해, 프레임(200)에 포함되는 전체 화소 회로(100)에 있어서 동시 노출이 가능해진다.
도 8b는 글로벌 셔터 방식에 있어서의 촬상과 시간의 관계의 예를 모식적으로 나타내고 있다. 도 8b에 있어서, 종축은 라인 위치, 횡축은 시간을 나타낸다. 글로벌 셔터 방식에서는, 프레임(200)에 포함되는 전체 화소 회로(100)에 있어서 동시에 노출이 행해지기 때문에, 도 8b에 나타내는 바와 같이, 각 라인에 있어서의 노출의 타이밍을 동일하게 할 수 있다. 따라서, 예를 들면 촬상 장치(1)와 피사체와의 수평 방향의 위치 관계가 고속으로 변화되는 경우라 하더라도, 도 8c에 예시되는 바와 같이, 촬상된 프레임(200)의 화상(206)에는, 해당 변화에 따른 왜곡이 생기지 않는다.
글로벌 셔터 방식에서는, 프레임(200)에 포함되는 전체 화소 회로(100)에 있어서의 노출 타이밍의 동시성을 확보할 수 있다. 그 때문에, 각 라인의 화소 신호선(106)에 의해 공급하는 각 펄스의 타이밍과, 각 수직 신호선(VSL)에 의한 전송의 타이밍을 제어함으로써, 다양한 패턴으로의 샘플링(화소 신호의 판독)을 실현할 수 있다.
도 9a 및 도 9b는 글로벌 셔터 방식에 있어서 실현 가능한 샘플링의 패턴의 예를 모식적으로 나타내는 도면이다. 도 9a는 프레임(200)에 포함되는, 행렬 형상으로 배열된 각 화소 회로(100)로부터, 화소 신호를 판독하는 샘플(208)을 체크무늬 형상으로 추출하는 예이다. 또한, 도 9b는 해당 각 화소 회로(100)로부터, 화소 신호를 판독하는 샘플(208)을 격자 형상으로 추출하는 예이다. 또한, 글로벌 셔터 방식에 있어서도, 전술한 롤링 셔터 방식과 마찬가지로, 라인 순차적으로 촬상을 행할 수 있다.
(2-3. DNN에 대해)
다음으로, 각 실시형태에 적용 가능한 DNN(Deep Neural Network)을 사용한 인식 처리에 대해 개략적으로 설명한다. 각 실시형태에서는, DNN 중, CNN(Convolutional Neural Network)과 RNN(Recurrent Neural Network)을 사용하여 화상 데이터에 대한 인식 처리를 행한다. 이하, 「화상 데이터에 대한 인식 처리」를, 적절히, 「화상 인식 처리」등이라고 부른다.
(2-3-1. CNN의 개요)
먼저, CNN에 대해 개략적으로 설명한다. CNN에 의한 화상 인식 처리는, 일반적으로는, 예를 들면 행렬 형상으로 배열된 화소에 의한 화상 정보에 기초하여 화상 인식 처리를 행한다. 도 10은 CNN에 의한 화상 인식 처리를 개략적으로 설명하기 위한 도면이다. 인식 대상의 오브젝트인 숫자 「8」을 묘화한 화상(50)의 전체 화소 정보(51)에 대해, 소정 방식으로 학습된 CNN(52)에 의한 처리를 실시한다. 이에 의해, 인식 결과(53)로서 숫자 「8」이 인식된다.
이에 대해, 라인마다의 화상에 기초하여 CNN에 의한 처리를 실시하여, 인식 대상의 화상의 일부로부터 인식 결과를 얻는 것도 가능하다. 도 11은 이 인식 대상의 화상의 일부로부터 인식 결과를 얻는 화상 인식 처리를 개략적으로 설명하기 위한 도면이다. 도 11에 있어서, 화상(50')은 인식 대상의 오브젝트인 숫자 「8」을 라인 단위로 부분적으로 취득한 것이다. 이 화상(50')의 화소 정보(51')를 형성하는 예를 들면 라인마다의 화소 정보(54a, 54b 및 54c)에 대해 순차적으로, 소정 방식으로 학습된 CNN(52')에 의한 처리를 실시한다.
예를 들면, 제1 라인째의 화소 정보(54a)에 대한 CNN(52')에 의한 인식 처리에 의해 얻어진 인식 결과(53a)는 유효한 인식 결과가 아니었던 것으로 한다. 여기서, 유효한 인식 결과란, 예를 들면, 인식된 결과에 대한 신뢰도를 나타내는 스코어가 소정 값 이상인 인식 결과를 가리킨다. CNN(52')은, 이 인식 결과(53a)에 기초하여 내부 상태의 갱신(55)을 행한다. 다음으로, 제2 라인째의 화소 정보(54b)에 대해, 이전의 인식 결과(53a)에 의해 내부 상태의 갱신(55)이 행해진 CNN(52')에 의해 인식 처리가 행해진다. 도 11에서는, 그 결과, 인식 대상의 숫자가 「8」 또는 「9」 중 어느 하나인 것을 나타내는 인식 결과(53b)가 얻어지고 있다. 나아가, 이 인식 결과(53b)에 기초하여 CNN(52')의 내부 정보의 갱신(55)을 행한다. 다음으로, 제3 라인째의 화소 정보(54c)에 대해, 이전의 인식 결과(53b)에 의해 내부 상태의 갱신(55)이 행해진 CNN(52')에 의해 인식 처리가 행해진다. 도 11에서는, 그 결과, 인식 대상의 숫자가 「8」 또는 「9」 중 「8」로 좁혀진다.
여기서, 이 도 11에 나타낸 인식 처리는, 이전의 인식 처리의 결과를 사용하여 CNN의 내부 상태를 갱신하고, 이 내부 상태가 갱신된 CNN에 의해, 이전의 인식 처리를 행한 라인에 인접하는 라인의 화소 정보를 사용하여 인식 처리를 행하고 있다. 즉, 이 도 11에 나타낸 인식 처리는, 화상에 대해 라인 순차적으로, CNN의 내부 상태를 이전의 인식 결과에 기초하여 갱신하면서 실행되고 있다. 따라서, 도 11에 나타내는 인식 처리는, 라인 순차적으로 재귀적으로 실행되는 처리이며, RNN에 상당하는 구조를 가지고 있다고 생각할 수 있다.
(2-3-2. RNN의 개요)
다음으로, RNN에 대해 개략적으로 설명한다. 도 12a 및 도 12b는 시계열 정보를 사용하지 않는 경우의, DNN에 의한 식별 처리(인식 처리)의 예를 개략적으로 나타내는 도면이다. 이 경우, 도 12a에 나타내는 바와 같이, 1개의 화상을 DNN에 입력한다. DNN에 있어서, 입력된 화상에 대해 식별 처리가 행해지고, 식별 결과가 출력된다.
도 12b는 도 12a의 처리를 보다 상세하게 설명하기 위한 도면이다. 도 12b에 나타내는 바와 같이, DNN은 특징 추출 처리와 식별 처리를 실행한다. DNN에 있어서, 입력된 화상에 대해 특징 추출 처리에 의해 특징량을 추출한다. 또한, DNN에 있어서, 추출된 특징량에 대해 식별 처리를 실행하여, 식별 결과를 얻는다.
도 13a 및 도 13b는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제1 예를 개략적으로 나타내는 도면이다. 이 도 13a 및 도 13b의 예에서는, 시계열상의, 고정 수의 과거 정보를 사용하여, DNN에 의한 식별 처리를 행한다. 도 13a의 예에서는, 시간 T의 화상[T]과, 시간 T보다 앞의 시간 T-1의 화상[T-1]과, 시간 T-1보다 앞의 시간 T-2의 화상[T-2]을 DNN에 입력한다. DNN에 있어서, 입력된 각 화상[T], [T-1] 및 [T-2]에 대해 식별 처리를 실행하여, 시간 T에 있어서의 식별 결과[T]를 얻는다.
도 13b는 도 13a의 처리를 보다 상세하게 설명하기 위한 도면이다. 도 13b에 나타내는 바와 같이, DNN에 있어서, 입력된 화상[T], [T-1] 및 [T-2] 각각에 대해, 전술한 도 12b를 사용하여 설명한 특징 추출 처리를 일대일로 실행하여, 화상[T], [T-1] 및 [T-2]에 각각 대응하는 특징량을 추출한다. DNN에서는, 이들 화상[T], [T-1] 및 [T-2]에 기초하여 얻어진 각 특징량을 통합하고, 통합된 특징량에 대해 식별 처리를 실행하여, 시간 T에 있어서의 식별 결과[T]을 얻는다.
이 도 13a 및 도 13b의 방법에서는, 특징량 추출을 행하기 위한 구성이 복수개 필요하게 되고, 이용 가능한 과거 화상의 수에 따라, 특징량 추출을 행하기 위한 구성이 필요하게 되어, DNN의 구성이 대규모로 될 우려가 있다.
도 14a 및 도 14b는 시계열 정보를 사용한 경우의, DNN에 의한 식별 처리의 제2 예를 개략적으로 나타내는 도면이다. 도 14a의 예에서는, 내부 상태가 시간 T-1의 상태로 갱신된 DNN에 대해 시간 T의 화상[T]을 입력하여, 시간 T에 있어서의 식별 결과[T]를 얻고 있다.
도 14b는 도 14a의 처리를 보다 상세하게 설명하기 위한 도면이다. 도 14b에 나타내는 바와 같이, DNN에 있어서, 입력된 시간 T의 화상[T]에 대해 전술한 도 12b를 사용하여 설명한 특징 추출 처리를 실행하여, 화상[T]에 대응하는 특징량을 추출한다. DNN에 있어서, 시간 T보다 앞의 화상에 의해 내부 상태가 갱신되고, 갱신된 내부 상태에 관한 특징량이 보존되고 있다. 이 보존된 내부 정보에 관한 특징량과, 화상[T]에 있어서의 특징량을 통합하여, 통합된 특징량에 대해 식별 처리를 실행한다.
이 도 14a 및 도 14b에 나타내는 식별 처리는, 예를 들면 직전의 식별 결과를 사용하여 내부 상태가 갱신된 DNN을 사용하여 실행되는 것으로, 재귀적 처리가 된다. 이와 같이, 재귀적인 처리를 행하는 DNN을 RNN(Recurrent Neural Network)이라고 부른다. RNN에 의한 식별 처리는, 일반적으로는 동영상 인식 등에 사용되고, 예를 들면 시계열로 갱신되는 프레임 화상에 의해 DNN의 내부 상태를 순차적으로 갱신함으로써, 식별 정밀도를 향상시키는 것이 가능하다.
본 개시에서는, RNN을 롤링 셔터 방식의 구조에 적용한다. 즉, 롤링 셔터 방식에서는, 화소 신호의 판독이 라인 순차적으로 행해진다. 이에, 이 라인 순차적으로 판독되는 화소 신호를 시계열상의 정보로 하여, RNN에 적용시킨다. 이에 의해, CNN을 사용한 경우(도 13b 참조)와 비교하여 소규모의 구성으로, 복수의 라인에 기초하는 식별 처리를 실행 가능하게 된다. 이에 한정되지 않고, RNN을 글로벌 셔터 방식의 구조에 적용할 수도 있다. 이 경우, 예를 들면, 인접하는 라인을 시계열상의 정보로 간주하는 것이 생각된다.
(2-4. 구동 속도에 대해)
다음으로, 프레임의 구동 속도와 화소 신호의 판독량의 관계에 대해, 도 15a 및 도 15b를 사용하여 설명한다. 도 15a는 화상 내의 전체 라인을 판독하는 예를 나타내는 도면이다. 여기서, 인식 처리의 대상이 되는 화상의 해상도가, 수평 640화소×수직 480화소(480라인)인 것으로 한다. 이 경우, 14400 [라인/초]의 구동 속도로 구동함으로써, 30 [fps(frame per second)]로의 출력이 가능하게 된다.
다음으로, 라인을 솎아내어 촬상을 행하는 것을 생각한다. 예를 들면, 도 15b에 나타내는 바와 같이, 1라인씩 건너뛰고 읽어서 촬상을 행하는, 1/2 솎음 판독으로 촬상을 행하는 것으로 한다. 1/2 솎음의 제1 예로서, 전술한 것과 마찬가지로 14400 [라인/초]의 구동 속도로 구동하는 경우, 화상으로부터 판독하는 라인수가 1/2이 되기 때문에, 해상도는 저하하지만, 솎음을 행하지 않은 경우의 두 배의 속도의 60 [fps]로의 출력이 가능하게 되어, 프레임 레이트를 향상시킬 수 있다. 1/2 솎음의 제2 예로서, 구동 속도를 제1 예의 절반인 7200 [fps]로서 구동하는 경우, 프레임 레이트는 솎아내지 않는 경우와 마찬가지로 30 [fps]이 되지만, 저전력화가 가능하게 된다.
화상의 라인을 판독할 때에, 솎음을 행하지 않을지, 솎음을 행하고 구동 속도를 올릴지, 솎음을 행하고 구동 속도를 솎음을 행하지 않은 경우와 동일하게 할지는, 예를 들면, 판독된 화소 신호에 기초하는 인식 처리의 목적 등에 따라 선택할 수 있다.
[3. 본 개시의 개요]
이하, 본 개시의 각 실시형태에 대해 보다 상세하게 설명한다. 먼저, 본 개시의 각 실시형태에 따른 처리에 대해 개략적으로 설명한다. 도 16은 본 개시의 각 실시형태에 따른 인식 처리를 개략적으로 설명하기 위한 모식도이다. 도 16에 있어서, 단계(S1)에서, 각 실시형태에 따른 촬상 장치(1)(도 1 참조)에 의해, 인식 대상이 되는 대상 화상의 촬상을 개시한다.
한편, 대상 화상은, 예를 들면 손으로 쓴 숫자 「8」을 묘화한 화상인 것으로 한다. 또한, 메모리(13)에는, 소정의 교사 데이터에 의해 숫자를 식별 가능하게 학습된 학습 모델이 프로그램으로서 미리 기억되어 있고, 인식 처리부(12)는, 메모리(13)로부터 이 프로그램을 판독하여 실행함으로써, 화상에 포함되는 숫자의 식별이 가능하게 되어 있는 것으로 한다. 나아가, 촬상 장치(1)는, 롤링 셔터 방식에 의해 촬상을 행하는 것으로 한다. 한편, 촬상 장치(1)가 글로벌 셔터 방식으로 촬상을 행하는 경우라 하더라도, 이하의 처리는, 롤링 셔터 방식의 경우와 동일하게 적용 가능하다.
촬상이 개시되면, 촬상 장치(1)는, 단계(S2)에서, 프레임을 라인 단위로, 프레임의 상단측으로부터 하단측을 향해 순차적으로 판독한다.
어떤 위치까지 라인이 판독되면, 인식 처리부(12)에 의해, 판독된 라인에 의한 화상으로부터 「8」 또는 「9」의 숫자가 식별된다(단계(S3)). 예를 들면, 숫자 「8」 및 「9」는, 상부 절반의 부분에 공통되는 특징 부분을 포함하므로, 위에서부터 순서대로 라인을 판독하여 해당 특징 부분이 인식된 시점에서, 인식된 오브젝트가 숫자 「8」 및 「9」 중 어느 하나라고 식별할 수 있다.
여기서, 단계(S4a)에 나타내는 바와 같이, 프레임의 하단의 라인 또는 하단 부근의 라인까지 판독함으로써 인식된 오브젝트의 전체 모습이 나타나고, 단계(S2)에서 숫자 「8」 또는 「9」 중 어느 하나로서 식별된 오브젝트가 숫자 「8」인 것이 확정된다.
한편, 단계(S4b) 및 단계(S4c)는 본 개시에 관련되는 처리가 된다.
단계(S4b)에 나타내는 바와 같이, 단계(S3)에서 판독을 행한 라인 위치로부터 더욱 라인을 읽어 나가, 숫자 「8」의 하단에 도달하는 도중이더라도, 인식된 오브젝트가 숫자 「8」이라고 식별하는 것이 가능하다. 예를 들면, 숫자 「8」의 하부 절반과 숫자 「9」의 하부 절반은 각각 다른 특징을 갖는다. 이 특징의 차이가 명확하게 되는 부분까지 라인을 판독함으로써, 단계(S3)에서 인식된 오브젝트가 숫자 「8」 및 「9」 중 어느 것인지가 식별 가능하게 된다. 도 16의 예에서는, 단계(S4b)에 있어서, 해당 오브젝트가 숫자「8」이라고 확정되어 있다.
또한, 단계(S4c)에 나타내는 바와 같이, 단계(S3)의 라인 위치로부터, 단계(S3)의 상태에 있어서 더욱 판독함으로써, 단계(S3)에서 식별된 오브젝트가 숫자 「8」 또는 「9」 중 어느 것인지를 구별할 수 있을 것 같은 라인 위치로 점프하는 것도 생각된다. 이러한 점프하여 도달한 곳의 라인을 판독함으로써, 단계(S3)에서 식별된 오브젝트가 숫자 「8」 또는 「9」 중 어느 것인지를 확정할 수 있다. 한편, 점프하여 도달하는 곳의 라인 위치는, 소정의 교사 데이터에 기초하여 미리 학습된 학습 모델에 기초하여 결정할 수 있다.
여기서, 전술한 단계(S4b) 또는 단계(S4c)에서 오브젝트가 확정된 경우, 촬상 장치(1)는 인식 처리를 종료시킬 수 있다. 이에 의해, 촬상 장치(1)에 있어서의 인식 처리의 단시간화 및 저전력화를 실현하는 것이 가능해진다.
한편, 교사 데이터는, 판독 단위마다의 입력 신호와 출력 신호의 조합을 복수개 보유한 데이터이다. 일례로서, 전술한 숫자를 식별하는 태스크에서는, 입력 신호로서 판독 단위마다의 데이터(라인 데이터, 서브샘플링된 데이터 등)를 적용하고, 출력 신호로서 「정답의 숫자」를 나타내는 데이터를 적용할 수 있다. 다른 예로서, 예를 들면 물체를 검출하는 태스크에서는, 입력 신호로서 판독 단위마다의 데이터(라인 데이터, 서브샘플링된 데이터 등)를 적용하고, 출력 신호로서 물체 클래스(object class)(인체/차량/비물체)나 물체의 좌표(x, y, h, w) 등을 적용할 수 있다. 또한, 자기 교사 학습을 사용하여 입력 신호만으로부터 출력 신호를 생성해도 된다.
[4. 제1 실시형태]
다음으로, 본 개시의 제1 실시형태에 대해 설명한다.
(4-1. 인식 처리부에 의한 동작 예)
제1 실시형태에 따른 촬상 장치(1)에 있어서, 인식 처리부(12)는, 전술한 바와 같이, 소정의 교사 데이터에 기초하여 미리 학습된 학습 모델로서 메모리(13)에 기억되는 프로그램을 판독하여 실행함으로써, DNN을 이용한 인식기로서 기능한다.
도 17은 제1 실시형태에 따른 인식 처리부(12)에 의한 인식 처리를 나타내는 일례의 플로우차트이다. 도 17에 있어서, 단계(S121)에서, 촬상 장치(1)에 있어서, 인식 처리부(12)를 구성하는 DSP는, 메모리(13)로부터 학습 모델을 판독하여 실행한다. 이에 의해, 해당 DSP가 인식 처리부(12)로서 기능한다.
다음으로, 단계(S122)에서, 촬상 장치(1)에 있어서 인식 처리부(12)는, 센서 제어부(11)에 대해 센서부(10)로부터의 프레임 판독을 개시하도록 지시한다. 이 프레임 판독에서는, 예를 들면, 1프레임분의 화상 데이터가 라인 단위(행 단위라고도 말함)로 순차적으로 판독된다. 인식 처리부(12)는, 1프레임에 있어서의 소정 라인수의 화상 데이터가 판독되었는지 여부를 판정한다.
인식 처리부(12)는, 1프레임에 있어서의 소정 라인수의 화상 데이터가 판독되었다고 판정하면(단계(S123), 「YES」), 처리를 단계(S124)로 이행시킨다. 단계(S124)에서, 인식 처리부(12)는, 판독된 소정 라인수분의 화상 데이터에 대해, CNN을 이용한 기계 학습 처리로서의 인식 처리를 실행한다. 즉, 인식 처리부(12)는, 소정 라인수의 화상 데이터를 단위 영역으로 하여, 학습 모델을 사용한 기계 학습 처리를 실행한다. 또한, CNN을 이용한 기계 학습 처리에서는, 예를 들면, 얼굴 검출, 얼굴 인증, 시선 검출, 표정 인식, 얼굴 방향 검출, 물체 검출, 물체 인식, 움직임(동물체) 검출, 애완동물 검출, 장면(scene) 인식, 상태 검출, 회피 대상물 인식 등의 인식 처리나 검출 처리가 실행된다.
여기서, 얼굴 검출이란, 화상 데이터에 포함되는 인물의 얼굴을 검출하는 처리이다. 얼굴 인증이란, 생체 인증의 하나로서, 화상 데이터에 포함되는 인물의 얼굴이 미리 등록된 인물의 얼굴과 일치하는지 여부를 인증하는 처리이다. 시선 검출이란, 화상 데이터에 포함되는 인물의 시선의 방향을 검출하는 처리이다. 표정 인식이란, 화상 데이터에 포함되는 인물의 표정을 인식하는 처리이다. 얼굴 방향 검출이란, 화상 데이터에 포함되는 인물의 얼굴의 상하 방향을 검출하는 처리이다. 물체 검출이란, 화상 데이터에 포함되는 물체를 검출하는 처리이다. 물체 인식이란, 화상 데이터에 포함되는 물체가 무엇인지를 인식하는 처리이다. 움직임(동물체) 검출이란, 화상 데이터에 포함되는 동물체를 검출하는 처리이다. 애완동물 검출이란, 화상 데이터에 포함되는 개나 고양이 등의 애완동물을 검출하는 처리이다. 장면 인식이란, 촬영하고 있는 장면(바다나 산 등)을 인식하는 처리이다. 상태 검출이란, 화상 데이터에 포함되는 인물 등의 상태(통상의 상태인지 이상(異常)의 상태인지 등)를 검출하는 처리이다. 회피 대상물 인식이란, 자신이 이동하는 경우의 그 진행 방향 전방에 존재하는 회피 대상의 물체를 인식하는 처리이다. 인식 처리부(12)에 의해 실행되는 기계 학습 처리는 이들 예에 한정되지 않는다.
단계(S125)에서, 인식 처리부(12)는, 단계(S124)에 의한 CNN을 이용한 기계 학습 처리가 성공했는지 여부를 판정한다. 인식 처리부(12)는, CNN을 이용한 기계 학습 처리에 성공했다고 판정한 경우(단계(S125), 「YES」), 처리를 단계(S129)로 이행시킨다. 한편, 인식 처리부(12)는, 단계(S124)에 의한 CNN을 이용한 기계 학습 처리에 실패했다고 판정한 경우(단계(S125), 「NO」), 처리를 단계(S126)로 이행시킨다. 단계(S126)에서, 인식 처리부(12)는, 센서 제어부(11)로부터 다음 소정 라인수의 화상 데이터가 판독되는 것을 대기한다(단계(S126), 「NO」).
한편, 본 설명에 있어서, 기계 학습 처리에 성공한다는 것은, 예를 들면, 상기에서 예시한 바와 같은 얼굴 검출이나 얼굴 인증 등에 있어서, 일정한 검출 결과나 인식 결과나 인증이 얻어진 것을 의미한다. 한편, 기계 학습 처리에 실패한다는 것은, 예를 들면, 상기에서 예시한 바와 같은 얼굴 검출이나 얼굴 인증 등에 있어서, 충분한 검출 결과나 인식 결과나 인증이 얻어지지 않은 것을 의미한다.
다음으로, 단계(S126)에 있어서, 다음 소정 라인수의 화상 데이터(단위 영역)가 판독되면(단계(S126), 「YES」), 인식 처리부(12)는, 단계(S127)에서, 판독된 소정 라인수의 화상 데이터에 대해, RNN을 이용한 기계 학습 처리를 실행한다. RNN을 이용한 기계 학습 처리에서는, 예를 들면, 동일 프레임의 화상 데이터에 대해 지금까지에 실행한 CNN 또는 RNN을 이용한 기계 학습 처리의 결과도 이용된다.
단계(S128)에서, 인식 처리부(12)는, 단계(S127)에 있어서의 RNN을 이용한 기계 학습 처리에 성공했다고 판정한 경우(단계(S128), 「YES」), 처리를 단계(S129)로 이행시킨다.
단계(S129)에서, 인식 처리부(12)는, 단계(S124) 또는 단계(S127)에서 성공한 기계 학습 결과가, 예를 들면, 인식 처리부(12)로부터 출력 제어부(15)로 공급된다. 이 단계(S129)에서 출력되는 기계 학습 결과는, 예를 들면 인식 처리부(12)에 의한 유효한 인식 결과이다. 인식 처리부(12)는, 해당 기계 학습 결과를 메모리(13)에 저장해도 된다.
또한, 인식 처리부(12)는, 단계(S128)에서, 단계(S127)에 있어서의 RNN을 이용한 기계 학습 처리에 실패했다고 판정한 경우(단계(S128), 「NO」), 처리를 단계(S130)로 이행시킨다. 단계(S130)에서, 인식 처리부(12)는, 1프레임분의 화상 데이터의 판독이 완료되었는지 여부를 판정한다. 인식 처리부(12)는, 1프레임분의 화상 데이터의 판독이 완료되어 있지 않다고 판정한 경우(단계(S130), 「NO」), 처리를 단계(S126)로 되돌리고, 다음 소정 라인수의 화상 데이터에 대한 처리가 실행된다.
한편, 인식 처리부(12)는, 단계(S130)에서 1프레임분의 화상 데이터의 판독이 완료되어 있다고 판정한 경우(단계(S130), 「YES」), 예를 들면, 인식 처리부(12)는, 단계(S131)에서, 이 도 17의 플로우차트에 의한 일련의 처리를 종료할지 여부를 판정한다. 인식 처리부(12)는, 종료하지 않는다고 판정한 경우(단계(S131), 「NO」), 처리를 단계(S122)로 되돌리고, 다음 프레임에 대해 마찬가지의 동작을 실행한다. 또한, 인식 처리부(12)는, 종료한다고 판정한 경우(단계(S131), 「YES」), 이 도 17의 플로우차트에 의한 일련의 처리를 종료시킨다.
한편, 단계(S131)에 의한 다음 프레임으로 이행할지 여부의 판정은, 예를 들면, 촬상 장치(1)의 외부로부터 종료의 지시가 입력되었는지 여부에 기초하여 행해도 되고, 미리 정해 둔 소정 프레임수의 화상 데이터에 대한 일련의 처리가 완료되었는지 여부에 기초하여 행해도 된다.
또한, 얼굴 검출, 얼굴 인증, 시선 검출, 표정 인식, 얼굴 방향 검출, 물체 검출, 물체 인식, 움직임(동물체) 검출, 장면 인식, 상태 검출 등의 기계 학습 처리를 연속해서 행하는 경우, 직전의 기계 학습 처리에 실패하고 있는 경우에는, 다음 기계 학습 처리가 스킵되어도 된다. 예를 들면, 얼굴 검출 후에 얼굴 인증을 실행하는 경우에, 얼굴 검출에 실패하고 있는 경우에는, 다음 얼굴 인증이 스킵되어도 된다.
(4-2. 인식 처리부에 의한 동작의 구체예)
다음으로, 도 17을 사용하여 설명한 기계 학습부의 동작을, 구체예를 사용하여 설명한다. 한편, 이하에서는, DNN을 이용해서 얼굴 검출을 실행하는 경우를 예시한다.
도 18은 1프레임분의 화상 데이터의 일례를 나타내는 도면이다. 도 19는 제1 실시형태에 따른 인식 처리부(12)가 실행하는 기계 학습 처리의 흐름을 설명하기 위한 도면이다.
도 18에 나타내는 바와 같은 화상 데이터에 대해 기계 학습에 의해 얼굴 검출을 실행하는 경우, 도 19의 섹션(a)에 나타내는 바와 같이, 인식 처리부(12)에는, 먼저, 소정 라인수분의 화상 데이터가 입력된다(도 17의 단계(S123)에 상당). 인식 처리부(12)는, 입력된 소정 라인수분의 화상 데이터에 대해 CNN을 이용한 기계 학습 처리를 실행함으로써, 얼굴 검출을 실행한다(도 17의 단계(S124)에 상당). 다만, 도 19의 섹션(a)의 단계에서는, 아직 얼굴 전체의 화상 데이터가 입력되고 있지 않기 때문에, 인식 처리부(12)는 얼굴 검출에 실패한다(도 17의 단계(S125)의 「NO」에 상당).
이어서, 도 19의 섹션(b)에 나타내는 바와 같이, 인식 처리부(12)에는, 다음 소정 라인수분의 화상 데이터가 입력된다(도 17의 단계(S126)에 상당). 인식 처리부(12)는, 도 19의 섹션(a)에서 입력된 소정 라인수분의 화상 데이터에 대해 실행한 CNN을 이용한 기계 학습 처리의 결과를 사용하면서, 새롭게 입력된 소정 라인수분의 화상 데이터에 대해 RNN을 이용한 기계 학습 처리를 실행함으로써, 얼굴 검출을 실행한다(도 17의 단계(S127)에 상당).
도 19의 섹션(b)의 단계에서는, 도 19의 섹션(a)의 단계에서 입력된 소정 라인수분의 화소 데이터와 합쳐서, 얼굴 전체의 화상 데이터가 입력되고 있다. 따라서, 도 19의 섹션(b)의 단계에 있어서, 인식 처리부(12)는 얼굴 검출에 성공한다(도 17의 단계(S128)의 「YES」에 상당). 그러면, 본 동작에서는, 그 이후의 화상 데이터(도 19 섹션(c)∼(f)의 화상 데이터)가 판독되지 않고, 얼굴 검출의 결과가 출력된다(도 17의 단계(S129)에 상당).
이와 같이, 소정 라인수씩의 화상 데이터에 대해 DNN을 이용한 기계 학습 처리를 실행함으로써, 얼굴 검출에 성공한 시점 이후의 화상 데이터에 대한 판독이나 기계 학습 처리의 실행을 생략하는 것이 가능해진다. 그에 따라, 단시간에 검출이나 인식이나 인증 등의 처리를 완료하는 것이 가능해지기 때문에, 처리 시간의 단축 및 소비 전력의 저감을 실현하는 것이 가능해진다.
한편, 소정 라인수는, 학습 모델의 알고리즘이 요구하는 필터의 크기에 따라 결정되는 라인수이며, 그 최소 수는 1라인이다.
또한, 센서 제어부(11)에 의해 센서부(10)로부터 판독되는 화상 데이터는, 열 방향 및 행 방향 중 적어도 일방으로 솎아내진 화상 데이터여도 된다. 그 경우, 예를 들면, 열 방향으로 1행 걸러서 화상 데이터를 판독하는 경우에는, 2(N-1) (N은 1 이상의 정수) 라인째의 화상 데이터가 판독된다.
또한, 학습 모델의 알고리즘이 요구하는 필터가 라인 단위가 아니고, 예를 들면, 1×1 화소나 5×5 화소 등의 화소 단위의 사각형 영역인 경우에는, 소정 라인수의 화상 데이터 대신에, 그 필터의 형상이나 사이즈에 따른 사각형 영역의 화상 데이터를, 인식 처리부(12)가 기계 학습 처리를 실행하는 단위 영역의 화상 데이터로서, 인식 처리부(12)에 입력하여도 된다.
나아가, 상기 설명에서는, DNN의 예로서 CNN과 RNN을 예시했지만, 이들에 한정되지 않고, 다른 학습 모델을 이용하는 것도 가능하다.
(4-3. 제1 실시형태의 응용예)
다음으로, 제1 실시형태의 응용예에 대해 설명한다. 여기서는, 제1 실시형태의 응용예로서, 예를 들면 도 17의 플로우차트의 단계(S124)에서의 CNN에 의한 기계 학습 처리의 결과나, 단계(S127)에서의 RNN에 의한 기계 학습 처리의 결과에 기초하여, 다음으로 판독을 행하는 소정 라인수에 있어서의 노출을 제어하는 예에 대해 설명한다. 도 20a 및 도 20b는 제1 실시형태의 응용예에 대해 설명하기 위한 모식도이다.
도 20a의 섹션(a)는 과다 노출된(overexposed) 화상(60a)의 예를 나타내는 모식도이다. 화상(60a)은 과다 노출 때문에, 화상(60a)이 전체적으로 흰빛을 띠게 되고, 예를 들면 화상(60a)에 포함되는 오브젝트로서의 모니터(62)는, 화면 내 밝은 부분이 하얗게 날아가 버려 사람의 눈에는 세부의 판별이 곤란하게 되어 있다. 한편, 화상(60a)에 포함되는 오브젝트로서의 사람(61)은, 과다 노출 때문에 약간 흰빛을 띠게 되어 있지만, 모니터(62)와 비교하면, 사람의 눈에는 식별이 용이하게 보인다.
도 20a의 섹션(b)는, 과소 노출된(underexposed) 화상(60b)의 예를 나타내는 모식도이다. 화상(60b)은 과소 노출 때문에, 화상(60b)이 전체적으로 거무스름하게 되고, 예를 들면 화상(60a)에서는 보이고 있던 사람(61)이 사람의 눈에 식별 곤란하게 되어 버린다. 한편, 화상(60b)에 포함되는 모니터(62)는, 화상(60a)과 비교하여, 사람의 눈에는 세부까지 상세하게 식별 가능하게 되어 있다.
도 20b는 제1 실시형태의 응용예에 따른 판독 방법을 설명하기 위한 모식도이다. 도 20b의 섹션(a) 및 (b)에서는, 전술한 도 17의 플로우차트의 단계(S122)에 있어서, 프레임 판독을 과소 노출 상태에서 개시하는 경우에 대해 나타내어져 있다.
도 20b의 섹션(a)는 제1 실시형태의 응용예에 있어서의 제1 예에 따른 판독 방법을 나타내고 있다. 도 20b의 섹션(a)의 화상(60c)에 있어서, 예를 들면 프레임의 선두 라인 L#1의 단계(S124)에 의한 CNN을 이용한 인식 처리가 실패, 또는 인식 결과의 신뢰도를 나타내는 스코어가 소정 값 이하였던 것으로 한다. 이 경우, 인식 처리부(12)는, 단계(S126)에서 판독하는 라인 L#2의 노출을 인식 처리에 적합한 노출로 설정(이 경우, 노출량을 많게 설정)하도록, 센서 제어부(11)에 지시한다. 한편, 도 20b에 있어서, 라인 L#1, L#2, …은 각각 1개의 라인이어도 되고, 서로 인접하는 복수 라인이어도 된다.
도 20b의 섹션(a)의 예에서는, 라인 L#2의 노출량을 라인 L#1의 노출량보다 많게 하고 있다. 그 결과, 라인 L#2가 과다 노출로 되고, 예를 들면 단계(S127)에 의한 RNN을 이용한 인식 처리가 실패 또는 스코어가 소정 값 이하였던 것으로 한다. 인식 처리부(12)는, 단계(S130)로부터 단계(S126)로 처리가 되돌아가 판독되는 라인 L#3의 노출량을 라인 L#2의 노출량보다 적게 설정하도록, 센서 제어부(11)에 지시한다. 라인 L#4, …, L#m, …에 대해서도, 마찬가지로, 인식 처리의 결과에 따라 다음 라인의 노출량을 순차적으로 설정해 간다.
이와 같이, 어떤 라인의 인식 결과에 기초하여 다음으로 판독을 행하는 라인의 노출량을 조정함으로써, 보다 고정밀도로 인식 처리를 실행하는 것이 가능하게 된다.
또한, 전술한 응용예의 추가 응용으로서, 도 20b의 섹션(b)에 나타내는 바와 같이, 소정의 라인까지 판독한 시점에서 노출을 재설정하고, 다시 프레임의 선두 라인으로부터 판독을 실행하는 방법도 생각된다. 도 20b의 섹션(b)에 나타내는 바와 같이, 인식 처리부(12)는, 전술한 섹션(a)와 마찬가지로 하여, 프레임의 선두 라인 L#1로부터 예를 들면 라인 L#m까지 판독을 행하여(1st), 그 인식 결과에 기초하여 노출을 재설정한다. 인식 처리부(12)는, 재설정된 노출에 기초하여 다시 프레임의 각 라인 L#1, L#2, …의 판독을 행한다(2nd).
이와 같이, 소정 수의 라인의 판독을 행한 결과에 기초하여 노출을 재설정하고, 재설정된 노출에 기초하여 다시 프레임의 선두로부터 라인 L#1, L#2, …을 다시 판독함으로써, 더욱 고정밀도로 인식 처리를 실행하는 것이 가능하게 된다.
[5. 제2 실시형태]
(5-0-1. 제2 실시형태에 따른 구성예)
다음으로, 본 개시의 제2 실시형태에 대해 설명한다. 제2 실시형태는 전술한 제1 실시형태에 의한 인식 처리를 확장한 것이다. 도 21은 제2 실시형태에 따른 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다. 한편, 도 21에 있어서, 도 1에 나타내는 광학부(30), 센서부(10), 메모리(13) 및 표시부(31)는 생략되어 있다. 또한, 도 21에 있어서, 도 1의 구성에 대해 트리거 생성부(16)가 추가되어 있다.
도 21에 있어서, 센서 제어부(11)는 판독부(110)과 판독 제어부(111)를 포함한다. 인식 처리부(12)는, 특징량 계산부(120)와, 특징량 축적 제어부(121)와, 판독 결정부(123)와, 인식 처리 실행부(124)를 포함하고, 특징량 축적 제어부(121)는 특징량 축적부(122)를 포함한다. 또한, 시인 처리부(14)는, 화상 데이터 축적 제어부(140)와, 판독 결정부(142)와, 화상 처리부(143)를 포함하고, 화상 데이터 축적 제어부(140)는 화상 데이터 축적부(141)를 포함한다.
센서 제어부(11)에 있어서, 판독 제어부(111)는, 인식 처리부(12)에 포함되는 판독 결정부(123)로부터, 인식 처리부(12)에 있어서 판독을 행하는 판독 영역을 나타내는 판독 영역 정보를 수취한다. 판독 영역 정보는, 예를 들면, 하나 또는 복수의 라인의 라인 번호이다. 이에 한정되지 않고, 판독 영역 정보는, 하나의 라인 내의 화소 위치를 나타내는 정보이어도 된다. 또한, 판독 영역 정보로서, 하나 이상의 라인 번호와, 라인 내의 하나 이상의 화소의 화소 위치를 나타내는 정보를 조합함으로써, 다양한 패턴의 판독 영역을 지정하는 것이 가능하다. 한편, 판독 영역은 판독 단위와 동등하다. 이에 한정되지 않고, 판독 영역과 판독 단위가 달라도 된다.
마찬가지로, 판독 제어부(111)는, 시인 처리부(14)에 포함되는 판독 결정부(142)로부터, 시인 처리부(14)에서 판독을 행하는 판독 영역을 나타내는 판독 영역 정보를 수취한다.
판독 제어부(111)는, 이들 판독 결정부(123 및 142)에 기초하여, 실제로 판독을 행하는 판독 영역을 나타내는 판독 영역 정보를 판독부(110)로 전달한다. 예를 들면, 판독 제어부(111)는, 판독 결정부(123)로부터 수취한 판독 영역 정보와, 판독 결정부(142)로부터 수취한 판독 영역 정보에 컨플릭트(conflict)가 생기고 있는 경우, 중재를 행하여 판독부(110)로 전달되는 판독 영역 정보를 조정할 수 있다.
또한, 판독 제어부(111)는, 판독 결정부(123) 또는 판독 결정부(142)로부터 노출이나 아날로그 게인을 나타내는 정보를 수취할 수 있다. 판독 제어부(111)는, 수취된 노출이나 아날로그 게인을 나타내는 정보를 판독부(110)로 전달한다.
판독부(110)는, 판독 제어부(111)로부터 전달된 판독 영역 정보에 따라, 센서부(10)로부터의 화소 데이터의 판독을 행한다. 예를 들면, 판독부(110)는, 판독 영역 정보에 기초하여 판독을 행하는 라인을 나타내는 라인 번호와, 해당 라인에서 판독하는 화소의 위치를 나타내는 화소 위치 정보를 구하고, 구한 라인 번호와 화소 위치 정보를 센서부(10)로 전달한다. 판독부(110)는, 센서부(10)로부터 취득한 각 화소 데이터를, 판독 영역 정보와 함께, 인식 처리부(12) 및 시인 처리부(14)로 전달한다.
또한, 판독부(110)는, 판독 제어부(111)로부터 수취한 노출이나 아날로그 게인을 나타내는 정보에 따라, 센서부(10)에 대해 노출이나 아날로그 게인(AG)을 설정한다. 나아가, 판독부(110)는 수직 동기 신호 및 수평 동기 신호를 생성하고, 센서부(10)에 공급할 수 있다.
인식 처리부(12)에 있어서, 판독 결정부(123)는, 특징량 축적 제어부(121)로부터, 다음으로 판독을 행할 판독 영역을 나타내는 판독 정보를 수취한다. 판독 결정부(123)는, 수취된 판독 정보에 기초하여 판독 영역 정보를 생성하여, 판독 제어부(111)로 전달한다.
여기서, 판독 결정부(123)는, 판독 영역 정보에 나타내는 판독 영역으로서, 예를 들면, 소정의 판독 단위로, 해당 판독 단위의 화소 데이터를 판독하기 위한 판독 위치 정보가 부가된 정보를 사용할 수 있다. 판독 단위는, 1개 이상의 화소의 집합이며, 인식 처리부(12)나 시인 처리부(14)에 의한 처리의 단위가 된다. 일례로서, 판독 단위가 라인이라면, 라인의 위치를 나타내는 라인 번호 [L#x]가 판독 위치 정보로서 부가된다. 또한, 판독 단위가 복수의 화소를 포함하는 사각형 영역이라면, 해당 사각형 영역의 화소 어레이부(101)에 있어서의 위치를 나타내는 정보, 예를 들면 상부좌측 코너(upper left corner)의 화소의 위치를 나타내는 정보가 판독 위치 정보로서 부가된다. 판독 결정부(123)는, 적용되는 판독 단위가 미리 지정된다. 이에 한정되지 않고, 판독 결정부(123)는, 예를 들면 판독 결정부(123)의 외부로부터의 지시에 따라, 판독 단위를 결정할 수도 있다. 따라서, 판독 결정부(123)는, 판독 단위를 제어하는 판독 단위 제어부로서 기능한다.
한편, 판독 결정부(123)는, 후술하는 인식 처리 실행부(124)로부터 전달되는 인식 정보에 기초하여 다음으로 판독을 행할 판독 영역을 결정하고, 결정된 판독 영역을 나타내는 판독 영역 정보를 생성할 수도 있다.
마찬가지로, 시인 처리부(14)에 있어서, 판독 결정부(142)는, 예를 들면 화상 데이터 축적 제어부(140)로부터, 다음으로 판독을 행할 판독 영역을 나타내는 판독 정보를 수취한다. 판독 결정부(142)는, 수취된 판독 정보에 기초하여 판독 영역 정보를 생성하여, 판독 제어부(111)로 전달한다.
인식 처리부(12)에 있어서, 특징량 계산부(120)는, 판독부(110)로부터 전달된 화소 데이터 및 판독 영역 정보에 기초하여, 해당 판독 영역 정보로 나타내어지는 영역에 있어서의 특징량을 산출한다. 특징량 계산부(120)는, 산출된 특징량을 특징량 축적 제어부(121)로 전달한다.
특징량 계산부(120)는, 후술하는 바와 같이, 판독부(110)로부터 전달된 화소 데이터와, 특징량 축적 제어부(121)로부터 전달된, 과거의 특징량에 기초하여 특징량을 산출해도 된다. 이에 한정되지 않고, 특징량 계산부(120)는, 예를 들면 판독부(110)로부터 노출이나 아날로그 게인을 설정하기 위한 정보를 취득하고, 취득된 이들 정보를 또한 사용하여 특징량을 산출해도 된다.
인식 처리부(12)에 있어서, 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터 전달된 특징량을 특징량 축적부(122)에 축적한다. 또한, 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터 특징량이 전달되면, 다음 판독을 행하는 판독 영역을 나타내는 판독 정보를 생성하여, 판독 결정부(123)로 전달한다.
여기서, 특징량 축적 제어부(121)는, 이미 축적된 특징량과, 새롭게 전달된 특징량을 통합하여 축적할 수 있다. 또한, 특징량 축적 제어부(121)는, 특징량 축적부(122)에 축적된 특징량 중, 불필요해진 특징량을 삭제할 수 있다. 불필요해진 특징량은, 예를 들면 이전 프레임에 관한 특징량이나, 새로운 특징량이 산출된 프레임 화상과는 다른 장면의 프레임 화상에 기초하여 산출되어 이미 축적된 특징량 등이 생각된다. 또한, 특징량 축적 제어부(121)는, 필요에 따라 특징량 축적부(122)에 축적된 모든 특징량을 삭제하여 초기화할 수도 있다.
또한, 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터 전달된 특징량과, 특징량 축적부(122)에 축적되는 특징량에 기초하여 인식 처리 실행부(124)가 인식 처리에 사용하기 위한 특징량을 생성한다. 특징량 축적 제어부(121)는, 생성된 특징량을 인식 처리 실행부(124)로 전달한다.
인식 처리 실행부(124)는 특징량 축적 제어부(121)로부터 전달된 특징량에 기초하여 인식 처리를 실행한다. 인식 처리 실행부(124)는 인식 처리에 의해 물체 검출, 얼굴 검출 등을 행한다. 인식 처리 실행부(124)는, 인식 처리에 의해 얻어진 인식 결과를 출력 제어부(15)로 전달한다. 인식 처리 실행부(124)는, 인식 처리에 의해 생성되는 인식 결과를 포함하는 인식 정보를 판독 결정부(123)로 전달할 수도 있다. 한편, 인식 처리 실행부(124)는, 예를 들면 트리거 생성부(16)에 의해 생성된 트리거를 계기로 특징량 축적 제어부(121)로부터 특징량을 수취하여 인식 처리를 실행할 수 있다.
한편, 시인 처리부(14)에 있어서, 화상 데이터 축적 제어부(140)는, 판독부(110)로부터, 판독 영역으로부터 판독된 화소 데이터와, 해당 화상 데이터에 대응하는 판독 영역 정보를 수취한다. 화상 데이터 축적 제어부(140)는, 이들 화소 데이터 및 판독 영역 정보를 관련지어 화상 데이터 축적부(141)에 축적한다.
화상 데이터 축적 제어부(140)는, 판독부(110)로부터 전달된 화소 데이터와, 화상 데이터 축적부(141)에 축적된 화상 데이터에 기초하여, 화상 처리부(143)가 화상 처리를 행하기 위한 화상 데이터를 생성한다. 화상 데이터 축적 제어부(140)는, 생성된 화상 데이터를 화상 처리부(143)로 전달한다. 이에 한정되지 않고, 화상 데이터 축적 제어부(140)는, 판독부(110)로부터 전달된 화소 데이터를, 그대로 화상 처리부(143)로 전달할 수도 있다.
또한, 화상 데이터 축적 제어부(140)는, 판독부(110)로부터 전달된 판독 영역 정보에 기초하여, 다음 판독을 행하는 판독 영역을 나타내는 판독 정보를 생성하여, 판독 결정부(142)로 전달한다.
여기서, 화상 데이터 축적 제어부(140)는, 이미 축적된 화상 데이터와, 새롭게 전달된 화소 데이터를, 예를 들면 가산 평균 등에 의해 통합하여 축적할 수 있다. 또한, 화상 데이터 축적 제어부(140)는, 화상 데이터 축적부(141)에 축적된 화상 데이터 중, 불필요해진 화상 데이터를 삭제할 수 있다. 불필요해진 화상 데이터는, 예를 들면 이전 프레임에 관한 화상 데이터나, 새로운 화상 데이터가 산출된 프레임 화상과는 다른 장면의 프레임 화상에 기초하여 산출되어 이미 축적된 화상 데이터 등이 생각된다. 또한, 화상 데이터 축적 제어부(140)는, 필요에 따라 화상 데이터 축적부(141)에 축적된 모든 화상 데이터를 삭제하여 초기화할 수도 있다.
나아가, 화상 데이터 축적 제어부(140)는, 판독부(110)로부터 노출이나 아날로그 게인을 설정하기 위한 정보를 취득하고, 취득된 이들 정보를 사용하여 보정한 화상 데이터를, 화상 데이터 축적부(141)에 축적할 수도 있다.
화상 처리부(143)는, 화상 데이터 축적 제어부(140)로부터 전달된 화상 데이터에 대해 소정의 화상 처리를 실시한다. 예를 들면, 화상 처리부(143)는, 해당 화상 데이터에 대해 소정의 고화질화 처리를 실시할 수 있다. 또한, 전달된 화상 데이터가 라인 솎음 등에 의해 공간적으로 데이터가 삭감된 화상 데이터인 경우, 보간 처리에 의해 솎아내진 부분에 화상 정보를 보충하는 것도 가능하다. 화상 처리부(143)는, 화상 처리를 실시한 화상 데이터를 출력 제어부(15)로 전달한다.
한편, 화상 처리부(143)는, 예를 들면 트리거 생성부(16)에 의해 생성된 트리거를 계기로 화상 데이터 축적 제어부(140)로부터 화상 데이터를 수취하여 화상 처리를 실행할 수 있다.
출력 제어부(15)는, 인식 처리 실행부(124)로부터 전달된 인식 결과와, 화상 처리부(143)로부터 전달된 화상 데이터 중 일방 또는 양쪽 모두를 출력한다. 출력 제어부(15)는, 예를 들면 트리거 생성부(16)에 의해 생성된 트리거에 따라, 인식 결과 및 화상 데이터 중 일방 또는 양쪽 모두를 출력한다.
트리거 생성부(16)는, 인식 처리부(12)로부터 전달되는 인식 처리에 관한 정보와, 시인 처리부(14)로부터 전달되는 화상 처리에 관한 정보에 기초하여, 인식 처리 실행부(124)로 전달하는 트리거와, 화상 처리부(143)로 전달하는 트리거와, 출력 제어부(15)로 전달하는 트리거를 생성한다. 트리거 생성부(16)는, 생성된 각트리거를, 각각 소정의 타이밍에서 인식 처리 실행부(124)와, 화상 처리부(143)와, 출력 제어부(15)로 전달한다.
(5-0-2. 제2 실시형태에 따른 인식 처리부에 있어서의 처리의 예)
도 22는 제2 실시형태에 따른 인식 처리부(12)에 있어서의 처리의 예에 대해 보다 상세하게 나타내는 모식도이다. 여기서는, 판독 영역이 라인으로 되고, 판독부(110)가, 화상(60)의 프레임 상단으로부터 하단을 향해, 라인 단위로 화소 데이터를 판독하는 것으로 한다. 판독부(110)에 라인 단위로 판독된 라인 L#x의 라인 화상 데이터(라인 데이터)가 특징량 계산부(120)에 입력된다.
특징량 계산부(120)에서는, 특징량 추출 처리(1200)와 통합 처리(1202)가 실행된다. 특징량 계산부(120)는, 입력된 라인 데이터에 대해 특징량 추출 처리(1200)를 실시하여, 라인 데이터로부터 특징량(1201)을 추출한다. 여기서, 특징량 추출 처리(1200)는, 미리 학습에 의해 구한 파라미터에 기초하여, 라인 데이터로부터 특징량(1201)을 추출한다. 특징량 추출 처리(1200)에 의해 추출된 특징량(1201)은, 통합 처리(1202)에 의해, 특징량 축적 제어부(121)에 의해 처리된 특징량(1212)과 통합된다. 통합된 특징량(1210)은 특징량 축적 제어부(121)로 전달된다.
특징량 축적 제어부(121)에서는, 내부 상태 갱신 처리(1211)가 실행된다. 특징량 축적 제어부(121)로 전달된 특징량(1210)은 인식 처리 실행부(124)로 전달되고, 내부 상태 갱신 처리(1211)가 실시된다. 내부 상태 갱신 처리(1211)는, 미리 학습된 파라미터에 기초하여 특징량(1210)을 삭감하여 DNN의 내부 상태를 갱신하고, 갱신된 내부 상태에 관한 특징량(1212)을 생성한다. 이 특징량(1212)이 통합 처리(1202)에 의해 특징량(1201)과 통합된다. 이 특징량 축적 제어부(121)에 의한 처리가, RNN을 이용한 처리에 상당한다.
인식 처리 실행부(124)는, 특징량 축적 제어부(121)로부터 전달된 특징량(1210)에 대해, 예를 들면 소정의 교사 데이터를 사용하여 미리 학습된 파라미터에 기초하여 인식 처리(1240)를 실행하여, 인식 결과를 출력한다.
전술한 바와 같이, 제2 실시형태에 따른 인식 처리부(12)에서는, 특징량 추출 처리(1200)와, 통합 처리(1202)와, 내부 상태 갱신 처리(1211)와, 인식 처리(1240)에 있어서, 미리 학습된 파라미터에 기초하여 처리가 실행된다. 파라미터의 학습은, 예를 들면 상정되는 인식 대상에 기초하는 교사 데이터를 사용하여 행해진다.
한편, 전술한 특징량 계산부(120), 특징량 축적 제어부(121), 판독 결정부(123) 및 인식 처리 실행부(124)의 기능은, 예를 들면, 촬상 장치(1)가 구비하는 DSP에, 메모리(13) 등에 기억되는 프로그램이 판독되어 실행됨으로써 실현된다. 마찬가지로, 전술한 화상 데이터 축적 제어부(140), 판독 결정부(142) 및 화상 처리부(143)의 기능은, 예를 들면, 촬상 장치(1)가 구비하는 ISP에, 메모리(13) 등에 기억되는 프로그램이 판독되어 실행됨으로써 실현된다. 이들 프로그램은 미리 메모리(13)에 기억되어 있어도 되고, 외부로부터 촬상 장치(1)에 공급하여 메모리(13)에 기입하여도 된다.
(5-0-3. 제2 실시형태에 따른 인식 처리의 상세 내용)
다음으로, 제2 실시형태에 대해 보다 상세하게 설명한다. 도 23은 제2 실시형태에 따른 기능을 설명하기 위한 일례의 기능 블록도이다. 제2 실시형태에서는, 인식 처리부(12)에 의한 인식 처리가 주로 설명되므로, 도 23에서는, 전술한 도 21의 구성에 대하여, 시인 처리부(14), 출력 제어부(15) 및 트리거 생성부(16)를 생략하고 있다. 또한, 도 23에서는, 센서 제어부(11)에 있어서, 판독 제어부(111)가 생략되어 있다.
도 24는, 제2 실시형태에 따른 프레임의 판독 처리를 설명하기 위한 모식도이다. 제2 실시형태에서는, 판독 단위가 라인으로 되고, 프레임 Fr(x)에 대해 라인 순차적으로 화소 데이터의 판독이 행해진다. 도 24의 예에서는, 제m 프레임 Fr(m)에 있어서, 프레임 Fr(m)의 상단의 라인 L#1로부터 라인 순차적으로 라인 L#2, L#3, …으로 라인 판독이 행해진다. 프레임 Fr(m)에 있어서의 라인 판독이 완료하면, 다음의 제(m+1) 프레임 Fr(m+1)에 있어서, 마찬가지로 하여 상단의 라인 L#1로부터 라인 순차적으로 라인의 판독이 행해진다.
도 25는 제2 실시형태에 따른 인식 처리를 개략적으로 나타내는 모식도이다. 도 25에 나타내는 바와 같이, 인식 처리는, CNN(52')에 의한 처리 및 내부 정보의 갱신(55)을, 각 라인 L#1, L#2, L#3…의 화소 정보(54) 각각에 대해 순차적으로 실행함으로써 행해진다. 그 때문에, CNN(52')에는 1 라인분의 화소 정보(54)를 입력해도 되고, 인식기(56)를 극히 소규모로 구성하는 것이 가능하다. 한편, 인식기(56)는, 순차적으로 입력되는 정보에 대해 CNN(52')에 의한 처리를 실행하여 내부 정보의 갱신(55)을 행하기 때문에, RNN으로서의 구성을 갖는다.
라인 순차의 인식 처리를, RNN을 사용하여 행함으로써, 프레임에 포함되는 모든 라인을 판독하지 않아도, 유효한 인식 결과가 얻어지는 경우가 있다. 이 경우, 인식 처리부(12)는, 유효한 인식 결과가 얻어진 시점에서, 인식 처리를 종료시킬 수 있다. 도 26 및 도 27을 사용하여, 프레임 판독 도중에 인식 처리를 종료시키는 예에 대해 설명한다.
도 26은 인식 대상이 숫자 「8」인 경우의 예를 나타내는 도면이다. 도 26의 예에서는, 프레임(70)에 있어서, 수직 방향의 3/4 정도의 범위(71)가 판독된 시점에서 숫자 「8」이 인식되고 있다. 따라서, 인식 처리부(12)는, 이 범위(71)가 판독된 시점에서 숫자 「8」이 인식되었다는 것을 나타내는 유효한 인식 결과를 출력하고, 프레임(70)에 대한 라인 판독 및 인식 처리를 종료시킬 수 있다.
도 27은 인식 대상이 사람인 경우의 예를 나타내는 도면이다. 도 27의 예에서는, 프레임(72)에 있어서, 수직 방향의 1/2 정도의 범위(73)가 판독된 시점에서, 사람(74)이 인식되고 있다. 따라서, 인식 처리부(12)는, 이 범위(73)가 판독된 시점에서 사람(74)이 인식되었다는 것을 나타내는 유효한 인식 결과를 출력하고, 프레임(72)에 대한 라인 판독 및 인식 처리를 종료시킬 수 있다.
이와 같이, 제2 실시형태에서는, 프레임에 대한 라인 판독 도중에 유효한 인식 결과가 얻어진 경우에, 라인 판독 및 인식 처리를 종료시킬 수 있다. 그 때문에, 인식 처리에 있어서의 저전력화가 가능해지고, 인식 처리에 필요한 시간을 단축하는 것이 가능해진다.
상기 설명에서는, 라인 판독을 프레임의 상단측으로부터 하단측을 향해 행하고 있지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 라인 판독을 프레임의 하단측으로부터 상단측을 향해 행해도 된다. 즉, 촬상 장치(1)에 대해 먼 곳에 있는 물체에 의한 오브젝트는, 일반적으로는, 라인 판독을 프레임의 상단측으로부터 하단측을 향해 행함으로써, 보다 조기에 인식하는 것이 가능하다. 한편, 촬상 장치(1)에 대해 전방측에 있는 물체에 의한 오브젝트는, 일반적으로는, 라인 판독을 프레임의 하단측으로부터 상단측을 향해 행함으로써, 보다 조기에 인식하는 것이 가능하다.
예를 들면, 해당 촬상 장치(1)를 차재용으로서 전방을 촬상하도록 설치하는 것을 생각한다. 이 경우, 전방의 물체(예를 들면, 자신의 차의 전방의 차량이나 보행자)는, 촬상되는 화면의 아래 부분에 존재하기 때문에, 라인 판독을 프레임의 하단측으로부터 상단측을 향해 행하면, 보다 효과적이다. 또한, ADAS(Advanced Driver-Assistance Systems)에 있어서 즉시 정지가 필요한 경우에는, 해당하는 물체가 적어도 1개 인식되면 되고, 1개의 물체가 인식된 경우에, 다시 프레임의 하단측으로부터 라인 판독을 실행하는 것이 보다 효과적이라고 생각된다. 나아가, 예를 들면 고속도로 등에서는, 먼 곳의 물체가 우선되는 경우가 있다. 이 경우에는, 프레임의 상단측으로부터 하단측을 향해 라인 판독을 실행하는 것이 바람직하다.
나아가, 판독 단위를, 화소 어레이부(101)에 있어서의 행렬 방향 중 열 방향으로 해도 된다. 예를 들면, 화소 어레이부(101)에 있어서 1열에 배열되는 복수의 화소를 판독 단위로 하는 것이 생각된다. 촬상 방식으로서 글로벌 셔터 방식을 적용함으로써, 열을 판독 단위로 하는 열 판독이 가능하다. 글로벌 셔터 방식에서는, 열 판독과 라인 판독을 스위칭하여 실행하는 것이 가능하다. 판독을 열 판독에 고정적으로 하는 경우, 예를 들면 화소 어레이부(101)를 90°회전시켜, 롤링 셔터 방식을 사용하는 것이 생각된다.
예를 들면, 촬상 장치(1)에 대해 좌측에 있는 물체의 오브젝트는, 열 판독에 의해 프레임의 좌단측으로부터 순차적으로 판독을 행함으로써, 보다 조기에 인식하는 것이 가능하다. 마찬가지로, 촬상 장치(1)에 대해 우측에 있는 물체의 오브젝트는, 열 판독에 의해 프레임의 우단측으로부터 순차적으로 판독을 행함으로써, 보다 조기에 인식하는 것이 가능하다.
해당 촬상 장치(1)를 차재용으로서 사용하는 예에서는, 예를 들면 차량이 선회하고 있을 때에는, 선회측에 있는 물체의 오브젝트가 우선되는 경우가 있다. 이러한 경우, 선회측의 단부로부터 열 판독에 의해 판독을 행하는 것이 바람직하다. 선회 방향은, 예를 들면 차량의 스티어링 정보에 기초하여 취득할 수 있다. 이에 한정되지 않고, 예를 들면 촬상 장치(1)에 대해 3방향의 각속도(角速度)를 검지 가능한 센서를 설치하고, 이 센서의 검지 결과에 기초하여 선회 방향을 취득하는 것이 가능하다.
도 28은 제2 실시형태에 따른 인식 처리를 나타내는 일례의 플로우차트이다. 이 도 28의 플로우차트에 의한 처리는, 예를 들면 프레임으로부터의 판독 단위(예를 들면, 1라인)의 화소 데이터의 판독에 대응하는 처리이다. 여기서는, 판독 단위가 라인인 것으로서 설명을 행한다. 예를 들면, 판독 영역 정보는, 판독을 행하는 라인을 나타내는 라인 번호를 사용할 수 있다.
단계(S100)에서, 인식 처리부(12)는, 프레임의 판독 라인에 의해 나타내어지는 라인으로부터 라인 데이터의 판독을 행한다. 보다 구체적으로는, 인식 처리부(12)에 있어서 판독 결정부(123)는, 다음으로 판독을 행하는 라인의 라인 번호를 센서 제어부(11)로 전달한다. 센서 제어부(11)에 있어서, 판독부(110)는, 전달된 라인 번호에 따라, 센서부(10)로부터, 해당 라인 번호로 나타내어지는 라인의 화소 데이터를 라인 데이터로서 판독한다. 판독부(110)는, 센서부(10)로부터 판독된 라인 데이터를 특징량 계산부(120)로 전달한다. 또한, 판독부(110)는, 화소 데이터의 판독을 행한 영역을 나타내는 판독 영역 정보(예를 들면, 라인 번호)를 특징량 계산부(120)로 전달한다.
다음 단계(S101)에서, 특징량 계산부(120)는, 판독부(110)로부터 전달된 화소 데이터에 기초하여, 라인 데이터에 기초하는 특징량을 계산하고, 라인의 특징량을 산출한다. 다음 단계(S102)에서, 특징량 계산부(120)는, 특징량 축적 제어부(121)로부터, 특징량 축적부(122)에 축적되어 있는 특징량을 취득한다. 다음 단계(S103)에서, 특징량 계산부(120)는, 단계(S101)에서 산출된 특징량과, 단계(S102)에서 특징량 축적 제어부(121)로부터 취득된 특징량을 통합한다. 통합된 특징량은 특징량 축적 제어부(121)로 전달된다. 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터 전달된 통합된 특징량을, 특징량 축적부(122)에 축적한다(단계(S104)).
한편, 단계(S100)로부터의 일련의 처리가 프레임의 선두 라인에 대한 처리이며, 또한, 특징량 축적부(122)가 예를 들면 초기화되어 있는 경우에는, 단계(S102) 및 단계(S103)에 의한 처리를 생략할 수 있다. 또한, 이 때, 단계(S104)에 의한 처리는, 해당 선두 라인에 기초하여 계산된 라인 특징량을 특징량 축적부(122)에 축적하는 처리로 된다.
또한, 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터 전달된 통합된 특징량을, 인식 처리 실행부(124)로도 전달한다. 단계(S105)에서, 인식 처리 실행부(124)는, 특징량 축적 제어부(121)로부터 전달된, 통합된 특징량을 사용하여 인식 처리를 실행한다. 다음 단계(S106)에서, 인식 처리 실행부(124)는, 단계(S105)의 인식 처리에 의한 인식 결과를 출력한다.
단계(S107)에서, 인식 처리부(12)에 있어서 판독 결정부(123)는, 특징량 축적 제어부(121)로부터 전달된 판독 정보에 따라 다음 판독을 행하는 판독 라인을 결정한다. 예를 들면, 특징량 축적 제어부(121)는, 특징량 계산부(120)로부터, 특징량과 함께, 판독 영역 정보를 수취한다. 특징량 축적 제어부(121)는, 이 판독 영역 정보에 기초하여, 예를 들면 미리 지정된 판독 패턴(이 예에서는 라인 순차)에 따라, 다음으로 판독을 행하는 판독 라인을 결정한다. 이 결정된 판독 라인에 대해, 단계(S100)로부터의 처리가 다시 실행된다.
(5-0-4. 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예)
다음으로, 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예에 대해 설명한다. 도 29a 및 도 29b는, 제2 실시형태에 따른 판독 및 인식 처리의 제어의 예를 나타내는 일례의 타임 차트이다. 도 29a 및 도 29b의 예에서는, 1 촬상 주기(1 프레임 주기) 내에 촬상 동작을 행하지 않은 블랭크 기간 blk를 제공하는 예이다. 도 29a 및 도 29b에 있어서, 오른쪽 방향으로 시간이 진행하는 것을 나타내고 있다.
도 29a는 촬상 주기의, 예를 들면, 1/2의 기간을 연속적으로 블랭크 기간 blk에 할당하는 예이다. 도 29a에 있어서, 촬상 주기는 프레임 주기로서, 예를 들면 1/30 [sec]이다. 센서부(10)로부터의 프레임의 판독은 이 프레임 주기로 행해진다. 촬상 시간은 프레임에 포함되는 모든 라인의 촬상을 행하기 위해 필요한 시간이다. 도 29a의 예에서는, 프레임이 n개의 라인을 포함하는 것으로 하고, 라인 L#1∼라인 L#n의 n개의 라인의 촬상을, 1/30 [sec]의 프레임 주기에 대해 1/2의 기간인 1/60 [sec]에서 완료하고 있다. 1 라인의 촬상에 할당되는 시간은, 1/(60×n) [sec]가 된다. 프레임에 있어서 마지막 라인 L#n을 촬상한 타이밍으로부터, 다음 프레임의 선두 라인 L#1을 촬상하는 타이밍까지의 1/30 [sec]의 기간은 블랭크 기간 blk로 되어 있다.
예를 들면, 라인 L#1의 촬상이 종료된 타이밍에서, 다음 라인 L#2의 촬상이 개시되고, 인식 처리부(12)에 의해, 해당 라인 L#1에 대한 라인 인식 처리, 즉, 라인 L#1에 포함되는 화소 데이터에 대한 인식 처리가 실행된다. 인식 처리부(12)는, 라인 L#1에 대한 라인 인식 처리를, 다음 라인 L#2의 촬상이 개시되기 전에 종료시킨다. 인식 처리부(12)는, 라인 L#1에 대한 라인 인식 처리가 종료되면, 해당 인식 처리의 인식 결과를 출력한다.
다음 라인 L#2에 대해서도 마찬가지로, 라인 L#2의 촬상이 종료된 타이밍에서 다음 라인 L#3의 촬상이 개시되고, 인식 처리부(12)에 의해, 해당 라인 L#2에 대한 라인 인식 처리가 실행되고, 실행된 라인 인식 처리가 다음 라인 L#3의 촬상 개시 전에 종료된다. 도 29a의 예에서는, 이와 같이, 라인 L#1, L#2, #3, …, L#m, …의 촬상이 순차적으로 실행된다. 그리고, 각 라인 L#1, L#2, L#3, …, L#m, …각각에 있어서, 촬상 종료 타이밍에서, 촬상이 종료된 라인의 다음 라인의 촬상이 개시되고, 촬상이 종료된 라인에 대한 라인 인식 처리가 실행된다.
이와 같이, 판독 단위(이 예에서는 라인)마다, 순차적으로 인식 처리를 실행함으로써, 인식기(인식 처리부(12))에 프레임의 화상 데이터를 모두 입력하지 않아도, 인식 결과를 순차적으로 얻을 수 있고, 인식 결과가 얻어질 때까지의 지연을 저감시키는 것이 가능해진다. 또한, 어떤 라인에서 유효한 인식 결과가 얻어진 경우, 그 시점에서, 인식 처리를 종료시킬 수 있고, 인식 처리의 시간 단축이나 저전력화가 가능해진다. 또한, 각 라인의 인식 결과 등에 대해, 시간축에서 정보 전파를 행하여 통합함으로써, 인식 정밀도를 서서히 향상시켜 가는 것이 가능해진다.
한편, 도 29a의 예에서는, 프레임 주기 내의 블랭크 기간 blk에 있어서, 프레임 주기 내에 실행되어야 할 다른 처리(예를 들면, 인식 결과를 사용한 시인 처리부(14)에 있어서의 화상 처리)를 실행할 수 있다.
도 29b는 1라인의 촬상마다 블랭크 기간 blk를 제공하는 예이다. 도 29b의 예에서는, 프레임 주기(촬상 주기)가 도 29a의 예와 마찬가지의 1/30 [sec]로 되어 있다. 한편, 촬상 시간은, 촬상 주기와 동일한 1/30 [sec]로 되어 있다. 또한, 도 29b의 예에서는, 1프레임 주기에 있어서, 라인 L#1∼라인 L#n의 n개의 라인 촬상이 1/(30×n) [sec]의 시간 간격으로 실행되고, 1 라인분의 촬상 시간이 1/(60×n) [sec]인 것으로 한다.
이 경우, 각 라인 L#1∼L#n의 촬상마다, 1/(60×n) [sec]의 블랭크 기간 blk를 제공하는 것이 가능해진다. 이 각 라인 L#1∼L#n의 블랭크 기간 blk 각각에 있어서, 대응하는 라인의 촬상 화상에 대해 실행되어야 할 다른 처리(예를 들면, 인식 결과를 사용한 시인 처리부(14)에 있어서의 화상 처리)를 실행할 수 있다. 이 때, 이 이외의 처리에 대해, 대상 라인의 다음 라인의 촬상이 종료하기 직전까지의 시간(이 예에서는 대략 1/(30×n) [sec])을 할당할 수 있다. 이 도 29b의 예에서는, 이 이외의 처리의 처리 결과를 라인마다 출력할 수 있고, 다른 처리에 의한 처리 결과를 보다 신속히 취득하는 것이 가능해진다.
도 30은 제2 실시형태에 따른 판독 및 인식 처리의 제어의 다른 예를 나타내는 일례의 타임 차트이다. 전술한 도 29의 예에서는, 프레임에 포함되는 전체 라인 L#1∼L#n의 촬상을 프레임 주기의 1/2의 기간에서 완료시키고, 프레임 주기의 나머지 1/2의 기간을 블랭크 기간으로 하고 있었다. 이에 대해, 도 30에 나타내는 예에서는, 프레임 주기 내에 블랭크 기간을 제공하지 않고, 프레임에 포함되는 전체 라인 L#1∼L#n의 촬상을 프레임 주기의 전체 기간을 사용하여 행한다.
여기서, 1라인의 촬상 시간을 도 29a 및 도 29b와 동일한 1/(60×n) [sec]로 하고, 프레임에 포함되는 라인수를, 도 29a 및 도 29b와 동일한 n개로 한 경우, 프레임 주기, 즉 촬상 주기는 1/60 [sec]가 된다. 따라서, 도 30에 나타내는 블랭크 기간 blk를 제공하지 않은 예에서는, 전술한 도 29a 및 도 29b의 예에 비해, 프레임 레이트를 고속화할 수 있다.
[6. 제3 실시형태]
다음으로, 본 개시의 제3 실시형태에 대해 설명한다. 제3 실시형태는, 인식 처리부(12)에 의한 인식 결과와, 시인 처리부(14)에 의한 시인용 화상 데이터의 출력 타이밍을 제어하는 예이다. 제3 실시형태에서는, 도 21을 참조하여, 트리거 생성부(16)에 의해 생성된 트리거 신호에 기초하여, 인식 처리 실행부(124)로부터의 인식 결과의 출력과, 화상 처리부(143)로부터의 화상 데이터의 출력을 제어한다.
(6-0. 제3 실시형태의 개요)
도 31은 제3 실시형태에 따른 출력 제어 처리의 개요를 설명하기 위한 일례의 플로우차트이다. 도 31의 플로우차트에 따른 처리는, 판독 단위의 판독마다 실행되는 처리이다. 이하에서는, 판독 단위를 라인으로 하고, 센서 제어부(11)는 센서부(10)로부터 라인 단위로 화소 데이터를 판독하는 것으로 한다.
단계(S200)에서, 판독부(110)는, 센서부(10)로부터 라인 단위의 화소 데이터(이하, 적절히, 라인 데이터라고 부름)를 판독한다. 판독부(110)는, 센서부(10)로부터 판독된 라인 데이터를, 인식 처리부(12) 및 시인 처리부(14)로 전달한다. 시인 처리부(14)는, 판독부(110)로부터 전달된 화소 데이터를 화상 데이터 축적 제어부(140)로 전달한다. 화상 데이터 축적 제어부(140)는, 예를 들면, 전달된 화소 데이터를, 예를 들면 화상 데이터 축적부(141)에 축적하고, 화상 처리부(143)로 전달한다.
한편, 인식 처리부(12)는, 단계(S201)에서, 판독부(110)로부터 전달된 라인 데이터에 기초하는 특징량 계산부(120)에 의한 특징량의 계산, 계산된 특징량의 특징량 축적부(122)로의 축적, 특징량 축적부(122)에 축적된, 통합된 특징량에 기초하는 인식 처리 실행부(124)에 의한 인식 처리 등을 실행한다. 다음 단계(S202)에서, 인식 처리부(12)는, 인식 처리 실행부(124)로부터 인식 처리에 의한 인식 결과를 출력한다. 다음 단계(S203)에서, 인식 처리부(12)에 있어서, 판독 결정부(123)는, 다음 판독 라인을 나타내는 판독 영역 정보를 생성하여 센서 제어부(11)로 전달한다.
다음 단계(S204)에서, 트리거 생성부(16)는, 예를 들면 단계(S202)에서의 인식 결과의 출력에 따라, 화상 처리부(143)로부터 시인용 화상의 출력을 행할지 여부를 판정한다. 트리거 생성부(16)는, 시인용 화상의 출력을 행하지 않는다고 판정한 경우(단계(S204), 「No」), 처리를 단계(S206)로 이행시킨다. 한편, 트리거 생성부(16)는, 시인용 화상의 출력을 행한다고 판정한 경우(단계(S204), 「Yes」), 처리를 단계(S205)로 이행시킨다.
단계(S205)에서, 트리거 생성부(16)는 출력 처리를 실행하여 트리거 신호를 출력한다. 트리거 신호는, 인식 처리 실행부(124) 및 화상 처리부(143)와, 출력 제어부(15)로 전달된다. 인식 처리 실행부(124) 및 화상 처리부(143)는, 이 트리거 신호에 따라, 각각 인식 결과 및 화상 데이터를 출력한다. 이들 인식 처리 실행부(124) 및 화상 처리부(143)로부터 출력된 인식 결과 및 화상 데이터는, 각각 출력 제어부(15)로 전달된다.
다음 단계(S206)에서, 출력 제어부(15)는, 단계(S205)에서 트리거 생성부(16)로부터 전달된 트리거 신호에 따라 출력 제어 처리를 행하고, 인식 결과 및 화상 데이터를 후단으로 출력한다.
이와 같이, 트리거 생성부(16)에 의해 생성된 트리거 신호에 따라 인식 처리 실행부(124) 및 화상 처리부(143)와, 출력 제어부(15)를 제어함으로써, 인식 결과 및 화상 데이터를 적절한 타이밍에서 출력하는 것이 가능해진다.
(6-0-1. 시간에 따른 트리거 신호 출력의 예)
도 32는 제3 실시형태에 따른 출력 제어 처리의 예를 모식적으로 나타내는 모식도이다. 여기서는, 트리거 생성부(16)가 시간에 기초하여 트리거 신호를 출력하는 경우에 대해 설명한다.
도 32에 있어서, 촬상 장치(1)(도 1 참조)에 의해, 인식 대상이 되는 대상 화상(손으로 쓴 숫자 「8」)의 촬상을 개시하고, 단계(S10)에서, 센서 제어부(11)는, 인식 처리부(12)로부터 전달되는 판독 영역 정보에 따라, 시간 t0에서, 프레임의 라인 단위로의 판독이 개시된다. 센서 제어부(11)는, 프레임을 라인 단위로, 프레임의 상단측으로부터 하단측을 향해 순차적으로 판독한다.
어떤 위치까지 라인이 판독되면, 인식 처리부(12)에 의해, 판독된 라인에 의한 화상으로부터, 「8」 또는 「9」의 숫자가 식별된다(단계(S11)). 인식 처리부(12)에 있어서, 판독 결정부(123)는, 특징량 축적 제어부(121)로부터 전달된 통합된 특징량에 기초하여, 단계(S11)에서 식별된 오브젝트가 숫자 「8」 또는 「9」 중 어느 것인지를 식별 가능할 것으로 예측되는 라인을 지정하는 판독 영역 정보를 생성하여, 판독부(110)로 전달한다. 그리고, 인식 처리부(12)는, 판독부(110)에 의해 지정된 라인을 판독한 화소 데이터에 기초하여 인식 처리를 실행한다(단계(S12)).
트리거 생성부(16)는, 판독 개시의 시간 t0으로부터 소정 시간이 경과한 시간 tTRG에서, 트리거 신호를 출력한다. 예를 들면, 프레임의 라인 단위로의 판독이 프레임 주기로 행해지는 경우, 트리거 생성부(16)는, 프레임 주기에 대응하는 일정 시간마다 트리거 신호를 출력하게 된다. 이 도 32의 예에서는, 단계(S12)의 처리 시점에서 시간 tTRG가 경과하고, 트리거 생성부(16)가 트리거 신호를 출력하고 있다. 이 트리거 신호에 따라, 인식 처리 실행부(124)로부터 인식 결과가 출력되고, 화상 처리부(143)로부터 화상 데이터가 출력된다. 또한, 출력 제어부(15)는, 이 트리거 신호에 따라, 인식 처리 실행부(124)로부터 출력된 인식 결과와, 화상 처리부(143)로부터 출력된 화상 데이터를 후단으로 출력한다.
한편, 인식 처리부(12)는, 시인 처리부(14)나 트리거 생성부(16) 등과는 다른 타이밍에서 처리를 실행한다. 그 때문에, 인식 처리부(12)는, 시간 tTRG보다 시간적으로 앞서 인식 처리가 완료되어 있는 경우가 있다. 그 경우에는, 인식 처리부(12)는, 트리거 생성부(16)로부터 시간 tTRG에 트리거 신호가 출력될 때까지, 다음 처리를 대기한다.
또한, 이 경우, 시인 처리부(14)는, 인식 처리부(12)에 있어서의 인식 처리가 완료된 시점에서 프레임으로부터 판독되어 있지 않은 미처리 라인이 존재하는 경우에는, 그 미처리 라인을 더 판독할 수 있다. 출력 제어부(15)는, 시인 처리부(14)에 판독된 미처리 라인의 라인 데이터를, 인식 처리부(12)에 의한 인식 처리를 위해 판독한 라인 데이터와 함께 출력할 수 있다.
한편, 인식 처리부(12)는, 시간 tTRG의 시점에서 인식 처리가 완료되어 있지 않은 경우도 있다. 그 경우에는, 인식 처리부(12)는, 트리거 신호에 따라, 시간 tTRG의 시점에서의 인식 결과를 출력한다.
도 33a 및 도 33b는, 각각, 제3 실시형태에 따른 촬상 장치(1)의 인식 처리부(12) 측의 일례의 기능과, 시인 처리부(14) 측의 일례의 기능을 각각 나타내는 기능 블록도이다. 도 33a 및 도 33b는, 각각, 전술한 도 21의 구성으로부터, 인식 처리부(12) 측의 일례의 기능과, 시인 처리부(14) 측의 일례의 기능을 각각 뽑아내어 나타내고 있다.
도 33a에 나타내는 바와 같이, 트리거 생성부(16a)는, 일정 시간마다 트리거 신호를 인식 처리 실행부(124)에 대해 출력한다. 또한, 도 33b에 나타내는 바와 같이, 트리거 생성부(16a)는, 일정 시간마다 트리거 신호를 화상 처리부(143)에 대해 출력한다.
도 34는 제3 실시형태에 따른, 시간에 따라 트리거 신호를 출력하는 경우의 처리를 나타내는 일례의 플로우차트이다. 도 34에 있어서, 단계(S200)∼단계(S203)의 처리는, 전술한 도 31의 플로우차트에 따른 단계(S200)∼단계(S203)의 처리와 마찬가지이다.
즉, 단계(S200)에서, 판독부(110)는 센서부(10)로부터 라인 데이터를 판독하고, 인식 처리부(12) 및 시인 처리부(14)로 전달한다. 시인 처리부(14)는, 판독부(110)로부터 전달된 화소 데이터를 화상 데이터 축적 제어부(140)로 전달한다. 화상 데이터 축적 제어부(140)는, 예를 들면, 전달된 화소 데이터를, 예를 들면 화상 데이터 축적부(141)에 축적하고, 화상 처리부(143)로 전달한다.
인식 처리부(12)는, 단계(S201)에서, 판독부(110)로부터 전달된 라인 데이터에 기초하는 특징량의 계산, 계산된 특징량의 축적, 축적된, 통합된 특징량에 기초하는 인식 처리 등을 실행한다. 다음 단계(S202)에서, 인식 처리부(12)는, 인식 처리 실행부(124)로부터 인식 처리에 의한 인식 결과를 출력한다. 다음 단계(S203)에서, 인식 처리부(12)에 있어서, 판독 결정부(123)는, 다음 판독 라인을 나타내는 판독 영역 정보를 생성하여 센서 제어부(11)로 전달한다.
다음 단계(S2040)에서, 트리거 생성부(16)는, 단계(S200)의 라인 판독 개시로부터 일정 시간이 경과하였는지 여부를 판정한다. 경과하지 않았다고 판정된 경우(단계(S2040), 「No」), 이 도 34의 플로우차트에 따른 일련의 처리가 종료된다. 한편, 트리거 생성부(16)는, 일정 시간이 경과하였다고 판정된 경우(단계(S2040), 「Yes」), 처리를 단계(S205)로 이행시킨다.
단계(S205)에서, 트리거 생성부(16)는 출력 처리를 실행하여 트리거 신호를 출력한다. 트리거 신호는, 인식 처리 실행부(124) 및 화상 처리부(143)와, 출력 제어부(15)로 전달된다. 인식 처리 실행부(124) 및 화상 처리부(143)는, 이 트리거 신호에 따라, 각각 인식 결과 및 화상 데이터를 출력한다. 이들 인식 처리 실행부(124) 및 화상 처리부(143)로부터 출력된 인식 결과 및 화상 데이터는, 각각 출력 제어부(15)를 통해 후단으로 출력된다.
이와 같이, 제3 실시형태에서는, 트리거 생성부(16)에 의해 일정 주기로 트리거 신호가 출력되기 때문에, 인식 결과 및 시인용 화상 데이터를, 일정 주기, 예를 들면 프레임 주기로 출력할 수 있다.
[6-1. 제3 실시형태의 제1 변형예]
다음으로, 제3 실시형태의 제1 변형예에 대해 설명한다. 제3 실시형태의 제1 변형예는, 트리거 신호를, 센서 제어부(11)에 의해 프레임으로부터 판독된 영역에 따라 생성하는 예이다.
도 35는 제3 실시형태의 제1 변형예에 따른 출력 제어 처리의 예를 모식적으로 나타내는 모식도이다. 도 35에 있어서, 섹션(a)는, 센서 제어부(11)가 프레임으로부터 판독한 영역의, 프레임 전체에 대한 비율(판독 영역의 비율)의 시간 변화를 나타내고 있다. 또한, 섹션(b)는 전술한 도 32에 대응하는 도면으로서, 센서 제어부(11)에 의한 프레임 판독의 모습을 모식적으로 나타내고 있다. 즉, 단계(S10)에서 프레임이 라인 순차적으로 판독되고, 단계(S11)에서 오브젝트를 식별 가능할 것으로 예측되는 라인으로 점프하여, 판독이 행해진다. 그리고, 단계(S12)에서 인식 결과가 출력된다.
도 35의 섹션(a)에 있어서, 판독 영역의 비율은, 단계(S11)까지 일정한 속도로 변화하고, 단계(S11)에서부터는, 단계(S11)보다 작은 속도로 변화하고 있다. 여기서, 트리거 생성부(16)는, 판독 영역의 비율이 임계값 Rth에 도달한 시간 tTRG에서, 트리거 신호를 생성한다. 이 트리거 신호에 따라, 인식 처리 실행부(124)로부터 인식 결과가 출력되고, 화상 처리부(143)로부터 화상 데이터가 출력된다. 또한, 출력 제어부(15)는, 이 트리거 신호에 따라, 인식 처리 실행부(124)로부터 출력된 인식 결과와, 화상 처리부(143)로부터 출력된 화상 데이터를 후단으로 출력한다.
도 36a 및 도 36b는, 각각, 제3 실시형태의 제1 변형예에 따른 촬상 장치(1)의 인식 처리부(12) 측의 일례의 기능과, 시인 처리부(14) 측의 일례의 기능을 각각 나타내는 기능 블록도이다. 도 36a 및 도 36b는, 각각, 전술한 도 21의 구성으로부터, 인식 처리부(12) 측의 일례의 기능과, 시인 처리부(14) 측의 일례의 기능을 각각 뽑아내어 나타내고 있다.
도 36a 및 도 36b에 각각 나타내는 바와 같이, 트리거 생성부(16b)는, 센서 제어부(11)의 판독 제어부(111)로부터 판독 영역 정보를 수취하고, 수취한 판독 영역 정보에 기초하여 판독 영역의 비율을 구한다. 트리거 생성부(16b)는, 구한 판독 영역의 비율이 임계값 Rth를 초과하였다고 판정하면, 트리거 신호를 생성하고, 생성된 트리거 신호를, 인식 처리 실행부(124)(도 36a 참조)와, 화상 처리부(143)(도 36b 참조)에 대해 각각 출력한다.
도 37은 제3 실시형태의 제1 변형예에 따른 처리를 나타내는 일례의 플로우차트이다. 도 37에 있어서, 단계(S200)∼단계(S203)의 처리는, 전술한 도 34의 플로우차트에 따른 단계(S200)∼단계(S203)의 처리와 마찬가지이므로, 여기서의 설명을 생략한다. 단계(S203)에서, 인식 처리부(12)에 있어서, 판독 결정부(123)에 의해, 다음 판독 라인을 나타내는 판독 영역 정보가 센서 제어부(11)로 전달되면, 처리가 단계(S2041)로 이행된다.
단계(S2041)에서, 트리거 생성부(16b)는, 센서 제어부(11)로부터 수취한 판독 영역 정보에 기초하여, 판독 영역의 비율이 임계값 Rth를 초과하였는지 여부를 판정한다. 초과하지 않았다고 판정한 경우(단계(S2041), 「No」), 이 도 37의 플로우차트에 따른 일련의 처리가 종료된다. 그 후, 예를 들면 단계(S200)에서부터, 다음 라인 데이터의 판독이 행해진다.
한편, 트리거 생성부(16b)는, 판독 영역의 비율이 임계값 Rth를 초과하였다고 판정한 경우(단계(S2041), 「Yes」), 처리를 단계(S205)로 이행시키고, 출력 처리를 실행하여 트리거 신호를 출력한다. 이 트리거 신호에 따라, 인식 처리 실행부(124) 및 화상 처리부(143)에 의해, 각각 인식 결과 및 화상 데이터가 출력된다.
이와 같이, 제3 실시형태의 제1 변형예에서는, 트리거 생성부(16b)에 의해 판독 영역의 비율에 따라 트리거 신호가 출력되기 때문에, 프레임에 있어서의 일정 이상의 영역의 화상 데이터를, 시인용 화상 데이터로서 출력할 수 있다.
[6-2. 제3 실시형태의 제2 변형예]
다음으로, 제3 실시형태의 제2 변형예에 대해 설명한다. 제3 실시형태의 제2 변형예는, 트리거 신호를, 인식 처리 실행부(124)에 의한 인식 처리 결과의 정확도의 정도를 나타내는 인식 확신도(recognition confidence)에 따라 생성하는 예이다.
도 38은 제3 실시형태의 제1 변형예에 따른 출력 제어 처리의 예를 모식적으로 나타내는 모식도이다. 도 38에 있어서, 섹션(a)는 센서 제어부(11)가 프레임으로부터 판독한 라인 데이터에 대한 인식 처리 실행부(124)에 의한 인식 처리의 인식 확신도를 나타내는 인식 확신도 스코어의 시간 변화를 나타내고 있다. 또한, 섹션(b)는 전술한 도 32에 대응하는 도면으로서, 센서 제어부(11)에 의한 프레임 판독의 모습을 모식적으로 나타내고 있다. 즉, 단계(S10)에서 프레임이 라인 순차적으로 판독되고, 단계(S11)에서 오브젝트를 식별 가능할 것으로 예측되는 라인으로 점프하여, 판독이 행해진다. 그리고, 단계(S12)에서 인식 결과가 출력된다.
도 38의 섹션(a)에 있어서, 인식 확신도 스코어는, 단계(S11)까지 일정한 속도로 변화하고, 단계(S11)에서 「8」 또는 「9」의 숫자가 식별되고 나서는, 단계(S11)보다 큰 속도로 변화하고 있다. 여기서, 트리거 생성부(16)는, 인식 확신도 스코어가 임계값 Cth에 도달한 시간 tTRG에서, 트리거 신호를 생성한다. 이 트리거 신호에 따라, 인식 처리 실행부(124)로부터 인식 결과가 출력되고, 화상 처리부(143)로부터 화상 데이터가 출력된다. 또한, 출력 제어부(15)는, 이 트리거 신호에 따라, 인식 처리 실행부(124)로부터 출력된 인식 결과와, 화상 처리부(143)로부터 출력된 화상 데이터를 후단으로 출력한다.
도 39a 및 도 39b는, 각각, 제3 실시형태의 제2 변형예에 따른 촬상 장치(1)의 인식 처리부(12) 측의 일례의 기능과, 시인 처리부(14) 측의 일례의 기능을 각각 나타내는 기능 블록도이다. 도 39a는, 전술한 도 21의 구성으로부터, 인식 처리부(12) 측의 일례의 기능을 뽑아내어 나타내고 있다.
도 39a 및 도 39b에 각각 나타내는 바와 같이, 인식 처리 실행부(124)는, 인식 확신도 스코어를 포함하는 인식 결과를 수시로 출력한다. 트리거 생성부(16c)는, 인식 처리 실행부(124)로부터 인식 결과를 수취하고, 수취한 인식 결과에 포함되는 인식 확신도 스코어를 취득한다. 트리거 생성부(16c)는, 취득한 인식 확신도 스코어가 임계값 Cth를 초과하였다고 판정하면, 트리거 신호를 생성하고, 생성된 트리거 신호를, 인식 처리 실행부(124)(도 39a 참조)와, 화상 처리부(143)(도 39b 참조)에 대해 각각 출력한다.
도 40은 제3 실시형태의 제2 변형예에 따른 처리를 나타내는 일례의 플로우차트이다. 도 40에 있어서, 단계(S200)∼단계(S203)의 처리는, 전술한 도 34의 플로우차트에 따른 단계(S200)∼단계(S203)의 처리와 마찬가지이므로, 여기서의 설명을 생략한다. 단계(S203)에서, 인식 처리부(12)에 있어서, 판독 결정부(123)에 의해, 다음 판독 라인을 나타내는 판독 영역 정보가 센서 제어부(11)로 전달되면, 처리가 단계(S2041)로 이행된다.
단계(S2042)에서, 트리거 생성부(16c)는, 인식 처리 실행부(124)로부터 수취한 인식 결과에 포함되는 인식 확신도 스코어가 임계값 Cth를 초과하였는지 여부를 판정한다. 초과하지 않았다고 판정한 경우(단계(S2042), 「No」), 이 도 40의 플로우차트에 따른 일련의 처리가 종료된다. 그 후, 예를 들면 단계(S200)에서부터, 다음 라인 데이터의 판독이 행해진다.
한편, 트리거 생성부(16c)는, 인식 확신도 스코어가 임계값 Cth를 초과하였다고 판정한 경우(단계(S2042), 「Yes」), 처리를 단계(S205)로 이행시키고, 출력 처리를 실행하여 트리거 신호를 출력한다. 이 트리거 신호에 따라, 인식 처리 실행부(124) 및 화상 처리부(143)에 의해, 각각 인식 결과 및 화상 데이터가 출력된다.
이와 같이, 제3 실시형태의 제2 변형예에서는, 트리거 생성부(16)에 의해 인식 확신도 스코어에 따라 트리거 신호가 출력되기 때문에, 시인용 화상 데이터에 포함되는 오브젝트에 관한 보다 고정밀도의 인식 정보를 취득할 수 있다.
[6-3. 제3 실시형태의 제3 변형예]
다음으로, 제3 실시형태의 제3 변형예에 대해 설명한다. 제3 실시형태의 제3 변형예는, 트리거 신호를, 해당 촬상 장치(1)의 외부로부터 취득되는 외부 정보에 따라 생성하는 예이다.
도 41a 및 도 41b는, 각각, 제3 실시형태의 제3 변형예에 따른 촬상 장치(1)의 인식 처리부(12) 측의 일례의 기능과, 시인 처리부(14) 측의 일례의 기능을 각각 나타내는 기능 블록도이다. 도 41a 및 도 41b는, 각각, 전술한 도 21의 구성으로부터, 인식 처리부(12) 측의 일례의 기능과, 시인 처리부(14) 측의 일례의 기능을 각각 뽑아내어 나타내고 있다.
도 41a 및 도 41b에 각각 나타내는 바와 같이, 제3 실시형태의 제3 변형예에 따른 촬상 장치(1)는, 외부로부터의 정보를 취득하는 외부 정보 취득부(17)를 구비하고 있다. 외부 정보 취득부(17)는, 외부로부터 취득된 외부 정보를 트리거 생성부(16d)로 전달한다. 트리거 생성부(16d)는 외부 정보 취득부(17)로부터 전달된 외부 정보에 따라 트리거 신호를 생성하고, 생성된 트리거 신호를, 인식 처리 실행부(124)(도 41a 참조)와, 화상 처리부(143)(도 41b 참조)에 대해 각각 출력한다.
여기서, 외부 정보 취득부(17)가 취득하는 외부 정보로서는, 외부로부터의 트리거 신호, 외부의 인식 장치에 의한 인식 결과 등, 해당 촬상 장치(1)의 외부로부터 취득 가능한 다양한 정보를 적용할 수 있다. 이러한 외부 정보를 출력하는 외부 장치로서는, 다른 촬상 장치, LiDAR(Laser Imaging Detection and Ranging) 방식의 센서(LiDAR 센서라고 부름), 레이더 장치 등을 생각할 수 있다. 예를 들면, 해당 촬상 장치(1)가 차재 용도로 사용되는 경우, 동일한 차량에 탑재되는 다른 촬상 장치, LiDAR 센서, 레이더 장치 등으로부터 출력되는 인식 정보, 트리거 신호, 차량 정보 등의 외부 정보를 해당 촬상 장치(1)에 입력할 수 있도록 한다.
일례로서, 외부 정보가, 다른 촬상 장치에 의한 인식 결과나, LiDAR 센서 또는 레이더 장치에 의한 인식 결과인 경우, 트리거 생성부(16d)는, 외부 정보 취득부(17)에 의해 외부 정보로서 취득된 인식 결과의 인식 확신도 스코어에 따라, 트리거 신호의 생성을 행하는 것을 생각할 수 있다.
한편, 이들 외부 장치로부터 출력되는 외부 정보를 사용하는 경우에는, 해당 촬상 장치(1)의 촬상 화상에 대한 위치 및 시간에 관한 캘리브레이션(calibration)을 실행하는 것이 바람직하다. 또한, 상기 설명에서는, 외부 장치를 마스터(master)로 하여, 해당 촬상 장치(1)는, 외부 장치로부터 출력되는 외부 정보에 따라 트리거 신호를 출력하도록 설명했지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 촬상 장치(1)를 마스터로 하여, 트리거 생성부(16d)는, 다른 방법(시간, 판독 영역의 비율, 인식 확신도 스코어 등)에 의해 생성된 트리거 신호를, 외부 장치에 대해 출력하는 것도 가능하다.
전술한 예에 한정되지 않고, GNSS(Global Navigation Satellite System)를 이용하여 취득한 시간 정보를 외부 정보로서 사용할 수도 있다. 나아가, 해당 촬상 장치(1)가 차재 용도인 경우, 외부 정보 취득부(17)는, 해당 촬상 장치(1)가 탑재되는 차량의 차량 정보(스티어링 정보, 속도 정보, 브레이크 정보, 방향지시 정보 등)를 외부 정보로서 취득할 수도 있다.
도 42는 제3 실시형태의 제3 변형예에 따른 처리를 나타내는 일례의 플로우차트이다. 도 42에 있어서, 단계(S200)∼단계(S203)의 처리는, 전술한 도 34의 플로우차트에 따른 단계(S200)∼단계(S203)의 처리와 마찬가지이므로, 여기서의 설명을 생략한다. 단계(S203)에서, 인식 처리부(12)에 있어서, 판독 결정부(123)에 의해, 다음 판독 라인을 나타내는 판독 영역 정보가 센서 제어부(11)로 전달되면, 처리가 단계(S2043)로 이행된다.
단계(S2043)에서, 트리거 생성부(16d)는, 외부 정보 취득부(17)에 의해 소정의 외부 정보가 취득되었는지 여부를 판정한다. 취득되지 않았다고 판정한 경우(단계(S2043), 「No」), 이 도 42의 플로우차트에 따른 일련의 처리가 종료된다. 그 후, 예를 들면 단계(S200)에서부터, 다음 라인 데이터의 판독이 행해진다.
한편, 트리거 생성부(16d)는, 외부 정보 취득부(17)에 의해 소정의 외부 정보가 취득되었다고 판정한 경우(단계(S2043), 「Yes」), 처리를 단계(S205)로 이행시킨다. 트리거 생성부(16d)는, 외부 장치로부터 외부 정보 취득부(17)에 입력된 소정의 외부 정보를 외부 정보 취득부(17)로부터 취득한다. 트리거 생성부(16d)는, 취득한 소정의 외부 정보에 따라 출력 처리를 실행하여 트리거 신호를 출력한다. 이 트리거 신호에 따라, 인식 처리 실행부(124) 및 화상 처리부(143)에 의해, 각각 인식 결과 및 화상 데이터가 출력된다.
이와 같이, 제3 실시형태의 제3 변형예에서는, 외부로부터 입력된 외부 정보에 따라 트리거 신호가 출력됨으로써, 복수의 센서 장치에 의한 인식 결과를 이용 가능하다. 그 때문에, 제3 실시형태의 제3 변형예에 따른 촬상 장치(1)는, 외부 장치와의 연계가 가능하게 된다.
[7. 제4 실시형태]
다음으로, 제4 실시형태에 대해 설명한다. 제4 실시형태는, 인식 처리부(12)에 의한 인식 결과의 출력과, 시인 처리부(14)에 의한 시인용 화상 데이터의 출력의 어긋남에 대응하는 예이다.
도 43은 제4 실시형태에 따른 출력 제어 처리의 예를 모식적으로 나타내는 모식도이다. 제4 실시형태에서는, 인식 처리 실행부(124)에 대한 트리거 신호와, 화상 처리부(143)에 대한 트리거 신호를 각각 독립적으로 출력한다. 또한, 이하의 예에서는, 인식 처리 실행부(124) 및 화상 처리부(143) 각각에 대한 트리거 신호는, 제3 실시형태의 제2 변형예에서 설명한, 각각의 처리에 있어서 판독된 판독 영역의 프레임에 대한 비율에 따라, 출력된다. 인식 처리 실행부(124)에 대한 판독 영역의 비율의 임계값을 임계값 Rth1로 하고, 화상 처리부(143)에 대한 판독 영역의 비율의 임계값을 임계값 Rth2로 한다.
도 43에 있어서, 프레임 판독이 시간 t0에서 개시되고(단계(S10)), 단계(S11)에서 프레임이 라인 순차적으로 판독된다. 이 예에서는, 단계(S11) 이후, 단계(S20)에서 오브젝트를 식별 가능할 것으로 예측되는 라인으로 점프하여, 판독이 행해진다. 여기서, 단계(S20)의 처리에 있어서, 인식 처리 실행부(124)에 의한 처리에 대한 판독 영역의 비율이 시간 tTRG1에서 임계값 Rth1에 도달한 것으로 한다. 이 경우, 시간 tTRG1에 있어서 인식 처리 실행부(124)에 대해 트리거 신호가 출력된다. 인식 처리 실행부(124)는, 이 트리거 신호에 따라 인식 결과를 출력한다. 인식 처리 실행부(124)에 의해 시간 tTRG1에 출력된 인식 결과는, 소정의 기억 영역(캐시 메모리라고 부름)에 캐시된다(단계(S21)). 인식 처리부(12)는, 인식 결과가 출력되어 캐시되면, 인식 처리를 종료시킨다.
여기서, 시간 tTRG1의 시점에서는, 프레임 판독이 개시된 시간 t0으로부터 소정 시간, 예를 들면 프레임 주기가 경과하지 않은 것으로 한다.
시인 처리부(14)는, 단계(S21)에 있어서 인식 처리부(12)에 의한 인식 처리가 종료된 후, 판독 개시 시간 t0으로부터 소정 시간, 예를 들면 프레임 주기가 경과할 때까지 프레임 판독을 실행한다. 여기서, 화상 처리부(143)에 따른 처리에 대한 판독 영역의 비율이 시간 tTRG2에서 임계값 Rth2에 도달한 것으로 한다. 이 시간 tTRG2에서, 화상 처리부(143)에 대해 트리거 신호가 출력된다.
화상 처리부(143)는, 이 시간 tTRG2에서의 트리거 신호에 따라 시인용 화상 데이터를 출력한다. 또한, 단계(S21)에서 캐시된 인식 결과가, 이 시간 tTRG2에서의 트리거 신호에 따라, 캐시 메모리로부터 판독되어 출력된다. 이에 의해, 시인용 화상 데이터와 인식 결과의 동시 출력이 가능해진다.
한편, 상기 설명에서는, 단계(S21)에 있어서, 인식 결과만을 캐시하고 있지만, 이것은 이 예에 한정되지 않고, 시인용 화상 데이터를 더 캐시해도 된다.
도 44는 제4 실시형태에 따른 촬상 장치(1)의 일례의 기능을 나타내는 기능 블록도이다. 도 44에 있어서, 촬상 장치(1)에 대해, 인식 처리 실행부(124)에 대한 트리거 신호를 생성하는 트리거 생성부(16e1)와, 화상 처리부(143)에 대한 트리거 신호를 생성하는 트리거 생성부(16e2)의 2개의 트리거 생성부가 설치되어 있다.
트리거 생성부(16e1)는, 인식 처리 실행부(124)에 있어서의 판독 영역의 비율에 대한 임계값 Rth1이 설정된다. 마찬가지로, 트리거 생성부(16e2)는, 화상 처리부(143)에 있어서의 판독 영역의 비율에 대한 임계값 Rth2가 설정된다. 이들 임계값 Rth1 및 Rth2는, 트리거 생성부(16e1 및 16e2)에 대해 미리 설정되어 있어도 되고, 예를 들면 프레임 판독의 상태에 따라 적응적으로 설정해도 된다.
또한, 출력 제어부(15a)는, 인식 결과를 캐시하는 캐시 메모리(150)와, 시인용 화상 데이터를 캐시하는 캐시 메모리(151)를 포함한다.
판독 제어부(111)는, 다음으로 판독하는 판독 라인을 나타내는 판독 영역 정보를 트리거 생성부(16e1 및 16e2)에 각각 전달한다. 트리거 생성부(16e1 및 16e2)는, 전달된 판독 영역 정보에 기초하여 현재의 판독 영역의 비율을 구한다. 트리거 생성부(16e1)는, 구한 현재의 판독 영역의 비율이 임계값 Rth1에 도달한 경우에, 인식 처리 실행부(124)에 대해 트리거 신호를 출력한다. 마찬가지로, 트리거 생성부(16e2)는, 구한 현재의 판독 영역의 비율이 임계값 Rth2에 도달한 경우에, 화상 처리부(143)에 대해 트리거 신호를 출력한다.
트리거 신호에 따라 인식 처리 실행부(124)로부터 출력된 인식 결과는, 출력 제어부(15a)로 전달되어, 캐시 메모리(150)에 저장된다. 마찬가지로, 트리거 신호에 따라 화상 처리부(143)로부터 출력된 시인용 화상 데이터는, 출력 제어부(15a)로 전달되어, 캐시 메모리(151)에 저장된다. 출력 제어부(15a)는, 캐시 메모리(150 및 151)에 각각 저장된 인식 결과 및 시인용 화상 데이터를, 소정의 타이밍, 예를 들면 프레임 주기에 동기한 타이밍에서 출력한다.
도 45는 제4 실시형태에 따른 처리를 나타내는 일례의 플로우차트이다. 도 45에 있어서, 단계(S200)∼단계(S203)의 처리는, 전술한 도 34의 플로우차트에 따른 단계(S200)∼단계(S203)의 처리와 마찬가지이므로, 여기서의 설명을 생략한다. 단계(S203)에서, 인식 처리부(12)에 있어서, 판독 결정부(123)에 의해, 다음 판독 라인을 나타내는 판독 영역 정보가 센서 제어부(11)로 전달되면, 처리가 단계(S2044)로 이행된다.
단계(S2044), 및 단계(S2044)의 다음의 단계(S205)의 처리는, 트리거 생성부(16e1 및 16e2) 각각에 있어서, 예를 들면 병렬적으로 실행된다.
트리거 생성부(16e1)에 있어서는, 단계(S2044)에서, 인식 처리 실행부(124)에 대하여 인식 결과를 출력시킬지 여부를 판정한다. 보다 구체적으로는, 단계(S2044)에서, 트리거 생성부(16e1)는, 단계(S203)에서 결정된 다음 판독 라인을 나타내는 판독 영역 정보에 기초하여 현재의 판독 영역의 비율을 구하고, 구한 현재의 판독 영역의 비율이 임계값 Rth1에 도달한 경우에, 인식 처리 실행부(124)에 대하여 인식 결과를 출력시킨다고 판정한다. 트리거 생성부(16e1)는, 현시점에서는 인식 결과를 출력시키지 않는다고 판정한 경우(단계(S2044), 「No」), 처리를 단계(S2060)로 이행시킨다.
한편, 트리거 생성부(16e1)는, 인식 결과를 출력시킨다고 판정한 경우(단계(S2044), 「Yes」), 처리를 단계(S205)로 이행시킨다. 단계(S205)에서, 트리거 생성부(16e1)는, 인식 처리 실행부(124)에 대하여 트리거 신호를 출력하는 출력 처리를 실행한다. 출력 처리가 실행되면, 처리가 단계(S2060)로 이행된다.
트리거 생성부(16e2)에 있어서의 처리도, 트리거 생성부(16e1)의 처리와 마찬가지이다. 즉, 트리거 생성부(16e2)에 있어서는, 단계(S2044)에서, 화상 처리부(143)에 대하여 시인용 화상 데이터를 출력시킬지 여부를 판정한다. 보다 구체적으로는, 단계(S2044)에서, 트리거 생성부(16e2)는, 단계(S203)에서 결정된 다음 판독 라인을 나타내는 판독 영역 정보에 기초하여 현재의 판독 영역의 비율을 구하고, 구한 현재의 판독 영역의 비율이 임계값 Rth2에 도달한 경우에, 화상 처리부(143)에 대하여 시인용 화상 데이터를 출력시킨다고 판정한다. 트리거 생성부(16e2)는, 현시점에서는 인식 결과를 출력시키지 않는다고 판정한 경우(단계(S2044), 「No」), 처리를 단계(S2060)로 이행시킨다.
한편, 트리거 생성부(15f)는, 단계(S2044)에서 인식 결과를 출력시킨다고 판정한 경우(단계(S2044), 「No」), 처리를 단계(S205)로 이행시킨다. 단계(S205)에서, 트리거 생성부(16e2)는, 화상 처리부(143)에 대하여 트리거 신호를 출력하는 출력 처리를 실행한다. 출력 처리가 실행되면, 처리가 단계(S2060)로 이행된다.
단계(S2060), 및 단계(S2060)의 다음의 단계(S2061)의 처리는, 출력 제어부(15a)에 의한 처리가 된다. 출력 제어부(15a)는, 인식 처리 실행부(124)로부터 출력된 인식 결과와, 화상 처리부(143)로부터 출력된 시인용 화상 데이터에 대하여, 각각 출력 제어 처리를 실행한다.
출력 제어부(15a)는, 인식 처리 실행부(124)로부터 출력된 인식 결과에 대해서는, 단계(S2060)에서, 캐시 메모리(150)에 저장하여, 출력 축적 처리를 행한다. 출력 제어부(15a)는, 인식 결과를 캐시 메모리(150)에 저장하면, 처리를 단계(S2061)로 이행시킨다. 단계(S2061)에서, 출력 제어부(15a)는, 소정의 타이밍, 예를 들면 프레임 주기에 동기한 타이밍에서, 캐시 메모리(150)에 저장된 인식 결과를 출력하는, 출력 제어 처리를 실행한다.
마찬가지로, 출력 제어부(15a)는, 화상 처리부(143)로부터 출력된 시인용 화상 데이터에 대해서는, 단계(S2060)에서, 캐시 메모리(151)에 저장하여, 출력 축적 처리를 행한다. 출력 제어부(15a)는, 시인용 화상 데이터를 캐시 메모리(150)에 저장하면, 처리를 단계(S2061)로 이행시킨다. 단계(S2061)에서, 출력 제어부(15a)는, 소정의 타이밍, 예를 들면 프레임 주기에 동기한 타이밍에서, 캐시 메모리(151)에 저장된 시인용 화상 데이터를 출력하는, 출력 제어 처리를 실행한다.
여기서, 출력 제어부(15a)는, 단계(S2061)에 있어서의 인식 결과의 출력과, 시인용 화상 데이터의 출력을 동기시켜 실행한다. 이에 의해, 인식 결과와, 시인용 화상 데이터가, 시간적인 어긋남이 없이 출력된다.
단계(S2061)에서 인식 결과 및 시인용 화상 데이터에 대한 출력 처리가 실행되면, 예를 들면 단계(S200)에서부터, 다음 판독 라인의 라인 데이터의 판독이 행해진다.
이와 같이, 제4 실시형태에서는, 인식 결과와 시인용 화상 데이터를 각각 캐시하고, 캐시된 인식 결과와 시인용 화상 데이터를 소정의 타이밍에서 출력하고 있다. 그 때문에, 인식 결과와 시인용 화상 데이터와의 시간적인 어긋남을 억제한 상태로, 인식 결과와 시인용 화상 데이터를 출력할 수 있다.
[7-1. 제4 실시형태의 제1 변형예]
다음으로, 제4 실시형태의 제1 변형예에 대해 설명한다. 전술한 제4 실시형태에서는, 인식 결과와 시인용 화상 데이터와의 시간적인 어긋남을 억제하고 있지만, 이 제4 실시형태의 제1 변형예에서는, 인식 결과와 시인용 화상 데이터와의 공간적인 어긋남을 억제한다. 예를 들면, 차재 용도 등에 의해, 촬상 장치(1)가 촬상중에 고속으로 이동하고 있는 경우, 인식 결과와 시인용 화상 데이터의 사이에, 공간적인 어긋남(예를 들면, 오브젝트의 2차원 면내의 위치 어긋남)이 발생하는 경우가 있다. 또한, 고속으로 이동하는 동물체를 촬상 장치(1)로 촬상한 경우에도, 이 동물체의 화상 데이터 내에 있어서의 오브젝트에 있어서, 공간적인 어긋남이 발생하는 경우가 있다. 제4 실시형태의 제1 변형예에서는, 이러한 어긋남을, 외부 센서로부터 취득하는 정보에 기초하여 억제한다.
도 46은 제4 실시형태의 제1 변형예에 따른 촬상 장치(1)의 일례의 기능을 나타내는 기능 블록도이다. 이 도 46에 나타내는 구성은, 촬상 장치(1)가 고속으로 이동하는 경우에 발생하는 공간적인 어긋남을 억제하는 경우의 예이다.
도 46에 나타내는 구성에서는, 전술한 도 44에 나타낸 구성에 대하여, 출력 제어부(15b)에 대해 외부 센서(18)의 출력이 공급되고 있다. 외부 센서(18)는, 예를 들면 해당 촬상 장치(1)의 움직임을 검지 가능한 장치로서, 해당 촬상 장치(1)에 탑재되는 각속도 센서를 적용할 수 있다. 예를 들면, 3축 자이로 센서를 사용하여 각 방향의 각속도를 계측하여, 촬상 장치(1)의 움직임 정보를 취득하고, 취득한 움직임 정보를 출력 제어부(15b)에 입력한다. 또한, 외부 센서(18)로서, 움직임 검출을 이용하여 동영상 압축 또는 손떨림 보정 등을 행하는 다른 촬상 장치를 사용할 수도 있다. 이 다른 촬상 장치를, 해당 촬상 장치(1)와 일체적 또는 동기하여 이동 가능하게 설치하고, 이 다른 촬상 장치에 있어서의 움직임 검출의 검출 결과를 촬상 장치(1)의 움직임 정보로서 출력 제어부(15b)에 입력한다.
출력 제어부(15b)는, 외부 센서(18)로부터 입력된 움직임 정보와, 트리거 생성부(16e1 및 16e2)에 의해 출력된 각 트리거 신호의 출력 타이밍에 기초하여, 인식 결과와 시인용 화상 데이터와의 공간적인 어긋남량을 추측한다. 예를 들면, 출력 제어부(15b)는, 트리거 생성부(16e1 및 16e2)에 의해 출력된 각 트리거 신호의 출력 타이밍의 차분을 구한다.
한편, 출력 제어부(15b)에 대한, 인식 처리 실행부(124)로부터의 인식 결과의 입력 타이밍과, 화상 처리부(143)로부터의 시인용 화상 데이터의 입력 타이밍을 각각 트리거 생성부(16e1 및 16e2)에 의해 출력된 각 트리거 신호의 출력 타이밍으로 간주할 수 있다.
또한, 출력 제어부(15b)는, 외부 센서(18)로부터 입력된 움직임 정보에 기초하여, 해당 촬상 장치(1)의 움직임 방향과 속도를 구한다. 출력 제어부(15b)는, 이들 각 트리거 신호의 출력 타이밍의 차분과, 해당 촬상 장치(1)의 움직임 방향 및 속도에 기초하여, 인식 결과와 시인용 화상 데이터와의 공간적인 어긋남량을 산출한다. 출력 제어부(15b)는, 산출된 공간적인 어긋남량에 기초하여, 캐시 메모리(151)에 저장된 시인용 화상 데이터를 보정한다. 보정으로는, 예를 들면 시인용 화상 데이터에 대한 트리밍(trimming), 기울기 보정 등을 생각할 수 있다. 출력 제어부(15b)는, 보정된 시인용 화상 데이터를 캐시 메모리(151)에 저장한다.
출력 제어부(15b)는, 소정의 타이밍, 예를 들면 프레임 주기에 동기한 타이밍에서, 캐시 메모리(150)에 저장된 인식 결과와, 캐시 메모리(151)에 저장된, 보정된 시인용 화상 데이터를 출력한다.
상기 설명에서는, 출력 제어부(15b)는, 산출된 공간적인 어긋남량에 기초하여 캐시 메모리(151)에 저장된 시인용 화상 데이터를 보정하도록 설명했지만, 이것은 이 예에 한정되지 않는다. 즉, 출력 제어부(15b)는, 산출된 공간적인 어긋남량에 기초하여, 캐시 메모리(150)에 저장된 인식 결과를 보정할 수도 있다. 출력 제어부(15b)는, 산출된 공간적인 어긋남량에 기초하여, 예를 들면 인식 결과에 포함되는 인식된 오브젝트 등의 좌표 정보를 보정하는 것이 생각된다. 또한, 출력 제어부(15b)는, 인식 결과 및 시인용 화상 데이터를 각각 보정해도 된다.
도 47은 제4 실시형태의 제1 변형예에 따른 처리를 나타내는 일례의 플로우차트이다. 도 47에 있어서, 단계(S200)∼단계(S203)의 처리는, 전술한 도 34의 플로우차트에 따른 단계(S200)∼단계(S203)의 처리와 마찬가지이므로, 여기서의 설명을 생략한다. 또한, 도 47의 단계(S204) 및 단계(S205)의 처리는, 전술한 도 45의 단계(S2044) 및 단계(S205)의 처리와 마찬가지의 처리로서, 트리거 생성부(16e1 및 16e2) 각각에 있어서, 예를 들면 병렬적으로 실행된다. 이들 단계(S2044) 및 단계(S205)의 처리에 대해서는, 여기서의 상세한 설명을 생략한다.
트리거 생성부(16e1)에 있어서는, 단계(S2044)에서, 인식 처리 실행부(124)에 대하여 인식 결과를 출력시킬지 여부를, 전술한 도 45의 플로우차트 단계(S2044)와 마찬가지로 하여 판정한다. 트리거 생성부(16e1)는, 현시점에서는 인식 결과를 출력시키지 않는다고 판정한 경우(단계(S2044), 「No」), 처리를 단계(S2060)로 이행시킨다.
한편, 트리거 생성부(15f)는, 단계(S2044)에서 인식 결과를 출력시킨다고 판정한 경우(단계(S2044), 「Yes」), 처리를 단계(S205)로 이행시킨다. 단계(S205)에서, 트리거 생성부(16e1)는, 인식 처리 실행부(124)에 대하여 트리거 신호를 출력하는 출력 처리를 실행한다. 출력 처리가 실행되면, 처리가 단계(S2060)로 이행된다.
트리거 생성부(16e2)에 있어서의 처리도, 트리거 생성부(16e1)의 처리와 마찬가지이다. 즉, 트리거 생성부(16e2)에 있어서는, 단계(S2044)에서, 화상 처리부(143)에 대하여 시인용 화상 데이터를 출력시킬지 여부를 판정한다. 트리거 생성부(16e1)는, 현시점에서는 인식 결과를 출력시키지 않는다고 판정한 경우(단계(S2044), 「No」), 처리를 단계(S2060)로 이행시킨다. 한편, 트리거 생성부(15f)는, 인식 결과를 출력시킨다고 판정한 경우(단계(S2044), 「Yes」), 처리를 단계(S205)로 이행시킨다. 단계(S205)에서, 트리거 생성부(16e2)는, 화상 처리부(143)에 대하여 트리거 신호를 출력하는 출력 처리를 실행한다. 출력 처리가 실행되면, 처리가 단계(S2060)로 이행된다.
단계(S2060), 및 단계(S2060)의 다음의 단계(S2062)의 처리는, 출력 제어부(15b)에 의한 처리가 된다. 출력 제어부(15b)는, 인식 처리 실행부(124)로부터 출력된 인식 결과와, 화상 처리부(143)로부터 출력된 시인용 화상 데이터에 대하여, 각각 출력 제어 처리를 실행한다.
출력 제어부(15b)는, 인식 처리 실행부(124)로부터 출력된 인식 결과에 대해서는, 단계(S2060)에서, 캐시 메모리(150)에 저장하여, 출력 축적 처리를 행한다. 출력 제어부(15a)는, 인식 결과를 캐시 메모리(150)에 저장하면, 처리를 단계(S2062)로 이행시킨다.
단계(S2062)에서, 출력 제어부(15b)는, 외부 센서(18)로부터 입력된 움직임 정보를 사용하여, 단계(S2060)에서 캐시 메모리(151)에 저장된 시인용 화상 데이터의 보정 처리를 행하고, 보정된 시인용 화상 데이터를 캐시 메모리(151)에 저장한다. 이것에 한정되지 않고, 단계(S2062)에서, 출력 제어부(15b)는, 단계(S2060)에서 캐시 메모리(150)에 저장된 인식 결과에 대하여 보정 처리를 행해도 된다. 출력 제어부(15b)는, 보정된 인식 결과를 캐시 메모리(150)에 저장한다.
출력 제어부(15b)는, 캐시 메모리(150)에 저장된 인식 결과와, 캐시 메모리(151)에 저장된 보정된 시인용 화상 데이터를 소정의 타이밍에서 출력한다.
이와 같이, 제4 실시형태의 제1 변형예에서는, 인식 결과와 시인용 화상 데이터를 각각 캐시하고, 외부 센서(18)로부터 입력된 움직임 정보를 사용하여, 인식 결과 또는 시인용 화상 데이터를 보정하고 있다. 그 때문에, 인식 결과와 시인용 화상 데이터와의 공간적인 어긋남을 억제한 상태로, 인식 결과와 시인용 화상 데이터를 출력할 수 있다.
[7-2. 제4 실시형태의 제2 변형예]
다음으로, 제4 실시형태의 제2 변형예에 대해 설명한다. 제4 실시형태의 제2 변형예는, 인식 처리부(12)에 의한 인식 처리 후에 시인 처리부(14)에서 행해지는 화소 데이터의 판독을 고속으로 행하여, 인식 결과의 출력 타이밍과, 시인용 화상 데이터의 출력 타이밍의 차분을 억제하는 예이다.
도 48은 제4 실시형태의 제2 변형예에 따른 출력 제어 처리의 예를 모식적으로 나타내는 모식도이다. 도 48에 있어서, 단계(S10)∼단계(S12)는, 전술한 도 32에 대응하는 도면으로서, 센서 제어부(11)에 의한 프레임 판독의 모습을 모식적으로 나타내고 있다. 즉, 단계(S10)에서 프레임이 라인 순차적으로 판독되고, 단계(S11)에서 오브젝트를 식별 가능할 것으로 예측되는 라인으로 점프하여, 판독이 행해진다. 그리고, 단계(S12)에서 인식 결과가 출력된다.
도 48에 있어서, 단계(S12)에서 프레임의 모든 라인 데이터를 판독하고 있지 않은 상태에서 인식 결과가 출력되고 있으므로, 다음 단계(S20)에서, 시인 처리부(14)는, 프레임에 있어서의, 단계(S12)까지의 처리에서 판독되어 있지 않은 라인의 판독을 행한다. 이 때, 시인 처리부(14)는, 단계(S12)까지의 처리에서 인식 처리부(12)에 의해 행해지고 있던 판독의 판독 속도보다 고속의 판독 속도로, 프레임 판독을 실행한다. 시인 처리부(14)는, 소정의 타이밍에서 판독을 종료시키고, 시인용 화상 데이터를 출력한다.
제4 실시형태의 제2 변형예는, 이에 의해, 인식 결과의 출력 타이밍과, 시인용 화상 데이터의 출력 타이밍의 시간차가 억제 가능하다.
도 49는 제4 실시형태의 제2 변형예에 따른 촬상 장치(1)의 일례의 기능을 나타내는 기능 블록도이다. 도 49에 있어서, 트리거 생성부(16f)는, 인식 처리 실행부(124)로부터 인식 결과가 수시로 공급되고, 트리거 신호를, 제3 실시형태의 제2 변형예에서 설명(도 38∼도 40 참조)한, 인식 처리 실행부(124)로부터 인식 결과에 포함되어 전달되는, 인식 확신도 스코어에 따라 생성한다.
트리거 생성부(16f)는, 인식 처리 실행부(124)로부터 전달된 인식 결과에 포함되는 인식 확신도 스코어가 임계값 Cth에 도달한 시간 tTRG에서, 트리거 신호를 생성한다. 이 트리거 신호에 따라, 인식 처리 실행부(124)로부터 출력 제어부(15c)에 대하여 인식 결과가 전달된다. 출력 제어부(15c)는, 전달된 인식 결과를 캐시 메모리(150)에 저장한다.
한편, 트리거 생성부(16f)는, 인식 처리 실행부(124)에 대하여 트리거 신호를 출력함과 함께, 센서부(10)로부터 화소 데이터를 보다 고속으로 판독하도록 지시하는 고속 판독 지시를 생성하고, 생성한 고속 판독 지시를 판독 결정부(142)로 전달한다.
판독 결정부(142)는, 출력 제어부(15b)로부터 전달된 고속 판독 지시를 포함한 판독 영역 정보를 생성하고, 생성한 판독 영역 정보를 센서 제어부(11)로 전달한다. 센서 제어부(11)에 있어서, 고속 판독 지시를 포함한 판독 영역 정보는, 판독 제어부(111)로부터 판독부(110)로 전달된다. 판독부(110)는, 판독 영역 정보에 포함되는 고속 판독 지시에 따라, 센서부(10)를 트리거 신호 이전의 구동 속도보다 고속의 구동 속도로 구동하기 위한 촬상 제어 신호를 생성한다. 센서부(10)는, 이 촬상 제어 신호에 따라 센서부(10)를 고속으로 구동하여, 트리거 신호 이전보다 고속으로 화소 데이터를 판독한다.
판독부(110)로 판독된 화소 데이터는, 화상 데이터 축적 제어부(140)를 통해 시인용 화상 데이터로서 화상 처리부(143)로 전달된다. 화상 처리부(143)는, 전달된 화상 데이터에 대해 화상 처리를 실시하여 출력 제어부(15c)로 전달한다. 출력 제어부(15c)는, 화상 처리부(143)로부터 전달된 화상 데이터를 캐시 메모리(151)에 저장한다. 출력 제어부(15c)는, 소정의 타이밍, 예를 들면 프레임 주기에 동기한 타이밍에서, 캐시 메모리(150)에 저장된 인식 결과와, 캐시 메모리(151)에 저장된 시인용 화상 데이터를 판독하여, 각각 출력한다.
도 50은 제4 실시형태의 제1 변형예에 따른 처리를 나타내는 일례의 플로우차트이다. 도 50에 있어서, 단계(S200)∼단계(S203)의 처리는, 전술한 도 34의 플로우차트에 따른 단계(S200)∼단계(S203)의 처리와 마찬가지이므로, 여기서의 설명을 생략한다. 또한, 도 50의 단계(S204) 및 단계(S205)의 처리는, 전술한 도 50의 단계(S2044) 및 단계(S205)의 처리와 마찬가지의 처리로서, 트리거 생성부(16e1 및 16e2) 각각에 있어서, 예를 들면 병렬적으로 실행된다. 이들 단계(S2044) 및 단계(S205)의 처리에 대해서는, 여기서의 상세한 설명을 생략한다.
트리거 생성부(16e1)에 있어서는, 단계(S2044)에서, 인식 처리 실행부(124)에 대하여 인식 결과를 출력시킬지 여부를, 전술한 도 45의 플로우차트 단계(S2044)와 마찬가지로 하여 판정한다. 트리거 생성부(16e1)는, 현시점에서는 인식 결과를 출력시키지 않는다고 판정한 경우(단계(S2044), 「No」), 처리를 단계(S2063)로 이행시킨다. 한편, 트리거 생성부(16f)는, 인식 결과를 출력시킨다고 판정한 경우(단계(S2044), 「Yes」), 처리를 단계(S205)로 이행시킨다. 단계(S205)에서, 트리거 생성부(16e1)는, 인식 처리 실행부(124)에 대하여 트리거 신호를 출력하는 출력 처리를 실행한다. 출력 처리가 실행되면, 처리가 단계(S2051)로 이행된다.
단계(S2051)에서는, 고속 판독 처리가 행해진다. 즉, 단계(S2051)에서, 트리거 생성부(16f)는, 고속 판독 지시를 생성하여 판독 결정부(142)로 전달한다. 이 고속 판독 지시는, 판독 결정부(142)에 의해 생성되는 판독 영역 정보에 포함되어 센서 제어부(11)로 전달된다. 센서 제어부(11)는, 전달된 판독 영역 정보를 판독부(110)로 전달한다. 판독부(110)는, 전달된 판독 영역 정보에 포함되는 고속 판독 지시에 따라, 센서부(10)를 보다 고속으로 구동한다. 이 때, 판독부(110)는, 센서부(10)에 대하여 솎음 판독을 행하여 판독 속도를 고속화해도 되고, 판독하는 화상 데이터의 비트수를 삭감하여 판독 속도를 고속화해도 된다.
판독부(110)는, 고속으로 구동되는 센서부(10)로부터 화소 데이터를 판독하여 시인 처리부(14)로 전달한다. 시인 처리부(14)는, 판독부(110)로부터 전달된 화소 데이터를 화상 데이터 축적 제어부(140)를 통해 화상 처리부(143)로 전달한다. 화상 처리부(143)는, 전달된 화상 데이터에 대해 화상 처리를 실시하여, 시인용 화상 데이터로서 출력한다. 화상 처리부(143)로부터 출력된 시인용 화상 데이터는, 출력 제어부(15c)로 전달되어, 캐시 메모리(151)에 저장된다.
다음 단계(S2063)에서, 출력 제어부(15c)는, 캐시 메모리(150)에 저장된 인식 결과와, 캐시 메모리(151)에 저장된 보정된 시인용 화상 데이터를 소정의 타이밍, 예를 들면 프레임 주기에 동기한 타이밍에서 출력한다.
이와 같이, 제4 실시형태의 제2 변형예에서는, 인식 결과가 출력된 후에 고속 판독에 의해 시인용 화상 데이터를 취득하고, 취득된 시인용 화상 데이터와 인식 결과를 소정의 타이밍에서 출력하고 있다. 그 때문에, 인식 결과와 시인용 화상 데이터와의 시간적인 어긋남을 억제한 상태로, 인식 결과와 시인용 화상 데이터를 출력할 수 있다.
한편, 상기 설명에서는, 인식 결과의 출력 후에, 시인용 화상 데이터를 위한 고속 판독을 행하고 있지만, 이것은 이 예에 한정되지 않는다. 즉, 시인용 화상 데이터의 판독 종료 후에, 인식 처리를 위한 고속 판독을 행해도 된다.
이 경우, 트리거 생성부(16f)는, 화상 처리부(143)에 대한 트리거 신호의 출력에 따라 고속 판독 지시를 생성하고, 생성한 고속 판독 지시를, 도 49에서 점선으로 나타내는 경로에 의해 판독 결정부(123)로 전달한다. 이 고속 판독 지시는, 판독 결정부(142)에 의해 생성되는 판독 영역 정보에 포함되어 센서 제어부(11)로 전달된다. 센서 제어부(11)는, 전달된 판독 영역 정보를 판독부(110)로 전달한다. 판독부(110)는, 전달된 판독 영역 정보에 포함되는 고속 판독 지시에 따라, 센서부(10)를 보다 고속으로 구동한다. 판독부(110)는, 고속으로 구동되는 센서부(10)로부터 화소 데이터를 판독하여 인식 처리부(12)로 전달한다.
[8. 제5 실시형태]
다음으로, 제5 실시형태에 대해 설명한다. 제5 실시형태는, 인식 처리부(12)가 판독을 행하는 판독 영역과, 시인 처리부(14)가 판독을 행하는 판독 영역에서 조정을 행하는 예이다. 예를 들면, 인식 처리부(12)와 시인 처리부(14) 중 일방이 라인 솎음에 의해 라인 판독을 행하고, 타방이 라인 순차적으로 판독을 행하는 경우, 어느 타이밍에서 인식 처리부(12)와 시인 처리부(14)에서 판독 대상으로 하는 라인이 다르게 된다. 이러한 경우, 인식 처리부(12)와 시인 처리부(14) 사이에서 판독 영역의 조정을 행하여, 판독 대상의 라인을 결정한다.
도 51은 제5 실시형태에 따른 조정 처리의 개요를 설명하기 위한 일례의 플로우차트이다. 도 51의 플로우차트에 따른 처리는, 판독 단위의 판독마다 실행되는 처리이다. 이하에서는, 판독 단위를 라인으로 하고, 센서 제어부(11)는, 센서부(10)로부터 라인 단위로 화소 데이터를 판독하는 것으로 한다.
도 21을 참조하면서, 도 51의 플로우차트에 따른 처리에 대해 설명한다. 단계(S300)에서, 판독부(110)는, 센서부(10)로부터 라인 단위의 화소 데이터(라인 데이터)를 판독한다. 판독부(110)는, 센서부(10)로부터 판독된 라인 데이터를, 인식 처리부(12) 및 시인 처리부(14)로 전달한다. 시인 처리부(14)는, 판독부(110)로부터 전달된 화소 데이터를 화상 데이터 축적 제어부(140)로 전달한다. 화상 데이터 축적 제어부(140)는, 전달된 화소 데이터를, 예를 들면 화상 데이터 축적부(141)에 축적함과 함께, 화상 처리부(143)에 전달한다.
단계(S300)의 처리가 종료하면, 처리가 단계(S301) 및 단계(S311)로 이행된다. 단계(S301)∼단계(S303)의 처리는 인식 처리부(12)에 있어서의 처리이다. 한편, 단계(S311)∼단계(S313)의 처리는 시인 처리부(14)에 있어서의 처리이다. 이들 인식 처리부(12)에 있어서의 처리와, 시인 처리부(14)에 있어서의 처리는, 병렬로 실행하는 것이 가능하다.
먼저, 단계(S301)로부터의 인식 처리부(12)에 의한 처리에 대해 설명한다. 인식 처리부(12)는, 단계(S301)에서, 판독부(110)로부터 전달된 라인 데이터에 기초하는 특징량 계산부(120)에 의한 특징량의 계산, 계산된 특징량의 특징량 축적부(122)로의 축적, 특징량 축적부(122)에 축적된, 통합된 특징량에 기초하는 인식 처리 실행부(124)에 의한 인식 처리 등을 실행한다. 다음 단계(S302)에서, 인식 처리부(12)는, 인식 처리 실행부(124)로부터 인식 처리에 의한 인식 결과를 출력한다. 다음 단계(S303)에서, 인식 처리부(12)에 있어서, 판독 결정부(123)는, 통합된 특징량을 사용하여, 다음 판독 라인을 나타내는 판독 라인 정보를 판독 영역 정보로서 생성하여 센서 제어부(11)로 전달한다. 단계(S303)의 처리가 종료하면, 처리가 단계(S320a)로 이행된다.
다음으로, 단계(S311)로부터의 시인 처리부(14)에 의한 처리에 대해 설명한다. 시인 처리부(14)는, 단계(S311)에서, 판독부(110)로부터 전달된 라인 데이터의 화상 데이터 축적부(141)로의 축적, 화상 데이터 축적부(141)에 축적된 화상 데이터에 대한 화상 처리부(143)에 의한 화상 처리 등을 실행한다. 다음 단계(S312)에서, 시인 처리부(14)에 있어서 화상 처리부(143)는, 단계(S311)에서 화상 처리를 행한 화상 데이터를 출력한다. 다음 단계(S312)에서, 시인 처리부(14)에 있어서 판독 결정부(142)는, 단계(S300)에서 판독된 라인의 라인 정보와, 단계(S302)에서 인식 처리부(12)에 의해 출력된 인식 결과를 사용하여, 다음 판독 라인을 나타내는 판독 라인 정보를 판독 영역 정보로서 생성하여 센서 제어부(11)로 전달한다. 단계(S313)의 처리가 종료하면, 처리가 단계(S320a)로 이행된다.
단계(S320a)에서, 센서 제어부(11)는, 후술하는 조정 제어부에 의해, 판독 영역의 조정에 사용하기 위한 조정 정보를 취득한다. 조정 정보의 구체예에 대해서는, 후술한다.
다음 단계(S321)에서, 조정 제어부는, 단계(S320a)에서 취득된 조정 정보를 사용하여, 단계(S303)에서 인식 처리부(12)로부터 전달된 판독 라인 정보가 나타내는 판독 라인과, 단계(S313)에서 시인 처리부(14)로부터 전달된 판독 라인 정보가 나타내는 판독 라인 중 어느 것을 다음으로 판독을 행하는 판독 라인으로 할지를 결정한다. 다음 단계(S322)에서, 센서 제어부(11)는, 단계(S321)에서 조정 제어부에 의해 결정된 판독 라인의 판독을 행하기 위한 라인 제어 처리를 실행한다.
이와 같이, 제5 실시형태에서는, 조정 제어부에 의해, 소정 방식으로 취득된 조정 정보에 기초하여, 인식 처리부(12)와 시인 처리부(14)의 사이에서, 다음으로 판독을 행하는 판독 라인의 조정을 행하고 있다. 그 때문에, 예를 들면 인식 처리부(12)와 시인 처리부(14)가 다른 라인을 판독 라인으로서 결정하고 있는 경우라 하더라도, 라인의 판독에 지장이 생기는 것을 회피할 수 있다.
(8-0-1. 조정 처리의 구체예)
다음으로, 제5 실시형태에 따른 조정 처리에 대해 보다 구체적으로 설명한다. 도 52는 제5 실시형태에 적용 가능한 촬상 장치(1)의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 52에 나타내는 구성은, 도 21에 나타낸 구성에 대하여, 센서 제어부(11)에 있어서의 판독 제어부(111a)가, 조정 제어부(1110)와, 판독 처리 제어부(1111)를 포함한다. 조정 제어부(1110)는, 인식 처리부(12)의 판독 결정부(123)와, 시인 처리부(14)의 판독 결정부(142)로부터 각각 하나 또는 복수의 판독 영역 정보가, 각각 조정 처리를 제어하기 위한 제어 신호로서 입력된다. 다르게 말하면, 이 예에 있어서의 조정 제어부(1110)는, 이 제어 신호를, 조정 제어를 행하기 위한 조정 정보로서 사용한다.
여기서, 하나의 판독 영역 정보는 1개의 라인을 나타내고 있는 것으로 한다. 즉, 조정 제어부(1110)는, 판독 결정부(123 및 142) 각각으로부터 하나 또는 복수의 라인 정보가 입력된다.
제5 실시형태에서는, 조정 제어부(1110)는, 판독 결정부(123)로부터 입력된 제어 신호와, 시인 처리부(14)로부터 입력된 제어 신호에 대해 논리곱을 취하여, 다음으로 판독을 행하는 1개의 판독 라인을 결정한다.
판독 처리 제어부(1111)는, 조정 제어부(1110)는, 조정 처리에 의해 결정된 판독 라인을 나타내는 제어 신호를 판독 처리 제어부(1111)로 전달한다. 판독 처리 제어부(1111)는, 전달된 제어 신호를, 판독 라인을 나타내는 판독 영역 정보로서 판독부(110)로 전달한다.
한편, 도 52의 구성에 있어서, 출력 제어부(15)는, 인식 처리 실행부(124)로부터 출력되는 인식 결과와, 화상 처리부(143)로부터 출력되는 시인용 화상 데이터를 후단의 장치로 출력한다. 여기서, 후단의 장치는, 인식 처리를 행하는 다른 센서 장치를 적용할 수 있고, 이 경우, 해당 촬상 장치(1)로부터 출력되는 인식 결과나 시인용 화상 데이터를, 해당 다른 센서 장치에 있어서의 인식 처리에 적용하는 것도 가능하다.
도 53은 제5 실시형태에 따른 조정 처리를 설명하기 위한 모식도이다. 도 53은 조정 제어부(1110)가 제어 신호에 기초하여 조정 처리를 행하는 예이다. 여기서, 제어 신호로서, 판독 영역 정보를 사용한다.
도 53에 있어서, 오른쪽 방향으로 시간의 경과를 나타내고 있다. 또한, 종방향은, 위에서부터 인식 처리부(12)에 의한 인식 제어, 시인 처리부(14)에 의한 시인 제어, 센서부(10)로부터 판독되는 판독 화상, 조정 제어부(1110)에 의한 조정 결과에 대해 각각 나타내고 있다. 전술한 바와 같이, 조정 제어부(1110)는, 인식 처리부(12)가 출력하는 제어 신호(판독 영역 정보)와, 시인 처리부(14)가 출력하는 제어 신호의 논리곱을 취함으로써, 조정을 행한다.
단계(S40)에서는, 인식 처리부(12) 및 시인 처리부(14)에 의해, 제i 행째(제i 라인)를 판독하는 판독 영역 정보가 생성된다. 인식 처리부(12)는, 제(i+1) 라인, 제(i+2) 라인, 제(i+3) 라인의 3라인을 판독하기 위한 판독 영역 정보를 각각 출력하고 있다. 시인 처리부(14)도 마찬가지로, 제(i+1) 라인, 제(i+2) 라인, 제(i+3) 라인의 3라인을 판독하기 위한 제어 신호를 각각 출력하고 있다. 인식 처리부(12)로부터 출력된 각 판독 영역 정보와, 시인 처리부(14)로부터 출력된 각 판독 영역 정보는, 각각, 조정 제어부(1110)가 조정 제어를 행하기 위한 제어 신호로서, 조정 제어부(1110)에 입력된다.
조정 제어부(1110)는, 이들 인식 처리부(12)로부터의 제(i+1) 라인, 제(i+2) 라인, 제(i+3) 라인의 각 제어 신호와, 시인 처리부(14)로부터의, 제(i+1) 라인, 제(i+2) 라인, 제(i+3) 라인의 각 제어 신호에 대해 논리곱을 취한다. 여기서는, 인식 처리부(12)로부터의 각 제어 신호와, 시인 처리부(14)로부터의 각 제어 신호가 일치하고 있기 때문에, 각 제어 신호가 나타내는 모든 라인을 판독할 수 있다. 조정 제어부(1110)는, 제(i+1) 라인, 제(i+2) 라인, 제(i+3) 라인을, 프레임 내의 판독 순서에 따라 하나씩 선택하여, 순차적으로 출력한다. 조정 제어부(1110)는, 예를 들면, 최초에, 제(i+1) 라인, 제(i+2) 라인, 제(i+3) 라인 중 프레임 상단에 가장 가까운 제(i+1) 라인을 나타내는 제어 신호를 조정 결과로서 선택한다. 조정 제어부(1110)는, 이후, 제(i+2) 라인을 나타내는 제어 신호, 제(i+3) 라인을 나타내는 제어 신호로, 라인 순차적으로 하나씩 제어 신호를 선택한다.
조정 제어부(1110)는, 조정 결과로서 선택된 제어 신호를 판독 처리 제어부(1111)로 전달한다. 판독 처리 제어부(1111)는, 조정 제어부(1110)로부터 전달된 제어 신호를, 판독 영역 정보로서 판독부(110)로 전달한다. 판독부(110)는, 이 판독 영역 정보에 나타내어지는 라인(제(i+1) 라인)의 라인 데이터를, 센서부(10)로부터 판독한다. 판독부(110)는, 센서부(10)로부터 판독된 제(i+1) 라인의 라인 데이터를 인식 처리부(12) 및 시인 처리부(14)로 전달한다.
이에 의해, 단계(S40)에서는, 도 53의 판독 화상으로서 나타내는 바와 같이, 예를 들면 프레임의 상단측의 라인 L#i로부터 프레임의 하단측을 향해, 라인 순차적으로 라인 데이터가 판독된다.
라인 순차적으로 프레임을 판독하고, 프레임의, 예를 들면 중앙 부근의 제j 행째(제j 라인)까지 판독한 시점에서, 인식 처리부(12)에 의해, 판독된 라인 데이터에 기초하여, 예를 들면 숫자 「8」 또는 「9」이 인식된 것으로 한다(단계(S41)).
인식 처리부(12)는, 단계(S41)에서 인식된 오브젝트가 숫자 「8」 또는 「9」 중 어느 것인지를 식별 가능할 것으로 예측되는 라인까지 라인을 건너뛰어 판독할 수 있다. 이 예에서는, 인식 처리부(12)는, 1라인씩 솎아내어 판독을 행하도록, 제(j+3) 라인, 제(j+5) 라인, 제(j+7) 라인의 3라인을 판독하기 위한 판독 영역 정보를 각각 출력하고 있다. 인식 처리부(12)로부터 출력된 각 판독 영역 정보는, 조정 제어부(1110)가 조정 제어를 행하기 위한 각 제어 정보로서, 조정 제어부(1110)에 입력된다.
한편, 시인용 화상은, 인식비가 조밀할 필요가 있기 때문에, 시인 처리부(14)는, 제(j+1) 라인, 제(j+2) 라인, 제(j+3) 라인의, 라인 순차적으로 3라인을 판독하기 위한 판독 영역 정보를 각각 출력하고 있다. 시인 처리부(14)로부터 출력된 각 판독 영역 정보는, 조정 제어부(1110)가 조정 제어를 행하기 위한 각 제어 정보로서, 조정 제어부(1110)에 입력된다.
조정 제어부(1110)는, 인식 처리부(12)로부터 전달된 각 제어 신호와, 시인 처리부(14)로부터 전달된 각 제어 신호의 논리곱을 취한다. 이 경우, 인식 처리부(12)로부터 전달된 각 제어 신호가 제(j+3) 라인, 제(j+5) 라인, 제(j+7) 라인을 나타내고, 시인 처리부(14)로부터 전달된 각 제어 신호가 제(j+1) 라인, 제(j+2) 라인, 제(j+3) 라인이다. 이 때문에, 조정 제어부(1110)에 의해 논리곱을 취함으로써, 제(j+3) 라인을 나타내는 제어 신호가, 조정 결과로서 조정 제어부(1110)로부터 출력된다.
다음으로, 단계(S42)에서, 전술한 제j 라인으로부터 프레임의 하단측의 제k 라인을 판독한 시점에서, 단계(S41)에 있어서 숫자 「8」 또는 「9」 중 어느 하나로서 식별된 오브젝트가, 숫자 「8」인 것이 확정된 것으로 한다. 이 경우, 인식 처리부(12)는 인식 처리를 종료시킬 수 있다. 인식 처리가 종료된 경우, 인식 처리부(12)로부터 조정 제어부(1110)에 입력되는 제어 신호는 임의이어도 된다.
한편, 시인용 화상으로서는, 라인을 더 판독할 필요가 있다. 이 예에서는, 시인 처리부(14)는, 제(k+1) 라인, 제(k+2) 라인, 제(k+3) 라인의, 라인 순차적으로 3라인을 판독하기 위한 판독 영역 정보를 각각 출력하고 있다.
조정 제어부(1110)는, 예를 들면 인식 처리부(12)에 의한 인식 처리가 종료된 경우, 인식 처리부(12)로부터 입력되는 제어 신호를 무시한다. 그 때문에, 조정 제어부(1110)는, 예를 들면, 시인 처리부(14)로부터 입력된 제어 신호에 나타내어지는 제(k+1) 라인, 제(k+2) 라인, 제(k+3) 라인을, 프레임 내의 판독 순서에 따라 하나씩 선택하여, 순차적으로 출력한다. 조정 제어부(1110)는, 예를 들면, 최초에, 제(k+1) 라인, 제(k+2) 라인, 제(k+3) 라인 중 프레임 상단에 가까운 제(k+1) 라인을 나타내는 제어 신호를 조정 결과로서 선택한다.
이와 같이, 제5 실시형태에서는, 조정 제어부(1110)에 의해, 인식 처리부(12)로부터 입력된 각 제어 신호와, 시인 처리부(14)로부터 입력된 각 제어 신호의 논리곱을 취함으로써 조정을 행하고, 다음으로 판독을 행하는 판독 라인을 결정하고 있다. 그 때문에, 예를 들면 인식 처리부(12)와 시인 처리부(14)가 다른 라인을 판독 라인으로서 결정하고 있는 경우라 하더라도, 라인의 판독에 지장이 생기는 것을 회피할 수 있다.
한편, 인식 처리부(12)로부터 입력되는 제어 신호가 나타내는 라인과, 시인 처리부(14)로부터 입력되는 제어 신호가 나타내는 라인에 중복이 없는 경우가 있을 수 있다. 예를 들면, 인식 처리부(12)로부터 조정 제어부(1110)에 입력되는 각 제어 신호가 제(i+1) 라인, 제(i+3) 라인, 제(i+5) 라인이며, 시인 처리부(14)로부터 조정 제어부(1110)에 입력되는 각 제어 신호가 제(i+2) 라인, 제(i+4) 라인, 제(i+6) 라인이라면, 양자간에 중복이 없다.
조정 제어부(1110)에서 양자의 논리곱을 취하면, 출력이 공집합으로 되고, 다음으로 판독을 행하는 판독 라인이 결정되지 않게 된다. 이를 회피하기 위한 제1 예로서, 인식 처리부(12)로부터 입력되는 제어 신호와, 시인 처리부(14)로부터 입력되는 제어 신호 중 우선적으로 사용하는 제어 신호를 미리 정해 두는 것을 생각할 수 있다. 일례로서, 인식 처리부(12)로부터 입력되는 제어 신호를, 시인 처리부(14)로부터 입력되는 제어 신호에 비해 우선적으로 선택한다. 이 때, 우선시된 인식 처리부(12)로부터 입력되는 각 제어 신호 중에서, 시인 처리부(14)로부터 입력되는 제어 신호에 가까운 제어 신호를 채용하는 것을 생각할 수 있다.
제2 예로서, 인식 처리부(12) 및 시인 처리부(14)에서, 출력이 가능한 판독 영역 정보의 수에 미리 제한을 설정하는 것을 생각할 수 있다. 예를 들면, 인식 처리부(12) 및 시인 처리부(14) 각각에 있어서, 순차적으로 인접하는 5라인으로부터 3라인을 후보로서 선택한다.
도 54는 제5 실시형태에 따른 조정 처리를 나타내는 일례의 플로우차트이다. 도 54의 플로우차트에 따른 처리는, 판독 단위의 판독마다 실행되는 처리이다.
단계(S300)에서, 판독부(110)는 센서부(10)로부터 라인 데이터를 판독한다. 판독부(110)는, 센서부(10)로부터 판독된 라인 데이터를, 인식 처리부(12) 및 시인 처리부(14)로 전달한다. 이후, 도 54의 단계(S301)∼단계(S303)의 인식 처리부(12) 측의 처리와, 단계(S311)∼단계(S313)의 시인 처리부(14) 측의 처리는, 전술한 도 51의 대응하는 처리와 동일하므로, 여기서의 설명을 생략한다.
도 54에 있어서, 단계(S303)에서, 전술한 바와 같이 하여, 인식 처리부(12)는, 다음 판독 라인을 나타내는 판독 라인 정보를 판독 영역 정보로서 생성하여 센서 제어부(11)로 전달한다. 센서 제어부(11)로 전달된 판독 영역 정보는, 제어 정보로서 조정 제어부(1110)에 입력된다. 마찬가지로, 단계(S313)에서, 시인 처리부(14)는, 다음 판독 라인을 나타내는 판독 라인 정보를 판독 영역 정보로서 생성하여 센서 제어부(11)로 전달한다. 센서 제어부(11)로 전달된 판독 영역 정보는, 제어 정보로서 조정 제어부(1110)에 입력된다.
단계(S303) 및 단계(S313)에서 인식 처리부(12) 및 시인 처리부(14)로부터 조정 제어부(1110)에 제어 신호가 입력되면, 처리가 단계(S321)로 이행된다. 단계(S321)에서, 조정 제어부는, 인식 처리부(12) 및 시인 처리부(14)로부터 입력된 각 제어 신호를 조정 정보로서 사용하여, 각 제어 신호의 조정을 행한다. 이 조정에 의해, 단계(S303)에서 인식 처리부(12)로부터 전달된 제어 신호가 나타내는 판독 라인과, 단계(S313)에서 시인 처리부(14)로부터 전달된 제어 신호가 나타내는 판독 라인 중 어느 것을 다음으로 판독을 행하는 판독 라인으로 할지를 결정한다. 다음 단계(S322)에서, 센서 제어부(11)는, 단계(S321)에서 조정 제어부에 의해 결정된 판독 라인의 판독을 행하기 위한 라인 제어 처리를 실행한다.
[8-1. 제5 실시형태의 제1 변형예]
다음으로, 제5 실시형태의 제1 변형예에 대해 설명한다. 제5 실시형태의 제1 변형예는, 조정 제어부(1110a)가 조정 처리에 사용하는 조정 정보로서, 인식 처리부(12)에 의한 인식 결과를 적용하는 예이다. 도 55는 제5 실시형태의 제1 변형예에 적용 가능한 촬상 장치(1)의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 55에 나타내는 구성은, 전술한 도 51에 나타낸 구성에 대하여, 조정 제어부(1110ab)에 대해 인식 처리 실행부(124)로부터 출력되는 인식 결과가 입력되고 있다. 제5 실시형태의 제1 변형예에 따른 조정 제어부(1110ab)는, 이 인식 결과를 조정 정보로서 사용하여, 인식 처리부(12)로부터 입력되는 판독 영역 정보와, 시인 처리부(14)로부터 입력되는 판독 영역 정보의 조정 처리를 행한다.
도 56은 제5 실시형태의 제1 변형예에 따른 조정 처리의 제1 예를 설명하기 위한 모식도이다. 도 56에 있어서, 오른쪽 방향으로 시간의 경과를 나타내고 있다. 또한, 종방향으로, 위에서부터, 판독 제어 및 인식 결과, 센서 제어부(11)에 의해 판독된 판독 화상, 조정 제어부(1110a)에 의한 조정 결과를 각각 나타내고 있다. 또한, 도 56의 예에서는, 해당 촬상 장치(1)가 차재 용도로 되고, 프레임을 하단측으로부터 상단측을 향해 라인 단위로 판독하는 것으로 하고 있다.
이 도 56의 예에서는, 인식 처리에 있어서 동물체가 인식된 경우에, 시인 처리부(14)의 제어를 우선시킨다.
프레임의 하단측에 있어서(단계(S50)), 라인 데이터에 기초하여, 인식 처리부(12)에서 인식 처리 실행부(124)에 의해, 노면이 인식되고 있다. 이 경우, 인식 대상이 노면이기 때문에, 어느 정도 라인을 스킵하여 판독할 수 있다. 또한, 조정 제어부(1110a)는, 인식 결과에 기초하여 인식 처리에 따라 조정을 행한다. 예를 들면, 조정 제어부(1110a)는, 노면이 인식된 인식 결과에 따라, 인식 처리부(12)로부터 입력되는 판독 영역 정보를, 시인 처리부(14)로부터 입력되는 판독 영역 정보에 비해 우선하여 선택하여, 판독 처리 제어부(1111)로 전달한다. 예를 들면, 인식 처리부(12)가 라인을 솎아내어 읽는 제어를 행하는 경우, 라인을 소정의 간격으로 솎아내어 생성된 판독 영역 정보가 조정 제어부(1110a)에 입력된다. 조정 제어부(1110a)는, 이 솎음을 나타내는 판독 영역 정보를 판독 처리 제어부(1111)로 전달한다.
솎음을 행하면서 라인 판독을 행한 라인 데이터에 기초하여, 인식 처리부(12)에 의해 동물체가 인식된 것으로 한다. 도 56의 예에서는, 단계(S51)에서, 인식 처리 실행부(124)에 의해, 프레임의 1/2의 라인 위치의 약간 앞에서 물체가 검출된 것을 나타내는 물체 검출 결과가 취득되고, 또한 그 검출된 물체가 동물체(인체)인 것이 검출된다. 인식 처리부(12)에 있어서, 인식 처리 실행부(124)는, 이 인체가 인식된 것을 나타내는 인식 결과를 조정 제어부(1110a)로 전달한다.
동물체는, 시간에 따른 위치 변화 등이 크기 때문에, 예를 들면 라인을 스킵하여 판독하는 라인 판독에서는, 인식된 오브젝트의, 판독된 라인 마다의 위치의 어긋남이 커켜, 어긋남의 보정이 필요하게 된다. 그 때문에, 조정 제어부(1110a)는, 인체가 인식된 것을 나타내는 인식 결과에 기초하여 시인용의 제어를 우선시켜, 시인 처리부(14)로부터 입력되는 판독 영역 정보를, 인식 처리부(12)로부터 입력되는 판독 영역 정보에 비해 우선하여 선택하여, 판독 처리 제어부(1111)로 전달한다. 이 경우, 시인 처리부(14)는, 예를 들면 라인 순차적으로 판독을 행하는 판독 영역 정보를 생성하여, 조정 제어부(1110a)에 입력한다.
프레임의 상단측을 향해 라인 판독을 더 행하고, 인식 처리부(12)에서 인식 처리 실행부(124)에 의해 노면외(路面外: non-road surface)를 나타내는 인식 결과가 얻어진 것으로 한다. 노면외에서는, 단계(S50)에서 인식된 노면에 대하여, 더욱 성기게 솎음을 행하여 라인 판독을 행해도 문제없다고 생각된다. 그 때문에, 인식 처리부(12)는, 노면의 경우보다도 솎음 간격을 크게 한 판독 영역 정보를 생성하여, 조정 제어부(1110a)에 입력한다. 조정 제어부(1110a)는, 인식 처리 실행부(124)로부터 출력된, 노면외를 나타내는 인식 결과에 따라, 인식 처리부(12)로부터 입력되는 판독 영역 정보를, 시인 처리부(14)로부터 입력되는 판독 영역 정보에 비해 우선하여 선택하여, 판독 처리 제어부(1111)로 전달한다.
도 56에 있어서, 단계(S52)는, 이 판독 영역 정보에 따라 프레임 상단측에 있어서의 노면외의 영역이, 프레임 하단측의 노면 영역에 비해 더욱 성기게 판독되고 있는 모습이 나타내어져 있다. 또한, 단계(S52)에 있어서, 프레임에 있어서 인체가 검출되고 있는 중앙 부분은, 시인용으로 조밀하게 판독되고 있는 모습이 나타내어져 있다.
도 57은 제5 실시형태의 제1 변형예에 따른 조정 처리의 제2 예를 설명하기 위한 모식도이다. 도 57에 있어서의 각 부의 의미는, 전술한 도 56과 마찬가지이므로, 여기서의 설명을 생략한다. 또한, 도 57에 예시되는 각 화상은, 전체적으로 휘도가 낮고 어두운 화상으로 되어 있고, 앞측(프레임의 하단측)이 약간 휘도가 높고 밝은 화상으로 되어 있다.
이 제2 예에서는, 조정 제어부(1110a)는, 인식 결과의 정확도 정도를 나타내는 확신도를 조정 정보로서 사용하여, 인식 처리부(12)로부터 입력된 판독 영역 정보와, 시인 처리부(14)로부터 입력된 판독 영역 정보의 조정을 행한다.
프레임의 하단측으로부터 라인 판독이 개시되고, 라인 데이터에 기초하여, 인식 처리부(12)에서 인식 처리 실행부(124)에 의해, 노면이 소정 레벨 이상의 확신도(고확신도)로 인식된 것으로 한다(단계(S60)). 이 경우, 촬상 대상이 노면이기 때문에, 어느 정도 라인을 스킵하여 판독할 수 있다. 인식 처리부(12)는, 인식 결과에 따라, 라인을 소정의 간격으로 솎아낸 판독 영역 정보를 생성하여, 조정 제어부(1110a)에 입력한다.
조정 제어부(1110a)는, 인식 처리 실행부(124)로부터 출력된 인식 결과가 고확신도이기 때문에, 인식 결과를 신뢰하고, 인식 처리부(12)로부터 입력된 판독 영역 정보와, 시인 처리부(14)로부터 입력된 판독 영역 정보 중 인식 처리부(12)로부터 입력된, 이 솎음을 나타내는 판독 영역 정보를 선택한다. 조정 제어부(1110a)는, 이 솎음을 나타내는 판독 영역 정보를 판독 처리 제어부(1111)로 전달한다.
솎음을 행하면서 라인 판독을 행한 라인 데이터에 기초하여, 인식 처리부(12)에 의해 동물체가 인식된 것으로 한다. 도 57의 예에서는, 단계(S51)에서, 인식 처리 실행부(124)에 의해, 프레임의 1/2의 라인 위치의 약간 앞에서 동물체(인체)가 인식되고 있다. 여기서, 도 57의 예에서는, 인체가 인식된 부분의 휘도가 낮고, 인식 처리 실행부(124)는, 이 인체의 검출을, 소정 레벨 미만의 확신도(저확신도)로 인식한 것으로 한다. 인식 처리 실행부(124)는, 이 인체가 저확신도로 인식된 것을 나타내는 인식 결과를 조정 제어부(1110a)로 전달한다.
이 경우, 인체가 저확신도로 인식되고 있으므로, 사람이 시인하여 확인할 필요가 있다고 생각된다. 그 때문에, 조정 제어부(1110a)는, 시인 처리부(14)로부터 출력되는 판독 영역 정보를, 인식 처리부(12)로부터 출력되는 판독 영역 정보에 비해 우선한다.
여기서, 조정 제어부(1110a)는, 인식 처리 실행부(124)로부터 출력된 확신도에 따라 판독 처리 제어부(1111)에 대하여 시인이 용이하게 되도록 하는 판독 지시를 내릴 수 있다. 예를 들면, 저확신도로 인체가 인식된 라인 범위의 라인을 복수회 판독시키는 제어를 생각할 수 있다. 이 경우, 시인 처리부(14)에 있어서 화상 처리부(143) 등에 의해, 판독한 라인 데이터를 위치가 대응하는 라인끼리 합성하고, 나아가 화상 처리(예를 들면, 고해상도화 처리, 콘트라스트의 조정) 등을 실시하여, 저확신도로 인식된 인물의 화상을 명확하게 하는 것을 생각할 수 있다.
또한, 해당 촬상 장치(1)가 자동 운전 가능한 차량에 탑재되는 경우, 해당 차량이 대응 가능한 자동 운전의 레벨(예를 들면, 레벨 2∼4)에 따라, 판독 횟수, 화상 처리의 내용 등을 설정하는 것도 생각할 수 있다.
프레임의 상단측을 향해 라인 판독을 더 행하여, 인식 처리부(12)에서 인식 처리 실행부(124)에 의해 노면외를 나타내는 인식 결과가 고확신도로 얻어진 것으로 한다(단계(S62)). 노면외에서는, 단계(S60)에서 인식된 노면에 대하여, 더욱 성기게 솎음을 행하여 라인 판독을 행해도 문제없다고 생각된다. 그 때문에, 인식 처리부(12)는, 노면의 경우보다도 솎음의 간격을 크게 한 판독 영역 정보를 생성하여, 조정 제어부(1110a)에 입력한다.
한편, 시인용 화상에 있어서, 노면외의 화상에 대해서는 고화질이 요구되지 않는다고 생각된다. 그 때문에, 시인 처리부(14)는, 인식 처리 실행부(124)에 의해 노면외의 인식이 이루어진 경우에, 디폴트의 화질 설정으로 시인용 화상 데이터를 출력하는 것을 생각할 수 있다.
도 58은 제5 실시형태의 제1 변형예에 따른 조정 처리를 나타내는 일례의 플로우차트이다. 도 58의 플로우차트에 따른 처리는, 판독 단위의 판독마다 실행되는 처리이다.
단계(S300)에서, 판독부(110)는, 센서부(10)로부터 라인 데이터를 판독한다. 판독부(110)는, 센서부(10)로부터 판독된 라인 데이터를, 인식 처리부(12) 및 시인 처리부(14)로 전달한다. 이후, 도 58의 단계(S301)∼단계(S303)의 인식 처리부(12) 측의 처리와, 단계(S311)∼단계(S313)의 시인 처리부(14) 측의 처리는, 전술한 도 51의 대응하는 처리와 동일하므로, 여기서의 설명을 생략한다.
도 58에 있어서, 단계(S303)에서, 전술한 바와 같이 하여, 인식 처리부(12)는, 다음 판독 라인을 나타내는 판독 라인 정보를 판독 영역 정보로서 생성하여 센서 제어부(11)로 전달한다. 센서 제어부(11)로 전달된 판독 영역 정보는, 제어 정보로서 조정 제어부(1110a)에 입력된다. 마찬가지로, 단계(S313)에서, 시인 처리부(14)는, 다음 판독 라인을 나타내는 판독 라인 정보를 판독 영역 정보로서 생성하여 센서 제어부(11)로 전달한다. 센서 제어부(11)로 전달된 판독 영역 정보는, 제어 정보로서 조정 제어부(1110a)에 입력된다.
단계(S303) 및 단계(S313)에서 인식 처리부(12) 및 시인 처리부(14)로부터 조정 제어부(1110a)에 제어 신호가 입력되면, 처리가 단계(S320b)로 이행된다. 단계(S320b)에서, 조정 제어부(1110a)는, 인식 처리 실행부(124)로부터 출력되는 인식 결과를 조정 정보로서 취득한다.
다음 단계(S321)에서, 조정 제어부(1110b)는, 단계(S320b)에서 취득된 인식 결과에 나타내어지는 확신도에 따라, 단계(S303)에서 인식 처리부(12)로부터 전달된 판독 영역 정보와, 단계(S313)에서 시인 처리부(14)로부터 전달된 판독 영역 정보 중 어느 것을 다음으로 판독을 행하는 라인을 나타내는 판독 영역 정보로 할지를 결정한다. 다음 단계(S322)에서, 센서 제어부(11)는, 단계(S321)에서 조정 제어부(1110b)에 의해 결정된 판독 영역 정보를 판독 처리 제어부(1111)로 전달하고, 해당 판독 영역 정보에 나타내어지는 판독 라인의 판독을 행하기 위한 라인 제어 처리를 실행한다.
이와 같이, 제5 실시형태의 제1 변형예에서는, 라인 데이터에 기초하는 인식 결과에 따라, 인식 처리부(12)로부터 출력된 판독 영역 정보와, 시인 처리부(14)로부터 출력된 판독 영역 정보 중 어느 것을 다음으로 판독을 행하는 판독 라인을 나타내는 판독 영역 정보로서 사용할지를, 적응적으로 결정할 수 있다. 그 때문에, 촬상 대상의 다양한 장면에 따라 적절한 시인용 화상을 얻는 것이 가능하다.
[8-2. 제5 실시형태의 제2 변형예]
다음으로, 제5 실시형태의 제2 변형예에 대해 설명한다. 제5 실시형태의 제2 변형예는, 조정 제어부(1110)가 조정 처리에 사용하는 조정 정보로서, 시인 처리부(14)로부터 출력되는 시인용 화상을 적용하는 예이다. 도 59는 제5 실시형태의 제2 변형예에 적용 가능한 촬상 장치(1)의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 59에 나타내는 구성은, 전술한 도 51에 나타낸 구성에 대하여, 조정 제어부(1110b)에 대해 화상 처리부(143)가 화상 처리를 행한 신호 처리 결과가 입력되고 있다. 이 신호 처리 결과는, 화상 처리부(143)로부터 출력되는 시인용 화상 데이터 그 자체이어도 되고, 조정 제어부(1110)에 의한 판정이 용이하도록 가공한 화상 데이터이어도 된다. 제5 실시형태의 제2 변형예에 따른 조정 제어부(1110b)는, 이 신호 처리 결과를 조정 정보로서 사용하여, 인식 처리부(12)로부터 입력되는 판독 영역 정보와, 시인 처리부(14)로부터 입력되는 판독 영역 정보의 조정 처리를 행한다.
도 60은 제5 실시형태의 제2 변형예에 따른 조정 처리를 설명하기 위한 모식도이다. 도 60에 있어서의 각 부의 의미는, 전술한 도 60과 마찬가지이므로, 여기서의 설명을 생략한다. 또한, 도 60에 예시되는 각 화상은, 전술한 도 57에서 사용한 각 화상과 대응하는 것으로서, 전체적으로 휘도가 낮고 어두운 화상으로 되어 있고, 앞측(프레임의 하단측)이 약간 휘도가 높고 밝은 화상으로 되어 있다.
단계(S70)에 나타내는 바와 같이, 프레임의 하단측으로부터 라인 판독이 개시되고, 화상 처리부(143)는, 판독된 라인 데이터의 휘도값(예를 들면, 라인에 포함되는 각 화소 데이터의 휘도값의 평균값)을 구하고, 구한 휘도값을 포함하는 신호 처리 결과를 조정 제어부(1110b)로 전달한다. 조정 제어부(1110b)는, 화상 처리부(143)로부터 전달된 신호 처리 결과에 포함되는 휘도값이 제1 임계값 이상인 경우, 판독된 영역이 밝아 시인에 적합한 것으로 하여, 시인 우선의 제어를 행한다. 구체적으로는, 조정 제어부(1110b)는, 인식 처리부(12)로부터 입력된 판독 영역 정보와, 시인 처리부(14)로부터 입력된 판독 영역 정보 중 시인 처리부(14)로부터 출력된 판독 영역 정보를 선택한다. 조정 제어부(1110b)는, 선택된 시인 처리부(14)로부터 출력된 판독 영역 정보를, 다음으로 판독을 행하는 라인을 나타내는 판독 영역 정보로서 선택한다.
한편, 도 60의 예에서는, 시인 처리부(14)에 대하여, 라인의 휘도값이 소정 값 이상인 경우에, 라인 솎음을 행하도록 요구되고 있는 것으로 한다. 이 프레임의 하단부에 있어서, 시인 처리부(14)는, 라인 솎음을 행하도록 한 판독 영역 정보를 생성하여, 조정 제어부(1110)로 전달한다.
계속해서 라인 판독을 행한 라인 데이터에 기초하여, 화상 처리부(143)로부터, 라인 데이터의 휘도값을 포함하는 신호 처리 결과가 조정 제어부(1110b)로 전달된다. 조정 제어부(1110b)는, 전달된 신호 처리 결과에 포함되는 휘도값이 제1 임계값 미만인 경우, 판독된 영역이 어두워 시인에 적합하지 않은 것으로 하여, 인식 우선의 제어를 행한다. 구체적으로는, 조정 제어부(1110b)는, 인식 처리부(12)로부터 입력된 판독 영역 정보와, 시인 처리부(14)로부터 입력된 판독 영역 정보 중 인식 처리부(12)로부터 입력된 판독 영역 정보를 선택한다(단계(S71)).
프레임의 상단측을 향해 라인 판독을 더 행하고, 화상 처리부(143)로부터, 라인 데이터의 휘도값을 포함하는 신호 처리 결과가 조정 제어부(1110b)로 전달된다. 조정 제어부(1110b)는, 화상 처리부(143)로부터 전달된 신호 처리 결과에 포함되는 휘도값이 제1 임계값 이상인 경우, 판독된 영역이 밝아 시인에 적합한 것으로 하여, 제어를 시인 우선의 제어로 되돌린다. 구체적으로는, 조정 제어부(1110b)는, 인식 처리부(12)로부터 입력된 판독 영역 정보와, 시인 처리부(14)로부터 입력된 판독 영역 정보 중 시인 처리부(14)로부터 출력된 판독 영역 정보를, 다음으로 판독을 행하는 라인을 나타내는 판독 영역 정보로서 선택한다(단계(S72)).
한편, 상기 설명에서는, 휘도값의 판정을 제1 임계값만으로 행하고 있지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 제1 임계값보다도 휘도값이 높은 제2 휘도값을 설정하고, 이 제2 임계값을, 시인 우선의 제어 시에 적용할 수 있다. 이 제2 임계값을 사용함으로써, 시인 우선의 제어에 있어서, 휘도값이 포화된 소위 「화면 내 밝은 부분이 하얗게 날아가 버리는」 상태를 회피하는 것이 가능하다.
도 61은 제5 실시형태의 제2 변형예에 따른 조정 처리를 나타내는 일례의 플로우차트이다. 도 61의 플로우차트에 따른 처리는 판독 단위의 판독마다 실행되는 처리이다.
단계(S300)에서, 판독부(110)는 센서부(10)로부터 라인 데이터를 판독한다. 판독부(110)는, 센서부(10)로부터 판독된 라인 데이터를 인식 처리부(12) 및 시인 처리부(14)로 전달한다. 이후, 도 61의 단계(S301)∼단계(S303)의 인식 처리부(12) 측의 처리와, 단계(S311)∼단계(S313)의 시인 처리부(14) 측의 처리는, 전술한 도 51의 대응하는 처리와 동일하므로, 여기서의 설명을 생략한다.
도 61에 있어서, 단계(S303)에서, 전술한 바와 같이 하여, 인식 처리부(12)는, 다음 판독 라인을 나타내는 판독 라인 정보를 판독 영역 정보로서 생성하여 센서 제어부(11)로 전달한다. 센서 제어부(11)로 전달된 판독 영역 정보는, 제어 정보로서 조정 제어부(1110b)에 입력된다. 마찬가지로, 단계(S313)에서, 시인 처리부(14)는, 다음 판독 라인을 나타내는 판독 라인 정보를 판독 영역 정보로서 생성하여 센서 제어부(11)로 전달한다. 센서 제어부(11)로 전달된 판독 영역 정보는, 제어 정보로서 조정 제어부(1110b)에 입력된다.
단계(S303) 및 단계(S313)에서 인식 처리부(12) 및 시인 처리부(14)로부터 조정 제어부(1110b)에 제어 신호가 입력되면, 처리가 단계(S320c)로 이행된다. 단계(S320c)에서, 조정 제어부(1110b)는, 화상 처리부(143)로부터 출력되는 신호 처리 결과를 조정 정보로서 취득한다.
다음 단계(S321)에서, 조정 제어부(1110b)는, 단계(S320c)에서 취득된 신호 처리 결과에 포함되는 휘도값에 따라, 단계(S303)에서 인식 처리부(12)로부터 전달된 판독 영역 정보와, 단계(S313)에서 시인 처리부(14)로부터 전달된 판독 영역 정보 중 어느 것을 다음으로 판독을 행하는 라인을 나타내는 판독 영역 정보로 할지를 결정한다. 다음 단계(S322)에서, 센서 제어부(11)는, 단계(S321)에서 조정 제어부(1110b)에 의해 결정된 판독 영역 정보를 판독 처리 제어부(1111)로 전달하고, 해당 판독 영역 정보에 나타내어지는 판독 라인의 판독을 행하기 위한 라인 제어 처리를 실행한다.
이와 같이, 제5 실시형태의 제2 변형예에서는, 라인 데이터에 기초하는 휘도값에 따라, 인식 처리부(12)로부터 출력된 판독 영역 정보와, 시인 처리부(14)로부터 출력된 판독 영역 정보 중 어느 것을 다음으로 판독을 행하는 판독 라인을 나타내는 판독 영역 정보로서 사용할지를 적응적으로 결정할 수 있다. 그 때문에, 촬상 환경의 밝기에 따라 적절한 시인용 화상을 얻는 것이 가능하다.
[8-3. 제5 실시형태의 제3 변형예]
다음으로, 제5 실시형태의 제3 변형예에 대해 설명한다. 이 제5 실시형태의 제3 변형예는, 조정 제어부(1110)가 조정 처리에 사용하는 조정 정보로서, 외부로부터 공급되는 외부 제어 정보를 적용하는 예이다. 도 62는 제5 실시형태의 제3 변형예에 적용 가능한 촬상 장치(1)의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 62에 나타내는 구성은, 전술한 도 51에 나타낸 구성에 대하여, 조정 제어부(1110c)에 대해 외부 제어 정보를 입력 가능하게 한 것이다. 외부 제어 정보로서는, 해당 촬상 장치(1)가 자동 운전 가능한 차량에 탑재되는 경우, 해당 차량이 대응 가능한 자동 운전의 레벨(예를 들면, 레벨 2∼4)을 나타내는 정보를 적용할 수 있다. 이것에 한정되지 않고, 외부 제어 정보로서, 다른 센서의 출력 신호를 적용할 수도 있다. 이 경우, 다른 센서로서는, 다른 촬상 장치, LiDAR 센서, 레이더 장치 등을 적용할 수 있다. 나아가, 카메라와 디스플레이를 사용하여 차량 주위의 상황을 확인하는 전자 미러의 카메라에 의한 출력을, 외부 제어 정보로서 사용하는 것도 가능하다.
제5 실시형태의 제3 변형예에 따른 조정 제어부(1110c)는, 이 외부 제어 정보를 조정 정보로서 사용하여, 인식 처리부(12)로부터 입력되는 판독 영역 정보와, 시인 처리부(14)로부터 입력되는 판독 영역 정보의 조정 처리를 행한다.
도 63은 제5 실시형태의 제3 변형예에 따른 조정 처리를 나타내는 일례의 플로우차트이다. 도 63의 플로우차트에 따른 처리는 판독 단위의 판독마다 실행되는 처리이다.
단계(S300)에서, 판독부(110)는, 센서부(10)로부터 라인 데이터를 판독한다. 판독부(110)는, 센서부(10)로부터 판독된 라인 데이터를 인식 처리부(12) 및 시인 처리부(14)로 전달한다. 이후, 도 63의 단계(S301)∼단계(S303)의 인식 처리부(12) 측의 처리와, 단계(S311)∼단계(S313)의 시인 처리부(14) 측의 처리는 전술한 도 51의 대응하는 처리와 동일하므로, 여기서의 설명을 생략한다.
도 63에 있어서, 단계(S303)에서, 전술한 바와 같이 하여, 인식 처리부(12)는, 다음 판독 라인을 나타내는 판독 라인 정보를 판독 영역 정보로서 생성하여 센서 제어부(11)로 전달한다. 센서 제어부(11)로 전달된 판독 영역 정보는, 제어 정보로서 조정 제어부(1110c)에 입력된다. 마찬가지로, 단계(S313)에서, 시인 처리부(14)는, 다음 판독 라인을 나타내는 판독 라인 정보를 판독 영역 정보로서 생성하여 센서 제어부(11)로 전달한다. 센서 제어부(11)로 전달된 판독 영역 정보는, 제어 정보로서 조정 제어부(1110c)에 입력된다.
단계(S303) 및 단계(S313)에서 인식 처리부(12) 및 시인 처리부(14)로부터 조정 제어부(1110b)에 제어 신호가 입력되면, 처리가 단계(S320d)로 이행된다. 단계(S320d)에서, 조정 제어부(1110c)는, 외부 장치로부터 입력되는 외부 제어 정보를 조정 정보로서 취득한다.
다음 단계(S321)에서, 조정 제어부(1110b)는, 단계(S320c)에서 취득된 외부 제어 정보에 따라, 단계(S303)에서 인식 처리부(12)로부터 전달된 판독 영역 정보와, 단계(S313)에서 시인 처리부(14)로부터 전달된 판독 영역 정보 중 어느 것을 다음으로 판독을 행하는 라인을 나타내는 판독 영역 정보로 할지를 결정한다.
이 때, 조정 제어부(1110c)는, 외부 제어 정보로서, 다른 센서로부터 입력되는 예를 들면 인식 정보를 사용할 때에, 해당 인식 정보의 신뢰도가 낮은 경우에는, 단계(S303)에서 인식 처리부(12)로부터 전달된 판독 영역 정보를 선택하지 않도록 한다. 또한, 외부 제어 정보로서, 해당 촬상 장치(1)가 자동 운전 가능한 차량에 탑재되고, 해당 차량이 대응 가능한 자동 운전의 레벨(예를 들면, 레벨 2∼4)을 나타내는 정보를 사용하는 경우에, 단계(S303)에서 인식 처리부(12)로부터 전달된 판독 영역 정보를 우선적으로 사용하도록 하는 것을 생각할 수 있다.
다음 단계(S322)에서, 센서 제어부(11)는, 단계(S321)에서 조정 제어부(1110b)에 의해 결정된 판독 영역 정보를 판독 처리 제어부(1111)로 전달하고, 해당 판독 영역 정보에 나타내어지는 판독 라인의 판독을 행하기 위한 라인 제어 처리를 실행한다.
이와 같이, 제5 실시형태의 제3 변형예에서는, 외부 장치로부터 출력되는 외부 제어 정보를 조정 정보로서 사용하여, 조정 제어부(1110c)에 의한 조정을 행하고 있다. 그 때문에, 다양한 장면에 있어서의 활용이 가능해지고, 또한, 외부 장치가 시인용 화상 데이터의 출력을 가지지 않는 외부 센서인 경우에, 해당 외부 센서에 대하여 시인용 화상 데이터에 의한 화상을 제공 가능하게 된다.
[9. 제6 실시형태]
다음으로, 제6 실시형태로서, 본 개시에 따른, 제1∼제5 실시형태 및 각 변형예에 의한 촬상 장치(1)의 적용예에 대해 설명한다. 도 64는 전술한 제1∼제5 실시형태 및 각 변형예에 의한 촬상 장치(1)를 사용하는 사용예를 나타내는 도면이다.
전술한 촬상 장치(1)는, 예를 들면, 이하와 같이, 가시광이나, 적외광, 자외광, X선 등의 광을 센싱하는 다양한 경우에 사용할 수 있다.
·디지털 카메라나, 카메라 기능을 가진 휴대기기 등의, 감상용으로 제공되는 화상을 촬영하는 장치.
·자동 정지 등의 안전 운전이나, 운전자의 상태의 인식 등을 위해, 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차재용 센서, 주행 차량이나 도로를 감시하는 감시 카메라, 차량 사이 등의 측거(測距)를 행하는 측거 센서 등의, 교통용으로 제공되는 장치.
·사용자의 제스처를 촬영하여, 그 제스처에 따른 기기 조작을 행하기 위해, TV나, 냉장고, 에어컨 등의 가전에 제공되는 장치.
·내시경이나, 적외광의 수광에 의한 혈관 촬영을 행하는 장치 등의, 의료나 헬스케어용으로 제공되는 장치.
·방범 용도의 감시 카메라나, 인물 인증 용도의 카메라 등의, 보안용으로 제공되는 장치.
·피부를 촬영하는 피부 측정기나, 두피를 촬영하는 현미경 등의, 미용용으로 제공되는 장치.
·스포츠 용도 등을 위한 액션 카메라나 웨어러블 카메라 등의, 스포츠용으로 제공되는 장치.
·밭이나 작물의 상태를 감시하기 위한 카메라 등의, 농업용으로 제공되는 장치.
[본 개시에 따른 기술의 추가 적용예]
본 개시와 관련되는 기술(본 기술)은 다양한 제품에 적용할 수 있다. 예를 들면, 본 개시와 관련되는 기술은 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇과 같은 각종의 이동체에 탑재되는 장치에 대해 적용되어도 된다.
도 65는 본 개시와 관련되는 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 65에 나타낸 예에서는, 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은 키리스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은 촬상부(12031)에 차 밖의 화상을 촬상 시키고, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(12030)은, 예를 들면, 수신된 화상에 대해 화상 처리를 실시하고, 화상 처리의 결과에 기초하여 물체 검출 처리나 거리 검출 처리를 행한다.
촬상부(12031)는 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면, 운전자를 촬상하는 카메라를 포함한다. 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 65의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 66은 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다. 도 66에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104 및 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 및 12105)는, 예를 들면, 차량(12100)의 프런트 노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프런트 노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)에서 취득되는 전방의 화상은, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 66에는 촬상부(12101∼12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프런트 노즈에 설치된 촬상부(12101)의 촬상 범위를 나타낸다. 촬상 범위(12112 및 12113)는, 각각 사이드 미러에 설치된 촬상부(12102 및 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101∼12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.
촬상부(12101∼12104) 중 적어도 하나는 거리 정보를 취득하는 기능을 가지고 있어도 된다. 예를 들면, 촬상부(12101∼12104) 중 적어도 하나는 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 가지는 촬상 소자여도 된다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101∼12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111∼12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로컴퓨터(12051)는, 선행차와의 사이에서 미리 확보해야 하는 차간거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101∼12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형차량, 보행자, 전신주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101∼12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101∼12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면, 적외선 카메라로서의 촬상부(12101∼12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 절차에 의해 행해진다. 마이크로컴퓨터(12051)가, 촬상부(12101∼12104)의 촬상 화상 중에 보행자가 존재한다고 판정하여, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 예를 들면, 촬상부(12031)에 적용될 수 있다. 본 개시에 따른 촬상 장치(1)를 촬상부(12031)에 적용함으로써, 인식 처리용 촬상과 시인용 촬상이 양립 가능하게 되고, 인식 처리 및 사람에 의한 시인 각각에 대해 충분한 정보를 제공하는 것이 가능해진다.
한편, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 또한 다른 효과가 있어도 된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
복수의 화소가 배열된 화소 영역을 가지며, 해당 화소 영역에 포함되는 화소로부터 화소 신호를 판독하여 출력하는 촬상부와,
상기 화소 영역의 일부로서 설정되는 판독 단위를 제어하는 판독 단위 제어부와,
상기 판독 단위마다의 교사 데이터를 학습한 인식부와,
상기 판독 단위마다 상기 인식부에 의해 인식된 인식 결과를 출력하는 제1 출력부와,
상기 화소 신호를 후단으로 출력하는 제2 출력부와,
상기 제1 출력부가 상기 인식 결과를 출력하는 제1 타이밍과, 상기 제2 출력부가 상기 화소 신호를 출력하는 제2 타이밍을 제어하기 위한 트리거 신호를 생성하는 트리거 생성부를 구비하는 촬상 장치.
(2)
상기 트리거 생성부는,
상기 제1 타이밍과 상기 제2 타이밍을 동기시키는 상기 트리거 신호를 생성하는, 상기 (1)에 기재된 촬상 장치.
(3)
상기 트리거 생성부는 상기 트리거 신호를 일정 주기로 출력하는, 상기 (1) 또는 (2)에 기재된 촬상 장치.
(4)
상기 트리거 생성부는,
해당 촬상 장치의 외부로부터의 제어에 따라 상기 트리거 신호를 생성하는, 상기 (1) 내지 (3) 중 어느 하나에 기재된 촬상 장치.
(5)
상기 트리거 생성부는,
상기 인식 결과의 정확도 정도를 나타내는 인식 확신도에 따라 상기 트리거 신호를 생성하는, 상기 (1) 내지 (4) 중 어느 하나에 기재된 촬상 장치.
(6)
상기 제1 출력부에 의한 상기 인식 결과의 출력과, 상기 제2 출력부에 의한 상기 화소 신호의 출력을 제어하는 출력 제어부를 더 구비하고,
상기 출력 제어부는,
상기 제1 출력부에 의해 출력되는 상기 인식 결과와, 상기 제2 출력부에 의해 출력되는 상기 화소 신호 간의 어긋남을 보정하는, 상기 (1) 내지 (5) 중 어느 하나에 기재된 촬상 장치.
(7)
상기 출력 제어부는,
상기 제1 출력부에 의해 출력된 상기 인식 결과를 보유하는 보유부를 포함하고, 상기 보유부에 보유되는 상기 인식 결과를, 상기 제2 출력부에 의한 상기 화소 신호의 출력에 동기하여 출력하는, 상기 (6)에 기재된 촬상 장치.
(8)
상기 보유부는,
상기 제2 출력부에 의해 출력된 상기 화소 신호를 더 보유하고,
상기 출력 제어부는,
상기 보유부에 보유되는 상기 인식 결과와 상기 화소 신호의 공간상의 어긋남량을 추측하고, 추측된 해당 어긋남량에 기초하여, 상기 보유부에 보유되는 상기 화소 신호 및 상기 인식 결과 중 적어도 일방을 보정하고, 상기 보유부에 보유되는 상기 인식 결과와, 상기 보유부에 보유되는 보정된 해당 화소 신호를 동기하여 출력하는, 상기 (7)에 기재된 촬상 장치.
(9)
상기 트리거 생성부는,
상기 제1 출력부에 대한 상기 트리거 신호의 출력에 따라, 상기 제2 출력부가 출력하기 위한 상기 화소 신호의 상기 촬상부로부터의 판독을, 상기 인식부가 인식을 행하기 위한 상기 화소 신호의 상기 촬상부로부터의 판독을 행하는 속도보다 고속으로 행하도록 상기 촬상부에 지시하는, 상기 (1) 내지 (8) 중 어느 하나에 기재된 촬상 장치.
(10)
상기 트리거 생성부는,
상기 제2 출력부에 대한 상기 트리거 신호의 출력에 따라, 상기 인식부가 인식을 행하기 위한 상기 화소 신호의 상기 촬상부로부터의 판독을, 상기 제2 출력부가 출력하기 위한 상기 화소 신호의 상기 촬상부로부터의 판독을 행하는 속도보다 고속으로 행하도록 상기 촬상부에 지시하는, 상기 (1) 내지 (8) 중 어느 하나에 기재된 촬상 장치.
(11)
복수의 화소가 배열된 화소 영역을 가지며 해당 화소 영역에 포함되는 화소로부터 화소 신호를 판독하여 출력하는 촬상부와, 상기 화소 영역의 일부로서 설정되는 판독 단위를 제어하는 판독 단위 제어부와, 상기 판독 단위마다 인식부에 의해 인식된 인식 결과를 출력하는 제1 출력부와, 상기 화소 신호를 후단으로 출력하는 제2 출력부와, 상기 제1 출력부가 상기 인식 결과를 출력하는 제1 타이밍과, 상기 제2 출력부가 상기 화소 신호를 출력하는 제2 타이밍을 제어하기 위한 트리거 신호를 생성하는 트리거 생성부를 구비하는 촬상 장치, 및
상기 판독 단위마다의 교사 데이터를 학습한 상기 인식부를 구비하는 정보 처리 장치를 포함하는, 촬상 시스템.
(12)
프로세서에 의해 실행되는 촬상 방법으로서,
촬상부가 갖는 복수의 화소가 배열된 화소 영역의 일부로서 설정되는 판독 단위를 제어하는 판독 단위 제어 단계와,
상기 판독 단위마다의 교사 데이터를 학습한 인식 단계와,
상기 판독 단위마다 상기 인식 단계에 의해 인식된 인식 결과를 출력하는 제1 출력 단계와,
상기 화소 영역에 포함되는 화소로부터 판독되는 화소 신호를 후단으로 출력하는 제2 출력 단계와,
상기 제1 출력 단계에 의해 상기 인식 결과를 출력하는 제1 타이밍과, 상기 제2 출력부 단계에 의해 상기 화소 신호를 출력하는 제2 타이밍을 제어하기 위한 트리거 신호를 생성하는 트리거 생성 단계를 포함하는 촬상 방법.
(13)
촬상부가 갖는 복수의 화소가 배열된 화소 영역의 일부로서 설정되는 판독 단위를 제어하는 판독 단위 제어 단계와,
상기 판독 단위마다의 교사 데이터를 학습한 인식 단계와,
상기 판독 단위마다 상기 인식 단계에 의해 인식된 인식 결과를 출력하는 제1 출력 단계와,
상기 화소 영역에 포함되는 화소로부터 판독되는 화소 신호를 후단으로 출력하는 제2 출력 단계와,
상기 제1 출력 단계에 의해 상기 인식 결과를 출력하는 제1 타이밍과, 상기 제2 출력부 단계에 의해 상기 화소 신호를 출력하는 제2 타이밍을 제어하기 위한 트리거 신호를 생성하는 트리거 생성 단계
를 프로세서에 실행시키기 위한 촬상 프로그램.
나아가, 본 기술은 이하와 같은 구성도 취할 수 있다.
(14)
화상 데이터를 생성하는 촬상부와,
상기 촬상부로부터 판독된 단위 영역마다의 화상 데이터에 대해 학습 모델을 사용한 기계 학습 처리를 실행하는 기계 학습부와,
상기 기계 학습 처리의 결과에 기초하여 소정의 기능을 실행하는 기능 실행부를 구비하는 전자 기기.
(15)
상기 기계 학습부는, 동일 프레임의 화상 데이터에 있어서의 최초에 입력된 단위 영역의 화상 데이터에 대해 CNN(Convolution Neural Network)을 이용한 기계 학습 처리를 실행하는, 상기 (14)에 기재된 전자 기기.
(16)
상기 기계 학습부는, 상기 최초에 입력된 단위 영역의 화상 데이터에 대한 상기 CNN을 이용한 기계 학습 처리에 실패한 경우, 상기 동일 프레임의 화상 데이터에 있어서의 다음에 입력된 단위 영역의 화상 데이터에 대해 RNN(Recurrent Neural Network)을 이용한 기계 학습 처리를 실행하는, 상기 (15)에 기재된 전자 기기.
(17)
상기 촬상부로부터 라인 단위로 화상 데이터를 판독하는 컨트롤부를 더 구비하고,
상기 기계 학습부에는, 상기 라인 단위로 상기 화상 데이터가 입력되는, 상기 (14) 내지 (16) 중 어느 하나에 기재된 전자 기기.
(18)
상기 단위 영역의 화상 데이터는 소정 라인수의 화상 데이터인, 상기 (14) 내지 (17) 중 어느 하나에 기재된 전자 기기.
(19)
상기 단위 영역의 화상 데이터는 사각형 영역의 화상 데이터인, 상기 (14)∼ (17) 중 어느 하나에 기재된 전자 기기.
(20)
상기 학습 모델의 프로그램을 기록하는 메모리를 더 구비하고,
상기 기계 학습부는, 상기 메모리로부터 상기 프로그램을 판독하여 실행함으로써, 상기 기계 학습 처리를 실행하는, 상기 (14) 내지 (19) 중 어느 하나에 기재된 전자 기기.
1: 촬상 장치
10: 센서부
11: 센서 제어부
12: 인식 처리부
14: 시인 처리부
110: 판독부
111: 판독 제어부
120: 특징량 계산부
121: 특징량 축적 제어부
122: 특징량 축적부
123: 판독 결정부
124: 인식 처리 실행부
140: 화상 데이터 축적 제어부
141: 화상 데이터 축적부
143: 화상 처리부

Claims (13)

  1. 복수의 화소가 배열된 화소 영역을 가지며, 해당 화소 영역에 포함되는 화소로부터 화소 신호를 판독하여 출력하는 촬상부와,
    상기 화소 영역의 일부로서 설정되는 판독 단위를 제어하는 판독 단위 제어부와,
    상기 판독 단위마다의 교사 데이터를 학습한 인식부와,
    상기 판독 단위마다 상기 인식부에 의해 인식된 인식 결과를 출력하는 제1 출력부와,
    상기 화소 신호를 후단으로 출력하는 제2 출력부와,
    상기 제1 출력부가 상기 인식 결과를 출력하는 제1 타이밍과, 상기 제2 출력부가 상기 화소 신호를 출력하는 제2 타이밍을 제어하기 위한 트리거 신호를 생성하는 트리거 생성부를 구비하는, 촬상 장치.
  2. 제1항에 있어서,
    상기 트리거 생성부는,
    상기 제1 타이밍과 상기 제2 타이밍을 동기시키는 상기 트리거 신호를 생성하는, 촬상 장치.
  3. 제1항에 있어서,
    상기 트리거 생성부는 상기 트리거 신호를 일정 주기로 출력하는, 촬상 장치.
  4. 제1항에 있어서,
    상기 트리거 생성부는,
    해당 촬상 장치의 외부로부터의 제어에 따라 상기 트리거 신호를 생성하는, 촬상 장치.
  5. 제1항에 있어서,
    상기 트리거 생성부는,
    상기 인식 결과의 정확도 정도를 나타내는 인식 확신도에 따라 상기 트리거 신호를 생성하는, 촬상 장치.
  6. 제1항에 있어서,
    상기 제1 출력부에 의한 상기 인식 결과의 출력과, 상기 제2 출력부에 의한 상기 화소 신호의 출력을 제어하는 출력 제어부를 더 구비하고,
    상기 출력 제어부는,
    상기 제1 출력부에 의해 출력되는 상기 인식 결과와, 상기 제2 출력부에 의해 출력되는 상기 화소 신호 간의 어긋남을 보정하는, 촬상 장치.
  7. 제6항에 있어서,
    상기 출력 제어부는,
    상기 제1 출력부에 의해 출력된 상기 인식 결과를 보유하는 보유부를 포함하고, 상기 보유부에 보유되는 상기 인식 결과를, 상기 제2 출력부에 의한 상기 화소 신호의 출력에 동기하여 출력하는, 촬상 장치.
  8. 제7항에 있어서,
    상기 보유부는,
    상기 제2 출력부에 의해 출력된 상기 화소 신호를 더 보유하고,
    상기 출력 제어부는,
    상기 보유부에 보유되는 상기 인식 결과와 상기 화소 신호의 공간상의 어긋남량을 추측하고, 추측된 해당 어긋남량에 기초하여, 상기 보유부에 보유되는 상기 화소 신호 및 상기 인식 결과 중 적어도 일방을 보정하고, 상기 보유부에 보유되는 상기 인식 결과와, 상기 보유부에 보유되는 보정된 해당 화소 신호를 동기하여 출력하는, 촬상 장치.
  9. 제1항에 있어서,
    상기 트리거 생성부는,
    상기 제1 출력부에 대한 상기 트리거 신호의 출력에 따라, 상기 제2 출력부가 출력하기 위한 상기 화소 신호의 상기 촬상부로부터의 판독을, 상기 인식부가 인식을 행하기 위한 상기 화소 신호의 상기 촬상부로부터의 판독을 행하는 속도보다 고속으로 행하도록 상기 촬상부에 지시하는, 촬상 장치.
  10. 제1항에 있어서,
    상기 트리거 생성부는,
    상기 제2 출력부에 대한 상기 트리거 신호의 출력에 따라, 상기 인식부가 인식을 행하기 위한 상기 화소 신호의 상기 촬상부로부터의 판독을, 상기 제2 출력부가 출력하기 위한 상기 화소 신호의 상기 촬상부로부터의 판독을 행하는 속도보다 고속으로 행하도록 상기 촬상부에 지시하는, 촬상 장치.
  11. 복수의 화소가 배열된 화소 영역을 가지며 해당 화소 영역에 포함되는 화소로부터 화소 신호를 판독하여 출력하는 촬상부와, 상기 화소 영역의 일부로서 설정되는 판독 단위를 제어하는 판독 단위 제어부와, 상기 판독 단위마다 인식부에 의해 인식된 인식 결과를 출력하는 제1 출력부와, 상기 화소 신호를 후단으로 출력하는 제2 출력부와, 상기 제1 출력부가 상기 인식 결과를 출력하는 제1 타이밍과 상기 제2 출력부가 상기 화소 신호를 출력하는 제2 타이밍을 제어하기 위한 트리거 신호를 생성하는 트리거 생성부를 구비하는 촬상 장치, 및
    상기 판독 단위마다의 교사 데이터를 학습한 상기 인식부를 구비하는 정보 처리 장치를 포함하는, 촬상 시스템.
  12. 프로세서에 의해 실행되는 촬상 방법으로서,
    촬상부가 갖는 복수의 화소가 배열된 화소 영역의 일부로서 설정되는 판독 단위를 제어하는 판독 단위 제어 단계와,
    상기 판독 단위마다의 교사 데이터를 학습한 인식 단계와,
    상기 판독 단위마다 상기 인식 단계에 의해 인식된 인식 결과를 출력하는 제1 출력 단계와,
    상기 화소 영역에 포함되는 화소로부터 판독되는 화소 신호를 후단으로 출력하는 제2 출력 단계와,
    상기 제1 출력 단계에 의해 상기 인식 결과를 출력하는 제1 타이밍과, 상기 제2 출력 단계에 의해 상기 화소 신호를 출력하는 제2 타이밍을 제어하기 위한 트리거 신호를 생성하는 트리거 생성 단계를 포함하는, 촬상 방법.
  13. 촬상부가 갖는 복수의 화소가 배열된 화소 영역의 일부로서 설정되는 판독 단위를 제어하는 판독 단위 제어 단계와,
    상기 판독 단위마다의 교사 데이터를 학습한 인식 단계와,
    상기 판독 단위마다 상기 인식 단계에 의해 인식된 인식 결과를 출력하는 제1 출력 단계와,
    상기 화소 영역에 포함되는 화소로부터 판독되는 화소 신호를 후단으로 출력하는 제2 출력 단계와,
    상기 제1 출력 단계에 의해 상기 인식 결과를 출력하는 제1 타이밍과, 상기 제2 출력 단계에 의해 상기 화소 신호를 출력하는 제2 타이밍을 제어하기 위한 트리거 신호를 생성하는 트리거 생성 단계
    를 프로세서에 실행시키기 위한, 촬상 프로그램.
KR1020217004985A 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램 KR20210053884A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2018-163700 2018-08-31
JP2018163700 2018-08-31
JP2019159150A JP6638851B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JPJP-P-2019-159150 2019-08-30
PCT/JP2019/034496 WO2020045682A1 (ja) 2018-08-31 2019-09-02 撮像装置、撮像システム、撮像方法および撮像プログラム

Publications (1)

Publication Number Publication Date
KR20210053884A true KR20210053884A (ko) 2021-05-12

Family

ID=69166772

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020217004871A KR20210053883A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
KR1020217004989A KR20210052446A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
KR1020217004985A KR20210053884A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
KR1020217004864A KR20210052444A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020217004871A KR20210053883A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
KR1020217004989A KR20210052446A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217004864A KR20210052444A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램

Country Status (7)

Country Link
US (7) US11704904B2 (ko)
EP (4) EP3846441A4 (ko)
JP (9) JP6638852B1 (ko)
KR (4) KR20210053883A (ko)
CN (4) CN112567728B (ko)
BR (4) BR112021003115A2 (ko)
WO (4) WO2020045684A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076972B2 (ja) * 2017-09-29 2022-05-30 キヤノン株式会社 撮像素子及び撮像装置
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
JP7492345B2 (ja) 2020-02-27 2024-05-29 キヤノン株式会社 撮像素子及びその制御方法、及び、撮像装置及びその制御方法
WO2021187121A1 (ja) * 2020-03-19 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
WO2021192714A1 (ja) * 2020-03-24 2021-09-30 ソニーセミコンダクタソリューションズ株式会社 レンダリングシステム及び自動運転検証システム
JPWO2021200330A1 (ko) * 2020-03-31 2021-10-07
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
US20230254600A1 (en) * 2020-07-20 2023-08-10 Sony Group Corporation Information processing apparatus, information processing system, information processing method, and information processing program
KR20220028928A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 부분 영상 기반의 영상 처리 방법 및 장치
KR20220105292A (ko) * 2021-01-20 2022-07-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US20240078803A1 (en) * 2021-01-29 2024-03-07 Sony Group Corporation Information processing apparatus, information processing method, computer program, and sensor apparatus
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
KR20220156327A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
JP2022186333A (ja) * 2021-06-04 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2022270000A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
CN113344778B (zh) * 2021-08-05 2021-11-05 成都市谛视科技有限公司 一种成像控制方法、装置、设备及计算机可读存储介质
JPWO2023047775A1 (ko) * 2021-09-27 2023-03-30
US20230133057A1 (en) * 2021-10-29 2023-05-04 Keysight Technologies, Inc. System and method for configuring network elements in a design network topology
WO2023090036A1 (ja) 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
WO2023127615A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127614A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127612A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127653A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023149188A1 (ja) * 2022-02-02 2023-08-10 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2023141906A (ja) * 2022-03-24 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2023189080A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017112409A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193875A (ja) * 1987-10-05 1989-04-12 Mitsubishi Heavy Ind Ltd 文字認識装置
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
JPH09138802A (ja) * 1995-11-15 1997-05-27 Hitachi Ltd 文字認識翻訳システム
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
ATE335246T1 (de) 2001-01-22 2006-08-15 Hand Held Prod Inc Optischer leser mit teilbild-ausschnitt-funktion
US20040028137A1 (en) * 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4130180B2 (ja) 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
JP4830270B2 (ja) * 2004-06-14 2011-12-07 ソニー株式会社 固体撮像装置および固体撮像装置の信号処理方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP2007201660A (ja) 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
US20090258667A1 (en) 2006-04-14 2009-10-15 Nec Corporation Function unlocking system, function unlocking method, and function unlocking program
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
JP2008015860A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Ind Co Ltd 画像認識カメラ
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP5677934B2 (ja) * 2008-03-27 2015-02-25 プレスライン サービシズ， インク 印刷機、折り機、及び動作方法
JP5288915B2 (ja) 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
KR20110056616A (ko) * 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) * 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) * 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
JP5691736B2 (ja) 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5866826B2 (ja) * 2011-06-30 2016-02-24 株式会社ニコン 撮像装置
JP5839872B2 (ja) 2011-07-19 2016-01-06 オリンパス株式会社 固体撮像装置、撮像装置、および信号読み出し方法
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
JPWO2013164915A1 (ja) * 2012-05-02 2015-12-24 株式会社ニコン 撮像装置
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP5955170B2 (ja) 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
US9294703B2 (en) * 2012-12-03 2016-03-22 Samsung Electronics Co., Ltd. Image sensor including data transmission circuit having split bus segments
JP2014139732A (ja) 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
CN103077407B (zh) 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及系统
JP6415454B2 (ja) * 2013-01-25 2018-10-31 テレダイン・イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・ユニパーソナルＴｅｌｅｄｙｎｅ Ｉｎｎｏｖａｃｉｏｎｅｓ Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃａｓ，Ｓｌｕ 画像センサ用の高度の関心領域機能
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6289184B2 (ja) * 2014-03-14 2018-03-07 オリンパス株式会社 画像認識装置および画像認識方法
JP6338436B2 (ja) * 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
KR102192088B1 (ko) * 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
JP2016061797A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 焦点調節装置及びその制御方法
JP6168022B2 (ja) * 2014-09-30 2017-07-26 株式会社デンソー 画像認識装置
US10175345B2 (en) * 2014-10-17 2019-01-08 Voxtel, Inc. Event tracking imager
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
US9418319B2 (en) 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
JP6863281B2 (ja) 2015-07-16 2021-04-21 ソニーグループ株式会社 撮像装置、および情報処理システム
CN105373785B (zh) 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
JP6762710B2 (ja) * 2015-12-14 2020-09-30 キヤノン株式会社 撮像装置及びその制御方法
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP7058933B2 (ja) * 2016-05-09 2022-04-25 株式会社ニコン 撮像素子及びこれを用いた撮像装置
JP2017207650A (ja) * 2016-05-19 2017-11-24 キヤノン株式会社 レンズ装置
JP2017228975A (ja) 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP2018022935A (ja) 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
CN109691079B (zh) * 2016-09-16 2021-05-14 索尼半导体解决方案公司 成像装置和电子设备
JP2018081545A (ja) 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
JP6787102B2 (ja) * 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
TWI754696B (zh) 2016-12-14 2022-02-11 日商索尼半導體解決方案公司 固體攝像元件及電子機器
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
US10380853B1 (en) * 2017-05-22 2019-08-13 Amazon Technologies, Inc. Presence detection and detection localization
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
JP7091635B2 (ja) * 2017-11-15 2022-06-28 大日本印刷株式会社 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
KR102661596B1 (ko) * 2018-08-08 2024-04-29 삼성전자주식회사 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
TWI820194B (zh) * 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US20210319144A1 (en) * 2018-09-06 2021-10-14 Sony Corporation Information processing system, information processing method, terminal apparatus, and information processing apparatus
US11290640B2 (en) * 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017112409A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法

Also Published As

Publication number Publication date
EP3846446A4 (en) 2021-10-20
JP7424051B2 (ja) 2024-01-30
WO2020045682A1 (ja) 2020-03-05
JP7500962B2 (ja) 2024-06-18
EP3846443A4 (en) 2021-09-22
JP2020048225A (ja) 2020-03-26
WO2020045686A1 (ja) 2020-03-05
CN112585531A (zh) 2021-03-30
CN112585943A (zh) 2021-03-30
US11741700B2 (en) 2023-08-29
EP3846441A4 (en) 2021-10-13
CN112585948A (zh) 2021-03-30
EP3846444A4 (en) 2021-10-06
US20210321054A1 (en) 2021-10-14
EP3846441A1 (en) 2021-07-07
WO2020045685A1 (ja) 2020-03-05
CN112567728B (zh) 2023-06-09
US11763554B2 (en) 2023-09-19
CN112567728A (zh) 2021-03-26
KR20210052446A (ko) 2021-05-10
EP3846446A1 (en) 2021-07-07
KR20210053883A (ko) 2021-05-12
JP2020039125A (ja) 2020-03-12
JP2020039123A (ja) 2020-03-12
EP3846444A1 (en) 2021-07-07
US11595608B2 (en) 2023-02-28
BR112021003115A2 (pt) 2021-05-11
JP2024028531A (ja) 2024-03-04
US20210329163A1 (en) 2021-10-21
EP3846443A1 (en) 2021-07-07
US20230394813A1 (en) 2023-12-07
US20210329164A1 (en) 2021-10-21
JP7380180B2 (ja) 2023-11-15
US20240029424A1 (en) 2024-01-25
JP2020043615A (ja) 2020-03-19
JP2020043614A (ja) 2020-03-19
JP6635222B1 (ja) 2020-01-22
JP6638851B1 (ja) 2020-01-29
US20210306586A1 (en) 2021-09-30
JP2020054007A (ja) 2020-04-02
CN112585943B (zh) 2022-12-27
US20230334848A1 (en) 2023-10-19
CN112585531B (zh) 2023-05-30
JP6638852B1 (ja) 2020-01-29
US11704904B2 (en) 2023-07-18
WO2020045684A1 (ja) 2020-03-05
BR112021003183A2 (pt) 2021-05-11
BR112021003119A2 (pt) 2021-05-11
BR112021003084A2 (pt) 2021-05-11
JP7424034B2 (ja) 2024-01-30
JP2020039124A (ja) 2020-03-12
JP2020039126A (ja) 2020-03-12
KR20210052444A (ko) 2021-05-10
JP6635221B1 (ja) 2020-01-22

Similar Documents

Publication Publication Date Title
JP6638851B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
WO2022019026A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
WO2022019049A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
WO2022019025A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム