KR20220020264A - 센서 장치 및 신호 처리 방법 - Google Patents

센서 장치 및 신호 처리 방법 Download PDF

Info

Publication number
KR20220020264A
KR20220020264A KR1020217039607A KR20217039607A KR20220020264A KR 20220020264 A KR20220020264 A KR 20220020264A KR 1020217039607 A KR1020217039607 A KR 1020217039607A KR 20217039607 A KR20217039607 A KR 20217039607A KR 20220020264 A KR20220020264 A KR 20220020264A
Authority
KR
South Korea
Prior art keywords
detection
unit
image
processing
threshold value
Prior art date
Application number
KR1020217039607A
Other languages
English (en)
Inventor
스스무 타카츠카
히로키 테츠카와
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220020264A publication Critical patent/KR20220020264A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/3696—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H04N5/2253—
    • H04N5/3765—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

복수의 가시광 또는 비가시광의 촬상 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 어레이 센서에서의 촬상에 의해 얻어진 화상 신호에 대해 화상 처리를 행하는 화상 처리부와, 임계값 설정부를 갖는 센서 장치이다. 임계값 설정부는, 어레이 센서에 의한 촬상에 관한 촬상 처리 또는 화상 처리부의 화상 처리에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터 설정에 사용하는 임계값을 설정하고, 임계값에 기초하여 변경된 파라미터를 사용한 처리가 행해지도록 한다.

Description

센서 장치 및 신호 처리 방법
본 기술은 센서 장치, 파라미터 설정 방법, 신호 처리 방법에 관한 것으로, 특히 어레이 센서에 의해 얻은 화상 신호에 대해 처리를 행하는 기능을 갖춘 센서 장치에 대한 기술분야에 관한 것이다.
이른바 촬상 소자를 배열한 어레이 센서를 사용한 물체 검출로서, 어레이 센서로 화상 촬상을 행하고, 촬상된 화상 신호를 어레이 센서의 외부 프로세서로 보내고, 외부 프로세서 측에서 물체 검출의 계산 처리를 행하는 것이 알려져 있다.
하기 비특허문헌 1에는 화상으로부터의 얼굴 인식 처리에 대한 기술이 개시되어 있다.
또한, 하기 특허문헌 1에는 이미지 센서에 의해 촬상한 영역 내에서의 관심 영역 설정을 포함하는 기술이 개시되어 있다.
또한, 하기 특허문헌 2에는 감시 에어리어의 움직임에 따라 동작 주파수를 변경하는 기술이 개시되어 있다.
특허문헌 1: 일본특허공개 제2014-225868호 공보 특허문헌 2: 일본특허공개 제2007-318262호 공보
비특허문헌 1: 가와이 요시히코, 텔레비전 영상에 있어서의 얼굴 인식 기술, NHK 기술 연구소 R&D/No.164/2017.8, P23-P30
지금까지 이미지 센서를 포함하는 어레이 센서는 사람이 보았을 때 아름다운 그림을 만들기 위해 화질 조정이 되어 왔다. 그러나, 화상 인식과 같이 컴퓨터가 판단을 행하는 주체가 될 때, 비록 사람에게는 아름다운 화질이더라도 촬영되는 대상의 클래스(카테고리나 장르) 식별의 정밀도가 저하되어 버리는 문제가 있다.
즉, 화상 인식에 의한 물체 검출 등의 처리를 고려한 경우, 아름다운 그림 만들기보다도, 그 물체 검출이라고 하는 목적에 적합한 화상 처리가 실현되는 것이 바람직하다.
나아가, 그러한 물체 검출 등의 목적에 따르면서, 처리나 기억이나 전송의 부하를 저감시킬 수 있는 것이 요망된다.
이에, 본 개시에서는, 화상 인식에 의한 물체 검출 등의 목적에 적합한 화상 신호가 얻어지도록 함과 함께, 처리 부하 등을 저감시킬 수 있도록 하는 기술을 제안한다.
제1 개시 기술로서의 센서 장치는, 복수의 가시광 또는 비가시광의 촬상 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에서의 촬상에 의해 얻어진 화상 신호에 대해 화상 처리를 행하는 화상 처리부와, 상기 어레이 센서에 의한 촬상에 관한 촬상 처리 또는 상기 화상 처리부의 화상 처리에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터 설정에 사용하는 임계값을 설정하고, 상기 임계값에 기초하여 설정한 파라미터를 사용한 처리가 행해지도록 하는 임계값 설정부를 구비한다.
임계값을 설정하고, 파라미터를 임계값에 기초하여 정할 수 있도록 한다.
촬상 처리에 관한 파라미터로서는, 예를 들면 어레이 센서에 있어서의 노광 시간이나 어레이 센서로부터의 판독 타이밍, 프레임 레이트 등이 있다.
화상 처리에 관한 파라미터로서는, 예를 들면 화상의 해상도나 색 계조 수 등이 있다.
상기 제1 개시 기술로서의 센서 장치에서는, 상기 임계값 설정부는, 화상 신호로부터 검출되는 물체의 클래스에 따른 상기 임계값을 설정하는 것을 생각할 수 있다.
즉, 어레이 센서에 의해 얻어진 화상 신호에 대해, 화상 처리부에서 화상 처리를 실시하는데, 그 화상 처리 파라미터를 설정하는 임계값이 화상 신호에 있어서의 검출 물체의 클래스에 기초하여 설정되도록 한다.
한편, 화상 신호로부터 검출되는 물체란, 화상으로부터의 인식을 목적으로 하여 검출 대상이 될 수 있는 물체를 말한다. 모든 물체가, 여기서 말하는 검출 대상의 물체로 될 가능성이 있다. 예를 들면, 사람, 동물, 이동체(자동차, 자전거, 항공기 등), 자연물(야채, 식물 등), 공업제품/부품, 건축물, 시설, 산, 바다, 강, 별, 태양, 구름 등, 모든 물체를 대상으로 할 수 있다.
클래스란, 화상 인식을 사용하여 인식된 물체의 카테고리이다. 예를 들면, 「사람」, 「자동차」, 「비행기」, 「배」, 「트럭」, 「표지(標識)」, 「새」, 「고양이」, 「개」, 「사슴」, 「개구리」, 「말」등과 같이 검출해야 할 물체를 분류하는 것이다.
그리고 예를 들면, 「사람」, 「자동차」, 「표지」 등의 클래스에 따라 적절한 임계값을 설정한다.
상기 제1 개시 기술로서의 센서 장치에서는, 상기 임계값 설정부는, 화상 신호에 대한 학습 처리에 기초하여 상기 임계값을 설정하는 것을 생각할 수 있다.
예를 들면, 센서 장치 측에서 로컬 러닝으로서의 학습 처리를 행하여 임계값을 구한다.
상기 제1 개시 기술로서의 센서 장치에서는, 상기 임계값 설정부는, 물체 검출의 확증성의 비율로서 소정의 비율이 얻어지도록 상기 임계값을 설정하는 것을 생각할 수 있다.
센서 장치가 출력하는 화상 신호에 대해 물체 검출, 예를 들면 사람의 검출 등을 행하는 경우에, 예를 들면 그 검출 정밀도로서 요구되는 레벨을 만족하도록 임계값을 설정한다.
상기 제1 개시 기술로서의 센서 장치에서는, 상기 임계값 설정부는, 상기 화상 처리부와 동일한 하우징의 장치 내에 설치되도록 하는 것을 생각할 수 있다.
예를 들면, 센서 장치로서의 유닛 내, 또는 센서 장치를 포함하는 단말 장치나 촬상 장치 내에 임계값 설정부가 설치되도록 한다.
제2 개시 기술로서의 센서 장치는, 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호를 취득하여, 신호 처리를 행하는 신호 처리부와, 상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성한 영역 정보를, 상기 신호 처리부에 대해, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 연산부를 구비하고, 상기 연산부는, 과거의 영역 정보에 관한 정보에 기초하여 상기 어레이 센서로부터 취득하는 검출 신호에 대한 액티브 에어리어를 설정하고, 상기 액티브 에어리어의 검출 신호를 사용하여 물체 검출을 행한다.
즉, 영역 정보를 생성하기 위한 물체 검출을, 어레이 센서의 전체 영역으로부터가 아니라, 액티브 에어리어로 된 영역의 정보에 의해 행하도록 한다.
한편, 영역 정보에 관한 정보란, 영역 정보의 근원이 되는 물체의 검출 영역의 정보나, 영역 정보 그 자체 등이다.
상기 제2 개시 기술로서의 센서 장치에서는, 상기 연산부는, 과거의 소정 기간에 생성한 복수의 영역 정보에 대해, 각 영역 정보가 기초하는 물체 검출에 있어서의 검출 영역이 포함되도록 상기 액티브 에어리어를 설정하는 것을 생각할 수 있다.
즉, 영역 정보를 생성하기 위해 물체 검출을 행하는데, 그 검출 대상의 물체가 나타나는 영역을 액티브 에어리어로 한다.
상기 제2 개시 기술로서의 센서 장치에서는, 상기 신호 처리부는, 상기 어레이 센서의 검출 소자에 대해 선택적으로 검출 신호를 취득하는 취득부를 가지며, 상기 취득부는, 검출 신호의 1프레임으로서, 상기 연산부로부터의 영역 정보에 기초하여 선택되는 검출 소자의 검출 신호를 취득하고, 상기 연산부는, 상기 취득부가 영역 정보에 의한 검출 소자의 선택을 행한 상태에서 상기 어레이 센서로부터 취득한 검출 신호에 대해 물체 검출을 행하여 목적 물체가 검출되지 않은 경우에는, 후속 프레임에 있어서, 상기 취득부가 상기 액티브 에어리어의 검출 신호를 상기 어레이 센서로부터 취득하도록 지시하는 것을 생각할 수 있다.
즉, 연산부는, 어레이 센서로부터 일부 검출 소자의 정보만을 취득한 프레임에 있어서 목적 물체가 검출되지 않게 되면, 취득부에서의 검출 신호의 취득을, 액티브 에어리어를 대상으로 하는 상태로 되돌리도록 한다.
상기 제2 개시 기술로서의 센서 장치에서는, 상기 연산부는, 상기 어레이 센서로부터 얻어지는 검출 신호 중에서 키 프레임(keyframe)으로 되는 프레임을 대상으로 하여, 상기 액티브 에어리어의 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 영역 정보를 생성하는 것을 생각할 수 있다.
즉, 연산부는 소정의 선택 알고리즘에 따라, 키 프레임이 되는 프레임을 선택하여, 액티브 에어리어 설정의 처리를 행하도록 한다.
상기 제2 개시 기술로서의 센서 장치에서는, 상기 연산부는, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 클래스 식별을 행하고, 해당 물체에 대응하는 영역 정보를, 식별된 클래스에 대응하여 검출 신호의 취득 영역을 나타낸 템플릿을 사용하여 생성하고, 상기 신호 처리부의 신호 처리 또는 상기 어레이 센서에 의한 검출 신호의 취득에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터의 임계값을 설정하고, 상기 템플릿에 의해 나타내어지는 취득 영역에 대한 처리의 파라미터를 상기 임계값에 기초하여 설정하는 임계값 설정부를 구비하는 것을 생각할 수 있다.
임계값을 설정하고, 템플릿에 의해 나타내어지는 취득 영역의 처리의 파라미터를 임계값에 기초하여 변경할 수 있도록 한다.
제3 개시 기술로서의 센서 장치는, 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호를 취득하여, 신호 처리를 행하는 신호 처리부와, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 프레임 레이트의 임계값을 설정하고, 상기 임계값에 기초하여 설정한 프레임 레이트를 사용한 처리가, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 행해지도록 하는 임계값 설정부를 구비한다.
클래스에 따른 임계값을 설정하고, 프레임 레이트가 임계값에 기초하여 변경될 수 있도록 한다.
상기 제3 개시 기술로서의 센서 장치에서는, 상기 임계값 설정부는, 화상으로부터의 오브젝트 트래킹(object tracking)을 유지할 수 있는 프레임 레이트로서 상기 임계값을 설정하는 것을 생각할 수 있다.
센서 장치가 출력하는 화상 신호에 대해 물체 검출에 있어서 오브젝트 트래킹을 유지할 수 있는 프레임 레이트는 클래스마다 다르다. 이에, 클래스에 따라 오브젝트 트래킹을 유지할 수 있도록 한다.
상기 제3 개시 기술로서의 센서 장치에서는, 물체 검출의 결과에 따라 제1 모드와 제2 모드 중 어느 하나의 프레임 레이트의 설정값에 의한 제어를 행함과 함께, 상기 제1 모드와 상기 제2 모드 중 일방의 프레임 레이트의 설정값으로서, 상기 임계값 설정부가 설정한 프레임 레이트의 설정값이 사용되도록 하는 것을 생각할 수 있다.
예를 들면, 프레임 레이트를 지시하기 위해 어레이 센서의 판독 간격의 값 등을 설정값으로서 기억해 두는데, 일방의 모드에서는, 임계값에 따라 설정된 프레임 레이트로 한다.
상기 제1, 제2, 제3 개시 기술의 센서 장치에서는,
상기 화상 처리부에서 화상 처리된 화상 신호를 외부 장치로 출력하는 출력부를 구비하는 것을 생각할 수 있다.
즉, 클래스 인식에 기초하여 선택된 파라미터를 사용하여 화상 처리된 화상 신호를 외부 장치로 송신 출력한다. 외부 장치란, 예를 들면 물체 검출을 행하는 외부 프로세서나 클라우드에 있어서의 프로세서 등이 상정된다.
또한, 상기 제1, 제2, 제3 개시 기술의 센서 장치에서는, 상기 출력부는, 출력하는 화상 신호에 대한 클래스 식별에 관한 정보의 송신도 행하는 것을 생각할 수 있다.
출력하는 화상 신호에 부수하여 클래스 식별에 관한 정보, 예를 들면 식별된 클래스나 오브젝트 수(물체 수) 등을 출력한다.
또한, 상기 제1, 제2, 제3 개시 기술의 센서 장치에서는, 상기 화상 처리부는, 화상 신호에 대한 화상 처리로서, 색 보정, 감마 보정, 색 계조 처리, 게인 처리, 윤곽 강조 처리, 데이터 압축 처리, 프레임 레이트 변환, 해상도 변환, 종횡 비율 변환, 콘트라스트 조정 처리, 샤프니스(sharpness) 조정 처리, 그레이 레벨 조정 처리, 샘플링 레이트 변경 처리 중 적어도 하나를 행하는 것을 생각할 수 있다.
즉, 화상 처리부에서는, 색, 휘도, 색상, 샤프니스, 데이터 사이즈(해상도나 프레임 레이트) 등을 변화시킨다.
상기 제1 개시 기술에 관한 화상 처리 방법은, 복수의 가시광 또는 비가시광의 촬상 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에서의 촬상에 의해 얻어진 화상 신호에 대해 화상 처리를 행하는 화상 처리부를 갖는 센서 장치에 있어서의 신호 처리 방법으로서, 상기 어레이 센서에 의한 촬상에 관한 촬상 처리 또는 상기 화상 처리부의 화상 처리에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터 설정에 사용하는 임계값을 설정하고, 상기 임계값에 기초하여 변경된 파라미터를 사용한 처리가 행해지도록 한다.
임계값을 사용하여 파라미터를 설정(변경)함으로써, 예를 들면 화상 신호에 대해, 물체 검출 등의 처리를 위한 필요 최소한의 품질 등으로서 출력할 수 있다.
상기 제2 개시 기술에 관한 화상 처리 방법은, 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호를 취득하여 신호 처리를 행하는 신호 처리부를 갖는 센서 장치에 있어서의 신호 처리 방법으로서, 상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성한 영역 정보를, 상기 신호 처리부에 대해, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리와, 과거의 영역 정보에 기초하여 상기 어레이 센서로부터 취득하는 검출 신호에 대한 액티브 에어리어를 설정하는 처리를 행하고, 상기 어레이 센서에 의한 검출 신호로서 상기 액티브 에어리어의 검출 신호를 사용하여 상기 물체 검출을 행한다.
이에 의해 영역 정보를 설정하기 위한 물체 검출의 처리를 화상의 프레임 전체를 대상으로 하지 않아도 되는 것으로 한다.
상기 제3 개시 기술에 관한 화상 처리 방법은, 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호를 취득하여, 신호 처리를 행하는 신호 처리부를 갖는 센서 장치에 있어서의 신호 처리 방법으로서, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 프레임 레이트의 임계값을 설정하고, 상기 임계값에 기초하여 설정한 프레임 레이트를 사용한 처리가, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 행해지도록 한다.
임계값을 사용하여 프레임 레이트를 설정(변경)함으로써, 검출 대상의 클래스에 적합한 프레임 레이트를 적용한다.
도 1은 본 기술의 제1 내지 제5, 제7 실시형태에 적용할 수 있는 센서 장치의 블록도이다.
도 2는 화상 인식 정밀도와 화질의 관계의 설명도이다.
도 3은 제1 실시형태의 분류 화상 적응화 처리의 개요의 설명도이다.
도 4는 제1 실시형태의 화질 파라미터 세트의 설명도이다.
도 5는 제1 실시형태의 분류 화상 적응화 처리의 플로우차트이다.
도 6은 제1 실시형태의 물체 검출의 프로세스의 설명도이다.
도 7은 제2 실시형태의 에어리어 클리핑된 프레임(area-clipped frame)의 설명도이다.
도 8은 제2 실시형태의 에어리어 클리핑 해석의 개요의 설명도이다.
도 9는 제2 실시형태의 에어리어 클리핑 해석의 플로우차트이다.
도 10은 제2 실시형태의 바운딩 박스로부터의 ROI(Region of Interest)의 산출의 설명도이다.
도 11은 제2 실시형태의 ROI의 다른 예의 설명도이다.
도 12는 제3 실시형태의 어드밴스드 ROI(Advanced ROI: AROI)의 설명도이다.
도 13은 제3 실시형태의 어드밴스드 ROI의 설명도이다.
도 14는 제3 실시형태의 어드밴스드 ROI를 사용한 에어리어 클리핑 해석의 플로우차트이다.
도 15는 제4 실시형태의 지능형 압축(intelligent compression)의 설명도이다.
도 16은 제4 실시형태의 지능형 압축의 플로우차트이다.
도 17은 제5 실시형태의 액티브 샘플링의 설명도이다.
도 18은 제5 실시형태의 액티브 샘플링의 플로우차트이다.
도 19는 제6 실시형태의 화상 적응화 처리를 위한 임계값 설정의 설명도이다.
도 20은 제6 실시형태의 클래스에 의한 임계값 설정의 설명도이다.
도 21은 제6 내지 제9 실시형태에 적용할 수 있는 센서 장치의 블록도이다.
도 22는 제6 실시형태의 임계값에 따른 파라미터 설정의 처리의 플로우차트이다.
도 23은 제6 실시형태의 임계값 설정의 설명도이다.
도 24는 제6 실시형태의 임계값 산출의 플로우차트이다.
도 25는 제6 내지 제9 실시형태에 적용할 수 있는 다른 구성예의 블록도이다.
도 26은 제6 내지 제9 실시형태에 적용할 수 있는 또 다른 구성예의 블록도이다.
도 27은 제7 실시형태의 액티브 에어리어 클리핑의 설명도이다.
도 28은 제7 실시형태의 액티브 에어리어 클리핑의 설명도이다.
도 29는 제7 실시형태의 액티브 에어리어 클리핑의 플로우차트이다.
도 30은 제7 실시형태의 키 프레임 액티브 에어리어 산출의 플로우차트이다.
도 31은 제8 실시형태의 어드밴스드 ROI의 임계값 설정의 설명도이다.
도 32는 제8 실시형태의 어드밴스드 ROI를 사용한 에어리어 클리핑 해석의 플로우차트이다.
도 33은 제9 실시형태의 액티브 샘플링의 설명도이다.
도 34는 제9 실시형태의 액티브 샘플링의 설명도이다.
도 35는 제9 실시형태의 액티브 샘플링의 플로우차트이다.
도 36은 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 37은 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
이하, 실시형태를 다음의 순서로 설명한다.
<1. 센서 장치의 구성>
<2. 제1 실시형태: 분류 화상 적응화>
<3. 제2 실시형태: 에어리어 클리핑>
<4. 제3 실시형태: AROI를 사용한 에어리어 클리핑>
<5. 제4 실시형태: 지능형 압축>
<6. 제5 실시형태: 액티브 샘플링>
<7. 제6 실시형태: 임계값 설정에 의한 화상 적응화>
<8. 제7 실시형태: 액티브 에어리어 클리핑>
<9. 제8 실시형태: 임계값 설정과 AROI를 사용한 에어리어 클리핑>
<10. 제9 실시형태: 임계값 설정에 의한 액티브 샘플링>
<11. 이동체에의 응용예>
<12. 정리 및 변형예>
한편, 이하의 설명하는 실시형태로서는, 촬상 소자 어레이를 가지며, 검출 신호로서 화상 신호를 출력하는 이미지 센서로서의 센서 장치(1)를 예로 든다. 특히, 실시형태의 센서 장치(1)는 화상 해석에 의한 물체 검출 기능을 갖는 것으로 하여, 지능형 어레이 센서라고 부를 수 있는 장치이다.
<1. 센서 장치의 구성>
센서 장치(1)의 구성예를 도 1에 나타낸다. 한편, 도 1에는 센서 장치(1)와 데이터 통신을 행하는 외부 장치로서 프로세서(11), 외부 센서(12)도 나타내고 있다. 프로세서(11)는 센서 장치(1)와 통신 접속되는 모든 프로세서가 상정된다.
센서 장치(1)는, 하드웨어로서는, 이미지 센서 디바이스, DRAM(Dynamic Random Access Memory) 등의 기억 영역, AI(artificial intelligence) 기능 프로세서로서의 구성 부위를 가지고 있다. 그리고 이들 3개가 3레이어 적층 구조로 되거나, 1레이어로서 이른바 평면 구성으로 되거나, 또는 2레이어(예를 들면, DRAM과 AI 기능 프로세서가 동일 층) 적층 구조로 되거나 하는 등으로 하여 일체형 디바이스로 된다.
도 1과 같이 센서 장치(1)는, 어레이 센서(2), ADC(Analog to Digital Converter)/픽셀 선택기(3), 버퍼(4), 로직부(5), 메모리(6), 인터페이스부(7), 및 연산부(8)를 갖는다.
ADC/픽셀 선택기(3), 버퍼(4), 및 로직부(5)는, 어레이 센서(2)에 의해 얻어지는 검출 신호를 외부로의 출력을 위해 신호 처리하는 신호 처리부(30)의 예가 된다.
어레이 센서(2)는, 검출 소자가 가시광 또는 비가시광의 촬상 소자로 되고, 복수의 촬상 소자가 1차원 또는 2차원으로 배열되어 구성되어 있다. 예를 들면, 행방향 및 열방향의 2차원으로 다수의 촬상 소자가 배열되고, 각 촬상 소자에 있어서의 광전 변환에 의해 2차원 화상 신호를 출력하는 구성으로 된다.
한편, 이하의 설명에서 어레이 센서(2)는, 이미지 센서로서 2차원의 화상 신호를 출력하는 것으로 하지만, 센서 장치(1) 내의 어레이 센서(2)로서는, 음파 검출 소자를 배열한 센서 어레이 모듈이나, 촉각 정보 검출 소자를 배열한 센서 어레이 모듈 등으로서 구성되는 것도 있다.
ADC/픽셀 선택기(3)는, 어레이 센서(2)에 의해 광전 변환된 전기 신호를 디지털 데이터화하고, 디지털 데이터로서의 화상 신호를 출력한다.
또한, 어레이 센서(2)의 화소(촬상 소자)에 대한 픽셀 선택의 기능을 가짐으로써, 어레이 센서(2)에 있어서 선택한 화소에 대해서만, 광전 변환 신호를 판독하여 디지털 데이터화하여 출력할 수도 있다.
즉, ADC/픽셀 선택기(3)는, 통상은 1프레임의 화상을 구성하는 유효 화소 전부에 대해 광전 변환 신호의 디지털 데이터화 출력을 행하지만, 선택한 화소에 대해서만 광전 변환 신호의 디지털 데이터화 출력을 행할 수도 있다.
ADC/픽셀 선택기(3)에 의해, 프레임 단위로 화상 신호가 판독되는데, 이 각 프레임의 화상 신호는 버퍼(4)에 일시적으로 기억되고, 적절한 타이밍에서 판독되어 로직부(5)의 처리에 제공된다.
로직부(5)에서는, 입력되는 각 프레임 화상 신호에 대해 각종 필요한 신호 처리(화상 처리)를 행한다.
예를 들면, 로직부(5)에서는, 색 보정, 감마 보정, 색 계조 처리, 게인 처리, 윤곽 강조 처리, 콘트라스트 조정 처리, 샤프니스 조정 처리, 그레이 레벨 조정 처리 등의 처리에 의해 화질 조정을 행하는 것이 상정된다.
또한, 로직부(5)에서는 데이터 압축 처리, 해상도 변환, 프레임 레이트 변환, 종횡 비율 변환, 샘플링 레이트 변경 등, 데이터 사이즈를 변경하는 처리를 행하는 것도 상정된다.
이들 로직부(5)에서 행해지는 각 처리에 대해서는, 각각의 처리에 사용하는 파라미터가 설정된다. 예를 들면, 색이나 휘도의 보정 계수, 게인 값, 압축률, 프레임 레이트, 해상도, 처리 대상의 영역, 샘플링 레이트 등의 설정값이 있다. 로직부(5)에서는, 각각의 처리에 대해 설정된 파라미터를 사용하여 필요한 처리를 행한다. 본 실시형태에서는, 이들 파라미터를 후술하는 바와 같이 연산부(8)가 설정하는 경우가 있다.
로직부(5)에서 처리된 화상 신호는 메모리(6)에 기억된다.
메모리(6)에 기억된 화상 신호는, 필요한 타이밍에서 인터페이스부(7)에 의해 프로세서(11) 등으로 송신 출력된다.
한편, 메모리(6)로서는 DRAM, SRAM(Static Random Access Memory), MRAM(Magnetoresistive Random Access Memory: 자기 저항 메모리) 등이 상정된다.
한편, MRAM은 자기에 의해 데이터를 기억하는 메모리이며, 자기 코어 대신에TMR 소자(Tunneling Magneto resistive)를 사용하는 것이 알려져 있다. TMR 소자는 수 원자만큼의 극히 얇은 절연물 층을 자성체 사이에 끼운 것으로, 자성체 층의 자화 방향에 따라 전기 저항이 변화한다. TMR 소자의 자화 방향은 전원이 꺼져도 변화하지 않고, 비휘발성 메모리가 된다. 미세화하면 할수록 기입 전류를 크게 할 필요가 있기 때문에, 메모리 셀을 미세화하기 위해서는, 자계를 사용하지 않고, 스핀이 일치한 전자를 흘려 기입하는 스핀 주입 자화 반전 방식(STT: spin torque transfer)을 사용한 STT-MRAM이 알려져 있다.
물론 메모리(6)의 구체예로서는, 이들 이외의 기억 소자이어도 된다.
센서 장치(1)의 외부 프로세서(11)에서는, 센서 장치(1)로부터 송신되어 온 화상 신호에 대해, 화상 해석 및 화상 인식 처리를 행하여, 필요한 물체 검출 등을 실행한다.
프로세서(11)는 외부 센서(12)의 검출 정보를 참조할 수도 있다.
한편, 프로세서(11)는 유선 또는 무선으로 센서 장치(1)와 접속되는 것을 생각할 수 있다.
이 프로세서(11)는 센서 장치(1)와 공통의 하우징에 설치되는 것을 생각할 수 있다. 예를 들면, 센서 장치(1)를 장비하는 촬상 장치나 단말 장치 내의 프로세서로 되는 것이 상정된다.
또는, 프로세서(11)는, 센서 장치(1)와는 별개의 장치에 설치되는 것이어도 된다. 예를 들면, 센서 장치(1)를 장비하는 촬상 장치나 단말 장치와 케이블이나 무선 통신 등으로 접속되는 정보 처리 장치, 단말 장치, 화상 편집 장치, 모니터 장치, 통신 장치 등에 내장되는 것이어도 된다.
나아가, 프로세서(11)는, 예를 들면 클라우드 컴퓨팅 시스템에 있어서의 프로세서로 되고, 센서 장치(1), 또는 센서 장치(1)를 내장한 기기와의 사이에서 네트워크 통신이 행해지는 것이어도 된다.
연산부(8)는, 예를 들면 하나의 AI 프로세서로서 구성된다. 그리고, 실행 가능한 연산 기능으로서 도시하는 바와 같이 키 프레임 선택부(81), 물체 영역 인식부(82), 클래스 식별부(83), 및 파라미터 선택부(84)를 구비한다. 한편, 이들 연산 기능이 복수의 프로세서에 의해 구성되어도 된다.
키 프레임 선택부(81)는, 소정의 알고리즘 또는 지시에 따라, 동화상으로서의 화상 신호의 프레임 내에서 키 프레임을 선택하는 처리를 행한다.
또한, 키 프레임 선택부(81)는, 프레임 레이트에 관한 모드(제5 실시형태에 있어서의 아이들링 모드(idling mode)와 노멀 모드(normal mode))를 스위칭하는 처리를 행하는 경우도 있다.
물체 영역 인식부(82)는, 어레이 센서(2)에 의해 광전 변환되어, ADC/픽셀 선택기(3)에 의해 판독되는 화상 신호의 프레임에 대해, 검출의 후보가 되는 물체의 영역의 검출이나, 검출 대상의 물체에 대해 화상(프레임) 내에서의 해당 물체를 둘러싸는 영역(바운딩 박스)의 인식 처리를 행한다.
화상 신호로부터 검출되는 물체란, 화상으로부터의 인식을 목적으로 하여 검출 대상이 될 수 있는 물체를 말한다. 센서 장치(1)나 프로세서(11)의 검출의 목적, 처리 능력, 애플리케이션 종류 등에 따라, 어떤 물체가 검출 대상으로 될지는 다르지만, 모든 물체가, 여기서 말하는 검출 대상의 물체로 될 가능성이 있다. 어디까지나 일부이지만 예시하자면, 동물, 이동체(자동차, 자전거, 항공기 등), 자연물(야채, 식물 등), 공업제품/부품, 건축물, 시설, 산, 바다, 강, 별, 태양, 구름 등, 모든 물체가 해당할 가능성이 있다.
또한, 제2 실시형태에서 설명하는 바와 같이, 물체 영역 인식부(82)는, 바운딩 박스에 기초하여, 처리 대상으로 해야 할 영역(관심 영역)을 나타내는 영역 정보인 ROI(Region of Interest)를 산출하는 처리나, ROI에 기초하는 ADC/픽셀 선택기(3)에 대한 제어 등을 행하는 경우도 있다.
클래스 식별부(83)는, 물체 영역 인식부(82)가 검출한 물체에 대해 클래스 분류를 행한다.
클래스란, 화상 인식을 사용하여 인식된 물체의 카테고리이다. 예를 들면, 「사람」, 「자동차」, 「비행기」, 「배」, 「트럭」, 「새」, 「고양이」, 「개」, 「사슴」, 「개구리」, 「말」 등과 같이 검출해야 할 물체를 분류하는 것이다.
파라미터 선택부(84)는, 제1 실시형태에서 설명하는 바와 같이, 각 클래스에 따른 신호 처리용의 파라미터를 기억하고 있어, 클래스 식별부(83)가 식별한 검출 물체의 클래스나 바운딩 박스 등을 사용하여, 대응하는 하나 또는 복수의 파라미터를 선택한다. 그리고, 그 하나 또는 복수의 파라미터를 로직부(5)에 설정한다.
또한, 파라미터 선택부(84)는, 제3 실시형태와 같이, 바운딩 박스를 바탕으로 ROI를 산출하는 클래스를 기초로 미리 클래스별로 산출된 어드밴스드 ROI(Advanced ROI: AROI)의 템플릿을 기억하고 있어, 그 템플릿을 선택하는 처리를 행하는 경우도 있다.
또한, 파라미터 선택부(84)에는, 제5 실시형태에 있어서의 아이들링 모드와 노멀 모드의 설정값을 기억하고, 이것을 물체 검출에 기초하여 선택하여, 신호 처리부(30)를 제어하는 처리를 행하는 경우도 있다.
연산부(8)에 의한 이들의 기능은, 통상 어레이 센서 내에서는 행하지 않은 처리이며, 본 실시형태에서는, 물체 검출이나 클래스 인식, 및 이들에 기초하는 제어를 어레이 센서 내에서 실행한다. 이에 의해, 프로세서(11)로 공급하는 화상 신호를, 검출 목적에 따른 적절한 것으로 하거나, 검출 성능의 저하를 초래하지 않는 데이터량 삭감을 실현한다.
또한, 인터페이스부(7)는, 프로세서(11)로 화상 신호를 출력하는 것 외에, 연산부(8)에서 검출된 물체의 정보, 클래스의 정보, 검출 물체 수, 선택한 파라미터의 정보 등을, 예를 들면 메타 데이터로서 화상 신호와 함께 출력하거나, 또는 화상 신호와는 독립적으로 출력할 수 있다. 또한, 예를 들면 클래스의 정보만을 출력하는 등도 가능하다.
또한, 예를 들면 프로세서(11) 측이, 인터페이스부(7)에 대해 필요한 정보를 지시하고, 인터페이스부(7)가 그에 따른 정보를 출력하는 것도 생각할 수 있다.
<2. 제1 실시형태: 분류 화상 적응화>
도 1의 구성의 센서 장치(1)에 의해 실행할 수 있는 제1 실시형태의 처리로서 분류 화상 적응화의 처리를 설명한다.
화상 인식의 정밀도는 화질 조정에 따라 다르다. 예를 들면, 딥 러닝(deep learning)에 의한 화상 인식은 화질을 조정함으로써, 정밀도가 향상된다.
그리고, 화상 인식에 있어서 바람직한 화질, 즉, 물체 검출의 정밀도가 높아지는 화질은, 반드시 사람이 보아서 아름답다고 느끼는 화질은 아닌 경우가 있다.
예를 들면, 도 2의 A는 사람이 보아서 고품질이라고 느끼는 화상의 예를 나타내고, 한편 도 2의 B는, 예를 들면 계조 수가 적어지는 것 등에 의해, 사람이 본 감각에서는, 다소 화질이 열화되어 있다고 느끼는 화상인 것으로 하고 있다.
그런데, 도 2의 A의 화상을 뉴럴 네트워크(neural network)에 의해 해석한 경우의 물체 검출 결과로서는, 꽃을 물고기(fish)라고 오판정하고 있고, 한편, 도 2의 B의 화상에 대해서는 꽃을 올바르게 꽃(flower)이라고 판정하고 있다.
이 예로부터 알 수 있는 바와 같이 화상 인식의 정밀도를 높이기 위해서는, 사람의 미관(美觀)을 기준으로 한 화질 조정과는 다른 화질 조정이 행해지는 것이 바람직하다.
또한, 그러한 물체 검출에 적합한 화질이라고 하는 것은, 일률적인 파라미터에 의해 조정되는 화질이 아니라, 검출 대상이 되는 물체에 따라서도 다르다. 예를 들면, 사람을 검출하는 경우와 자동차를 검출하는 경우에서는, 바람직한 화질 조정 상태가 다르다. 즉, 검출 대상에 따라 화질 조정을 위한 바람직한 파라미터의 값은 다르다.
이에, 분류 화상 적응화 처리로서는, 대상이 될 수 있는 물체의 클래스마다, 적절한 파라미터(화질 조정값)를 기억해 둔다. 그리고, 어레이 센서(2)에 의해 촬상된 화상에 대해, 물체 검출 및 검출한 물체의 클래스 식별을 행하고, 그 식별한 클래스에 따라 파라미터를 선택하여 로직부(5)에 설정하고, 해당 화상에 대한 로직부(5)에서, 그 파라미터에 의한 처리가 행해지도록 한다.
이러한 분류 화상 적응화 처리의 개요를 도 3에 나타낸다. 또한, 도 3은 개요 설명을 위해 도 1의 구성의 일부를 추출한 것이다.
센서 장치(1)에서는 촬상 광학계(40)에 의해 피사체광이 어레이 센서(2)에 집광되어, 화상 촬상이 행해진다. 얻어진 화상 신호(G)는 로직부(5)에서 처리되지만, 연산부(8)에도 공급된다.
연산부(8)에서는, 물체 영역 인식부(82)에서 후보가 되는 물체의 검출 및 그 물체 영역의 인식 처리가 행해진다. 이 물체 영역 인식부(82)에서는, 필요한 물체 영역에 대해 바운딩 박스의 계산도 행해진다.
또한, 연산부(8)에서는, 검출된 물체에 대해 클래스 식별부(83)에서 클래스 식별이 행해진다. 복수의 물체나 복수 종류의 물체가 검출된 경우, 각각에 대해 클래스 식별이 행해져, 각 클래스로 분류된다. 예를 들면, 도면의 경우, 「차」라고 하는 클래스의 물체가 1개, 「사람」이라고 하는 클래스의 물체가 5개, 「교통 신호기」라고 하는 클래스의 물체가 1개라고 하는 것처럼 클래스 식별 및 분류가 행해진다.
이 클래스의 정보나 바운딩 박스의 정보가 파라미터 선택부(84)에 제공되고, 파라미터 선택부(84)는, 기억하고 있는 파라미터 세트(PR1, PR2…) 중에서, 클래스의 정보 등을 사용하여 1개의 파라미터 세트를 선택한다. 도면에서는, 예를 들면 파라미터 세트(PR4)가 선택된 상태를 나타내고 있다.
또한, 파라미터 세트란, 예를 들면 게인 설정값, 색 보정 계수, 계조 수, 압축률, 프레임 레이트 등, 로직부(5)의 처리에서 사용하는 복수의 파라미터 값을 1개의 세트로서 기억한 것이다.
선택된 파라미터 세트(PR4)는 로직부(5)에 있어서 설정된다. 로직부(5)는, 화상 신호(G)에 대해, 그 파라미터 세트(PR4)로 나타내어지는 각 파라미터를 사용하여 각종의 신호 처리를 행한다.
어레이 센서는 프로세서(11)의 요구에 따라 출력 데이터(화상 신호, 클래스, 물체 수, 타겟 클래스의 유무 등)의 데이터 전부 또는 어느 것인가를 출력한다.
또한, 프로세서(11)는, 센서 장치(1)에 대해 각종의 지시를 송신할 수 있다.
이와 같이 센서 장치(1)에서는, 연산부(8)가 물체 검출에 기초한 클래스 식별의 기능(물체의 카테고리 나눔 기능)을 가지며, 클래스 식별부의 출력에 따라, 로직부(5)의 파라미터가 적응적으로 설정된다고 하는 분류 화질 적응화(물체 검출로부터 대상 장르에 맞는 파라미터 선택)가 행해진다.
파라미터 세트에 대해서는, 딥 러닝에 의해 클래스마다 적절한 파라미터(화질 설정값)를 사전 학습에 의해 미리 생성하여 기억해 둔다.
예를 들면, 「사람」이라고 하는 클래스의 파라미터 세트를 생성하는 경우, 도 4의 A에 나타내는 바와 같이, 인간의 화상을 다수, 학습 데이터(SD)로서 사용하여 딥 러닝을 행하고, 사람의 인식이라고 하는 관점에서 가장 화상 인식률이 높은 파라미터 세트(PR1)를 생성한다.
다른 각 클래스에 대해서도, 마찬가지로 딥 러닝을 사용하여 가장 화상 인식률이 높은 파라미터 세트(PR2, PR3…)를 생성한다.
그리고, 도 4의 B와 같이, 생성한 각 클래스에 대응하는 파라미터 세트(PR1, PR2, PR3…)를, 파라미터 선택부(84)가 선택할 수 있도록 기억해 둔다.
센서 장치(1)에 있어서의 분류 화상 적응화 처리의 구체예를 도 5에 나타낸다. 순차적으로 도 6을 참조하면서 설명한다.
도 5는 스텝(S100)으로서 어레이 센서(2)로부터 1프레임 단위의 화상 신호의 출력이 개시된 후에 있어서, 센서 장치(1)(주로 연산부(8))에서 실행되는 처리를 나타내고 있다.
이 도 5에서 연산부(8)의 처리는 도 1에 나타낸 키 프레임 선택부(81), 물체 영역 인식부(82), 클래스 식별부(83), 파라미터 선택부(84)로서의 각 기능에 의해 실행되는 처리이다. 한편, 이것은, 후술하는 도 9, 도 14, 도 16, 도 18에서도 마찬가지이다.
스텝(S101)에서 연산부(8)(키 프레임 선택부(81))는, 키 프레임 선택 알고리즘에 따른 타이밍에서 키 프레임을 선택하는 처리를 행한다.
센서 장치(1)는 어레이 센서(2)의 픽셀 어레이 출력 신호인 프레임 단위의 화상 신호로부터 키 프레임을 선택하고, 화상 인식을 행함으로써 촬영 대상의 클래스를 인식하게 된다. 키 프레임의 선택은 키 프레임 선택 알고리즘에 의해 행해지고, 이에 의해 정지화상(어떤 1프레임)이 선택된다.
키 프레임 선택 알고리즘의 예를 든다.
먼저, 지정한 시간의 간격마다 1프레임 선택한다고 하는 수법이 있다. 예를 들면, 30초 간격으로 1프레임을 키 프레임으로 하는 등이다. 물론 30초라고 하는 것은 일례이다.
또한, 센서 장치(1)의 외부(프로세서(11) 등)로부터의 명령에 의한 타이밍으로서 키 프레임을 선택하는 것도 생각할 수 있다. 예를 들면, 센서 장치(1)가 탑재되어 있는 디바이스, 기기 측으로부터의 지시에 따르는 것으로 한다. 예를 들면, 센서 장치(1)가 자동차에 탑재되어 있는 경우에서, 주차장에 정지하고 있었으나, 주행을 개시한 타이밍 등에서 키 프레임을 선택하는 등이다.
또한, 키 프레임의 선택 수법을 상황에 따라 변화시켜도 된다. 예를 들면, 센서 장치(1)가 자동차에 탑재되는 경우에, 정차시, 통상 주행시, 고속 주행시에 키 프레임의 간격을 변경하는 등이다.
키 프레임이 선택되면, 스텝(S102)에서 연산부(8)(물체 영역 인식부(82))는, 키 프레임 내의 물체의 후보가 되는 위치의 검출을 행한다.
즉, 연산부(8)는 키 프레임의 화상에 있어서 검출해야 할 물체의 후보를 탐색하고, 하나 또는 복수의 후보의 위치(화상 내의 위치 좌표)를 구한다.
예를 들면, 도 6의 A의 입력 화상이 키 프레임으로 된 것으로 한다. 연산부(8)는 이 화상 중에서 검출해야 할 물체인 듯한 부분을 검출한다. 예를 들면, 도 6의 B 및 도 6의 C의 영역이 검출해야 할 물체인 듯한 부분이 된다. 이것이 물체의 후보가 된다.
도 5의 스텝(S103)에서 연산부(8)(클래스 식별부(83))는, 검출 물체의 클래스 분류를 행한다. 즉, 물체의 후보의 각각에 대해 클래스 식별을 행하여, 분류한다.
전술한 바와 같이, 클래스란 화상 인식을 사용하여 인식된 물체의 카테고리이다.
예를 들면, 도 6의 D 및 도 6의 E와 같이, 「사람」,「꽃」이라는 클래스 식별이 행해진다.
도 5의 스텝(S104)에서 연산부(8)는 클래스 식별 결과로서 얻어진 클래스 내에 타겟 클래스가 존재하는지 여부를 확인한다.
타겟 클래스는, 클래스 중에서 프로세서(11)로부터 특별히 설정된 클래스이다. 예를 들면, 타겟 클래스가 「사람」으로 설정되어 있는 경우에는, 센서 장치(1)는 사람을 인식했을 때에 지정된 프로세스로 들어가는 것으로 한다.
또한, 타겟 클래스는, 복수 지정 가능하게 하는 것이 바람직하다.
예를 들면, 「사람」과 「꽃」이 타겟 클래스로 된 경우로서, 스텝(S103)에서 식별된 클래스 중에 「사람」 또는 「꽃」이 존재한 경우, 연산부(8)는 스텝(S104)으로부터 스텝(S105)으로 처리를 진행시킨다.
한편, 타겟 클래스가 존재하지 않으면, 연산부(8)는 스텝(S101)으로 되돌아가, 다음 키 프레임의 선택을 행하게 된다.
타겟 클래스의 존재에 의해 스텝(S105)으로 진행한 경우, 연산부(8)(물체 영역 인식부(82))는 클래스로 분류된 물체 에어리어를 둘러싸는 정확한 위치 좌표(바운딩 박스)의 산출을 행한다.
도 6의 F 및 도 6의 G에 바운딩 박스(20)를 나타내고 있다. 바운딩 박스(20)는, X축 상의 영역 범위로서의 최소 좌표값 Xmin, 최대 좌표값 Xmax, 및 Y축 상의 영역 범위로서의 최소 좌표값 Ymin, 최대 좌표값 Ymax에 의해 규정된다.
도 5의 스텝(S106)에서 연산부(8)(파라미터 선택부(84))는, 물체의 클래스, 수, 바운딩 박스(20)의 면적을 바탕으로 파라미터 세트를 선택한다.
예를 들면, 하나의 타겟 클래스가 존재하는 경우에는, 그 클래스에 대응하는 파라미터 세트를 선택한다.
화면 내에 복수 종류의 타겟 클래스의 물체가 존재하는 경우에는, 이하의 예를 생각할 수 있다.
예를 들면, 각 클래스 중 가장 물체의 수가 많은 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.
또는, 화면 내에 복수 종류의 타겟 클래스의 물체가 존재하는 경우에는, 가장 바운딩 박스(20)의 면적이 큰 물체의 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.
또는, 화면 내에 복수 종류의 타겟 클래스의 물체가 존재하는 경우에는, 클래스마다 바운딩 박스(20)의 면적의 총계가 가장 크게 되는 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.
또는, 화면 내에 복수 종류의 타겟 클래스의 물체가 존재하는 경우에는, 클래스마다의 물체 수와 바운딩 박스(20)의 면적의 총계(또는 최대값)로부터, 최우선의 클래스를 구하고, 그 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.
물론, 그 외에도 파라미터 세트의 선택 수법은 다양하게 존재하지만, 어쨌든 화면 내에서 지배적인 물체, 또는 우선적으로 검출해야 할 물체의 클래스에 따른 파라미터 세트가 선택되도록 하면 된다.
스텝(S107)에서 연산부(8)(파라미터 선택부(84))는, 선택한 파라미터 세트를 로직부(5)에 설정하는 처리를 행한다.
이에 의해 로직부(5)에서는 이후, 순차적으로 입력되는 각 프레임의 화상 신호에 대해, 설정된 파라미터 세트를 사용하여 각종의 화상 처리를 행한다.
처리된 화상 신호나 설정된 파라미터, 또는 식별된 클래스의 정보 등은 DRAM(6)에 일시적으로 기억된다.
스텝(S108)에서는, 센서 장치(1)는, 프로세서(11)의 요구에 따라 화상 신호(정지영상, 동화상), 클래스 식별 정보(클래스, 오브젝트 수, 타겟 클래스의 유무 등), 사용된 파라미터 세트 등의 정보 전부 또는 적어도 어느 하나를 출력하게 된다.
즉, DRAM(6)에 일시적으로 기억된 정보 중 어느 하나가, 프로세서(11)의 요구에 따라 인터페이스부(7)에 의해 판독되어 송신된다.
한편, 이 스텝(S108)의 처리는, 연산부(8)의 제어에 의한 것으로 해도 되지만, 인터페이스부(7)를 통한 프로세서(11)에 의한 DRAM(6)에 대한 액세스에 의해 실행되는 것이어도 된다. 연산부(8)가 인터페이스부(7)의 제어를 행하지 않는 경우, 연산부(8)의 처리로서는, 스텝(S107) 이후, 스텝(S101)으로 되돌아가게 된다.
이상의 처리에 의해, 프로세서(11)에는, 화상에 포함되는 물체로서의 타겟 클래스의 존재에 따라 파라미터 설정이 이루어진 화상 신호가 공급된다. 그 화상 신호는, 해당 타겟 클래스의 물체의 검출에 적합한 화상 처리가 행해진 화상 신호가 된다.
또한, 검출된 클래스(타겟 클래스)나 물체 수의 정보도 프로세서(11)에 제공되면, 프로세서(11)에서의 물체 검출 처리에 유용한 정보가 된다.
이들에 의해, 프로세서(11)에서 정밀도가 높은 물체 검출을 행할 수 있다.
한편, 센서 장치(1) 내에서는 간이적으로 클래스 설정을 행하고, 외부에서 보다 자세하게 인식한다고 하는 사용법도 가능하다. 예를 들면, 얼굴 인식이나 번호판 인식까지는 센서 장치(1)에서 실행하지 않고, 프로세서(11)에 실행시키도록 하는 처리도 가능하다.
또한, 도 5의 처리 예에서는, 스텝(S102)에서 물체인 듯한 부분을 검출하고(도 6의 B, 도 6의 C), 스텝(S103)에서 클래스 식별하고(도 6의 D, 도 6의 E), 그 후 스텝(S105)에서 바운딩 박스(20)의 설정을 행하는(도 6의 F, 도 6의 G) 것으로 하고 있지만, 이 순서에 한정되지 않는다. 예를 들면, 스텝(S102)의 단계에서, 물체인 듯한 부분을 검출하면 바운딩 박스(20)를 설정하고, 그 후, 스텝(S103)에서 클래스 식별을 행하고, 타겟 클래스가 존재하면 스텝(S104)으로부터 스텝(S106)으로 진행하도록 하는 순서이어도 된다.
<3. 제2 실시형태: 에어리어 클리핑>
도 1의 구성의 센서 장치(1)에 의해 실행할 수 있는 제2 실시형태의 처리로서 에어리어 클리핑을 설명한다.
어레이 센서(2)에 의해 검출되는 화상 신호에 대해서는, 통상은, 각 프레임의 전체 화소의 정보를 프로세서(11)로 송신하여 화상 인식을 실행시키는 것을 생각할 수 있다.
그러나, 전체 프레임의 전체 화소의 정보를 프로세서(11)로 전송하고, 프로세서(11)에서 물체를 검출해 가면, 특히 어레이 센서(2)에 의한 촬상 화상의 고정세화(higher definition)가 진행됨에 따라 전송 정보량이 현저하게 증대하고, 전송 시간도 필요하게 된다. 또한, 클라우드 송신하는 경우에는 통신량의 증대는 통신 비용, 시간에 크게 영향을 준다. 나아가, 프로세서(11)나 클라우드에 있어서의 스토리지량의 부담도 늘어나고, 또한 해석 처리 부담, 처리 시간도 늘어나서, 물체 검출 성능이 저하될 염려가 있다.
이에, 제2 실시형태에서는, 어떤 프레임의 화상에 있어서 필요한 물체를 인식하면, 다음 프레임 이후에는, 대략 해당 물체의 영역의 화소 레벨에서 화상 신호의 취득이나 전송을 행하도록 하고, 다른 영역의 화소는 정보로서 존재하지 않도록 함으로써, 처리의 효율화를 도모하도록 한다.
도 7에 개요를 나타낸다.
도 7의 A에 어떤 프레임(F1)의 화상을 나타내고 있다. 검출해야 할 물체로서 「사람」을 설정한 경우, 프레임(F1)의 화상 내에서 사람의 영역을 검출한다. 그리고, 사람이 검출된 영역을 관심 영역인 ROI(Region of Interest)(21)로 한다.
이후의 프레임(F2, F3… Fn)에서는, 어레이 센서(2)로부터, ROI(21)로 된 영역 내의 화소만을 판독하도록 한다. 그 화상은 도 7의 B와 같이 ROI(21)의 부분의 정보만을 포함하는 화상이 된다.
그리고, 이러한 부분적인 화소 정보를 포함하는 화상 신호에 기초하여 연산부(8)에 있어서의 해석이 행해지거나, 프로세서(11)로 전송되어 화상 해석이 행해지도록 한다.
구체적으로는, 도 8의 A에 모식적으로 나타내는 바와 같이, 어레이 센서(2)에 의해 얻어지는 화상 신호 중, N개의 프레임에 1매의 비율로서의 어떤 프레임(F1)에 대해서는 전체 유효 화소의 정보를 포함하는 화상으로 한다. 그리고, 연산부(8)에서 전체 화면을 스캔하여 대상물의 유무와 위치의 검출을 행한다. 그리고, ROI(21)를 설정한다.
후속 프레임(F2)을 취득할 때에는, 도 8의 B와 같이 대상 에어리어로 된 ROI(21)의 화소만 AD 변환이 행해진 화상 신호가 취득되도록 한다. 한편, 도면에 있어서 격자로 나누어진 각 사각형은 화소를 나타낸다.
이와 같이, 예를 들면 N개의 프레임마다 하나의 프레임만 전체 화면 스캔하여 대상물의 검출을 행하고, 도 8의 C와 같이 이후의 프레임(F2, F3, F4…)에서는 이전 프레임의 대상물의 검출 에어리어만 화상 해석을 행한다.
이 프로세스를 행함으로써, 애플리케이션의 대상이 되는 물체 검출의 정밀도를 저하시키지 않고, 해석 데이터량의 삭감, 통신 데이터량의 저감이 행해져, 센서 장치(1)의 저소비 전력화와 센서 장치(1)를 탑재한 시스템 전체의 물체 검출에 관한 화상 해석의 고속화가 행해진다.
에어리어 클리핑 해석으로서의 센서 장치(1)의 연산부(8)의 처리 예를 도 9에 나타낸다. 순차적으로 도 10을 참조하면서 설명한다.
연산부(8)(키 프레임 선택부(81))는 스텝(S201)에서 물체 검출 키 프레임 기록 타이밍이 되었는지 여부를 판정한다.
물체 검출 키 프레임 기록 타이밍이란, 물체 검출을 위해 어레이 센서(2)의 전체 유효 화소 영역에서 정보 취득을 행하는 타이밍을 의미한다.
물체 검출 키 프레임 기록 타이밍으로서는, 예를 들면 프로세서(11) 등의 센서 장치(1)의 외부로부터의 명령에 의해 판정하도록 해도 된다. 예를 들면, 60초의 지시에 따라, 60초의 간격으로 물체 검출 키 프레임 기록 타이밍이라고 판정하는 것이 상정된다.
물체 검출 키 프레임 기록 타이밍이 되면, 연산부(8)는 스텝(S202)으로 진행하고, 어레이 센서(2)의 전체 유효 화소 영역에서 AD 변환된 화상 데이터를 취득한다. 예를 들면, ADC/픽셀 선택기(3)에, 전체 유효 화소 영역을 대상으로 하여 어레이 센서(2)로부터의 1프레임의 화상 신호를 출력시킨다.
스텝(S203)에서 연산부(8)(물체 영역 인식부(82))는, 취득한 화상에 대해 물체의 후보가 되는 위치의 검출을 행한다.
도 10의 A에 나타내는 바와 같이, 예를 들면 프레임(F1)을 물체 검출 키 프레임으로 했을 때에, 이 프레임(F1)의 화상 내에서, 물체의 후보 영역(23)을 검출한다. 이 경우, 「사람」이나 「나무」의 화상을 포함하는 영역이 후보 영역(23)으로 되어 있다.
도 9의 스텝(S204)에서 연산부(8)(클래스 식별부(83))는, 후보로서 검출된 물체의 클래스 분류를 행한다.
예를 들면, 도 10의 B와 같이, 후보 영역(23)의 물체에 대해 「사람」, 「나무」 등의 클래스 식별을 행한다.
도 9의 스텝(S205)에서 연산부(8)는 클래스 식별 결과로서 얻어진 클래스 내에 타겟 클래스가 존재하는지 여부를 확인한다.
예를 들면, 「사람」이 타겟 클래스로 되어 있는 경우, 도 10의 B와 같이 식별된 클래스로서 타겟 클래스가 존재하고 있게 된다. 그러한 경우, 연산부(8)는 도 9의 스텝(S205)으로부터 스텝(S206)으로 처리를 진행시킨다.
한편, 타겟 클래스가 존재하지 않으면, 연산부(8)는 스텝(S201)으로 되돌아가, 다음 물체 검출 키 프레임 기록 타이밍을 대기한다.
도 9의 스텝(S206)에서 연산부(8)(물체 영역 인식부(82))는, 타겟 클래스로 된 클래스로 분류된 물체의 에어리어를 둘러싸는 정확한 위치 좌표의 바운딩 박스(20)의 산출을 행한다.
예를 들면, 도 10의 C에 타겟 클래스인 사람의 화상에 관한 바운딩 박스(20)의 예를 나타내고 있다. 즉, 바운딩 박스(20)는 타겟 클래스에 해당하는 물체의 보다 정확한 영역으로서 계산된다.
도 9의 스텝(S207)에서 연산부(8)(물체 영역 인식부(82))는, 바운딩 박스(20)를 바탕으로 ROI를 산출한다.
도 10의 D에 ROI(21)와 바운딩 박스(20)를 나타내고 있다. ROI(21)는 바운딩 박스(20)의 종횡 사이즈(x×y)를 확대(ax×by)하여 계산된다. 확대의 축척 a, b는 종횡별로 설정할 수 있고, 확대율은 고정이어도 되지만, 센서 장치(1)의 외부(예를 들면, 프로세서(11) 등)로부터 지정되도록 하는 것도 생각할 수 있다.
연산부(8)(물체 영역 인식부(82))는, 이와 같이 계산한 ROI를 ADC/픽셀 선택기(3)로 전한다.
이에 따라, ADC/픽셀 선택기(3)에서는, 어레이 센서(2)에 있어서의 ROI(21) 내에 해당하는 화소만 AD 변환하여 출력하게 된다.
연산부(8)는 도 9의 스텝(S208)에서, ROI(21) 내의 화소만의 정보를 포함하는 다음 프레임의 화상 데이터를 취득한다. 그리고, 취득한 프레임에 대해 스텝(S203, S204)의 처리를 행한다.
도 10의 E에는, 전체 유효 화소 중 ROI(21) 내의 화소만 AD 변환을 행하는 것을 모식적으로 나타내고 있다(각 도면에 있어서 격자로 나누어진 사각형은 화소를 나타낸다).
이러한 AD 변환에 의해, 도 10의 F와 같이 ROI(21)의 부분만의 정보를 갖는 프레임(F2)의 화상이 연산부(8)에서 취득된다.
그리고 연산부(8)는, 도 9의 스텝(S203, S204)에서, 이 프레임(F2)의 화상에 대해 물체 후보의 위치 검출과 클래스 분류를 행하는데, 예를 들면, 이러한 도 10의 F의 경우, 사람이 검출되기 때문에, 스텝(S206, S207)으로 진행하고, 새롭게 바운딩 박스(20)의 산출이나, 바운딩 박스(20)에 기초하는 새로운 ROI(21)의 산출이 행해지게 된다. 도 10의 F에서는 새롭게 구해진 ROI를 「ROI(21)(NEW)」로서 나타내고 있다.
한편, ROI(21)를, 바운딩 박스(20)를 넓힘으로써 생성하는 것은, 피사체인 물체의 움직임(또는 촬상 장치의 피사체 방향의 변화)에 대응하기 위해서이다.
예를 들면, 도 10의 E의 프레임(F2)의 사람의 위치는, 도 10의 A의 프레임(F1)의 사람의 위치보다 오른쪽 방향으로 변화하여 있다. 그러나, ROI(21)가 널찍하게 설정되어 있음으로써, ROI(21) 내의 화소만으로도, 프레임(F2)에 있어서, 대상 사람의 화상을 취득할 수 있을 가능성을 높이고 있다.
한편, 이와 같이 ROI(21)는 다음 프레임에서도 대상 물체를 검출할 수 있도록 바운딩 박스(20)를 넓히지만, 종횡 사이즈(x×y)를 확대(ax×by)할 때의 확대 축척 a, b는, 프레임 레이트에 따른 것으로 하는 것도 생각할 수 있다.
예를 들면, 프레임 레이트가 낮으면, 프레임 간격의 시간이 길어져 사람 등의 물체의 이동량도 커지기 때문에, 프레임 레이트가 높은 경우보다도 ROI(21)를 넓게 하는 것을 생각할 수 있다.
또한, 프레임마다 ROI(21)를 다시 계산하는 것(새로운 ROI(21)(NEW)를 생성하는 것)도, 피사체인 물체의 움직임(또는 촬상 장치의 피사체 방향의 변화)에 대응하기 위해서이다.
사람의 이동에 의해, 도 10의 F의 화상으로부터는 ROI(21) 내의 오른쪽에 치우친 위치에서 사람이 검출된다. 이에, 새롭게 사람의 영역을 둘러싸는 바운딩 박스(20)를 계산하여 ROI(21)를 구함으로써, ROI(21)(NEW)와 같이, 사람의 움직임에 추종해 가도록 ROI를 갱신해 나간다.
연산부(8)는 스텝(S207)에서는, 새로운 ROI(21)(NEW)를 ADC/픽셀 선택기(3)로 전한다. 이에 의해, 다음 프레임은, 새로운 ROI(21)(NEW) 내의 화소만이 AD 변환되게 된다(도 10의 G 참조).
그리고, 마찬가지로 연산부(8)는 스텝(S208)에서, ROI(21)(NEW) 내의 화소의 정보만의 화상 신호를 취득하고, 스텝(S203) 이후의 처리를 행한다.
이러한 처리는 스텝(S205)에서 타겟 클래스가 존재하지 않는다고 판정될 때까지 반복하여 행해진다. 따라서, 예를 들면 ROI(21)의 위치가 피사체로서의 사람에게 맞추어 갱신되어 감으로써, 예를 들면 도 10의 H의 프레임(Fn)과 같이 사람의 위치가 이동하고 있더라도, 도시하지 않은 이전 프레임(F(n-1))에서 계산된 ROI(21)에 기초하여 사람의 영역의 정보를 포함하는 프레임(Fn)의 화상 신호를 취득할 수 있다.
만일, 검출되었던 사람이 프레임을 벗어나(frame out) 검출할 수 없게 되면, 타겟 클래스를 취득할 수 없게 되기 때문에, 연산부(8)는 스텝(S205)으로부터 스텝(S201)으로 되돌아가, 다음 물체 검출 키 프레임 기록 타이밍을 대기한다.
이상과 같은 에어리어 클리핑 해석의 처리가 행해짐으로써, 물체 검출 키 프레임 기록 타이밍의 키 프레임의 화상 신호는 전체 유효 화소의 데이터를 포함하지만, 후속 프레임에서는, 물체 검출에 필요한 화소만이라고 하는, 데이터량이 극히 저감된 화상 신호로 할 수 있고, 목적 물체의 검출에 적합한 화상이 된다. 나아가, 어레이 센서(2)에 있어서의 판독을 행하는 화소 수가 저감되는 것에 의한 소비 전력 삭감도 실현할 수 있다.
한편, 도 9의 처리 예의 경우, 하나의 타겟 클래스의 물체마다 ROI(21)가 설정되고, 각각의 물체에 따른 ROI(21)의 영역이 어레이 센서(2)로부터의 판독 대상이 되지만, 그것은 물체 검출 키 프레임에서 검출된 물체에 한정된다. 예를 들면, 프레임(F2, F3)의 타이밍에서 피사체로서 새로운 물체(예를 들면, 사람)가 나타나더라도, 그 사람의 화상은 취득되지 않을 가능성이 있다.
이는, 예를 들면, 어느 정도의 시간 간격의 물체 검출 키 프레임에서 발견된 물체를 뒤따라가며 해석하고자 하는 등의 사용 목적이라면 문제가 없지만, 예를 들면 피사체로서 출현하는 모든 사람을 감시하는 감시 시스템 등에 적용하는 경우에는, 물체 검출 키 프레임 이외의 프레임에서 출현하는 물체에 대해서도 검출 대상으로 하기를 원한다.
이에, 예를 들면, 타겟 클래스의 물체의 검출이 계속되고 있더라도(즉, 스텝(S205)에서 「YES」의 판정이 계속되는 경우라 하더라도), 소정 시간 간격으로 반드시 스텝(S202)으로 되돌아가, 전체 유효 화소의 화상 신호를 취득하도록 하는 것을 생각할 수 있다.
전체 유효 화소의 화상 신호를 취득하는 시간 간격을 프로세서(11) 등으로부터 지정할 수 있도록 하는 것도 바람직하다.
또는 화상의 주연부를, ROI(21)와는 별도로 항상 AD 변환 대상 영역으로 해두고, 피사체로서 새롭게 물체가 프레임 안으로 들어오면(frame in), 그 물체를 검출하고, 그 물체에 대해서도 ROI(21)를 설정할 수 있도록 하는 것도 생각할 수 있다.
ROI(21)는, 바운딩 박스(20)를 확대함으로써, 사각형의 영역으로 하는 예를 서술하였지만, ROI(21)는 사각형의 영역에 한정되는 것이 아니다.
예를 들면, 시맨틱 세그먼테이션(semantic segmentation), 즉, 화소 레벨에서의 물체 에어리어 검출을 사용하여, 그 타겟 클래스의 물체의 에어리어로부터 ROI(21)를 계산해도 된다.
도 11은 시맨틱 세그먼테이션에 기초하는 ROI(21)를 나타내고 있다. 이것은 물체(예를 들면, 인물)로서의 화소 영역을 넓혀서, 사각형이 아닌 ROI(21)를 설정한 예이다.
예를 들면, 돌기물이 있는 트럭, 자전거를 타고 있는 사람 등, 사각형 ROI(21)에서는 일부가 포함되지 않거나, 또는 지나치게 큰 상태로 되어 버리는 경우가 있다. 화소 레벨의 물체 위치에 따라 사각형이 아닌 ROI(21)를 생성하면, 데이터량 삭감과 필요한 정보 취득을 양립할 수 있는 ROI(21)가 될 가능성을 높게 할 수 있다.
한편, 이상의 제2 실시형태의 에어리어 클리핑과, 제1 실시형태의 분류 화상 적응화 처리를 조합하여 실행함으로써, 데이터량 삭감과 검출 정밀도 향상이라고 하는 효과를 보다 유효하게 얻을 수 있다.
<4. 제3 실시형태: AROI를 사용한 에어리어 클리핑>
도 1의 구성의 센서 장치(1)에 의해 실행할 수 있는 제3 실시형태의 처리로서 어드밴스드 ROI(「AROI」라고도 표기함)를 사용한 에어리어 클리핑을 설명한다.
AROI란, 클래스에 따라 설정된 템플릿을 사용하여 설정되는 ROI이다.
어레이 센서(2)(이미지 센서)에서는 광전 변환에서 소비되는 전력이 가장 크다. 이 때문에, 소비 전력 삭감에는, 가능한 한 광전 변환하는 화소를 적게 하기를 원한다.
또한, 어레이 센서(2)에 의해 얻어지는 화상 신호는, 화상 해석을 위한 것으로서 사람이 보는 것이 아니므로, 사람이 보아서 인식할 수 있거나, 예쁜 화상이거나 할 필요는 없다. 다르게 말하면, 정확하게 물체 검출 가능한 화상인 것이 중요하다.
예를 들면, 상기 제2 실시형태에서는, 검출한 물체에 대해 클래스 식별을 행하는데, 이와 같이 클래스 식별을 행한다고 하면, 클래스에 맞는, 인식을 위한 최소한의 에어리어가 ROI로서 설정되도록 하면 된다. 이에, 도 12, 도 13에 나타내는 바와 같은 AROI(22)를 설정한다.
도 12는 사람의 화상 영역에 대해 「사람」이라고 하는 클래스에 대응하는 템플릿을 사용하여 생성한 AROI(22)를 나타내고 있다. 도면의 격자는 화소(픽셀)이며, 진한 화소가 AROI에 의해 지정되는 화소인 것으로 하고 있다.
예를 들면, 「사람」이라고 하는 클래스에 대응하는 템플릿은, 얼굴의 부분을 고밀도로 필요 화소로 하고, 신체 부분은 필요 화소를 저밀도로 배치하여 전체를 커버할 수 있도록 하는 것으로 된다.
또한, 도 13은 「자동차」라고 하는 클래스에 대응하는 템플릿을 사용하여 생성한 AROI(22)를 나타내고 있다. 이 예에서는, 자동차의 배면 화상에 적용한 것으로, 예를 들면 번호판이 위치하는 부분을 고밀도로 필요 화소로 하고, 그 이외는 필요 화소를 저밀도로 배치하여 전체를 커버할 수 있도록 하는 것으로 된다.
실제로는, 「사람」의 클래스도 세분화하여, 「옆을 보고 있는 사람」, 「정면을 보고 있는 사람」, 「앉아 있는 사람」 등으로서 템플릿을 세분화하거나, 「자동차」의 클래스에 대해서는 「측면 화상」, 「정면 화상」, 「배면 화상」 등으로서 템플릿을 세분화하는 것도 생각할 수 있다.
이와 같이 클래스에 따라 템플릿을 선택하고, 실제 프레임 내의 영역 사이즈로 맞추어 템플릿을 확대 축소하여 AROI(22)를 생성한다.
AROI(22)를 사용하는 처리 예를 도 14에 나타낸다.
한편, 스텝(S201) 내지 스텝(S206)은 도 9와 마찬가지의 처리이기 때문에 중복 설명을 피한다.
연산부(8)(물체 영역 인식부(82))는, 물체 검출 키 프레임 기록 타이밍에서 얻어진 전체 유효 화소의 화상 신호에 있어서 타겟 클래스의 물체가 존재한 경우, 스텝(S206)에서 바운딩 박스(20)를 산출한다.
그리고 연산부(8)(파라미터 선택부(84))는 스텝(S210)에서, 클래스를 바탕으로 미리 산출하여 기억하고 있는 AROI용의 템플릿을 선택한다.
예를 들면, 「사람」이 타겟 클래스이며, 화상 내에 사람이 존재한 경우에는, 「사람」용의 템플릿을 선택한다.
스텝(S211)에서 연산부(8)(물체 영역 인식부(82))는, 바운딩 박스(20)에 기초하여 AROI(22)를 산출한다.
예를 들면, 바운딩 박스(20)의 사이즈에 따라 템플릿의 사이즈를 조정한 것을 AROI(22)로 한다.
그리고 연산부(8)(물체 영역 인식부(82))는, 그 AROI(22)(AROI의 패턴과 영역)를 ADC/픽셀 선택기(3)로 전한다.
이에 따라, ADC/픽셀 선택기(3)에서는, 어레이 센서(2)에 있어서의 AROI(22) 내에 해당하는 화소만 AD 변환하여 출력하게 된다.
연산부(8)는 스텝(S212)에서, AROI(22) 내의 화소만의 정보를 포함하는 다음 프레임의 화상 데이터를 취득한다. 그리고, 취득한 프레임에 대해 스텝(S203, S204)의 처리를 행한다.
이후의 처리의 흐름은 도 9에서 설명한 것과 마찬가지이다.
이와 같이 클래스에 따라 설정된 템플릿을 사용하여 AROI(22)를 생성함으로써, 광전 변환하는 화소를 대폭 적게 하여도 클래스에 따라 물체 검출을 정확하게 행하는 것이 가능한 정보를 얻을 수 있다.
한편, 제2 실시형태에서 언급한 물체 검출 키 프레임 기록 타이밍이 어떤 시간 간격으로 반드시 발생하도록 하는 것, 또는, 화상의 주연부를 항상 AD 변환 대상 영역으로 해두도록 하는 것 등은, 이 제3 실시형태에서도 적용할 수 있다.
또한, 이상의 제3 실시형태의 AROI(22)를 사용한 에어리어 클리핑과, 제1 실시형태의 분류 화상 적응화 처리를 조합하여 실행함으로써, 데이터량 삭감과 검출 정밀도 향상이라고 하는 효과를 보다 유효하게 얻을 수 있다.
<5. 제4 실시형태: 지능형 압축>
도 1의 구성의 센서 장치(1)에 의해 실행할 수 있는 제4 실시형태의 처리로서 지능형 압축의 처리를 설명한다.
지능형 압축이란, 검출의 대상물을 특정하고, 대상물을 저압축률, 대상물 이외를 고압축률로 압축을 가하도록 하는 것이다.
구체예를 도 15에 나타낸다.
도 15의 A는 어떤 1프레임의 화상으로부터 타겟 클래스인 「자동차」의 클래스를 검출한 경우에, 각 자동차의 영역에 대응하여 ROI(21)를 생성한 상태를 나타내고 있다.
도 15의 B는, 이 ROI(21)의 영역을 저압축률, 그 이외를 고압축률로 압축한 화상 신호이다.
이와 같이 함으로써, 물체 검출의 애플리케이션의 대상이 되는 물체의 검출 정밀도를 저하시키지 않고, 해석 데이터량의 삭감이나 통신 데이터량의 저감이 행해지도록 한다.
또한, 센서 장치(1)의 저소비 전력화와 센서 장치(1)를 탑재한 시스템 전체의 물체 검출에 관한 화상 해석의 고속화도 도모한다.
지능형 압축을 행하는 처리 예를 도 16에 나타낸다.
한편, 스텝(S201) 내지 스텝(S206)은 도 9와 마찬가지의 처리이다. 다만, 앞서 설명한 에어리어 클리핑의 경우와는 약간 사정이 다른 점이 있기 때문에 이들 처리도 언급한다.
연산부(8)(키 프레임 선택부(81))는 스텝(S201)에서 물체 검출 키 프레임 기록 타이밍이 되었는지 여부를 판정한다.
물체 검출 키 프레임 기록 타이밍이 되면, 연산부(8)는 스텝(S202)으로 진행하고, 어레이 센서(2)의 전체 유효 화소 영역에서 AD 변환된 화상 데이터를 취득한다.
다만, 지능형 압축의 경우, ADC/픽셀 선택기(3)는, 매 프레임, 어레이 센서(2)로부터의 전체 화소의 신호 판독(AD 변환)을 행하고 있다.
연산부(8)(물체 영역 인식부(82))는 스텝(S201)에서 취득한 화상에 대해 물체의 후보가 되는 위치의 검출을 행한다. 그리고, 스텝(S204)에서 연산부(8)(클래스 식별부(83))는, 후보로서 검출된 물체의 클래스 분류를 행한다.
스텝(S205)에서 연산부(8)는 클래스 식별 결과로서 얻어진 클래스 내에 타겟 클래스가 존재하는지 여부를 확인한다.
연산부(8)(물체 영역 인식부(82))는, 물체 검출 키 프레임 기록 타이밍에서 얻어진 전체 유효 화소의 화상 신호에 있어서 타겟 클래스의 물체가 존재한 경우, 스텝(S206)에서 바운딩 박스(20)를 산출한다.
스텝(S220)에서 연산부(8)(물체 영역 인식부(82))는, 바운딩 박스(20)를 바탕으로 ROI(21)를 산출한다. 이 경우에도, 예를 들면 바운딩 박스(20)를 확대하여 ROI(21)를 설정하는 것을 생각할 수 있다.
연산부(8)(물체 영역 인식부(82))는, 이와 같이 계산한 ROI(21)를 로직부(5)로 전한다.
이에 따라, 로직부(5)에서는 스텝(S221)에서, 어레이 센서(2)로부터 판독된 화상 신호에 대해, ROI(21) 내에 해당하는 화소 영역에 대해서는 저압축률로, 그 이외의 화소 영역은 고압축률로 압축 처리를 행한다.
압축 처리된 화상 신호는, 그 후에 DRAM(6)에 기입하고, 인터페이스부(7)에 의해 프로세서(11)로 전송된다.
프로세서(11)에서는, ROI(21)에서 지정된 필요한 영역은 저압축률로 되어 있어, 정보가 충분히 존재하므로, 정밀한 물체 검출이 가능하게 된다.
연산부(8)의 처리로서는, 스텝(S220)의 이후에, 스텝(S203)으로 되돌아가고, 다음 프레임에 대한 물체 후보의 위치의 검출을 행하고, 스텝(S204)에서 검출 물체의 클래스 식별을 행한다.
이 제4 실시형태에서는, 어레이 센서(2)로부터의 판독은 각 프레임에 있어서 전체 유효 화소로 하는 것이며, 따라서, 스텝(S220, S211)의 이후에 스텝(S203)으로 돌아간 경우에도, 연산부(8)는 스텝(S203)에서, 전체 유효 화소의 범위를 스캔하여 물체의 후보 검출을 행하는 것은 가능하다. 전체 유효 화소의 범위를 스캔하여 물체의 후보 검출을 행함으로써, 키 프레임 기록 타이밍 동안의 새로운 타겟 클래스의 물체의 출현에도 항상 대응할 수 있다.
그러나, 이 경우에, 연산부(8)가 물체의 후보 검출을 ROI(22) 내의 영역에서만 행하도록 하면, 연산부(8)의 처리 부담을 삭감할 수 있게 된다.
연산부(8)는, 타겟 클래스의 존재가 확인됨에 따라, 스텝(S206, S220)에서 ROI(21)를 갱신해 나간다.
따라서, 로직부(5)에 있어서 저압축률로 압축되는 영역도, 각 프레임의 물체의 위치에 따라 갱신되어 가게 된다.
만약 스텝(S205)에서 타겟 클래스의 존재가 없다고 판정된 경우에는, 연산부(8)의 처리는 스텝(S202)으로 되돌아가, 물체 검출 키 프레임 기록 타이밍을 대기한다.
이상의 도 16의 처리에 의해, 해석에 필요한 부분, 즉, 타겟 클래스의 물체가 존재하는 ROI(21) 내가 저압축률로 압축 처리되고, 그 이외는 고압축률로 압축 처리되는 지능형 압축의 처리가 행해지게 된다.
한편, 제2 실시형태에서 언급한 물체 검출 키 프레임 기록 타이밍이 어떤 시간 간격으로 반드시 발생하도록 하는 것, 또는, 시맨틱 세그먼테이션에 기초하는 ROI를 생성하는 것 등은, 이 제4 실시형태에서도 적용할 수 있다.
또한, 이상의 제4 실시형태의 지능형 압축의 처리와, 제1 실시형태의 분류 화상 적응화 처리를 조합하여 실행함으로써, 데이터량 삭감과 검출 정밀도 향상이라고 하는 효과를 보다 유효하게 얻을 수 있다.
<6. 제5 실시형태: 액티브 샘플링>
도 1의 구성의 센서 장치(1)에 의해 실행할 수 있는 제5 실시형태의 처리로서 액티브 샘플링을 설명한다.
액티브 샘플링은, 대상물의 유무로 프레임 레이트를 동적으로 변화시키는 처리를 지칭한다. 대상물의 유무에 따른 시간축 방향의 데이터량의 압축이라고 말할 수 있다. 또한, 센서 장치(1)의 전력 소비의 삭감도 도모할 수 있다.
도 17에 의해 액티브 샘플링의 개요를 설명한다.
이제, 타겟 클래스를 「사람」으로 하여, 촬상 화상으로부터 사람의 검출을 행하는 것으로 한다. 예를 들면, 빌딩 안에서부터 현관을 통해 밖을 감시 카메라로 촬상하고 있는 경우를 상정한다.
도 17의 A는 촬상 화상에 사람이 포함되어 있지 않은 상태를 나타내고 있다. 이러한 경우에는, 프레임 레이트를 낮은 레이트, 예를 들면 1 fps로 한다.
도 17의 B는 촬상 화상 내에 사람이 검출되는 상태를 나타내고 있다. 이러한 경우에는, 프레임 레이트를 높은 레이트, 예를 들면 100 fps로 변경한다.
즉, 검출 대상을 한정하여 프레임 레이트를 동적으로 변화시킴으로써, 특별히 필요하지 않을 때(사람이 검출되지 않을 때)에는 프레임 레이트를 내리고, 필요한 때(사람이 검출되고 있을 때)에는, 프레임 레이트를 올려서 정보량을 조밀하게 한다.
도 18에 액티브 샘플링의 처리 예를 나타낸다.
스텝(S301)에서 연산부(8)(키 프레임 선택부(81))는, 예를 들면 미리 연산부(8) 내에 기억되어 있는 아이들링 모드의 설정에 따라, ADC/픽셀 선택기(3)에 동화상 촬상의 설정을 행한다.
예를 들면, 연산부(8) 내에서 파라미터 선택부(84)에는, 아이들링 모드의 설정과 노멀 모드의 설정이 기억되어 있도록 한다.
액티브 샘플링에는 아이들링 모드와 노멀 모드가 마련되어 있고, 아이들링 모드는, 타겟 클래스의 물체가 촬상 화면 내에 들어와 있는 것이 확정되기 전의 모드이다.
이 아이들링 모드에서는 노멀 모드보다 느린 프레임 레이트로 동화상 촬상이 행해진다.
아이들링 모드는 센서 장치(1)의 외부로부터의 명령으로 개시하는 것을 생각할 수 있다. 또한, 아이들링 모드는, 센서 장치(1)의 외부로부터 아이들링 모드용 데이터 취득 타이밍 간격의 명령에 따르도록 해도 된다. 예를 들면, 60초의 지시가 있었던 경우, 60초의 간격으로 물체 검출 키 프레임 기록 타이밍이 설정된다.
노멀 모드는 통상의 동화상 촬상 모드이다. 예를 들면, 센서 장치(1)의 외부로부터의 노멀 모드용 데이터 취득 타이밍 간격의 명령에 따른다.
통상 아이들링 모드보다 빠른 프레임 레이트로 동화상 촬영이 행해지는 것으로, 예를 들면 0.01초의 지시가 있었던 경우, 0.01초의 간격(100 fps)으로 촬상을 행하는 모드가 된다.
따라서, 스텝(S301)에서 연산부(8)가 ADC/픽셀 선택기(3)에 아이들링 모드를 지시함으로써, 가령 아이들링 모드의 설정이 1 fsp라면, 동화상 촬상은, 예를 들면 1초 간격으로 행해진다.
한편, 아이들링 모드의 설정과 노멀 모드의 설정은, 반드시 연산부(8) 내에 기억되는 것이 아니라, 연산부(8)의 외부 메모리에 기억되어도 된다.
물론, 아이들링 모드 및 노멀 모드의 프레임 레이트는 일례이다.
또한, 아이들링 모드 및 노멀 모드의 설정값은 프로세서(11) 등의 외부 장치로부터 다시쓰기 가능하게 되어 있는 것이 바람직하다.
스텝(S302)에서 연산부(8)(물체 영역 인식부(82))는, 취득한 화상에 대해 물체의 후보가 되는 위치의 검출을 행한다.
스텝(S303)에서 연산부(8)(클래스 식별부(83))는, 후보로서 검출된 물체의 클래스 분류를 행한다.
스텝(S304)에서 연산부(8)는 클래스 식별 결과로서 얻어진 클래스 내에 타겟 클래스가 존재하는지 여부를 확인한다.
타겟 클래스가 존재하지 않으면, 연산부(8)는 스텝(S301, S302, S303)의 처리를 행한다. 즉, 아이들링 모드로서의 다음 프레임의 화상을 취득하고, 마찬가지로 물체의 후보가 되는 위치의 검출이나 클래스 식별을 행한다. 이 경우에는, 예를 들면 1 fps로 촬상이 행해지고 있는 것으로 하면, 1초 후의 화상에 대해 이 처리를 행하게 된다.
예를 들면, 「사람」이 타겟 클래스로 되어 있는 경우에, 식별된 클래스로서 「사람」이 존재하고 있었던 경우, 연산부(8)는 스텝(S304)에서부터 스텝(S305)으로 처리를 진행시킨다.
연산부(8)(키 프레임 선택부(81))는, 기억되어 있는 노멀 모드의 설정에 따라 ADC/픽셀 선택기(3)에 동화상 촬상의 설정을 행하여, 노멀 모드의 촬상을 지시한다.
따라서, 만약 노멀 모드의 설정이 100 fsp라면, 동화상 촬상은, 예를 들면 0.01초 간격으로 행해지게 된다.
이와 같이 노멀 모드로 스위칭한 상태에서 연산부(8)는 스텝(S302, S303)의 처리를 행한다.
그리고 촬상된 화상 내에 타겟 클래스가 존재하고 있는 한, 노멀 모드가 계속되고, 한편, 타겟 클래스가 존재하지 않게 되면 스텝(S301)으로 되돌아가서 아이들링 모드로 스위칭되게 된다.
이상과 같이 액티브 샘플링으로서의 처리가 행해진다. 이에 의해, 특히 타겟 클래스가 존재하지 않는 기간은, 프레임 레이트를 낮추어 데이터량 압축을 행하고, 또한 그것에 의해 소비 전력이 삭감된다.
한편, 연산부(8)는, ADC/픽셀 선택기(3)에 프레임 레이트 변경을 지시하여 프레임 레이트를 가변시키는 것으로 했지만, 로직부(5)에 프레임 레이트 변환을 지시해도 된다.
예를 들면, 어레이 센서(2)로부터의 판독은 항상 100 fps로 행하고, 아이들링 모드의 경우에는, 로직부(5)에 프레임 솎음을 지시한다. 이에 의해 프로세서(11)에의 전송에 관한 데이터량 삭감이 가능하다.
한편, 이러한 액티브 샘플링의 처리와, 제2, 제3, 제4 실시형태를 조합함으로써, 검출 정밀도를 저하시키지 않고, 보다 유효한 데이터량 삭감 효과가 얻어진다.
또한, 액티브 샘플링의 처리와 제1 실시형태의 분류 화상 적응화 처리를 조합함으로써, 유효한 데이터량 삭감에 더하여 검출 정밀도를 향상시킬 수도 있다.
<7. 제6 실시형태: 임계값 설정에 의한 화상 적응화>
제6 실시형태의 처리로서 화상 적응화의 처리를 설명한다. 여기서 설명하는 예는, 제1 실시형태의 분류 화상 적응화의 처리에, 임계값 설정에 따른 파라미터 변경이라는 아이디어를 더 부가한 예로 하고 있다.
여기서 말하는 파라미터의 일례로서는, 로직부(5)에서의 화상 처리에서 사용하는 파라미터가 상정되고, 로직부(5)에서 사용하는 화상 처리의 파라미터가, 예를 들면 센서 장치(1) 내에서 설정된 임계값을 만족하도록 설정(조정 및 변경)된다.
또한, 파라미터로서는, ADC/픽셀 선택기(3)에서의 신호 판독이나 어레이 센서(2)에서의 노광 동작 등의 촬상 처리에 사용하는 파라미터도 상정된다. ADC/픽셀 선택기(3)나 어레이 센서(2)의 촬상 처리 동작의 제어 파라미터 등이, 예를 들면 센서 장치(1) 내에서 설정된 임계값을 만족하도록 설정(조정 및 변경)되도록 한다.
전술한 제1 실시형태에서는, 로직부(5)에서 사용하는 파라미터는 클래스 식별에 따라 선택되었는데, 이 선택된 파라미터가, 임계값에 기초하여 설정(조정 및 변경)되는 것으로 할 수도 있다.
또는, 반드시 클래스 식별에 기초하여 선택된 파라미터에 한정되지 않고, 로직부(5), ADC/픽셀 선택기(3), 또는 어레이 센서(2)에서 사용되는 파라미터라면, 임계값에 기초하여 설정되도록 하는 것을 생각할 수 있다.
이와 같이 임계값에 기초하여 자동적으로 설정되는 촬상 처리에 관한 파라미터나 화상 처리에 관한 파라미터의 구체예를 나타낸다.
예를 들면, 화상 처리에 관한 파라미터는 다음과 같이 예시된다.
·화상의 종횡 비율
·해상도
·색 계조 수(색 수 또는 비트 수)
·콘트라스트 조정값
·샤프니스 조정값
·그레이 레벨 조정값
·감마 보정값
·샘플링 레이트 변환비
화상의 종횡 비율이나 해상도의 파라미터는 ROI(21)에도 반영된다.
색 계조 수, 콘트라스트 조정값, 샤프니스 조정값, 그레이 레벨 조정값, 감마 보정값, 및 해상도는, 화질에 관한 파라미터가 된다.
샘플링 레이트 변환비는 시간 해상도의 파라미터가 된다.
또한, 촬상 처리에 관한 파라미터로서는,
·샘플링 레이트
·해상도(예를 들면, ADC/픽셀 선택기(3)의 판독 시점에서 설정하는 해상도)
·어레이 센서(2)의 셔터 스피드(노광 시간)
등이 있다.
물론, 임계값에 기초하여 자동적으로 설정되는 파라미터는 상기 열거 이외의 파라미터도 있다.
이러한 파라미터의 임계값에 따른 설정은, 예를 들면 프로세서(11)에서 딥 뉴럴 네트워크(DNN: Deep Neural Network)를 사용한 학습에 기초하여 물체 검출을 행하는 경우에, 그 물체 검출의 출력에 대해 실용 가능한 정밀도를 담보하면서, 데이터량 삭감, 처리의 고속화, 저소비 전력화 등을 도모하기 위해 행한다.
즉, 해상도나 색 수 등의 파라미터를 변경하여 촬상 데이터량을 저감하지만, 이에 의하더라도 물체 검출의 정밀도가 필요한 레벨로 유지되도록 한다.
도 19에서 임계값에 기초한 파라미터 설정의 아이디어를 설명한다.
예를 들면, 센서 장치(1)에서 사람을 촬상한 경우에, 그 출력 화상으로서는, 어레이 센서(2)의 모든 화소(모든 유효 화소)의 정보를 가지며, 예를 들면 프레임 레이트로서 60 fps(frames per second)로 풀 컬러의 화상 데이터를 출력한 것으로 한다.
그리고, 그러한 화상 데이터에 대해, 예를 들면 프로세서(11)에서 물체 검출을 행한 경우에, 컨피던스 레이트(confidence rate)(CR)=0.98로 하여, 98%의 비율로 올바르게 사람 검출이 가능한 것으로 한다. 컨피던스 레이트란, 올바르게 물체를 판별하여 검출할 수 있는 확증성의 비율이다.
한편, 해상도를 약간 낮추고, 색의 계조 수를 약간 낮추고, 프레임 레이트를 30 fps로 한 화상 데이터를 출력한 경우, 컨피던스 레이트(CR)=0.92가 된 것으로 한다.
또한, 해상도를 더 낮추고, 색의 계조 수도 더 낮추고, 프레임 레이트를 15 fps로 한 화상 데이터를 출력한 경우, 컨피던스 레이트(CR)=0.81이 된 것으로 한다.
나아가, 해상도를 대폭 낮추고, 색의 계조 수도 대폭 낮추고, 프레임 레이트를 10 fps로 한 화상 데이터를 출력한 경우, 컨피던스 레이트(CR)=0.58이 된 것으로 한다.
이상은 어디까지나 설명상의 예이지만, 이와 같이 해석 대상의 화상 데이터의 해상도나 색 수, 시간 해상도 등의 촬상 또는 화질에 관한 파라미터의 변경을 행함으로써 컨피던스 레이트가 변동한다. 즉, 화상 해석이나 물체 검출의 정밀도가 바뀐다.
그런데, 물체 검출의 컨피던스 레이트는 높은 쪽이 좋지만, 실제로는 항상 최고의 레이트가 요구되는 것은 아니다.
예를 들면, 도 7의 A와 같이 공원을 부감 촬상하는 화상으로부터 대략적으로 사람의 수를 검출하기를 원하는 등의 경우를 생각하면, 그다지 정확성은 요구되지 않는다. 예를 들면, 몇 명, 10명 전후, 20명 전후 등과 같은 검출 결과를 구하는 경우에는, 컨피던스 레이트(CR)=0.6 정도이어도 충분할 수도 있다.
한편, 방범 카메라 등에 의해 사람의 침입 등을 엄격하게 감시하기를 원하는 경우, 컨피던스 레이트(CR)=0.95 정도가 요구되는 경우도 있다.
또한, 낮에는 컨피던스 레이트(CR)=0.70이어도 되지만, 야간에는 컨피던스 레이트(CR)=0.90 정도로 하기를 원하는 등의 요청도 있을 수 있다.
즉, 물체 검출의 정밀도로서 요구되는 컨피던스 레이트(CR)는, 그 검출에 대한 목적, 대상, 기기/애플리케이션 프로그램의 종류, 시기, 지역 등, 다양한 요소에 따라 다르다.
나아가, 컨피던스 레이트는, 프로세서(11)의 해석 능력, 학습 정도에 따라서도 변동하고, 검출 대상, 클래스에 따라서도 변동한다.
이러한 것으로부터, 예를 들면 요구되는 적절한 컨피던스 레이트를 기준으로 임계값을 정하고, 그것에 따라 파라미터를 변경함으로써, 물체 검출 등의 요구에 합치하는 화상 신호의 출력을 행할 수 있다.
이제, 도 19의 예에 있어서, 컨피던스 레이트(CR)=0.80 이상이 요구되는 것으로 한다.
그 경우에, 컨피던스 레이트(CR)로서의 임계값 0.80 이상이 되도록 하는 파라미터를 계산하고, 로직부(5) 등에서 사용되는 파라미터를 설정한다. 특히, 임계값보다 높지만, 비교적 데이터량이 적게 되도록 하는 파라미터를 설정한다.
예를 들면, 도시하는 컨피던스 레이트(CR)=0.81이 되는 해상도, 색 계조 수, 프레임 레이트 등의 파라미터가 설정되도록 한다.
그러면, 예를 들면 컨피던스 레이트(CR)=0.98이 되도록 파라미터를 설정하여 화상 신호를 출력하는 경우에 비해, 대폭 데이터량을 삭감하고, 그러면서도 필요한 물체 검출 정밀도를 유지할 수 있다.
한편, 「임계값」이란, 컨피던스 레이트로서의 요구되는 값으로 생각해도 되지만, 파라미터 조정을 위해 산출하는 임계값이라고 하는 의미에서는, 요구되는 「임계값」으로서의 컨피던스 레이트를 얻기 위한 파라미터 값으로 생각할 수도 있다.
즉, 기술적인 의미에서는, 「파라미터의 임계값을 설정하고, 임계값에 기초하여 설정한 파라미터를 사용한 처리가 행해지도록 한다」라고 하는 처리는, 다음 [1], [2]와 같은 처리 수법이 상정된다.
[1] 사용 양태나 사용 환경에 적합한 컨피던스 레이트 등의 지표값의 임계값을 산출하고, 그 지표값의 임계값을 초과하는 지표값이 얻어지는 파라미터 값으로서 실제로 사용하는 파라미터를 설정한다. 즉, 물체 검출의 지표값의 관점에서 파라미터의 임계값을 설정한다.
[2] 컨피던스 레이트 등의 지표값으로서의 요구되는 값을 얻기 위한 파라미터의 임계값을 산출하고, 그 임계값에 기초하여 실제로 사용하는 파라미터를 설정한다. 즉, 파라미터 자체의 값이라고 하는 관점에서 파라미터의 임계값을 설정한다.
본 실시형태에서는, 예를 들면 컨피던스 레이트를 바탕으로 상기의 [1] 또는 [2]와 같이 임계값을 설정하고, 실제로 사용하는 파라미터는, 화상 데이터량이 가능한 한 적게 되도록 적응화한 파라미터로 한다. 이러한 파라미터를 실시간으로(예를 들면, 촬상 중에 정기적으로 등) 산출하고, 동적으로 파라미터 변경을 행하도록 하는 것이다.
예를 들면, 센서 장치(1)의 용도, 타겟 클래스나 촬상 환경에 맞추어 DNN 처리에 의해 적절한 임계값이나 그에 따른 파라미터를 산출하고, 파라미터 변경을 행함으로써, 애플리케이션 등에 적응한 고속화, 저소비 전력화, 고정밀도화를 행한다.
특히, 제6 실시형태의 것으로서 설명하는 예에서는, 파라미터 조정은 물체 검출의 컨피던스 레이트에 의한 임계값을 마련하고, 그 임계값에 가능한 한 가깝고, 또한 임계값을 하회하지 않도록 하는 파라미터의 설정값을 산출하는 것으로 한다.
또한, 임계값 및 그에 따른 파라미터는 클래스마다 행해지는 것이 적절하다.
도 20의 A는 클래스로서 「사람 얼굴」로 분류되는 화상을 나타내고, 도 20의 B는 클래스로서 「로드 사인(road sign)(표지)」으로 분류되는 화상을 나타내고 있다.
도 20의 A에서는, 사람 얼굴의 경우, 화상 신호를 8비트 RGB 데이터의 16777216색, 데이터량 1.5MB로 한 경우에 컨피던스 레이트(CR)=0.99가 되고, 화상 신호를 8비트 그레이 톤의 256색, 데이터량 540KB로 한 경우에 컨피던스 레이트(CR)=0.75가 되고, 화상 신호를 흑백 2색, 데이터량 180KB로 한 경우에 컨피던스 레이트(CR)=0.58이 되는 것을 나타내고 있다.
예를 들면, 이 경우에 있어서, 사람 얼굴에 대해 임계값을 컨피던스 레이트(CR)=0.74로 한 경우, 우측의 화상은 적절하지 않게 되고, 파라미터 설정으로서는 중앙 화상의 파라미터가 적합하게 된다.
도 20의 B에서는, 로드 사인의 경우, 화상 신호를 8비트 RGB 데이터의 16777216색, 데이터량 1.4MB로 한 경우에 컨피던스 레이트(CR)=0.99가 되고, 화상 신호를 8비트 그레이 톤의 256색, 데이터량 520KB로 한 경우에 컨피던스 레이트(CR)=0.95가 되고, 화상 신호를 흑백 2색, 데이터량 110KB로 한 경우에 컨피던스 레이트(CR)=0.88이 되는 것을 나타내고 있다.
예를 들면, 이 경우에 있어서, 로드 사인에 대해 임계값을 컨피던스 레이트(CR)=0.85로 한 경우, 어떠한 화상도 적절하다. 파라미터 설정으로서는 우측의 화상 파라미터가 적합하게 된다.
예를 들면, 이와 같이, 물체의 클래스에 따라서도, 화상 신호의 품질에 대한 검출 정밀도나 요구되는 정밀도는 다르기 때문에, 클래스에 따른 임계값 설정이나 파라미터 변경을 행하는 것이 적절하게 된다.
이하, 제6 실시형태의 구체예를 설명한다.
먼저, 도 21에, 센서 장치(1)의 구성예를 나타낸다. 다만, 도 1과 같은 구성요소에 대해서는 동일 부호를 붙이고, 중복 설명을 피한다.
이 도 21의 구성은, 도 1과 비교하여, 예를 들면 AI 프로세서로서 구성되는 연산부(8) 내의 연산 기능으로서, 임계값 설정부(85)가 설치되어 있는 점이 다르다.
임계값 설정부(85)는 DNN 엔진으로서의 기능을 가지며, 로직부(5)의 화상 처리 또는 어레이 센서(2)에 의한 촬상에 관한 촬상 처리(어레이 센서(2) 및 ADC/픽셀 선택기(3)의 처리)에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터의 임계값을 설정하는 처리를 행한다.
또한, 임계값 설정부(85)는 로직부(5), 어레이 센서(2), ADC/픽셀 선택기(3)의 전부 또는 일부에 있어서, 임계값에 기초하여 변경된 파라미터를 사용한 처리가 행해지도록 한다.
구체적으로는, 임계값 설정부(85)는, 예를 들면 로직부(5)에서 화상 처리에 사용하는 파라미터를, 임계값에 기초하여 변경하고, 변경한 파라미터를 로직부(5)에 설정한다.
또는, 임계값 설정부(85)는, 예를 들면 어레이 센서(2)에서의 노광 동작이나 ADC/픽셀 선택기(3)의 판독 처리, AD 변환 처리 등의 촬상 처리에 사용하는 파라미터를, 임계값에 기초하여 변경하고, 변경한 파라미터를 어레이 센서(2)나 ADC/픽셀 선택기(3)에 설정한다.
이러한 센서 장치(1)의 연산부(8)의 처리 예를 도 22에 나타낸다. 도 22는 도 5의 분류 화상 적응화의 처리에, 상기의 임계값 설정부(85)의 처리를 더한 예로 하고 있다. 도 22에 있어서 도 5와 동일한 처리는 동일한 스텝 번호를 붙여 설명을 생략한다.
이 도 22에서는, 도 5의 처리에 임계값 설정부(85)에 의한 처리로서의 스텝(S150, S151)이 추가된 것으로 하고 있다.
스텝(S150)에서 연산부(8)는, 임계값 산출 타이밍인지 여부를 판정하고, 임계값 산출 타이밍이라면 스텝(S151)으로 진행하고, 임계값 산출 타이밍이 아니면 스텝(S101)으로 진행한다.
임계값 산출 타이밍은, 예를 들면 이하의 타이밍으로 한다.
a. 소정의 시간 간격마다: 예를 들면, 촬상 개시로부터 1시간 간격마다
b. 소정의 설정 시각마다: 예를 들면, 시각 0:00am마다
c. 소정의 타겟 클래스의 출현 횟수마다: 예를 들면, 타겟 클래스가 1000회 출현할 때마다
d. 소정의 타겟 클래스 촬상 시간마다: 예를 들면, 타겟 클래스가 촬상되고 있는 시간이 5시간 경과할 때마다
e. 외부로부터의 명령에 의한 타이밍: 예를 들면, 프로세서(11) 등, 센서 장치(1)가 탑재되어 있는 디바이스/기기 측으로부터의 지시
예를 들면, 이들 타이밍 등이 스텝(S150)에서 판정되고, 임계값 산출 타이밍이 되면, 연산부(8)는 스텝(S151)에서 임계값 산출 방침에 따라 임계값 산출을 행한다. 즉, 임계값을 정하여 임계값에 따른 파라미터를 설정한다.
이 임계값 산출 방침(임계값)은 임계값을 산출할 때에 주목하는 촬상 처리 또는 화상 처리의 파라미터의 종류에 따라 몇 가지의 방침으로 나뉘어져 있고, 애플리케이션에 따라 다르다. 이하에 그 예를 든다.
·컨피던스 레이트의 하강 곡선의 변곡점을 사용한다
해상도를 저하시켜 가면 데이터 사이즈는 줄어들고, 계산 비용도 떨어지는 장점이 있지만, 일반적으로 반대로 컨피던스 레이트는 하강해 간다.
도 23의 A에는 횡축에 해상도, 종축에 컨피던스 레이트를 나타내고 있다.
도시한 바와 같이, 컨피던스 레이트의 하강은, 어떤 해상도(변곡점) 이하의 저해상도가 되면 크게 하강한다. 이에, 예를 들면 해상도를 변경하면서 컨피던스 레이트와 해상도의 관계의 곡선의 변곡점을 구한다. 그 변곡점 또는 변곡점 부근을 임계값으로 생각하고 해상도를 저하시키도록 하는 파라미터 설정을 행한다.
·컨피던스 레이트의 최대값을 사용한다
물체 검출의 클래스 분류는 그 클래스에 따라, 반드시 색 수가 많은 쪽이 컨피던스 레이트가 높은 것은 아니고, 대상이 되는 클래스에 따라, 컨피던스 레이트가 최대가 되는 최적의 색 수가 있다.
도 23의 B에는 횡축에 색 계조의 수, 종축에 컨피던스 레이트를 나타내고 있다.
도시한 바와 같이, 컨피던스 레이트의 피크가 관측되는 경우, 그 최대값에 기초하여 임계값을 계산한다. 예를 들면, 최대값(컨피던스 레이트와 색 계조 수의 관계의 곡선의 피크)을 임계값으로 생각하거나, 또는 최대값에 가까운 소정 범위(소정%의 컨피던스 레이트를 저하시킨 값 등)를 임계값으로서 생각한다. 그리고 임계값에 따라 색 계조 수의 파라미터를 설정한다.
·배터리 잔량을 사용한다
배터리 잔량을 바탕으로 N시간 촬상이 가능한 파라미터 설정을 구하고, 그 중에서 컨피던스 레이트가 가장 높게 되도록(또는 소정 값 이상이 되도록) 파라미터를 설정한다.
예를 들면, 가능한 한 촬상 시간이 길게 얻어지도록, 컨피던스 레이트 등의 임계값을 배터리 잔량에 따라 저하시키고, 그 컨피던스 레이트에 따른 파라미터 설정이 행해지도록 하는 것을 생각할 수 있다.
·오브젝트 트래킹(object tracking)을 유지할 수 있는 시간 해상도를 사용한다
오브젝트 트래킹이란, 연속하는 화상 신호의 프레임에 있어서 특정한 검출 물체(오브젝트)를, 프레임 진행 방향에서 추적 인식하는 것이다.
일반적으로, 화상 신호의 시간 해상도를 낮추면 오브젝트 트래킹에 관한 계산 비용이 높아진다.
이 오브젝트 트래킹의 유지가 가능한 파라미터라고 하는 것을 임계값으로 하고, 오브젝트 트래킹의 저계산 비용화 우선으로 시간 해상도나 다른 파라미터를 결정한다.
예를 들면, 이상의 예와 같은 방침 중 어느 하나를 채용하여, 소정의 알고리즘으로 임계값 산출을 행한다. 연산부(8)의 임계값 산출 처리의 예를 도 24에 나타낸다.
이 도 24의 연산부(8)의 처리는 도 21에 나타낸 물체 영역 인식부(82), 클래스 식별부(83), 임계값 설정부(85)로서의 각 기능에 의해 실행되는 처리이다.
연산부(8)는 스텝(S160)으로서, 어레이 센서(2)로부터 1프레임 단위의 화상 신호를 취득한다.
스텝(S161)에서 연산부(8)(물체 영역 인식부(82))는, 취득한 프레임 내의 물체의 후보가 되는 위치의 검출을 행한다.
즉, 연산부(8)는 프레임 화상에 있어서 검출해야 할 물체의 후보를 탐색하고, 하나 또는 복수의 후보의 위치(화상 내의 위치 좌표)를 구한다.
스텝(S162)에서 연산부(8)(클래스 식별부(83))는, 검출 물체의 클래스 분류를 행한다. 즉, 물체의 후보의 각각에 대해 클래스 식별을 행하여, 분류한다.
스텝(S163)에서 연산부(8)는 클래스 식별 결과로서 얻어진 클래스 내에 타겟 클래스가 존재하는지 여부를 확인한다.
타겟 클래스는, 전술한 바와 같이, 예를 들면 프로세서(11)로부터 설정된 클래스이다. 즉, 프로세서(11)에서의 물체 검출의 대상으로 되어 있는 클래스가 상정된다.
타겟 클래스가 존재하지 않으면, 연산부(8)는 스텝(S160)으로 되돌아가, 다음 프레임의 화상 데이터의 취득을 행하게 된다.
타겟 클래스가 존재한 경우, 연산부(8)는 스텝(S163)에서부터 스텝(S164)으로 처리를 진행한다.
스텝(S164)으로 진행한 경우, 연산부(8)(물체 영역 인식부(82))는 클래스로 분류된 물체 에어리어를 둘러싸는 정확한 위치 좌표(바운딩 박스(20))의 산출을 행한다. 바운딩 박스(20)에 대해서는 도 6의 F, 도 6의 G 등을 사용하여 설명한 바와 같다.
스텝(S165)에서 연산부(8)(임계값 설정부(85))는, 바운딩 박스(20)로 둘러싸인 타겟 클래스에 대한, 촬상 처리 또는 화상 처리에서 사용하는 파라미터를, 미리 설정된 임계값 산출 방침에 따라 변경하면서 임계값 및 파라미터를 산출한다.
스텝(S166)에서 연산부(8)(임계값 설정부(85))는, 스텝(S165)에서 산출한 임계값, 파라미터, 타겟 클래스, 및 임계값 산출 방침의 정보가 대응지어져 기록되도록 한다.
예를 들면, 연산부(8) 내부의 기록 영역에 기록시키거나, 메모리(6)의 소정 영역에 기록시키거나, 또는 프로세서(11)로 전송하여 기록시킨다.
이에 의해 타겟 클래스에 따른 임계값이나 파라미터가 설정된다.
도 22의 스텝(S151)에서, 예를 들면 이상과 같이 임계값 및 파라미터가 설정된다. 따라서, 임계값 산출 타이밍이 될 때마다, 어떤 타겟 클래스에 대한 파라미터 세트가 변경되게 된다.
예를 들면, 사람이 타겟 클래스라면, 사람에 대응하는 파라미터 세트의 전부 또는 일부의 파라미터가 임계값에 따라 변경된다.
도 22의 스텝(S101)에서부터 스텝(S107)까지는 도 5와 마찬가지이기 때문에, 이 경우, 타겟 클래스에 따라 파라미터 세트가 선택되게 된다. 그리고, 스텝(S107)에서 파라미터 세트가 로직부(5)에 설정된다.
이 로직부(5)에 세트되는 파라미터 세트는, 타겟 클래스에 적응하는 파라미터 세트이지만, 상기 스텝(S151)의 처리에서 산출된 임계값에 기초하여 변경된 파라미터 세트가 된다.
연산부(8)(임계값 설정부(85))는, 이와 같이 로직부(5)에서 사용되는 파라미터가 변경되도록, 필요한 처리, 예를 들면 파라미터의 로직부(5)로의 전송 또는 변경 지시를 행하게 된다.
이에 의해, 화상 처리나 촬상 처리에 관한 파라미터가, 임계값에 기초하여 가능한 한 화상 데이터량이 적어지는 값으로 된다.
따라서, 인터페이스부(7)로부터 출력되는 화상 신호는, 프로세서(11)에 의해 필요로 되는 물체 검출의 정밀도를 유지할 수 있는 화질 등이고, 그러면서도 데이터량이 적은 것으로 할 수 있다.
한편, 이상의 도 22의 처리 예는 도 5의 분류 화상 적응화의 처리에 임계값 설정에 기초한 파라미터 변경의 아이디어를 더한 것이지만, 반드시 분류 화상 적응화의 처리와 조합하지 않아도 된다.
예를 들면, 스텝(S150, S151, S107, S108)만의 처리 예(도 22에 있어서 스텝(S101 내지 S107)을 없앤 처리 예)도 생각할 수 있다.
즉, 로직부(5)에서 화상 처리에 사용하는 파라미터나, 또는 어레이 센서(2)나 ADC/픽셀 선택기(3)에서 이용되는 촬상 처리에 사용하는 파라미터가, 스텝(S151)의 임계값 산출에 기초하여 설정된다.
그리고, 스텝(S107)의 시점에서는, 임계값에 따라 설정된 파라미터가 로직부(5)나 어레이 센서(2)나 ADC/픽셀 선택기(3)에 설정되도록 한다.
즉, 연산부(8)(임계값 설정부(85))는, 임계값에 따라 설정한 파라미터를 로직부(5), 어레이 센서(2), ADC/픽셀 선택기(3)의 일부 또는 전부로 전송하거나, 또는 변경 지시를 행하도록 한다.
이 경우, 클래스에 따른 파라미터 세트를 사용한다고 하는 아이디어에 따르지 않고, 예를 들면 로직부(5), 어레이 센서(2), ADC/픽셀 선택기(3)에 있어서, 예를 들면 디폴트로 설정된 파라미터를, 순차적으로, 임계값 산출에 기초하여 변경해 가는 것과 같은 처리가 실현되게 된다.
임계값 설정부(85)를 갖는 구성은 도 21에 한정되지 않고, 예를 들면 도 25, 도 26과 같은 구성예도 생각할 수 있다.
도 25는, 단말 장치(100)로서, 센서 장치(1)와는 별체로 연산부(8)가 설치되어 있는 구성예이다. 한편, 단말 장치(100)로서는, 정보 처리 단말, 촬상 장치 단말 등의 각종의 것을 생각할 수 있다.
연산부(8)는, 센서 장치(1)와는 다른 칩으로 되어 단말 장치(100) 내에 설치되고, 센서 장치(1)와 인터페이스부(7)를 통해 통신 가능하게 된다.
그리고 연산부(8)는 임계값 설정을 위한 DNN 엔진이 되는 임계값 설정부(85)를 구비한다.
이에 의해, 도 25의 연산부(8)도 상기 도 22의 경우와 마찬가지의 처리를 행할 수 있다.
한편, 이 도 25와 같은 구성예는, 제1 내지 제5 실시형태의 도 1의 구성예에도 적용할 수 있다. 연산부(8)는 센서 장치(1)와 별체이어도 된다.
도 26의 구성예는, 임계값 설정을 위한 DNN 엔진이 되는 임계값 산출부(85)가 센서 장치(1)나 연산부(8)와는 독립된 프로세서 등에 의해 형성되는 경우의 예이다.
예를 들면, 단말 장치(100)로서, 센서 장치(1)(연산부(8)를 포함함), 프로세서(11), 외부 센서(12), 및 임계값 설정부(85)를 갖는 구성이다.
이 경우에도, 임계값 설정부(85)는, 센서 장치(1)와는 인터페이스부(7)를 통해 통신 가능하게 되어, 연산부(8)와 연계하여 상기 도 22와 마찬가지의 처리를 행할 수 있다.
나아가, 도시는 생략하지만, 도 25와 같이 센서 장치(1)와 연산부(8)가 별체인 구성에 있어서, 또한 임계값 설정부(85)가 별개의 프로세서 등에 의해 구성되어도 된다.
한편, 키 프레임 선택부(81), 물체 영역 인식부(82), 클래스 식별부(83), 파라미터 선택부(84) 등에 대해서도, 임계값 설정부(85)와 마찬가지로, 센서 장치(1)의 외부 또는 연산부(8)의 외부에 배치되는 구성으로 하는 것도 생각할 수 있다. 이 점은 도 1의 구성의 변형예로서도 적용할 수 있다.
<8. 제7 실시형태: 액티브 에어리어 클리핑>
제7 실시형태로서, 전술한 제2 실시형태의 ROI를 사용하여, 더 효율적인 처리를 실현하는 예를 설명한다.
한편, 이하의 제7 실시형태의 처리는, 도 1, 도 21, 도 25, 및 도 26 중 어느 하나의 구성이어도 적용할 수 있다.
전술한 제2 실시형태에서는, 도 7, 도 8에서 예시한 바와 같이 검출 대상의 물체에 대해 ROI(21)를 설정하고, 어레이 센서(2)로부터, ROI(21)로 된 영역 내의 화소만을 판독하도록 하는 예를 서술하였다.
여기서, ROI(21)로 되는 영역이, 화상 내의 특정한 영역에 집중되는 경우가 있는 것에 주목한다.
도 27의 A는, 예를 들면 건물 내에서의 감시 카메라의 화상을 예로 들고 있다. 사람을 검출 대상으로 하여 ROI(21)를 설정하고 있는 것으로 한다. 도면에서는, 과거 소정 기간 내에 설정된 ROI(21)의 근원이 된 바운딩 박스(20)의 화상 내에서의 위치를 나타내고 있다.
예를 들면, 이 경우, 과거의 소정 기간 내에서는, 바운딩 박스(20)(및 ROI(20))의 설정 위치는, 화상 내에서 플로어에 가까운 영역으로 되어 있다.
다르게 말하면, 화상 내의 천정 가까이의 영역에는 사람이 나타나지 않기 때문에, 천정 부근의 화상 영역에 대해서는 사람의 검출 처리를 행하지 않아도 된다고 말할 수 있다.
이에, 예를 들면 도 27의 B에 나타내는 바와 같이 검출 대상의 「사람」이 나타나고 있는 영역, 즉, 과거 소정 기간에 바운딩 박스(20)가 설정된 실적이 있는 영역을 액티브 에어리어(RA)라고 하고, 검출 대상의 「사람」이 나타나고 있지 않은 영역, 즉, 과거 소정 기간에 바운딩 박스(20)가 설정되어 있지 않은 영역을 비액티브 에어리어(DA)로 한다.
도 28의 A는, 예를 들면 고속도로 상에서 차를 검출 대상으로 하여 감시하는 감시 카메라의 화상 예를 나타내고 있고, 과거 소정 기간에 설정된 바운딩 박스(20)의 위치를 나타내고 있다.
이 경우에도, 차는 노면 부근에 나타나게 되기 때문에, 도 27의 B와 같이 액티브 에어리어(RA)와 비액티브 에어리어(DA)를 설정할 수 있게 된다.
이상의 도 27의 B, 도 28B의 예와 같이 액티브 에어리어(RA)를 설정하고, 어레이 센서(2)에 의한 촬상 화소에 있어서의 액티브 에어리어(RA)의 검출 신호로부터 물체 검출을 행하도록 한다. 그리고 물체의 검출에 기초하여 생성한 ROI(21)를, 제2 실시형태와 마찬가지로, 신호 처리부(30)에 대해, 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역으로서 지시한다.
즉, 물체 검출 키 프레임에 대해, 전체 화면 스캔이 아니라 물체 검출의 이력 정보에 기초하여 부분적으로 광전 변환을 행하여 물체 검출을 행하도록 한다.
한편, 물체 검출 키 프레임이란, 제2 실시형태의 처리에서 물체 검출을 위해 어레이 센서(2)의 전체 유효 화소 영역에서 정보 취득을 행하는 것으로 한 프레임이다. 이 키 프레임에 있어서 액티브 에어리어(RA)의 화소 영역에서만 정보 취득을 행하는 것이 제7 실시형태의 처리가 된다.
도 29의 연산부(8)의 처리 예를 제시하고 있다. 한편, 도 9와 동일한 처리에 대해서는 동일 스텝 번호를 붙이고 있다.
연산부(8)는 스텝(S250)에서, 키 프레임에 대한 액티브 에어리어의 산출 타이밍이 되었는지 여부를 판정하고, 산출 타이밍이라면 스텝(S161)으로 진행하고, 임계값 산출 타이밍이 아니면 스텝(S201)으로 진행한다.
키 프레임에 대해 액티브 에어리어(RA)의 산출 타이밍은, 예를 들면 다음과 같이 하는 것을 생각할 수 있다.
a. 소정의 시간 간격마다: 예를 들면, 촬상 시작으로부터 1시간마다
b. 소정의 설정 시각마다: 예를 들면, 시각 0:00am마다
c. 소정의 타겟 클래스의 출현 횟수마다: 예를 들면, 타겟 클래스가 1000회 출현할 때마다
d. 소정의 타겟 클래스 촬영 시간마다: 예를 들면, 타겟 클래스가 촬상되고 있는 시간이 5시간이 될 때마다
e. 외부로부터의 명령에 의한 타이밍: 예를 들면, 프로세서(11) 등, 센서 장치(1)가 탑재되어 있는 디바이스/기기 측으로부터의 지시
산출 타이밍이 된 것으로 하여 스텝(S161)으로 진행한 경우, 연산부(8)는 키 프레임에 대한 액티브 에어리어(RA)의 산출을 행한다.
키 프레임에 대한 액티브 에어리어(RA)의 산출 처리 예를 도 30에 나타낸다
연산부(8)(물체 영역 인식부(82))는 스텝(S271)에서, 과거의 소정 기간 내에 타겟 클래스의 바운딩 박스(20)가 출현한 어레이 센서(2) 상의 출현 에어리어의 픽셀을 산출한다.
이 경우, 출현한 각각의 바운딩 박스(20) 내의 모든 픽셀은, 출현 에어리어의 픽셀이 되는데, 출현한 모든 바운딩 박스(20)를 포락적(包絡)으로 둘러싸도록 하는 범위를 설정하고, 그 범위의 전체 픽셀을 출현 에어리어의 픽셀로 하면 된다.
나아가, 출현한 모든 바운딩 박스(20)를 포락적으로 둘러싸도록 하는 범위를 주위 방향으로 넓혀, 그 범위의 전체 픽셀을 출현 에어리어의 픽셀로 해도 된다.
이와 같이 산출된 바운딩 박스(20)의 출현 에어리어의 모두를 포함하는 픽셀 범위가 액티브 에어리어(RA)가 된다.
스텝(S272)에서 연산부(8)(물체 영역 인식부(82))는, 산출한 픽셀 에어리어를 클래스명과 함께, 키 프레임에 대한 액티브 에어리어(RA)로서 기록한다. 예를 들면, 연산부(8) 내부의 기록 영역에 기록시키거나, 메모리(6)의 소정 영역에 기록시키거나, 또는 프로세서(11)에 전송하여 기록시킨다.
이에 의해, 타겟 클래스에 따른 액티브 에어리어(RA)가 설정된다.
도 29의 스텝(S201)에서는, 연산부(8)(키 프레임 선택부(81))는 스텝(S201)에서 물체 검출 키 프레임 기록 타이밍이 되었는지 여부를 판정한다.
제2 실시형태(도 9)와 마찬가지로, 물체 검출 키 프레임 기록 타이밍이란, 물체 검출을 위해 어레이 센서(2)로부터 정보 취득을 행하는 타이밍이다.
물체 검출 키 프레임 기록 타이밍으로서는, 예를 들면 프로세서(11) 등의 센서 장치(1)의 외부로부터의 명령에 의해 판정하도록 해도 된다. 예를 들면, 60초의 지시에 따라, 60초의 간격으로 물체 검출 키 프레임 기록 타이밍으로 판정하는 것이 상정된다.
물체 검출 키 프레임 기록 타이밍이 되면, 연산부(8)는 스텝(S252)으로 진행하고, 어레이 센서(2)의 액티브 에어리어(RA)의 화소에 대해 AD 변환된 화상 데이터를 취득한다. 예를 들면, ADC/픽셀 선택기(3)에, 액티브 에어리어(RA)를 대상으로 하여 어레이 센서(2)로부터의 1프레임의 화상 신호를 출력시킨다.
스텝(S203)에서 연산부(8)(물체 영역 인식부(82))는, 취득한 화상에 대해 물체의 후보가 되는 위치의 검출을 행한다. 이 스텝(S203 내지 S208)은 도 9와 마찬가지이다.
이상의 도 29의 처리에 의하면, 스텝(S203)의 물체 검출을, 1프레임의 전체 유효 화소 영역이 아니라, 액티브 에어리어(RA)만으로 행할 수 있다. 그리고 액티브 에어리어(RA)는 타겟 클래스의 물체 검출이 있을 수 있는 영역이다. 다르게 말하면, 액티브 에어리어(RA) 이외는, 타겟 클래스의 물체 검출이 거의 있을 수 없는 영역이다.
따라서, 물체 검출 키 프레임의 판독 화소 수의 삭감, 검출 범위의 축소에 의해, 처리의 효율화, 소비 전력 삭감 등을 실현할 수 있다.
한편, 이상의 예에서는, 바운딩 박스(20)의 이력에 기초하여 액티브 에어리어(RA)를 설정하는 것으로 했지만, ROI(21)의 이력에 기초하여 액티브 에어리어(RA)를 설정해도 된다. 그 경우, 프레임마다 이동하는 ROI(도 10에서 설명한 ROI(21)(NEW))의 화소 위치의 이력을 포함시키는 것도 생각할 수 있다.
<9. 제8 실시형태: 임계값 설정과 AROI를 사용한 에어리어 클리핑>
제8 실시형태로서, 제3 실시형태로서 나타낸 AROI(22)를 사용한 에어리어 클리핑을 더욱 효율화하는 처리 예를 설명한다. 한편, 이 제8 실시형태의 처리는, 도 21, 도 25, 및 도 26 중 어느 하나의 구성에 있어서 실시할 수 있다.
이 제8 실시형태는, 템플릿을 사용한 AROI(22)를 사용하는 경우에, 검출하는 대상의 물체(클래스)나 부위 등에 대해, 설정한 임계값에 기초하여 파라미터를 설정하는 것이다. 즉, 제6 실시형태의 임계값의 아이디어를 가져와, DNN이 산출하는 물체 검출의 정답률을 바탕으로 임계값을 결정하고, 파라미터를 설정한다.
예를 들면, AROI(22) 내의 주목 영역의 해상도 분포를 컨피던스 레이트를 사용하여 설정한 임계값에 따라 정한다.
도 31에, 예를 모식적으로 나타내고 있다. 사람을 타겟 클래스로 한 경우와, 얼굴을 타겟 클래스로 한 경우에 대해 생각한다.
제1 해상도 > 제2 해상도 > 제3 해상도인 것으로 한다.
얼굴 검출로서의 컨피던스 레이트(CR)는, 제1 해상도에서 0.95, 제2 해상도에서 0.86, 제3 해상도에서 0.66인 것으로 한다.
사람(신체) 검출로서의 컨피던스 레이트(CR)는, 제1 해상도에서 0.98, 제2 해상도에서 0.81, 제3 해상도에서 0.65인 것으로 한다.
얼굴 검출로서의 임계값(thF)을 0.85로 한 경우, 화상 데이터량이 가능한 한 적게 되도록 적응화한 파라미터로서 제2 해상도를 선택하고, 템플릿 내의 화소에 대한 화상 처리를 행한다.
또한, 사람 검출로서의 임계값(thP)을 0.80로 한 경우, 화상 데이터량이 가능한 한 적게 되도록 적응화한 파라미터로서 제2 해상도를 선택하고, 템플릿 내의 화소에 대한 화상 처리를 행한다.
이 경우에는 모두 제2 해상도가 바람직한 것으로 되지만, 경우에 따라서는 얼굴 검출의 경우에는 임계값(thF)이 0.94로서 제1 해상도가 설정되거나, 사람 검출에 대해서는 임계값(thP)이 0.60으로 설정되어 제3 해상도가 설정된다고 하는 것도 상정된다.
즉, AROI(22)를 사용하는 경우에, 타겟 클래스마다 임계값을 설정하고, AROI(22) 내의 화소에 대한 화상 처리나 판독 처리 등의 파라미터를 설정한다.
연산부(8)의 처리 예를 도 32에 나타낸다.
도 32의 스텝(S250, S251)은 도 29의 스텝(S250, S251)과 마찬가지이며, 연산부(8)는 키 프레임의 액티브 에어리어(RA)의 검출 타이밍에서, 액티브 에어리어(RA)의 산출(도 30의 처리)을 행한다.
스텝(S260, S261)은, 도 22의 스텝(S150, S151)과 마찬가지이다. 즉, 스텝(S260)에서 연산부(8)(임계값 설정부(85))는, 임계값 산출 타이밍인지 여부를 판정하고, 임계값 산출 타이밍이라면 스텝(S261)에서 임계값 산출(도 24의 처리)을 행한다.
이 경우의 도 24의 임계값 산출 처리로서는, 연산부(8)(물체 영역 인식부(82))는 전술한 바와 마찬가지로 스텝(S160 내지 S164)을 행한다. 그리고 연산부(8)(임계값 설정부(85))는 스텝(S165)에서, 바운딩 박스(20)로 둘러싸인 타겟 클래스에 대해 해상도를 변경하면서, 템플릿으로서의 AROI 패턴에 해당하는 화소 영역의 데이터로부터의 컨피던스 레이트에 기초하는 임계값을 산출하고, 그 임계값에 기초하여 파라미터를 설정한다.
이 경우, 클래스에 따른 템플릿으로서의 AROI 패턴에 대해, 임계값에 따라 파라미터가 설정되도록 한다. 예를 들면, AROI 패턴 상의 영역에 대한 해상도가 설정된다.
그리고, 스텝(S166)에서, 임계값, 타겟 클래스, AROI 패턴과 필요한 파라미터, 및 임계값 산출 방침의 정보가 대응지어져 기록된다. 예를 들면, 연산부(8) 내부의 기록 영역에 기록시키거나, 메모리(6)의 소정 영역에 기록시키거나, 또는 프로세서(11)에 전송하여 기록시킨다.
도 32의 스텝(S201)에서는, 연산부(8)는 물체 검출 키 프레임 기록 타이밍이 되었는지 여부를 판정하고, 물체 검출 키 프레임 기록 타이밍이 되면, 연산부(8)는 스텝(S252)으로 진행하고, 어레이 센서(2)의 액티브 에어리어(RA)의 화소에 대해 AD 변환된 화상 데이터를 취득한다. 예를 들면, ADC/픽셀 선택기(3)에, 액티브 에어리어(RA)를 대상으로 하여 어레이 센서(2)로부터의 1프레임의 화상 신호를 출력시킨다.
스텝(S203)에서 연산부(8)(물체 영역 인식부(82))는, 취득한 화상에 대해 물체의 후보가 되는 위치의 검출을 행한다. 이 스텝(S203 내지 S206)은 도 9와 마찬가지이다.
스텝(S206)에서 바운딩 박스(20)를 산출하면, 연산부(8)(파라미터 선택부(84))는 스텝(S262)에서, 임계값을 바탕으로 산출되어 기록되어 있는 AROI 패턴을 선택한다.
스텝(S211)에서 연산부(8)(물체 영역 인식부(82))는, 바운딩 박스(20)에 기초하여 실제 AROI(22)를 산출한다. 즉, 선택한 AROI 패턴에 대응하는 실제 화소 영역을 구한다. 예를 들면, 바운딩 박스(20)의 사이즈에 따라 템플릿의 사이즈를 조정한 것을 AROI(22)로 한다.
그리고, 연산부(8)(물체 영역 인식부(82))는, 그 AROI(22)(AROI의 패턴과 영역)를 ADC/픽셀 선택기(3)로 전한다.
이에 따라, ADC/픽셀 선택기(3)에서는, 어레이 센서(2)에 있어서의 AROI(22) 내에 해당하는 화소만 AD 변환하여 출력하게 된다.
연산부(8)는 스텝(S212)에서, AROI(22) 내의 화소만의 정보를 포함하는 다음 프레임의 화상 데이터를 취득한다. 그리고, 취득한 프레임에 대해 스텝(S203, S204)의 처리를 행한다.
이와 같이, AROI(22)에 대해서도, 예를 들면 컨피던스 레이트에 따른 파라미터 설정을 행하고, 해상도 등의 파라미터를 설정함으로써, 물체 검출 정밀도를 유지하면서 촬상 처리나 화상 처리를 효율화할 수 있다.
<10. 제9 실시형태: 임계값 설정에 의한 액티브 샘플링>
제9 실시형태로서, 제5 실시형태에서 설명한 액티브 샘플링의 수법에 있어서, 시간 해상도를 DNN이 산출하는 물체 검출의 정답률을 바탕으로 결정하는 수법을 더하는 예를 설명한다.
즉, 타겟 클래스의 단위 시간당의 평균 이동량을 바탕으로 프레임 레이트를 동적으로 변화시키는 처리를 행하도록 한다.
한편, 이 제9 실시형태 처리는, 도 21, 도 25, 및 도 26 중 어느 하나의 구성에 있어서 실시할 수 있다.
전술한 제5 실시형태에서는, 노멀 모드와 아이들링 모드를 준비하고, 촬상 화상 내에 타겟 클래스의 존재가 검출되지 않는 기간은 아이들링 모드로서 낮은 프레임 레이트로 한다. 그리고, 타겟 클래스의 존재가 확인되면 노멀 모드로서 프레임 레이트를 올리고, 정보량을 조밀하게 한다.
제9 실시형태에서는, 이 처리에 더하여, 노멀 모드에 있어서의 프레임 레이트를, 타겟 클래스에 따라 설정하는 것이다.
도 32의 A는 센서 장치(1)가 고속도로 상을 촬상하는 감시 카메라에 있어서 사용되고 있는 경우의 화상 예이다. 타겟 클래스를 차로 하여, 바운딩 박스(20)를 나타내고 있다. 파선 화살표는 어떤 차의 이동 방향을 나타내고 있다.
도 32의 B는, 촬상되고 있는 차의 이동량을, 연속하는 프레임에 있어서의 바운딩 박스(20)의 화상 상에서의 위치(픽셀 위치)의 변화로서 나타내고 있다. 이러한 이동량을 다수의 차에 있어서 생각하면, 평균적인 이동량이 가령 1152 픽셀/초인 것으로 한다.
이 경우에, 오브젝트 트래킹(연속하는 프레임 화상 상에서의 대상물의 추적)을 유지할 수 있는 샘플링 레이트를 산출하면 46 fps인 것으로 한다.
다음으로, 도 33의 A는 센서 장치(1)가 건물 내의 감시 카메라에서 사용되고 있는 경우의 화상 예이다. 타겟 클래스를 사람으로 하여, 바운딩 박스(20)를 나타내고 있다. 파선 화살표는 어떤 사람의 이동 방향을 나타내고 있다.
도 32의 B는, 촬상되고 있는 사람의 이동량을, 연속하는 프레임에 있어서의 바운딩 박스(20)의 화상 상에서의 위치(픽셀 위치)의 변화로서 나타내고 있다. 이러한 이동량을 다수의 사람에 있어서 생각하면, 평균적인 이동량이 가령 192 픽셀/초인 것으로 한다.
이 경우에, 오브젝트 트래킹을 유지할 수 있는 프레임 레이트를 산출하면 5 fps인 것으로 한다.
예를 들면, 이상과 같이 타겟 클래스가 차인 경우와 사람인 경우에는, 오브젝트 트래킹을 유지할 수 있는 프레임 레이트가 다르다.
그러면, 타겟 클래스에 따라 DNN에 의해 오브젝트 트래킹을 유지할 수 있는 프레임 레이트를 구하고, 그 임계값(허용되는 프레임 레이트 하한)을 구하면, 가능한 한 적은 데이터량으로 하면서, 대상물을 추적하면서 검출하는 물체 검출의 정밀도를 유지할 수 있게 된다.
한편, 프레임 레이트는, 어레이 센서(2)의 판독 타이밍의 설정이나 ADC/픽셀 선택기(3)의 샘플링 레이트 설정에 따라 결정된다.
도 35에 연산부(8)의 처리 예를 나타낸다.
스텝(S350, S351)은 도 22의 스텝(S150, S151)과 마찬가지이다. 즉, 스텝(S350)에서 연산부(8)(임계값 설정부(85))는, 임계값 산출 타이밍인지 여부를 판정하고, 임계값 산출 타이밍이라면 스텝(S351)에서 임계값 산출(도 24의 처리)을 행한다.
이 경우의 도 24의 임계값 산출 처리로서는, 연산부(8)(물체 영역 인식부(82))는 전술한 바와 같이 스텝(S160 내지 S164)을 행한다. 그리고, 연산부(8)(임계값 설정부(85))는 스텝(S165)에서, 바운딩 박스(20)로 둘러싸인 타겟 클래스에 대해 프레임 레이트를 변경하면서 오브젝트 트래킹을 유지할 수 있는 임계값(임계값이 되는 프레임 레이트)을 산출한다.
그 후, 스텝(S166)에서 연산부(8)(임계값 설정부(85))는, 스텝(S165)에서 산출한 임계값과 타겟 클래스, 및 임계값 산출에 사용한 임계값 산출 방침의 정보가 대응지어져 기록되도록 한다. 예를 들면, 연산부(8) 내부의 기록 영역에 기록시키거나, 메모리(6)의 소정 영역에 기록시키거나, 또는 프로세서(11)로 전송하여 기록시킨다.
이에 의해, 예를 들면 타겟 클래스에 따른 임계값에 기초하는 파라미터, 즉, 오브젝트 트래킹을 유지할 수 있는 프레임 레이트에서 가능한 한 낮은 프레임 레이트의 값이 설정된다.
도 35의 스텝(S301 내지 S106)은 도 18과 마찬가지이다.
스텝(S301)에서 연산부(8)(키 프레임 선택부(81))는, 예를 들면 미리 연산부(8) 내에 기억되어 있는 아이들링 모드의 설정에 따라, ADC/픽셀 선택기(3)에 동화상 촬상의 설정을 행한다.
따라서, 만약 아이들링 모드의 설정이 1 fsp라면, 동화상 촬상은, 예를 들면 1초 간격으로 행해진다.
스텝(S302)에서 연산부(8)(물체 영역 인식부(82))는, 취득한 화상에 대해 물체의 후보가 되는 위치의 검출을 행한다.
스텝(S303)에서 연산부(8)(클래스 식별부(83))는, 후보로서 검출된 물체의 클래스 분류를 행한다.
스텝(S304)에서 연산부(8)는 클래스 식별 결과로서 얻어진 클래스 내에 타겟 클래스가 존재하는지 여부를 확인한다.
타겟 클래스가 존재하지 않으면, 연산부(8)는 스텝(S350, S351)을 거쳐 스텝(S301, S302, S303)의 처리를 반복한다.
그 동안, 임계값 산출 타이밍이 되면 스텝(S351)의 처리가 행해진다.
스텝(S304)에서 타겟 클래스가 존재한다고 판정된 경우에, 연산부(8)는 스텝(S304)에서부터 스텝(S352)으로 처리를 진행시킨다.
연산부(8)(키 프레임 선택부(81))는, 스텝(S351)의 처리에서 기억한 파라미터를 노멀 모드의 설정으로 하고, ADC/픽셀 선택기(3)에 동화상 촬상의 설정을 행하여, 노멀 모드의 촬상을 지시한다.
예를 들면, 타겟 클래스가 사람이며, 도 34의 C와 같이 5 fps에서 오브젝트 트래킹을 유지할 수 있고, 프레임 레이트 = 5 fps로 되어 있는 경우, 노멀 모드의 프레임 레이트 설정이 5 fsp로 된다.
이와 같이 노멀 모드로 스위칭한 상태에서 연산부(8)는 스텝(S302, S303)의 처리를 행한다.
그리고, 촬상된 화상 내에 타겟 클래스가 존재하고 있는 한, 노멀 모드가 계속되고, 한편, 타겟 클래스가 존재하지 않게 되면 스텝(S350, S351)을 거쳐 스텝(S301)으로 되돌아가서 아이들링 모드로 스위칭되게 된다.
이상과 같이 액티브 샘플링으로서의 처리가 행해진다. 이에 의해, 특히 타겟 클래스가 존재하지 않는 기간에는, 프레임 레이트를 낮추어 데이터량 압축을 행하여, 또한 그에 의해 소비 전력이 삭감된다.
또한, 노멀 모드가 되어도, 타겟 클래스에 따라 적응화된 프레임 레이트로 처리가 행해지기 때문에, 클래스에 따라서는 상당히 낮은 프레임 레이트(상기의 5 fps 등)로 된다. 따라서, 노멀 모드에 있어서도 데이터량 압축 및 소비 전력 삭감이 행해진다.
한편, 연산부(8)는, ADC/픽셀 선택기(3)에 프레임 레이트 변경을 지시하여 프레임 레이트를 가변시킨다고 했지만, 로직부(5)에 프레임 레이트 변환을 지시해도 된다.
예를 들면, 어레이 센서(2)로부터의 판독은 항상 100 fps로 행하고 있지만, 아이들링 모드나 노멀 모드에서 설정되는 파라미터에 따라, 로직부(5)에 프레임 솎음을 지시한다. 이에 의해, 프로세서(11)로의 전송에 관한 데이터량 삭감이 가능하다.
<11. 이동체에의 응용예>
본 개시에 따른 기술은 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 따른 기술은 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 36은 본 개시에 따른 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 36에 나타낸 예에서는, 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은 키리스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은 촬상부(12031)에 차 밖의 화상을 촬상시키고, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면, 운전자를 촬상하는 카메라를 포함한다. 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 36의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 37은 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 37에서는, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104 및 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프런트 노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 37에는 촬상부(12101 내지 12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프런트 노즈에 설치된 촬상부(12101)의 촬상 범위를 나타낸다. 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는 거리 정보를 취득하는 기능을 가지고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104) 중 적어도 하나는 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 가지는 촬상 소자여도 된다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로컴퓨터(12051)는, 선행차와의 사이에서 미리 확보해야 하는 차간거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형차량, 보행자, 전신주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면, 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 절차에 의해 행해진다. 마이크로컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하여, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 예를 들면, 촬상부(12031)에 적용될 수 있다. 구체적으로는, 촬상부(12031)에 탑재되는 이미지 센서로서, 본 개시의 센서 장치(1)를 적용하여, 분할 화상 적응화, 에어리어 클리핑, 지능형 압축, 및 액티브 샘플링의 일부 또는 전부를 실행할 수 있다. 이에 의해, 차외 정보 검출에 적응한 화상 처리나, 검출 정밀도를 저하시키지 않는 정보량의 적절한 삭감에 의한 처리 부담의 저감 등이 가능해진다.
<12. 정리 및 변형예>
이상의 실시형태에서는, 다음과 같은 효과가 얻어진다.
제1, 제6 실시형태에서 설명한 바와 같이 센서 장치(1)는, 복수의 가시광 또는 비가시광 촬상 소자가 1차원 또는 2차원으로 배열된 어레이 센서(2)와, 어레이 센서(2)에서의 촬상에 의해 얻어진 화상 신호에 대해, 지시된 파라미터를 사용한 화상 처리를 행하는 로직부(5)(화상 처리부)와, 연산부(8)를 구비한다. 연산부(8)는 어레이 센서(2)에서의 촬상에 의해 얻어진 화상 신호로부터 검출되는 물체에 대해 클래스 식별을 행하고, 식별된 클래스에 기초하여 화상 처리에 사용하는 파라미터를 선택하고, 선택한 파라미터로 로직부(5)의 처리 설정을 행한다.
즉, 어레이 센서(2)에 의해 얻어진 화상 신호에 대해 로직부(5)에서 화상 처리를 실시하지만, 그 화상 처리의 파라미터가 화상 신호에 있어서의 검출 물체의 클래스 식별에 기초하여 설정되도록 하고 있다.
화상으로부터의 물체 검출을 행하는 경우, 사람이 보아서 고품위의 화상이, 반드시 인식 정밀도가 높아지는 화상으로는 되지 않는다. 또한, 인식하는 물체의 클래스에 따라 바람직한 화질은 다르다. 즉, 시인상 고화질이 되도록 하는 통상의 파라미터 설정에 의한 화상 처리를 실시한 화상이, 반드시 물체 검출을 위해 적합한 화질은 아니다. 또한, 인식하는 물체의 클래스에 따라, 바람직한 화상 처리 파라미터는 다르다.
이에, 미리 클래스마다 파라미터 세트를 보유해 두도록 하고, 촬상 화상에 있어서 검출 물체의 클래스 식별에 따라, 사용하는 파라미터 세트를 선택한다. 이에 의해, 목적으로 하는 물체의 검출에 적합한 화상 처리가 행해진다. 이러한 화상 처리가 행해진 화상에 의하면, 물체 검출의 정밀도 향상을 실현할 수 있다.
또한, 물체 검출에 바람직한 화질 조정은, 사람이 아름답다고 느끼도록 하는 화질 조정과는 다르기 때문에, 예를 들면 아름다움을 우선하기 위한 블러 필터(blur filter) 등은 사용되지 않는다. 이 때문에, 설정되는 파라미터는 처리의 저부하화를 가져오는 것인 경우가 많다.
또한, 클래스에 따른 파라미터(예를 들면, 계조 변경이나 압축에 관한 파라미터 등)에 따라서는 데이터량이 저감되는 경우도 많고，그 경우, 프로세서(11) 측의 계산이 고부하로 되기 때문에 처리가 지연되거나, 시스템 전체의 소비 전력이 상승하거나 하는 것도 회피된다.
각 실시형태의 센서 장치(1)는, 로직부(5)(화상 처리부)에서 화상 처리된 화상 신호를 외부 장치로 출력하는 인터페이스부(7)(출력부)를 구비하고 있다.
센서 장치(1)는, 내부의 로직부(5)에 의해, 물체의 클래스에 따른 화상 처리를 행하고, 이것을 프로세서(11)에 송신 출력하게 되지만(도 5의 스텝(S108)), 이에 의해 프로세서(11)에 있어서 물체 검출을 향상시키기 위한 화질 조정을 행할 필요를 없애게 된다. 따라서 프로세서(11)에서의 처리 부담을 경감하면서, 정밀도가 높은 물체 검출이 가능해진다.
또한, 클래스 인식에 기초하여 선택된 파라미터 세트는, 반드시 사람의 시인 상의 최고 화질을 얻기 위한 파라미터 세트는 아니다. 경우에 따라서는 처리되는 화상의 데이터량이 저감되는 것도 있다. 즉, 반드시 사람이 보았을 경우의 최고 화질이 아니라, 프로세서가 인식하려고 하는 물체에 적합한 화질의 화상을 출력하는 것이 되고, 송신하는 화상 신호의 데이터량을 저감할 수 있는 경우도 있다.
이에 의해, 물체 검출의 정밀도를 내리지 않고, 통신 비용을 삭감할 수 있다. 클라우드에서 계산 처리를 하는 경우의 전송 지연도 개선된다.
실시형태의 인터페이스부(7)(출력부)는, 출력하는 화상 신호에 대한 클래스 식별에 관한 정보의 송신도 행한다고 서술하였다(도 5의 스텝(S108)).
이에 의해, 출력처의 프로세서(11)나 클라우드의 AI 프로세서 등에 있어서, 클래스를 인식한 후에 물체 검출을 행할 수 있고, 보다 정밀도가 높은 물체 검출이 가능해진다.
제1, 제6 실시형태에서는, 연산부(8)는, 화상 신호의 1프레임 내에서, 검출 대상의 물체 후보가 되는 물체 영역을 검출하는 물체 영역 인식 처리와, 물체 영역 인식 처리에서 검출된 물체 영역의 물체 클래스 식별을 행하는 클래스 식별 처리와, 클래스 식별 처리의 식별 결과에 기초하여 파라미터 선택을 하여 로직부(5)의 처리 설정을 행하는 파라미터 선택 처리를 행하는 것을 서술하였다(도 1, 도 5 참조).
즉, 연산부(8)는, 물체 영역 인식 처리를 행하는 물체 영역 인식부(82), 클래스 식별 처리를 행하는 클래스 식별부(83), 파라미터 선택 처리를 행하는 파라미터 선택부(84)를 구비하고, 이에 의해 화상 신호의 1프레임으로부터 물체 후보의 검출, 클래스 식별, 및 클래스 식별에 기초한 파라미터 선택을 실현할 수 있다.
제1, 제6 실시형태에서는, 연산부(8)는, 화상 신호의 1프레임 내에서, 검출 대상의 물체 후보가 되는 물체 영역을 검출하는 물체 영역 인식 처리와, 물체 영역 인식 처리에서 검출된 물체 영역의 물체 클래스 식별을 행하는 클래스 식별 처리와, 클래스 식별 처리에서 식별된 클래스 중에 타겟 클래스가 존재하는지 여부를 판별하는 처리와, 타겟 클래스가 존재한 경우에, 그 타겟 클래스의 클래스 인식 결과에 기초하여 파라미터 선택을 하여 로직부(5)의 처리 설정을 행하는 파라미터 선택 처리를 행한다(도 1, 도 5, 도 22 참조).
타겟 클래스의 존재 판정을 행함으로써, 화상 인식의 목적으로 하는 물체의 클래스에 기초하는 파라미터 선택이 효율적으로 실행할 수 있다. 다르게 말하면, 타겟으로 하고 있지 않은 물체의 검출에 기초한 파라미터 선택이 행해지지 않음으로써, 불필요한 파라미터 선택이 행해지지 않고, 처리가 효율화되고, 또한 부적절한 파라미터 설정이 행해지지 않음으로써 목적으로 하는 물체의 화상 인식 정밀도를 향상시킬 수 있다.
제1, 제6 실시형태에서는, 타겟 클래스는 복수 설정 가능하게 되고, 1프레임 내에 복수의 타겟 클래스의 물체가 존재하는 경우에는, 선택된 하나의 타겟 클래스에 기초하여 파라미터 선택 처리가 행해진다(도 5와 도 22의 스텝(S106) 참조).
복수의 타겟 클래스를 설정 가능하게 함으로써, 복수의 클래스에 걸쳐 있는 물체를 대상으로 하는 화상 인식에 대응할 수 있다.
또한, 1프레임 내에 복수의 타겟 클래스의 물체가 존재하는 경우에는, 예를 들면 지배적 또는 우세한 타겟 클래스를 선택하는 등 하여, 하나의 타겟 클래스에 기초하여 파라미터 선택이 행해지도록 함으로써, 적절한 파라미터 세트가 가능해진다.
또한, 제1, 제6 실시형태(도 5와 도 22의 스텝(S105, S106))에서는, 타겟 클래스에 해당하는 물체 영역에 대해서는, 물체를 둘러싸는 바운딩 박스(20)를 산출하고, 복수의 타겟 클래스가 존재하는 경우에는, 바운딩 박스(20)의 면적을 사용하여 하나의 타겟 클래스를 선택하는 예를 들었다.
복수의 타겟 클래스의 물체가 존재하는 경우에는, 바운딩 박스(20)에 의해 각 물체의 영역을 규정하고, 각 타겟 클래스의 물체의 1프레임 내에서의 지배 면적을 구함으로써, 우선해야 할 타겟 클래스를 판정할 수 있다. 이에 의해, 적절한 파라미터 선택이 가능해진다.
제1, 제6 실시형태에서는, 연산부(8)는, 클래스마다 설정된, 복수의 파라미터를 포함하는 파라미터 세트를, 식별된 클래스에 기초하여 선택하는 예를 서술하였다. 즉, 로직부의 각종 처리의 파라미터를 세트로 한 파라미터 세트를 기억해 두고, 이 파라미터 세트를 선택하여 로직부에 설정한다(도 4, 도 5와 도 22의 스텝(S107) 참조).
이에 의해, 로직부(5)의 각종 화상 처리에 따른 파라미터로서, 대상의 클래스(타겟 클래스)에 적합한 복수의 파라미터를 설정할 수 있게 된다.
제1 실시형태에서는, 파라미터 세트는, 각 클래스에 해당하는 물체의 화상을 사용한 딥 러닝에 의해 얻어진 복수의 파라미터의 세트인 예를 들었다.
예를 들면, 사람의 화상을 학습 데이터로서 사용한 딥 러닝에 의해, 사람 인식의 화상 인식률이 높은 것으로 되는 화상 처리용의 파라미터를 구하고, 그 파라미터의 세트를 「사람」이라고 하는 클래스에 대응하는 파라미터 세트로 한다(도 4 참조).
이에 의해, 각 클래스에 적합한 파라미터 세트를 준비할 수 있고, 그 선택에 의해, 목적의 화상 인식에 적합한 파라미터 선택이 가능해진다.
제1, 제6 실시형태에서는, 연산부(8)는, 어레이 센서(2)에서의 촬상에 의해 얻어진 화상 신호 중에서 키 프레임으로 되는 프레임을 대상으로 하여, 클래스 식별을 행하고, 식별된 클래스에 기초하여 화상 처리에 사용하는 파라미터를 선택하는 예를 서술하였다(도 5와 도 22의 스텝(S101, S102) 참조).
모든 프레임이 아니라 키 프레임을 대상으로 함으로써, 연산부(8)의 처리 부담이 과대하게 되지 않는다. 또한, 적절한 선택 알고리즘에 기초하여 키 프레임을 선택함으로써, 적절한 파라미터 선택이 행해지는 상태를 유지할 수 있다.
제1, 제6 실시형태에서는, 키 프레임은, 소정의 시간 간격마다의 프레임으로 되는 예를 들었다.
이에 의해, 정기적으로 파라미터 선택이 행해진다. 예를 들면, 30초에 1프레임을 키 프레임으로 하는 등에 의해, 연산부(8)의 처리는 과대하게 되지 않고, 또한 적절한 파라미터 설정을 유지할 수 있다.
한편, 키 프레임의 간격은, 화상 인식의 목적으로 하는 물체, 센서 장치(1)의 사용 환경, 사용 목적, 센서 장치(1)를 탑재한 기기의 종류 등, 각종의 사정에 따라 설정되는 것이 바람직하다.
또한, 키 프레임은, 외부 기기로부터의 명령에 기초하는 타이밍의 프레임으로 되는 예도 들었다.
예를 들면, 화상 출력처의 프로세서(11) 등으로부터의 지시에 따라 키 프레임이 설정되도록 한다. 이에 의해, 화상 신호나 클래스 식별에 관한 정보의 출력처의 기기의 인식 처리의 목적 등에 따른 키 프레임 선택 및 파라미터 선택이 행해지도록 할 수 있다. 예를 들면, 센서 장치(1)를 탑재한 기기의 종류, 목적 등에 따라 키 프레임이 설정된다.
이 경우, 예를 들면 차량용 기기를 상정하면, 자동차가 주행을 개시한 타이밍에서 키 프레임을 조밀한 간격으로 하도록 하는 것도 가능해진다.
각 실시형태의 로직부(5)는, 화상 신호에 대한 화상 처리로서, 색 보정, 감마 보정, 색 계조 처리, 게인 처리, 윤곽 강조 처리, 데이터 압축 처리, 프레임 레이트 변환, 해상도 변환, 종횡 비율 변환, 콘트라스트 조정 처리, 샤프니스 조정 처리, 그레이 레벨 조정 처리, 샘플링 레이트 변경 처리 등을 행하는 것으로 하였다.
이들에 의해 화질 조정이나 데이터량 변환을 행하지만, 이들 처리를 위한 파라미터 설정이 행해짐으로써, 인식해야 할 물체의 클래스에 적합한 화질 조정이나 데이터 사이즈 조정(해상도나 프레임 레이트 등)이 실행된다. 결과적으로, 타겟 클래스의 물체 검출에 적합한 화상 및 데이터 사이즈로 되고, 불필요한 고화질화나 데이터량의 증대가 또한 되게 되어, 통신 비용의 저하, 처리 속도의 향상, 물체 검출 정밀도의 향상 등에 기여한다.
각 실시형태의 인터페이스부(7)(출력부)는, 외부 기기의 요구에 따라, 로직부(5)에서 화상 처리된 화상 신호, 식별된 클래스의 정보, 검출된 물체의 수, 타겟 클래스의 유무의 정보 중의 어느 것 또는 모두를 출력하는 것을 서술하였다. 이것은 제1 내지 제5 실시형태에 대해 공통 동작이 된다.
즉, 인터페이스부(7)는, 프로세서(11)나 클라우드의 프로세서 등으로부터의 요구에 따라, 로직부(5)에서 처리된 화상 신호, 연산부(8)에서 식별된 클래스의 정보, 오브젝트 수, 타겟 클래스의 유무의 정보 중에서, 프로세서(11)에서 필요로 되는 정보를 출력한다. 이에 의해, 불필요한 정보의 전송을 피할 수 있고, 통신량을 삭감할 수 있고, 소비 전력의 저감도 실현된다.
또한, 프로세서(11) 등에 있어서의 처리에 따른 정보 제공이 가능하게 된다.
한편, 각 실시형태에서는 화상 신호를 대상으로 하였지만, 어레이 센서(2)가 음파 검출 소자 어레이나 촉각 센서 소자 어레이로 되는 것도 상정된다. 그 경우에는, 인터페이스부(7)는 이들의 검출 신호(로직부(5)의 처리후의 검출 신호)를 외부 기기의 요구에 따라 출력하게 된다.
제2, 제3, 제4, 제7, 제8 실시형태에서 설명한 바와 같이, 센서 장치(1)는, 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서(2)와, 어레이 센서(2)에 의한 검출 신호를 취득하여, 신호 처리를 행하는 신호 처리부(30)를 구비하고, 연산부(8)는, 어레이 센서(2)에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성한 영역 정보(ROI(21)나 AROI(22))를, 신호 처리부(30)에 대해, 어레이 센서(2)로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시한다.
즉, 어레이 센서(2)에 의해 얻어진 검출 신호에 대해, 신호 처리부(30)에서 신호 처리를 실시하여 인터페이스부(7)로부터 출력하지만, 신호 처리부(30)에 있어서의 어레이 센서(2)로부터의 검출 신호의 취득 또는 신호 처리에 관한 영역 정보가, 물체 검출에 기초하여 설정되도록 한다.
실시형태와 같이 화상으로부터의 물체 검출을 행하는 경우에, 항상 각 프레임의 전체 화소의 정보가 필요한 것은 아니다. 예를 들면, 사람을 검출하는 경우에는, 프레임 내에서 사람이 찍혀 있는 영역의 검출 정보가 있으면 된다. 이에, 연산부(8)에서 물체 검출에 기초하여 ROI(21)나 AROI(22)를 생성하고, 신호 처리부(30)의 처리, 즉, ADC/픽셀 선택기(3)에 의한 어레이 센서(2)로부터의 검출 신호의 취득이나, 로직부(5)에 있어서의 압축 처리가, ROI(21)나 AROI(22)를 사용하여 행해지도록 하고 있다.
이에 의해, 처리 대상의 데이터량의 삭감, 처리 속도의 향상을 실현할 수 있음과 함께, 검출 정밀도를 저하시키지 않도록 하는 화상 신호를 얻을 수 있다.
한편, 화상 신호에 한정되지 않고, 음파 검출 신호, 촉각 검출 신호 등으로서 어레이 센서로부터 얻어지는 검출 신호에 대해서도, 물체 검출을 행하고, 물체의 검출에 기초하여 생성한 영역 정보를, 신호 처리부에 대해, 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보를 지시하도록 할 수도 있다.
이에 의해, 음파 센서 어레이, 접촉 센서 어레이를 사용하는 경우에 있어서도, 처리 대상의 데이터량의 삭감, 처리 속도의 향상을 실현할 수 있음과 함께, 검출 정밀도를 저하시키지 않도록 하는 검출 신호를 얻는다고 하는 효과가 얻어진다.
제2, 제3, 제4, 제7, 제8 실시형태의 경우, 인터페이스부(7)(출력부)는, 신호 처리부(30)에서 신호 처리된 검출 신호를 외부 장치로 출력한다.
ROI(21)나 AROI(22)를 사용하여 일부 화소만을 AD 변환한 화상 신호나, ROI(21)를 사용하여 영역마다 압축률을 다르게 한 화상 신호를 프로세서(11) 등에 출력하기 위해, 전송하는 데이터량은 현저하게 삭감된다. 이에 의해, 통신 비용의 저하나 전송 시간의 단축이 실현된다. 그리고 나서, 물체 검출에 필요한 정보는 포함되어 있으므로, 프로세서(11) 등에 있어서의 물체 검출의 정밀도가 저하되지 않는다. 또한, 데이터량이 삭감됨으로써 프로세서(11)에서의 처리 부담도 경감된다.
또한, 프로세서(11) 측의 계산이 고부하로 되기 때문에 처리가 지연되거나, 시스템 전체의 소비 전력이 상승하거나 한다고 하는 것도 회피된다.
각 실시형태에서는, 신호 처리부(30)는, 어레이 센서(2)의 검출 소자에 대해 선택적으로 검출 신호를 취득하는 ADC/픽셀 선택기(3)(취득부)를 갖고 있다.
그리고 제2, 제3, 제7, 제8 실시형태에서는, ADC/픽셀 선택기(3)는, 검출 신호의 1프레임으로서, 연산부(8)로부터의 ROI(21)나 AROI(22)에 기초하여 선택되는 검출 소자의 검출 신호를 취득하는 것으로 하였다(도 9, 도 14, 도 29, 도 32 참조).
ADC/픽셀 선택기(3)가, 물체 검출된 다음 프레임으로부터는, ROI(21)나 AROI(22)에 의해 지정되는 범위만 광전 변환 신호를 AD 변환하여 취득함으로써, 1프레임 데이터량을 크게 삭감할 수 있다. 그리고 나서 ROI(21)나 AROI(22)가 물체 검출에 기초하여 설정됨으로써, 물체 검출에 필요한 화소의 정보는 적절하게 얻어지는 것으로 할 수 있다.
제2, 제3, 제7, 제8 실시형태에서는, 연산부(8)는, ADC/픽셀 선택기(3)(취득부)가 영역 정보(ROI(21), AROI(22))에 의한 검출 소자의 선택을 행하지 않는 상태에서 어레이 센서(2)로부터 취득한 검출 신호에 대해 물체 검출을 행하고, 물체의 검출에 기초하여 생성한 ROI(21)나 AROI(22)를, 신호 처리부(30)에 대해, ADC/픽셀 선택기(3)에 의한 어레이 센서(2)로부터의 후속 프레임의 검출 신호의 취득에 사용하는 영역 정보로서 지시하는 예를 서술하였다(도 9, 도 14, 도 29, 도 32 참조).
1프레임의 전체 유효 화소를 포함하는 화상 신호로부터 물체 검출을 행함으로써, 촬상된 화상 내에서 검출해야 할 물체를 정확하게 검출할 수 있다. 그리고 나서, 검출된 물체에 기초하는 ROI(21)나 AROI(22)를 생성하여, ADC/픽셀 선택기(3)에 제공함으로써, 다음 프레임으로부터는, 물체 검출에 필요한 화소만의 정보를 취득할 수 있다. 이 때문에, 데이터량을 삭감하면서 적절한 검출 정보(필요한 화소의 정보)를 취득할 수 있게 된다.
제2, 제3, 제7, 제8 실시형태에서는, 연산부(8)는, ADC/픽셀 선택기(3)가 ROI(21)나 AROI(22)에 의한 검출 소자의 선택을 행한 상태에서 어레이 센서(2)로부터 취득한 검출 신호에 대해 물체 검출을 행하고, 물체의 검출에 기초하여 영역 정보를 재생성하고, 신호 처리부(30)에 대해, ADC/픽셀 선택기(3)에 의한 어레이 센서(2)로부터의 후속 프레임의 검출 신호의 취득에 사용하는 영역 정보로서 지시하는 것을 서술하였다(도 9, 도 14, 도 29, 도 32의 스텝(S203), 및 도 10 참조).
일부의 화소 정보만으로 된 화상 신호의 프레임으로부터도 물체 검출을 행함으로써, 물체의 위치의 변화에 따라 ROI(21)나 AROI(22)를 수정해 나갈 수 있다. 이에 의해, 후속 프레임에 있어서, 화상 내에서의 물체(예를 들면, 사람)의 움직임에 추종하여, ADC/픽셀 선택기(3)에서 취득되는 영역이 변화된다. 즉, 대상의 물체가 프레임마다 화상 내에서의 위치가 변화되는 것이라 하더라도, 프레임마다 그 변화에 추종한 위치에서, 화소를 선택하여 판독할 수 있다. 이 때문에, 데이터량을 삭감하면서 적절한 검출 정보(화소 정보)를 행하는 상태를, 프레임이 진행하여도 계속할 수 있다.
제2, 제3, 제7, 제8 실시형태에서는, 연산부(8)는, ADC/픽셀 선택기(3)가 ROI(21)나 AROI(22)에 의한 검출 소자의 선택을 행한 상태에서 어레이 센서(2)로부터 취득한 검출 신호에 대해 물체 검출을 행하고, 목적 물체가 검출되지 않은 경우에는, 후속 프레임에 있어서, ADC/픽셀 선택기(3)가 ROI(21)나 AROI(22)에 의한 검출 소자의 선택을 행하지 않은 상태에서 어레이 센서(2)로부터 검출 신호를 취득하도록 지시하는 것으로 하였다(도 9, 도 14, 도 29, 도 32의 스텝(S205, S201, S202) 참조).
즉, 연산부(8)는, 어레이 센서(2)로부터 일부 검출 소자의 정보만을 취득한 프레임에 있어서 목적 물체가 검출되지 않게 되면, 취득부에서의 검출 신호의 취득을 통상의 상태로 되돌리도록 한다.
이에 의해, 1프레임의 전체 유효 화소를 포함하는 화상 신호로부터 물체 검출을 행하는 상태로 되돌아가서, 다시 촬상된 화상의 전체에서 목적 물체 검출을 행할 수 있다. 즉, 화상 전체를 감시할 수 있는 상태가 된다.
제2, 제3, 제4, 제7, 제8 실시형태에서는, 연산부(8)는, 어레이 센서(2)에 의한 검출 신호로부터 검출된 물체의 영역을 둘러싸는 바운딩 박스(20)를 구하고, 바운딩 박스(20)에 기초하여 영역 정보로서의 ROI(21)나 AROI(22)를 생성하는 예를 서술하였다(도 9, 도 14, 도 16, 도 29, 도 32 참조).
물체 검출에 의해 바운딩 박스(20)를 생성하고, 이 바운딩 박스(20)로부터 ROI(21)나 AROI(22)를 생성함으로써, 화상 내에서의 목적 물체의 위치에 따른 ROI(21)나 AROI(22)를 생성할 수 있다. 이에 의해, 다음 프레임에서의 판독 화소도 적절하게 선택할 수 있다.
제2, 제4, 제7, 제8 실시형태에서는, 연산부(8)는, 바운딩 박스(20)를 확대하여 ROI(21)를 생성한다(도 9, 도 16, 도 29, 도 32 참조).
바운딩 박스(20)는 현재 프레임에서의 물체의 영역을 둘러싸는 것이지만, 후속 프레임에서는 물체의 위치가 변화하고 있을 가능성이 있다. 이에, 바운딩 박스(20)를 확대하여 ROI(21)를 생성한다.
이에 의해, 다음 프레임에 있어서 취득되는 정보(AD 변환되는 화소의 신호)로서, 물체가 포함되도록 할 가능성을 높일 수 있다. 즉, 필요한 정보를 포함하는 화소 판독을 가능한 한 계속하게 하도록 할 수 있다.
제2 실시형태의 설명에서, 연산부(8)는, 검출된 물체에 대해 검출 소자 단위로 영역을 판정하여 영역 정보를 생성하는 예를 서술하였다(도 11 참조).
즉, 시맨틱 세그먼테이션에 기초하여 ROI(21)를 생성한다. 이에 의해 사각형이 아닌 ROI(21)도 생성된다.
물체에 따라서는 사각형으로 클리핑하면 정보가 결여되는 경우가 있다. 예를 들면, 돌기물이 있는 트럭 등이나, 자전거를 타고 있는 사람 등은, 사각형으로 삐져 나오는 부분이 생기거나, 그것을 커버하면 ROI(21)가 불필요하게 커져서, 데이터 삭감 효과가 저하된다. 이에, 화소 레벨에서 필요한 영역을 선택할 수 있도록 한다. 이에 의해, 필요한 정보를 최소한의 데이터량으로 취득할 수 있게 된다.
이러한 시맨틱 세그먼테이션에 기초하는 ROI(21)는 제4 실시형태에 있어서 저압축률로 하는 영역을 설정하는 경우에도 유용하다.
제2, 제3, 제4, 제7, 제8 실시형태에서는, 연산부(8)는, 어레이 센서(2)로부터 얻어지는 검출 신호 중에서 물체 검출 키 프레임 기록 타이밍의 프레임(키 프레임)을 대상으로 하여, 물체 검출을 행하고, 물체의 검출에 기초하여 영역 정보를 생성한다(도 9, 도 14, 도 16, 도 29, 도 32의 스텝(S201) 참조).
모든 프레임이 아니라 키 프레임을 대상으로 함으로써, 연산부(8)의 처리 부담이 과대하게 되지 않는다. 또한, 적절한 선택 알고리즘에 기초하여 키 프레임을 선택함으로써, 적절한 물체 검출이 가능한 상태를 유지할 수 있다.
이 경우에도, 키 프레임은, 소정의 시간 간격마다의 프레임으로 되거나, 외부 기기로부터의 명령에 기초하는 타이밍의 프레임으로 된다.
예를 들면, 센서 장치(1)를 탑재한 기기의 종류, 목적 등에 따라 키 프레임이 설정되도록 하면, 기기나 애플리케이션이 필요로 하는 타이밍에서, 프레임의 화소 전체를 대상으로 하여 물체 검출을 행하고, 그 이후의 프레임에서는 데이터량을 삭감하는 것이 가능해진다.
제2, 제3, 제4, 제7, 제8 실시형태에서는, 연산부(8)는, 어레이 센서(2)로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 클래스 식별을 행하고, 식별된 클래스가 타겟 클래스인지 여부를 판정하고, 타겟 클래스의 물체에 대응하여 영역 정보(ROI(21)나 AROI(22))를 생성한다(도 9, 도 14, 도 16, 도 29, 도 32의 스텝(S204, S205) 참조).
타겟 클래스의 존재 판정을 행하고, 타겟 클래스의 물체 영역에 사용하여 ROI(21)나 AROI(22)를 생성함으로써, 검출 목적으로 하는 물체의 정보를 취득하기 위한 영역 정보를 정확하게 생성할 수 있다.
제3, 제8 실시형태에서는, 연산부(8)는 어레이 센서(2)로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 클래스 식별을 행하고, 해당 물체에 대응하는 영역 정보(AROI(22))를, 식별된 클래스에 대응하는 템플릿을 사용하여 생성하는 예를 서술하였다(도 14의 S210, S211, 도 32의 S262, S211 참조).
클래스에 대응하는 템플릿을 사용함으로써, 클래스마다 다른 중요한 영역에 적응하도록 하는 AROI(22)를 생성할 수 있게 된다.
특히, 어레이 센서(2)가 촬상 소자에 의한 것인 경우, 광전 변환에서의 소비 전력은 가장 크다. 이 경우, 가능한 한 광전 변환하는 화소를 적게 하기를 원하는 것으로 된다. 템플릿에 따라 광전 변환하는 화소를 좁힘으로써, 검출 정밀도에 영향을 주지 않고 유효한 데이터량 삭감이 가능해진다. 특히, 화상은, 사람이 보는 것이 아니고, 사람이 예쁘다고 느끼는 화상보다도 프로세서(11)가 정확하게 물체를 인식할 수 있는 화상인 것이 중요하다. 템플릿을 사용하여 광전 변환 및 디지털 데이터화하는 화소를 지정한 화상은, 적은 데이터량으로 유효한 물체 검출에 적합한 것이 된다.
또한, 템플릿은 클래스마다 검출 신호의 취득 영역을 나타낸 것으로 하였다.
예를 들면, 템플릿은, 「사람」, 「자동차」 등의 각 클래스에 따라 어레이 센서의 검출 소자 중에서, 검출 정보를 취득해야 할 검출 소자를 나타내는 것으로 한다(도 12, 도 13 참조).
클래스에 대응하여 판독해야 할 화소를 지정하는 템플릿을 사용함으로써, 클래스마다 어레이 센서(2)로부터의 적절한 정보의 판독이 가능해진다. 특히, 도 12, 도 13의 예와 같이 일부(얼굴의 부분이나 번호판의 부분)가 고밀도화되어 있음으로써, 클래스마다, 특히 필요한 부분의 정보를 집중적으로 취득하도록 하는 경우도 가능해진다.
제4 실시형태에서는, 신호 처리부(30)에서는, 로직부(5)에서 어레이 센서(2)로부터의 검출 신호를 압축 처리하는 것으로 하고, 로직부(5)는, 연산부(8)로부터의 영역 정보에 기초하여, 영역마다 다른 압축률에 의한 압축 처리를 행하는 예를 서술하였다(도 16 참조).
이에 의해, 신호 처리부(30)(로직부(5))는, 프레임 내에서 중요한 영역과 그다지 중요하지 않은 영역에서 압축률을 다르게 함으로써, 중요한 정보를 삭감하지 않도록 하는 데이터 압축이 가능해진다.
또한, 로직부(5)는, 영역 정보에 의해 지정되는 영역에서는, 저압축률로 압축 처리를 행하고, 다른 영역은 고압축률로 압축 처리를 행하는 것으로 하였다(도 16 참조).
신호 처리부(30)(로직부(5))는, 물체 검출된 다음 프레임으로부터는, ROI(21)에 의해 지정되는 영역에서는 저압축률로 압축 처리를 행하고, 다른 영역은 고압축률로 데이터량을 삭감한다. ROI(21)는 물체 검출에 따라 생성되기 때문에, ROI(21)에 의해 나타내어지는 영역은 프로세서(11)에서의 물체 검출에도 중요한 영역이며, 이 영역은 저압축률로 함으로써, 정보를 삭감하지 않는다. 이에 의해, 검출 정밀도를 저하시키지 않는다. 한편, ROI(21)에 의해 나타내어지는 영역 이외는, 물체 검출에 별로 영향이 없는 영역으로 되기 때문에, 고압축률로 압축하여 효율적으로 데이터량을 삭감한다.
제5, 제9 실시형태에서 설명한 바와 같이 센서 장치(1)는, 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서(2)와, 어레이 센서(2)에 의한 검출 신호를 취득하여, 신호 처리를 행하는 신호 처리부(30)와, 어레이 센서(2)에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 어레이 센서(2)로부터의 검출 신호의 프레임 레이트를 가변 지시하는 연산부(8)를 구비한다.
실시형태와 같이 화상으로부터의 물체 검출을 행하는 경우에, 항상 높은 프레임 레이트의 화상 신호가 필요한 것은 아니다. 예를 들면, 사람을 검출하는 경우에는, 사람이 찍혀 있지 않은 프레임에서는, 프레임 레이트가 낮아도 문제없다. 반대로 사람이 등장하는 기간에서는 프레임 레이트가 높게 됨으로써, 정보량이 풍부해지고, 물체(사람) 검출이나, 그에 부수하여 인식할 수 있는 정보도 증가시킬 수 있다.
즉, 물체의 검출에 따라 프레임 레이트를 변화시킴으로써, 적응적으로 필요시에 데이터량을 많게 하고, 불필요시에 데이터량을 삭감할 수 있어, 물체 검출 성능을 저하시키지 않고 처리 데이터량이나 전송 데이터량을 삭감할 수 있다.
한편, 화상 신호에 한정되지 않고, 음파 검출 신호, 촉각 검출 신호 등으로서 어레이 센서로부터 얻어지는 검출 신호에 대해서도, 물체 검출을 행하고, 물체의 검출에 기초하여 어레이 센서로부터의 검출 신호의 프레임 레이트를 가변 지시할 수도 있다. 이에 의해, 음파 센서 어레이, 접촉 센서 어레이를 사용하는 경우에 있어서도, 적응적으로 필요시에 데이터량을 많게 하고, 불필요시에 데이터량을 삭감할 수 있어, 물체 검출 성능을 저하시키지 않고 처리 데이터량이나 전송 데이터량을 삭감할 수 있다고 하는 효과가 얻어진다.
프레임이란, 어레이 센서가 촬상 소자 어레이의 경우에는, 화상의 프레임이 되지만, 음파 검출 소자나 촉각 센서 소자의 경우도 동일한 의미이며, 어레이 센서의 종류에 관계없이, 어레이 센서의 복수의 검출 소자로부터의 1회의 판독 기간에 판독되는 데이터 단위이다. 프레임 레이트는 이러한 프레임의 단위 시간 내의 밀도가 된다.
제5, 제9 실시형태의 경우, 신호 처리부(30)에서 신호 처리된 검출 신호를 외부 장치로 출력하는 인터페이스부(7)(출력부)는, 물체 검출의 결과에 기초하여 프레임 레이트가 변화되는 검출 신호를 프로세서(11) 등으로 출력하게 된다.
이 때문에, 전송하는 데이터량은 현저하게 삭감된다. 이에 의해, 통신 비용의 저하나 전송 시간의 단축이 실현된다. 그리고 나서, 목적으로 하는 물체 검출에 필요한 정보는 포함되어 있으므로, 프로세서(11) 등에 있어서의 물체 검출의 정밀도가 저하되지 않는다. 또한, 데이터량이 삭감됨으로써 프로세서(11)에서의 처리 부담도 경감된다.
또한, 프로세서(11) 측의 계산이 고부하로 되기 때문에 처리가 지연되거나, 시스템 전체의 소비 전력이 상승하거나 한다고 하는 것도 회피된다.
제5, 제9 실시형태에서는, 연산부(8)는, 적어도 제1 모드(아이들링 모드)의 프레임 레이트를 위한 설정값과, 제2 모드(노멀 모드)의 프레임 레이트를 위한 설정값을 기억하고 있고, 물체 검출의 결과에 따라 제1 모드와 제2 모드 중 어느 하나의 설정값에 따른 제어를 행하는 것으로 하였다(도 18, 도 35 참조).
이에 의해, 물체 검출의 결과, 즉, 타겟 클래스의 물체의 유무에 따라, 설정값을 선택한다고 하는 간이한 처리로 액티브 샘플링으로서의 제어를 실현할 수 있다.
제5, 제9 실시형태에 있어서의 제1 모드의 프레임 레이트를 위한 설정값과 제2 모드의 프레임 레이트를 위한 설정값의 일방 또는 양쪽은, 외부 장치로부터 다시쓰기 가능하게 되어 있는 것이 바람직하다. 예를 들면, 외부 프로세서의 용도, 처리 능력, 애플리케이션의 용도 등에 따라 설정값이 가변되도록 한다.
설정값을 프로세서(11) 등으로부터 다시쓸 수 있도록 하면, 프로세서(11)나 그 애플리케이션의 목적에 따른 프레임 레이트 설정도 가능해진다.
제5, 제9 실시형태에서는, 연산부(8)는, 어레이 센서(2)의 검출 신호의 판독 간격을 지시함으로써 프레임 레이트를 가변시키는 예를 서술하였다(도 18, 도 35 참조).
예를 들면, 연산부(8)(키 프레임 선택부(81))가 아이들링 모드/노멀 모드의 스위칭을 어레이 센서(2) 및 ADC/픽셀 선택기(3)에 지시하고, 어레이 센서(2) 및 ADC/픽셀 선택기(3)에 의한 화상 신호의 판독 간격을 변경함으로써 프레임 레이트 스위칭을 행한다.
이 경우, 프레임 레이트가 저하되는 아이들링 모드에서는, 어레이 센서(2)로부터의 광전 변환 및 판독 자체의 간격이 넓혀지게 된다. 어레이 센서(2)에 있어서는 광전 변환에 의한 소비 전력이 크기 때문에, 어레이 센서(2)에 있어서의 판독 간격을 넓히는 것은 소비 전력의 저감 효과가 큰 것으로 된다.
제5, 제9 실시형태의 설명에서, 연산부(8)는, 신호 처리부(30)(로직부(5))에 프레임 레이트 변경을 지시하여 프레임 레이트를 가변시키도록 해도 된다.
즉, 신호 처리 과정에서의 프레임 레이트 변환에 의해 프레임 레이트의 스위칭을 실행시킨다.
로직부(5)에서 프레임 레이트 변환을 행할 수도 있다. 예를 들면, 프레임 솎음 처리를 행함으로써 프레임 레이트를 저하시킬 수 있다. 이 경우, 어레이 센서(2)가 항상 높은 프레임 레이트로 판독을 행하고 있음으로써, 어레이 센서(2)에 있어서의 소비 전력 삭감 효과는 생기지 않지만, 프로세서(11)로 전송하는 데이터량의 삭감 효과는 이 경우에도 얻어진다.
제5, 제9 실시형태에서는, 연산부(8)는, 어레이 센서(2)로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 클래스 식별을 행하고, 식별된 클래스가 타겟 클래스인지 여부를 판정하고, 판정 결과에 따라 프레임 레이트의 가변 지시를 행하는 예를 서술하였다(도 18의 S304, S305, S301, 도 35의 S304, S352, S301 참조).
타겟 클래스의 존재 판정을 행하고, 타겟 클래스의 물체의 존재에 의해 노멀 모드로서 프레임 레이트를 높게 한다. 타겟 클래스의 물체가 검출되지 않는 경우에는 아이들링 모드로서 프레임 레이트를 낮게 하고 있다. 이에 의해, 검출 목적으로 하는 물체의 존재에 따라 정확하게 검출할 수 있다.
예를 들면, 사람을 감시하는 용도 등에서는, 타겟 클래스로서의 사람을 검출함으로써 프레임 레이트를 높게 함으로써, 세밀한 감시가 가능하게 됨과 함께, 그 이외는 아이들링 모드로서 소비 전력의 삭감이나 데이터량의 삭감이 가능해진다.
각 실시형태에서는, 어레이 센서(2)의 검출 소자는 촬상 소자인 것으로 하였다. 즉, 어레이 센서(2)에 의한 검출 신호는 촬상(광전 변환)에 의한 화상 신호로 한다.
따라서, 촬상 화상을 사용한 물체 검출에 있어서, 물체 검출 정밀도를 유지할 수 있는 적절한 데이터량의 삭감과, 이에 부수하는 처리 부담의 경감, 전송 비용의 저하 등을 실현할 수 있다.
실시형태에서는 센서 장치(1)는, 연산부(8)로서의 AI 칩이나 DRAM 칩을 갖는 일체형 센싱 모듈 구성으로 되는 것을 상정하고 있다.
이에 대해, 연산부(8)로서의 AI 칩이나 DRAM 칩을 어레이 센서(2)의 외부로 하는 구성으로 하고, 그 외부의 연산부에 의해, 각 실시형태에서 설명한 판독이나 신호 처리의 제어가 행해지도록 하는 예도 생각할 수 있다.
또한, 어레이 센서(2)와 연산부(8)로서의 AI 칩을 일체화하고, 외부의 DRAM 칩을 사용하는 예도 생각할 수 있다.
제6 실시형태에서는, 로직부(5)(화상 처리부)의 화상 처리 또는 어레이 센서(2)에 의한 촬상에 관한 촬상 처리에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터의 임계값을 설정하고, 임계값에 기초하여 설정한 파라미터를 사용한 처리가 행해지도록 하는 임계값 설정부(85)를 구비한다.
임계값을 사용하여 파라미터를 설정(변경)함으로써, 예를 들면 화상 신호에 대해, 물체 검출 등의 처리를 위한 필요 최소한의 품질 등(예를 들면, 필요 최소한의 해상도 등)으로서 출력할 수 있다. 따라서, 출력하는 화상 신호의 데이터량을 삭감하면서, 후단의 처리(물체 검출 등)의 처리의 성능, 정밀도 등을 저하시키지 않는다고 하는 것도 가능해진다.
또한, 이에 의해, 저소비 전력화, 처리의 고속화도 실현할 수 있다.
한편, 제6 실시형태에서 설명한 도 22의 처리 예는, 연산부(8)는 어레이 센서(2)에서의 촬상에 의해 얻어진 화상 신호로부터 검출되는 물체에 대해 클래스 식별을 행하고, 식별된 클래스에 기초하여 화상 처리에 사용하는 파라미터 세트를 선택하고, 선택한 파라미터로 로직부(5)의 처리 설정을 행하고, 그 선택한 파라미터를 임계값에 따라 설정(조정)하는 예로 하고 있다. 따라서, 클래스마다 적응하는 파라미터 세트에 있어서의 일부 또는 전부의 파라미터가, 임계값에 따라 더욱 조정 설정되게 되고, 클래스에 적응한 후에, 나아가 물체 검출 등의 검출 정밀도를 유지하면서 필요 충분한 데이터량으로 할 수 있다. 클래스에 적응하는 파라미터 세트를 더욱 조정하기 때문에, 보다 데이터량 저감을 진행할 수 있고, 저소비 전력화, 처리의 고속화도 진행할 수 있다.
다만, 이 도 22와 같은 예에 한정되지 않고, 단지 클래스에 따르지 않고 설정되어 있는 파라미터의 전부 또는 일부를, 임계값에 기초하여 변경하도록 해도 된다. 그 경우에도, 물체 검출 등에 대해 요구되는 성능, 정밀도를 유지하면서 화상 신호의 데이터량의 삭감, 저소비 전력화, 처리의 고속화를 실현할 수 있다.
제6 실시형태에서는, 임계값 설정부(85)는, 화상 신호로부터 검출되는 물체의 클래스에 따른 임계값을 설정하는 것으로 하였다. 예를 들면, 「사람」, 「자동차」, 「표지」 등의 클래스에 따라 적절한 임계값을 설정한다.
물체 검출 등을 위해 화상에 요구되는 해상도와 검출 정밀도의 관계는, 클래스에 따라 다르다. 이에, 클래스에 따라 임계값을 설정하고, 로직부(5)로부터 출력되는 화상 신호의 해상도 등이 변경되도록 함으로써, 클래스에 따라, 필요 최소한의 해상도 등에 의한 출력이 가능해진다. 즉, 클래스에 따라 해상도 등의 파라미터를 최적화하고, 물체 검출 정밀도 등을 요구되는 레벨로 유지하면서, 데이터 삭감, 저소비 전력화, 처리의 고속화 등을 실현할 수 있다.
제6 실시형태에서는, 임계값 설정부(85)는, 화상 신호에 대한 학습 처리에 기초하여 임계값을 설정한다. 예를 들면, 센서 장치(1) 측에서 로컬 러닝으로서의 학습 처리를 행하여 임계값을 구한다. 화상 신호에 대한 학습 처리를 행함으로써, 임계값 및 그에 따른 파라미터로서 바람직한 값을 판정한다. 이에 의해, 촬상 환경이나 촬상 화상 내용, 검출 대상물 등에 따라 적응적으로 파라미터 설정이 행해진다.
또한, 이러한 로컬 러닝을 센서 장치(1) 내, 또는 센서 장치(1)를 포함하는 단말 장치(100) 내에서 행함으로써, 해당 센서 장치(1)에 있어서 요구되는 화상 정밀도 등에 적합한 임계값을 산출할 수 있게도 된다.
또한, 클래스마다의 로컬 러닝에 의해 임계값을 설정함으로써, 나아가 클래스에 적응한 파라미터 설정에 의해, 출력하는 화상 신호의 해상도 등의 최적화가 실현된다.
제6 실시형태에서는, 임계값 설정부(85)는, 컨피던스 레이트(물체 검출의 확증성의 비율)로서 소정의 비율이 얻어지도록 임계값을 설정하는 것으로 하였다.
화상으로부터의 물체 검출의 정밀도로서 요구되는 컨피던스 레이트는, 그 검출에 대해 목적, 대상, 기기/애플리케이션 프로그램의 종류, 시기, 지역 등에 따라 다르다.
예를 들면, 확증성이 80%로 좋은 것이라면, 80% 이상의 확증성이 얻어지도록 임계값이 설정되고, 그에 따른 파라미터가 설정되면 된다. 또한, 95% 이상의 확증성이 요구되는 것이라면, 임계값을 높게 하여 파라미터를 설정하면 된다.
따라서, 임계값의 설정(나아가서는 파라미터의 설정)은, 물체 검출에 대해 요구되는 컨피던스 레이트에 기초하여 설정되도록 함으로써, 그 처리의 실시에 따른 적응화로서, 바람직한 화상 신호의 품질과, 그에 따른 데이터 삭감, 저소비 전력화, 처리의 고속화 등을 실현할 수 있다.
제6 실시형태의 임계값 설정부(85)는, 로직부(5)와 동일한 하우징의 장치 내에 설치되는 예를 들었다(도 21, 도 25, 도 26 참조). 예를 들면, 센서 장치(1)로서의 유닛 내, 또는 센서 장치(1)를 포함하는 단말 장치(100) 내에 임계값 설정부(85)가 설치되도록 하고 있다. 그리고 임계값 설정부(85)는, 로컬 러닝을 행하여 임계값 및 그에 따른 파라미터를 설정한다. 이것은, 해당 센서 장치(1)나 단말 장치(100)로서의 기기에 적응하는 상태를 학습하여 임계값의 설정을 행하는 것을 의미한다. 이에 의해 센서 장치(1)나 단말 장치(100)로서 요구되는 출력을 실현하는 적절한 임계값 설정이 가능해진다.
제7, 제8 실시형태에서는, 연산부(8)는, 과거의 영역 정보에 관한 정보(영역 정보의 근원이 되는 물체의 검출 영역 바운딩 박스(20)나 영역 정보 자체인 ROI(21)나 AROI(22))에 기초하여 어레이 센서(2)로부터 취득하는 검출 신호에 대한 액티브 에어리어(RA)를 설정한다(도 29, 도 32의 S251).
그리고, 액티브 에어리어(RA)의 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성한 ROI(21)나 AROI(22)를 신호 처리부(30)에 대해, 어레이 센서(2)로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시한다.
이에 의해, ROI(21)나 AROI(22)를 설정하기 위한 물체 검출의 처리 부담이 현저하게 저감된다. 구체적으로는, 스텝(S203)의 처리가 경감된다. 따라서, 처리 부담 삭감, 고속화, 및 소비 전력의 삭감이라고 하는 효과를 얻을 수 있다.
제7, 제8 실시형태에서는, 연산부(8)는, 과거의 ROI(21)나 AROI(22)가 기초하는 물체 검출의 검출 영역, 즉, 바운딩 박스(20)가 포함되도록 액티브 에어리어(RA)를 설정하는 것으로 하였다.
처리를 계속함으로써 바운딩 박스(20)가 전혀 설정되지 않는 영역이 화상 상에 존재하는 경우가 있다. 그러한 영역은, 목적 물체는 검출되지 않는 비액티브 에어리어(DA)로 할 수 있고, 반대로 그 이외를 액티브 에어리어(RA), 즉, 물체 검출이 이루어질 가능성이 있는 영역으로 할 수 있다.
과거의 복수의 바운딩 박스(20)에 기초함으로써 액티브 에어리어(RA)를 용이하고 적절하게 설정할 수 있다. 또한, 촬상 환경, 촬상 방향 등에도 적합한 액티브 에어리어(RA)의 설정이 가능하게도 된다.
제7, 제8 실시형태에서는, 연산부(8)는, ADC/픽셀 선택기(3)가 ROI(21)나 AROI(22)에 의한 검출 소자의 선택을 행한 상태에서 어레이 센서(2)로부터 취득한 검출 신호에 대해 물체 검출을 행하고, 목적 물체가 검출되지 않은 경우에는, 후속 프레임에 있어서, ADC/픽셀 선택기(3)가 액티브 에어리어의 검출 신호를 상기 어레이 센서로부터 취득하도록 지시하는 것으로 하였다(도 29, 도 32의 S205, S201, S252 참조).
즉, 연산부(8)는, 어레이 센서(2)로부터 일부 검출 소자의 정보만을 취득한 프레임에 있어서 목적 물체가 검출되지 않게 되면, 취득부에서의 검출 신호의 취득을 통상의 상태로 되돌리도록 한다.
이에 의해, 1프레임의 액티브 에어리어의 화상 신호로부터 물체 검출을 행하는 상태로 되돌아가서, 다시 촬상된 화상 중에서, 필요한 범위에서 목적 물체 검출을 행할 수 있다. 사실상, 화상 전체를 감시할 수 있는 상태가 된다.
제7, 제8 실시형태에서는, 연산부(8)는, 어레이 센서(2)로부터 얻어지는 검출 신호 중에서 키 프레임을 대상으로 하고, 액티브 에어리어(RA)의 검출 신호로부터의 물체 검출에 기초하여 영역 정보를 생성하는 예를 서술하였다(도 29, 도 32의 S201, S252 참조).
모든 프레임이 아니라 키 프레임을 대상으로 함으로써, 연산부(8)의 처리 부담이 과대하게 되지 않는다. 또한, 적절한 선택 알고리즘에 기초하여 키 프레임을 선택함으로써, 적절한 물체 검출이 가능한 상태를 유지할 수 있다.
이 경우에도, 키 프레임은, 소정의 시간 간격마다의 프레임으로 되거나, 프로세서(11) 등의 외부로부터의 명령에 기초하는 타이밍의 프레임으로 되는 것을 생각할 수 있다.
제8 실시형태에서는, 연산부(8)는 어레이 센서(2)로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 클래스 식별을 행하고, 해당 물체에 대응하는 영역 정보(AROI(22))를, 식별된 클래스에 대응하는 템플릿을 사용하여 생성한다. 이 경우에, 임계값을 바탕으로 해상도 등의 파라미터가 산출되어 기록되어 있는 AROI(22)를 사용할 수 있다(도 32의 S262, S211 참조).
임계값을 사용하여 AROI(22)에 의해 나타내어지는 취득 영역의 파라미터를 설정(변경)함으로써, 예를 들면 화상 신호에 대해, 물체 검출 등의 처리를 위한 필요 최소한의 품질 등(예를 들면, 필요 최소한의 해상도 등)으로서 출력할 수 있다.
또한, 템플릿을 사용하여 광전 변환 및 디지털 데이터화하는 화소를 지정한 화상은, 적은 데이터량으로 유효한 물체 검출에 적합한 것이 된다.
따라서, 템플릿을 사용하는 것, 및 임계값에 의해, 예를 들면 해상도 등의 파라미터를 설정함으로써, 출력하는 화상 신호의 데이터량을 삭감하면서, 후단의 처리(물체 검출 등)의 처리 성능, 정밀도 등을 저하시키지 않는다고 하는 것도 가능해진다. 또한, 이에 의해 저소비 전력화, 처리의 고속화도 실현할 수 있다.
또한, 템플릿은 「사람」, 「자동차」 등의 클래스마다 검출 신호의 취득 영역을 나타낸 것으로, 클래스마다, 특히 필요한 부분의 정보를 집중적으로 취득하는 것도 가능해진다.
제9 실시형태에서는, 어레이 센서(2)로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 프레임 레이트의 임계값을 설정하고, 임계값에 기초하여 설정한 프레임 레이트를 사용한 처리가 행해지도록 하는 임계값 설정부(85)를 구비한다(도 35 참조).
임계값을 사용하여 프레임 레이트를 설정(변경)함으로써, 검출 대상의 클래스에 적합한 프레임 레이트를 적용할 수 있다. 구체적으로는, 검출 대상의 클래스의 물체 검출의 성능을 저하시키지 않도록 하면서, 프레임 레이트를 내림으로써 화상 신호의 데이터량의 삭감, 저소비 전력화, 처리의 고속화를 실현할 수 있다.
제9 실시형태에서는, 임계값 설정부(85)는, 화상으로부터의 오브젝트 트래킹을 유지할 수 있는 프레임 레이트로서 임계값을 설정한다.
이에 의해, 화상으로부터의 오브젝트 트래킹을 행하면서 행하는 물체 검출 정밀도를 유지하면서, 클래스에 따른 데이터 삭감, 저소비 전력화, 처리의 고속화 등을 실현할 수 있다.
제9 실시형태에서는, 연산부(8)는, 프레임 레이트가 높아지는 제2 모드(노멀 모드)의 프레임 레이트로서, 임계값 설정부(85)가 설정한 프레임 레이트를 사용한다. 이에 의해, 프레임 레이트가 높아지는 경우에 있어서, 클래스에 따라 비교적 낮게 한 프레임 레이트를 사용할 수 있게 된다.
제1, 제2, 제3, 제4, 제5, 제6, 제7, 제8, 제9의 각 실시형태는, 각각 적절히 조합할 수 있다.
조합에 의해, 각 실시형태의 효과를 증대시키는 것이 가능하다. 즉, 화상으로부터의 물체 검출 등의 처리의 정밀도를 유지하면서, 화상 신호의 데이터량의 삭감, 저소비 전력화, 처리의 고속화 등의 효과를 보다 크게 할 수 있다.
한편, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 또한 다른 효과가 있어도 된다.
한편, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
복수의 가시광 또는 비가시광의 촬상 소자가 1차원 또는 2차원으로 배열된 어레이 센서와,
상기 어레이 센서에서의 촬상에 의해 얻어진 화상 신호에 대해 화상 처리를 행하는 화상 처리부와,
상기 어레이 센서에 의한 촬상에 관한 촬상 처리 또는 상기 화상 처리부의 화상 처리에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터 설정에 사용하는 임계값을 설정하고, 상기 임계값에 기초하여 설정한 파라미터를 사용한 처리가 행해지도록 하는 임계값 설정부를 구비한 센서 장치.
(2)
상기 임계값 설정부는, 화상 신호로부터 검출되는 물체의 클래스에 따른 상기 임계값을 설정하는 상기 (1)에 기재된 센서 장치.
(3)
상기 임계값 설정부는, 화상 신호에 대한 학습 처리에 기초하여 상기 임계값을 설정하는 상기 (1) 또는 (2)에 기재된 센서 장치.
(4)
상기 임계값 설정부는, 물체 검출의 확증성의 비율로서 소정의 비율이 얻어지도록 상기 임계값을 설정하는 상기 (1) 내지 (3) 중 어느 하나에 기재된 센서 장치.
(5)
상기 임계값 설정부는, 상기 화상 처리부와 동일한 하우징의 장치 내에 설치되는 상기 (1) 내지 (4) 중 어느 하나에 기재된 센서 장치.
(6)
복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와,
상기 어레이 센서에 의한 검출 신호를 취득하여, 신호 처리를 행하는 신호 처리부와,
상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성한 영역 정보를, 상기 신호 처리부에 대해, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 연산부를 구비하고,
상기 연산부는,
과거의 영역 정보에 관한 정보에 기초하여 상기 어레이 센서로부터 취득하는 검출 신호에 대한 액티브 에어리어를 설정하고, 상기 액티브 에어리어의 검출 신호를 사용하여 물체 검출을 행하는 센서 장치.
(7)
상기 연산부는, 과거의 소정 기간에 생성한 복수의 영역 정보에 대해, 각 영역 정보가 기초하는 물체 검출에 있어서의 검출 영역이 포함되도록 상기 액티브 에어리어를 설정하는 상기 (6)에 기재된 센서 장치.
(8)
상기 신호 처리부는, 상기 어레이 센서의 검출 소자에 대해 선택적으로 검출 신호를 취득하는 취득부를 가지며,
상기 취득부는, 검출 신호의 1프레임으로서, 상기 연산부로부터의 영역 정보에 기초하여 선택되는 검출 소자의 검출 신호를 취득하고,
상기 연산부는, 상기 취득부가 영역 정보에 의한 검출 소자의 선택을 행한 상태에서 상기 어레이 센서로부터 취득한 검출 신호에 대해 물체 검출을 행하여 목적 물체가 검출되지 않은 경우에는, 후속 프레임에 있어서, 상기 취득부가 상기 액티브 에어리어의 검출 신호를 상기 어레이 센서로부터 취득하도록 지시하는 상기 (6) 또는 (7)에 기재된 센서 장치.
(9)
상기 연산부는,
상기 어레이 센서로부터 얻어지는 검출 신호 중에서 키 프레임으로 되는 프레임을 대상으로 하여, 상기 액티브 에어리어의 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 영역 정보를 생성하는 상기 (6) 내지 (8) 중 어느 하나에 기재된 센서 장치.
(10)
상기 연산부는, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 클래스 식별을 행하고, 해당 물체에 대응하는 영역 정보를, 식별된 클래스에 대응하여 검출 신호의 취득 영역을 나타낸 템플릿을 사용하여 생성하고,
상기 신호 처리부의 신호 처리 또는 상기 어레이 센서에 의한 검출 신호의 취득에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터의 임계값을 설정하고, 상기 템플릿에 의해 나타내어지는 취득 영역에 대한 처리의 파라미터를 상기 임계값에 기초하여 설정하는 임계값 설정부를 구비하는 상기 (6) 내지 (9) 중 어느 하나에 기재된 센서 장치.
(11)
복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와,
상기 어레이 센서에 의한 검출 신호를 취득하여, 신호 처리를 행하는 신호 처리부와,
상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 프레임 레이트의 임계값을 설정하고, 상기 임계값에 기초하여 설정한 프레임 레이트를 사용한 처리가, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 행해지도록 하는 임계값 설정부를 구비한 센서 장치.
(12)
상기 임계값 설정부는, 화상으로부터의 오브젝트 트래킹을 유지할 수 있는 프레임 레이트로서 상기 임계값을 설정하는 상기 (11)에 기재된 센서 장치.
(13)
물체 검출의 결과에 따라 제1 모드와 제2 모드 중 어느 하나의 프레임 레이트의 설정값에 의한 제어를 행함과 함께, 상기 제1 모드와 상기 제2 모드 중 일방의 프레임 레이트의 설정값으로서, 상기 임계값 설정부가 설정한 프레임 레이트의 설정값이 사용되도록 하는 상기 (11) 또는 (12)에 기재된 센서 장치.
(14)
상기 화상 처리부에서 화상 처리된 화상 신호를 외부 장치에 출력하는 출력부를 구비한 상기 (1) 내지 (13) 중 어느 하나에 기재된 센서 장치.
(15)
상기 출력부는, 출력하는 화상 신호에 대한 클래스 식별에 관한 정보의 송신도 행하는 상기 (14)에 기재된 센서 장치.
(16)
상기 화상 처리부는, 화상 신호에 대한 화상 처리로서, 색 보정, 감마 보정, 색 계조 처리, 게인 처리, 윤곽 강조 처리, 데이터 압축 처리, 프레임 레이트 변환, 해상도 변환, 종횡 비율 변환, 콘트라스트 조정 처리, 샤프니스 조정 처리, 그레이 레벨 조정 처리, 샘플링 레이트 변경 처리 중 적어도 하나를 행하는 상기 (1) 내지 (15) 중 어느 하나에 기재된 센서 장치.
(17)
복수의 가시광 또는 비가시광의 촬상 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에서의 촬상에 의해 얻어진 화상 신호에 대해 화상 처리를 행하는 화상 처리부를 갖는 센서 장치에 있어서의 신호 처리 방법으로서,
상기 어레이 센서에 의한 촬상에 관한 촬상 처리 또는 상기 화상 처리부의 화상 처리에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터 설정에 사용하는 임계값을 설정하고, 상기 임계값에 기초하여 변경된 파라미터를 사용한 처리가 행해지도록 하는 신호 처리 방법.
(18)
복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호를 취득하여 신호 처리를 행하는 신호 처리부를 갖는 센서 장치에 있어서의 신호 처리 방법으로서,
상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성한 영역 정보를, 상기 신호 처리부에 대해, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리와,
과거의 영역 정보에 기초하여 상기 어레이 센서로부터 취득하는 검출 신호에 대한 액티브 에어리어를 설정하는 처리를 행하고,
상기 어레이 센서에 의한 검출 신호로서 상기 액티브 에어리어의 검출 신호를 사용하여 상기 물체 검출을 행하는 신호 처리 방법.
(19)
복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호를 취득하여, 신호 처리를 행하는 신호 처리부를 갖는 센서 장치에 있어서의 신호 처리 방법으로서,
상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 프레임 레이트의 임계값을 설정하고, 상기 임계값에 기초하여 설정한 프레임 레이트를 사용한 처리가, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 행해지도록 하는 신호 처리 방법.
1: 센서 장치
2: 어레이 센서
3: ADC/픽셀 선택기
4: 버퍼
5: 로직부
6: 메모리
7: 인터페이스부
8: 연산부
11: 프로세서
12: 외부 센서
20: 바운딩 박스
21: ROI
22: 어드밴스드 ROI(AROI)
23: 후보 영역
30: 신호 처리부
81: 키 프레임 선택부
82: 물체 영역 인식부
83: 클래스 식별부
84: 파라미터 선택부
85: 임계값 설정부
100: 단말 장치

Claims (19)

  1. 복수의 가시광 또는 비가시광의 촬상 소자가 1차원 또는 2차원으로 배열된 어레이 센서와,
    상기 어레이 센서에서의 촬상에 의해 얻어진 화상 신호에 대해 화상 처리를 행하는 화상 처리부와,
    상기 어레이 센서에 의한 촬상에 관한 촬상 처리 또는 상기 화상 처리부의 화상 처리에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터 설정에 사용하는 임계값을 설정하고, 상기 임계값에 기초하여 설정한 파라미터를 사용한 처리가 행해지도록 하는 임계값 설정부를 구비한, 센서 장치.
  2. 제1항에 있어서,
    상기 임계값 설정부는, 화상 신호로부터 검출되는 물체의 클래스에 따른 상기 임계값을 설정하는, 센서 장치.
  3. 제1항에 있어서,
    상기 임계값 설정부는, 화상 신호에 대한 학습 처리에 기초하여 상기 임계값을 설정하는, 센서 장치.
  4. 제1항에 있어서,
    상기 임계값 설정부는, 물체 검출의 확증성의 비율로서 미리 정해진 비율이 얻어지도록 상기 임계값을 설정하는, 센서 장치.
  5. 제1항에 있어서,
    상기 임계값 설정부는, 상기 화상 처리부와 동일한 하우징의 장치 내에 설치되는, 센서 장치.
  6. 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와,
    상기 어레이 센서에 의한 검출 신호를 취득하여, 신호 처리를 행하는 신호 처리부와,
    상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성한 영역 정보를, 상기 신호 처리부에 대해, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 연산부를 구비하고,
    상기 연산부는,
    과거의 영역 정보에 관한 정보에 기초하여 상기 어레이 센서로부터 취득하는 검출 신호에 대한 액티브 에어리어를 설정하고, 상기 액티브 에어리어의 검출 신호를 사용하여 물체 검출을 행하는, 센서 장치.
  7. 제6항에 있어서,
    상기 연산부는, 과거의 미리 정해진 기간에 생성한 복수의 영역 정보에 대해, 각 영역 정보가 기초하는 물체 검출에 있어서의 검출 영역이 포함되도록 상기 액티브 에어리어를 설정하는, 센서 장치.
  8. 제6항에 있어서,
    상기 신호 처리부는, 상기 어레이 센서의 검출 소자에 대해 선택적으로 검출 신호를 취득하는 취득부를 가지며,
    상기 취득부는, 검출 신호의 1프레임으로서, 상기 연산부로부터의 영역 정보에 기초하여 선택되는 검출 소자의 검출 신호를 취득하고,
    상기 연산부는, 상기 취득부가 영역 정보에 의한 검출 소자의 선택을 행한 상태에서 상기 어레이 센서로부터 취득한 검출 신호에 대해 물체 검출을 행하여 목적 물체가 검출되지 않은 경우에는, 후속 프레임에 있어서, 상기 취득부가 상기 액티브 에어리어의 검출 신호를 상기 어레이 센서로부터 취득하도록 지시하는, 센서 장치.
  9. 제6항에 있어서,
    상기 연산부는,
    상기 어레이 센서로부터 얻어지는 검출 신호 중에서 키 프레임(keyframe)으로 되는 프레임을 대상으로 하여, 상기 액티브 에어리어의 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 영역 정보를 생성하는, 센서 장치.
  10. 제6항에 있어서,
    상기 연산부는, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 클래스 식별을 행하고, 해당 물체에 대응하는 영역 정보를, 식별된 클래스에 대응하여 검출 신호의 취득 영역을 나타낸 템플릿을 사용하여 생성하고,
    상기 신호 처리부의 신호 처리 또는 상기 어레이 센서에 의한 검출 신호의 취득에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터의 임계값을 설정하고, 상기 템플릿에 의해 나타내어지는 취득 영역에 대한 처리의 파라미터를 상기 임계값에 기초하여 설정하는 임계값 설정부를 구비하는, 센서 장치.
  11. 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와,
    상기 어레이 센서에 의한 검출 신호를 취득하여, 신호 처리를 행하는 신호 처리부와,
    상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 프레임 레이트의 임계값을 설정하고, 상기 임계값에 기초하여 설정한 프레임 레이트를 사용한 처리가, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 행해지도록 하는 임계값 설정부를 구비한, 센서 장치.
  12. 제11항에 있어서,
    상기 임계값 설정부는, 화상으로부터의 오브젝트 트래킹(object tracking)을 유지할 수 있는 프레임 레이트로서 상기 임계값을 설정하는, 센서 장치.
  13. 제11항에 있어서,
    물체 검출의 결과에 따라 제1 모드와 제2 모드 중 어느 하나의 프레임 레이트의 설정값에 의한 제어를 행함과 함께, 상기 제1 모드와 상기 제2 모드 중 일방의 프레임 레이트의 설정값으로서, 상기 임계값 설정부가 설정한 프레임 레이트의 설정값이 사용되도록 하는, 센서 장치.
  14. 제1항에 있어서,
    상기 화상 처리부에서 화상 처리된 화상 신호를 외부 장치로 출력하는 출력부를 구비한, 센서 장치.
  15. 제14항에 있어서,
    상기 출력부는, 출력하는 화상 신호에 대한 클래스 식별에 관한 정보의 송신도 행하는, 센서 장치.
  16. 제1항에 있어서,
    상기 화상 처리부는, 화상 신호에 대한 화상 처리로서, 색 보정, 감마 보정, 색 계조 처리, 게인 처리, 윤곽 강조 처리, 데이터 압축 처리, 프레임 레이트 변환, 해상도 변환, 종횡 비율 변환, 콘트라스트 조정 처리, 샤프니스(sharpness) 조정 처리, 그레이 레벨 조정 처리, 샘플링 레이트 변경 처리 중 적어도 하나를 행하는, 센서 장치.
  17. 복수의 가시광 또는 비가시광의 촬상 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에서의 촬상에 의해 얻어진 화상 신호에 대해 화상 처리를 행하는 화상 처리부를 갖는 센서 장치에 있어서의 신호 처리 방법으로서,
    상기 어레이 센서에 의한 촬상에 관한 촬상 처리 또는 상기 화상 처리부의 화상 처리에 사용하는 파라미터의 전부 또는 일부에 대해, 파라미터 설정에 사용하는 임계값을 설정하고, 상기 임계값에 기초하여 변경된 파라미터를 사용한 처리가 행해지도록 하는, 신호 처리 방법.
  18. 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호를 취득하여 신호 처리를 행하는 신호 처리부를 갖는 센서 장치에 있어서의 신호 처리 방법으로서,
    상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성한 영역 정보를, 상기 신호 처리부에 대해, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리와,
    과거의 영역 정보에 기초하여 상기 어레이 센서로부터 취득하는 검출 신호에 대한 액티브 에어리어를 설정하는 처리를 행하고,
    상기 어레이 센서에 의한 검출 신호로서 상기 액티브 에어리어의 검출 신호를 사용하여 상기 물체 검출을 행하는, 신호 처리 방법.
  19. 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호를 취득하여, 신호 처리를 행하는 신호 처리부를 갖는 센서 장치에 있어서의 신호 처리 방법으로서,
    상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 프레임 레이트의 임계값을 설정하고, 상기 임계값에 기초하여 설정한 프레임 레이트를 사용한 처리가, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대해 식별되는 클래스에 따라 행해지도록 하는, 신호 처리 방법.
KR1020217039607A 2019-06-14 2020-04-25 센서 장치 및 신호 처리 방법 KR20220020264A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019111094A JP7279533B2 (ja) 2019-06-14 2019-06-14 センサ装置、信号処理方法
JPJP-P-2019-111094 2019-06-14
PCT/JP2020/017872 WO2020250584A1 (ja) 2019-06-14 2020-04-25 センサ装置、信号処理方法

Publications (1)

Publication Number Publication Date
KR20220020264A true KR20220020264A (ko) 2022-02-18

Family

ID=73781756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217039607A KR20220020264A (ko) 2019-06-14 2020-04-25 센서 장치 및 신호 처리 방법

Country Status (6)

Country Link
US (1) US20220210317A1 (ko)
EP (1) EP3985958A4 (ko)
JP (1) JP7279533B2 (ko)
KR (1) KR20220020264A (ko)
CN (1) CN113994654A (ko)
WO (1) WO2020250584A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411567B (zh) * 2021-06-02 2022-09-23 西北核技术研究所 一种阵列式图像传感器激光损伤阈值估算方法
CN113473017A (zh) * 2021-07-01 2021-10-01 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及存储介质
WO2023140446A1 (ko) * 2022-01-19 2023-07-27 한화비전 주식회사 영상처리장치 및 그의 영상처리방법
WO2024024283A1 (ja) * 2022-07-29 2024-02-01 株式会社Ｊｖｃケンウッド 画像認識支援装置、方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318262A (ja) 2006-05-23 2007-12-06 Sanyo Electric Co Ltd 撮像装置
JP2014225868A (ja) 2013-04-19 2014-12-04 キヤノン株式会社 撮像装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1220182A3 (en) * 2000-12-25 2005-08-17 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
JP3621065B2 (ja) * 2000-12-25 2005-02-16 松下電器産業株式会社 画像検出装置、プログラムおよび記録媒体
EP2070774B1 (en) * 2007-12-14 2012-11-07 SMR Patents S.à.r.l. Security system and a method to derive a security signal
JP5532561B2 (ja) * 2008-08-25 2014-06-25 株式会社ニコン 撮像装置、画像再生装置、画像変換装置、画像再生プログラム
JP5009880B2 (ja) * 2008-09-19 2012-08-22 富士フイルム株式会社 撮像装置及び撮像方法
JP5213620B2 (ja) * 2008-10-01 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法
JP5672862B2 (ja) * 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
US8773577B2 (en) * 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
JP6150583B2 (ja) * 2013-03-27 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
US10346465B2 (en) * 2013-12-20 2019-07-09 Qualcomm Incorporated Systems, methods, and apparatus for digital composition and/or retrieval
US9544497B2 (en) * 2014-05-21 2017-01-10 Qualcomm Incorporated System and method for determining image resolution
CN105187835B (zh) * 2014-05-30 2019-02-15 阿里巴巴集团控股有限公司 基于内容的自适应视频转码方法及装置
US9602728B2 (en) * 2014-06-09 2017-03-21 Qualcomm Incorporated Image capturing parameter adjustment in preview mode
US9465444B1 (en) * 2014-06-30 2016-10-11 Amazon Technologies, Inc. Object recognition for gesture tracking
US9621741B2 (en) * 2014-12-10 2017-04-11 Intel Corporation Techniques for context and performance adaptive processing in ultra low-power computer vision systems
US9898668B2 (en) * 2015-08-27 2018-02-20 Qualcomm Incorporated System and method of object detection
US10275669B2 (en) * 2015-09-09 2019-04-30 Lightmetrics Technologies Pvt. Ltd. System and method for detecting objects in an automotive environment
JP2017078877A (ja) * 2015-10-19 2017-04-27 セイコーエプソン株式会社 画像処理装置、ロボット、及びロボットシステム
JP6897679B2 (ja) * 2016-06-28 2021-07-07 ソニーグループ株式会社 撮像装置、撮像方法、プログラム
JP6832155B2 (ja) * 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
JP2018164199A (ja) * 2017-03-27 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法
CN107896303A (zh) * 2017-10-23 2018-04-10 努比亚技术有限公司 一种图像采集方法、系统和设备及计算机可读存储介质
US11074470B2 (en) * 2017-12-06 2021-07-27 La Société Dataperformers Inc. System and method for automatically improving gathering of data using a data gathering device
JP6705533B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、パラメータ設定方法
JP6705534B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、信号処理方法
JP6683280B1 (ja) * 2018-10-19 2020-04-15 ソニー株式会社 センサ装置、信号処理方法
US20220296081A1 (en) * 2019-06-21 2022-09-22 Augere Medical As Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium
JP7347464B2 (ja) * 2021-03-16 2023-09-20 トヨタ自動車株式会社 画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318262A (ja) 2006-05-23 2007-12-06 Sanyo Electric Co Ltd 撮像装置
JP2014225868A (ja) 2013-04-19 2014-12-04 キヤノン株式会社 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1: 가와이 요시히코, 텔레비전 영상에 있어서의 얼굴 인식 기술, NHK 기술 연구소 R&D/No.164/2017.8, P23-P30

Also Published As

Publication number Publication date
WO2020250584A1 (ja) 2020-12-17
CN113994654A (zh) 2022-01-28
JP7279533B2 (ja) 2023-05-23
EP3985958A1 (en) 2022-04-20
JP2020205482A (ja) 2020-12-24
US20220210317A1 (en) 2022-06-30
EP3985958A4 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
JP6705533B2 (ja) センサ装置、パラメータ設定方法
JP6683280B1 (ja) センサ装置、信号処理方法
JP6705534B2 (ja) センサ装置、信号処理方法
KR102556560B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 화상 처리 시스템
KR20220020264A (ko) 센서 장치 및 신호 처리 방법
WO2020080139A1 (ja) センサ装置、パラメータ設定方法
WO2020080141A1 (ja) センサ装置、信号処理方法
US12003845B2 (en) Sensor apparatus having array sensor for sensor-equipped device, sensor equipped device provided with sensor apparatus having array sensor, and contol method for sensor apparatus having array sensor for sensor-equipped device
EP4130868A1 (en) Sensor apparatus, sensor-equipped device and sensor apparatus processing method
WO2022004413A1 (ja) 情報処理装置、情報処理方法、並びにプログラム