KR20220068990A - 촬상 장치 - Google Patents

촬상 장치 Download PDF

Info

Publication number
KR20220068990A
KR20220068990A KR1020227008241A KR20227008241A KR20220068990A KR 20220068990 A KR20220068990 A KR 20220068990A KR 1020227008241 A KR1020227008241 A KR 1020227008241A KR 20227008241 A KR20227008241 A KR 20227008241A KR 20220068990 A KR20220068990 A KR 20220068990A
Authority
KR
South Korea
Prior art keywords
pixel
unit
imaging
processing
vehicle
Prior art date
Application number
KR1020227008241A
Other languages
English (en)
Inventor
야스시 사토
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20220068990A publication Critical patent/KR20220068990A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H04N5/343—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H04N5/347—
    • H04N5/355—
    • H04N9/07—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

촬상 화상을 촬상 조건에 따라 적응적으로 취득 가능한 촬상 장치를 제공한다. 촬상 장치(1)는, 각각 N개×N개(N은 2 이상의 정수)의 화소(100)를 포함하는 복수의 화소 그룹을 갖는 화소 어레이(110)를 포함하고, 각 화소로부터 판독된 화소 신호를 출력하는 촬상부(10)와, 촬상부에 의한 화소 각각으로부터 화소 신호를 판독하는 판독 모드를 스위칭하는 스위칭부(14)를 구비하고, 스위칭부는, 판독 모드를, 화소 그룹에 포함되는 N개×N개의 각 화소로부터 판독된 화소 신호 각각을 가산하여 1개의 화소 신호로 하는 가산 모드와, 화소 그룹에 포함되는 N개×N개의 각 화소로부터 판독된 화소 신호 각각을 개별적으로 출력하는 개별 모드 사이에서 스위칭한다.

Description

촬상 장치
본 개시는 촬상 장치에 관한 것이다.
종래부터, 촬상 장치에 있어서, 촬상 소자에 의해 검지한 피사체나 촬상 환경의 밝기 등에 기초하여 노출 시간, 화소 신호에 대한 게인 등을 제어하여 촬상을 행하도록 한 기술이 알려져 있다.
특허문헌 1: 일본특허공개 제2013-066146호 공보
그러나, 종래에서는, 예를 들면 해상도가 요구되지 않는 촬상 대상이라 하더라도 통상과 마찬가지의 해상도에서의 촬상이 행해져, 소비 전력이나 화상 처리의 자원의 최적화가 곤란하였다.
본 개시는, 촬상 화상을 촬상 조건에 따라 적응적으로 취득 가능한 촬상 장치를 제공하는 것을 목적으로 한다.
본 개시에 따른 촬상 장치는, 각각 N개×N개(N은 2 이상의 정수)의 화소를 포함하는 복수의 화소 그룹을 갖는 화소 어레이를 포함하고, 각 화소로부터 판독된 화소 신호를 출력하는 촬상부와, 촬상부에 의한 화소로부터 화소 신호를 판독하는 판독 모드를 스위칭하는 스위칭부를 구비하고, 스위칭부는, 판독 모드를, 화소 그룹에 포함되는 N개×N개의 각 화소로부터 판독된 화소 신호 각각을 가산하여 1개의 화소 신호로 하는 가산 모드와, 화소 그룹에 포함되는 N개×N개의 각 화소로부터 판독된 화소 신호 각각을 개별적으로 출력하는 개별 모드 사이에서 스위칭한다.
도 1은 각 실시형태에 적용 가능한 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 2는 베이어 배열(Bayer arrangement)의 예를 나타내는 도면이다.
도 3은 각 실시형태에 적용 가능한 컬러 필터 배열의 예를 나타내는 도면이다.
도 4는 각 실시형태에 적용 가능한 촬상부의 일례의 구성을 나타내는 블록도이다.
도 5는 각 실시형태에 적용 가능한 촬상 장치의 하드웨어 구성의 예를 나타내는 블록도이다.
도 6은 실시형태에 적용 가능한 동색(同色)간 그래디언트(inter-same-color gradient)의 검출을 설명하기 위한 모식도이다.
도 7은 실시형태에 적용 가능한 이색(異色)간 그래디언트의 검출을 설명하기 위한 모식도이다.
도 8은 실시형태에 적용 가능한 그래디언트 산출 방향의 예를 나타내는 도면이다.
도 9는 실시형태에 적용 가능한 그래디언트 산출 방향의 예를 나타내는 도면이다.
도 10은 분할 베이어형 RGB 배열에 있어서의 화소 신호의 판독 방법의 예를 설명하기 위한 모식도이다.
도 11은 HDR 촬상의 제1 예를 설명하기 위한 모식도이다.
도 12는 HDR 촬상의 제2 예를 설명하기 위한 모식도이다.
도 13은 HDR 촬상의 제2 예에 대해 가산 모드를 적용한 경우의 예를 설명하기 위한 모식도이다.
도 14는 HDR 촬상의 제2 예에 대해 개별 모드를 적용하여 리모자이크 처리(remosaic processing)를 실시하는 경우의 예를 설명하기 위한 모식도이다.
도 15는 제1 실시형태에 따른 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 16은 제1 실시형태에 따른 화소 처리부의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 17은 제1 실시형태에 따른, 2개의 촬상 조건에 따라 스위칭 제어 신호(CNG)를 생성하는 예를 설명하기 위한 모식도이다.
도 18a는 제1 실시형태의 제1 변형예에 따른 처리 영역에 대해 설명하기 위한 모식도이다.
도 18b는 제1 실시형태의 제1 변형예에 따른 처리 영역에 대해 설명하기 위한 모식도이다.
도 19는 제1 실시형태의 제1 변형예에 적용 가능한 화상 처리부의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 20은 제1 실시형태의 제2 변형예에 따른 처리 영역에 대해 설명하기 위한 모식도이다.
도 21은 제1 실시형태의 제2 변형예에 적용 가능한 화상 처리부의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 22a는 본 개시에 적용 가능한 화소 배열의 예를 나타내는 모식도이다.
도 22b는 본 개시에 적용 가능한 화소 배열의 예를 나타내는 모식도이다.
도 22c는 본 개시에 적용 가능한 화소 배열의 예를 나타내는 모식도이다.
도 22d는 본 개시에 적용 가능한 화소 배열의 예를 나타내는 모식도이다.
도 22e는 본 개시에 적용 가능한 화소 배열의 예를 나타내는 모식도이다.
도 23a는 제2 실시형태에 따른, 화소 그룹 내에서의 개별 모드 및 가산 모드의 스위칭 방법의 예를 설명하기 위한 모식도이다.
도 23b는 제2 실시형태에 따른, 화소 그룹 내에서의 개별 모드 및 가산 모드의 스위칭 방법의 예를 설명하기 위한 모식도이다.
도 23c는 제2 실시형태에 따른, 화소 그룹 내에서의 개별 모드 및 가산 모드의 스위칭 방법의 예를 설명하기 위한 모식도이다.
도 24는 제2 실시형태에 적용 가능한 화상 처리부의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 25는 제2 실시형태의 변형예에 따른 촬상부의 일례의 구성을 나타내는 블록도이다.
도 26은 본 개시에 따른 촬상 장치의 사용예를 나타내는 도면이다.
도 27은 본 개시에 따른 촬상 장치를 탑재 가능한 차량의 시스템 구성예를 나타내는 블록도이다.
도 28은 차량 시스템의 프론트 센싱 카메라에 관한 일례의 구성을 나타내는 블록도이다.
도 29는 본 개시에 따른 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
도 30은 촬상부의 설치 위치의 예를 나타내는 도면이다.
도 31은 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 32는 카메라 헤드 및 CCU의 기능 구성의 일례를 나타내는 블록도이다.
이하, 본 개시의 실시형태에 대해, 도면에 기초하여 상세하게 설명한다. 한편, 이하의 실시형태에서, 동일한 부위에는 동일한 부호를 붙임으로써, 중복된 설명을 생략한다.
이하, 본 개시의 실시형태에 대해, 하기의 순서에 따라 설명한다.
1. 본 개시의 각 실시형태에 적용 가능한 기술
1-1. 각 실시형태에 적용 가능한 구성
1-2. 리모자이크 처리에 대한 개략적인 설명
1-3. 화소 판독 방법의 예
2. 제1 실시형태
2-1. 제1 실시형태의 제1 변형예
2-2. 제1 실시형태의 제2 변형예
2-3. 제1 실시형태의 제3 변형예
3. 제2 실시형태
3-1. 제2 실시형태의 변형예
4. 제3 실시형태
4-0. 이동체에의 응용예
4-1. 내시경 수술 시스템에의 응용예
[1. 본 개시의 각 실시형태에 적용 가능한 기술]
(1-1. 각 실시형태에 적용 가능한 구성)
먼저, 본 개시의 각 실시형태에 적용 가능한 기술에 대해 설명한다. 도 1은 각 실시형태에 적용 가능한 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 1에 있어서, 촬상 장치(1)는, 촬상부(10)와, 광학부(11)와, 화상 처리부(12)와, 출력 처리부(13)와, 제어부(14)를 포함한다. 또한, 촬상 장치(1)가 차재 용도인 경우에는, 촬상 장치(1)는, 차량 정보 취득부(15)를 더 포함한다.
촬상부(10)는, 각각 하나 이상의 수광 소자를 포함하는 복수의 화소가 행렬 형상으로 배열된 화소 어레이를 갖는다. 또한, 광학부(11)는, 렌즈나 조리개 기구, 포커스 기구 등을 포함하고, 피사체로부터의 광을 화소 어레이의 수광면으로 가이드한다.
촬상부(10)는, 지정된 노출 시간 동안 노출된 각 화소로부터 화소 신호를 판독하고, 판독한 화소 신호에 대해 노이즈 제거나 게인 조정과 같은 신호 처리를 행하고 디지털 방식의 화소 데이터로 변환한다. 촬상부(10)는, 이 화소 신호에 기초한 화소 데이터를 출력한다. 이러한, 촬상부(10)에 의한, 노출 및 노출된 화소로부터 화소 신호를 판독하여 화소 데이터로서 출력하는 일련의 동작을, 촬상이라고 부른다.
화상 처리부(12)는, 촬상부(10)로부터 출력된 화소 데이터에 대해 소정의 화상 처리를 실시하고, 예를 들면 프레임 단위의 화상 데이터로서 출력한다. 화상 처리부(12)가 화소 데이터에 대해 실시하는 화상 처리는, 예를 들면 화소 데이터의 합성, 변환 처리, 화이트 밸런스 처리와 같은 색 조정 처리를 포함한다.
출력 처리부(13)는, 화상 처리부(12)로부터 출력된 화상 데이터를, 촬상 장치(1)로부터 출력하기 위해 적합한 형식으로 변환한다. 출력 처리부(13)로부터 출력된 출력 화상 데이터는, 예를 들면, 도시되지 않은 디스플레이에 공급되어, 화상으로서 표시된다. 이에 한정되지 않고, 출력 화상 데이터가 다른 장치, 예를 들면 출력 화상 데이터에 대해 인식 처리를 행하는 장치나, 출력 화상 데이터에 기초하여 제어를 행하는 제어 장치에 공급되어도 된다.
제어부(14)는, 이 촬상 장치(1)의 전체 동작을 제어한다. 제어부(14)는, 예를 들면 CPU(Central Processing Unit)와, 촬상 장치(1)의 각 부와 통신을 행하기 위한 인터페이스 회로를 포함하고, CPU가 소정의 프로그램에 따라 동작함으로써 각종의 제어 신호를 생성하고, 생성한 제어 신호에 의해 촬상 장치(1)의 각 부를 제어한다.
한편, 전술한 화상 처리부(12) 및 출력 처리부(13)는, 예를 들면, 소정의 프로그램에 따라 동작하는 DSP(Digital Signal Processor)나 ISP(Image Signal Processor)에 의해 구성할 수 있다. 이에 한정되지 않고, 화상 처리부(12) 및 출력 처리부(13) 중 일방 또는 양쪽 모두를, 제어부(14)와 함께 CPU 상에서 동작하는 프로그램에 의해 실현해도 된다. 이들 프로그램은, 촬상 장치(1)가 갖는 비휘발성 메모리에 미리 기억되어 있어도 되고, 외부로부터 촬상 장치(1)에 공급하여 해당 메모리에 기입해도 된다.
차량 정보 취득부(15)는, 해당 촬상 장치(1)가 차량에 탑재되어 사용되는 경우에, 해당 차량으로부터 차량 정보를 취득한다. 차량 정보 취득부(15)는, 차량 정보로서, 차량의 속도, 차량 전방의 밝기 등을 취득한다. 차량 정보 취득부(15)에 의해 취득된 차량 정보는, 제어부(14)로 전달된다. 제어부(14)는, 촬상부(10)나 화상 처리부(12)에 대해, 전달받은 차량 정보에 따른 처리를 지시할 수 있다.
촬상부(10)가 갖는 화소 어레이에 포함되는 각 화소는, 각각 소정의 파장 영역의 광을 투과시키는 광학 필터가 설치된다. 달리 특정되지 않는 한, 이 소정의 파장 영역의 광을 투과시키는 광학 필터를, 컬러 필터로서 설명을 행한다. 풀 컬러의 화상 데이터를 얻는 경우, 일반적으로는, R(적)색의 파장 대역의 광을 투과시키는 컬러 필터(이하, R색의 컬러 필터)와, G(녹)색의 파장 대역의 광을 투과시키는 컬러 필터(이하, G색의 컬러 필터)와, B(청)색의 파장 대역의 광을 투과시키는 컬러 필터(이하, B색의 컬러 필터)에 의한 3종의 컬러 필터가 사용된다. 이들 R색, G색 및 B색 각각의 컬러 필터의 배열은 다양하게 고려되지만, 일반적으로는, 베이어(Bayer) 배열이라고 불리는 배열이 사용된다.
도 2는 베이어 배열의 예를 나타내는 도면이다. 도 2에 있어서, 베이어 배열(120)은, 각각 G색의 컬러 필터가 배치되는 2개의 화소(100G)와, R색의 컬러 필터가 배치되는 1개의 화소(100R)와, B색의 컬러 필터가 배치되는 화소(100B)를 포함한다. 베이어 배열에서는, 이들 4개의 화소가, 2개의 화소(100G)가 인접하지 않도록, 2화소×2화소의 격자 형상으로 배열되어 구성된다. 바꾸어 말하면, 베이어 배열은, 동일 파장 대역의 광을 투과시키는 컬러 필터가 배치된 화소(100)가 인접하지 않도록 한 배열이다.
한편, 이하에서는, 달리 특정되지 않는 한, 「R색의 컬러 필터가 배치되는 화소(100R)」를, 「R색의 화소(100R)」, 또는, 단순히 「화소(100R)」라고 부른다. G색의 컬러 필터가 배치되는 화소(100G), 및 B색의 컬러 필터가 배치되는 화소(100B)에 대해서도, 마찬가지이다. 또한, 컬러 필터를 특별히 구별할 필요가 없는 경우, 각 화소(100R, 100G 및 100B)를, 화소(100)로 대표하여 기술한다.
도 3은 각 실시형태에 적용 가능한 컬러 필터 배열의 예를 나타내는 도면이다. 도 3의 배열에서는, 동일 색에 의한 2화소×2화소가 격자 형상으로 배열된 화소 블록을 단위로 하여, 4개의 R색의 화소(100R)와, 4개의 G색의 화소(100G)와, 4개의 B색의 화소(100B)에 의한 각 화소 블록이, 베이어 배열에 따른 화소 배열로 배치되어 구성되어 있다. 이하에서는, 달리 특정되지 않는 한, 이러한 화소 배열을, 4분할 베이어형 RGB 배열이라고 부른다.
보다 구체적으로는, 4분할 베이어형 RGB 배열은, R색의 화소(100R), G색의 화소(100G), 및 B색의 화소(100B)에 의한 각 화소 블록이, 화소(100R), 화소(100G) 및 화소(100B)의 수가 1:2:1의 비율이 되고, 또한, 동일 색의 화소에 의한 화소 블록이 인접하지 않도록, 2×2의 격자 형상으로 배열된다. 도 3의 예에서는, R색의 화소(100R)에 의한 화소 블록의 왼쪽 및 아래에 G색의 화소(100G)에 의한 화소 블록이 배치되고, R색의 화소(100R)에 의한 화소 블록의 대각에, B색의 화소(100B)에 의한 화소 블록이 배치되어 있다.
도 4는 각 실시형태에 적용 가능한 촬상부(10)의 일례의 구성을 나타내는 블록도이다. 도 4에 있어서, 촬상부(10)는, 화소 어레이부(110)와, 수직 주사부(20)와, 수평 주사부(21)와, 제어부(22)를 포함한다.
화소 어레이부(110)는, 각각 수광한 광에 따른 전압을 생성하는 수광 소자를 갖는 복수의 화소(100)를 포함한다. 수광 소자로서는, 포토다이오드를 사용할 수 있다. 화소 어레이부(110)에 있어서, 복수의 화소(100)는, 수평 방향(행 방향) 및 수직 방향(열 방향)으로 행렬 형상으로 배열된다. 화소 어레이부(110)에 있어서, 화소(100)의 행 방향의 배열을 라인이라고 부른다. 이 화소 어레이부(110)에 있어서 소정 수의 라인으로부터 판독된 화소 신호에 기초하여, 1프레임의 화상(화상 데이터)이 형성된다. 예를 들면, 3000화소×2000라인으로 1프레임의 화상이 형성되는 경우, 화소 어레이부(110)는, 적어도 3000개의 화소(100)가 포함되는 라인을, 적어도 2000라인 포함한다.
또한, 화소 어레이부(110)에는, 각 화소(100)의 행 및 열에 대해, 행마다 화소 신호선(HCTL)이 접속되고, 열마다 수직 신호선(VSL)이 접속된다.
화소 신호선(HCTL)의 화소 어레이부(110)와 접속되지 않는 단부는, 수직 주사부(20)에 접속된다. 수직 주사부(20)는, 예를 들면 제어부(14)로부터 공급되는 제어 신호에 따라, 화소(100)로부터 화소 신호를 판독할 때의 구동 펄스 등의 복수의 제어 신호를, 화소 신호선(HCTL)을 통해 화소 어레이부(110)로 전송한다. 수직 신호선(VSL)의 화소 어레이부(110)와 접속되지 않는 단부는, 수평 주사부(21)에 접속된다.
수평 주사부(21)는, AD(Analog to Digital) 변환부와, 출력부와, 신호 처리부를 포함한다. 화소(100)로부터 판독된 화소 신호는, 수직 신호선(VSL)을 통해 수평 주사부(21)의 AD 변환부로 전송된다.
화소(100)로부터의 화소 신호의 판독 제어에 대해 개략적으로 설명한다. 화소(100)로부터의 화소 신호의 판독은, 노출에 의해 수광 소자에 축적된 전하를 부유 확산층(FD; Floating Diffusion)으로 전송하고, 부유 확산층에 있어서 전송된 전하를 전압으로 변환함으로써 행한다. 부유 확산층에서 전하가 변환된 전압은, 증폭기를 통해 수직 신호선(VSL)에 출력된다.
보다 구체적으로는, 화소(100)에 있어서, 노출 중에는, 수광 소자와 부유 확산층의 사이를 오프(열린) 상태로 하여, 수광 소자에서, 광전 변환에 의해 입사된 광에 따라 생성된 전하를 축적시킨다. 노출 종료 후, 화소 신호선(HCTL)을 통해 공급되는 선택 신호에 따라 부유 확산층과 수직 신호선(VSL)을 접속한다. 나아가, 화소 신호선(HCTL)을 통해 공급되는 리셋 펄스에 따라 부유 확산층을 전원 전압(VDD) 또는 블랙 레벨 전압의 공급선과 단기간 접속하여, 부유 확산층을 리셋한다. 수직 신호선(VSL)에는, 부유 확산층의 리셋 레벨의 전압(전압(P)라고 함)이 출력된다. 그 후, 화소 신호선(HCTL)을 통해 공급되는 전송 펄스에 의해 수광 소자와 부유 확산층의 사이를 온(닫힌) 상태로 하여, 수광 소자에 축적된 전하를 부유 확산층으로 전송한다. 수직 신호선(VSL)에 대해, 부유 확산층의 전하량에 따른 전압(전압(Q)라고 함)이 출력된다.
수평 주사부(21)에 있어서, AD 변환부는, 수직 신호선(VSL)마다 설치된 AD 변환기를 포함하고, 수직 신호선(VSL)을 통해 화소(100)로부터 공급된 화소 신호는, AD 변환기에 의해 AD 변환 처리가 실시되고, 노이즈 저감을 행하는 상관 이중 샘플링(CDS: Correlated Double Sampling) 처리를 위한 2개의 디지털 값(전압(P) 및 전압(Q)에 각각 대응하는 값)이 생성된다.
AD 변환기에 의해 생성된 2개의 디지털 값은, 신호 처리부에 의해 CDS 처리가 실시되고, 디지털 신호에 의한 화소 신호(화소 데이터)가 생성된다. 생성된 화소 데이터는, 촬상부(10)로부터 출력된다.
수평 주사부(21)는, 제어부(22)의 제어 하에, 수직 신호선(VSL)마다의 AD 변환기를 소정의 순서로 선택하는 선택 주사를 행함으로써, 각 AD 변환기가 일시적으로 보유하고 있는 각 디지털 값을 신호 처리부로 순차 출력시킨다. 수평 주사부(21)는, 예를 들면 시프트 레지스터나 어드레스 디코더 등을 포함하는 구성에 의해, 이 동작을 실현한다.
제어부(22)는, 수직 주사부(20), 수평 주사부(21) 등의 구동 제어를 행한다. 제어부(22)는, 수직 주사부(20) 및 수평 주사부(21)의 동작 기준이 되는 각종의 구동 신호를 생성한다. 제어부(22)는, 외부(예를 들면, 제어부(14))로부터 공급되는 수직 동기 신호 또는 외부 트리거 신호와, 수평 동기 신호에 기초하여, 수직 주사부(20)가 화소 신호선(HCTL)을 통해 각 화소(100)에 공급하기 위한 제어 신호를 생성한다. 제어부(22)는, 생성한 제어 신호를 수직 주사부(20)에 공급한다.
수직 주사부(20)는, 제어부(22)로부터 공급되는 제어 신호에 기초하여, 화소 어레이부(110)의 선택된 화소행의 화소 신호선(HCTL)에 구동 펄스를 포함하는 각종 신호를, 라인마다 각 화소(100)에 공급하고, 각 화소(100)로부터, 화소 신호를 수직 신호선(VSL)에 출력시킨다. 수직 주사부(20)는, 예를 들면 시프트 레지스터나 어드레스 디코더 등을 사용하여 구성된다.
이와 같이 구성된 촬상부(10)는, AD 변환기가 열마다 배치된 컬럼 AD 방식의 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서이다.
도 5는 각 실시형태에 적용 가능한 촬상 장치(1)의 하드웨어 구성의 예를 나타내는 블록도이다. 도 5에 있어서, 촬상 장치(1)는, 각각 버스(2020)에 의해 접속되는, CPU(2000)와, ROM(Read Only Memory)(2001)과, RAM(Random Access Memory)(2002)과, 촬상부(2003)와, 스토리지(2004)와, 데이터 I/F(2005)와, 조작부(2006)와, 표시 제어부(2007)를 포함한다. 또한, 촬상 장치(1)는, 각각 버스(2020)에 의해 접속되는, 화상 처리부(2010)과, 출력 I/F(2012)를 포함한다.
CPU(2000)는, ROM(2001)에 미리 기억된 프로그램에 따라, RAM(2002)을 워크 메모리(work memory)로서 사용하여, 이 촬상 장치(1)의 전체 동작을 제어한다.
촬상부(2003)는, 도 1의 촬상부(10)에 대응하며, 촬상을 행하여 화소 데이터를 출력한다. 촬상부(2003)로부터 출력된 화소 데이터는, 화상 처리부(2010)에 공급된다. 화상 처리부(2010)는, 프레임 메모리(2011)를 사용하여, 촬상부(10)로부터 공급된 화소 데이터에 대해 소정의 화상 처리를 실시하여, 프레임 단위의 화상 데이터를 생성한다.
출력 I/F(2012)는, 화상 처리부(2010)에 의해 생성된 화상 데이터를 외부로 출력하기 위한 인터페이스이다. 출력 I/F(2012)는, 화상 처리부(2010)로부터 공급된 화상 데이터를, 소정의 형식의 화상 데이터로 변환하여 출력할 수 있다.
스토리지(2004)는, 예를 들면 플래시 메모리로서, 화상 처리부(2010)로부터 출력된 화상 데이터를 기억, 축적할 수 있다. 또한, 스토리지(2004)는, CPU(2000)를 동작시키기 위한 프로그램을 기억시킬 수도 있다. 나아가, 스토리지(2004)는, 촬상 장치(1)에 내장되는 구성에 한정되지 않고, 촬상 장치(1)에 대해 착탈 가능한 구성으로 해도 된다.
데이터 I/F(2005)는, 촬상 장치(1)가 외부 기기와 데이터 송수신을 행하기 위한 인터페이스이다. 데이터 I/F(2005)로서는, 예를 들면 USB(Universal Serial Bus)를 적용할 수 있다. 또한, 데이터 I/F(2005)로서, Bluetooth(등록상표)와 같은 근거리 무선 통신을 행하는 인터페이스를 적용할 수도 있다.
조작부(2006)는, 촬상 장치(1)에 대한 사용자 조작을 접수한다. 조작부(2006)는, 사용자 입력을 접수하는 입력 디바이스로서, 다이얼이나 버튼 등의 조작자를 포함한다. 조작부(2006)는, 입력 디바이스로서, 접촉한 위치에 따른 신호를 출력하는 터치 패널을 포함해도 된다.
표시 제어부(2007)는, CPU(2000)에 의해 전달받은 표시 제어 신호에 기초하여, 디스플레이(2008)가 표시 가능한 표시 신호를 생성한다. 디스플레이(2008)는, 예를 들면 LCD(Liquid Crystal Display)를 표시 디바이스로서 사용하여, 표시 제어부(2007)에 의해 생성된 표시 신호에 따른 화면을 표시시킨다. 한편, 촬상 장치(1)의 용도에 따라서는, 표시 제어부(2007) 및 디스플레이(2008)를 생략할 수 있다.
(1-2. 리모자이크 처리에 대한 개략적인 설명)
여기서, 전술한 리모자이크 처리에 대해 개략적으로 설명한다. 4분할 베이어형 RGB 배열에 있어서의 각 화소의 화소 신호의 처리 모드로서, 화소 그룹에 포함되는 4개의 화소의 화소 신호를 가산하여 1개의 화소 신호로서 처리하는 모드(가산 모드라고 부름)와, 해당 4개의 화소의 화소 신호를 각각 처리하는 모드(개별 모드라고 부름)가 있다. 이들 중 개별 모드에서는, 리모자이크 처리에 의해, 4분할 베이어형 RGB 배열의 각 화소의 화소 값을, 예를 들면 베이어형 배열에 있어서의 각 화소의 화소 값으로 변환할 수 있다.
화상 처리부(12)는, 주목 화소의 위치에서의 화소 값의 경사(그래디언트)를 각 방향에 대해 검출하고, 검출된 그래디언트가 가장 작은 방향을 판정한다. 화상 처리부(12)는, 검출된 방향에 있어서의 화소의 화소 값에 기초하여, 주목 화소의 위치에 대응하는 베이어 배열 상의 화소의 화소 값을 예측하고, 예측한 화소 값에 의해 해당 주목 화소의 화소 값을 치환한다. 이에 의해, 4분할 베이어형 RGB 배열의 각 화소의 화소 값이, 베이어형 배열에 있어서의 각 화소의 화소 값으로 변환된다.
보다 구체적으로는, 화상 처리부(12)는, 도 6에 나타내어지는 바와 같은, 동일 색의 화소간의 그래디언트(동색간 그래디언트)와, 도 7에 나타내어지는 바와 같은, 다른 색의 화소간의 그래디언트(이색간 그래디언트)를 검출한다.
한편, 도 6 및 도 7, 및 이하의 마찬가지의 도면에서, 각 정사각형은 화소를 나타내고, 각 정사각형 내의 문자(R, G 및 B)는, 그 화소에 대응하는 컬러 필터의 색(R색, G색 및 B색)을 나타내고 있다. 여기서는, R색, G색 및 B색의 컬러 필터가 설치되는 각 화소를, 각각 화소 R, 화소 G 및 화소 B라고 부른다. 또한, 격자의 좌측상부의 정사각형을 원점으로 하여, 도면의 횡방향을 x 방향, 종 방향을 y 방향으로 하여, 화소 단위로 좌표(x, y)를 표현하는 것으로 한다. 예를 들면, 도 6에 있어서, 원점의 화소는, 좌표(0, 0)의 화소 R이며, 화소(0, 0)과 같이 기술한다.
도 6의 예에서는, 화소 G에 대해, x 방향을 따라, 화소 G(0, 2) 및 G(1, 2), 화소 G(4, 2) 및 G(5, 2), 화소 G(0, 3) 및 G(1, 3), 및, 화소 G(4, 3) 및 G(5, 3)의 동일한 색의 각 세트에 대해, 각각 그래디언트를 검출하고 있다. 또한, 화소 B에 대해, 화소 B(2, 2) 및 B(3, 2), 및, 화소 B(2, 3) 및 B(3, 3)의 동일한 색의 각 세트에 대해, 그래디언트를 검출하고 있다.
한편, 도 7의 예에서는, x 방향을 따라, 화소 G(1, 2) 및 화소 B(2, 2), 화소 G(1, 3) 및 화소 B(2, 3), 화소 B(3, 2) 및 화소 G(4, 2), 및, 화소 B(3, 3) 및 화소 G(4, 3)의, 다른 색에 의한 각 세트에 대해, 각각 그래디언트를 검출하고 있다.
여기서, 동색간 그래디언트의 검출은, 감도가 동일한 화소끼리의 그래디언트 산출이 된다. 반면, 이색간 그래디언트의 검출은, 그대로는, 감도가 다른 화소끼리에서의 그래디언트 산출이 되어, 화소의 색마다의 감도 차에 의존한 그래디언트가 산출되어 버린다. 그 때문에, 화상 처리부(12)는, 입력 화상 신호에 포함되는 화소 R 및 화소 B의 각 화소 값에 대해, 각각 소정의 계수를 곱하여 그래디언트의 검출을 행한다.
각 실시형태에 적용 가능한 화상 처리부(12)의 방향 판정 처리에 대해, 보다 상세하게 설명한다. 화상 처리부(12)는, 국소 영역에 있어서, 복수의 방향에 대해 그래디언트를 산출한다. 도 8 및 도 9는 실시형태에 적용 가능한 그래디언트 산출 방향의 예를 나타내는 도면이다. 도 8 및 도 9, 및 이하의 마찬가지의 도면에서, 국소 영역의 사이즈를 6화소×6화소로 하고 있다.
화상 처리부(12)는, 도 8에 나타내어지는 바와 같이, 수평 방향(H), 수직 방향(V), 우측상부 45°방향(A), 우측하부 45°방향(D)의 4방향을 따라 그래디언트 산출을 행한다. 나아가, 화상 처리부(12)는, 도 9에 나타내어지는 바와 같이, 우측상부 22.5°방향(A2), 우측상부 67.5°방향(A3), 우측하부 22.5°방향(D2) 및 우측하부 67.5°방향(D3)의 4방향을 따라 그래디언트 산출을 행한다. 즉, 실시형태에서는, 화상 처리부(12)는, 22.5°씩 각도가 다른 8방향을 따라, 그래디언트 산출을 행한다.
도 3을 사용하여 설명한 4분할 베이어형 RGB 배열은, 도 2에 나타낸 베이어형 배열과 비교하여, 동일한 색 성분의 샘플링 간격이 더 크기 때문에(성기기 때문에) 되접힘(folding)이 1/2 나이퀴스트 주파수(Nyquist frequency)에서 발생해 버린다. 도 8 및 도 9에 나타내는 바와 같이, 8방향을 따라 각각 그래디언트 산출을 행함으로써, 이러한 주파수의 반복 패턴을 고정밀도로 검출 가능하게 된다.
화상 처리부(12)는, 그래디언트의 판정 결과에 기초하여, 베이어 배열에 있어서의, 주목 화소의 위치에 대응하는 화소의 화소 값을 예측하고, 예측한 화소 값에 의해 주목 화소의 화소 값을 치환한다.
(1-3. 화소 판독 방법의 예)
다음으로, 4분할 베이어형 RGB 배열에 있어서의 화소 신호의 판독 예에 대해 설명한다. 도 10은 분할 베이어형 RGB 배열에 있어서의 화소 신호의 판독 방법의 예를 설명하기 위한 모식도이다. 도 10에서, 배열(121)은, 4분할 베이어형 RGB 배열에 의한 화소 배열을 나타내고 있다. 배열(130)은, 이 배열(121)에 대해, 전술한 개별 모드에 의한 판독을 행하여 리모자이크 처리를 실시하고, 각 화소의 화소 값을 베이어 배열에 의한 화소 값으로 변환한 화소 데이터의 배열의 예를 나타내고 있다.
배열(131)은, 배열(121)에 대해 전술한 가산 모드에 의한 판독을 행한 배열의 예를 나타내고 있다. 이와 같이, 가산 모드에서는, 화소 그룹에 포함되는 4개의 화소를 모아서 1개의 화소로서 취급한다. 도 10의 예에서는, 배열(131)에 나타내어지는 바와 같이, 4분할 베이어형 RGB 배열(배열(121))에 있어서의 화소 R에 의한 화소 그룹에 포함되는 4개의 화소 R이, 화소 값의 가산에 의해 1개의 화소 R(+)로서 취급된다. 마찬가지로, 배열(121)에 있어서의 화소 G에 의한 화소 그룹에 포함되는 4개의 화소 G가, 화소 값의 가산에 의해 1개의 화소 G(+)로서 취급되고, 화소 B에 의한 화소 그룹에 포함되는 4개의 화소 B가, 화소 값의 가산에 의해 1개의 화소 B(+)로서 취급된다.
배열(132)은, 배열(121)에 나타내는 화소 그룹에 포함되는 4개의 화소 중 적어도 하나의 화소의 노출 시간을, 해당 화소 그룹에 포함되는 다른 화소의 노출 시간과 다르게 한 배열의 예를 나타내고 있다. 도 10의 예에서는, 화소 그룹에 포함되는 4개의 화소 중 1개의 화소의 노출 시간을 제1 노출 시간으로 하고, 2개의 화소의 노출 시간을 제1 노출 시간보다 긴 제2 노출 시간으로 하고, 나머지 1개의 화소를 제2 노출 시간보다 긴 제3 노출 시간으로 하고 있다. 이하, 제1 노출 시간에서의 판독을 짧은 축적(short accumulation), 제2 노출 시간에서의 판독을 중간 축적(medium accumulation), 제3 노출 시간에서의 판독을 긴 축적(long accumulation)이라고 부른다.
도 10에서는, 예를 들면 화소 R의 화소 그룹을 예로 하면, 좌측상부가 긴 축적의 화소 R(L), 우측상부 및 좌측하부가 중간 축적의 화소 R(M), 우측하부가 짧은 축적의 화소 R(S)로 되어 있다. 화소 G의 화소 그룹도 마찬가지로, 좌측상부가 긴 축적의 화소 G(L), 우측상부 및 좌측하부가 중간 축적의 화소 G(M), 우측하부가 짧은 축적의 화소 G(S)로 되고, 화소 B의 화소 그룹도, 좌측상부가 긴 축적의 화소 B(L), 우측상부 및 좌측하부가 중간 축적의 화소 B(M), 우측하부가 짧은 축적의 화소 B(S)로 되어 있다.
배열(132)의 경우, 짧은 축적, 중간 축적 및 긴 축적에 의해 판독된 화소 데이터(화상 데이터)를 합성하여, 1개의 화상 데이터를 생성한다. 서로 다른 노출 시간 동안 노출된 화소 데이터에 기초한 화상 데이터를 합성함으로써, 보다 다이나믹 레인지(dynamic range)가 넓은 화상 데이터를 생성할 수 있다. 이와 같이 하여 생성된 넓은 다이나믹 레인지의 화상을 HDR(High Dynamic Range) 화상이라고 부른다. 또한, 이러한 촬상 방법을 HDR 촬상이라고 부른다.
도 10의 예에서는, 배열(131HDR)에 나타내어지는 바와 같이, HDR 촬상에 의해, 예를 들면 화소 R의 화소 그룹의 경우, 화소 R(L)과, 2개의 화소 R(M)과, 화소 R(S)이 합성되어, 화소 그룹의 사이즈를 갖는 화소 R(HDR)이 생성된다. 화소 G 및 B의 각 화소 그룹의 경우도 마찬가지로, 화소 그룹의 사이즈를 갖는 화소 G(HDR) 및 B(HDR)이 생성된다.
도 11은 HDR 촬상의 제1 예를 설명하기 위한 모식도이다. 도 11 및 후술하는 도 12에서, 오른쪽 방향으로 시간의 경과를 나타내고 있다. 또한, 종 방향에 라인을 나타내고, 프레임의 상단의 라인을 라인 Ln#1로 하고, 라인 Ln#1로부터 프레임의 하단측을 향해 라인 순차적으로 판독이 행해지는 것이 나타내어져 있다(롤링 셔터 방식(rolling shutter method)).
HDR 촬상의 제1 예에서는, 긴 축적, 중간 축적 및 짧은 축적의 노출이 병렬적으로 실행되고, 긴 축적, 중간 축적 및 짧은 축적 각각의 화소로부터의 판독이 동시에 실행된다.
예를 들면, 라인 Ln#1에 있어서, 1프레임 시간 중의 시간 t0에서 긴 축적에 의한 노출이 개시되고, 시간 t0으로부터 소정 시간이 경과한 시간 t1에서 중간 축적에 의한 노출이 개시된다. 나아가, 시간 t1로부터 소정 시간이 경과한 시간 t2에서 짧은 축적에 의한 노출이 개시된다. 시간 t2로부터 소정 시간의 경과 후의 시간 t3에서, 긴 축적, 중간 축적 및 짧은 축적 각각의 노출이 종료되며, 긴 축적, 중간 축적 및 짧은 축적 각각의 화소로부터의 판독을 행한다.
도 12는 HDR 촬상의 제2 예를 설명하기 위한 모식도이다. HDR 촬상의 제2 예에서는, 긴 축적, 중간 축적 및 짧은 축적의 노출이 시퀀셜하게 실행되며, 각 노출마다 화소로부터의 판독이 실행된다.
예를 들면, 라인 Ln#1에 있어서, 1프레임 시간 중의 시간 t0에서 긴 축적에 의한 노출이 개시되고, 시간 t0으로부터 소정 시간이 경과한 시간 t1에서, 긴 축적에 의한 노출이 종료되며, 긴 축적의 화소로부터 판독이 행해진다. 다음으로, 시간 t1에서 중간 축적에 의한 노출이 개시되고, 시간 t1로부터 소정 시간이 경과한 시간 t2에서, 중간 축적에 의한 노출이 종료되며, 중간 축적의 화소로부터 판독이 행해진다. 나아가, 시간 t2에서 짧은 축적에 의한 노출이 개시되고, 시간 t2로부터 소정 시간이 경과한 시간 t3에서, 짧은 축적에 의한 노출이 종료되며, 짧은 축적의 화소로부터 판독이 행해진다. 즉, 이 HDR 촬상의 제2 예에서는, 각 라인에 있어서, 1프레임 시간 내에서 긴 축적, 중간 축적 및 짧은 축적의 3회의 노출이 행해진다.
이 HDR 촬상의 제2 예에서는, 전술한 가산 모드와 개별 모드의 어느 것도 적용 가능하다. 도 13은 HDR 촬상의 제2 예에 대해 가산 모드를 적용한 경우의 예를 설명하기 위한 모식도이다.
도 13에 있어서, 상단에 나타내는 배열(131L, 131M 및 131S)은, 각각, 배열(121)에 대해, 긴 축적, 중간 축적 및 짧은 축적에 의해 노출을 행하여, 가산 모드에 의한 판독을 행한 배열의 예를 나타내고 있다. 배열(131L, 131M 및 131S)은, 각각, 긴 축적, 중간 축적 및 짧은 축적에 의해 노출을 행하여 가산 모드에 의한 판독을 행한 배열의 예를 나타내고 있다. 일례로서, 화소 R에 의한 화소 그룹에 대해 설명하면, 배열(131L)에 있어서, 긴 축적에 의해 노출된 4개의 화소 R(L)이, 화소 값의 가산에 의해 1개의 화소 R(L+)로서 취급된다. 배열(131M)에 있어서, 중간 축적에 의해 노출된 4개의 화소 R(M)이, 화소 값의 가산에 의해 1개의 화소 R(M+)로서 취급된다. 또한, 배열(131S)에 있어서, 중간 축적에 의해 노출된 4개의 화소 R(M)이, 화소 값의 가산에 의해 1개의 화소 R(M+)로서 취급된다. 다른 화소 G 및 B에 의한 화소 그룹에 대해서도, 마찬가지이다.
배열(131HDR+)은, 이들 배열(131L, 131M 및 131S)에 의한 각 화소를 합성한 예를 나타내고 있다. 배열(131HDR+)에 있어서, 각 화소 R(L+), R(M+) 및 R(S+)이 합성되어, 넓은 다이나믹 레인지의 화소 R(HDR+)이 얻어진다. 마찬가지로, 각 화소 G(L+), G(M+) 및 G(S+), 및, 각 화소 B(L+), B(M+) 및 B(S+)이 각각 합성되어, 고 다이나믹 레인지의 화소 R(HDR+), G(HDR+) 및 B(HDR+)가 얻어진다. 즉, 배열(131HDR+)은, 배열(131L, 131M 및 131S)에 의한 각 화소를, 각 화소 그룹 단위로 합성한 배열이 된다.
도 14는 HDR 촬상의 제2 예에 대해 개별 모드를 적용하여 리모자이크 처리를 실시하는 경우의 예를 설명하기 위한 모식도이다. 배열(133L, 133M 및 133S)은, 각각 도 13의 배열(131L, 131M 및 131S)에 대응하는 것으로, 각 화소 그룹에 포함되는 4개의 화소를 분리하여 나타내고 있다. 배열(134L, 134M 및 134S)은, 이들 배열(133L, 133M 및 133S)의 각 화소에 대해 리모자이크 처리를 실시하여, 각 화소 그룹에 포함되는 4개의 화소의 화소 값을 베이어 배열에 있어서의 각 화소의 화소 값으로 변환한 예를 나타내고 있다. 이 경우, 배열(134L)은, 긴 축적의 화소 데이터에 기초한 각 화소 값만을 포함하고, 마찬가지로, 배열(134M 및 134S)은, 각각 중간 축적 및 짧은 축적의 화소 데이터에 기초한 각 화소 값만을 포함한다.
도 14의 하단에 나타내는 배열(135HDR)은, 이들 배열(134L, 134M 및 134S)을, 위치가 대응하는 화소끼리로 합성한 것이다. 이와 같이, HDR 촬상의 제2 예에서는, 베이어 배열에 대응하는 각 화소에 있어서, 고 다이나믹 레인지를 얻을 수 있다.
여기서, 도 10, 도 13 및 도 14를 사용하여, 전술한 HDR 촬상의 제1 예와 제2 예의 차이에 대해 설명한다. HDR 촬상의 제1 예에서는, 예를 들면 긴 축적(또는 중간 축적, 짧은 축적)에 할당되는 화소가 4분할 베이어형 RGB 배열에 포함되는 16화소 중 4화소이다(도 10의 배열(132) 참조). 반면, HDR 촬상의 제2 예에서는, 16화소 모두가 긴 축적(또는 중간 축적, 짧은 축적)에 할당된다(도 13의 배열(131L, 131M 및 131S) 참조). 그 때문에, 해상도를 동일하게 한 경우, SNR(Signal-Noise Ratio)의 점에서, 제2 예가 제1 예에 비해 유리하다.
또한, HDR 촬상의 제1 예에서는, 화소 그룹에 포함되는 4화소의 노출 시간이 다르기 때문에(도 10의 배열(132) 참조), 리모자이크 처리의 적용이 곤란하다. 반면, HDR 촬상의 제2 예에서는, 4분할 베이어형 RGB 배열에 포함되는 16화소의 노출 시간이 동일하기 때문에, 리모자이크 처리를 용이하게 적용할 수 있다(도 14 참조). 따라서, 해상도의 점에서, 제2 예가 제1 예에 비해 유리하다.
한편, 가산 모드와 개별 모드를 비교한 경우, 가산 모드는, 개별 모드와 비교하여, 화소의 고속 판독이 가능하고, SNR의 점에서 유리하다. 또한, 개별 모드에서는 리모자이크 처리가 가능하기 때문에, 가산 모드에 비해 해상도의 점에서 유리하다. 각 실시형태에서는, 촬상부(10)에 있어서의 화소의 판독을, 가산 모드와 개별 모드를 적응적으로 스위칭하여 실행한다. 이에 의해, 촬상의 목적이나 촬상 환경 등 촬상 조건에 적응한 촬상을 실행하는 것이 가능해진다.
[2. 제1 실시형태]
다음으로, 본 개시의 제1 실시형태에 대해 설명한다. 제1 실시형태는, 가산 모드와 개별 모드의 스위칭을, 화상 처리에 의해 실현하는 경우의 예이다. 도 15는 제1 실시형태에 따른 촬상 장치(1)의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 15에 나타내어지는 촬상 장치(1)는, 전술한 HDR 촬상의 제2 예에 의한 촬상을 행한다. 즉, 촬상부(10)에 있어서, 화소 어레이부(110)의 각 화소(100)에 대해 4분할 베이어형 RGB 배열을 따라 R색, G색 및 B색의 컬러 필터가 설치된다. 제어부(14)는, 도 12를 사용하여 설명한, 긴 축적, 중간 축적 및 짧은 축적에 의한 각 촬상을 행하도록, 촬상부(10)를 제어한다. 촬상부(10)는, 긴 축적, 중간 축적 및 짧은 축적 각각의 노출에 의해 촬상되어 각 화소(100)로부터 판독된 화소 데이터를, 화상 처리부(12)에 공급한다.
제1 실시형태에 따른 촬상 장치(1)에 있어서, 화상 처리부(12)는, 화소 처리부(1200)와, HDR 합성 처리부(1201)와, WB(화이트 밸런스) 처리부(1202)와, 계조 압축 처리부(1203)와, 디모자이크 처리부(demosaic processing unit)(1204)와, 감마 보정 처리부(1205)와, 출력 처리부(1206)를 포함한다.
이들 화소 처리부(1200), HDR 합성 처리부(1201), WB 처리부(1202), 계조 압축 처리부(1203), 디모자이크 처리부(1204), 감마 보정 처리부(1205) 및 출력 처리부(1206)는, 예를 들면 DSP, ISP, CPU와 같은 프로세서 상에서 소정의 프로그램이 실행됨으로써 실현된다. 이에 한정되지 않고, 화소 처리부(1200), HDR 합성 처리부(1201), WB 처리부(1202), 계조 압축 처리부(1203), 디모자이크 처리부(1204), 감마 보정 처리부(1205) 및 출력 처리부(1206)의 일부 또는 전부를, 서로 협동해서 동작하는 하드웨어 회로에 의해 실현해도 된다.
화소 처리부(1200)는, 촬상부(10)로부터 공급된 화소 데이터에 대해, 가산 모드에 의한, 화소 그룹에 포함되는 4화소의 화소 값을 가산하는 가산 처리와, 개별 모드에 의한, 각 화소 데이터에 기초한 리모자이크 처리를 실행한다. 화소 처리부(1200)는, 이 가산 처리 및 리모자이크 처리를, 제어부(14)로부터 공급되는 스위칭 제어 신호(CNG)에 따라 스위칭하여 실행한다. 화소 처리부(1200)는, 촬상부(10)로부터 공급된 긴 축적, 중간 축적 및 짧은 축적 각각의 화소 데이터에 대해 가산 처리 또는 리모자이크 처리를 실행한다.
화소 처리부(1200)에서 가산 처리 또는 리모자이크 처리된 긴 축적, 중간 축적 및 짧은 축적 각각의 화소 데이터는, HDR 합성 처리부(1201)에 공급된다. 한편, 이 시점에서의 각 화소 데이터는, 위치가 대응하는 컬러 필터의 색, 또는, 리모자이크 처리된 위치의 색에 대응하는 RAW 데이터이다.
HDR 합성 처리부(1201)는, 화소 처리부(1200)로부터 공급된 긴 축적, 중간 축적 및 짧은 축적 각각의 화소 데이터를 합성하여 HDR 화상을 생성하는 HDR 합성 처리를 실행한다. HDR 합성 처리가 실시된 화소 데이터는, 비트 심도(bit depth)가 20∼24 비트 정도로 되고, 예를 들면 비트 심도가 8∼10 비트 정도인 통상의 화소 데이터에 비해 보다 넓은 다이나믹 레인지를 가지고 있다.
HDR 합성 처리부(1201)는, 예를 들면 1프레임분의 화소 데이터에 대해 HDR 합성 처리를 실행하면, HDR 합성 처리에 의해 생성된 1프레임분의 화소 데이터를 프레임 단위의 화상 데이터로서 출력한다. HDR 합성 처리부(1201)로부터 출력된 화상 데이터(HDR 화상 데이터)는, WB 처리부(1202)에 공급되고, WB 처리부(1202)에 의해 이미 알려진 화이트 밸런스 처리를 실시하고, 계조 압축 처리부(1203)에 공급된다. 계조 압축 처리부(1203)는, 공급된 화상 데이터의 계조를 압축하고, 후단에서의 처리에 적합한 계조를 갖는 화상 데이터를 생성한다. 예를 들면, 계조 압축 처리부(1203)는, 화상 데이터에 포함되는 각 화소 데이터의 비트 심도를, HDR 합성 처리에 의한 20∼24 비트의 비트 심도로부터, 예를 들면 8비트∼10 비트 정도의 비트 심도로 변환하고, 계조의 압축을 행한다.
계조 압축 처리부(1203)는, 계조 압축 처리한 화상 데이터를 디모자이크 처리부(1204)에 공급한다. 디모자이크 처리부(1204)는, 공급된 화상 데이터에 대해, 이미 알려진 디모자이크 처리를 실시하고, 각 화소에 대해, R색, G색 및 B색 각각의 화소 값을 부여한다. 디모자이크 처리부(1204)가 실행하는 디모자이크 처리는, 예를 들면, 주목 화소의 화소 값과, 주목 화소의 근방의 각 화소의 화소 값을 사용하여, 1개의 주목 화소에 대해 R색, G색 및 B색 각각의 화소 값을 부여하는 처리가 된다.
디모자이크 처리부(1204)는, 디모자이크 처리를 실시한 화상 데이터의 R색, G색 및 B색의 각 성분의 데이터를 감마 보정 처리부(1205)에 공급한다. 감마 보정 처리부(1205)는, 공급된 각 데이터에 기초하여 감마 보정 처리를 실행하고, 감마 보정된 R색, G색 및 B색의 각 성분의 데이터를 출력 처리부(13)에 공급한다. 출력 처리부(13)는, 감마 보정 처리부(1205)로부터 공급된 R색, G색 및 B색의 각 성분의 데이터를, 후단의 처리에 적합한 형식의 데이터로 변환한다. 도 15의 예에서는, 출력 처리부(13)는, R색, G색 및 B색의 각 성분의 데이터를, 휘도 성분(Y)과 각 색 차 성분(R-Y, B-Y)에 의한 화상 데이터로 변환하여 출력한다.
도 16은 제1 실시형태에 따른 화소 처리부(1200)의 기능을 설명하기 위한 일례의 기능 블록도이다. 도 16의 예에서는, 화소 처리부(1200)는, 화소 스위칭 스위치(210)와, 프레임 메모리(200L, 200M 및 200S)와, 처리 스위칭 스위치(201L, 201M 및 201S)와, 화소 가산부(202L, 202M 및 202S)와, 리모자이크 처리부(203L, 203M 및 203S)와, 선택기(204L, 204M 및 204S)를 포함한다.
이들 중, 프레임 메모리(200L), 처리 스위칭 스위치(201L), 화소 가산부(202L), 리모자이크 처리부(203L) 및 선택기(204)는, 긴 축적에 의한 화소 데이터의 처리에 관련된 구성이다. 마찬가지로, 프레임 메모리(200M 및 200S), 처리 스위칭 스위치(201M 및 201S), 화소 가산부(202M 및 202S), 리모자이크 처리부(203M 및 203S), 및, 선택기(204M 및 204S)는, 각각 중간 축적 및 짧은 축적에 의한 화소 데이터의 처리에 관련된 구성이다.
촬상부(10)로부터 출력된 화소 데이터는, 화소 스위칭 스위치(210)에 입력된다. 화소 스위칭 스위치(210)는, 예를 들면 제어부(14)로부터 공급되는 제어 신호(도시하지 않음)에 따라, 제1, 제2 및 제3 출력단을 스위칭한다. 여기서, 제1 출력단은, 긴 축적의 구성을 선택하는 것으로, 프레임 메모리(200L)에 접속된다. 제2 출력단은, 중간 축적의 구성을 선택하는 것으로, 프레임 메모리(200M)에 접속된다. 또한, 제3 출력단은, 짧은 축적의 구성을 선택하는 것으로, 프레임 메모리(200S)에 접속된다.
보다 구체적으로는, 예를 들면 제어부(14)는, 촬상부(10)에 있어서의 긴 축적, 중간 축적 및 짧은 축적 각각의 판독 타이밍에 동기하여, 화소 스위칭 스위치(210)의 출력처를 제1, 제2 및 제3 출력단 중 판독에 대응하는 출력단으로 스위칭한다. 화소 스위칭 스위치(210)는, 라인마다, 예를 들면 도 12에 나타낸 시간 t1, t2 및 t3에 각각 대응하는 타이밍에서, 제1, 제2 및 제3 출력단을 스위칭한다.
화소 처리부(1200)의 동작에 대해, 긴 축적에 의한 화소 데이터에 관련된 처리를 예로 들어 설명한다. 화소 스위칭 스위치(210)에 있어서 제1 출력단으로 스위칭되면, 프레임 메모리(200L)에 긴 축적에 의한 1라인분의 화소 데이터가 기입된다. 처리 스위칭 스위치(201L)는, 제어부(14)로부터 공급되는 스위칭 제어 신호(CNG)에 따라, 프레임 메모리(200L)로부터 판독된 화소 데이터의 공급처를, 화소 가산부(202L) 및 리모자이크 처리부(203L) 중 어느 하나로 스위칭한다.
한편, 중간 축적 및 짧은 축적에 관련된 각 구성에 있어서의 처리 스위칭 스위치(201M 및 201S)는, 스위칭 제어 신호(CNG)에 따라, 처리 스위칭 스위치(201L)와 동기하여, 화소 가산부(202M) 및 리모자이크 처리부(203M) 중 어느 하나, 및, 화소 가산부(202S) 및 리모자이크 처리부(203S) 중 어느 하나로 스위칭된다.
먼저, 프레임 메모리(200L)에 1프레임분의 화소 데이터가 기입되고, 처리 스위칭 스위치(201L)에 있어서, 제1 출력단으로 스위칭되어 있는 경우에 대해 설명한다. 이 경우, 화소 가산부(202L)는, 화소 스위칭 스위치(210)를 통해 프레임 메모리(200L)로부터 화소 그룹 단위로 화소 데이터를 판독하고, 판독한 각 화소 데이터에 의한 화소 값을, 화소 그룹마다 가산한다. 화소 가산부(202L)는, 이 화소 그룹마다 가산된 화소 값에 의한 화소 데이터에 1프레임분을, 가산 모드에 의한 화상 데이터로서 출력한다. 화소 가산부(202L)로부터 출력된 이 가산 모드에 의한 화상 데이터는, 선택기(204L)의 제1 입력단에 공급된다.
다음으로, 프레임 메모리(200L)에 1프레임분의 화소 데이터가 기입되고, 처리 스위칭 스위치(201L)에 있어서, 제1 출력단으로 스위칭되어 있는 경우에 대해 설명한다. 이 경우, 리모자이크 처리부(203L)는, 프레임 메모리(200L)로부터 리모자이크 처리의 처리 단위(예를 들면, 6화소×6화소)로 화소 데이터를 판독하고, 판독한 각 화소 데이터에 기초하여 전술한 바와 같이 하여 리모자이크 처리를 실행한다. 리모자이크 처리부(203L)는, 각각 리모자이크 처리된 1프레임분의 화소 데이터를, 개별 모드에 의한 화상 데이터로서 출력한다. 리모자이크 처리부(203L)로부터 출력된 이 개별 모드에 의한 화상 데이터는, 선택기(204L)의 제2 입력단에 공급된다.
선택기(204L) 및 선택기(204M 및 204S)는, 스위칭 제어 신호(CNG)에 따라, 전술한 처리 스위칭 스위치(201L, 201M 및 201S)와 동기하여, 제1 및 제2 입력단 중 일방을 선택한다. 선택기(204L), 선택기(204M 및 204S)의 출력은, 긴 축적, 중간 축적 및 짧은 축적의 화상 데이터로서, 각각 화소 처리부(1200)로부터 출력된다.
한편, 프레임 메모리(200M 및 200S), 처리 스위칭 스위치(201M 및 201S), 화소 가산부(202M 및 202S), 및, 리모자이크 처리부(203M 및 203S)에 의한, 중간 축적 및 짧은 축적의 화소 데이터에 관련된 처리는, 전술한 프레임 메모리(200L), 처리 스위칭 스위치(201L), 화소 가산부(202L), 및, 리모자이크 처리부(203L)에 의한 처리와 동등하므로, 여기서의 설명을 생략한다.
제어부(14)는, 예를 들면 소정의 촬상 조건에 따라, 가산 모드에 의한 처리와, 개별 모드에 의한 처리 중 어느 것을 실행할지를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여, 화소 처리부(1200)에 공급한다. 제어부(14)는, 예를 들면, 스위칭 제어 신호(CNG)를 생성하기 위한 촬상 조건으로서, 촬상 장치(1)의 피사체에 대한 속도를 적용할 수 있다. 다른 예로서, 제어부(14)는, 피사체의 밝기, 또는, 촬상 환경의 밝기를, 스위칭 제어 신호(CNG)를 생성하기 위한 촬상 조건에 적용할 수 있다.
촬상 장치(1)가 차량에 탑재되어 사용되는 경우를 예로 들어, 보다 구체적으로 설명한다. 촬상 장치(1)는, 차량 정보 취득부(15)(도 1 참조)에 의해, 해당 차량으로부터 차량의 주행에 관한 정보를 포함하는 차량 정보를 취득한다. 촬상 장치(1)에 있어서, 제어부(14)는, 취득한 차량 정보로부터 주행 속도를 나타내는 정보를 추출하고, 추출한 주행 속도와 임계값(vth)을 비교한다. 제어부(14)는, 주행 속도가 임계값(vth) 이상이면, 개별 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여, 화소 처리부(1200)에 공급한다.
한편, 주행 속도가 임계값(vth) 미만이면, 제어부(14)는, 가산 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여, 화소 처리부(1200)에 공급한다. 가산 모드에서는, 화소 처리부(1200)나, 화소 처리부(1200)의 후단의 각 부에 있어서의 처리량이, 개별 모드에 비해 적기 때문에, 전력 절감화를 실현하는 것이 가능하다.
또한, 촬상 장치(1)는, 본 촬상 장치(1), 또는 차량에 탑재되는 예를 들면 다른 센서의 출력에 기초하여 촬상 환경의 밝기를 나타내는 정보(예를 들면, 휘도 값)를 취득한다. 촬상 장치(1)에 있어서, 제어부(14)는, 취득한 밝기와, 임계값(Yth)을 비교한다. 제어부(14)는, 밝기가 임계값(Yth) 이상이면, 개별 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여, 화소 처리부(1200)에 공급한다. 한편, 밝기가 임계값(Yth) 미만이면, 제어부(14)는, 개별 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여, 화소 처리부(1200)에 공급한다.
상기 설명에서는, 제어부(14)가 1개의 촬상 조건에 따라 스위칭 제어 신호(CNG)를 생성하고 있지만, 이것은 이 예에 한정되지 않는다. 제어부(14)는, 복수의 촬상 조건에 따라 스위칭 제어 신호(CNG)를 생성해도 된다.
도 17은 제1 실시형태에 따른, 2개의 촬상 조건에 따라 스위칭 제어 신호(CNG)를 생성하는 예를 설명하기 위한 모식도이다. 도 17의 예에서는, 전술한, 차량의 주행 속도와, 촬상 환경의 밝기에 기초하여 가산 모드와 개별 모드를 스위칭하고 있다. 즉, 제어부(14)는, 주행 속도가 임계값(vth) 이상이며, 또한, 밝기가 임계값(Yth) 이상인 경우에, 개별 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여, 화소 처리부(1200)에 공급한다. 한편, 제어부(14)는, 주행 속도가 임계값(vth) 미만, 또는, 밝기가 Yth 미만인 경우에, 가산 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여, 화소 처리부(1200)에 공급한다.
이와 같이, 개별 모드를 지시하기 위한 스위칭 제어 신호(CNG)와, 가산 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 촬상 조건에 기초하여 생성함으로써, 촬상 화상에 기초한 센싱의 성능을 최적화하는 것이 가능해진다. 또한, 스위칭 제어 신호(CNG)를 복수의 촬상 조건에 기초하여 생성함으로써, 보다 섬세한 제어가 가능해진다.
한편, 개별 모드에서는, 가산 모드와 비교하여, 화소 데이터에 대해 4배의 처리가 필요한다. 이 때, 개별 모드에 있어서의 촬상부(10)로부터의 판독과, 화상 처리의 대상이 되는 영역을 수평 및 수직 모두, 예를 들면 1/2로 하는 것을 생각할 수 있다. 이에 의해, 전력 절감화가 가능해지고, 또한, 화상 처리부(12)에 있어서의 연산 자원의 소비를 억제하는 것이 가능해진다.
상기 설명에서는, 제1 실시형태에 적용되는 촬상 방식이 롤링 셔터 방식인 것으로 하여 설명하였지만, 이것은 이 예에 한정되지 않는다. 즉, 제1 실시형태에 대해, 모든 라인에서 동시에 노출을 실행하는 촬상 방식인 글로벌 셔터 방식(global shutter method)을 적용할 수도 있다.
또한, 상기 설명에서는, 화소 처리부(1200)에 있어서 리모자이크 처리된 긴 축적, 중간 축적 및 짧은 축적의 각 화소 데이터가 HDR 합성 처리부(1201)에 공급되도록 설명하였지만, 이것은 이 예에 한정되지 않는다. 예를 들면, HDR 합성 처리부(1201)에 있어서의 HDR 합성 처리 후에, 화소 처리부(1200)에 의한 리모자이크 처리를 실행하는 것도 가능하다. 보다 구체적으로는, 촬상부(10)로부터 출력된 긴 축적, 중간 축적 및 짧은 축적의 각 화소 데이터에 대해 HDR 합성 처리를 실행하고, HDR 합성 처리가 실시된, 예를 들면 1프레임분의 화소 데이터에 대해, 리모자이크 처리를 실행한다.
[2-1. 제1 실시형태의 제1 변형예]
다음으로, 제1 실시형태의 제1 변형예에 대해 설명한다. 전술한 제1 실시형태에서는, 가산 모드 및 개별 모드 중 프레임의 전체면에 대해 단일의 모드에 의한 판독 처리를 행하고 있었다. 반면, 제1 실시형태의 제1 변형예에서는, 프레임 내에, 개별 모드에 의한 처리를 실행하는 처리 영역과, 가산 모드에 의한 처리를 실행하는 처리 영역을 설정한다.
도 18a 및 도 18b는 제1 실시형태의 제1 변형예에 따른 처리 영역에 대해 설명하기 위한 모식도이다. 도 18a에 나타내어지는 바와 같이, 제1 실시형태의 제1 변형예에서는, 예를 들면 프레임(300)의 중앙 부분에 개별 모드에 의한 처리를 실행하는 제1 처리 영역(301)을 설정하고, 프레임(300)에 있어서의 제1 처리 영역(301) 이외의 영역(프레임(300)의 주변부)을, 가산 모드에 의한 처리를 실행하는 제2 처리 영역(302)으로 설정한다. 제1 처리 영역(301)은, 예를 들면, 수평 및 수직 방향의 사이즈를 프레임(300)의 수평 및 수직 방향의 사이즈의 각각 1/2로 하는 것을 생각할 수 있다.
도 18b에 나타내어지는 바와 같이, 예를 들면 제1 실시형태의 제1 변형예에 따른 촬상 장치(1)가 탑재되는 차량(304)로부터 보았을 때에, 프레임(300)의 중앙 부분의 제1 처리 영역(301)은, 예를 들면 차량(304)의 주행 방향을 향해 보다 먼 곳의, 차량의 운전자가 주시해야 할 주시 영역(303)의 화상을 포함한다. 그 때문에, 제1 처리 영역(301)은, 보다 고해상도의 개별 모드에 의한 화상 처리를 실행하는 것이 바람직하다. 한편, 제1 처리 영역(301) 밖의 제2 처리 영역(302)은, 제1 처리 영역(301)과 비교해서 낮은 해상도의 가산 모드에 의한 화상 처리를 실행한다.
이와 같이, 제1 실시형태의 제1 변형예는, 프레임 내의 영역을 촬상 조건으로 하여 스위칭 제어 신호(CNG)를 생성한다. 프레임(300)의 중앙부와 주변부에서 개별 모드와 가산 모드를 나누어 설정함으로써, 출력되는 화상에 필요한 정보를 포함시키면서, 전력 절감화가 가능해진다.
도 19는 제1 실시형태의 제1 변형예에 적용 가능한 화소 처리부(1200a)의 기능을 설명하기 위한 일례의 기능 블록도이다. 한편, 도 19는 전술한 도 16과 대응하는 도면으로서, 긴 축적에 관련된 구성을 뽑아내어 나타내고, 중간 축적 및 짧은 축적에 관련된 구성을 생략하고 있다.
도 19에 나타내어지는 화소 처리부(1200a)는, 전술한 도 16에 나타낸 화소 처리부(1200)에 대해, 화소 가산부(202L)에 접속되는 프레임 메모리(2020L)와, 리모자이크 처리부(203L)에 접속되는 프레임 메모리(2030L)가 추가되어 있다.
제어부(14)는, 스위칭 제어 신호(CNG)를 제1 처리 영역(301)과 제2 처리 영역(302)의 경계에서 스위칭함으로써, 제1 처리 영역(301)에서 개별 모드에 의한 처리를 실행하고, 제2 처리 영역(302)에서 가산 모드에 의한 처리를 실행하도록, 제어한다.
보다 구체적인 예로서, 제어부(14)는, 스위칭 제어 신호(CNG)를 라인 순차적으로 화소 처리부(1200)에 공급하고, 각 라인에 있어서, 프레임(300)의 좌단으로부터 우단을 향해, 스위칭 제어 신호(CNG)를 화소 처리부(1200)에 공급하는 것으로 한다.
제어부(14)는, 프레임(300)의 상단으로부터 제1 처리 영역(301)의 상단의 직전의 라인까지는, 가산 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여, 화소 처리부(1200)에 공급한다. 제어부(14)는, 제1 처리 영역(301)의 상단으로부터 하단까지의 라인에서는, 라인마다, 프레임(300)의 좌단으로부터 제1 처리 영역(301)의 좌단의 직전까지를 가산 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여 화소 처리부(1200)에 공급한다. 제어부(14)는, 제1 처리 영역(301)의 좌단으로부터 우단까지는, 개별 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여 화소 처리부(1200)에 공급한다. 제어부(14)는, 제1 처리 영역(301)의 우단의 직후로부터 프레임(300)의 우단까지는, 가산 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여 화소 처리부(1200)에 공급한다. 또한, 제어부(14)는, 제1 처리 영역(301)의 하단 직후의 라인으로부터 프레임(300)의 하단의 라인까지는, 가산 모드를 지시하기 위한 스위칭 제어 신호(CNG)를 생성하여, 화소 처리부(1200)에 공급한다.
화소 가산부(202L)는, 가산 모드를 지시하기 위한 스위칭 제어 신호(CNG)가 공급되고 있는 동안, 프레임 메모리(200L)로부터 제2 처리 영역(302)에 대응하는 화소 데이터를, 예를 들면 라인 순차적으로 판독하고, 판독한 화소 데이터를 프레임 메모리(2020L)에 기입한다. 이 때, 화소 가산부(202L)는, 제1 처리 영역(301)을 포함하는 라인에서는, 예를 들면 해당 제1 처리 영역(301)의 내부의 화소 데이터를 스킵한다. 화소 가산부(202L)는, 프레임 메모리(2020L)에 기입된 화소 데이터에 대해 화소 그룹 단위로 가산 처리를 실행하고, 가산 처리 결과의 화소 값에 의해, 프레임 메모리(2020L)를 갱신한다.
리모자이크 처리부(203L)도 마찬가지로, 개별 모드를 지시하기 위한 스위칭 제어 신호(CNG)가 공급되고 있는 동안, 프레임 메모리(200L)로부터 제1 처리 영역(301)에 대응하는 화소 데이터를 판독하고, 판독한 화소 데이터를 프레임 메모리(2030L)에 기입한다. 이 때, 리모자이크 처리에서는 주목 화소에 대해 수 화소분의 주변 화소를 사용하기 때문에, 리모자이크 처리부(203L)는, 주변 화소분을 예상하여, 프레임 메모리(200L)로부터 화소 데이터를 판독한다. 리모자이크 처리부(203L)는, 프레임 메모리(2030L)에 기입된 화소 데이터를 사용하여 리모자이크 처리를 실행하고, 리모자이크 처리 결과의 화소 값에 의해, 프레임 메모리(2030L)를 갱신한다.
화소 가산부(202L)에 의한 가산 처리, 및, 리모자이크 처리부(203L)에 의한 리모자이크 처리가 실행되어 프레임 메모리(2020L 및 2030L)에 각각 기입된 화소 데이터는, 스위칭 제어 신호(CNG)에 따라 제1 및 제2 입력단이 스위칭되는 선택기(204L)를 통해 출력됨으로써 합성되어, 긴 축적의 프레임 화상으로서 출력된다.
[2-2. 제1 실시형태의 제2 변형예]
다음으로, 제1 실시형태의 제2 변형예에 대해 설명한다. 전술한 제1 실시형태의 제1 변형예에서는, 개별 모드의 처리를 실행하는 처리 영역과, 가산 모드의 처리를 실행하는 처리 영역을 각각 고정적으로 설정하고 있었다. 반면, 제1 실시형태의 제2 변형예는, 개별 모드의 처리를 실행하는 처리 영역과, 가산 모드의 처리를 실행하는 처리 영역을, 적응적으로 설정한다.
도 20은 제1 실시형태의 제2 변형예에 따른 처리 영역에 대해 설명하기 위한 모식도이다. 제1 실시형태의 제2 변형예에서는, 촬상부(10)로부터 판독된 화소 데이터에 의한 화상에 포함되는 특정한 오브젝트를 검출하고, 검출된 특정한 오브젝트에 기초하여, 개별 모드의 처리를 실행하는 처리 영역과, 가산 모드의 처리를 실행하는 처리 영역을 설정한다.
도 20의 예에서는, 촬상부(10)로부터 판독된 화소 데이터에 의한 화상(310)으로부터, 특정한 오브젝트로서 2개의 신호등, 표지(標識) 및 2대의 대향차가 각각 검출되어 있다. 특정한 오브젝트로서는, 예를 들면 길위를 보행하는 보행자도 포함된다. 검출된 표지을 포함하는 영역(320)과, 검출된 2개의 신호등을 각각 포함하는 영역(321 및 322)과, 검출된 2대의 대향차를 각각 포함하는 영역(323 및 324)이 개별 모드의 처리를 실행하는 처리 영역으로 되고, 화상(310)에서의 이들 영역(320∼324) 이외의 영역이, 가산 모드의 처리를 실행하는 처리 영역으로 되어 있다.
이와 같이, 제1 실시형태의 제2 변형예는, 프레임의 화상에 포함되는 오브젝트 및 해당 오브젝트를 포함하는 영역을 촬상 조건으로 하여 스위칭 제어 신호(CNG)를 생성한다. 예를 들면, 차량의 주행에 있어서 중요한 오브젝트를 포함하는 영역에 대해 개별 모드에 의한 처리를 실행하여, 고해상도의 화상을 생성한다. 한편, 예를 들면 차량의 주행에 있어서 중요성이 낮은 영역에 대해, 가산 모드에 의해 개별 모드와 비교해서 저해상도의 화상을 생성한다. 이에 의해, 차량의 주행에 있어서 중요한 오브젝트의 인식이 용이해지고, 주행의 안전성을 향상시키는 것이 가능해진다. 또한, 가산 모드에 의한 처리는, 생성되는 화상의 해상도의 점에서는 개별 모드에 뒤떨어지지만, 개별 모드보다 처리의 부하가 작다. 이에 의해, 전체적으로, 연산 자원 및 소비 전력을 억제할 수 있다.
도 21은 제1 실시형태의 제2 변형예에 적용 가능한 화소 처리부(1200b)의 기능을 설명하기 위한 일례의 기능 블록도이다. 한편, 도 19에 나타내어지는 화소 처리부(1200b)는, 전술한 도 16의 구성에 대해 검출부(220)가 추가되고, 처리 스위칭 스위치(201L, 201M 및 201S) 및 선택기(204L, 204M 및 204S)가, 검출부(220)로부터 출력되는 스위칭 제어 신호(CNG)에 따라 스위칭되는 구성으로 되어 있다.
보다 구체적으로는, 검출부(220)는, 예를 들면 프레임 메모리(200L)에 기입된 화소 데이터에 의한 1프레임의 화상 데이터에 기초하여, 해당 화상 데이터에 의한 화상에 포함되는 특정한 오브젝트를 검출한다. 검출부(220)는, 예를 들면 미리 등록된 패턴에 기초한 패턴 인식에 의해 오브젝트의 검출을 행할 수 있다. 이에 한정되지 않고, 검출부(220)는, 소정의 교사 데이터를 사용하여 미리 학습된 학습 모델을 사용한 기계 학습 처리에 의해 오브젝트의 인식을 행하도록 해도 된다.
한편, 스위칭 제어 신호(CNG)에 의한 처리 스위칭 스위치(201L, 201M 및 201S), 및 선택기(204L, 204M 및 204S)의 변경 제어는, 전술한 제1 실시형태의 제1 변형예에 있어서 도 19를 사용하여 설명한 제어와 마찬가지이므로, 여기서의 설명을 생략한다.
또한, 여기서는, 검출부(220)가 프레임 메모리(200L)의 화상 데이터에 기초하여 특정한 오브젝트를 검출하도록 설명하였지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 검출부(220)는, 프레임 메모리(200L, 200M 및 200S) 중 적어도 1개에 기입된 화상 데이터에 기초하여 특정한 오브젝트의 검출을 행해도 된다. 또한, 도 21에서는, 화소 처리부(1200b)가 검출부(220)의 기능을 가지고 있도록 나타내어져 있지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 제어부(14)가 검출부(220)의 기능을 가지고 있어도 된다.
[2-3. 제1 실시형태의 제3 변형예]
다음으로, 제1 실시형태의 제3 변형예에 대해 설명한다. 전술한 제1 실시형태, 및, 제1 실시형태의 제1 및 제2 변형예에서는, 촬상부(10)에 있어서의 화소 배열이 4분할 베이어형 RGB 배열인 것으로 하여 설명하였지만, 본 개시에 적용 가능한 화소 배열은, 4분할 베이어형 RGB 배열에 한정되지 않는다. 즉, 본 개시는, 동일 파장 대역의 광을 투과시키는 광학 필터가 2화소×2화소로 배열되는 화소 배열이라면, 4분할 베이어형 RGB 배열 이외의 화소 배열에도 적용 가능하다.
도 22a∼도 22e는 본 개시에 적용 가능한 화소 배열의 예를 나타내는 모식도이다. 도 22a는 4분할 베이어형 RGB 배열에 있어서의 화소 G 대신에, 가시광 영역 전역의 광을 투과시키는 필터를 설치한 화소 W를 배치한 화소 배열의 예이다. 도 22b는 4분할 베이어형 RGB 배열에 있어서의 화소 G 대신에, 황색 컬러 필터를 설치한 화소 Ye를 배치한 화소 배열의 예이다. 또한, 도 22c는 도 22b의 화소 배열에 대해, 나아가, 화소 B 대신에 시안(Cyan)색의 컬러 필터를 설치한 화소 Cy를 배치한 화소 배열의 예이다.
이들 도 22a, 도 22b 및 도 22c에 나타낸 화소 배열은, 4분할 베이어형 RGB 배열과 비교해서 높은 감도를 얻는 것이 가능하다. 또한, 화소 Ye를 포함하는 도 22b 및 도 22c에 나타내는 화소 배열은, 렌즈 수차의 영향을 받기 어려운 특성을 갖는다. 한편, 도 22a∼도 22c 중 어느 것의 화소 배열도, 가법 혼합(加法混合; additive mixing)에 있어서의 3원색 중 G(녹)색을 포함하지 않아 풀 컬러의 재현이 불가능하다. 그 때문에, 도 22a∼도 22c에 나타내는 각 화소 배열은, 센싱 용도에 사용해도 바람직한다.
도 22d는 2화소×2화소의 화소 그룹을, 4열×4행으로 배치한 화소 배열의 예를 나타내고 있다. 도 22d에 나타내어지는 화소 배열에서는, 화소 R에 의한 2개의 화소 그룹과, 화소 B에 의한 2개의 화소 그룹과, 화소 G에 의한 4개의 화소 그룹과, 화소 W에 의한 8개의 화소 그룹이 동일한 색의 화소에 의한 화소 그룹이 서로 인접하지 않도록 배치되어 있다. 도 22d의 화소 배열에서는, 화소 W에 의한 8개의 화소 그룹에 의해 높은 감도를 얻을 수 있고, 1:2:1의 비율로 배치된 화소 R, 화소 G 및 화소 B 각각의 화소 그룹에 의해 풀 컬러의 재현이 가능하다. 한편, 예를 들면 4분할 베이어형 RGB 배열과 비교해서 각 색의 화소 그룹의 간격이 넓기 때문에, 해상도의 점에서는 불리하다.
도 22e는 적외 영역의 광을 투과시키는 IR(Infrared) 필터를 설치한 화소 IR을 포함하는 화소 배열의 예이다. 화소 IR을 사용함으로써, 적외광의 반사를 이용한 측거 등이 가능해진다. 도 22e의 예에서는, 4분할 베이어형 RGB 배열에 있어서의 화소 B 대신에, 화소 IR을 배치한 예이다. 한편, 도 22e에서는, 4분할 베이어형 RGB 배열에 있어서의 화소 B의 화소 그룹에 포함되는 4개의 화소 B를 모두 화소 IR로 치환하고 있지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 해당 화소 B(또는 화소 R, 또는 화소 G)의 화소 그룹에 포함되는 4개의 화소 중 1∼3개의 화소를 화소 IR으로 치환한 화소 배열이어도 된다.
이 도 22e에 나타내어지는 화소 배열은, 예를 들면 4분할 베이어형 RGB 배열과 조합하여 사용할 수 있다. 예를 들면, 프레임에 대응하여 반복 배치된 4분할 베이어형 RGB 배열에 대해, 소정 간격으로 도 22e의 화소 배열을 삽입하는 것을 생각할 수 있다. 또한, 프레임에 대응하여 반복 배치된 4분할 베이어형 RGB 배열에 대해, 도 22e의 화소 배열을 소정 수, 배치하는 것도 생각할 수 있다.
[3. 제2 실시형태]
다음으로, 본 개시의 제2 실시형태에 대해 설명한다. 전술한 제1 실시형태 및 그 각 변형예에서는, 가산 모드에 의한 화소 그룹에 포함되는 각 화소의 화소 값의 가산 처리를, 화상 처리부(12)에서 실행하고 있다. 이것은 이 예에 한정되지 않고, 해당 가산 처리를, 촬상부(10)에 있어서 각 화소 어레이부(110)의 내부에서 실행하는 것도 가능하다.
도 23a, 도 23b 및 도 23c는, 제2 실시형태에 따른, 화소 그룹 내에서의 개별 모드 및 가산 모드의 스위칭 방법의 예를 설명하기 위한 모식도이다.
도 23a는 제2 실시형태에 따른, 화소 블록에 포함되는 각 화소(100)로부터 신호를 판독하는 방법을 설명하기 위한 모식도이다. 여기서는, 화소 G의 화소 블록을 예로 해서 설명을 행한다. 도 23a에 나타내어지는 바와 같이, 해당 화소 블록에 포함되는 화소(100G1, 100G2, 100G3 및 100G4)는, 1개의 부유 확산층을 공유하는 구성으로 되어 있다.
먼저, 스위칭 제어 신호(CNG)에 의해 가산 모드가 지시된 경우의 판독 방법의 예에 대해, 도 23b의 타임 차트를 참조하면서 설명한다. 한편, 도 23b 및 후술하는 도 23c에 있어서, 오른쪽 방향으로 시간의 경과를 나타내고, 화소(100G1∼100G4)를 각각 화소 G1, G2, G3 및 G4로서 나타내고 있다.
가산 모드에서는, 화소 그룹에 포함되는 화소(100G1, 100G2, 100G3 및 100G4)에 있어서 각 수광 소자에 축적된 전하를 해당 화소 블록 내부에서 가산하여 판독한다.
예를 들면, 제어부(22)의 제어에 따라, 수직 주사부(20)는, 도 23b의 시간 t00에서, 화소 블록에 있어서 부유 확산층의 리셋을 행하고, 그 후, 화소(100G1∼100G4)에 있어서 각 수광 소자로부터 전하의 판독을 행하고, 판독된 전하를 부유 확산층으로 전송한다. 부유 확산층에서는, 각 수광 소자로부터 전송된 전하가 가산부(140)에서 가산된다. 이 경우, 가산부(140)는, 화소(100G1∼100G4)에 공통인 부유 확산층에 대응한다. 부유 확산층에 있어서, 각 수광 소자로부터 전송되어 가산된 전하가 전하량에 따른 전압으로 변환되어, 각 화소(100G1∼100G4)의 합계의 화소 신호로서 수직 신호선(VSL)에 출력된다.
각 화소(100G1∼100G4)의 합계의 화소 신호는, 수평 주사부(21)가 갖는 AD 변환기에 의해 화소 데이터로 변환되어 화소 처리부(1200c)에 공급된다.
다음으로, 스위칭 제어 신호(CNG)에 의해 개별 모드가 지시된 경우의 판독 방법의 예에 대해, 도 23c의 타임 차트를 참조하면서 설명한다.
예를 들면, 제어부(22)의 제어에 따라, 수직 주사부(20)는, 도 23c의 시간 t10에서, 화소 블록에 있어서 부유 확산층의 리셋을 행하고, 그 후, 화소(100G1)에 있어서 수광 소자로부터 전하의 판독을 행하고, 판독된 전하를 부유 확산층으로 전송한다. 부유 확산층에 있어서, 전송된 전하가 전하량에 따른 전압으로 변환되어, 화소(100G1)로부터 판독된 화소 신호로서 수직 신호선(VSL)에 출력된다. 한편, 가산부(140)에 의한 가산 처리는, 행해지지 않는다.
다음으로, 수직 주사부(20)는, 도 23c의 시간 t11에서, 화소 블록에 있어서 부유 확산층의 리셋을 행하고, 그 후, 화소(100G2)에 있어서 수광 소자로부터 전하의 판독을 행하고, 판독된 전하를 부유 확산층으로 전송한다. 부유 확산층에 있어서, 전송된 전하가 전하량에 따른 전압으로 변환되어, 화소(100G2)로부터 판독된 화소 신호로서 수직 신호선(VSL)에 출력된다. 한편, 가산부(140)에 의한 가산 처리는, 행해지지 않는다.
수직 주사부(20)는, 화소(100G3 및 100G4)로부터의 화소 신호의 판독도 마찬가지로 해서, 각각 부유 확산층의 리셋을 행한 후에, 수광 소자로부터의 전하의 판독과, 판독한 전하의 부유 확산층으로의 전송을 실행한다(도 23c의 시간 t12 및 t13). 한편, 각각, 가산부(140)에 의한 가산 처리는, 행해지지 않는다.
각 화소(100G1∼100G4)로부터 판독된 각 화소 신호는, 각각 수평 주사부(21)가 갖는 AD 변환기에 의해 화소 데이터로 변환되어 화소 처리부(1200c)에 공급된다.
도 24는 제2 실시형태에 적용 가능한 화소 처리부(1200c)의 기능을 설명하기 위한 일례의 기능 블록도이다. 한편, 도 24는, 전술한 도 16과 대응하는 도면으로서, 긴 축적에 관련된 구성을 뽑아내어 나타내고, 중간 축적 및 짧은 축적에 관련된 구성을 생략하고 있다.
도 24에 나타내어지는 화소 처리부(1200c)는, 전술한 도 16에 나타낸 화소 처리부(1200)에 대해, 화소 가산부(202L) 대신에 프레임 메모리(240L)가 설치되어 있다. 또한, 처리 스위칭 스위치(230L)는, 스위칭 제어 신호(CNG)에 따라, 촬상부(10)로부터 가산 모드에 의해 화소 데이터가 출력되는 경우에는, 해당 화소 데이터의 출력처를 프레임 메모리(240L)로 스위칭한다. 촬상부(10)로부터 출력된 화소 데이터는, 프레임 메모리(240L)에 기입된다.
한편, 촬상부(10)로부터 개별 모드에 의해 화소 데이터가 출력되는 경우에는, 해당 화소 데이터의 출력처를 리모자이크 처리부(203L)로 스위칭한다. 촬상부(10)로부터 출력된 화소 데이터는, 리모자이크 처리부(203L)에 공급되어, 프레임 메모리(2030L)에 기입된다. 리모자이크 처리부(203L)는, 프레임 메모리(2030L)에 기입된 화소 데이터에 기초하여 리모자이크 처리를 실행하고, 리모자이크 처리된 화소 데이터에 의해, 예를 들면 프레임 메모리(2030L)를 갱신한다.
이와 같이, 가산 모드에 있어서의 화소 값의 가산 처리를, 촬상부(10)에 있어서 각 화소 어레이부(110)의 내부에서 실행함으로써, 화상 처리부(12)(화소 처리부(1200c))의 구성을 경감할 수 있다.
[3-1. 제2 실시형태의 변형예]
다음으로, 제2 실시형태의 변형예에 대해 설명한다. 제2 실시형태의 변형예는, 가산 모드에 있어서의 화소 값의 가산 처리를, 촬상부(10)에 있어서 각 화소 어레이부(110)의 내부에서 실행 가능하게 한 구성에 있어서, 프레임 내에, 개별 모드에 의한 처리를 실행하는 처리 영역과, 가산 모드에 의한 처리를 실행하는 처리 영역을 설정 가능하게 한 것이다.
도 25는 제2 실시형태의 변형예에 따른 촬상부(10)의 일례의 구성을 나타내는 블록도이다. 도 25에 있어서, 화소 어레이부(110a)는, 도 4에서 설명한 화소 어레이부(110)에 대해, 스위칭 제어 신호 생성부(V)(151V)와, 스위칭 제어 신호 생성부(H)(151H)가 추가되어 있다. 또한, 도 25에서는, 각 화소가, 화소(1001, 1002, 1003 및 1004)의 4화소를 포함하는 화소 그룹마다 모아서 나타내어져 있다. 나아가, 화소 그룹마다, AND 회로(150)가 설치되어 있다.
한편, 도 25에서는, 화소 그룹마다 수직 신호선(VSL)에 접속되도록 나타내어져 있지만, 실제로는, 각 화소 그룹의 화소(1001, 1002, 1003 및 1004)의 각각이, 수직 신호선(VSL)에 접속된다.
스위칭 제어 신호 생성부(V)(151V)는, 예를 들면 제어부(22)로부터 공급되는 제어 신호에 기초하여, 가산 모드 및 개별 모드를 지시하기 위한 스위칭 제어 신호(CNGV)를, 화소 어레이부(110a)에 포함되는 각 화소 그룹의 열마다 생성한다. 또한, 스위칭 제어 신호 생성부(H)(151H)는, 예를 들면 제어부(22)로부터 공급되는 제어 신호에 기초하여, 가산 모드 및 개별 모드를 지시하기 위한 스위칭 제어 신호(CNGH)를, 화소 어레이부(110a)에 포함되는 각 화소 그룹의 행마다 생성한다.
각 화소 그룹에 있어서, AND 회로의 일방의 입력단에 스위칭 제어 신호(CNGV)가 입력되고, 타방의 입력단에 스위칭 제어 신호(CNGH)가 입력된다. AND 회로(150)에 있어서, 스위칭 제어 신호(CNGV 및 CNGH)의 논리곱이 취해진다. AND 회로(150)는, 스위칭 제어 신호(CNGV 및 CNGH)의 논리곱의 결과를 스위칭 제어 신호(CNG)로서 출력하고, 해당 AND 회로(150)가 포함되는 화소 그룹에 공급된다.
화소 어레이부(110a)를 이러한 구성으로 함으로써, 전술한 제1 실시형태의 제1 및 제2 변형예와 마찬가지로, 화소 어레이부(110a)에 포함되는 각 화소 그룹에 있어서의 가산 모드에 의한 판독과, 개별 모드에 의한 판독을, 하나 이상의 화소 그룹을 포함하는 사각형 영역에서 스위칭하여 지시하는 것이 가능해진다.
[4. 제3 실시형태]
다음으로, 본 개시에 따른 기술을 적용한 촬상 장치의 사용예에 대해 설명한다. 도 26은 전술한 본 개시에 따른 촬상 장치(1)의 사용예를 나타내는 도면이다.
전술한 촬상 장치(1)는, 예를 들면, 이하와 같이, 가시광, 적외광, 자외광, X선 등의 광을 센싱하는 다양한 경우에 사용할 수 있다.
·디지털 카메라나, 촬영 기능을 가진 휴대기기 등의, 감상용으로 제공되는 화상을 촬영하는 장치.
·자동 정지 등의 안전 운전이나, 운전자의 상태의 인식 등을 위해서, 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차재용 센서, 주행 차량이나 도로를 감시하는 감시 카메라, 차량 사이 등의 측거(測距)를 행하는 측거 센서 등의, 교통용으로 제공되는 장치.
·사용자의 제스처를 촬영하여, 그 제스처에 따른 기기 조작을 행하기 위해, TV, 냉장고, 에어컨 등의 가전에 제공되는 장치.
·내시경이나, 적외광의 수광에 의한 혈관 촬영을 행하는 장치 등의, 의료나 헬스케어용으로 제공되는 장치.
·방범 용도의 감시 카메라나, 인물 인증 용도의 카메라 등의, 보안용으로 제공되는 장치.
·피부를 촬영하는 피부 측정기나, 두피를 촬영하는 현미경 등의, 미용용으로 제공되는 장치.
·스포츠 용도 등을 위한 액션 카메라나 웨어러블 카메라 등의, 스포츠용으로 제공되는 장치.
·밭이나 작물의 상태를 감시하기 위한 카메라 등의, 농업용으로 제공되는 장치.
(4-0. 이동체에의 응용예)
본 개시에 따른 기술(본 기술)은, 전술한 바와 같이 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 따른 기술은 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
(본 개시의 촬상 장치를 차량에 탑재하는 경우의 보다 구체적인 예)
본 개시에 따른 촬상 장치(1)의 응용예로서, 해당 촬상 장치(1)를 차량에 탑재하여 사용하는 경우의 보다 구체적인 예에 대해 설명한다.
(제1 탑재 예)
먼저, 본 개시에 따른 촬상 장치(1)의 제1 탑재 예에 대해 설명한다. 도 27은 본 개시에 따른 촬상 장치(1)를 탑재 가능한 차량의 시스템 구성예를 나타내는 블록도이다. 도 27에 있어서, 차량 시스템(13200)은, 차량(13000)에 대해 설치되는 CAN(Controller Area Network)에 대해 접속되는 각 유닛을 포함한다.
프론트 센싱 카메라(Front Sensing camera)(13001)는, 차량 진행 방향의 전방을 촬상하는 카메라이다. 일반적으로는, 화상 표시용으로는 사용되지 않고, 센싱에 특화된 카메라이다. 프론트 센싱 카메라(13001)는, 예를 들면 윈드실드(windshield)의 내측의 룸미러(rearview mirror) 근방에 배치된다.
프론트 카메라 ECU(Front camera ECU)(13002)는, 프론트 센싱 카메라(13001)로 촬상된 화상 데이터를 수신하여, 화질의 향상이나, 물체 검지 등의 화상 인식 처리를 포함하는 화상 신호 처리를 실행한다. 프론트 카메라 ECU에 의한 화상 인식 결과는, CAN 통신으로 보내진다.
한편, ECU는 「Electronic Control Unit」의 약어이다.
셀프 드라이빙 ECU(Self-driving ECU)(13003)는, 자동 운전을 담당하는 ECU이며, 예를 들면 CPU, ISP, GPU(Graphics Processing Unit) 등으로 구성된다. GPU에서 화상 인식한 결과를 서버로 보내고, 서버는, 딥 뉴럴 네트워크(deep neural network) 등의 딥 러닝을 실행하여 학습한 결과를 해당 셀프 드라이빙 ECU(13003)로 되돌린다.
GPS(Global Positioning System)(13004)는, GPS에 의한 전파를 수신하여 현재 위치를 구하는 위치 정보 취득부이다. GPS(13004)에서 취득된 위치 정보는, CAN 통신으로 보내진다.
디스플레이(Display)(13005)는, 차체(13000) 내에 배치되는 표시 장치이다. 디스플레이(13005)는, 차체(13000)에 있어서의 인스트루먼트 패널(instrument panel)의 중앙부나, 룸미러 내부 등에 배치된다. 디스플레이(13005)는, 차량(13000)이 탑재하는 카 내비게이션 장치와 일체적으로 구성되어 있어도 된다.
커뮤니케이션 유닛(Communication Unit)(13006)은, 차량간 통신, 차량 보행자간 통신, 도로 차량간 통신에 있어서, 데이터의 송수신을 맡는다. 커뮤니케이션 유닛(13006)은, 서버와의 송수신도 행한다. 커뮤니케이션 유닛(13006)은, 다양한 무선 통신을 적용 가능하다.
인테그레이티드 ECU(Integrated ECU)(13007)는, 다양한 ECU가 모아진 통합 ECU이다. 이 예에서는, 인테그레이티드 ECU(13007)는, ADAS ECU(13008)와, 셀프 드라이빙 ECU(13003)와, 배터리 ECU(Battery ECU)(13010)를 포함하고 있다. 배터리 ECU(13010)는 배터리(200V 배터리(13023), 12V 배터리(13024) 등)를 제어한다. 인테그레이티드 ECU(13007)는, 예를 들면 차체(13000)의 중앙부에 배치된다.
턴 신호(Turn Signal)(13009)는 방향 지시기이며, 인테그레이티드 ECU(13007)에 의해 점등이 제어된다.
ADAS ECU(Advanced Driver Assistance System ECU)(13008)는, 드라이버 조작이나 화상 인식 결과 등에 따라, 차량 시스템(13200)의 컴포넌트를 제어하기 위한 제어 신호를 생성한다. ADAS ECU(13008)는, CAN 통신을 통해서 각 부와 신호의 송수신을 행한다.
차량 시스템(13200)에 있어서, 구동원(엔진, 모터)의 제어는, 도시하지 않은 파워 트레인 ECU(Power Train ECU)에 의해 행해진다. 파워 트레인 ECU는, 크루즈 컨트롤(cruise control) 시에는, 화상 인식 결과에 따라 구동원을 제어한다.
스티어링(Steering)(13011)은, 화상 인식에 의해 흰 선으로부터 일탈할 것 같아지면, ADAS ECU(13008)에 의해 생성된 제어 신호에 따라 전자 파워 스티어링 모터를 구동한다.
스피드 센서(Speed sensor)(13012)는, 차량(13000)의 주행 속도를 검출한다. 스피드 센서(13012)는, 주행 속도로부터, 가속도나 가속도의 미분(저크(jerk))을 산출한다. 가속도 정보는, 물체와의 충돌까지의 추정 시간의 산출에 사용된다. 저크는 승객의 승차감에 영향을 주는 지수이다.
레이더(Radar)(13013)는, 밀리파 등의 긴 파장의 전자파를 사용하여 측거를 행하는 센서이다. 라이더(Lidar)(13014)는, 광을 사용하여 측거를 행하는 센서이다.
헤드램프(Head lamp)(13015)는, 램프와 램프의 구동 회로를 포함하고, 화상 인식에 의해 검지한 대향차의 헤드라이트의 유무에 따라, 하이 빔과 로 빔의 스위칭을 행한다. 또는, 헤드램프(13015)는, 대향차를 피하도록 한 하이 빔을 조사한다.
사이드 뷰 카메라(Side View camera)(13016)는, 사이드 미러의 하우징 내 또는 사이드 미러 근방에 배치되는 카메라이다. 사이드 뷰 카메라(13016)로부터 출력되는 화상 데이터는 화상 표시용으로 사용된다. 사이드 뷰 카메라(13016)는, 예를 들면 운전자의 사각(死角; blind spot) 영역을 촬상한다. 또한, 사이드 뷰 카메라(13016)는, 어라운드 뷰 모니터의 좌우 영역에 사용되는 화상을 촬상한다.
사이드 뷰 카메라 ECU(Side View camera ECU)(13017)는, 사이드 뷰 카메라(13016)로 촬상된 화상의 신호 처리를 행한다. 사이드 뷰 카메라 ECU(13017)는, 화이트 밸런스 등의 화질을 향상시킨다. 사이드 뷰 카메라 ECU(13017)로 신호 처리된 화상 데이터는, CAN과는 다른 케이블을 통해 보내진다.
프론트 뷰 카메라(Front View camera)(13018)는, 프론트 그릴 근방에 배치되는 카메라이다. 프론트 뷰 카메라(13018)로 촬상된 화상 데이터는, 화상 표시용으로 사용된다. 프론트 뷰 카메라(13018)는, 차량 전방의 사각 영역을 촬상한다. 또한, 프론트 뷰 카메라(13018)는, 어라운드 뷰 모니터의 상방 영역에 사용되는 화상을 촬상한다. 프론트 뷰 카메라(13018)는, 전술한 프론트 센싱 카메라(13001)와는 프레임 레이아웃이 다르다.
프론트 뷰 카메라 ECU(Front View camera ECU)(13019)는, 프론트 뷰 카메라(13018)로 촬상된 화상의 신호 처리를 행한다. 프론트 뷰 카메라 ECU(13019)는, 화이트 밸런스 등의 화질을 향상시킨다. 프론트 뷰 카메라 ECU(13019)로 신호 처리된 화상 데이터는, CAN과는 다른 케이블을 통해 보내진다.
차체(13000)는, 엔진(ENG)(13020), 발전기(GEN)(13021) 및 구동용 모터(MOT)(13022)를 포함한다. 엔진(13020), 발전기(13021) 및 구동용 모터(13022)는, 도시되지 않은 파워 트레인 ECU에 의해 제어된다.
200V 배터리(200V Battery)(13023)는, 구동용 및 에어컨용의 전원이다. 12V 배터리(12V Battery)(13024)는, 구동용과 에어컨용 이외의 전원이다. 12V 배터리(13024)는, 차체(13000)에 탑재되는 각 카메라나 각 ECU의 전원을 공급한다.
리어 뷰 카메라(Rear View camera)(13025)는, 예를 들면 테일게이트(tailgate)의 자동차 번호판 근방에 배치되는 카메라이다. 리어 뷰 카메라(13025)로 촬상된 화상 데이터는, 화상 표시용으로 사용된다. 리어 뷰 카메라(13025)는, 후방의 사각 영역을 촬상한다. 또한, 리어 뷰 카메라(13025)는, 어라운드 뷰 모니터의 하방 영역에 사용되는 화상을 촬상한다. 리어 뷰 카메라(13025)는, 예를 들면 시프트 레버를 「R(후퇴)」에 넣음으로써 기동한다.
리어 뷰 카메라 ECU(Rear View camera ECU)(13026)는, 리어 뷰 카메라(13025)로 촬상된 화상의 신호 처리를 행한다. 리어 뷰 카메라 ECU(13026)는, 화이트 밸런스 등의 화질을 향상시킨다. 리어 뷰 카메라 ECU(13026)로 신호 처리된 화상 데이터는, CAN과는 다른 케이블을 통해 보내진다.
도 28은 차량 시스템(13200)의 프론트 센싱 카메라(13001)에 관한 일례의 구성을 나타내는 블록도이다.
프론트 카메라 모듈(Front Camera Module)(13100)은, 렌즈(Lens)(13101)와, 이미저(Imager)(13102)와, 프론트 카메라 ECU(13002)와, MCU(Micro Controller Unit)(13103)를 포함한다. 렌즈(13101) 및 이미저(13102)에 의해, 전술한 프론트 센싱 카메라(13001)가 구성된다. 프론트 카메라 모듈(13100)은, 예를 들면 윈드실드의 내측의 룸미러 근방에 배치된다.
이미저(13102)는, 본 개시에 따른 촬상부(10)를 적용할 수 있고, 화소에 포함되는 수광 소자에 의해 전방 화상을 촬상하여, 화소 데이터를 출력한다. 화소의 컬러 필터 배열은, 예를 들면 베이어 배열이 사용된다. 이미저(13102)는, 단층의 칩으로 형성되어도 되고, 2개 이상의 칩을 적층시킨 적층형 이미저이어도 된다. 이미저(13102)는, 화소 데이터를, 예를 들면 RAW 데이터로서 출력한다. 프론트 카메라 ECU(13002)는, 예를 들면 본 개시에 따른 화상 처리부(12), 출력 처리부(13) 및 제어부(14)를 포함한다. 즉, 이미저(13102)와 프론트 카메라 ECU(13002)를 포함하여, 본 개시에 따른 촬상 장치(1)가 구성된다.
한편, 이미저(13102)와 프론트 카메라 ECU(13002) 간의 데이터 전송은, 시리얼 전송 및 패럴렐 전송 중 어느 것을 적용해도 된다. 또한, 이미저(13102)는, 이미저(13102) 자신의 고장을 검지하는 기능을 가지면, 바람직하다.
MCU(13103)는, CAN 버스(CAN Bus)(13104)와의 인터페이스의 기능을 갖는다. CAN 버스(13104)에 대해, 도 27에 나타낸 각 부(셀프 드라이빙 ECU(13003), 커뮤니케이션 유닛(13006), ADAS ECU(13008), 스티어링(13011), 헤드램프(13015), 엔진(13020), 구동용 모터(13022), …)가 접속된다. 또한, CAN 버스(13040)에 대해, 브레이크 시스템(Brake)(13030)도 접속된다.
프론트 카메라 모듈(13100)은, CAN 버스(13040)로부터, 차량(13000)의 차량 정보(주행 속도, 주위의 밝기 등)를 취득할 수 있다. 예를 들면, 프론트 카메라 모듈(13100)에 있어서 프론트 카메라 ECU(13002)는, 취득한 차량 정보에 기초하여, 이미저(13102)에 있어서의 화소의 판독을, 가산 모드 및 개별 모드 중 어느 것으로 실행할지를 지시할 수 있다. 이에 의해, 주행 속도나 밝기 등에 따른 화상 데이터를 출력할 수 있고, 또한, 전력 절감화가 가능해진다.
한편, 상기 설명에서는, 본 개시에 따른 촬상 장치(1)가 프론트 센싱 카메라(13001)에 적용되는 것으로 하여 설명하였지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 본 개시에 따른 촬상 장치(1)를, 프론트 뷰 카메라(13018)나 사이드 뷰 카메라(13016), 리어 뷰 카메라(13025)에 적용해도 된다.
(제2 탑재 예)
다음으로, 본 개시에 따른 촬상 장치(1)의 제2 탑재 예에 대해 설명한다. 도 29는 본 개시에 따른 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 29에 나타낸 예에서는, 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은 키리스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은 촬상부(12031)에 차 밖의 화상을 촬상시키고, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면, 운전자를 촬상하는 카메라를 포함한다. 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 29의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 30은 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 30에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프런트 노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101, 12105)에서 취득되는 전방의 화상은, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 30에는 촬상부(12101 내지 12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프런트 노즈에 설치된 촬상부(12101)의 촬상 범위를 나타낸다. 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는 거리 정보를 취득하는 기능을 가지고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104) 중 적어도 하나는 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 가지는 촬상 소자여도 된다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로컴퓨터(12051)는, 선행차와의 사이에서 미리 확보해야 하는 차간거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형차량, 보행자, 전신주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면, 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 절차에 의해 행해진다. 마이크로컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하여, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 예를 들면, 촬상부(12031)에 적용될 수 있다. 구체적으로는, 촬상부(12031)로서, 본 개시의 제1 및 제2 실시형태, 및, 그들의 각 변형예 중 어느 하나에 따른 촬상 장치(1)를, 촬상부(12031)에 적용할 수 있다.
이 경우, 촬상부(12031)는, 통신 네트워크(12001)로부터 차량의 차량 정보(주행 속도, 주위의 밝기 등)를 취득할 수 있다. 예를 들면, 촬상부(12031)는, 취득한 차량 정보에 기초하여, 촬상부(12031)가 갖는 화소 어레이에 있어서의 화소의 판독을, 가산 모드 및 개별 모드 중 어느 것으로 실행할지를 지시할 수 있다. 이에 의해, 주행 속도나 밝기 등에 따른 화상 데이터를 출력할 수 있고, 또한, 전력 절감화가 가능해진다.
(4-1. 내시경 수술 시스템에의 응용예)
본 개시에 따른 촬상 장치(1)의 다른 응용예로서, 해당 촬상 장치(1)를 내시경 수술 시스템에 적용하는 경우의 보다 구체적인 예에 대해 설명한다.
도 31은 본 개시에 따른 기술(본 기술)이 적용될 수 있는 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 31에서는, 시술자(의사)(11131)가, 내시경 수술 시스템(11000)을 이용하여, 환자 침대(11133) 상의 환자(11132)에게 수술을 행하고 있는 모습이 도시되어 있다. 도시한 것처럼, 내시경 수술 시스템(11000)은, 내시경(11100)과, 기복 튜브(11111)나 에너지 처치구(11112) 등의 그 밖의 시술구(11110)와, 내시경(11100)을 지지하는 지지 암 장치(11120)와, 내시경을 이용한 수술을 위한 각종의 장치가 탑재된 카트(11200)로 구성된다.
내시경(11100)은, 선단으로부터 소정 길이의 영역이 환자(11132)의 체강 내로 삽입되는 경통(11101)과, 경통(11101)의 기단에 접속되는 카메라 헤드(11102)로 구성된다. 도시하는 예에서는, 경성의 경통(11101)을 갖는 이른바 경성경으로서 구성되는 내시경(11100)을 도시하고 있지만, 내시경(11100)은, 연성의 경통을 갖는 이른바 연성경으로서 구성되어도 된다.
경통(11101)의 선단에는, 대물 렌즈가 끼워진 개구부가 설치되어 있다. 내시경(11100)에는 광원 장치(11203)가 접속되어 있고, 해당 광원 장치(11203)에 의해 생성된 광이, 경통(11101)의 내부로 연장 설치되는 라이트 가이드에 의해 해당 경통의 선단까지 도광되고, 대물 렌즈를 통해 환자(11132)의 체강 내의 관찰 대상을 향해 조사된다. 또한, 내시경(11100)은, 직시경이어도 되고, 사시경 또는 측시경이어도 된다.
카메라 헤드(11102)의 내부에는 광학계 및 촬상 소자가 설치되어 있으며, 관찰 대상으로부터의 반사광(관찰광)은 해당 광학계에 의해 해당 촬상 소자에 집광된다. 해당 촬상 소자에 의해 관찰광이 광전 변환되어, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 해당 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU： Camera Control Unit)(11201)에 송신된다.
CCU(11201)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등에 의해 구성되며, 내시경(11100) 및 표시 장치(11202)의 동작을 총괄적으로 제어한다. 또한, CCU(11201)는, 카메라 헤드(11102)로부터 화상 신호를 수취하고, 그 화상 신호에 대해, 예를 들면 현상 처리(디모자이크 처리) 등의, 해당 화상 신호에 기초하는 화상을 표시하기 위한 각종의 화상 처리를 실시한다.
표시 장치(11202)는, CCU(11201)로부터의 제어에 의해, 해당 CCU(11201)에 의해 화상 처리가 실시된 화상 신호에 기초하는 화상을 표시한다.
광원 장치(11203)는, 예를 들면 LED(Light Emitting Diode) 등의 광원으로 구성되고, 시술부 등을 촬영할 때의 조사광을 내시경(11100)에 공급한다.
입력장치(11204)는, 내시경 수술 시스템(11000)에 대한 입력 인터페이스이다. 유저는, 입력장치(11204)를 통해, 내시경 수술 시스템(11000)에 대해 각종의 정보의 입력이나 지시 입력을 행할 수 있다. 예를 들면, 유저는, 내시경(11100)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시 등을 입력한다.
처치구 제어 장치(11205)는, 조직의 소작, 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(11112)의 구동을 제어한다. 기복 장치(11206)는, 내시경(11100)에 의한 시야의 확보 및 시술자의 작업 공간의 확보의 목적으로, 환자(11132)의 체강을 부풀어 오르게 하기 위해, 기복 튜브(11111)를 통해 해당 체강 내로 가스를 보낸다. 레코더(11207)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(11208)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
또한, 내시경(11100)에 시술부를 촬영할 때의 조사광을 공급하는 광원 장치(11203)는, 예를 들면 LED, 레이저 광원 또는 이들의 조합에 의해 구성되는 백색 광원으로부터 구성할 수 있다. RGB 레이저 광원의 조합에 의해 백색 광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(11203)에 있어서 촬상 화상의 화이트 밸런스의 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저 광원 각각으로부터의 레이저광을 시분할로 관찰 대상에 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어함으로써, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 해당 방법에 따르면, 해당 촬상 소자에 컬러 필터를 설치하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(11203)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 된다. 그 광의 강도의 변경의 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어하여 시분할로 화상을 취득하고, 그 화상을 합성함으로써, 이른바 흑색 결함 및 노출 과다가 없는 고다이나믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(11203)는, 특수광 관찰에 대응한 소정의 파장 대역의 광을 공급할 수 있게 구성되어도 된다. 특수광 관찰에서는, 예를 들면, 체조직에 있어서의 광의 흡수의 파장 의존성을 이용하여, 통상의 관찰 시에 있어서의 조사광(즉, 백색광)에 비해 협대역의 광을 조사함으로써, 점막 표층의 혈관 등의 소정의 조직을 높은 콘트라스트로 촬영하는, 이른바 협대역 광관찰(Narrow Band Imaging)이 이루어진다. 또는, 특수광 관찰에서는, 여기광을 조사함으로써 발생하는 형광에 의해 화상을 얻는 형광 관찰이 이루어져도 된다. 형광 관찰에서는, 체조직에 여기광을 조사하고 해당 체조직으로부터의 형광을 관찰(자가 형광 관찰)하거나, 또는 인도시아닌그린(ICG) 등의 시약을 체조직에 국부적으로 주입함과 함께 해당 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사하여 형광상을 얻는 것 등을 행할 수 있다. 광원 장치(11203)는, 이와 같은 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하게 구성될 수 있다.
도 32는, 도 31에 나타내는 카메라 헤드(11102) 및 CCU(11201)의 기능 구성의 일례를 나타내는 블록도이다.
카메라 헤드(11102)는, 렌즈 유닛(11401)과, 촬상부(11402)와, 구동부(11403)와, 통신부(11404)와, 카메라 헤드 제어부(11405)를 갖는다. CCU(11201)는, 통신부(11411)와, 화상 처리부(11412)와, 제어부(11413)를 갖는다. 카메라 헤드(11102)와 CCU(11201)는, 전송 케이블(11400)에 의해 서로 통신 가능하게 접속되어 있다.
렌즈 유닛(11401)은, 경통(11101)과의 접속부에 설치되는 광학계이다. 경통(11101)의 선단으로부터 받아들여진 관찰광은, 카메라 헤드(11102)까지 도광되어, 해당 렌즈 유닛(11401)에 입사한다. 렌즈 유닛(11401)은, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다.
촬상부(11402)는, 촬상 소자로 구성된다. 촬상부(11402)를 구성하는 촬상 소자는, 1개(이른바 단판식)이어도 되고, 복수(이른바 다판식)이어도 된다. 촬상부(11402)가 다판식으로 구성되는 경우에는, 예를 들면, 각 촬상 소자에 의해 RGB 각각에 대응하는 화상 신호가 생성되고, 이들이 합성됨으로써 컬러 화상을 얻을 수 있어도 된다. 또는, 촬상부(11402)는, 3D(Dimensional) 표시에 대응하는 오른쪽 눈용 및 왼쪽 눈용 화상 신호를 각각 취득하기 위한 한 쌍의 촬상 소자를 갖도록 구성되어도 된다. 3D 표시가 행해짐으로써, 시술자(11131)는 시술부에 있어서의 생체 조직의 안쪽으로의 깊이를 보다 정확하게 파악하는 것이 가능하게 된다. 또한, 촬상부(11402)가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(11401)도 복수 계통 설치될 수 있다.
또한, 촬상부(11402)는, 반드시 카메라 헤드(11102)에 설치되지 않아도 된다. 예를 들면, 촬상부(11402)는, 경통(11101)의 내부에, 대물 렌즈의 바로 뒤에 설치되어도 된다.
구동부(11403)는, 액추에이터에 의해 구성되며, 카메라 헤드 제어부(11405)로부터의 제어에 의해, 렌즈 유닛(11401)의 줌 렌즈 및 포커스 렌즈를 광축을 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(11402)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있다.
통신부(11404)는, CCU(11201)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11404)는, 촬상부(11402)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(11400)을 통해 CCU(11201)에 송신한다.
또한, 통신부(11404)는, CCU(11201)로부터, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 수신하여, 카메라 헤드 제어부(11405)에 공급한다. 해당 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상 시의 노출값을 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다.
또한, 상기의 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건은, 유저에 의해 적절히 지정되어도 되고, 취득된 화상 신호에 기초하여 CCU(11201)의 제어부(11413)에 의해 자동적으로 설정되어도 된다. 후자의 경우에는, 이른바 AE(Auto Exposure) 기능, AF(Auto Focus) 기능 및 AWB(Auto White Balance) 기능이 내시경(11100)에 탑재되어 있게 된다.
카메라 헤드 제어부(11405)는, 통신부(11404)를 통해 수신한 CCU(11201)로부터의 제어 신호에 기초하여, 카메라 헤드(11102)의 구동을 제어한다.
통신부(11411)는, 카메라 헤드(11102)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11411)는, 카메라 헤드(11102)로부터, 전송 케이블(11400)을 통해 송신되는 화상 신호를 수신한다.
또한, 통신부(11411)는, 카메라 헤드(11102)에 대해서, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 송신한다. 화상 신호나 제어 신호는, 전기 통신이나 광 통신 등에 의해 송신할 수 있다.
화상 처리부(11412)는, 카메라 헤드(11102)로부터 송신된 RAW 데이터인 화상 신호에 대해서 각종의 화상 처리를 실시한다.
제어부(11413)는, 내시경(11100)에 의한 시술부 등의 촬상, 및 시술부 등의 촬상에 의해 얻어지는 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(11413)는, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 생성한다.
또한, 제어부(11413)는, 화상 처리부(11412)에 의해 화상 처리가 실시된 화상 신호에 기초하여, 시술부 등이 찍힌 촬상 화상을 표시 장치(11202)에 표시시킨다. 이 때, 제어부(11413)는, 각종의 화상 인식 기술을 이용하여 촬상 화상 내에 있어서의 각종의 물체를 인식해도 된다. 예를 들면, 제어부(11413)는, 촬상 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함으로써, 겸자 등의 시술구, 특정한 생체 부위, 출혈, 에너지 처치구(11112)의 사용 시의 미스트(mist) 등을 인식할 수 있다. 제어부(11413)는, 표시 장치(11202)에 촬상 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 해당 시술부의 화상에 중첩 표시시켜도 된다. 수술 지원 정보가 중첩 표시되어, 시술자(11131)에게 제시됨으로써, 시술자(11131)의 부담을 경감하는 것이나, 시술자(11131)가 확실히 수술을 진행시키는 것이 가능하게 된다.
카메라 헤드(11102) 및 CCU(11201)를 접속하는 전송 케이블(11400)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광섬유, 또는 이들의 복합 케이블이다.
여기서, 도시하는 예에서는, 전송 케이블(11400)을 이용하여 유선으로 통신이 이루어지고 있었지만, 카메라 헤드(11102)와 CCU(11201) 사이의 통신은 무선으로 이루어져도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 내시경 수술 시스템의 일례에 대해 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 예를 들면, 내시경(11100)이나, 카메라 헤드(11102)의 촬상부(11402)에 적용될 수 있다. 구체적으로는, 전술한 촬상 소자를 촬상부(10112)에 적용할 수 있다.
본 개시에 따른 촬상 소자가 적용된 촬상부(10112)는, 촬상부(12031)가 갖는 화소 어레이에 있어서의 화소의 판독을, 고속 판독이 가능하며 SNR이 우수한 가산 모드와, 해상도의 점에서 우수한 개별 모드 중 어느 것으로 실행할지를 지시할 수 있다. 이에 의해, 예를 들면 시술자(11131)는, 시술부 및 시술부의 상황에 따른 촬상 화상을 얻을 수 있다. 이에 의해, 예를 들면 시술자(11131)는, 보다 확실하게 수술을 진행하는 것이 가능해지고, 또한, 전력 절감화가 가능해진다.
한편, 여기서는, 일례로서 내시경 수술 시스템에 대해 설명하였지만, 본 개시에 따른 기술은, 그 외에, 예를 들면, 현미경 수술 시스템 등에 적용되어도 된다.
한편, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 또한 다른 효과가 있어도 된다.
한편, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
각각 N개×N개(N은 2 이상의 정수)의 화소를 포함하는 복수의 화소 그룹을 갖는 화소 어레이를 포함하고, 각 화소로부터 판독된 화소 신호를 출력하는 촬상부와,
상기 촬상부에 의한 상기 화소 각각으로부터 상기 화소 신호를 판독하는 판독 모드를 스위칭하는 스위칭부를 구비하고,
상기 스위칭부는,
상기 판독 모드를,
상기 화소 그룹에 포함되는 상기 N개×N개의 각 화소로부터 판독된 상기 화소 신호 각각을 가산하여 1개의 화소 신호로 하는 가산 모드와,
상기 화소 그룹에 포함되는 상기 N개×N개의 각 화소로부터 판독된 상기 화소 신호 각각을 개별적으로 출력하는 개별 모드 사이에서 스위칭하는, 촬상 장치.
(2)
해당 촬상 장치는 차량에 탑재되고,
상기 스위칭부는,
상기 차량으로부터 취득되는 차량 정보에 기초하여 상기 판독 모드를 스위칭하는, 상기 (1)에 기재된 촬상 장치.
(3)
상기 스위칭부는,
상기 차량 정보로서 취득되는 상기 차량의 속도에 따라 상기 판독 모드를 스위칭하는, 상기 (2)에 기재된 촬상 장치.
(4)
상기 스위칭부는,
상기 차량 정보로서 취득되는 상기 차량의 주변의 밝기에 따라 상기 판독 모드를 스위칭하는, 상기 (2) 또는 (3)에 기재된 촬상 장치.
(5)
상기 스위칭부는,
상기 차량 정보로서 취득되는 상기 차량의 속도가 미리 정해진 값 이상이고, 상기 차량 정보로서 취득되는 상기 차량의 주변의 밝기가 미리 정해진 값 이상인 경우에, 상기 판독 모드를 상기 개별 모드로 스위칭하는, 상기 (2) 내지 (4) 중 어느 하나에 기재된 촬상 장치.
(6)
상기 스위칭부는,
상기 화소 신호에 의한 프레임 화상의 영역에 따라 상기 판독 모드를 스위칭하는, 상기 (1) 내지 (5) 중 어느 하나에 기재된 촬상 장치.
(7)
상기 스위칭부는,
상기 판독 모드를, 상기 프레임 화상의 중앙부의 소정 영역에서 상기 개별 모드로 하고, 해당 프레임 화상의 해당 소정 영역 이외에서 상기 가산 모드로 하는, 상기 (6)에 기재된 촬상 장치.
(8)
상기 스위칭부는,
상기 화소 신호에 의한 프레임 화상에 포함되는 오브젝트에 기초하여 상기 판독 모드를 스위칭하는, 상기 (1) 내지 (7) 중 어느 하나에 기재된 촬상 장치.
(9)
상기 스위칭부는,
상기 화상에 특정한 오브젝트가 포함되는 경우에, 해당 화상의 해당 특정한 오브젝트가 포함되는 특정 영역과, 해당 특정 영역 이외의 영역에서 상기 판독 모드를 스위칭하는, 상기 (8)에 기재된 촬상 장치.
(10)
해당 촬상 장치는 차량에 탑재되어 사용되고,
상기 스위칭부는,
신호등, 교통 표지, 대향차 및 보행자 중 적어도 하나를 상기 특정한 오브젝트로 하여, 해당 특정한 오브젝트가 포함되는 상기 특정 영역의 상기 판독 모드를 상기 개별 모드로 스위칭하는, 상기 (9)에 기재된 촬상 장치.
(11)
상기 스위칭부는,
상기 화소 어레이에 포함되는 상기 화소의 판독을 제어함으로써, 상기 판독 모드를 스위칭하는, 상기 (1) 내지 (10) 중 어느 하나에 기재된 촬상 장치.
(12)
상기 스위칭부는,
상기 촬상부에 의해 출력된 상기 화소 신호에 대한 화상 처리를 제어함으로써, 상기 판독 모드를 스위칭하는, 상기 (1) 내지 (10) 중 어느 하나에 기재된 촬상 장치.
(13)
제1 노출 시간 동안 상기 화소가 노출된 제1 화소 신호에 의한 제1 화상과, 해당 노출에 계속해서 제2 노출 시간 동안 해당 화소가 노출된 제2 화소 신호에 의한 제2 화상을 합성하는 합성부를 더 구비하는, 상기 (1) 내지 (12) 중 어느 하나에 기재된 촬상 장치.
(14)
상기 화소 어레이는,
상기 복수의 화소 그룹에,
제1 광학 필터를 투과한 광을 수광하는 제1 화소 그룹과,
제2 광학 필터를 투과한 광을 수광하는 제2 화소 그룹과,
제3 광학 필터를 투과한 광을 수광하는 제3 화소 그룹을 포함하고,
상기 제1 화소 그룹과 상기 제2 화소 그룹과 상기 제3 화소 그룹이, 해당 제1 화소 그룹과 해당 제2 화소 그룹과 해당 제3 화소 그룹 중 서로 다른 화소 그룹이 인접하도록 배치되는, 상기 (1) 내지 (13) 중 어느 하나에 기재된 촬상 장치.
(15)
상기 판독 모드가 상기 개별 모드인 경우에, 상기 제1 화소 그룹, 상기 제2 화소 그룹 및 상기 제3 화소 그룹 각각에 포함되는 각 화소를, 각각의 화소의 위치에 따른 특성의 화소로 변환하는 리모자이크 처리를 실행하는 리모자이크 처리부를 더 구비하는, 상기 (14)에 기재된 촬상 장치.
1: 촬상 장치
10: 촬상부
12: 화상 처리부
13: 출력 처리부
14, 22: 제어부
15: 차량 정보 취득부
110, 110a: 화소 어레이부
201L, 201M, 201S: 처리 스위칭 스위치
202L, 202M, 202S: 화소 가산부
203L, 203M, 203S: 리모자이크 처리부
204L, 204M, 204S: 선택기
220: 검출부
1200, 1200a, 1200b: 화소 처리부
1201: HDR 합성 처리부

Claims (15)

  1. 각각 N개×N개(N은 2 이상의 정수)의 화소를 포함하는 복수의 화소 그룹을 갖는 화소 어레이를 포함하고, 각 화소로부터 판독된 화소 신호를 출력하는 촬상부와,
    상기 촬상부에 의한 상기 화소 각각으로부터 상기 화소 신호를 판독하는 판독 모드를 스위칭하는 스위칭부를 구비하고,
    상기 스위칭부는,
    상기 판독 모드를,
    상기 화소 그룹에 포함되는 상기 N개×N개의 각 화소로부터 판독된 상기 화소 신호 각각을 가산하여 1개의 화소 신호로 하는 가산 모드와,
    상기 화소 그룹에 포함되는 상기 N개×N개의 각 화소로부터 판독된 상기 화소 신호 각각을 개별적으로 출력하는 개별 모드 사이에서 스위칭하는, 촬상 장치.
  2. 제1항에 있어서,
    해당 촬상 장치는 차량에 탑재되고,
    상기 스위칭부는,
    상기 차량으로부터 취득되는 차량 정보에 기초하여 상기 판독 모드를 스위칭하는, 촬상 장치.
  3. 제2항에 있어서,
    상기 스위칭부는,
    상기 차량 정보로서 취득되는 상기 차량의 속도에 따라 상기 판독 모드를 스위칭하는, 촬상 장치.
  4. 제2항에 있어서,
    상기 스위칭부는,
    상기 차량 정보로서 취득되는 상기 차량의 주변의 밝기에 따라 상기 판독 모드를 스위칭하는, 촬상 장치.
  5. 제2항에 있어서,
    상기 스위칭부는,
    상기 차량 정보로서 취득되는 상기 차량의 속도가 미리 정해진 값 이상이고, 상기 차량 정보로서 취득되는 상기 차량의 주변의 밝기가 미리 정해진 값 이상인 경우에, 상기 판독 모드를 상기 개별 모드로 스위칭하는, 촬상 장치.
  6. 제1항에 있어서,
    상기 스위칭부는,
    상기 화소 신호에 의한 프레임 화상의 영역에 따라 상기 판독 모드를 스위칭하는, 촬상 장치.
  7. 제6항에 있어서,
    상기 스위칭부는,
    상기 판독 모드를, 상기 프레임 화상의 중앙부의 미리 정해진 영역에서 상기 개별 모드로 하고, 해당 프레임 화상의 해당 미리 정해진 영역 이외에서 상기 가산 모드로 하는, 촬상 장치.
  8. 제1항에 있어서,
    상기 스위칭부는,
    상기 화소 신호에 의한 프레임 화상에 포함되는 오브젝트에 기초하여 상기 판독 모드를 스위칭하는, 촬상 장치.
  9. 제8항에 있어서,
    상기 스위칭부는,
    상기 프레임 화상에 특정한 오브젝트가 포함되는 경우에, 해당 프레임 화상의 해당 특정한 오브젝트가 포함되는 특정 영역과, 해당 특정 영역 이외의 영역에서 상기 판독 모드를 스위칭하는, 촬상 장치.
  10. 제9항에 있어서,
    해당 촬상 장치는 차량에 탑재되어 사용되고,
    상기 스위칭부는,
    신호등, 교통 표지, 대향차 및 보행자 중 적어도 하나를 상기 특정한 오브젝트로 하여, 해당 특정한 오브젝트가 포함되는 상기 특정 영역의 상기 판독 모드를 상기 개별 모드로 스위칭하는, 촬상 장치.
  11. 제1항에 있어서,
    상기 스위칭부는,
    상기 화소 어레이에 포함되는 상기 화소의 판독을 제어함으로써, 상기 판독 모드를 스위칭하는, 촬상 장치.
  12. 제1항에 있어서,
    상기 스위칭부는,
    상기 촬상부에 의해 출력된 상기 화소 신호에 대한 화상 처리를 제어함으로써, 상기 판독 모드를 스위칭하는, 촬상 장치.
  13. 제1항에 있어서,
    제1 노출 시간 동안 상기 화소가 노출된 제1 화소 신호에 의한 제1 화상과, 해당 노출에 계속해서 제2 노출 시간 동안 해당 화소가 노출된 제2 화소 신호에 의한 제2 화상을 합성하는 합성부를 더 구비하는, 촬상 장치.
  14. 제1항에 있어서,
    상기 화소 어레이는,
    상기 복수의 화소 그룹에,
    제1 광학 필터를 투과한 광을 수광하는 제1 화소 그룹과,
    제2 광학 필터를 투과한 광을 수광하는 제2 화소 그룹과,
    제3 광학 필터를 투과한 광을 수광하는 제3 화소 그룹을 포함하고,
    상기 제1 화소 그룹과 상기 제2 화소 그룹과 상기 제3 화소 그룹이, 해당 제1 화소 그룹과 해당 제2 화소 그룹과 해당 제3 화소 그룹 중 서로 다른 화소 그룹이 인접하도록 배치되는, 촬상 장치.
  15. 제14항에 있어서,
    상기 판독 모드가 상기 개별 모드인 경우에, 상기 제1 화소 그룹, 상기 제2 화소 그룹 및 상기 제3 화소 그룹 각각에 포함되는 각 화소를, 각각의 화소의 위치에 따른 특성의 화소로 변환하는 리모자이크 처리(remosaic processing)를 실행하는 리모자이크 처리부를 더 구비하는, 촬상 장치.
KR1020227008241A 2019-09-24 2020-09-16 촬상 장치 KR20220068990A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-173428 2019-09-24
JP2019173428 2019-09-24
PCT/JP2020/035160 WO2021060120A1 (ja) 2019-09-24 2020-09-16 撮像装置

Publications (1)

Publication Number Publication Date
KR20220068990A true KR20220068990A (ko) 2022-05-26

Family

ID=75166649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227008241A KR20220068990A (ko) 2019-09-24 2020-09-16 촬상 장치

Country Status (7)

Country Link
US (1) US11936979B2 (ko)
EP (1) EP4035942A4 (ko)
JP (1) JPWO2021060120A1 (ko)
KR (1) KR20220068990A (ko)
CN (1) CN114208154A (ko)
TW (1) TW202130163A (ko)
WO (1) WO2021060120A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885436B (zh) * 2016-01-15 2021-12-14 美国iRobot公司 自主监视机器人系统
DE102020123505A1 (de) 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines übersichtsbildes
DE102020123504A1 (de) * 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines hdr-bildes
CN114666469B (zh) * 2020-12-24 2023-11-14 富泰华工业（深圳）有限公司 图像处理装置、方法及具有该图像处理装置的镜头模组

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015061260A (ja) * 2013-09-20 2015-03-30 株式会社ニコン 撮像装置および撮像処理プログラム
US10279742B2 (en) * 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
JP6369233B2 (ja) 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
EP3229172A1 (en) * 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Driver assistance system with variable image resolution
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
DE102016213493A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
JP2018117220A (ja) * 2017-01-17 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
WO2018198766A1 (ja) * 2017-04-25 2018-11-01 ソニー株式会社 固体撮像装置および電子機器
WO2018207210A1 (en) * 2017-05-10 2018-11-15 Lightmetrics Technologies Pvt. Ltd. Vehicle monitoring system and method using a connected camera architecture
US10848670B2 (en) * 2017-06-19 2020-11-24 Amazon Technologies, Inc. Camera systems adapted for installation in a vehicle
JP7171199B2 (ja) * 2017-08-03 2022-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
CN109934952B (zh) * 2017-12-18 2021-05-11 华创车电技术中心股份有限公司 车载行车影像图像数据建立系统
JP6725733B2 (ja) * 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2021010339A1 (ja) * 2019-07-12 2021-01-21 株式会社小糸製作所 イメージング装置およびその照明装置、車両、車両用灯具

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
WO2021060120A1 (ja) 2021-04-01
CN114208154A (zh) 2022-03-18
EP4035942A4 (en) 2022-11-30
JPWO2021060120A1 (ko) 2021-04-01
TW202130163A (zh) 2021-08-01
US20220345606A1 (en) 2022-10-27
EP4035942A1 (en) 2022-08-03
US11936979B2 (en) 2024-03-19

Similar Documents

Publication Publication Date Title
WO2021060120A1 (ja) 撮像装置
CN110537367B (zh) 固态成像捕捉装置和电子装置
JP7284171B2 (ja) 固体撮像装置
KR20220006522A (ko) 촬상 소자 및 전자 기기
WO2020262193A1 (ja) 固体撮像装置、及び電子機器
CN112534579A (zh) 摄像装置和电子设备
US20230254596A1 (en) Image processor, image processing method, and imaging device
WO2020170565A1 (ja) 信号処理方法および撮像装置
US11889206B2 (en) Solid-state imaging device and electronic equipment
CN114208158A (zh) 信息处理装置、信息处理方法和信息处理程序
KR20210133968A (ko) 촬상 장치
JP7034925B2 (ja) 固体撮像装置および撮像方法
KR102666651B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 장치
WO2023080011A1 (ja) 撮像装置及び電子機器
WO2022202277A1 (ja) 固体撮像装置、電子機器及び固体撮像装置の制御方法
WO2021171796A1 (ja) 固体撮像装置及び電子機器
WO2023162496A1 (ja) 撮像装置
WO2023013156A1 (ja) 撮像素子及び電子機器
CN114556906A (zh) 摄像装置和电子设备

Legal Events

Date Code Title Description
A201 Request for examination