KR20130139154A - 촬상 장치 및 촬상 장치 제어 방법, 및 프로그램 - Google Patents

촬상 장치 및 촬상 장치 제어 방법, 및 프로그램 Download PDF

Info

Publication number
KR20130139154A
KR20130139154A KR1020127026967A KR20127026967A KR20130139154A KR 20130139154 A KR20130139154 A KR 20130139154A KR 1020127026967 A KR1020127026967 A KR 1020127026967A KR 20127026967 A KR20127026967 A KR 20127026967A KR 20130139154 A KR20130139154 A KR 20130139154A
Authority
KR
South Korea
Prior art keywords
pixel
pixels
center
addition
output
Prior art date
Application number
KR1020127026967A
Other languages
English (en)
Inventor
마사노리 가사이
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130139154A publication Critical patent/KR20130139154A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

촬상 장치에 있어서 화소수 삭감 화상을 생성할 때에, 화소 무게 중심의 제어를 가능하게 한 처리를 실현하는 장치, 방법을 제공한다. 다른 감도의 화소로부터의 출력 화소 신호를 가산한 화소 가산 신호를 출력하는 화소부와, 화소부로부터 출력되는 복수의 화소 가산 신호에 대하여 미리 설정한 게인을 곱한 가중 가산 처리를 실행하고, 화소부의 화소수보다 총 화소수가 적은 화소수 삭감 화상의 구성 화소값을 산출하는 화소 정보 합성부를 갖는다. 화소부의 화소 가산 신호 생성 처리와, 화소 정보 합성부에 있어서의 가중 가산 처리에 의해, 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치의 제어를 실행한다. 예를 들어, 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치를 상기 화소부에 균등하게 배치하도록 무게 중심 위치 제어를 실행한다. 이 처리에 의해 재기 등의 발생이 억제된 고품질의 화상 생성이 가능해진다.

Description

촬상 장치 및 촬상 장치 제어 방법, 및 프로그램{IMAGE PICK-UP DEVICE, IMAGE PICK-UP DEVICE CONTROL METHOD, AND PROGRAM}
본 발명은 촬상 장치, 및 촬상 장치 제어 방법, 및 프로그램에 관한 것이다. 더욱 상세하게는, 촬상 소자의 출력 신호에 대한 처리에 의해, 화소수를 변환한 화상 신호를 생성하는 촬상 장치, 및 촬상 장치 제어 방법, 및 프로그램에 관한 것이다.
요즈음의 촬상 장치는, 고해상도의 화상 촬영을 위해, 수 100만 내지 수 1000만 화소의 지극히 다수의 화소를 갖는 촬상 소자를 구비한 것이 많아지고 있다.
그러나, 촬상 소자가 갖는 화소수에 대응하는 고해상도 화상의 출력이 가능한 표시 장치가 이용되는 경우는 적고, 또한 촬상 소자로부터 출력되는 고해상도 화상을 메모리에 그대로 기록하면 기록에 필요하게 되는 메모리 용량이 증대해 버려, 기록 가능한 화상 매수가 감소해 버린다는 사태가 발생한다.
이와 같은 상황을 고려하여, 고화소수의 촬상 소자를 구비한 촬상 장치에서는, 촬상 소자로부터의 출력 화소 신호를 그대로 메모리에 기록하지 않고, 출력 화소수를 솎아내는 처리나, 복수 화소의 가산 연산 등을 포함하는 합성 처리에 의해, 총 화소수를 삭감해서 메모리에 기록하는 처리가 많이 행해지고 있다.
이러한 화소수 삭감 처리를 개시한 종래 기술로서, 예를 들어 특허문헌 1(일본 특허 출원 공개 제2008-278453호 공보)이 있다.
도 1을 참조하여, 특허문헌 1에 기재된 처리의 개요에 대해서 설명한다.
도 1은 상기 특허문헌 1에 기재된,
(a) 촬상 소자의 화소 구성,
(b) 촬상 소자의 회로 구성을
나타내고 있다.
또한, 도 1의 (b)에 도시하는 회로는 도 1의 (a)에 도시하는 Gb1, R1, Gb2, R2의 4화소 부분의 화소 영역(11)에 대응하는 회로이다.
특허문헌 1에 기재된 실시예의 하나에서는, 도 1의 (a)에 도시하는 촬상 소자 구성에 있어서, 화소 영역(11)을 공유 화소 영역, 즉 화소수 삭감 화상으로서의 출력 화상을 구성하는 1개의 화소의 화소값을 결정하기 위한 복수 화소를 포함하는 단위 영역으로 하고 있다. Gb, R의 화소가, 도 1의 (b)에 도시한 바와 같이 전송 트랜지스터(T1 내지 T4)를 통해서 앰프용 트랜지스터(AMP)의 게이트부에 접속되어 있다.
화소수를 삭감한 출력 화상을 얻기 위해서, 도 1의 (b)에 도시하는 회로 구성을 사용하여, 영역(11)에 포함되는 동일한 색의 화소(본 예에서는 Gb1, Gb2)의 가산 연산을 행하고 있다.
도 1의 (b)에 도시하는 회로 구성을 사용하여, 실행하는 화소값 가산 처리의 타이밍 챠트를 도 2에 도시한다.
도 2에는,
(1) 노광 개시를 규정하는 셔터 동작,
(2) 노광 종료를 규정하는 판독 동작,
에 있어서의, 전송 트랜지스터 신호:T1 내지 T4,
리셋 신호:RST[플로팅 디퓨전(FD)의 리셋],
선택 신호:SEL,
이들 신호 패턴을 도시하고 있다.
도 2는 도 1의 (a)에 도시하는 화소(Gb1)와 화소(Gb2)의 가산 처리를 행하는경우의 신호 패턴을 도시하고 있다.
도 2에 도시하는 시간(ts 내지 te)의 기간이 노광 기간에 상당한다.
도 2의 (1) 셔터 동작에 있어서의 트랜지스터(T1, T3)의 온에 의해, 도 1의 (a)에 도시하는 화소(Gb1)와 화소(Gb2)의 노광이 개시되고, 그 후, 도 2의 (2)의 판독 동작에 있어서의 트랜지스터(T1, T3)의 온에 의해, 도 1의 (a)에 도시하는 화소(Gb1)와 화소(Gb2)의 노광이 종료하고, 판독 처리가 실행된다.
판독 처리의 초기(T=t1)에 있어서, 공유 화소의 선택(SEL)과 플로팅 디퓨전(FD)의 리셋(RST)을 행하고, 계속해서 시간(T=t2)에 있어서, 도 1의 (a)에 도시하는 화소(Gb1)와 화소(Gb2)의 트랜지스터 T1과 T3을 동시에 판독하고, Gb1 및 Gb2에 발생한 전자를 플로팅 디퓨전(FD)에 축적해서 가산한다. 2개의 화소의 화소값의 가산 신호를 얻는 것이다. 이들 가산 신호에 의거하여 예를 들어 복수 화소의 화소값의 평균 신호를 산출해서 출력 화소값을 산출한다.
특허문헌 1에서는, 이러한 복수의 화소의 가산 처리를 기본 구성으로 하여, 예를 들어, 도 3에 도시하는 바와 같은 4화소를 1화소로 하는 화소값 가산에 의한 화소수 삭감 구성을 개시하고 있다.
도 3에는,
(a) 촬상 소자의 화소 배열
(b) 출력 화소의 화소 무게 중심
이들 도면을 도시하고 있다.
도 3의 (a)에 도시하는 화소 배열은, 도 1의 (a)에 도시하는 화소 배열과 동일의 화소 배열이다. 이 화소 배열은 촬상 소자의 화소 배열에 상당한다.
도 3의 (a)의 촬상 소자의 동일 색의 화소 4화소에 의거하여, 출력 화상의 1화소의 화소값을 설정해 출력한다.
즉, 4화소를 1화소에 집약해서 출력하여 총 화소수를 삭감한다.
도 3의 (b) 출력 화소의 화소 무게 중심은, 화소수 삭감후의 출력 화소 각각에 관한 원래의 촬상 소자에 있어서의 화소 무게 중심을 도시한 도면이다.
예를 들어, 도 3의 (b)의 Gb 화소(31)는, 도 3의 (a)의 3×3화소 블록(21)의 4코너의 Gb 화소의 화소값을 균등하게 사용해서 결정된 화소값이며, 3×3화소 블록(21)의 중심 위치에 화소 무게 중심이 설정된다. 이 무게 중심 위치를 나타내고 있는 것이, 도 3의 (b)의 Gb 화소(31)이다.
도 3에 도시하는 예는, (a)에 도시하는 8×8 화소의 64화소를, (b)에 도시하는 4×4=16화소로 해서, 출력 화상의 화소수를 촬상 소자의 화소수의 1/4로 삭감하는 처리를 행하고 있는 예이다.
이 처리를 위해, 예를 들어 도 3의 (a)에 도시하는 3×3화소 블록(21)의 4코너의 (Gb) 화소의 가산 처리를 실행하고, 출력 화상에 있어서의 1개의 Gb 화소의 화소값을 산출하고 있다.
종방향의 2개의 Gb의 화소값에 대해서는, 먼저 도 1의 (b)를 참조해서 설명한 회로를 따라 가산한다. 그 후, 1열 걸러서 촬상 소자로부터 출력되는 2개의 가산값을 다시 가산해서 4개의 Gb 화소값의 가산값을 산출하고, 그 후, 이들 가산값에 기초하는 평균값 등을 산출해서 4화소에 기초하는 출력 화상의 1화소의 화소값을 결정하고 있다.
즉, 도 3의 (a)에 도시하는 3×3화소의 블록(21)에 포함되는 4개의 Gb 화소에 의거하여, 도 3의 (b)에 도시하는 Gb 화소(31)의 화소값을 산출하고 있다.
이 경우, 출력 화상에 있어서의 Gb 화소(31)의 무게 중심은, 수평 우측 방향을 x, 수직 하방향을 y로 한 좌표축에 있어서, (x, y)=(2, 2)의 위치, 즉 도 3의 (b)에 도시하는 Gb 화소(31)의 위치로 된다.
또한, 도 3의 (a)에 도시하는 3×3화소의 블록(22)에 포함되는 4개의 B 화소에 의거하여, 도 3의 (b)에 도시하는 B 화소(32)의 화소값이 산출된다.
이 경우, 출력 화상에 있어서의 B 화소(32)의 무게 중심은, (x, y)=(3, 2)의 위치, 즉 도 3의 (b)에 도시하는 B 화소(32)의 위치로 된다.
마찬가지로, 도 3의 (a)에 도시하는 3×3화소의 블록(23)에 포함되는 4개의 Gb 화소에 의거하여, 도 3의 (b)에 도시하는 GB 화소(33)의 화소값이 산출된다.
이 경우, 출력 화상에 있어서의 Gb 화소(33)의 무게 중심은, (x, y)=(6, 2)의 위치, 즉 도 3의 (b)에 도시하는 B 화소(33)의 위치로 된다.
또한, 도 3의 (a)에 도시하는 3×3화소의 블록(24)에 포함되는 4개의 B 화소에 의거하여, 도 3의 (b)에 도시하는 B 화소(34)의 화소값이 산출된다.
이 경우, 출력 화상에 있어서의 B 화소(34)의 무게 중심은, (x, y)=(7, 2)의 위치, 즉 도 3의 (b)에 도시하는 B 화소(34)의 위치로 된다.
도 3의 (b)에 도시하는 합계 16개의 화소는, 출력 화상으로 하는 경우, 4×4화소의 화상으로서 출력된다.
즉, 도 4의 (c)에 도시하는 바와 같은 4×4화소의 화상(70)으로서 출력된다.
도 4에는,
(b) 출력 화소의 화소 무게 중심[도 3의 (b)와 동일]
(c) 출력 화상의 화소 위치
이들을 도시하고 있다.
도 4의 (c)에서는 좌측 상부의 2×2화소, 즉 Gb 화소(31), B 화소(32)를 포함하는 2×2화소의 블록을 고정해서 생각하고 있다. 이 설정으로 했을 경우, 그 밖의 3개의 2×2의 화소 블록은, 모두 도 4의 (c)에 도시하는 화살표 (α), (β), (γ)에 따라서 이동시켜서 도 4의 (c)에 도시하는 4×4화소의 화상(70)의 구성 화소로서 출력되게 된다.
이 시프트 처리에 의해, 이하와 같은 문제가 발생한다.
예를 들어,
화소 무게 중심의 위치가 (x, y)=(6, 2)인 Gb 화소(33)는, 출력 화상에서는, 화소 위치가 (x, y)=(3, 2)인 Gb 화소(53)로서 설정된다.
또한,
화소 무게 중심의 위치가 (x, y)=(7, 2)인 B 화소(34)는, 출력 화상에서는, 화소 위치가 (x, y)=(3, 3)의 B 화소(54)로서 설정된다.
여기서, 축척율을 산출한다.
화소 위치 (x, y)=(2, 2)의 GB 화소(31)를 고정 위치로 한 기준 화소로 가정해서 생각한다.
도 4의 (b)에 도시하는 화소 위치 (x, y)=(6, 2)의 Gb 화소(33)는, 기준 화소인 Gb 화소(31)로부터 4화소 이격되어 있다.
이것이, 출력 화상에서는, 화소 위치가 (x, y)=(3, 2)인 Gb 화소(53)로서 설정되므로, 그 기준 화소:Gb 화소(31)로부터의 거리는 2화소가 된다.
즉, 축척율은,
2화소/4화소=1/2
로 된다.
한편, 도 4의 (b)에 도시하는 화소 위치 (x, y)=(7, 2)의 B 화소(34)는, 기준 화소인 Gb 화소(31)로부터 5화소 이격되어 있다.
이것이, 출력 화상에서는, 화소 위치가 (x, y)=(4, 2)인 B 화소(54)로서 설정되므로, 그 기준 화소:Gb 화소(31)로부터의 거리는 3화소로 된다.
즉, 축척율은,
3화소/5화소=3/5
로 된다.
이와 같이, 화소간의 축척율이 제각각으로 되고, 촬상 소자의 화소 배열에 대응하는 촬영 화상의 각 화소의 상대 위치와 다른 상대 위치를 갖는 출력 화상이 생성되어 버리게 된다.
즉, 촬상 소자에 있어서 촬영된 오리지널 화상의 각 화소의 간격이 불균일하게 축소되어서 출력 화상이 생성되어 버린다.
이러한 화소 간격의 불균등은 화질 열화를 야기한다.
구체적으로는, 예를 들어 도 5에 도시하는 바와 같은 재기(jaggies)의 확대 등의 열화를 발생시킨다.
도 5의 (a)의 오리지널 화상은, 촬상 소자의 촬영 화상에 상당하는 화소수가 많은 고해상도의 화상이며, 이 화상은 재기가 작다.
이 도 5의 (a)의 오리지널 화상에 의거하여, 도 1 내지 도 4를 참조해서 설명한 상대적인 화소 위치를 제각각으로 해 버리는 화소수 삭감 처리를 행하면, 도 5의 (b)에 도시하는 바와 같은 재기의 확대한 화상이 생성되어 버린다.
또한, 재기는 반환 잡음의 일종이다. 가산후의 화소 무게 중심의 간격의 불균등에 의해 재기 열화는 커진다.
또한, 이 밖에도, RGB의 각 배색의 위치 관계의 흐트러짐 등에 의해, 출력 화상의 색도 오리지널 화상과 차이가 발생하는 등 여러가지 화질 열화를 야기하게 된다.
일본 특허 출원 공개 제2008-278453호 공보
본 발명은 예를 들어, 이러한 상황에 감안해서 이루어진 것이며, 촬상 소자가 갖는 화소수와 다른 화소수의 화상을 생성해서 출력할 때에, 화질 열화를 억제한 고품질의 화상을 생성 가능하게 한 촬상 장치, 및 촬상 장치 제어 방법, 및 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 제1 측면은,
다른 감도의 화소로부터의 출력 화소 신호를 가산한 화소 가산 신호를 출력하는 화소부와,
상기 화소부로부터 출력되는 복수의 화소 가산 신호에 대하여 미리 설정한 게인을 곱한 가중 가산 처리를 실행하여, 상기 화소부의 화소수보다 총 화소수가 적은 화소수 삭감 화상의 구성 화소값을 산출하는 화소 정보 합성부를 갖고,
상기 화소부의 화소 가산 신호 생성 처리와, 상기 화소 정보 합성부에 있어서의 가중 가산 처리에 의해, 상기 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치의 제어를 실행하는 촬상 장치이다.
또한, 본 발명의 촬상 장치의 일 실시형태에 있어서, 상기 화소부와, 상기 화소 정보 합성부는, 상기 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치를 상기 화소부에 균등하게 배치하도록 무게 중심 위치 제어를 실행한다.
또한, 본 발명의 촬상 장치의 일 실시형태에 있어서, 상기 화소부는, 상기 화소 가산 신호 생성 처리에 있어서, 상기 화소수 삭감 화상을 구성하는 각 화소의 일방향의 무게 중심 위치 제어를 실행하고, 상기 화소 정보 합성부는, 상기 가중 가산 처리에 있어서, 상기 화소부가 실행하는 무게 중심 위치 제어 방향의 직행 방향에서의 무게 중심 위치 제어를 실행한다.
또한, 본 발명의 촬상 장치의 일 실시형태에 있어서, 상기 화소부는, 상기 화소 가산 신호 생성 처리에 있어서, 가산 처리 대상이 되는 화소의 감도비에 따른 무게 중심 위치 제어 결과로서의 가산 화소값의 산출을 행한다.
또한, 본 발명의 촬상 장치의 일 실시형태에 있어서, 상기 화소 정보 합성부는, 상기 가중 가산 처리에 있어서, 가중 가산 처리 대상이 되는 복수의 화소 가산 신호에 대하여, 제어 예정의 무게 중심 위치에 따른 게인을 곱한 가중 가산 처리를 실행한다.
또한, 본 발명의 촬상 장치의 일 실시형태에 있어서, 상기 화소부는, 일행 걸러서 동일색의 화소가 배열되고, 2행마다 다른 감도비 1:3의 다른 감도로 설정된 화소 배열을 갖고, 상기 화소부는, 감도비가 1:3인 2개의 다른 감도의 화소로부터의 출력 화소 신호를 가산한 화소 가산 신호를 출력하는 구성이다.
또한, 본 발명의 촬상 장치의 일 실시형태에 있어서, 상기 화소부는, 1열 걸러서 동일색의 화소가 배열된 화소 배열을 갖고, 상기 화소 정보 합성부는, 1열 걸러서 상기 화소부로부터 출력되는 2개의 화소 가산 신호에, 1:3의 게인을 곱한 가중 가산 처리를 실행하여, 상기 화소부의 화소수보다 총 화소수가 적은 화소수 삭감 화상의 구성 화소값을 산출한다.
또한, 본 발명의 촬상 장치의 일 실시형태에 있어서, 상기 촬상 장치는, 상기 화소부의 영역 단위의 노광 시간 제어를 실행하는 제어부를 더 갖는다.
또한, 본 발명의 제2 측면은,
촬상 장치에서 실행하는 촬상 장치 제어 방법으로서,
화소부에 있어서, 다른 감도의 화소로부터의 출력 화소 신호를 가산한 화소 가산 신호를 출력하는 화소 가산 신호 출력 스텝과,
화소 정보 합성부에 있어서, 상기 화소부로부터 출력되는 복수의 화소 가산 신호에 대하여 미리 설정한 게인을 곱한 가중 가산 처리를 실행하고, 상기 화소부의 화소수보다 총 화소수가 적은 화소수 삭감 화상의 구성 화소값을 산출하는 화소 정보 합성 스텝을 갖고,
상기 화소부의 화소 가산 신호 생성 처리와, 상기 화소 정보 합성부에 있어서의 가중 가산 처리에 의해, 상기 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치의 제어를 실행하는 촬상 장치 제어 방법이다.
또한, 본 발명의 제3 측면은,
촬상 장치에서 촬상 장치 제어 처리를 실행시키는 프로그램으로서,
화소부에, 다른 감도의 화소로부터의 출력 화소 신호를 가산한 화소 가산 신호를 출력시키는 화소 가산 신호 출력 스텝과,
화소 정보 합성부에, 상기 화소부로부터 출력되는 복수의 화소 가산 신호에 대하여 미리 설정한 게인을 곱한 가중 가산 처리를 실행하여, 상기 화소부의 화소수보다 총 화소수가 적은 화소수 삭감 화상의 구성 화소값을 산출시키는 화소 정보 합성 스텝을 실행시키고,
상기 화소부의 화소 가산 신호 생성 처리와, 상기 화소 정보 합성부에 있어서의 가중 가산 처리에 있어서, 상기 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치의 제어를 실행시키는 프로그램이다.
또한, 본 발명의 프로그램은, 예를 들어 여러가지 프로그램·코드를 실행 가능한 정보 처리 장치나 컴퓨터·시스템에 대하여 예를 들어 기억 매체에 의해 제공되는 프로그램이다. 이러한 프로그램을 정보 처리 장치나 컴퓨터·시스템상의 프로그램 실행부에서 실행함으로써 프로그램에 따른 처리가 실현된다.
본 발명의 또 다른 목적, 특징이나 이점은 후술하는 본 발명의 실시예나 첨부하는 도면에 의거하여 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에 있어서 시스템이라 함은 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징내에 있는 것에 한정되지는 않는다.
본 발명의 일 실시예에 따르면, 촬상 장치에 있어서 화소수 삭감 화상을 생성할 때에, 화소 무게 중심의 제어를 가능하게 한 처리를 실현하는 장치, 방법이 실현된다.
구체적으로는, 다른 감도의 화소로부터의 출력 화소 신호를 가산한 화소 가산 신호를 출력하는 화소부와, 화소부로부터 출력되는 복수의 화소 가산 신호에 대하여 미리 설정된 게인을 곱한 가중 가산 처리를 실행하고, 화소부의 화소수보다 총 화소수가 적은 화소수 삭감 화상의 구성 화소값을 산출하는 화소 정보 합성부를 갖는다. 화소부의 화소 가산 신호 생성 처리와, 화소 정보 합성부에 있어서의 가중 가산 처리에 의해, 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치의 제어를 실행한다. 예를 들어, 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치를 상기 화소부에 균등하게 배치하도록 무게 중심 위치 제어를 실행한다.
이 처리에 의해 재기24 등의 발생이 억제된 고품질의 화상 생성이 가능해진다.
도 1은 종래 기술로서의 촬상 소자에 있어서의 화소값 가산 처리에 대해서 설명하는 도면이다.
도 2는 촬상 소자의 촬상 처리에 있어서의 타이밍 챠트를 도시하는 도면이다.
도 3은 종래 처리에 있어서의 문제점에 대해서 설명하는 도면이다.
도 4는 종래 처리에 있어서의 문제점에 대해서 설명하는 도면이다.
도 5는 종래 처리에 있어서의 문제점으로서의 재기의 발생에 대해서 설명하는 도면이다.
도 6은 촬상 장치의 구성예에 대해서 설명하는 도면이다.
도 7은 촬상 소자의 구성과 처리예에 대해서 설명하는 도면이다.
도 8은 화소수 삭감 화상의 생성예에 대해서 설명하는 도면이다.
도 9는 화소수 삭감 화상과 화소 무게 중심의 제어에 대해서 설명하는 도면이다.
도 10은 화소수 삭감 화상과 화소 무게 중심의 제어에 대해서 설명하는 도면이다.
도 11은 촬상 소자의 상세 구성과 처리에 대해서 설명하는 도면이다.
도 12는 촬상 소자의 상세 구성과 처리에 대해서 설명하는 도면이다.
도 13은 촬상 소자의 노광 제어 처리에 대해서 설명하는 도면이다.
도 14는 촬상 소자의 처리인 화소값 가산에 의거한 수직 방향의 무게 중심 위치 제어에 대해서 설명하는 도면이다.
도 15는 화소수 삭감 화상의 생성 다음에 설정하는 블록에 대해서 설명하는 도면이다.
도 16은 촬상 소자의 처리인 화소값 가산에 의거한 수직 방향의 무게 중심 위치 제어에 대해서 설명하는 도면이다.
도 17은 촬상 소자의 처리인 수평 방향의 무게 중심 위치 제어에 대해서 설명하는 도면이다.
이하, 도면을 참조하면서 본 발명의 촬상 장치, 및 촬상 장치 제어 방법, 및 프로그램의 상세에 대해서 설명한다. 설명은 이하의 항목을 따라서 행한다.
1. 촬상 장치의 구성예에 대해서
2. 촬상 소자의 구성예에 대해서
3. 화소수 삭감 화상의 생성 처리의 구체예에 대해서
4. 촬상 소자의 구체적 구성과 구체적 처리예에 대해서
[1. 촬상 장치의 구성예에 대해서]
우선, 촬상 장치의 전체 구성예에 대해서 도 6을 참조해서 설명한다.
도 6은 촬상 장치의 구성예를 도시하는 블록도이다. 광학 렌즈(101)를 통해서 입사되는 광은 예를 들어 CMOS 이미지 센서 등에 의해 구성되는 촬상 소자(102)에 입사하고, 광전 변환에 의한 화상 데이터를 출력한다. 출력 화상 데이터는 신호 처리부(103)에 입력된다. 신호 처리부(103)는, 예를 들어 화이트 밸런스(WB) 조정, 감마 보정 등 일반적인 카메라에 있어서의 신호 처리를 실행해서 출력 화상(120)을 생성한다. 출력 화상(120)은 도시하지 않은 기억부에 저장된다. 또는 표시부에 출력된다.
제어부(105)는, 예를 들어 도시하지 않은 메모리에 저장된 프로그램을 따라서 각 부에 제어 신호를 출력하고, 각종 처리의 제어를 행한다.
[2. 촬상 소자의 구성예에 대해서]
다음에, 촬상 소자(102)의 구성예에 대해서 도 7을 참조해서 설명한다.
도 7은 본 발명의 일 실시예의 촬상 소자(102)의 구성을 도시하는 도면이다.
촬상 소자(102)는, 도 7에 도시한 바와 같이 화소부(201), 출력 화소값 산출부(202)를 갖는다.
출력 화소값 산출부(202)는 AD 변환부(211), 화소 정보 합성부(212), 출력부(213)를 갖는다.
화소부(201)는 다수의 화소 각각에 피사체 광에 의거한 전하를 축적하고, 고해상도 화상인 고화소수의 화상 데이터를 출력한다.
또한, 화소부(201)는, 장시간 노광을 행하는 고감도 화소와, 단시간 노광을 행하는 저감도 화소를 갖는 구성으로 되어 있다. 화소부(201)의 상세 구성에 대해서는 후술한다.
화소부(201)로부터는, 예를 들어 먼저 도 1을 참조해서 설명한 것과 마찬가지의 RGbGrB의 배열로 이루어지는 화소 구성을 갖고, 도 1의 (b)와 마찬가지의 출력 회로를 갖고, 2개의 동일색의 화소값을 가산한 가산 화소값(250)을 출력한다.
단, 본 실시예에 있어서 화소부(201)로부터 출력하는 가산 화소값(250)은 2개의 동일색의 화소값의 가산값이지만,
(a) 장시간 노광을 행한 고감도 화소의 화소값,
(b) 단시간 노광을 행한 저감도 화소의 화소값,
이들 2개의 다른 감도의 화소값의 가산값을 가산 화소값(250)으로서 출력한다. 이 처리의 구성에 대해서는 후단에서 설명한다.
화소부(201)로부터 출력된 가산 화소값(250)은, 출력 화소값 산출부(202)의 AD 변환부(211)에 있어서 디지털 데이터로 변환되어, 화소 정보 합성부(212)에 입력된다.
화소 정보 합성부(212)에서는, AD 변환부(211)로부터 입력하는 가산 화소값의 디지털 데이터를 이용하고, 화소부(201)의 화소수를 삭감한 출력 화상을 구성하는 각 화소의 화소값의 산출을 행한다.
예를 들어, 화소부(201)의 화소수를 1/4로 삭감한 화소수 삭감 화상의 각 화소의 화소값을 결정한다. 구체적인 처리예에 대해서는 후술한다.
출력부(213)는, 화소수를 삭감한 화상 데이터를 화소 정보 합성부(212)로부터 입력해서 신호 처리부(103)로 출력한다.
또한, 제어부(105)는, 예를 들어 도시하지 않은 메모리에 저장된 프로그램에 따라서, 화소부(201)의 노광 시간의 제어 신호, 출력 화소값 산출부(202)에 대한 처리 제어 신호 등을 공급한다.
[3. 화소수 삭감 화상의 생성 처리의 구체예에 대해서]
다음에, 본 실시예의 촬상 장치의 실행하는 화소수 삭감 화상의 생성 처리의 구체예에 대해서 설명한다.
우선, 도 8을 참조하여, 화소부(201)의 구체적인 일 구성예와, 출력 화소값 산출부(202)의 실행하는 화소수 삭감 처리의 일예에 대해서 설명한다.
도 8에는, 이하의 도면을 도시하고 있다.
(a) 화소부(201)의 화소 배열예
(b) 촬상 소자(102)의 출력하는 화소수 삭감 화상
도면에는, 화소부를 구성하는 각 화소의 화소 위치를 알기 쉽게 하기 위해서, 횡축을 x, 종축을 y로 해서, 각 화소 위치를 좌표(x, y)로서 도시하고 있다.
좌상단부의 Gb 화소의 위치를 (x, y)=(1, 1),
우측 하단부의 Gr 화소의 위치를 (x, y)=(8, 8)
로 해서, 8×8 화소를 도시하고 있다. 또한, 도 8의 (a)에 도시하는 8×8 화소는 화소부(201)의 일부[화소부(201)의 좌상단의 일부]만을 도시한 도면이다.
도 8의 (a)에 도시하는 화소부(201)의 화소 배열은, 먼저 도 1을 참조해서 설명한 화소와 마찬가지로, 베이야 배열(RGbGrB)의 화소 배열을 갖는다.
화소부(201)는 장시간 노광을 행하는 고감도 화소와, 단시간 노광을 행하는 저감도 화소를 갖는 구성으로 되어 있다.
도면에 도시한 바와 같이, 상위행으로부터,
제1 행이, 장시간 노광을 행하는 고감도 화소행,
제2~3행이, 단시간 노광을 행하는 저감도 화소행,
제4~5행이, 장시간 노광을 행하는 고감도 화소행,
제6~7행이, 단시간 노광을 행하는 저감도 화소행,
이하, 2행 단위로, 고감도 화소와 저감도 화소가 설정되는 구성으로 되어 있다.
또한, 이들 노광 시간 제어는, 예를 들어 제어부(105)의 제어 신호에 의거하여 실행된다.
도 8의 (b)에는, 촬상 소자(201)가 출력하는 화소수 삭감 화상(280)을 도시하고 있다.
촬상 소자(102)는, 예를 들어 도 8(1)의 좌상단부에 도시하는 3×3의 화소 블록(271)에 포함되는 4 코너의 Gb 화소의 화소값에 의거하여, 화소수 삭감 화상(280)을 구성하는 좌측 상단부의 1개의 Gb 화소(281)의 화소값을 결정해서 출력한다.
마찬가지로, 예를 들어 도 8(1)의 우측 하단부에 도시하는 3×3의 화소 블록(272)에 포함되는 4 코너의 Gr 화소의 화소값에 의거하여, 화소수 삭감 화상(280)을 구성하는 우측 하단부의 1개의 Gr 화소(282)의 화소값을 결정해서 출력한다.
촬상 소자(102)는, 이 밖의 RGbGrB의 각 화소의 모두에 대해서, 여러가지 위치에 설정한 3×3화소 블록의 4 코너의 동일색의 화소값에 의거하여, 화소수 삭감 화상(280)을 구성하는 RGbGrB의 각 화소값을 결정해서 출력한다.
이와 같이 하여, 화소부(201)의 화소수를 1/4로 삭감한 화소수 삭감 화상(280)의 각 화소의 화소값을 결정해서 출력한다.
다음에, 도 9를 참조해서 블록(3×3화소 블록)의 설정예와, 출력 화소[화소수 삭감 화상(280)에 설정되는 화소]의 화소 무게 중심에 대해서 설명한다.
먼저 도 1 내지 도 4를 참조해서 설명한 종래 기술에 있어서의 촬상 소자의 복수 화소의 가산 처리에 의거한 처리에서는, 출력 화상에 있어서의 무게 중심 위치가 오리지날의 촬상 화상으로부터 어긋나 버린다는 문제가 발생하고 있었다.
이에 반해, 본 실시예의 촬상 장치에서는, 다른 노광 시간의 화소, 즉 다른 감도를 갖는 화소를 조합해서 수직 방향(y방향)의 무게 중심 위치 제어를 행하고, 또한 게인(무게)을 조정한 가중 가산 처리를 행함으로써 수평 방향(x방향)의 무게 중심 위치 제어를 행한다. 이들 처리에 의해 출력 화상인 화소수 삭감 화상에 설정되는 각 색의 상대 위치를, 오리지날인 촬상 화상의 각 색의 무게 중심 위치의 상대 위치와 동일 설정으로 해서 출력 가능하게 하고 있다.
구체적으로는, 도 9의 (b)에 도시한 바와 같이, RGbGrB의 각 색을 균등 배치한 무게 중심 위치를 갖는 설정으로 한 화소수 삭감 화상을 생성한다.
도 9의 (a)에 도시하는 3×3화소 블록(321)의 4 코너의 Gb 화소에 의거하여, 도 9의 (b)에 도시하는 Gb 화소(331)에 무게 중심 위치를 갖는 Gb 화소값을 산출한다.
도 9의 (a)에 도시하는 3×3화소 블록(322)의 4 코너의 B 화소에 의거하여, 도 9의 (b)에 도시하는 B 화소(332)에 무게 중심 위치를 갖는 B 화소값을 산출한다.
도 9의 (a)에 도시하는 3×3화소 블록(323)의 4 코너의 Gb 화소에 의거하여, 도 9의 (b)에 도시하는 Gb 화소(333)에 무게 중심 위치를 갖는 Gb 화소값을 산출한다.
도 9의 (a)에 도시하는 3×3화소 블록(324)의 4 코너의 B 화소에 의거하여, 도 9의 (b)에 도시하는 B 화소(334)에 무게 중심 위치를 갖는 B 화소값을 산출한다.
다른 RGbGrB 화소의 모두에 대해서, 도 9의 (a)에 도시하는 촬상 소자의 화소 배열중에 3×3화소 블록을 설정하여, 블록내의 4 코너의 동일색의 화소의 화소값에 의거하여, 도 9의 (b)에 도시하는 위치에 무게 중심을 갖는 설정으로 한 화소값을 산출한다.
또한, 먼저 도 1 내지 도 4를 참조해서 설명한 종래예에 있어서도, 본 실시예에 있어서도, 도 9의 (a)에 도시하는 3×3화소 블록의 설정 형태는 동일하다.
도 1 내지 도 4를 참조해서 설명한 종래예에 있어서는, 모든 화소가 동일 감도(동일 노광 시간)의 설정이기 때문에, 3×3화소 블록의 4 코너의 화소의 화소값으로부터 산출되는 1개의 화소의 화소 무게 중심은, 3×3화소 블록의 중심으로 설정된다. 도 9의 (b)에 도시하는 화소(Gb341) ~ 화소(B344)의 위치이다. 이것은, 먼저 도 3 및 도 4를 참조해서 설명한 바와 같다.
이에 반해, 본 실시예에서는, 도 9의 (b)에 도시하는 수평 방향, 수직 방향과도 균등 배치한 위치에 화소수 삭감후의 각 화소의 무게 중심 위치를 설정하는 무게 중심 위치 제어를 행한다.
화소 무게 중심의 제어는 이하의 복수 화소의 합성 처리에 의해 행해진다.
(a) 수직 방향(y방향)의 무게 중심 위치 제어는, 감도차가 다른 화소의 합성 처리,
(b) 수평 방향(x방향)의 무게 중심 위치 제어는, 게인(무게)을 설정한 합성 처리,
이들 합성 처리를 실행해서 무게 중심 위치를 제어한다.
본 실시예에 있어서의 화소 무게 중심의 위치의 구체적 제어예에 대해서, 도 10을 참조해서 설명한다.
도 10의 (a)에는,
촬상 소자의 화소 배열내에 설정하는 3×3화소 블록의 4개의 패턴을 나타내고 있다.
(a1) Gb 화소를 4 코너에 갖는 화소 블록(351),
(a2) B 화소를 4 코너에 갖는 화소 블록(352),
(a3) R 화소를 4 코너에 갖는 화소 블록(353),
(a4) Gr 화소를 4 코너에 갖는 화소 블록(354),
이들 각 블록을 나타내고 있다.
또한, 도 10의 (b)에는,
(b1) 화소 블록(351)의 4개의 Gb 화소에 의거하여 생성하는 화소수 삭감 화상의 Gb 화소의 화소 무게 중심(371)의 위치,
(b2) 화소 블록(352)의 4개의 B 화소에 의거하여 생성하는 화소수 삭감 화상의 B 화소의 화소 무게 중심(372)의 위치,
(b3) 화소 블록(353)의 4개의 R 화소에 의거하여 생성하는 화소수 삭감 화상의 R 화소의 화소 무게 중심(373)의 위치,
(b4) 화소 블록(354)의 4개의 Gr 화소에 의거하여 생성하는 화소수 삭감 화상의 Gr 화소의 화소 무게 중심(374)의 위치,
이들을 나타내고 있다.
도 10의 (b)에 도시한 바와 같이, 각 색, Gb, B, R, Gr의 각 색 단위로, 화소 무게 중심의 설정 위치 형태가 상이하다.
즉,
(b1) 화소 블록(351)의 4개의 Gb 화소에 의거하여 생성하는 화소수 삭감 화상의 Gb 화소의 화소 무게 중심(371)은, 화소 블록(351)의 중심 화소의 좌측 상단부로 한다.
(b2) 화소 블록(352) 4개의 B 화소에 의거하여 생성하는 화소수 삭감 화상의 B 화소의 화소 무게 중심(372)은, 화소 블록(352)의 중심 화소의 우측 단부로 한다.
(b3) 화소 블록(353)의 4개의 R 화소에 의거하여 생성하는 화소수 삭감 화상의 R 화소의 화소 무게 중심(373)은, 화소 블록(353)의 중심 화소의 좌측 하단부로 한다.
(b4) 화소 블록(354)의 4개의 Gr 화소에 의거하여 생성하는 화소수 삭감 화상의 Gr 화소의 화소 무게 중심(374)은, 화소 블록(354)의 중심 화소의 우측 하단부으로 한다.
어느 색에 있어서도 3×3화소 블록의 4 코너의 동일색의 화소의 화소값을 이용해서 화소수 삭감 화상에 설정하는 1개의 화소의 화소값을 산출하는 점은 동일하지만, 이들 4개의 화소에 의거하여 설정하는 화소 무게 중심의 위치는 각각의 색마다 다른 설정으로 된다.
본 실시예의 촬상 장치에서는, 도 10의 (b)에 도시한 바와 같이, 각 색마다 다른 형태로 무게 중심 위치 제어를 행한다. 즉, 3×3 블록의 4개의 화소값을 이용한 화소값 산출을 각 색 단위에서 다른 처리로서 실행하게 된다.
또한, 무게 중심 위치의 제어는, 기본적으로는 이하의 2개의 처리의 조합에 의해 행해진다.
(a) 수직 방향(y방향)의 무게 중심 위치의 이동은, 감도차가 다른 화소의 합성 처리,
(b) 수평 방향(x방향)의 무게 중심 위치의 이동은, 게인(무게)을 설정한 합성 처리,
이들 처리에 의해 실행한다.
이들 화소 합성에 의해, 도 9의 (b)에 도시하는 바와 같은 화소수 삭감 화상의 구성 화소의 각 색의 배치가 균등 배치, 즉 모든 색의 무게 중심 위치가 수평 방향, 수직 방향과도 등간격으로 배치된 구성으로 된다.
이 균등 배열된 화소를 집적해서, 오리지날 촬상 소자의 촬영 화상의 1/4의 화소수로 이루어지는 화소수 삭감 화상으로서 출력했을 경우, 화소수 삭감 화상을 구성하는 각 화소간 거리의 압축률은 모두 동일 압축률로 된다.
이 결과, 먼저 도 5를 참조해서 설명한 바와 같은 재기의 확대나 색 흐려짐 등등의 화상 품질의 저하를 초래하는 경우가 없는 화상을 생성해서 출력하는 것이 가능해진다.
[4. 촬상 소자의 구체적 구성과 구체적 처리예에 대해서]
다음에, 상술한 무게 중심 위치의 제어 처리를 실현하는 촬상 소자의 구체적 구성과 처리에 대해서 설명한다.
도 11은 도 7에 도시한 촬상 소자(102)의 각 구성부와, 구체적 처리예와 함께 도시하는 도면이다.
도 11에는, 도 7과 동일한 화소부(201)와, 출력 화소값 산출부(202)를 도시하고 있다.
화소값 산출부(202)는 AD 변환부(211), 화소 정보 합성부(212), 출력부(213)를 갖는다.
화소부(201)는 RGbGrB 배열의 베이어 배열을 갖는다. 이 화소부(201)는 일행 걸러의 수직 방향(y방향)의 동일색의 2화소를 가산한 화소값을 출력한다.
수직 방향(y방향)의 동일색의 2화소를 가산하는 회로에 대해서 도 12를 참조해서 설명한다. 화소부에서는, 도 12의 (b)에 도시하는 회로 구성에 따라서, 일행걸러의 수직 방향(y방향)의 동일색의 2화소를 가산한 화소값을 출력한다.
도 12의 (b)에 도시하는 회로는, 먼저 도 1의 (b)를 참조해서 설명한 것과 동일한 회로이다.
도 12의 (b)에 도시하는 회로는, 도 12의 (a)에 도시한 Gb1, R1, Gb2, R2의 4화소의 화소 영역(301)에 대응하는 회로이다. Gb, R의 화소가, 도 12의 (b)에 도시한 바와 같이 전송 트랜지스터(T1 내지 T4)를 통해서 앰프용 트랜지스터(AMP)의 게이트부에 접속되어 있다.
도 12의 (b)에 도시하는 회로 구성을 사용하여, 화소 영역(301)에 포함되는 동일 색의 화소(본 예에서는 Gb1, Gb2)의 가산 연산을 행하고 있다.
화소값의 판독 처리에 있어서, 공유 화소의 선택(SEL)과 플로팅 디퓨전(FD)의 리셋(RST)을 행하고, 화소(Gb1)와 화소(Gb2)의 트랜지스터 T1과 T3을 동시에 판독, Gb1 및 Gb2에 발생한 전자를 플로팅 디퓨전(FD)에 축적해서 가산한다. 2개의 화소의 화소값의 가산 신호를 얻는 것이다.
이 가산 처리에 의해, 수직 방향의 2화소의 가산값이 화소부(201)로부터 출력된다.
단, 본 실시예에서는, 가산 대상이 되는 화소는,
(a) 장시간 노광을 행한 고감도 화소,
(b) 단시간 노광을 행한 저감도 화소,
이들 다른 감도의 2화소가 된다. 본 실시예에서는 이들 2개의 다른 감도의 화소값 가산 처리가 실행된다.
도 12의 (a)에 도시한 바와 같이 촬상 소자의 화소부(201)는, 2행 단위로 고감도 화소와 저감도 화소가 설정되어 있고, 본 실시예에 있어서, 합성 화소값을 산출하는 기본 단위로서 설정하는 3×3화소 블록의 4 코너의 화소중, 수직 방향(y방향)으로 배열되는 2개의 동일색의 화소는, 반드시,
(a) 장시간 노광을 행한 고감도 화소,
(b) 단시간 노광을 행한 저감도 화소,
이들 다른 감도의 화소의 조합이 된다.
결과적으로, 화소 가산은, 이 다른 감도의 화소 가산 처리로 실행된다.
도 11의 화소부(201)의 하방에 도시하는 출력 라인으로부터 출력하는 데이터 예를 도 11의 스텝(S1)에 도시하고 있다.
여기에서는, 대표예로서, 도 11에 도시하는 1개의 3×3화소 블록(401)에 포함되는 Gb 화소에 대한 합성 처리예를 스텝(S1)과 스텝(S2)으로서 도시하고 있다.
도 11에 도시하는 스텝(S1)은 감도차가 다른 화소의 합성 처리이며, 수직 방향(y방향)의 무게 중심 위치의 제어 처리에 대응한다.
스텝(S2)은, 게인(무게)을 설정한 합성 처리이며, 수평 방향(x방향)의 무게 중심 위치의 제어 처리에 대응한다.
고감도와 저감도의 감도차(노광 시간비)는 3:1로 한다.
도 13에 촬상 소자(102)의 노광 제어 처리예를 나타낸다.
제1 행은 고감도(장시간 노광) 화소행이다.
제2~3행은 저감도(단시간 노광) 화소행이다.
제4~5행은 고감도(장시간 노광) 화소행이다.
제6~7행은 저감도(단시간 노광) 화소행이다.
이하, 2행 단위로 고감도, 저감도 화소행이 반복 설정된다.
화소부(201)의 노광 시간 제어 처리예에 대해서 도 13을 참조해서 설명한다.
고감도 화소에 대해서는, 도 13에 도시하는 셔터 개시 위치(S1)를 따라, 상위행으로부터 하위행을 향해서 순차 노광이 개시된다.
한편, 고감도 화소에 대해서는, 도 13에 도시하는 셔터 개시 위치(S2)를 따라, 상위행으로부터 하위행을 향해서 순차 노광이 개시된다.
판독 처리는, 모든 행에 대하여, 판독 위치(E1)를 따라 순차, 상위행으로부터 하위행의 모든 행의 판독이 순차 실행된다.
이 처리의 제어는, 예를 들어 제어부(105)로부터의 제어 신호에 의거하여 실행된다.
이 노광 제어의 결과, 고감도와 저감도의 감도차(노광 시간비)를 3:1로 한 설정에서의 노광 처리가 실행된다.
이 2개의 다른 노광 시간의 화소행으로 이루어지는 화소부(201)에 설정되는 3×3화소 블록에서는, 상단부행과 하단부행에 있는 동일색의 화소는, 반드시, 고감도 화소와 저감도 화소의 페어로 된다.
따라서, 도 12의 (b)에 도시하는 2화소 가산 회로에서의 가산 대상이 되는 화소는 고감도 화소와 저감도 화소의 조합이 된다.
이 결과, 도 11에 도시하는 화소부(201)로부터의 출력은, 도 11의 스텝(S1)에 도시한 바와 같이, 화소 무게 중심이 고감도 화소측에 근접한 위치로 되는 화소값으로서 출력되게 된다.
이 수직 방향(y방향)의 무게 중심 위치 제어 처리의 상세에 대해서, 도 14를 참조해서 설명한다.
도 14는, 수직 방향(y방향)에 있는 동일색 화소의 2화소 가산에 있어서의 무게 중심 위치를 설명하는 도면이며,
(a) 감도가 같은 화소의 2화소 가산,
(b) 감도가 다른 화소(감도비3:1)의 2화소 가산,
이들 2개의 예를 나타내고 있다.
도 14의 (a)는, 먼저 도 1 내지 도 4를 참조해서 설명한 전체 화소에 있어서 동일 감도(동일 노광 시간)의 설정으로 했을 경우의 수직 방향(y방향)에 있는 동일색 화소의 2화소 가산에 있어서의 무게 중심 위치를 도시하고 있다.
이 경우, 가산 대상으로 되는 2개의 화소(Gb1과 Gb2)의 화소 위치의 중심 위치에 무게 중심이 설정된다.
도 14의 (b)는, 본 실시예에 관한 촬상 장치에 대응하고, 감도가 다른 화소(감도비3:1)의 2화소 가산 처리의 경우이며, 이 경우 고감도 화소(Gb1)측에 가까운 위치에 무게 중심 위치가 설정된다.
고감도 화소(Gb1)로부터 무게 중심까지의 거리와, 저감도 화소(Gb2)로부터 무게 중심까지의 거리의 비는 감도비의 역수가 되어 1:3으로 된다.
즉, 고감도 화소(Gb1)의 화소 위치에 가까운 위치에 무게 중심이 설정된다.
이와 같이 하여, 수직 방향의 화소 무게 중심이 제어된다.
이 처리를 도시한 것이 도 11의 스텝(S1)의 처리이다.
도 11에 도시하는 화소부(201)의 출력은 이미 화소 무게 중심의 수직 방향의 제어가 이루어진 값으로서 출력되게 된다.
또한, 도 10의 (b)를 참조해서 설명한 바와 같이,
각 색마다 무게 중심 위치 제어 형태는 상이하다.
도 10의 (b)로부터 이해되는 바와 같이, 수직 방향의 무게 중심 위치는,
Gb과 B에 대해서는, 3×3화소 블록의 중심 화소의 상측에 설정하는 것이 필요하다.
R과 Gr에 대해서는, 3×3화소 블록의 중심 화소의 하측에 설정하는 것이 필요하다.
이 처리를 실현하기 위해서,
Gb와 B를 산출하기 위한 3×3화소 블록은, 도 11에 도시하는 화소 블록(401)과 같이, 고감도 화소를 상측에 설정한 블록으로 하고 있다. 이 블록 설정에 의해, 무게 중심이 상측으로 어긋나서 설정된다.
한편, R과 Gr을 산출하기 위한 3×3화소 블록은, 도 15에 도시하는 화소 블록(402)과 같이, 고감도 화소를 하측에 설정한 블록으로 하고 있다. 이 블록 설정에 의해, 무게 중심이 하측으로 어긋나서 설정된다.
도 16에는, 각 색에 따른 블록과 감도 설정의 수직 방향의 무게 중심 위치와의 대응 관계를 도시하고 있다.
(1) Gb와 B에 대한 처리예
(2) R과 Gr에 대한 처리예
이들 처리예를 나타내고 있다.
도 16의 (1)에 도시한 바와 같이, Gb와 B를 산출하는 경우에는, Gb와 B를 산출하기 위한 3×3화소 블록을 고감도 화소를 상측에 설정한 블록으로 한다. 이 블록 설정에 의해, 무게 중심이 상측으로 어긋나서 설정된다.
한편, 도 16의 (2)에 도시한 바와 같이, R과 Gr을 산출하는 경우에는, R과 Gr을 산출하기 위한 3×3화소 블록을 고감도 화소를 하측에 설정한 블록으로 한다. 이 블록 설정에 의해, 무게 중심이 하측으로 어긋나서 설정된다.
도 11에 도시하는 출력 화소값 산출부(202)의 AD 변환부(211)는 이 가산값의 AD 변환을 실행해서 디지털값을 생성한다.
도 11에 도시하는 AD 변환부 출력값(화소 가산값)(291)이다.
이 AD 변환부 출력값(화소 가산값)(291)이 화소 정보 합성부(212)에 입력된다.
화소 정보 합성부(212)는,
수평 방향(x방향)의 무게 중심 위치의 제어를 행하는, 이 처리는 게인(무게)을 설정한 합성 처리에 의해 실현된다.
이 처리에 대해서, 도 11에 도시하는 3×3화소 블록(401)의 Gb 화소에 대한 처리를 예로서 설명한다.
화소 정보 합성부(212)는 2개의 가산값, 즉,
3×3화소 블록(401)의 Gb1과 Gb2의 가산값 출력이다[Gb12Data],
3×3화소 블록(401)의 Gb3과 Gb4와의 가산값 출력이다[Gb34Data],
이들 2개의 Gb 가산값을 이용해서 최종적인 화소수 삭감 화상으로 설정하는 Gb 화소값을 산출한다.
이 화소값 산출 처리는, 화소 무게 중심 위치를 고려한 처리, 즉 게인(무게)을 설정한 가중 가산을 수반하는 화소값 연산 처리에 의해 행한다.
이 처리를 나타낸 것이 도 11에 도시하는 스텝(S2)이다.
먼저 도 10의 (b1)을 참조해서 설명한 바와 같이,
Gb 화소의 무게 중심 위치는, 도 10의 (b1)에 도시하는 3×3화소 블록(351)의 중앙 화소의 좌측 상단부 위치로 설정하는 것이 필요하게 된다.
이를 위한 처리로서, 화소수 삭감 화상의 Gb 화소의 화소값[Gb(out)] 산출을 이하의 식(식1)에 따라서 실행한다.
Gb(out)=((Gb12×3)+Gb34)/4 … (식1)
또한, 상기 식에 있어서,
Gb12는 Gb1과 Gb2의 화소 가산값,
Gb34는 Gb3과 Gb4의 화소 가산값이다.
상기 식(식1)에 따른 화소값 산출에 의해, 무게 중심 위치가 도 11의 스텝(S2)에 도시한 바와 같이, 3×3화소 블록의 중앙 화소의 좌측 상단부 위치로 설정된다.
이 결과는, 도 10의 (b1)에 도시하는 Gb 화소의 화소 무게 중심(371)의 위치에 대응한다.
Gb 화소에 대해서는, 2개의 가산 화소값의 연산에 있어서, 무게 중심이 2개인 가산 화소 위치의 중심으로부터 좌측으로 어긋나도록 좌측의 가산값(본 예에서는 Gb12)에, 우측의 가산값(Gb34)보다 큰 게인(무게)을 곱한 연산을 실행한다.
이 게인(무게) 설정 형태는 각 색마다 상이하다.
도 10의 (b)에 도시하는 도면으로부터 명백해진 바와 같이,
Gb 화소와, R 화소에 대해서는, 무게 중심이 2개인 가산 화소 위치의 중심으로부터 좌측으로 어긋나도록 좌측의 가산값에, 우측의 가산값보다 큰 게인(무게)을 곱한 연산을 실행한다.
한편, B 화소와, Gr 화소에 대해서는, 무게 중심이 2개인 가산 화소 위치의 중심으로부터 우측으로 어긋나도록 우측의 가산값에, 좌측의 가산값보다 큰 게인(무게)을 곱한 연산을 실행한다.
이러한 처리에 의해, 수평 방향의 무게 중심 위치 제어가 이루어진다.
또한, 본 예에 있어서 게인비는 3:1이 된다.
도 17에는, 각 색에 따른 블록과 감도 설정과의 수평 방향의 무게 중심 위치와의 대응 관계를 도시하고 있다.
(1) Gb과 R에 대한 처리예
(2) B와 Gr에 대한 처리예
이들 처리예를 나타내고 있다.
도 17의 (1)에 도시한 바와 같이, Gb와 R을 산출하는 경우에는, Gb와 R을 산출하기 위한 3×3화소 블록으로부터 얻어지는 2개의 가산값중, 좌측의 가산값에 대하여 게인을 3, 우측의 가산값에 대하여 게인을 1로 설정하고, 이 게인 설정에 의한 가중 가산 처리에 의해, 무게 중심을 좌측으로 어긋나게 설정할 수 있다.
한편, 도 17의 (2)에 도시한 바와 같이, B와 Gr을 산출하는 경우는, B와 Gr을 산출하기 위한 3×3화소 블록으로부터 얻어지는 2개의 가산값중, 좌측의 가산값에 대하여 게인을 1, 우측의 가산값에 대하여 게인을 3으로 설정하고, 이 게인 설정에 의한 가중 가산 처리에 의해, 무게 중심을 우측으로 어긋나게 설정할 수 있다.
도 11에 도시하는 화소 정보 합성부(212)에서는, 이러한 수평 방향의 무게 중심 위치 제어를 수반하는 화소값 산출 처리를 실행하고, 2개의 가산값에 의거하여 1개의 출력 화소값을 결정한다.
이 결과는, 출력부(213)를 통해서 신호 처리부로 출력된다.
이 무게 중심 위치 제어에 의해 생성되는 화소수 삭감 화상의 각 구성 화소의 화소 무게 중심은, 먼저 도 9의 (b)를 참조해서 설명한 바와 같이 각 화소 위치가 균등하게 배치된 설정으로 되고, 원래의 촬상 소자의 촬영 화상의 화소 배치와 동일한 상대 화소 위치를 갖는 화소수 삭감 화상을 얻을 수 있게 된다.
이 결과, 먼저 도 5를 참조해서 설명한 재기 등의 발생이 억제된 품질이 높은 화상이 출력된다.
또한, 상술한 실시예에서는, 3×3화소 블록을 단위로 하고, 2행 단위로 감도차를 3:1로 설정한 구성을 설명했지만, 블록 사이즈나 감도비 등은 그 밖의 여러가지 설정이 가능하다. 각 설정에 따라서 게인 설정 등을 조정해서 처리를 행하면, 무게 중심 위치를 여러가지 위치로 설정하는 제어가 가능해진다.
이상, 특정한 실시예를 참조하면서, 본 발명에 대해서 자세하게 해석해 왔다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 할 수 있음은 자명하다. 즉, 예시로 하는 형태로 본 발명을 개시하였으며, 한정적으로 해석되어서는 안된다. 본 발명의 요지를 판단하기 위해서는 특허청구의 범위의 란을 참작해야 한다.
또한, 명세서 중에서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 또는 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터내의 메모리에 인스톨해서 실행시키거나, 또는, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨해서 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외, LAN(Local Area Network), 인터넷이라고 하는 네트워크를 통해서 프로그램을 수신하고, 내장하는 하드 디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 또는 필요에 따라서 병렬적으로 또는 개별로 실행되어도 좋다. 또한, 본 명세서에 있어서 시스템이라 함은, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징내에 있는 것에 한정되지는 않는다.
<산업상의 이용 분야>
이상, 설명한 바와 같이, 본 발명의 일 실시예에 따르면, 촬상 장치에 있어서 화소수 삭감 화상을 생성할 때에, 화소 무게 중심의 제어를 가능하게 한 처리를 실현하는 장치, 방법이 실현된다.
구체적으로는, 다른 감도의 화소로부터의 출력 화소 신호를 가산한 화소 가산 신호를 출력하는 화소부와, 화소부로부터 출력되는 복수의 화소 가산 신호에 대하여 미리 설정한 게인을 곱한 가중 가산 처리를 실행하고, 화소부의 화소수보다 총 화소수가 적은 화소수 삭감 화상의 구성 화소값을 산출하는 화소 정보 합성부를 갖는다. 화소부의 화소 가산 신호 생성 처리와, 화소 정보 합성부에 있어서의 가중 가산 처리에 의해, 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치의 제어를 실행한다. 예를 들어, 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치를 상기 화소부에 균등하게 배치하도록 무게 중심 위치 제어를 실행한다.
이 처리에 의해 재기 등의 발생이 억제된 고품질의 화상 생성이 가능해진다.
11 : 화소 영역
21 내지 24 : 블록
31 내지 34 : 화소
101 : 광학 렌즈
102 : 촬상 소자
103 : 신호 처리부
105 : 제어부
120 : 출력 화상
201 : 화소부
202 : 출력 화소값 산출부
211 : AD 변환부
212 : 화소 정보 합성부
213 : 출력부
250 : 가산 화소값
291 : AD 변환부 출력값(화소 가산값)
321 내지 324 : 블록
331 내지 334 : 화소
351 내지 354 : 블록
371 내지 374 : 화소 무게 중심
401 : 블록
421 : 블록

Claims (10)

  1. 촬상 장치로서,
    다른 감도의 화소로부터의 출력 화소 신호를 가산한 화소 가산 신호를 출력하는 화소부와,
    상기 화소부로부터 출력되는 복수의 화소 가산 신호에 대하여 미리 설정한 게인을 곱한 가중 가산 처리를 실행하여, 상기 화소부의 화소수보다 총 화소수가 적은 화소수 삭감 화상의 구성 화소값을 산출하는 화소 정보 합성부를 갖고,
    상기 화소부의 화소 가산 신호 생성 처리와, 상기 화소 정보 합성부에 있어서의 가중 가산 처리에 의해, 상기 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치의 제어를 실행하는, 촬상 장치.
  2. 제1항에 있어서,
    상기 화소부와, 상기 화소 정보 합성부는, 상기 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치를 상기 화소부에 균등하게 배치하도록 무게 중심 위치 제어를 실행하는, 촬상 장치.
  3. 제1항에 있어서,
    상기 화소부는, 상기 화소 가산 신호 생성 처리에 있어서, 상기 화소수 삭감 화상을 구성하는 각 화소의 일방향의 무게 중심 위치 제어를 실행하고,
    상기 화소 정보 합성부는, 상기 가중 가산 처리에 있어서, 상기 화소부의 실행하는 무게 중심 위치 제어 방향의 직행 방향에서의 무게 중심 위치 제어를 실행하는, 촬상 장치.
  4. 제1항에 있어서,
    상기 화소부는, 상기 화소 가산 신호 생성 처리에 있어서, 가산 처리 대상이 되는 화소의 감도비에 따른 무게 중심 위치 제어 결과로서의 가산 화소값의 산출을 행하는, 촬상 장치.
  5. 제1항에 있어서,
    상기 화소 정보 합성부는, 상기 가중 가산 처리에 있어서, 가중 가산 처리 대상이 되는 복수의 화소 가산 신호에 대하여, 제어 예정의 무게 중심 위치에 따른 게인을 곱한 가중 가산 처리를 실행하는, 촬상 장치.
  6. 제1항에 있어서,
    상기 화소부는 일행 걸러서 동일색의 화소가 배열되고, 2행마다 다른 감도비 1:3의 다른 감도로 설정된 화소 배열을 갖고,
    상기 화소부는, 감도비가 1:3인 2개의 다른 감도의 화소로부터의 출력 화소 신호를 가산한 화소 가산 신호를 출력하는 구성인, 촬상 장치.
  7. 제1항에 있어서,
    상기 화소부는 1열 걸러서 동일색의 화소가 배열된 화소 배열을 갖고,
    상기 화소 정보 합성부는, 1열 걸러서 상기 화소부로부터 출력되는 2개의 화소 가산 신호에, 1:3의 게인을 곱한 가중 가산 처리를 실행하여, 상기 화소부의 화소수보다 총 화소수가 적은 화소수 삭감 화상의 구성 화소값을 산출하는, 촬상 장치.
  8. 제1항에 있어서,
    상기 촬상 장치는 상기 화소부의 영역 단위의 노광 시간 제어를 실행하는 제어부를 더 갖는, 촬상 장치.
  9. 촬상 장치에서 실행하는 촬상 장치 제어 방법으로서,
    화소부에 있어서, 다른 감도의 화소로부터의 출력 화소 신호를 가산한 화소 가산 신호를 출력하는 화소 가산 신호 출력 스텝과,
    화소 정보 합성부에 있어서, 상기 화소부로부터 출력되는 복수의 화소 가산 신호에 대하여 미리 설정한 게인을 곱한 가중 가산 처리를 실행하고, 상기 화소부의 화소수보다 총 화소수가 적은 화소수 삭감 화상의 구성 화소값을 산출하는 화소 정보 합성 스텝을 갖고,
    상기 화소부의 화소 가산 신호 생성 처리와, 상기 화소 정보 합성부에 있어서의 가중 가산 처리에 의해, 상기 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치의 제어를 실행하는, 촬상 장치 제어 방법.
  10. 촬상 장치에서 촬상 장치 제어 처리를 실행시키는 프로그램으로서,
    화소부에, 다른 감도의 화소로부터의 출력 화소 신호를 가산한 화소 가산 신호를 출력시키는 화소 가산 신호 출력 스텝과,
    화소 정보 합성부에, 상기 화소부로부터 출력되는 복수의 화소 가산 신호에 대하여 미리 설정한 게인을 곱한 가중 가산 처리를 실행하여, 상기 화소부의 화소수보다 총 화소수가 적은 화소수 삭감 화상의 구성 화소값을 산출시키는 화소 정보 합성 스텝을 실행시키고,
    상기 화소부의 화소 가산 신호 생성 처리와, 상기 화소 정보 합성부에 있어서의 가중 가산 처리에 있어서, 상기 화소수 삭감 화상을 구성하는 각 화소의 화소 무게 중심 위치의 제어를 실행시키는, 프로그램.
KR1020127026967A 2011-02-24 2012-01-26 촬상 장치 및 촬상 장치 제어 방법, 및 프로그램 KR20130139154A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-037943 2011-02-24
JP2011037943A JP2012175600A (ja) 2011-02-24 2011-02-24 撮像装置、および撮像装置制御方法、並びにプログラム
PCT/JP2012/051599 WO2012114819A1 (ja) 2011-02-24 2012-01-26 撮像装置、および撮像装置制御方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20130139154A true KR20130139154A (ko) 2013-12-20

Family

ID=46720607

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127026967A KR20130139154A (ko) 2011-02-24 2012-01-26 촬상 장치 및 촬상 장치 제어 방법, 및 프로그램

Country Status (8)

Country Link
US (2) US8786731B2 (ko)
EP (1) EP2544453A4 (ko)
JP (1) JP2012175600A (ko)
KR (1) KR20130139154A (ko)
CN (1) CN102845066A (ko)
CA (1) CA2793534A1 (ko)
MX (1) MX2012011492A (ko)
WO (1) WO2012114819A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175600A (ja) 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP5895504B2 (ja) 2011-12-15 2016-03-30 ソニー株式会社 撮像パネルおよび撮像処理システム
JP6390429B2 (ja) * 2012-12-25 2018-09-19 ソニー株式会社 固体撮像素子およびその駆動方法、並びに電子機器
KR101488074B1 (ko) * 2013-02-04 2015-01-29 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
US9413992B2 (en) * 2013-05-20 2016-08-09 Omnivision Technologies, Inc. High dynamic range image sensor with full resolution recovery
JP6369016B2 (ja) * 2013-11-28 2018-08-08 株式会社ニコン 撮像素子および撮像装置
EP2942941B1 (en) * 2014-05-08 2016-04-27 Axis AB Method and apparatus for determining a need for a change in a pixel density requirement due to changing light conditions
KR102247564B1 (ko) * 2014-11-13 2021-05-03 삼성전자 주식회사 화소 처리 장치, 이를 포함하는 이미지 신호 처리 장치, 및 이를 포함하는 이미지 처리 시스템
CN107211101A (zh) * 2015-02-12 2017-09-26 索尼公司 成像设备及其控制方法以及电子装置
KR102356706B1 (ko) 2015-07-07 2022-01-27 삼성전자주식회사 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
JP2017158084A (ja) * 2016-03-03 2017-09-07 ソニー株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US11350045B2 (en) 2020-03-10 2022-05-31 Samsung Electronics Co., Ltd. Image sensing apparatus and image binning method thereof
KR20220000761A (ko) * 2020-06-26 2022-01-04 삼성전자주식회사 이미지 센서 및 이미지 센서의 비닝 방법
KR20220043571A (ko) * 2020-09-29 2022-04-05 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
WO2022093657A1 (en) * 2020-10-28 2022-05-05 Gigajot Technology, Inc. Dual-progression pixel readout
KR20220125103A (ko) * 2021-03-04 2022-09-14 삼성전자주식회사 이미지 센서 및 이의 동작 방법
KR20220144087A (ko) 2021-04-19 2022-10-26 삼성전자주식회사 이미지 센서 및 이미지 센싱 시스템
KR20220156242A (ko) 2021-05-18 2022-11-25 에스케이하이닉스 주식회사 이미지 처리 장치
US11778337B2 (en) 2021-11-09 2023-10-03 Samsung Electronics Co., Ltd. Image sensor and method for sensing image

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4140077B2 (ja) * 1998-02-18 2008-08-27 ソニー株式会社 固体撮像素子の駆動方法及び固体撮像素子、並びにカメラ
US6992714B1 (en) * 1999-05-31 2006-01-31 Canon Kabushiki Kaisha Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
JP4518616B2 (ja) * 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
JP2003023005A (ja) * 2001-07-06 2003-01-24 Horiba Ltd 化学気相成長法による膜堆積装置および膜堆積方法
JP4307780B2 (ja) * 2002-03-07 2009-08-05 富士フイルム株式会社 固体撮像装置およびその信号読出し方法
JP2004147092A (ja) * 2002-10-24 2004-05-20 Canon Inc 信号処理装置、撮像装置、及び制御方法
JP2004336469A (ja) * 2003-05-08 2004-11-25 Fuji Film Microdevices Co Ltd 固体撮像素子、撮像装置、及び画像処理方法
JP3942569B2 (ja) * 2003-09-04 2007-07-11 オリンパス株式会社 撮像装置および画像データの変換方法
JP4497872B2 (ja) * 2003-09-10 2010-07-07 キヤノン株式会社 撮像装置
JP4183635B2 (ja) * 2004-02-16 2008-11-19 富士フイルム株式会社 固体撮像装置
JP4428195B2 (ja) * 2004-10-22 2010-03-10 株式会社日立製作所 撮像装置、補完信号生成方法及びプログラム
JP4689620B2 (ja) 2004-11-02 2011-05-25 パナソニック株式会社 イメージセンサ
JP2007129581A (ja) * 2005-11-04 2007-05-24 Canon Inc 撮像装置及び撮像システム
JP2008098971A (ja) * 2006-10-12 2008-04-24 Matsushita Electric Ind Co Ltd 固体撮像装置
US8237808B2 (en) * 2007-01-17 2012-08-07 Sony Corporation Solid state imaging device and imaging apparatus adjusting the spatial positions of pixels after addition by controlling the ratio of weight values during addition
JP5053654B2 (ja) * 2007-02-09 2012-10-17 オリンパスイメージング株式会社 画像処理装置およびその方法と電子カメラ
US8009211B2 (en) * 2007-04-03 2011-08-30 Canon Kabushiki Kaisha Image sensing apparatus and image capturing system
JP2008278453A (ja) 2007-04-03 2008-11-13 Canon Inc 撮像装置及び撮像システム
US8022994B2 (en) * 2007-08-31 2011-09-20 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
US7777804B2 (en) * 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
JP4442695B2 (ja) * 2008-02-29 2010-03-31 ソニー株式会社 固体撮像装置及びカメラ装置
JP5180687B2 (ja) * 2008-06-03 2013-04-10 キヤノン株式会社 撮像装置及び補正方法
JP4868021B2 (ja) * 2009-01-07 2012-02-01 ソニー株式会社 固体撮像素子および駆動制御方法
JP5446291B2 (ja) * 2009-02-02 2014-03-19 株式会社ニコン 撮像装置
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5230552B2 (ja) * 2009-07-13 2013-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法
RU2496253C1 (ru) * 2009-07-21 2013-10-20 Кэнон Кабусики Кайся Устройство обработки изображения и способ обработки изображения для корректировки хроматической аберрации
JP5625298B2 (ja) * 2009-09-28 2014-11-19 ソニー株式会社 撮像装置
JP5075934B2 (ja) * 2010-03-25 2012-11-21 株式会社東芝 固体撮像装置および画像記録装置
JP5664141B2 (ja) * 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
JP2012175600A (ja) 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013143730A (ja) * 2012-01-12 2013-07-22 Sony Corp 撮像素子、撮像装置、電子機器および撮像方法

Also Published As

Publication number Publication date
EP2544453A1 (en) 2013-01-09
JP2012175600A (ja) 2012-09-10
MX2012011492A (es) 2013-02-15
WO2012114819A1 (ja) 2012-08-30
US20130010153A1 (en) 2013-01-10
CA2793534A1 (en) 2012-08-30
US20140307158A1 (en) 2014-10-16
US9001233B2 (en) 2015-04-07
EP2544453A4 (en) 2014-04-23
US8786731B2 (en) 2014-07-22
CN102845066A (zh) 2012-12-26

Similar Documents

Publication Publication Date Title
KR20130139154A (ko) 촬상 장치 및 촬상 장치 제어 방법, 및 프로그램
US9060134B2 (en) Imaging apparatus, image sensor, imaging control method, and program
JP5655626B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10531025B2 (en) Imaging element, imaging apparatus, and method for processing imaging signals
US10306192B2 (en) Image processing apparatus, image processing method and image capture apparatus for demosaicing
JP4821921B2 (ja) 固体撮像装置および電子機器
JP6380974B2 (ja) 撮像素子、撮像装置
US20070076269A1 (en) Imaging unit and image sensor
WO2013008596A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP6372983B2 (ja) 焦点検出装置およびその制御方法、撮像装置
JP2017216648A (ja) 撮像素子、撮像装置、および撮像信号処理方法
US9025065B2 (en) Solid-state imaging device, image processing method, and camera module for creating high dynamic range images
JP2006080937A (ja) 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
JP2017216647A (ja) 撮像素子、撮像装置、および撮像信号処理方法
US9237282B2 (en) Solid-state imaging device and camera module including AD converting units for respective pixels
JPWO2012147515A1 (ja) 撮像装置及び撮像方法
JP2018019296A (ja) 撮像装置およびその制御方法
JP6557499B2 (ja) 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
JP2017216649A (ja) 撮像素子、撮像装置、および撮像信号処理方法
US9894288B2 (en) Image forming method for forming a high-resolution image, and a related image forming apparatus and image forming program
JP6736612B2 (ja) 撮像素子、撮像装置
JP2014120795A (ja) 光電変換装置、光電変換システム、光電変換装置の駆動方法、光電変換システムの駆動方法
JP2011114786A (ja) 固体撮像装置およびカメラシステム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid