KR20190104445A - 촬상 소자 및 촬상장치 - Google Patents

촬상 소자 및 촬상장치 Download PDF

Info

Publication number
KR20190104445A
KR20190104445A KR1020197025562A KR20197025562A KR20190104445A KR 20190104445 A KR20190104445 A KR 20190104445A KR 1020197025562 A KR1020197025562 A KR 1020197025562A KR 20197025562 A KR20197025562 A KR 20197025562A KR 20190104445 A KR20190104445 A KR 20190104445A
Authority
KR
South Korea
Prior art keywords
image data
digital image
image
exposure
pixels
Prior art date
Application number
KR1020197025562A
Other languages
English (en)
Inventor
유사쿠 모토나가
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Priority claimed from PCT/JP2016/002530 external-priority patent/WO2016194340A1/en
Publication of KR20190104445A publication Critical patent/KR20190104445A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H04N5/3535—
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H04N5/2353—
    • H04N5/2356—
    • H04N5/35554—
    • H04N5/369—
    • H04N5/3742—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

촬상 소자 내에서 다른 노출에서 촬영한 복수의 화상으로부터 1매의 화상을 작성하는 HDR 화상 생성 처리를 행함으로써, 소비 전력의 증가와 프레임 레이트 저하를 개선할 수 있다.

Description

촬상 소자 및 촬상장치{IMAGE PICKUP DEVICE AND IMAGEING APPARATUS}
본 발명은, 촬상 소자 및 촬상장치에 관한 것이다.
PTL1에 개시된 거소가 같이, 최근, 디지털 카메라 등의 촬상장치에 사용되는 CMOS 등의 촬상 소자는, 화소를 미세화로 인해 다화소를 포함하고, 해상도가 높은 화상을 촬영하는 것이 가능해지고 있다. 최근의 소비자용 촬상장치는 1000만 화소 이상을 구비하는 것이 일반화되어 있다.
도 16은, 이와 같은 일반적인 촬상장치의 블록 구성도다.
도 16을 참조하면, 촬상 소자(1500)는, 화소부(1501), AD 변환부(1502) 및 P/S 변환부(1503)를 구비한다. 화소부(1501)는, 피사체 상을 전기신호로 변환해서 AD 변환부(1502)에 출력한다.
AD 변환부(1502)는, 화소부(1501)로부터 판독되는 화상신호를 디지털 신호로 변환한다. P/S 변환부(1503)는, AD 변환부(1502)에 의해 변환된 디지털 신호에 대하여 패러랠·시리얼 변환을 행한다. 화상신호 처리회로(1600)는, 촬상 소자(1500)로부터의 화상신호에 대하여 각종 신호 처리를 실시한다.
상기한 촬상장치는, 촬상 소자(1500)로부터 화상신호 처리회로(1501)에 화상신호를 전송하는 일정한 전송 용량을 갖는 전송로를 갖는다. 이 때문에, 촬상 소자의 화소수가 증가함으로써 상대적으로 피사체의 전체 화상신호의 전송 시간이 길어질 수 있다.
즉, 촬상 소자(1500)로부터 화상신호 처리회로(1501)에의 신호 판독 속도가 화상신호의 판독 속도의 보틀넥이 된다. 더구나, 이와 같은 고속전송은 전송 회로와 처리 회로에 의한 소비 전력과 발열량을 증가하여, 데이터 전송 정밀도를 줄일 수 있다.
HDR 촬영 처리에 있어서, 촬상 소자를 사용하여 노출이 다른 복수매의 화상을 촬영하고, 촬상 소자의 외부에 설치된 화상 처리회로에 복수매의 화상 데이터를 출력해서 합성 처리함으로써 HDR 화상을 작성하고 있다. 이와 같은 처리는, 촬상 소자의 외부에 설치된 화상 처리회로에 복수매의 화상 데이터를 송신할 필요가 있으므로, 촬상 소자로부터 화상 처리회로에 송신하는 데이터량을 증대시키고 소비 전력을 증대시킬 수 있다.
일본국 특개 2013-26675호
본 발명은, 다이내믹 레인지가 넓은 고화질의 화상을 취득할 수 있는 촬상 소자를 제공하는 것이다.
본 발명은, 서로 적층되어 있는 제1 반도체 기판 및 제2 반도체 기판을 구비한 촬상 소자로서, 상기 제1 반도체 기판에 설치되고, 입사광을 수광해서 광전변환하도록 구성된 복수의 화소를 갖는 촬상부와, 상기 촬상부로부터 출력되는 아날로그 화상신호를 디지털 화상 데이터로 변환하도록 구성된 AD 변환부와, 상기 제2 반도체 기판에 설치되고, 상기 AD 변환부에 의해 변환되는 적어도 1 프레임의 디지털 화상 데이터를 기억하도록 구성된 프레임 메모리와, 상기 제2 반도체 기판에 설치되고, 상기 프레임 메모리에 기억된 노출이 다른 복수의 화상 데이터로부터 1매의 화상을 생성하도록 구성된 생성부를 구비한 촬상 소자를 제공한다.
본 발명의 또 다른 특징은 첨부도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
도 1은, 실시예 1에 따른 촬상 소자의 개략구조를 도시한 도면이다.
도 2는, 실시예 1에 따른 데이터 버스 구성의 일례를 설명하는 도면이다.
도 3은, 실시예 1에 따른 화소 및 칼럼 ADC 블록의 구성을 도시한 도면이다.
도 4a는, 실시예 1에 따른 촬상 소자의 적층구성을 도시한 도면이다.
도 4b는, 실시예 1에 따른 촬상 소자의 적층구성을 도시한 도면이다.
도 5는, 실시예 1에 따른 촬상 소자의 단면도다.
도 6은, 실시예 1에 따른 촬상장치의 시스템 개요도다.
도 7은, 실시예 1에 따른 다이내믹 레인지의 확대 방법의 설명도다.
도 8a는, 실시예 1에 따른 HDR 처리의 설명도다.
도 8b는, 실시예 1에 따른 HDR 처리의 설명도다.
도 8c는, 실시예 1에 따른 HDR 처리의 설명도다.
도 8d는, 실시예 1에 따른 HDR 처리의 설명도다.
도 8e는, 실시예 1에 따른 HDR 처리의 설명도다.
도 8f는, 실시예 1에 따른 HDR 처리의 설명도다.
도 8g는, 실시예 1에 따른 HDR 처리의 설명도다.
도 9는, 실시예 1에 따른 판독 타이밍을 도시한 도면이다.
도 10은, 실시예 1에 따른 판독 플로우를 도시한 도면이다.
도 11은, 실시예 1에 따른 HDR 처리 및 송신 플로우를 도시한 도면이다.
도 12는, 실시예 2에 따른 판독 타이밍을 도시한 도면이다.
도 13은, 실시예 2에 따른 판독 플로우를 도시한 도면이다.
도 14는, 실시예 3에 따른 판독 타이밍을 도시한 도면이다.
도 15는, 실시예 3에 따른 판독 플로우를 도시한 도면이다.
도 16은, 일반적인 촬상장치의 구성을 도시한 도면이다.
이하에, 본 발명의 바람직한 실시예를, 첨부의 도면을 참조해서 상세하게 설명한다.
실시예1
도 1은, 본 발명의 실시예 1에 따른 촬상 소자의 개략을 블럭도로서 나타낸 것이다.
촬상 소자(506)는, 제1 칩(제1 반도체 기판)(10) 및 제2 칩(제2 반도체 기판)(11)을 가지고 있고, 제2 칩(11)과 제1 칩(10)이 서로 적층되어 있다. 제1 칩(10)은, 매트릭스 형상으로 배열된 복수의 화소(101)로 이루어지는 화소부를 가지고, 제2 칩(11)에 대하여 광 입사측(즉, 광학상의 수광측)에 배치되어 있다.
제1 칩(10)의 화소부에 있어서, 매트릭스 형상으로 배열된 복수의 화소(101)는 행마다 전송 신호선(103), 리셋 신호선(104), 및 행 선택 신호선(105)에 각각 접속되고, 열마다 복수의 열 출력선(102)에 접속되어 있다. 각 행에 배치된 복수의 열 출력선(102)의 대응하는 것에는, 같은 열의 다른 판독 행에 배치된 화소가 접속된다.
제2 칩(11)은, 열마다 설치된 복수의 AD 변환기(이하, ADC로 표기)(111), 행 주사회로(112), 열 주사회로(113) 및 타이밍 제어회로(114)를 가진다. 제2 칩(11)은, 전환 스위치(116), 프레임 메모리(117), 처리부(118), 패러랠-시리얼 변환부(이하, P/S 변환부로 표기한다)(119) 등을 가진다. 타이밍 제어회로(114)는, 전체 제어 연산부(509)에 의해 구동제어된다.
제1 칩(10)이 화소부를 갖고 제2 칩(11)이 화소부의 구동회로, 메모리, 연산부 등을 갖기 때문에, 촬상 소자(506)의 촬상층과 회로층으로 제조 프로세스를 나눌 수 있다. 그리고, 회로층에 있어서의 배선의 세선화 및 고밀도화는 고속화, 소형화, 및 고기능화를 꾀할 수 있다.
전환 스위치(116)는, 채널마다 설치된 수평 신호선 115-a, 수평 신호선 115-b로부터 출력되는 각 채널의 디지털 화상 데이터를 처리부(118)에 선택적으로 입력한다. 처리부(118)는, 채널의 화상 데이터를 소팅하여, 1 프레임의 화상 데이터를 생성하고, 그것을 순차 프레임 메모리(117)에 출력한다. 프레임 메모리(117)는 출력된 적어도 1 프레임의 디지털 화상 데이터를 일시적으로 기억한다.
처리부(118)는, 프레임 메모리(117)에 기억된 1 프레임의 디지털 화상 데이터에 대하여, 잘라내기 처리 및 솎아냄 처리 등의 처리를 행한다. 처리부(118)에서 처리된 1 프레임의 디지털 화상 데이터는, P/S 변환부(119)에 있어서 패러랠-시리얼 변환되고, 촬상 소자(506)의 외부에 설치된 촬상신호 처리회로(507)에 출력된다.
여기에서, 수평 신호선 115-a, 수평 신호선 115-b, 전환 스위치(116), 처리부(118) 및 프레임 메모리(117) 사이의 신호 전송 경로는, 동일 칩 내에 형성되는 디지털 신호 라인이다. 이것은, 고속화를 위해 수평 판독 기간 내에 모든 수평 데이터의 전송을 완결하는데 필요한 데이터 버스 폭을 제공할 수 있다.
도 2는, 제2 칩(11)에 있어서의 ADC(111)로부터 P/S 변환부(119)까지의 데이터 버스 구성의 일례를 설명하는 도면이다. 도 2에 나타낸 것과 같이, 제2 칩(11)에 있어서, ADC(111)과 처리부(118) 사이에는, ADC(111)에 의해 행해진 디지털 변환 출력을 일시적으로 유지하도록 구성된 열 메모리(111a)가 설치된다. 이때, 도 2에서는 전환 스위치(116)는 생략되어 있다.
열 주사회로(113)로부터의 제어신호에 따라 각 열에 설치된 열 메모리(111a)에 유지되어 있는 화상 데이터는 수평 신호선 115-a, 115-b로 나뉘어 병렬로 출력된다. 이 경우, 수평 전송회로(115) 내에는 16채널의 수평 신호선 115-a, 115-b가 설치된다. 수평 신호선 115-a, 115-b에 출력된 화상 데이터는, 처리부(118) 내의 메모리 I/F 회로를 경유해서 프레임 메모리(117)에 입력된다.
예를 들면, 8K4K(수평 8000화소 및 수직 4000화소)의 32M 픽셀의 화상 데이터가 ADC(111)로부터 출력되는 경우에 대해 설명한다. 32M 픽셀의 화상 데이터를 프레임 레이트 60fps에서 판독하는 것은 데이터 버스 대역 1920M픽셀/sec을 필요로 할 수 있다.
수평 전송회로(115) 내부에 설치된 16채널의 수평 신호선 115-a, 115-b의 각각의 전송 용량이 12bit일 경우, 전송가능한 주파수 120MHz까지 전송 용량을 줄일 필요가 있다. 열 주사회로(113)로부터의 제어신호에 따라 순차 열 메모리의 선택이 행해지고, 수평 전송회로(115)의 1채널당 120M픽셀/sec의 화상 데이터가 16채널을 거쳐 병렬로 판독된다.
수평 전송회로(115)로부터 처리부(118)를 경유해서 프레임 메모리(117)에 입력된 화상 데이터 중에서, 프레임 메모리로부터 소정 에어리어의 데이터가 부분적으로 판독되고, 다시 처리부(118)에 입력된다. 예를 들면, 프레임 메모리(117)로부터 출력된 화상 데이터의 사이즈는, 처리부(118) 내의 축소 변배회로에 의해 1/16배의 화상 사이즈로 축소된다. 이 경우에 필요하게 되는 데이터 버스 대역은 120M픽셀/sec까지 저감된다. 이것은, 풀 HD 사이즈(2M 픽셀)의 화상 데이터를 60fps에서 판독하기 위한 데이터 전송용량이다.
데이터 버스 대역이 저감되어 처리부(118)로부터 출력된 화상 데이터는, P/S 변환부(119)에 의해, 최대 시리얼 전송 용량 1Gbps를 초과하지 않도록, 720Mbps의 2채널 구성으로 시리얼 신호로 변환되어 출력된다.
제2 칩(11) 내에 ADC(111), 처리부(118) 및 프레임 메모리(117)를 설치함으로써, 제2 칩(11) 내에서 화상 데이터의 처리에 필요한 넓은 데이터 버스 대역을 제공하여, ADC(111)로부터 프레임 메모리(117)까지의 전송 속도의 고속화를 실현하면서, 촬상 소자 외부로 전송을 허용하는 시리얼 전송 용량으로 고화질의 동화상을 출력할 수 있다.
도 3은, 본 실시예에 있어서의 촬상 소자(506)의 화소부의 각 화소(101) 및 ADC(111)의 상세한 구성을 나타낸 도면이다. 도 1 및 도 3을 참조하여, 실시예 1에 따른 촬상 소자에 의해 행해지는 동작의 개략을 설명한다.
포토다이오드(이하, PD로 표기한다)(201)는, 수광한 입사광을 수광한 입사광의 광량에 대응하는 전하량의 광 전하(여기에서는, 전자)로 광전변환한다. PD(201)의 캐소드는, 전송 트랜지스터(202)를 거쳐 증폭 트랜지스터(204)의 게이트와 전기적으로 접속되어 있다. 이 증폭 트랜지스터(204)의 게이트와 전기적으로 접속된 노드는 플로팅 디퓨전(이하, FD로 표기한다)부(206)를 구성한다.
전송 트랜지스터(202)는, PD(201)의 캐소드와 FD부(206) 사이에 설치되고, 게이트에 도 1의 전송 신호선(103)을 거쳐 전송 펄스 φTRG의 공급에 응답하여 온 상태가 된다. PD(201)에 의해 광전변환된 광 전하를 FD부(206)에 전송한다.
리셋 트랜지스터(203)는, 드레인이 화소 전원 Vdd에, 소스가 FD부(206)에 각각 접속되고, 게이트에 도 1의 리셋 신호선(104)을 거쳐 리셋 펄스 φRST의 공급에 응답하여 온 상태가 된다. PD(201)로부터 FD부(206)에의 신호 전하의 전송에 앞서, FD부(206)의 전하를 화소 전원 Vdd에 버림으로써 해당 FD부(206)를 리셋할 수 있다.
증폭 트랜지스터(204)는, 게이트가 FD부(206)에, 드레인이 화소 전원 Vdd에 각각 접속되고, 리셋 트랜지스터(203)에 의해 리셋한 후의 FD부(206)의 전위를 리셋 레벨에서 출력한다. 증폭 트랜지스터(204)는, 전송 트랜지스터(202)에 의해 PD(201)의 신호 전하를 전송한 후의 FD부(206)의 전위를 신호 레벨에서 출력한다.
선택 트랜지스터(205)는, 드레인이 증폭 트랜지스터(204)의 소스에, 소스가 열 출력선(102)에 각각 접속된다. 선택 트랜지스터(205)는, 게이트에 도 1의 행 선택 신호선(105)을 거쳐 선택 펄스φSEL의 공급에 응답하여 온 상태가 되고, 화소(101)를 선택 상태로 변경함으로써 증폭 트랜지스터(204)에 의해 증폭되는 신호를 열 출력선(102)에 출력한다.
이때, 이 선택 트랜지스터(205)는, 화소 전원 Vdd와 증폭 트랜지스터(204)의 드레인 사이에 접속하여도 된다. 트랜지스터 202 내지 205는, 예를 들면, N채널의 MOS 트랜지스터이어도 된다. 각각의 화소(101)는, 4개의 트랜지스터를 구비한 것에 한정되지 않고, 증폭 트랜지스터(204)와 선택 트랜지스터(205)를 1개의 트랜지스터로 구현되는 3개의 트랜지스터를 구비하여도 된다.
화소(101)로부터 열 출력선(102)을 거쳐 출력되는 아날로그 화상신호는 ADC(111)에 전송된다. ADC(111)은, 비교기(211), 업다운 카운터(212), 메모리(213), DA 컨버터(이하, DAC로 표기한다)(214)를 가진다.
비교기(211)는, 한 쌍의 입력 단자를 구비하고, 그것의 한쪽에 열 출력선(102)이 접속되고, 다른 쪽에 DAC(214)이 접속된다. 비교기(211)의 출력 단자는, 업다운 카운터(212)에 접속된다. 도 1의 타이밍 제어회로(114)는, 전체 제어 연산부(509)로부터의 지령에 근거하여 DAC(214)에 기준신호를 출력한다.
DAC(214)은, 도 1의 타이밍 제어회로(114)로부터 입력되는 기준신호에 근거하여, 시간의 경과와 함께 레벨이 변화하는 램프 신호를 출력한다. 그리고, 비교기(211)는, DAC(214)로부터 입력되는 램프 신호의 레벨과, 열 출력선(102)으로부터 입력되는 화상신호의 레벨을 비교한다.
예를 들면, 비교기(211)는, 화상신호의 레벨이 램프 신호의 레벨보다 낮은 경우에는 하이레벨의 비교 신호를 출력하고, 화상신호의 레벨이 램프 신호의 레벨보다 높은 경우에는 로우 레벨의 비교 신호를 출력한다. 업다운 카운터(212)는, 비교 신호가 하이레벨로 변화하는 기간, 또는 비교 신호가 로우 레벨로 변화하는 기간을 카운트한다. 이 카운트 처리에 의해, 각 화소(101)의 출력 신호는 디지털 값으로 변환된다.
이와 달리, 비교기(211)와 업다운 카운터(212) 사이에 AND 회로를 설치하여도 된다. 이 AND 회로에 펄스 신호를 입력하여, 이 펄스 신호의 개수를 업다운 카운터(212)에 의해 카운트하여도 된다.
ADC(111)은, 화소(101)의 리셋 해제시의 리셋 신호에 근거하여 리셋 레벨에 대응한 카운트 값을 카운트하고, 소정의 촬상 시간 경과후의 광신호에 근거하여 카운트 값을 카운트해도 된다. 이들 광신호와 관련된 카운트 값과 리셋 신호와 관련된 카운트 값 사이의 차분값을 메모리(213)에 기억시켜도 된다.
메모리(213)는, 업다운 카운터(212)와 접속되고, 업다운 카운터(212)에 의해 카운트된 카운트 값을 기억한다. 메모리(213)에 기억된 카운트 값은 디지털 화상 데이터로서 도 1의 열 주사회로(113)의 구동제어에 응답하여 도 1의 수평 신호선 115-a 및 수평 신호선 115-b에 전송된다.
도 4a 및 도 4b는, 도 1을 참조하여 설명한 실시예 1에 따른 촬상 소자(506)의 외형 구성을 나타낸다. 도 4a는 촬상 소자(506)를 빛이 입사하는 측에서 본 사시도를 나타내고, 도 4b는 촬상 소자(506)의 단면도를 나타내고 있다.
촬상 소자(506)는, 제1 칩(촬상층)(10)과 제2 칩(회로층)(11)에 의해 구성된다. 제1 칩(10)과 제2 칩(11) 각각은 복수의 마이크로 패드(302)를 갖고, 제1 칩(10)과 제2 칩(11)은 복수의 마이크로 범프(301)를 거쳐 제1 칩(10)과 제2 칩(11)에 설치된 마이크로 패드(302)를 전기적으로 접속함으로써 일체화된다. 즉, 제1 칩(10)과 제2 칩(11)은, 복수의 매크로 범프(101) 및 복수의 마이크로 패드(302)를 거쳐 전기적으로 직접 접속되어 있다. 매크로 패드 및 마이크로 패드를 사용하지 않는 방법에 의해, 제1 칩(10)과 제2 칩(11)이 전기적으로 직접 접속되어도 된다.
도 5는, 도 1 내지 도 4a 및 도 4b에서 나타낸 실시예 1에 따른 촬상 소자(506)의 단면 구조의 상세를 나타낸다. 도 5를 참조하면, 촬상층(401)이 제1 칩(10)에 대응하고, 회로층(402)이 제2 칩(11)에 대응한다.
촬상층(401)에 있어서는, 실리콘(이하, Si로 표기한다) 기판(403) 위에 배선층(404)이 형성되어 있다. Si 기판(403)은, PD(201)가 되는 n형 확산영역(407)과, 표면부(배선층(404)의 배선층(404)과의 경계부)에 있는 p+ 확산영역(408)을 갖는다.
Si 기판(403)에는, 그것의 표면부에 FD부(206)가 되는 복수의 n+ 확산영역(409)과, 스위치용 트랜지스터의 복수의 n+ 확산영역(410)이 형성되어 있다. 배선(404)은, 예를 들어, SiO2의 절연층 내부에 각 트랜지스터의 게이트 배선(411) 및 신호 전파용 배선(412)을 갖고, 그것의 표면부에는 Cu의 마이크로 패드(302a)를 갖는다.
상기한 n+ 확산영역 409, n+ 확산영역 410과 트랜지스터의 게이트 배선(411)에 의해 전송 트랜지스터(202), 리셋 트랜지스터(203), 증폭 트랜지스터(204) 및 선택 트랜지스터(205)가 각각 구성된다. 배선층(404)에는, n+ 확산영역 410을 마이크로 패드(302a)와 접속하기 위한 비아(414)가 형성되어 있다.
회로층(402)은 Si 기판(405) 위에 배선층(406)을 갖는다. Si 기판(405)은, 표면부에 복수의 트랜지스터 확산영역(416)을 갖는다. 배선층(406)은, 각 트랜지스터의 복수의 게이트 배선(417) 및 복수의 신호 전파용 배선(418)을 포함하는, 예를 들어, SiO2의 절연층과, 그것의 표면부는 Cu의 마이크로 패드(302b)를 갖는다.
회로층(402)에 형성된 트랜지스터 확산영역(416), 트랜지스터의 게이트 배선(417) 및 신호 전파용 배선(418)은 각종 회로를 구성한다. 회로 단면의 상세에 대해서는 설명을 생략한다. 배선층(406)에는, 확산영역(416) 등을 마이크로 패드(302b)와 접속하기 위한 비아(420)가 형성되어 있다.
촬상층(401)의 배선층(404)에 형성된 마이크로 패드(302a)와, 회로층(402)의 배선층(406)에 형성된 마이크로 패드(302b)는, 마이크로 범프(301)를 거쳐 서로 전기적으로 접속되어 있다. 도 5에서는 촬상층(401) 및 회로층(402)을 접속 단자로서 마이크로 범프(301)를 사용해서 접속하는 구성 예를 나타내었지만, 마이크로 범프를 사용하지 않고 직접 접속해도 된다.
도 6은, 도 1 내지 5를 참조하여 설명한 촬상 소자를 사용한 촬상장치의 시스템 도면이다. 렌즈부(501)를 통과한 피사체 상은 조리개(504)에 의해 적절한 광량으로 조정되고, 도 1 내지 도 5에 나타낸 구성을 가지는 촬상 소자(506) 위의 촬상면에 결상된다.
촬상 소자(506) 위의 촬상면에 결상된 피사체 상은, 촬상 소자(506)의 PD(201)에 의해 광전변환되고, 화소내 증폭기와 화소(101)와 ADC(111) 사이에 설치한 열 증폭기에 의한 게인 조정이 행해진다. 그리고, ADC(111)을 사용해서 아날로그 신호로부터 디지털 신호로 A/D 변환 처리를 행한 후, R, G, B의 각 색의 디지털 화상신호로서 촬상신호 처리회로(507)에 공급된다.
촬상신호 처리회로(507)에서는, 노이즈를 경감하는 로우패스 필터 처리와 셰이딩 보정 등의 각종 보정처리, 화이트 밸런스 조정 처리 등의 화상 신호처리와, 화상 데이터의 압축 처리를 행한다. 이때, 이들 처리를 행하도록 구성된 촬상신호 처리회로(507)를 적층구조의 촬상 소자(506)에 내장하여도 된다.
렌즈부(501)는, 렌즈 구동부(502)에 의해 구동됨으로써, 예를 들어, 줌 및 포커스를 제어한다. 메카니컬 셔터(503) 및 조리개(504)는, 셔터/조리개 구동부(505)에 의해 구동제어된다.
전체 제어 연산부(509)는, 촬상장치 전체의 제어와 각종 연산 처리를 행한다. 제1 메모리부(508)는 화상 데이터를 일시적으로 기억한다. 반도체 메모리 등의 착탈가능한 기록 매체(512)는 화상 데이터를 기록한다. 기록 매체 제어 인터페이스부(510)는, 기록 매체(512)에 화상 데이터를 기록하거나, 또는 기록 매체(512)에 기록된 화상 데이터를 판독한다. 이때, 전체 제어 연산부(509)를 적층구조의 촬상 소자(506)에 내장해도 된다.
표시부(511)는, 예를 들어, 화상 데이터의 표시를 행하도록 구성된다. 외부 인터페이스부(513)는, 외부 컴퓨터 등과 통신을 행하는데 사용된다. 제2 메모리부(514)는, 전체 제어 연산부(509)에서의 연산 결과와 파라미터를 일시적으로 기억한다. 조작부(515)를 거쳐 유저가 설정한 촬상장치의 구동조건에 관한 정보는 전체 제어 연산부(509)로 보내져, 이들 정보에 근거하여 촬상장치 전체를 제어할 수 있다.
다음에, 본 실시예에 따른 HDR 처리를 사용한 다이내믹 레인지의 확대 방법에 대해서 도 7 및 도 8a 내지 도 8g를 참조하여 설명한다. HDR 처리는, 동일 피사체를 다른 노출에서 촬영하여 얻어진 복수 프레임의 화상으로부터 화상 내의 영역마다 사용가능한 출력 범위를 추출해서 1매의 화상으로 합성함으로써, 다이내믹 레인지를 확대할 수 있는 처리다.
일례로서, 노출이 적정 노출로부터 마이너스 2 레벨인 "언더 노출 화상", 노출이 적정인 "적정 노출 화상"과, 노출이 적정 노출로부터 플러스 2레벨인 "오버 노출 화상"의 3매의 화상을 촬상한다. 이하에서는 노출을 축적 기간에 근거하여 제어하는 예에 대해 설명하지만, 축적 기간에 근거한 제어에 한정되는 것은 아니고, ISO 감도(게인)을 프레임마다 다르게 하는 방법 등 다른 방법으로 노출을 제어해도 된다.
도 7은, 노출을 축적 기간에 근거하여 제어한 경우의 노출과 다이내믹 레인지의 관계를 나타내는 도면이다. 도 8a 내지 도 8g는, 다양한 노출에서 촬영한 촬영 화상과 HDR에 있어서 화상 합성되는 화상을 도시한 도면이다. 도 7의 횡축은 피사체 휘도이고, 종축은 촬상 소자로부터의 출력 신호 레벨과 흑 레벨(601)로부터 포화 레벨(602)까지의 출력 레인지를 나타낸다.
도 7에서는, 언더 노출 화상(606), 적정 노출 화상(605), 오버 노출 화상(604)의 각각에 대해서, 피사체 휘도에 대한 신호값의 관계를 플롯하고 있다. 언더 노출 화상(606)은, 도 8a에 나타낸 것과 같이 적정 노출보다도 작은 노출에서 촬영한 화상이다. 적정 노출 화상(605)은, 도 8b에 나타낸 것과 같이 적정 노출에서 촬영한 화상이다. 오버 노출 화상(604)은, 도 8c에 나타낸 것과 같이 적정 노출보다도 큰 노출에서 촬영한 화상이다.
다음에, 각 종류의 노출의 다이내믹 레인지에 대해 설명한다. 흑 레벨(601)로부터 포화 레벨(602)까지의 출력 레인지에 있어서, 흑 레벨(601)에 가까운 레벨을 갖는 신호가 노이즈의 영향을 받기 쉬워, 해당하는 출력값의 신뢰성이 낮다. 노이즈의 영향을 받기 쉬운 출력 레인지가 레벨 601 내지 레벨 603의 범위인 것으로 가정하면, 화상으로서 사용가능한 출력 레인지는 레벨 603 내지 602의 범위가 된다.
다양한 종류의 노출에서 촬영한 화상에 있어서 사용가능한 레벨 603 내지 레벨 602의 출력 레벨 범위에 대응하는 피사체 휘도는, 다양한 종류의 노출에서 촬영한 화상에서 사용가능한 출력 범위(다이내믹 레인지)가 될 수 있다. 언더 노출 화상(606)의 다이내믹 레인지는 휘도 레인지 609이다. 도 8a에 나타내는 언더 노출 화상(606)으로부터 사용가능한 출력 범위인 휘도 레인지 609를 추출하여 얻어진 화상 데이터를 도 8d에 나타낸다.
적정 노출 화상(605)의 다이내믹 레인지는 휘도 레인지 608이다. 도 8b에 나타내는 적정 노출 화상(605)으로부터 사용가능한 출력 범위인 휘도 레인지 608을 추출하여 얻어진 화상 데이터를 도 8e에 나타낸다.
오버 노출 화상(604)의 다이내믹 레인지는 휘도 레인지 607이다. 도 8c에 나타내는 오버 노출 화상(604)으로부터 사용가능한 출력 범위인 휘도 레인지 607을 추출하여 얻어진 화상 데이터를 도 8f에 나타낸다. 도 8f는 인물 이외의 배경 화상을 나타내고, 파선(701)으로 나타낸 범위 내의 화상 데이터는 포함하지 않고 있다.
이 경우, 언더 노출 화상(606)에 있어서의 휘도 레인지 609보다도 낮은 휘도 레인지는 노이즈의 영향을 받기 쉬운 것에 대해, 오버 노출 화상(604)에 있어서의 휘도 레인지 607보다도 낮은 휘도 레인지 610은 노이즈의 영향을 크게 받지 않는다. 따라서, 출력 레인지 601 내지 603을 얻기 위해, 오버 노출 화상(604)에 대해서는 휘도 레인지 610의 화상 데이터가 사용된다.
그리고, 다른 노출에서 촬영한 화상 데이터(도 8a 내지 도 8c)로부터 추출하여 얻어진 화상 데이터(도 8d 내지 도 8f)를 합성함으로써 휘도 레인지 609, 608, 607 및 610을 포함한 다이내믹 레인지가 넓은 화상 데이터(도 8g)를 생성할 수 있다.
도 8a 내지 도 8c의 화상 데이터로부터 이와 같은 사용가능한 출력 범위를 추출할 때, 가중에 의해 신호 추출을 행해도 된다.
다음에, 노출이 다른 복수 프레임의 화상 데이터를 취득하고, 취득한 복수 프레임의 화상 데이터를 촬상 소자(506) 내의 프레임 메모리에 보존하는 처리에 대해서 도 9 및 도 10을 참조하여 설명한다. 도 9는, 노출이 다른 3매의 화상의 화상 데이터를 취득하기 위해 각 화소에 대해 행해진 전하 축적 및 신호 판독 동작의 타이밍을 나타내고, 횡축이 타이밍을 나타내고, 종축이 촬상 소자의 화소 행을 나타내고 있다. 도 10은, 촬상장치에서 행해지는 처리를 나타내는 흐름도다.
도 10의 스텝 S901에 있어서, 언더 노출 화상의 전하 축적 동작을 개시한다. 즉, 도 9의 시간 t1 내지 시간 t2의 기간 중에, 행마다 각 화소의 리셋 처리를 개시하고, 리셋이 완료된 행으로부터 언더 노출 화상에 대한 전하 축적 동작을 개시한다. 여기에서는, 행으로부터 순차 신호를 판독하는 롤링 판독을 행하도록 촬상 소자(506)를 구동하기 때문에, 전하 축적 동작이 행마다 다른 시간에 개시한다.
스텝 S902에 있어서, 언더 노출 화상의 신호 판독을 개시하는 동시에, 적정 노출 화상의 전하 축적을 개시한다. 즉, 도 9의 시간 t3 내지 시간 t4의 기간 중에, 행마다 언더 노출 화상의 신호 판독을 행하는 동시에, 각 행의 언더 노출 화상의 신호 판독 직후에, 리셋 처리를 개시한다. 리셋 처리가 끝난 행으로부터 적정 노출 화상의 전하 축적을 개시한다.
스텝 S903에 있어서, 판독한 언더 노출 화상의 디지털 화상 데이터를 촬상 소자 내의 프레임 메모리(117)의 영역 L에 보존한다.
스텝 S904에 있어서, 적정 노출 화상의 신호 판독을 개시하는 동시에, 오버 노출 화상의 전하 축적을 개시한다. 즉, 도 9의 시간 t5 내지 시간 t6의 기간중에, 행마다 적정 노출 화상의 신호 판독을 행한다. 각 행의 적정 노출 화상의 신호 판독 직후에, 리셋 처리를 개시하고, 리셋 처리가 완료한 행으로부터 오버 노출 화상의 전하 축적을 개시한다.
스텝 S905에 있어서, 판독한 적정 노출 화상의 디지털 화상 데이터를 촬상 소자 내의 프레임 메모리(117)의 영역 M에 보존한다.
스텝 S906에 있어서, 오버 노출 화상의 신호 판독을 행한다. 즉, 도 9의 시간 t7 내지 시간 t8의 기간 중에, 행마다 오버 노출 화상의 신호 판독을 행한다.
스텝 S907에 있어서, 판독한 오버 노출 화상의 디지털 화상 데이터를 촬상 소자 내의 프레임 메모리(117)의 영역 H에 보존한다.
이상의 처리를 거쳐, 노출이 다른 복수의 화상 데이터를 취득하고, 취득한 화상 데이터를 촬상 소자(506) 내의 프레임 메모리(117)에 보존할 수 있다. 이때, 프레임 메모리(117)는, 적어도 3매의 화상 데이터를 보존하기 위한 용량을 구비하고 있으면 된다. 본 실시예에서는, 언더 노출 화상, 적정 노출 화상 및 오버 노출 화상을 이 순서로 취득하는 것을 설명했지만, 본 발명의 실시예는 이 순서에 한정되지 않는다. 예를 들면, 적정 노출 화상, 언더 노출 화상 및 오버 노출 화상을 순서대로 취득하면, 각 노출 화상의 중심 위치를 보다 가깝게 할 수 있다.
다음에, 프레임 메모리(117)에 보존된 다양한 노출에서 촬영된 복수의 화상 데이터를 사용한 HDR 화상 생성 처리에 대해서, 도 11의 흐름도를 참조하여 설명한다.
스텝 S1001에 있어서, 전체 제어 연산부(509)의 제어하에서, 프레임 메모리(117)의 영역 L, M, H에 보존되어 있는 노출이 다른 복수의 화상 데이터를 처리부(118)에 입력한다.
스텝 S1002에 있어서, 처리부(118)는, 전체 제어 연산부(509)의 제어하에서, 도 7 및 도 8a 내지 도 8g를 참조하여 설명한 것 같은 노출이 다른 복수의 화상 데이터를 사용한 HDR 화상 생성 처리를 실행한다. 연산부(118)는, HDR 화상 생성 처리와 화상의 합성 처리를 행할 수 있다.
즉, 동일 피사체를 촬영하여 얻어지고 프레임 메모리(117)의 영역 L, M, H에 기억되어 있는 노출이 다른 복수의 화상 데이터로부터 화상의 영역마다 사용가능한 출력 레벨 범위에 포함되는 화상 데이터를 추출한다. 화상들을 정렬하고 합성하여 다이내믹 레인지가 넓은 1매의 화상(HDR 화상)을 생성한다. 합성 처리는, 입력된 화상 데이터와 프레임 메모리(117)에 보존되어 있는 화상 데이터를 합성하여, 그 결과 얻어진 데이터를 프레임 메모리(117)의 임의의 영역에 보존하는 과정을 포함한다.
스텝 S1003에 있어서, 전체 제어 연산부(509)의 제어하에서, 프레임 메모리(117)에 보존된 HDR 화상을 P/S 변환부(119)에 송신하고, 촬상신호 처리회로(507)에 출력한다. 이상과 같은 HDR 화상 생성 처리를 행함으로써, 다이내믹 레인지가 넓은 화상을 생성할 수 있다.
실시예2
이하에서, 도 12 및 도 13을 참조하여, 본 발명의 실시예 2에 대해 설명한다. 실시예 2의 촬상 시스템 및 HDR 화상 생성 처리는 실시예 1의 도 1 내지 도 8g, 도 11을 참조하여 설명한 것과 같기 때문에, 반복 설명을 생략한다.
실시예 1에 따르면, 다른 노출에서 순차 촬영한 복수의 화상 데이터로부터 다이내믹 레인지가 넓은 화상 데이터를 생성하는 방법에 대해 설명하였다. 그렇지만, 피사체 떨림으로 인해 화상 사이에서 피사체의 위치가 변한 경우, 단순히 합성 전에 화상을 정렬하면 화상 내의 모든 영역을 적절히 합성할 수 없을 수 있다.
이 과제를 개선하는 방법으로서, 합성하려는 화상 데이터의 전하 축적 기간이 중복한 경우에 같은 시간에 전하 축적을 개시함으로써(즉, 같은 시간에 노광을 개시함으로써) 화상 데이터의 신호 판독을 행하는 처리에 대해서 도 12 및 도 13을 참조하여 설명한다. 도 12는, 노출이 다른 3매의 화상 데이터를 취득하기 위한 각 화소에 있어서의 전하 축적 및 신호 판독의 타이밍을 나타내는 도면이고, 횡축이 시간을 나타내고, 종축이 촬상 소자의 화소 행을 나타내고 있다. 도 13은, 실시예 2에 따른 촬상장치에서 행해지는 처리를 나타내는 흐름도다.
실시예 2에 있어서도 전하 축적 기간에 근거하여 노출을 제어하고, "언더 노출 화상"(도 12의 축적 기간 L에 해당하는 화상), "적정 노출 화상-언더 노출 화상"(도 12의 축적 기간 M-L에 해당하는 화상), 및 "오버 노출 화상-적정 노출 화상"(도 12의 축적 기간 H-M에 해당하는 화상)을 순차 취득한다. 이것에 대해 연산 처리를 행함으로써, 언더 노출 화상, 적정 노출 화상 및 오버 노출 화상을 생성한다. 이때, 언더 노출 화상은 적정 노출로부터 마이너스 2레벨의 노출을 갖는다. 또한, 오버 노출 화상은 적정 노출로부터 플러스 2레벨의 노출을 갖는 화상이다.
도 13의 스텝 S1201에 있어서, 언더 노출 화상의 전하 축적을 개시한다. 즉, 도 12의 시간 t1 내지 시간 t2의 기간중에, 행마다 각 화소의 리셋 처리를 개시하고, 리셋 처리가 완료한 행으로부터 언더 노출 화상에 대한 전하 축적 동작을 개시한다. 여기에서는, 행마다 순차 신호를 판독하는 롤링 판독을 행하도록 촬상 소자(506)를 구동하기 때문에, 전하 축적 동작이 행마다 다른 시간에 개시한다.
스텝 S1202에 있어서, 언더 노광 화상의 신호 판독을 개시하고, "적정 노출 화상-언더 노출 화상"의 전하 축적을 개시한다. 즉, 도 13의 시간 t3 내지 시간 t4의 기간중에, 행마다 언더 노출 화상의 신호 판독을 행하는 동시에, 각 행의 언더 노출 화상의 신호 판독 직후에, 행마다 리셋 처리를 개시한다. 리셋 처리가 완료한 행으로부터 순차적으로 "적정 노출 화상-언더 노출 화상"의 전하 축적을 개시한다.
스텝 S1203에 있어서, 판독한 언더 노출 화상의 디지털 화상 데이터를 프레임 메모리(117)의 영역 L에 보존한다.
스텝 S1204에 있어서, "적정 노출 화상-언더 노출 화상"의 신호 판독을 개시하는 동시에, "오버 노출 화상-적정 노출 화상"의 전하 축적을 개시한다. 즉, 도 13의 시간 t5 내지 시간 t6의 기간중에, 행마다 "적정 노출 화상-언더 노출 화상"의 신호 판독을 행한다. 각 행의 "적정 노출 화상-언더 노출 화상"의 신호 판독 직후에, 리셋 처리를 개시하고, 리셋 처리가 완료한 행으로부터 "오버 노출 화상-적정 노출 화상"의 전하 축적을 개시한다.
스텝 S1205에 있어서, 스텝 S1204에서 판독한 "적정 노출 화상-언더 노출 화상"(도 12의 축적 기간 M-L에 해당하는 화상)과 프레임 메모리(117)의 영역 L에 보존되어 있는 "언더 노출 화상"(도 12의 축적 기간 L에 해당하는 화상)을 처리부(118)에 입력해서 가산 처리를 실행한다. 이 가산 처리를 행함으로써, "적정 노출 화상"(도 12의 축적 기간 M에 해당하는 화상)을 얻을 수 있다.
스텝 S1206에 있어서, 가산 처리를 행하여 얻어진 적정 노출 화상의 디지털 화상 데이터를 프레임 메모리(117)의 영역 M에 보존한다.
스텝 S1207에 있어서, "오버 노출 화상-적정 노출 화상"의 신호 판독을 행한다.
즉, 도 12의 시간 t7 내지 시간 t8의 기간중에, "오버 노출 화상-적정 노출 화상"의 신호 판독을 행한다.
스텝 S1208에 있어서, 스텝 S1207에서 판독한 "오버 노출 화상-적정 노출 화상"(도 12의 축적 기간 H-M에 해당하는 화상)과 프레임 메모리(117)의 영역 M에 보존되어 있는 "적정 노출 화상"(도 12의 축적 기간 M에 해당하는 화상)을 처리부(118)에 입력해서 가산 처리를 실행한다. 이 가산 처리를 행함으로써, "오버 노출 화상"(도 12의 축적 기간 H에 해당하는 화상)을 얻을 수 있다.
스텝 S1209에 있어서, 가산 처리를 행하여 얻어진 오버 노출 화상의 디지털 화상 데이터를 프레임 메모리(117)의 영역 H에 보존한다.
이상과 같이 해서 노출이 다르고 동일한 시간에 축적을 개시한 복수의 화상 데이터를 사용해서 실시예 1과 마찬가지로 HDR 화상 생성 처리를 행함으로써, 피사체 떨림의 영향을 경감하면서, 다이내믹 레인지가 넓은 화상을 생성하는 것이 가능해진다.
실시예3
도 14 및 도 15를 참조하여 본 발명의 실시예 3에 대해 설명한다. 실시예 3에 따른 촬상 시스템 및 HDR 화상 생성 처리는, 실시예 1의 도 1 내지 도 8a 내지 도 8g와, 도 11을 참조하여 설명한 것과 같기 때문에, 반복 설명을 생략한다.
실시예 2에 따르면, 다른 노출에서 복수의 화상을 촬영할 때에, 같은 시간에 축적 동작을 개시하는 신호 판독 방법에 대해 설명하였다. 그렇지만, 실시예 2에 따른 방법은, 언더 노출 화상과 오버 노출 화상이 크게 다른 시간에 종료하기 때문에, 피사체 떨림의 영향을 완전히 해소할 수 없을 수도 있다.
이 과제를 개선하기 위해서는, 다른 노출에서 복수의 화상을 촬영할 때, 화상의 전하 축적 기간 중에 중간 시간을 동시에 발생한다. 본 실시예에 따르면, 후단 처리에서 다양한 노출을 갖는 화상 데이터의 전하 축적 기간 중에 중간 시간을 동시에 발생할 수 있는 신호 판독 처리에 대해 도 14 및 도 15를 참조하여 설명한다. 도 14는, 노출이 동일한 화상을 8매 취득하기 위한 각 화소에 있어서의 전하 축적 및 신호 판독의 타이밍을 나타내는 도면이고, 횡축이 시간을 나타내고, 종축이 촬상 소자의 화소 행을 나타내고 있다. 도 15는, 실시예 3에 따른 촬상장치에서 행해지는 처리를 나타내는 흐름도다.
실시예 3에 있어서도, 전하 축적 기간에 근거하여 노출을 제어하고 있고, 노출이 적정 노출로부터 마이너스 2레벨인 복수의 화상(이하, "분할 노출 화상"으로 칭한다)을 연속해서 취득한다. 연산 처리를 행함으로써, 언더 노출 화상(도 14의 축적 기간 L에 해당하는 화상), 적정 노출 화상(도 14의 축적 기간 M에 해당하는 화상) 및 오버 노출 화상(도 14의 축적 기간 L에 해당하는 화상)을 생성한다.
도 15의 스텝 S1401에 있어서, 분할 노출 화상 1매째의 전하 축적을 개시한다. 즉, 도 14의 시간 t1 내지 시간 t2의 기간 중에, 행마다 각 화소의 리셋 처리를 개시하고, 1매째의 분할 화상에 대한 전하 축적을 개시한다. 여기에서는, 행마다 순차 신호를 판독하는 롤링 판독을 행하도록 촬상 소자(506)를 구동하기 때문에, 전하 축적 동작이 행마다 다른 시간에 개시한다.
스텝 S1402에 있어서, 분할 노출 화상 1매째의 신호 판독을 개시하는 동시에, 분할 노출 화상 2매째의 전하 축적을 개시한다. 즉, 도 14의 시간 t2 내지 시간 t3의 기간중에, 행마다 분할 노출 화상 1매째의 판독을 행하는 동시에, 각 행의 분할 노출 화상 1매째의 판독 직후에, 행마다 리셋 처리를 개시한다. 리셋 처리가 완료한 행으로부터 순차적으로, 분할 노출 화상 2매째의 전하 축적을 개시한다.
스텝 S1403에 있어서, 판독한 분할 노출 화상 1매째의 디지털 화상 데이터를 프레임 메모리(117)의 영역 H에 보존한다.
스텝 S1404에 있어서, 분할 노출 화상 2매째의 신호 판독을 개시하는 동시에, 분할 노출 화상 3매째의 전하 축적을 개시한다. 즉, 도 14의 시간 t3 내지 t4의 기간중에, 행마다 분할 노출 화상 2매째의 판독을 행하는 동시에, 각 행의 분할 노출 화상 2매째의 판독 직후에 행마다 리셋 처리를 개시한다. 리셋 처리가 완료한 행으로부터 순차적으로, 분할 노출 화상 3매째의 전하 축적을 개시한다.
스텝 S1405에 있어서, 스텝 S1404에서 판독한 분할 노출 화상 2매째와 프레임 메모리(117)의 영역 H에 보존되어 있는 화상을 처리부(118)에서 가산 처리하고, 그 결과 얻어진 데이터를 영역 H에 보존한다.
스텝 S1406에 있어서, 분할 노출 화상 3매째의 신호 판독을 개시하는 동시에, 분할 노출 화상 4매째의 전하 축적을 개시한다. 즉, 도 14의 시간 t4 내지 시간 t5의 기간중에, 행마다 분할 노출 화상 3매째의 판독을 행하는 동시에, 각 행의 분할 노출 화상 3매째의 판독 직후에, 행마다 리셋 처리를 개시한다. 리셋 처리가 완료한 행으로부터 순차적으로, 분할 노출 화상 4매째의 전하 축적을 개시한다.
스텝 S1407에 있어서, 스텝 S1406에서 판독한 분할 노출 화상 3매째와 프레임 메모리(117)의 영역 H에 보존되어 있는 화상을 처리부(118)에서 가산 처리하고, 그 결과 얻어진 데이터를 영역 H에 보존한다.
스텝 S1408에 있어서, 판독한 분할 노출 화상 3매째를 프레임 메모리(117)의 영역 M에 보존한다.
스텝 S1409에 있어서, 분할 노출 화상 4매째의 신호 판독을 개시하는 동시에, 분할 노출 화상 5매째의 전하 축적을 개시한다. 즉, 도 14의 시간 t5 내지 t6의 기간중에, 행마다 분할 노출 화상 4매째의 판독을 행하는 동시에, 각 행의 분할 노출 화상 4매째의 판독 직후에, 행마다 리셋 처리를 개시한다. 리셋 처리가 완료한 행으로부터 순차적으로, 분할 노출 화상 5매째의 전하 축적을 개시한다.
스텝 S1410에 있어서, 스텝 S1409에서 판독한 분할 노출 화상 4매째와 프레임 메모리(117)의 영역 H에 보존되어 있는 화상을 처리부(118)에서 가산 처리하고, 그 결과 얻어진 데이터를 영역 H에 보존한다.
스텝 S1411에 있어서, 판독한 분할 노출 화상 4매째와 프레임 메모리(117)의 영역 M에 보존되어 있는 화상을 처리부(118)에서 가산 처리하고, 그 결과 얻어진 데이터를 영역 M에 보존한다.
스텝 S1412에 있어서, 판독한 분할 노출 화상 4매째를 프레임 메모리(117)의 영역 L에 보존한다.
스텝 S1413에 있어서, 분할 노출 화상 5매째의 신호 판독을 개시하는 동시에, 분할 노출 화상 6매째의 전하 축적을 개시한다. 즉, 도 14의 시간 t6 내지 시간 t7의 기간중에, 행마다 분할 노출 화상 5매째의 판독을 행하는 동시에, 각 행의 분할 노출 화상 5매째의 판독 직후에 행마다 리셋 처리를 개시한다. 리셋 처리가 완료한 행으로부터 순차적으로, 분할 노출 화상 6매째의 전하 축적을 개시한다.
스텝 S1414에 있어서, 스텝 S1413에서 판독한 분할 노출 화상 5매째와 프레임 메모리(117)의 영역 H에 보존되어 있는 화상을 처리부(118)에서 가산 처리하고, 그 결과 얻어진 데이터를 영역 H에 보존한다.
스텝 S1415에 있어서, 판독한 분할 노출 화상 5매째와 프레임 메모리(117)의 영역 M에 보존되어 있는 화상을 처리부(118)에서 가산 처리하고, 그 겨로가 얻어진 데이터를 영역 M에 보존한다.
스텝 S1416에 있어서, 판독한 분할 노출 화상 5매째와 프레임 메모리(117)의 영역 L에 보존되어 있는 화상을 처리부(118)에서 가산 처리하고, 그 결과 얻어진 데이터를 영역 L에 보존한다.
스텝 S1417에 있어서, 분할 노출 화상 6매째의 신호 판독을 개시하는 동시에, 분할 노출 화상 7매째의 전하 축적을 개시한다. 즉, 도 14의 시간 t7 내지 시간 t8의 기간중에, 행마다 분할 노출 화상 6매째의 판독을 행하는 동시에, 각 행의 분할 노출 화상 6매째의 판독 직후에 행마다 리셋 처리를 개시한다. 리셋 처리가 완료한 행으로부터 순차적으로, 분할 노출 화상 7매째의 전하 축적을 개시한다.
스텝 S1418에 있어서, 스텝 S1417에서 판독한 분할 노출 화상 6매째와 프레임 메모리(117)의 영역 H에 보존되어 있는 화상을 처리부(118)에서 가산 처리하고, 그 결과 얻어진 데이터를 영역 H에 보존한다.
스텝 S1419에 있어서, 판독한 분할 노출 화상 6매째와 프레임 메모리(117)의 영역 M에 보존되어 있는 화상을 처리부(118)에서 가산 처리하고, 그 결과 얻어진 데이터를 영역 M에 보존한다.
스텝 S1420에 있어서, 분할 노출 화상 7매째의 신호 판독을 개시하는 동시에, 분할 노출 화상 8매째의 전하 축적을 개시한다. 즉, 도 14의 시간 t8 내지 t9의 기간중에, 행마다 분할 노출 화상 7매째의 판독을 행하는 동시에, 각 행의 분할 노출 화상 7매째의 판독 직후에 행마다 리셋 처리를 개시한다. 리셋 처리가 완료한 행으로부터 순차적으로, 분할 노출 화상 8매째의 전하 축적을 개시한다.
스텝 S1421에 있어서, 스텝 S1420에서 판독한 분할 노출 화상 7매째와 프레임 메모리(117)의 영역 H에 보존되어 있는 화상을 처리부(118)에서 가산 처리하고, 그 결과 얻어진 데이터를 영역 H에 보존한다.
스텝 S1422에 있어서, 분할 노출 화상 8매째의 판독을 개시한다. 즉, 도 14의 시간 t9 내지 시간 t10의 기간중에, 행마다 언더 노출 화상 8매째의 판독을 행한다.
스텝 S1423에 있어서, 스텝 S1422에서 판독한 분할 노출 화상 8매째와 프레임 메모리(117)의 영역 H에 보존되어 있는 화상을 처리부(118)에서 가산 처리하고, 그 결과 얻어진 데이터를 영역 H에 보존한다.
이상의 처리를 행함으로써, HDR 화상 생성 처리에 사용하는 다른 노출의 복수의 화상 데이터를 프레임 메모리(117)의 영역 H, M, L에 각각 보존할 수 있다.
* 취득한 노출이 다른 복수의 화상 데이터를 사용해서 실시예 1과 마찬가지로 HDR 화상 생성 처리를 행하면, 다른 노출에서 촬영한 복수의 화상의 중간 시간을 동시에 발생하게 할 수 있으므로, 피사체 떨림의 영향을 경감하면서, 다이내믹 레인지가 넓은 화상을 생성하는 것이 가능해진다.
이때, 각 화상에 대해 가산 처리를 행하기 전에 위치 정렬을 행해도 된다. HDR 화상 생성 처리를 행하기 전의 위치 정렬은, 모든 노출 화상에서 사용하고 있는 4매째와 5매째의 분할 노출 화상의 위치를 일치하여 합성할 수 있도록 행해져도 된다. 그 이후의 처리는 실시예 1 및 2와 같다.
본 발명의 바람직한 실시형태에 대해 설명했지만, 본 발명은 이들 실시형태에 한정되지 않고, 그 요지의 범위 내에서 다양한 변형 및 변경이 가능하다.
타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.
본 출원은 2015년 5월 29일자 출원된 일본 특허출원 2015-109427 및 2016년 4월 22일자 출원된 일본 특허출원 2016-086545의 우선권을 주장하며, 이 출원의 전체내용을 참조를 위해 본 출원에 원용한다.

Claims (22)

  1. 서로 적층되어 있는 복수의 반도체 기판을 구비한 촬상 소자로서,
    상기 촬상 소자는,
    입사광을 수광해서 광전변환하도록 구성된 복수의 화소와,
    상기 복수의 화소 중 다른 화소로부터 출력된 아날로그 화상신호를 1매의 디지털 화상 데이터로 변환하도록 구성된 복수의 AD 변환부와,
    노출이 다른 복수의 프레임의 디지털 화상 데이터로부터 HDR 화상 데이터를 생성하도록 구성된 생성부와,
    상기 HDR 화상 데이터를 상기 촬상 소자의 외부로 출력하도록 구성된 출력부를 구비하고,
    복수매의 디지털 화상 데이터가 상기 복수의 AD 변환부로부터 상기 생성부에 병렬로 전송되고,
    상기 출력부는 상기 HDR 화상 데이터를 시리얼 신호로 변환하고 상기 시리얼 신호를 상기 외부로 출력하는 촬상 소자.
  2. 제 1 항에 있어서,
    상기 복수의 화소는 노출을 다르게 해서 복수의 촬상 동작을 행하여 노출이 다른 복수의 프레임의 상기 디지털 화상 데이터를 시계열로 순차 취득하는 촬상 소자.
  3. 제 2항에 있어서,
    소정 노출의 디지털 화상 데이터, 상기 소정 노출보다 낮은 노출의 디지털 화상 데이터, 상기 소정 노출보다 높은 노출의 디지털 화상 데이터를 미리 정해진 순서로 취득하는 촬상 소자.
  4. 제 1항에 있어서,
    상기 복수의 화소는 복수의 촬상 동작을 연속해서 행하고, 상기 복수의 촬상 동작에 의해 취득된 상기 복수매의 디지털 화상 데이터는 노출이 다른 복수의 프레임의 디지털 화상 데이터를 생성할 수 있도록 합성되는 촬상 소자.
  5. 제 4항에 있어서,
    1회째에 촬상한 디지털 화상 데이터로부터 상기 소정 노출보다 낮은 노출의 디지털 화상 데이터를 생성하고, 상기 1회째 및 2회째에 촬상한 디지털 화상 데이터로부터 상기 소정 노출의 디지털 화상 데이터를 생성하고, 상기 1회째 및 3회째에 촬상한 디지털 화상 데이터로부터 상기 소정 노출보다 높은 노출의 디지털 화상 데이터를 생성하는 촬상 소자.
  6. 제 4항에 있어서,
    상기 복수매의 디지털 화상 데이터의 2매 이상의 디지털 화상 데이터로부터 상기 소정 노출보다 낮은 노출의 디지털 화상 데이터를 생성하고,
    상기 복수매의 디지털 화상 데이터의 3매 이상의 디지털 화상 데이터로부터 상기 소정 노출의 디지털 화상 데이터를 생성하고,
    상기 복수매의 디지털 화상 데이터의 모든 디지털 화상 데이터로부터 상기 소정 노출보다 높은 노출의 디지털 화상 데이터를 생성하는 촬상 소자.
  7. 제 6항에 있어서,
    상기 복수매의 디지털 화상 데이터는 축적 기간의 중간 시간이 일치할 수 있도록 합성되는 촬상 소자.
  8. 제 1항에 있어서,
    상기 생성부는 상기 복수의 화소와는 다른 반도체 기판 상에 구비되는 촬상 소자.
  9. 제 1항에 있어서,
    상기 복수의 AD 변환부에 의해 변환된 적어도 하나의 프레임의 디지털 화상 데이터를 저장하도록 구성된 프레임 메모리를 더 구비하고,
    상기 생성부는 상기 프레임 메모리에 저장된 노출이 다른 상기 복수의 프레임의 디지털 화상 데이터로부터 상기 HDR 화상 데이터를 생성하는 촬상 소자.
  10. 제 9항에 있어서,
    상기 프레임 메모리 또는 상기 생성부 중 어느 하나 또는 양쪽은 상기 복수의 화소와는 다른 반도체 기판 상에 구비되는 촬상 소자.
  11. 제 10항에 있어서,
    상기 프레임 메모리 및 상기 생성부 각각은 상기 복수의 화소와는 다른 반도체 기판 상에 각각 구비되는 촬상 소자.
  12. 서로 적층되어 있는 복수의 반도체 기판을 구비한 촬상 소자를 포함하는 촬상장치로서,
    상기 촬상 소자는, 입사광을 수광해서 광전변환하도록 구성된 복수의 화소와, 상기 복수의 화소 중 다른 화소로부터 출력된 아날로그 화상신호를 1매의 디지털 화상 데이터로 변환하도록 구성된 복수의 AD 변환부와, 노출이 다른 복수의 프레임의 디지털 화상 데이터로부터 HDR 화상 데이터를 생성하도록 구성된 생성부와, 상기 HDR 화상 데이터를 상기 촬상 소자의 외부로 출력하도록 구성된 출력부를 구비한 촬상 소자와;
    상기 촬상 소자로부터 출력되는 상기 HDR 화상 데이터에 대해 소정의 신호 처리를 실시하도록 구성된 신호 처리부와,
    화상을 표시하도록 구성된 표시부와,
    상기 촬상 소자, 상기 신호 처리부 및 상기 표시부를 제어하도록 구성된 제어부를 구비하고,
    복수매의 디지털 화상 데이터가 상기 복수의 AD 변환부로부터 상기 생성부에 병렬로 전송되고,
    상기 출력부는 상기 HDR 화상 데이터를 시리얼 신호로 변환하고 상기 시리얼 신호를 상기 외부로 출력하는 촬상장치.
  13. 제 12 항에 있어서,
    상기 복수의 화소는 노출을 다르게 해서 복수의 촬상 동작을 행하여 노출이 다른 복수의 프레임의 상기 디지털 화상 데이터를 시계열로 순차 취득하는 촬상장치.
  14. 제 13항에 있어서,
    소정 노출의 디지털 화상 데이터, 상기 소정 노출보다 낮은 노출의 디지털 화상 데이터, 상기 소정 노출보다 높은 노출의 디지털 화상 데이터를 미리 정해진 순서로 취득하는 촬상장치.
  15. 제 12항에 있어서,
    상기 복수의 화소는 복수의 촬상 동작을 연속해서 행하고, 상기 복수의 촬상 동작에 의해 취득된 상기 복수매의 디지털 화상 데이터는 노출이 다른 복수의 프레임의 디지털 화상 데이터를 생성할 수 있도록 합성되는 촬상장치.
  16. 제 15항에 있어서,
    1회째에 촬상한 디지털 화상 데이터로부터 상기 소정 노출보다 낮은 노출의 디지털 화상 데이터를 생성하고, 상기 1회째 및 2회째에 촬상한 디지털 화상 데이터로부터 상기 소정 노출의 디지털 화상 데이터를 생성하고, 상기 1회째 및 3회째에 촬상한 디지털 화상 데이터로부터 상기 소정 노출보다 높은 노출의 디지털 화상 데이터를 생성하는 촬상장치.
  17. 제 15항에 있어서,
    상기 복수매의 디지털 화상 데이터의 2매 이상의 디지털 화상 데이터로부터 상기 소정 노출보다 낮은 노출의 디지털 화상 데이터를 생성하고,
    상기 복수매의 디지털 화상 데이터의 3매 이상의 디지털 화상 데이터로부터 상기 소정 노출의 디지털 화상 데이터를 생성하고,
    상기 복수매의 디지털 화상 데이터의 모든 디지털 화상 데이터로부터 상기 소정 노출보다 높은 노출의 디지털 화상 데이터를 생성하는 촬상장치.
  18. 제 17항에 있어서,
    상기 복수매의 디지털 화상 데이터는 축적 기간의 중간 시간이 일치할 수 있도록 합성되는 촬상장치.
  19. 제 12항에 있어서,
    상기 생성부는 상기 복수의 화소와는 다른 반도체 기판 상에 구비되는 촬상장치.
  20. 제 12항에 있어서,
    상기 촬상 소자는 상기 복수의 AD 변환부에 의해 변환된 적어도 하나의 프레임의 디지털 화상 데이터를 저장하도록 구성된 프레임 메모리를 더 구비하고,
    상기 생성부는 상기 프레임 메모리에 저장된 노출이 다른 상기 복수의 프레임의 디지털 화상 데이터로부터 상기 HDR 화상 데이터를 생성하는 촬상장치.
  21. 제 20항에 있어서,
    상기 프레임 메모리 또는 상기 생성부 중 어느 하나 또는 양쪽은 상기 복수의 화소와는 다른 반도체 기판 상에 구비되는 촬상장치.
  22. 제 21항에 있어서,
    상기 프레임 메모리 및 상기 생성부 각각은 상기 복수의 화소와는 다른 반도체 기판 상에 각각 구비되는 촬상장치.
KR1020197025562A 2015-05-29 2016-05-25 촬상 소자 및 촬상장치 KR20190104445A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015109427 2015-05-29
JPJP-P-2015-109427 2015-05-29
JPJP-P-2016-086545 2016-04-22
JP2016086545A JP6282303B2 (ja) 2015-05-29 2016-04-22 撮像素子および撮像装置
PCT/JP2016/002530 WO2016194340A1 (en) 2015-05-29 2016-05-25 Image pickup device and imaging apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177032189A Division KR20170134692A (ko) 2015-05-29 2016-05-25 촬상 소자 및 촬상장치

Publications (1)

Publication Number Publication Date
KR20190104445A true KR20190104445A (ko) 2019-09-09

Family

ID=57746084

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177032189A KR20170134692A (ko) 2015-05-29 2016-05-25 촬상 소자 및 촬상장치
KR1020197025562A KR20190104445A (ko) 2015-05-29 2016-05-25 촬상 소자 및 촬상장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177032189A KR20170134692A (ko) 2015-05-29 2016-05-25 촬상 소자 및 촬상장치

Country Status (5)

Country Link
US (1) US10735679B2 (ko)
EP (1) EP3304888B1 (ko)
JP (1) JP6282303B2 (ko)
KR (2) KR20170134692A (ko)
CN (1) CN107615752B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11924573B2 (en) * 2016-03-15 2024-03-05 Trustees Of Dartmouth College Stacked backside-illuminated quanta image sensor with cluster-parallel readout
US11044411B2 (en) * 2017-02-10 2021-06-22 Canon Kabushiki Kaisha Imaging element and imaging apparatus
JP7039237B2 (ja) * 2017-09-29 2022-03-22 キヤノン株式会社 撮像装置、撮像システム、移動体、回路チップ
JP7129264B2 (ja) * 2018-08-03 2022-09-01 キヤノン株式会社 撮像装置
JP7245016B2 (ja) * 2018-09-21 2023-03-23 キヤノン株式会社 光電変換装置および撮像システム
EP3943882A4 (en) 2019-03-15 2023-06-07 Shanghai Percipio Technology Limited DEPTH DATA MEASURING HEAD, MEASURING DEVICE AND MEASURING METHOD
CN112019773B (zh) * 2019-05-13 2023-06-16 上海图漾信息科技有限公司 深度数据测量头、测量装置和方法
KR20200144405A (ko) * 2019-06-18 2020-12-29 삼성전자주식회사 픽셀 어레이 및 이미지 센서

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026675A (ja) 2011-07-15 2013-02-04 Renesas Electronics Corp 固体撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4103129B2 (ja) * 2002-04-19 2008-06-18 ソニー株式会社 固体撮像装置および撮像方法
JP2004048421A (ja) 2002-07-12 2004-02-12 Minolta Co Ltd 撮像装置
JP2006229627A (ja) 2005-02-17 2006-08-31 Canon Inc デジタルカメラ
JP4687139B2 (ja) 2005-02-23 2011-05-25 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US20070177048A1 (en) * 2006-01-31 2007-08-02 Phil Van Dyke Long exposure images using electronic or rolling shutter
JP2008118389A (ja) 2006-11-02 2008-05-22 Canon Inc 撮像装置、画像処理装置、及び画像処理方法
KR101380615B1 (ko) 2007-06-28 2014-04-14 삼성전자주식회사 영상 동적 범위 향상 방법 및 장치
JP5251412B2 (ja) * 2008-10-09 2013-07-31 ソニー株式会社 固体撮像素子およびその駆動方法、並びにカメラシステム
JP5269735B2 (ja) * 2009-10-08 2013-08-21 株式会社東芝 固体撮像装置
US8760537B2 (en) 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
US9185307B2 (en) * 2012-02-21 2015-11-10 Semiconductor Components Industries, Llc Detecting transient signals using stacked-chip imaging systems
FR2996034B1 (fr) 2012-09-24 2015-11-20 Jacques Joffre Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.
CN103973958B (zh) * 2013-01-30 2018-04-03 阿里巴巴集团控股有限公司 图像处理方法及设备
JP6190184B2 (ja) * 2013-06-28 2017-08-30 キヤノン株式会社 撮像素子、撮像装置、その制御方法、および制御プログラム
TWI501639B (zh) 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法
JP2015041792A (ja) * 2013-08-20 2015-03-02 株式会社ニコン 画像処理装置および撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026675A (ja) 2011-07-15 2013-02-04 Renesas Electronics Corp 固体撮像装置

Also Published As

Publication number Publication date
US10735679B2 (en) 2020-08-04
JP6282303B2 (ja) 2018-02-21
US20180115724A1 (en) 2018-04-26
EP3304888A4 (en) 2018-10-31
CN107615752A (zh) 2018-01-19
EP3304888A1 (en) 2018-04-11
KR20170134692A (ko) 2017-12-06
JP2016225971A (ja) 2016-12-28
EP3304888B1 (en) 2021-05-05
CN107615752B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
JP6282303B2 (ja) 撮像素子および撮像装置
JP5026951B2 (ja) 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
JP6765860B2 (ja) 撮像素子、撮像装置、および撮像信号処理方法
JP6229652B2 (ja) 撮像装置および撮像方法、電子機器、並びにプログラム
US10003715B2 (en) Image pickup device and imaging apparatus
US20200329207A1 (en) Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program
US11882375B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
JP7232291B2 (ja) 撮像素子及び撮像装置
JP6513164B2 (ja) 撮像素子および撮像装置
WO2016194340A1 (en) Image pickup device and imaging apparatus
JP2015165280A (ja) 撮像装置およびその制御方法
JP2017216649A (ja) 撮像素子、撮像装置、および撮像信号処理方法
US11089217B2 (en) Image-pickup apparatus and control method thereof
WO2018181615A1 (ja) 電子機器
WO2018181611A1 (ja) 電子機器
WO2018181610A1 (ja) 電子機器
JP2022186969A (ja) 動画圧縮装置
JP2023057134A (ja) 撮像素子及び撮像装置
JP2018019238A (ja) 撮像素子およびその駆動方法、ならびに電子機器

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X601 Decision of rejection after re-examination