KR101986128B1 - 촬상 소자 및 촬상장치 - Google Patents

촬상 소자 및 촬상장치 Download PDF

Info

Publication number
KR101986128B1
KR101986128B1 KR1020177032190A KR20177032190A KR101986128B1 KR 101986128 B1 KR101986128 B1 KR 101986128B1 KR 1020177032190 A KR1020177032190 A KR 1020177032190A KR 20177032190 A KR20177032190 A KR 20177032190A KR 101986128 B1 KR101986128 B1 KR 101986128B1
Authority
KR
South Korea
Prior art keywords
image data
image
processing
image pickup
size
Prior art date
Application number
KR1020177032190A
Other languages
English (en)
Other versions
KR20170134693A (ko
Inventor
마코토 이세
시노부 와타나베
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20170134693A publication Critical patent/KR20170134693A/ko
Application granted granted Critical
Publication of KR101986128B1 publication Critical patent/KR101986128B1/ko

Links

Images

Classifications

    • H04N5/3745—
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H04N5/378—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

서로 적층되는 동시에 전기적으로 직접 접속된 제1 반도체 기판 및 제2 반도체 기판을 구비한 촬상 소자 내에 프레임 메모리와 연산 처리부를 설치하고, 리사이즈 처리된 디지털 화상 데이터를 촬상 소자로부터 출력한다.

Description

촬상 소자 및 촬상장치
본 발명은, 촬상 소자 및 촬상장치에 관한 것이다.
PTL1에 기재되어 있는 것 같이, 최근, 디지털 카메라 등의 촬상장치에 사용되는 CMOS 등의 촬상 소자는, 화소를 미세화하는 것에 의해 다화소화하여, 해상도가 높은 화상을 촬영하는 것이 가능해지고 있다. 소비자용의 최근의 촬상장치에 있어서도 1000만 화소 이상의 화소를 구비하는 것이 일반화되어 왔다.
도 18은, 일반적인 촬상장치의 블록 구성도다. 도 18을 참조하면, 촬상 소자(1500)는, 화소부(1501), AD 변환부(1502) 및 P/S 변환부(1503)를 구비한다. 화소부(1501)는, 피사체 상을 전기신호로 변환해서 AD 변환부(1502)에 출력한다.
AD 변환부(1502)는, 화소부(1501)로부터 판독되는 화상신호를 디지털 신호로 변환한다. P/S 변환부(1503)는, AD 변환부(1502)에 의해 변환된 디지털 신호에 대하여, 패러랠-시리얼 변환을 행한다. 화상신호 처리회로(1600)는, 촬상 소자(1500)로부터의 화상신호에 대해 각종 신호 처리를 실시한다.
상기한 촬상장치는, 촬상 소자(1500)로부터 화상신호 처리회로(1600)에 화상신호를 전송하는 전송 용량이 일정한 전송로를 갖는다. 이 때문에, 촬상 소자의 화소수가 증가함으로써 상대적으로 피사체의 전체 화상신호의 전송 시간이 길어진다.
각 촬상 모드에 따라 화상 사이즈가 변할 때에도, 촬상 소자(1500)로부터 화상신호 처리회로(1600)에 전체 화소의 화상 데이터를 전송하기 위해서 시간이 걸린다. 즉, 촬상 소자(1500)로부터 화상신호 처리회로(1600)에의 신호 전송 속도가 화상 데이터의 판독 속도의 보틀넥이 된다. 더구나, 이와 같은 고속전송을 실현하려고 하면, 전송 회로와 처리회로의 소비 전력이나 발열의 증대를 일으켜, 데이터 전송 정밀도를 저하시킨다.
따라서, 프레임 레이트가 높은 동화상 촬영 등에 있어서는, 데이터 량이 전송로의 전송 용량을 초과하지 않도록 화소수가 적은 촬상 소자를 채택할 필요가 있다. 이 때문에, 화소수가 많은 고해상도 동화상 기록이 곤란할 수 있다. 이와 달리, 화소수가 많은 촬상 소자를 사용하는 경우에는, 화소부로부터 판독하는 화소수를 예를 들어 솎아냄 처리를 행함으로써 줄인 후에 촬상 소자로부터 데이터를 전송해야만 한다.
동화상 촬영중에 촬상 영역으로부터 원하는 범위의 화상을 전자적으로 줌해서 해당하는 화상의 크기를 확대하는 전자 줌 기능을 갖는 촬상장치도 있다. 종래에는, 이러한 전자 줌 기능은, 촬상 소자로부터 화상신호 처리회로에 화소수가 감소한 촬상 데이터를 전송한 후에, 화상신호 처리회로에서 행해지고 있었다. 그 때문에, 전자 줌의 배율이 커지면, 원하는 화상의 확대율도 커지고, 재기(jaggy)를 일으키거나 해상감을 열화시킬 수 있다.
PTL1: 일본국 특개 2013-26675
본 발명은, 적절한 전송용량을 갖는 고화질 화상 데이터를 출력할 수 있는 촬상 소자와 이것을 사용한 촬상장치를 제공한다.
본 발명은, 서로 적층되는 동시에 전기적으로 직접 접속된 제1 반도체 기판 및 제2 반도체 기판을 구비한 촬상 소자로서, 상기 제1 반도체 기판에 설치되고, 입사광을 수광해서 광전변환하도록 구성된 촬상부와, 상기 촬상부로부터 출력되는 아날로그 화상신호를 디지털 화상 데이터로 변환하도록 구성된 AD 변환부와, 상기 제2 반도체 기판에 설치되고, 상기 AD 변환부에 의해 변환되는 1 프레임의 디지털 화상 데이터를 기억하도록 구성된 기억부와, 상기 제2 반도체 기판에 설치되고, 상기 기억부에 기억된 디지털 화상 데이터에 대해 리사이즈 처리를 행하도록 구성된 처리부를 구비한 촬상 소자를 제공한다.
본 발명의 또 다른 특징은 첨부도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
도 1은, 실시예 1에 따른 촬상 소자의 개략구조를 도시한 도면이다.
도 2는, 실시예 1에 따른 데이터 버스 구성의 일례를 설명하는 도면이다.
도 3은, 실시예 1에 따른 화소 및 칼럼 ADC 블록의 구성을 도시한 도면이다.
도 4a는, 실시예 1에 따른 촬상 소자의 적층 구성을 도시한 도면이다.
도 4b는, 실시예 1에 따른 촬상 소자의 적층 구성을 도시한 도면이다.
도 5는, 실시예 1에 따른 촬상 소자의 단면도다.
도 6은, 실시예 1에 따른 촬상장치의 시스템 개요도다.
도 7은, 실시예 1에 따른 촬영 시퀀스의 흐름도다.
도 8은, 실시예 1에 따른 화상신호의 사이즈와 전송 레이트의 관계를 설명하는 도면이다.
도 9a는, 실시예 1에 따른 줌 배율과 변배처리의 관계를 설명하는 도면이다.
도 9b는, 실시예 1에 따른 줌 배율과 변배처리의 관계를 설명하는 도면이다.
도 9c는, 실시예 1에 따른 줌 배율과 변배처리의 관계를 설명하는 도면이다.
도 9d는, 실시예 1에 따른 줌 배율과 변배처리의 관계를 설명하는 도면이다.
도 10은, 실시예 1에 따른 동화상의 각 프레임에 대해 행하는 화상처리의 시점을 나타내는 모식도다.
도 11a는, 실시예 2에 따른 팬/ 틸트 처리를 설명하는 도면이다.
도 11b는, 실시예 2에 따른 팬/ 틸트 처리를 설명하는 도면이다.
도 12는, 실시예 3에 따른 동작을 설명하기 위한 흐름도다.
도 13a는, 실시예 3에 따른 화소 사이즈 변환의 방법을 나타내는 상세도다.
도 13b는, 실시예 3에 따른 화소 사이즈 변환의 방법을 나타내는 상세도다.
도 13c는, 실시예 3에 따른 화소 사이즈 변환의 방법을 나타내는 상세도다.
도 13d는, 실시예 3에 따른 화소 사이즈 변환의 방법을 나타내는 상세도다.
도 14는, 실시예 4에 따른 동작을 설명하기 위한 흐름도다.
도 15a는, 실시예 4에 따른 화소 사이즈 잘라내기 처리의 방법을 나타내는 상세도다.
도 15b는, 실시예 4에 따른 화소 사이즈 잘라내기 처리의 방법을 나타내는 상세도다.
도 16은, 실시예 5에 따른 동작을 설명하기 위한 흐름도다.
도 17a는, 실시예 5에 따른 화상 확대 방법을 나타내는 상세도다.
도 17b는, 실시예 5에 따른 화상 확대 방법을 나타내는 상세도다.
도 17c는, 실시예 5에 따른 화상 확대 방법을 나타내는 상세도다.
도 17d는, 실시예 5에 따른 화상 확대 방법을 나타내는 상세도다.
도 17e는 실시예 5에 따른 화상 확대 방법을 나타내는 상세도다.
도 18은, 일반적인 촬상장치의 구성을 도시한 도면이다.
이하에서, 본 발명의 바람직한 실시형태를 첨부의 도면을 참조해서 상세하게 설명한다.
실시예1
도 1은, 본 발명의 실시예 1에 따른 촬상 소자의 개략을 블럭도로서 나타낸 것이다.
촬상 소자(506)는, 제1 칩(제1 반도체 기판)(10) 및 제2 칩(제2 반도체 기판)(11)을 갖고 있고, 제2 칩(11)과 제1 칩(10)이 서로 적층되어 있다. 제1 칩(10)은, 매트릭스 형상으로 배열된 복수의 화소(101)로 이루어진 화소부를 갖고, 제2 칩(11)에 대해 광 입사측(즉, 광학 상의 수광측)에 배치되어 있다.
제1 칩(10)의 화소부에 있어서, 매트릭스 형상으로 배열된 복수의 화소(101)는 행마다 전송 신호선(103), 리셋 신호선(104) 및 행 선택 신호선(105)에 각각 접속되고, 열마다 복수의 열 출력선(102)에 접속되어 있다. 각 열에 배치된 복수의 열 출력선(102)의 각각에는, 같은 열의 다른 판독 행에 배치된 화소가 접속된다.
제2 칩(11)은, 열마다 설치된 복수의 AD 변환기(이하, ADC로 표기)(111), 행 주사회로(112), 열 주사회로(113), 타이밍 제어회로(114)를 가진다. 제2 칩(11)은, 전환 스위치(116), 프레임 메모리(117), 처리부(118), 패러랠-시리얼 변환부(이하, P/S 변환부로 표기한다)(119) 등을 가진다. 타이밍 제어회로(114)는 전체 제어 연산부(509)에 의해 구동제어된다.
제1 칩(10)이 화소부를 갖고 제2 칩(11)이 화소부의 구동회로와 메모리, 연산부 등을 갖기 때문에, 촬상 소자(506)의 촬상층과 회로층으로 제조 프로세스를 나눌 수 있다. 그리고, 회로층에 있어서의 배선의 세선화 및 고밀도화는 고속화, 소형화, 및 고기능화를 꾀할 수 있다.
전환 스위치(116)는, 채널마다 설치된 수평 신호선 115-a, 수평 신호선 115-b로부터 출력되는 각 채널의 디지털 화상 데이터를 처리부(118)에 선택적으로 입력한다. 처리부(118)는, 각 채널의 화상 데이터를 소팅하여 1 프레임의 화상 데이터를 생성하고, 순차 프레임 메모리(117)에 출력한다. 프레임 메모리(117)는, 출력된 적어도 1개의 프레임의 디지털 화상 데이터를 일시적으로 기억한다.
처리부(118)는, 프레임 메모리(117)에 기억된 1 프레임의 디지털 화상 데이터에 대하여, 필요한 화각에의 리사이즈 처리, 잘라내기 처리 및 솎아냄 처리 등의 연산 처리를 행한다. 상세한 것은 후술한다. 처리부(118)에서 리사이즈 처리 등의 연산 처리를 실시된 1 프레임의 디지털 화상 데이터는, P/S 변환부(119)에 있어서 패러랠-시리얼 변환이 행해져, 촬상 소자(506)의 외부에 설치된 촬상신호 처리회로(507)로 출력된다.
여기에서, 수평 신호선 115-a, 수평 신호선 115-b, 전환 스위치(116), 처리부(118), 프레임 메모리(117) 사이의 데이터 전송경로는 동일 칩 내에 형성되는 디지털 신호 라인이다. 그 때문에, 고속으로 수평 판독 기간 내에 모든 수평 데이터의 전송을 완결하는데 필요한 데이터 버스 폭을 확보할 수 있다.
도 2는, 제2 칩(11)에 있어서의 ADC(111)로부터 P/S 변환부(119)까지의 데이터 버스 구성의 일례를 설명하는 도면이다. 도 2에 나타낸 것과 같이, 제2 칩(11)에 있어서, ADC(111)과 처리부(118) 사이에는, ADC(111)에 의해 행해진 디지털 변환 출력을 일시적으로 유지하도록 구성된 열 메모리(111a)가 설치된다. 이때, 도 2에서는 전환 스위치(116)는 도시되어 있지 않다.
열 주사회로(113)로부터의 제어신호에 따라 각 열에 설치된 열 메모리(111a)에 유지되어 있는 화상 데이터는, 수평 신호선 115-a, 115-b로 나뉘어 병렬로 출력된다. 이 경우, 수평 전송 회로(115) 내부에 16 채널의 수평 신호선 115-a, 115-b가 설치된다. 수평 신호선 115-a, 115-b에 출력된 화상 데이터는, 처리부(118) 내의 메모리 I/F 회로를 경유해서 프레임 메모리(117)에 입력된다.
예를 들면, 8K4K(수평 8000화소, 수직 4000화소)의 32M 픽셀의 화상 데이터가 ADC(111)로부터 출력되는 경우에 대해 설명한다. 32M 픽셀의 화상 데이터를 프레임 레이트 60fps에서 판독하는 것은 1920M픽셀/sec의 데이터 버스 대역을 필요로 할 수 있다.
수평 전송 회로(115) 내에 설치된 16채널의 수평 신호선 115-a, 115-b의 각각이 12bit의 전송 용량을 갖는 경우, 전송가능한 주파수 120MHz까지 전송 용량이 줄어들 필요가 있다. 열 주사회로(113)로부터의 제어신호에 따라 순차 열 메모리의 선택이 행해지고, 수평 전송 회로(115)의 채널당 120M픽셀/sec의 화상 데이터가 16채널을 거쳐 병렬로 판독된다.
수평 전송 회로(115)로부터 처리부(118)를 경유해서 프레임 메모리(117)에 입력된 화상 데이터 중에서, 프레임 메모리로부터 소정 에어리어의 데이터가 부분적으로 판독되고, 다시 처리부(118)에 입력된다. 예를 들면, 프레임 메모리(117)로부터 출력된 화상 데이터의 사이즈는, 처리부(118) 내의 축소 변배회로에 의해 1/16배의 화상 사이즈로 축소된다. 이 경우에 필요하게 되는 데이터 버스 대역은 120M픽셀/sec로 줄어든다. 이것은, 풀 HD 사이즈(2M 픽셀)의 화상 데이터를 60fps에서 판독하기 위한 데이터 전송용량이다.
데이터 버스 대역이 저감되어 처리부(118)로부터 출력된 화상 데이터는, P/S 변환부(119)에 의해, 최대 시리얼 전송 용량 1Gbps를 초과하지 않도록, 720Mbps의 2채널 구성으로 시리얼 신호로 변환되어 출력된다.
제2 칩(11) 내부에 ADC(111), 처리부(118) 및 프레임 메모리(117)를 설치함으로써, 제2 칩(11) 내부에서 화상 데이터의 처리에 필요한 넓은 데이터 버스 대역을 확보하여, ADC(111)로부터 프레임 메모리(117)까지의 전송 속도를 증가시킬 수 있으면서, 촬상 소자로의 외부 전송을 허용하는 시리얼 전송 용량으로 고화질의 동화상을 출력할 수 있다.
도 3은, 본 실시예에 따른 촬상 소자(506)의 화소부의 각 화소(101) 및 ADC(111)의 상세한 구성을 나타낸 도면이다. 도 1 및 도 3을 참조하여, 실시예 1에 따른 촬상 소자에 의해 행해지는 동작의 개략을 설명한다.
포토다이오드(이하, PD로 표기한다)(201)는, 수광한 입사광을 수광한 입사광의 광량에 대응하는 전하량의 광 전하(여기에서는, 전자)로 광전변환한다. PD(201)의 캐소드는, 전송 트랜지스터(202)를 거쳐 증폭 트랜지스터(204)의 게이트와 전기적으로 접속되어 있다. 이 증폭 트랜지스터(204)의 게이트와 전기적으로 접속된 노드는 플로팅 디퓨전(이하, FD로 표기한다)부(206)를 구성한다.
전송 트랜지스터(202)는, PD(201)의 캐소드와 FD부(206) 사이에 설치되고, 게이트에 도 1의 전송 신호선(103)을 거쳐 전송 펄스 φTRG가 공급되는 것에 응답하여 온 상태가 된다. PD(201)에 의해 광전변환된 광 전하를 FD부(206)로 전송한다.
리셋 트랜지스터(203)는, 드레인이 화소 전원 Vdd에, 소스가 FD부(206)에 각각 접속되고, 게이트에 도 1의 리셋 신호선(104)을 거쳐 리셋 펄스 φRST가 공급되는 것에 응답하여 온 상태가 된다. PD(201)로부터 FD부(206)에의 신호 전하의 전송에 앞서, FD부(206)의 전하를 화소 전원 Vdd에 버림으로써 해당 FD부(206)를 리셋할 수 있다.
증폭 트랜지스터(204)는, 게이트가 FD부(206)에 접속되고, 드레인이 화소 전원 Vdd에 접속되고, 리셋 트랜지스터(203)에 의해 리셋된 후의 FD부(206)의 전위를 리셋 레벨에서 출력한다. 증폭 트랜지스터(204)는, 전송 트랜지스터(202)에 의해 PD(201)의 신호 전하를 전송한 후의 FD부(206)의 전위를 신호 레벨에서 출력한다.
선택 트랜지스터(205)는, 드레인이 증폭 트랜지스터(204)의 소스에, 소스가 열 출력선(102)에 각각 접속된다. 선택 트랜지스터(205)는 게이트에 도 1의 행 선택 신호선(105)을 거쳐 선택 펄스 φSEL가 공급되는 것에 응답하여 온 상태가 되고, 화소(101)를 선택 상태로 변경하여 증폭 트랜지스터(204)에 의해 증폭되는 신호를 열 출력선(102)에 출력한다.
이때, 이 선택 트랜지스터(205)는 화소 전원 Vdd와 증폭 트랜지스터(204)의 드레인 사이에 접속되어도 된다. 트랜지스터 202 내지 205는 예를 들면 N채널의 MOS 트랜지스터이어도 된다. 각각의 화소(101)는, 4개의 트랜지스터를 구비한 것에 한정되는 것은 아니고, 증폭 트랜지스터(204)와 선택 트랜지스터(205)를 1개의 트랜지스터로 구현한 3개의 트랜지스터를 구비해도 된다.
화소(101)로부터 열 출력선(102)을 거쳐 출력되는 아날로그 화상신호는 ADC(111)에 전송된다. ADC(111)은, 비교기(211), 업다운 카운터(212), 메모리(213), DA 컨버터(이하, DAC로 표기한다)(214)를 가진다.
비교기(211)는, 한 쌍의 입력 단자를 구비하고, 그것의 한쪽에 열 출력선(102)이 접속되고, 다른 쪽에 DAC(214)이 접속된다. 비교기(211)의 출력 단자는, 업다운 카운터(212)에 접속된다. 도 1의 타이밍 제어회로(114)는, 전체 제어 연산부(509)로부터의 지령에 근거하여 DAC(214)에 기준신호를 출력한다.
DAC(214)은, 도 1의 타이밍 제어회로(114)로부터 입력되는 기준신호에 근거하여, 시간의 경과와 함께 레벨이 변화하는 램프 신호를 출력한다. 그리고, 비교기(211)는, DAC(214)로부터 입력되는 램프 신호의 레벨과, 열 출력선(102)으로부터 입력되는 화상신호의 레벨을 비교한다.
예를 들면, 비교기(211)는, 화상신호의 레벨이 램프 신호의 레벨보다 낮은 경우에는 하이레벨의 비교 신호를 출력하고, 화상신호의 레벨이 램프 신호의 레벨보다 높은 경우에는 로우 레벨의 비교 신호를 출력한다. 업다운 카운터(212)는, 비교 신호가 하이레벨로 변화하는 기간, 또는 비교 신호가 로우 레벨로 변화하는 기간을 카운트한다. 이 카운트 처리에 의해 각 화소(101)의 출력 신호가 디지털 값으로 변환된다.
이와 달리, 비교기(211)와 업다운 카운터(212) 사이에 AND 회로가 설치되어도 된다. 이 AND 회로에 펄스 신호를 입력하여, 이 펄스 신호의 개수를 업다운 카운터(212)에 의해 카운트하여도 된다.
ADC(111)은, 화소(101)의 리셋 해제시의 리셋 신호에 근거하여 리셋 레벨에 대응한 카운트 값을 카운트하고, 소정의 촬상 시간 경과후의 광신호에 근거하여 카운트 값을 카운트해도 된다. 이들 광신호와 관련된 카운트 값과 리셋 신호와 관련된 카운트 값 사이의 차분값을 메모리(213)에 기억시켜도 된다.
메모리(213)는, 업다운 카운터(212)와 접속되고, 업다운 카운터(212)에 의해 카운트된 카운트 값을 기억한다. 메모리(213)에 기억된 카운트 값이 디지털 화상 데이터로서, 도 1의 열 주사회로(113)로부터의 구동제어에 응답하여 수평 신호선 115-a, 수평 신호선 115-b에 전송된다.
도 4a 및 도 4b는, 도 1을 참조하여 설명한 실시예 1에 따른 촬상 소자(506)의 외형 구성을 나타낸다. 도 4a는, 촬상 소자(506)를 빛이 입사하는 측에서 본 사시도, 도 4b는, 촬상 소자(506)의 단면도를 나타내고 있다.
촬상 소자(506)는, 제1 칩(촬상층)(10)과 제2 칩(회로층)(11)에 의해 구성된다. 제1 칩(10)과 제2 칩(11)은 복수의 마이크로 패드(302)를 갖고, 제1 칩(10)과 제2 칩(11)은 제1 칩(10)과 제2 칩(11)에 설치되는 마이크로 패드(302)를 복수의 마이크로 범프(301)를 거쳐 전기적으로 접속해서 일체화시킨다. 즉, 제1 칩(10)과 제2 칩(11)은, 복수의 매크로 범프 101 및 복수의 마이크로 패드(302)를 거쳐 전기적으로 직접 접속되어 있다. 매크로 패드 및 마이크로 패드를 사용하지 않는 방법에 의해, 제1 칩(10)과 제2 칩(11)이 전기적으로 직접 접속되어도 된다.
도 5에, 도 1, 도 3a 및 도 3b, 도 4a 및 도 4b에서 나타낸 실시예 1에 따른 촬상 소자(506)의 단면 구조의 상세를 나타낸다. 도 4a 및 도 4b를 참조하면, 촬상층(401)이 제1 칩(10)에 대응하고, 회로층(402)이 제2 칩(11)에 대응한다.
촬상층(401)에 있어서는, 실리콘(이하, Si으로 표기한다) 기판(403) 위에 배선층(404)이 형성되어 있다. Si 기판(403)에는, PD(201)이 되는 n형 확산영역(407)이 형성되고, 표면부(배선층(404)의 배선층(404)과의 경계부)에는 p+ 확산영역(408)이 형성되어 있다.
Si 기판(403)에는, 그것의 표면부에 FD부(206)가 되는 n+ 확산영역(409), 스위치용 트랜지스터의 n+ 확산영역(410)이 복수형성되어 있다. 배선층(404)에는, 예를 들어, SiO2의 절연층 내부에, 각 트랜지스터의 게이트 배선(411) 및 신호 전파용 배선(412)이 형성되고, 그것의 표면부에는 Cu의 마이크로 패드(302a)가 형성되어 있다.
n+ 확산영역 409, n+ 확산영역 410과 트랜지스터의 게이트 배선(411)에 의해 전송 트랜지스터(202), 리셋 트랜지스터(203), 증폭 트랜지스터(204), 선택 트랜지스터(205)가 각각 구성된다. 배선층(404)에는, n+ 확산영역(410)을 마이크로 패드(302a)와 접속하기 위한 비아(414)가 형성되어 있다.
회로층(402)에 있어서는, Si 기판(405) 위에 배선층(406)이 형성되어 있다. Si 기판(405)에는, 표면부에 트랜지스터 확산영역(416)이 복수형성되어 있다. 배선층(406)은, 각 트랜지스터의 복수의 게이트 배선(417)과 복수의 신호 전파용 배선(418)과, 그것의 표면부에 예를 들어, Cu의 마이크로 패드(302b)를 포함하는 예를 들어 SiO2의 절연층을 갖는다.
회로층(402)에 형성된 트랜지스터 확산영역(416), 트랜지스터의 게이트 배선(417), 신호 전파용 배선(418)에 의해 각종 회로가 구성된다. 회로 단면의 상세에 대해서는 설명을 생략한다. 배선층(406)에는, 확산영역(416) 등을 마이크로 패드(302b)와 접속하기 위한 비아(420)가 형성되어 있다.
촬상층(401)의 배선층(404)에 형성된 마이크로 패드(302a)와, 회로층(402)의 배선층(406)에 형성된 마이크로 패드(302b)는, 마이크로 범프(301)를 거쳐 서로 전기적으로 접속되어 있다. 도 4a 및 도 4b는 촬상층(401), 회로층(402)을 접속 단자로서 마이크로 범프(301)를 사용해서 접속하는 구성 예를 나타내었지만, 마이크로 범프를 사용하지 않고 직접 접속하여도 된다.
도 6은, 도 1 내지 도 5를 참조하여 설명한 촬상 소자를 사용한 촬상장치의 시스템 개요도다. 렌즈부(501)를 통과한 피사체 상은 조리개(504)에 의해 적절한 광량으로 조정되어, 도 1 내지 도 4a 및 도 4b에 나타낸 구성을 갖는 촬상 소자(506) 위의 촬상면에 결상된다.
촬상 소자(506) 위의 촬상면에 결상된 피사체 상은, 촬상 소자(506)의 PD(201)에 의해 광전변환되고, 화소내 증폭기와 화소(101)와 ADC(111) 사이에 설치한 열 증폭기에 의한 게인 조정이 행해진다. 그리고, ADC(111)을 사용해서 아날로그 신호로부터 디지털 신호로 A/D변환이 행해지고, 그후 R, G, B의 각 색의 디지털 화상신호로서 촬상신호 처리회로(507)에 공급된다.
촬상신호 처리회로(507)에서는, 노이즈를 경감하는 로우패스 필터 처리와 셰이딩 보정 등의 각종 보정처리, 화이트 밸런스 조정 처리 등의 화상 신호 처리, 더구나 화상 데이터의 압축 처리 등을 행한다. 이때, 이들 처리를 행하도록 구성된 촬상신호 처리회로(507)는 적층구조의 촬상 소자(506)에 내장되어도 된다.
렌즈부(501)는, 렌즈 구동부(502)에 의해 구동됨으로써, 예를 들어 줌 및 포커스를 제어한다. 메카니컬 셔터(503) 및 조리개(504)는, 셔터/조리개 구동부(505)에 의해 구동제어된다.
전체 제어 연산부(509)는, 촬상장치 전체의 제어와 각종 연산 처리를 행한다. 제1 메모리부(508)는 화상 데이터를 일시적으로 기억한다. 반도체 메모리 등의 착탈가능한 기록 매체(512)는, 화상 데이터를 기록한다. 기록 매체 제어 인터페이스부(510)는, 기록 매체(512)에 화상 데이터를 기록하거나, 또는 기록 매체(512)에 기록된 화상 데이터를 판독한다. 이때, 전체 제어 연산부(509)를 적층구조의 촬상 소자(506)에 내장하여도 된다.
표시부(511)는, 예를 들어, 화상 데이터의 표시를 행한다. 외부 인터페이스부(513)는, 예를 들어 외부 컴퓨터와 통신을 행하는데 사용된다. 제2 메모리부(514)는, 전체 제어 연산부(509)에서의 연산 결과와 파라미터를 일시적으로 기억한다. 조작부(515)를 거쳐 유저가 설정한 촬상장치의 구동조건에 관한 정보는 전체 제어 연산부(509)에 보내져, 이들 정보에 근거하여 촬상장치 전체의 제어가 행해질 수 있다.
다음에, 도 1, 도 3a 및 도 3b와 도 7을 참조하여, 실시예 1에 따른 촬상 시스템의 동작 절차에 대해 설명한다.
도 7은, 실시예 1에 따른 촬상 시스템에 있어서의 동화상의 촬영 시퀀스 및 신호 처리를 흐름도로서 기재한 것이다.
스텝 S601에서는, 전체 제어 연산부(509)에 있어서, 조작부(515)를 거쳐 유저가 입력한 설정에 근거하여 각종 파라미터를 초기화한다. 초기화한 파라미터를 제2 메모리부(514)에 기록한다.
스텝 S602에서는, 촬영한 피사체 영상을 실시간으로 표시부(511)에 표시시키는 모니터 모드에서 촬상 시스템을 구동한다. 구체적으로는, 복수의 화소를 혼합 또는 일부의 화소를 솎아내어 화상신호를 판독하는 혼합/솎아냄 모드에서 촬상 소자(506)를 구동해서 화상신호를 판독한다. 판독한 화상신호에 대해 촬상신호 처리회로(507)에 있어서 각종 신호 처리를 실시한 후 표시부(511)에 표시한다.
모니터 모드에서의 구동시에는, 적절히, 촬상 소자(506)로부터 판독한 화상신호에 근거하여 자동 노출 조절(AE) 제어를 위한 측광 동작과 자동 초점 조절(AF) 제어를 위한 측거 동작을 행한다. 그리고, 촬상신호 처리회로(507)는, 측광 결과에 근거하여 피사체의 밝기를 측정하고, 촬영한 화상이 적절한 밝기를 가질 수 있도록 하는 조리개 값 Av, 셔터 속도 Tv를 산출한다. 또한, 측거 결과에 근거하여 피사체 상의 초점거리를 산출한다.
여기에서, 촬상 소자(506)로부터 판독되는 화상신호로부터 얻어지는 콘트라스트 정보에 근거하여 AF 제어를 행하고 있지만, 촬상 소자(506)는 촬상용 화소와는 별도로 초점 검출용 화소를 가져도 된다. 그리고, 초점 검출용 화소로부터 얻어지는 위상차 정보(디포커스 량)를 사용한 촬상면 위상차 검출에 근거하여 AF 제어를 행해도 된다. 콘트라스트 AF 제어와 촬상면 위상차 AF 제어를 예를 들어 촬영 조건과 피사체에 따라 적절히 조합하여 병용하거나, 각 AF 방식을 전환하도록 제어해도 된다.
전체 제어 연산부(509)는, 산출한 조리개 값 Av, 셔터 속도 Tv를 얻도록 셔터/조리개 구동부(505)에 지령을 내린다. 전체 제어 연산부(509)는, 산출한 렌즈 위치 L을 얻도록 렌즈 구동부(502)에 지령을 내린다. 셔터/조리개 구동부(505)는, 받은 지령에 따라 메카니컬 셔터(503), 조리개(504)를 구동한다. 렌즈 구동부(502)는 받은 지령에 근거하여 렌즈(501)를 구동한다. 산출된 조리개 값 Av, 셔터 속도 Tv, 렌즈 위치 L을 각각 제2 메모리부(514)에 기록한다.
촬상 소자(506)의 행 또는 화소마다 축적 시간(노광 시간)을 다르게 하거나, 화상신호를 증폭하는 게인을 다르게 함으로써 1 프레임내의 행 또는 화소마다 다른 노출을 갖는 화상을 취득하도록 AE 제어를 행해도 된다. 이렇게 제어함으로써, 다이나믹 레인지가 넓은 HDR 화상을 생성할 수 있다.
스텝 S603에서는, 전체 제어 연산부(509)는 조작부(515)에 있는 동화상 촬영 트리거 스위치 SW_1의 ON/OFF를 판정한다. 스위치 SW_1이 ON 상태이면 스텝 S604로 처리를 이동한다. OFF 상태이면 다시 스텝 S602로 처리가 되돌아온다.
스텝 S604에서는, 촬영 파라미터 i를 0으로 리셋한다. 촬영 파라미터 i는, 동화상의 프레임 인덱스를 나타내는 파라미터다.
스텝 S605에서는, 제2 메모리부(514)로부터 조리개 값 Av, 셔터 속도 Tv, 렌즈 위치 L을 판독한다. 촬상 소자(506)로부터 판독된 화상 데이터와 제2 메모리부(514)로부터 판독한 조리개 값 Av, 셔터 속도 Tv에 근거해서 적절한 밝기를 얻기 위한 조리개 값 Av, 셔터 속도 Tv를 산출한다.
또한, 촬상 소자(506)로부터 판독된 화상 데이터와 제2 메모리부(514)로부터 판독한 렌즈 위치 L로부터, 적절한 초점거리를 얻기 위한 렌즈 위치 L을 산출한다. 산출한 조리개 값 Av, 셔터 속도 Tv, 렌즈 위치 L을 제2 메모리부(514)에 기록한다.
촬영 파라미터 i=0인 경우에는, 제2 메모리부(514)로부터 판독한 조리개 값 Av, 셔터 속도 Tv를 기초로, 스텝 S606의 구동 모드와 스텝 S602에서의 구동 모드의 감도차를 고려하여, 조리개 값 Av, 셔터 속도 Tv를 재산출한다. 제2 메모리부(514)로부터 판독한 렌즈 위치 L의 값을 사용한다.
촬영 파라미터 i≠0인 경우에는, 제2 메모리부(514)로부터 판독한 조리개 값 Av, 셔터 속도 Tv, 렌즈 위치 L을 그대로 사용한다. 그리고, 조리개 값 Avi, 셔터 속도 Tvi, 렌즈 위치 Li를 얻도록 전체 제어 연산부(509)가 렌즈 구동부(502), 셔터/조리개 구동부(505)에 지령을 내려, 렌즈(501), 메카니컬 셔터(503), 조리개(504)를 구동시킨다.
스텝 S606에서는, 스텝 S602와는 다르게, 촬상 소자(506)는, 촬상 소자(506) 위의 모든 화소로부터 화상신호를 판독하는 전체 화소 판독 모드에서 구동되어, 촬영 동작을 행한다. 촬영 동작에 의해 얻어진 제1 데이터 사이즈를 갖는 1 프레임의 화상 데이터는 처리부(118)에 보내진다.
스텝 S607에서는, 처리부(118)는 스텝 S606에서 촬영한 화상의 소정의 영역(예를 들면, 8K4K 사이즈의 영역)에 대응하는 화상 데이터를 잘라내서, 프레임 메모리(117)에 일시 기억한다.
스텝 S608에서는, 전체 제어 연산부(509)가 조작부(515)에 있는 전자 줌 조작 버튼을 거쳐 유저에 의해 설정되거나 지시된 줌 배율 X를 판독한다. 여기에서 설정가능한 줌 배율 X의 범위는, 예를 들면, 1X 내지 4X이어도 된다.
스텝 S609에서는, 처리부(118)가 설정된 줌 배율 X의 값에 근거하여, 프레임 메모리(117)로부터 화상 중심에 대해 1/X의 영역의 화상 데이터를 판독한다. 더구나, 처리부(118)는, 판독한 1/X 영역의 화상 데이터를 기록 동화상 사이즈인 풀 HD(이하, FHD로 표기한다)를 갖도록 변환하는 축소 변배 처리를 행한다.
스텝 S610에서는, 스텝 S609에 있어서 FHD 사이즈로 축소 변배된 화상 데이터는, P/S 변환부(119)에 있어서 패러랠/시리얼 변환이 행해지고, 촬상신호 처리회로(507)로 전송된다.
P/S 변환부(119)로부터 출력되는 화상 데이터는, 촬상 소자(506)의 출력 전송 용량 이하가 되도록, 화상 데이터의 데이터 사이즈가 FHD 사이즈(2M)를 갖고, 프레임 레이트가 60fps를 갖도록 설정되어 있다.
스텝 S611에서는, 전체 제어 연산부(509)로부터의 지령에 의해, 처리부(118)는 스텝 S609에 있어서 축소 변배처리를 행하고, 촬상신호 처리회로(507)는 스텝 S610에 있어서 전송된 화상 데이터에 대하여 처리를 실시된다. 그리고, 그 결과 얻어진 데이터는 기록 매체(512)에 동화상으로서 기록된다.
촬상신호 처리회로(507)에서 실행되는 각종 처리로서는, 노이즈를 저감하는 로우패스 필터 처리, 결함 보정처리, 셰이딩 보정처리, 화이트 밸런스 처리 등의 각종 화상 신호 처리, 현상 처리, 화상신호의 압축 처리 등이 있다.
스텝 S612에서는, 파라미터 i에 1을 더하여, 프레임 인덱스를 증분한다.
스텝 S613에서는, 전체 제어 연산부(509)는 스위치 SW_1의 ON/OFF 상태를 판정한다. 스위치 SW_1이 OFF 상태이면 스텝 S605로 처리를 이동한다. ON이면 동화상 촬영 시퀀스를 종료한다.
도 8을 참조하여, 본 실시예에 따른 촬상 소자(506)로부터 촬상신호 처리회로(507)에 전송되는 화상 데이터의 출력 전송 용량과, 동화상의 화상 사이즈 및 프레임 레이트의 관계에 대해 설명한다.
촬상 소자(506)로부터 촬상신호 처리회로(507)에의 시리얼 전송 I/F의 포트당의 전송 용량 능력의 상한은 1Gbps 정도이며, 촬상 소자(506)의 출력부에는, 이 시리얼 전송 I/F를 2포트 탑재하고 있다.
동화상의 화상 사이즈가 FHD 사이즈(2M)이고, 화상 데이터의 비트 길이가 12비트, 프레임 레이트가 60fps인 경우의 총 전송 용량은, 1440Mbps(=2M*12*60)이다. 이것은 전송 용량 능력의 상한인 1Gbps를 초과해 버리므로, 시리얼 전송 I/F의 2포트로 나뉘어 할당함으로써 포트당의 데이터 량을 720Mbps로 하여, 전송 용량의 상한을 넘지 않도록 한다.
4K2K(8M) 및 8K4K(32M)의 화상 사이즈는 각각 FHD(2M)의 4배 및 16배이다. 대략 FHD로 전송할 데이터 양을 줄이기 위해서는 프레임 레이트를 줄여야만 한다. 즉, 4K2K 사이즈의 동화상에 대해서는 FHD의 60fps의 1/4배인 15fps, 8K4K 사이즈의 동화상에 대해서는 FHD의 1/16배인 3.75fps로 프레임 레이트를 줄여야 한다.
도 9a 내지 도 9d는, 본 실시예에 따른 줌 배율과 프레임 메모리의 잘라내기 영역 및 축소 변배처리의 관계를 나타낸다. 본실시예에서는, 줌 배율이 1X 내지 4X의 범위에서 가변인 것으로 가정한다.
도 9a에 나타낸 것과 같이, 줌 배율이 최소인 1X로 설정되어 있는 경우에는, 프레임 메모리(117)에 기록된 화상 데이터의 전체 영역인 8K4K 사이즈(32M)의 잘라내기 영역으로부터 신호의 판독을 행한다. 이 사이즈를 화상 중심에 대해 FHD 사이즈(2M)로 변환하기 위해, 처리부(118)는 종횡으로 각각 1/4X로 축소 변배처리를 행한다.
도 9b에 나타낸 것과 같이, 줌 배율이 2X로 설정되어 있는 경우에는, 프레임 메모리(117)에 기록된 화상 데이터의 전체 영역으로부터 잘라내기 영역으로서 화상 중심에 대해 종횡으로 1/2의 영역인 4K2K 사이즈(8M)를 잘라낸다. 이 사이즈를 화상 중심에 대해 FHD 사이즈(2M)로 변환하기 위해, 처리부(118)는 종횡으로 각각 1/2X로 축소 변배처리를 행한다.
도 9c에 나타낸 것과 같이, 줌 배율이 X로 설정되어 있는 경우에는, 프레임 메모리(117)에 기록된 화상 데이터의 전체 영역으로부터 잘라내기 영역으로서 화상 중심에 대해 종횡으로 1/X의 영역(32M/X2)을 잘라낸다. 이 사이즈를 화상 중심에 대해 FHD 사이즈(2M)로 변환하기 위해, 종횡으로 각각 X/4배로 축소 변배처리가 행해진다.
도 9d에 나타낸 것과 같이, 줌 배율이 최대인 4X로 설정되어 있는 경우에는, 프레임 메모리(117)에 기록된 화상 데이터의 전체 영역으로부터 화상 중심에 대해 잘라내기 영역으로서 종횡으로 1/4의 영역인 FHD 사이즈(2M)를 잘라낸다. 그리고, 이 FHD 사이즈(2M)를 갖는 화상 데이터가 그대로 등배로 처리된다.
이렇게, 축소 변배되는 화상 데이터의 사이즈가 축소 변배처리에 적용되는 배율에 관계 없이 항상 기록 동화상 사이즈인 일정 사이즈를 갖도록 제어된다.
Lanczos법, 평균 화소법, 바이큐빅법 등의 알고리즘이 일반적으로 존재하며, 이와 같은 축소 변배 처리회로에서 채용하는 알고리즘은 촬상 소자에 요구되는 처리회로의 규모와 속도와 화질 사이의 균형을 고려하여 결정된다.
도 10은 일례로서, 동화상의 각 프레임의 각 부에 대해 행해지는 화상처리 및 그것의 시점을 모식적으로 나타낸 설명도다. 도 10을 참조하면, 횡축은 시간 t를 나타내고, 시간의 경과와 함께 동화상의 각 프레임이 프레임 단위로 갱신되어 출력된다.
동화상의 촬영 시퀀스가 개시되면, 최초의 프레임(i=0)에서 촬상 소자(506)의 모든 화소로부터 판독된 화상 데이터의 동화상에 관여하는 8K4K 사이즈의 영역의 화상 데이터가 프레임 메모리(117)에 일시 기억된다. 이때, 줌 배율은 1X로 설정되어 있다. 이 줌 배율에 근거하여, 프레임 메모리(117)에 기억된 전체 영역의 8K4K 사이즈(32M)의 화상 데이터가 판독된다. 이 사이즈를 기록 동화상 사이즈인 FHD 사이즈(2M)로 변환하기 위해, 처리부(118)는 종횡으로 각각 1/4X로 축소 변배처리를 행하고, 그 결과 얻어진 화상 데이터가 촬상 소자(506)로부터 출력된다.
시간의 경과후 다음의 프레임(i=1)에서, 새롭게 촬상 소자(506)의 모든 화소로부터 판독된 화상 데이터의 동화상에 관여하는 8K4K 사이즈의 영역의 화상 데이터가 프레임 메모리에 일시 기억된다(즉, 갱신된다). 이때, 줌 배율에 대한 설정은 1X보다도 약간 큰 새로운 값으로 갱신되어 있다. 이 줌 배율에 근거하여, 프레임 메모리(117)로부터 전체 영역보다도 약간 작은 영역의 화상 데이터가 판독된다. 그리고, 이 사이즈를 FHD 사이즈(2M)로 변환하기 위해 처리부(118)에 있어서 화상 데이터가 축소 변배처리되어, 촬상 소자(506)로부터 출력된다.
이후, 시간 경과에 따라, 줌 배율 설정을 더 크게 변경하여 동화상의 프레임이 갱신된다.
본실시예에서는, 시리얼 전송 포트의 전송 용량이 1Gbps를 초과하지 않도록, 동화상의 화상 사이즈가 FHD 사이즈이고, 프레임 레이트가 30fps이고, 전자 줌의 배율의 사용 범위가 1X 내지 4X 인 것으로 가정한다. 이러한 가정을 실현하기 위해, 프레임 메모리의 판독 사이즈를 8K4K 사이즈로서 설계한다.
그렇지만, 시리얼 전송 포트의 전송 용량은, 해마다 고속화를 향해서 향상되어 왔으며, 촬상장치에 요구되는 동화상의 화상 사이즈와 프레임 레이트도 높아져 왔다. 본 발명의 실시예들은 이들 추세 및 요구에 유연하게 맞춘 사양을 가질 수 있다는 것이 명백하다.
이상에서 설명한 바와 같이, 본 실시예 1에 따르면, 화소층과 회로층을 적층한 촬상 소자가 회로층에 프레임 메모리를 가짐으로써, 화상의 사이즈의 확대 처리를 행하지 않고, 촬상 소자 내에서 축소 변배처리만을 행함으로써 전자 줌을 행할 수 있다.
실시예2
실시예 2에 따르면, 전자적으로 촬영된 화상에 대해 팬/틸트 처리를 행할 수 있는 촬영 모드를 갖는 촬상장치에 대해 설명한다. 즉, 실시예 1과 마찬가지로, 프레임 메모리(117)에 일시 기억된 화상 데이터의 화상 중심으로부터, 상하 및 좌우측 방향으로 잘라내기 영역의 중심을 이동함으로써 화상 데이터를 잘라내어 판독한다.
본 실시예에 따른 촬상 소자의 구성은 실시예 1에 따른 도 1 내지 도 5를 참조하여 설명한 것과 같기 때문에, 설명을 생략한다. 촬상 시스템의 개요도 실시예 1에 따른 도 6을 참조하여 설명한 것과 같기 때문에, 설명을 생략한다. 화상 데이터에 대해 행해지는 축소 변배처리는 실시예 1에 따른 도 9a 내지 도 9d를 참조하여 설명한 것과 같기 때문에, 설명을 생략한다.
도 11a 및 도 11b는, 줌 배율이 4X로 설정되어 있는 경우의 프레임 메모리(117)에 기록된 전체 영역의 화상 데이터로부터의 잘라내기 영역을 도시한 도면이다.
도 11a는, 실시예 1에 따른 도 9d에 나타낸 것과 같이, 프레임 메모리(117)에 기록된 화상 데이터의 전체 영역(8K4K)으로부터 화상 중심에 대해 종횡으로 1/4의 영역인 FHD 사이즈(2M) 영역을 잘라낸 것을 나타낸다.
이에 대해, 도 11b는, 실시예 2에 따른 잘라내기 영역을 나타내고 있다. 즉, 프레임 메모리(117)에 기록된 화상의 전체 영역(8K4K)의 화상 중심으로부터, 잘라내기 영역의 중심을 종횡으로 이동하여 FHD 사이즈(2M)의 화상 데이터를 잘라낸다.
잘라내기 영역의 중심을 종횡으로 이동하는 조작은, 조작부(515)에 설치한 팬/틸트 조작 버튼을 거쳐, 전자 줌 조작과 마찬가지로 주어진 설정 또는 지시에 따라 행해지며 전체 제어 연산부(509)에 의해 판독된다. 그리고, 전체 제어 연산부(509)에 의해 처리부(118) 및 프레임 메모리(117)를 제어함으로써 실현되어도 된다.
이렇게 하여, 잘라내기 영역의 중심을 종횡으로 움직이는 것은, 전자 줌 뿐만 아니라, 전자적으로 촬영 화상에 대해 행해지는 팬/틸트 처리에도 적용하는 것이 가능하다. 화상의 사이즈를 확대하지 않고 전자적인 팬/틸트 기능도 달성된다.
실시예3
실시예 3에 따르면, 동화상 촬영중에 정지 화상을 촬영하는 것이 가능한 촬영 모드를 갖는 촬상 시스템에 대해 설명한다. 본실시예에 따르면, 촬상 소자는 항상 전체 화소 판독 모드에서 촬영 동작을 행하고, 동화상 및 정지 화상 모두가 이 전체 화소 판독 모드에서 구동한 결과로써 출력된 화상신호로부터 작성하는 방법을 설명한다.
본 실시예에 따른 촬상 소자의 구성은 실시예 1에 따른 도 1 내지 도 5에서 나타낸 것과 같기 때문에, 설명을 생략한다. 촬상 시스템의 개요도 실시예 1의 도 6을 참조하여 나타낸 것과 같기 때문에, 설명을 생략한다.
다음에, 도 12의 흐름도를 참조하여, 본 실시예에 있어서의 촬상 시스템에서 행해지는 동작 절차에 대해 설명한다. 특히, 동화상 등의 구동 모드의 선택에 응답하여 전체 화소의 화소 데이터를 리사이즈해서 동화상용의 화소 데이터를 전송하는 경우에 행해지는 동작에 대해 상세하게 설명한다. 동화상 모드는 예를 들어 4K2K 동화상 모드, Full_HD 동화상 모드, 또는 HD 동화상 모드일 수 있다. 촬상 소자의 화소수, 3:2 화각의 2400만(수평 6000×수직 4000) 화소인 것으로 가정한다.
스텝 S601에 있어서, 유저에 의해 조작부(515)에 포함되는 전원 버튼이 ON이 되면, 스텝 S602에 있어서 각종 초기 설정이 정의된다.
스텝 S603에 있어서, 유저에 의해 촬영 모드로서 동화상 모드가 선택되고, 조작부(515)에 포함되는 버튼이 ON 되면, 동화상 기록이 개시된다. 여기에서는, 4K2K 동화상, Full_HD 동화상 및 HD 동화상 중 어느 한개가 선택되는 것으로 가정한다.
스텝 S604에 있어서, 전체 제어부에 의해 결정된 노출 설정(축적 시간/조리개 설정/감도 설정)에 따라 촬상 소자(506)의 노광을 개시한다.
스텝 S605에 있어서, 스텝 S604에 의해 노광된 촬상 소자(506)의 전체 화소로부터 신호를 판독한다. 스텝 S606에서는, 스텝 S605에서 전체 화소로부터 판독된 신호를 프레임 메모리(117)에 화상 데이터로서 보존한다.
스텝 S607 및 스텝 S608에서는, 스텝 S603에서 모드 설정을 위해 유저에 의해 선택된 동화상 모드를 판정한다. 스텝 S603에 있어서 4K2K 동화상이 선택되어 있는 경우에는, 스텝 S609로 처리를 이동한다. FULL_HD 동화상이 선택되어 있는 경우에는, 스텝 S610으로 처리를 이동한다. HD 동화상이 선택되어 있는 경우에는 스텝 S611로 처리를 이동한다.
스텝 S609, 스텝 S610 또는 스텝 S611에서는, 프레임 메모리(117)에 보존된 전체 화소의 화상 데이터를 기초로 하여, 유저가 선택한 각각의 동화상 모드에 따른 화상 사이즈를 갖는 화상 데이터로 리사이즈 변환 처리가 행해진다. 상세한 것은 후술한다.
스텝 S612에 있어서, 스텝 S609, 스텝 S610 또는 스텝 S611에 있어서 선택된 동화상 모드에 따른 화상 사이즈로 리사이즈 변환된 화상 데이터가 P/S 변환부(120)에 있어서 P/S 변환되어, 최적의 전송속도와 최적의 포트수가 선택된다. P/S 변환된 화상 데이터는 촬상신호 처리회로(507)에 전송된다.
스텝 S613에서는, 촬상신호 처리회로(507)가 P/S 변환부(120)로부터 출력된 화상 데이터에 대하여 동화상의 현상 처리를 행한다. 구체적으로는, 노이즈를 저감하는 로우패스 필터 처리, 셰이딩 보정, 화이트 밸런스 처리 등 각종의 화상 데이터 처리와 보정처리를 행한다.
스텝 S614에서는, 스텝 S613에서 처리된 화상 데이터를 동화상 데이터로서 기록 매체(512)에 기록하거나, 표시부(511)에의 라이브 뷰 방식으로 표시된다.
스텝 S615에서는, 촬영 조작이 계속되는 경우에는, 처리가 스텝 S604에 되돌아가, 계속해서 동화상 기록이 행해진다. 스텝 S615에 있어서 동화상 기록이 종료한 경우에는, 스텝 S616에서 전원이 OFF된다.
다음에, 본 실시예에 있어서의 화상 사이즈 변환 처리에 대해 도 13a 내지 도 13d를 참조하여 설명한다. 도 13a는, 촬상 소자로부터 판독되는 3:2 화각의 2400만(수평 6000×수직 4000) 화소의 화상 데이터를 나타내고 있다.
유저가 4K2K 동화상을 동화상 모드로서 선택하고 있는 경우, 전체 제어 연산부(509)의 제어하에서 처리부(118)는 4K2K 동화상에 필요한 화소수로 리사이즈 변환 처리를 행한다. 즉, 프레임 메모리(117)에 보존된 전체 화소의 화상 데이터로부터 4K2K 동화상용의 화상 사이즈를 연산하고, 연산된 결과를 기초로 리사이즈 변환 처리를 행한다.
4K2K 동화상에 대한 수평 및 수직의 사이즈는, 4096×2160(16:9 화각, 약 800만 화소)이다. 따라서, 도 13b에 나타낸 것과 같이, 전체 화소로부터 4K2K 동화상용으로 리사이즈된 화상 데이터로부터, 16:9의 화각에 대응하는 영역(701)의 화상 데이터를 출력한다.
유저가 FULL_HD 동화상을 동화상 모드로서 선택하고 있는 경우, 전체 제어 연산부(509)의 제어하에서 처리부(118)는 FULL_HD 동화상에 대한 화소수 리사이즈 변환 처리를 행한다. 즉, 프레임 메모리(117)에 보존된 전체 화소의 화상 데이터로부터 FULL_HD 동화상용의 화상 사이즈를 연산하고, 연산된 결과를 기초로 리사이즈 변환 처리를 행한다.
FULL_HD 동화상에 필요한 수평 및 수직의 사이즈는 1920×1080(16:9 화각, 약 200만 화소)이다. 따라서, 도 13c에 나타낸 것과 같이, 전체 화소의 데이터로부터 FULL_HD 동화상용으로 리사이즈된 화상 데이터로부터, 16:9의 화각에 대응하는 영역(702)의 화상 데이터를 출력한다.
유저가 HD 동화상을 동화상 모드로서 선택하고 있는 경우, 전체 제어 연산부(509)의 제어하에서 처리부(118)는 HD 동화상에 대한 화소수로 리사이즈 변환 처리를 행한다. 즉, 프레임 메모리(117)에 보존된 전체 화소의 화상 데이터로부터 HD 동화상용의 화상 사이즈를 연산하고, 연산된 결과를 기초로 리사이즈 변환 처리를 행한다.
HD 동화상에 필요한 수평 및 수직의 사이즈는 1280×720(16:9 화각, 약 100만 화소)이다. 따라서, 도 13d에 나타낸 것과 같이, 전체 화소의 데이터로부터 HD 동화상용으로 리사이즈된 화상 데이터로부터, 16:9의 화각에 대응하는 영역(703)의 화상 데이터를 출력한다.
상기한 바와 같이, 프레임 메모리에 보존한 전체 화소의 데이터를 유저가 선택한 동화상의 화상 사이즈로 리사이즈 변환함으로써, P/S 변환부(120)로부터 신호 처리부 507에 전송하는 데이터량을 대폭 삭감하는 것이 가능해진다.
예를 들면, 2400만 화소의 전체의 화상 데이터를 프레임 레이트 120fps에서 P/S 변환부(120)로부터 화소신호 처리회로 507로 8포트를 거쳐 전송하는 것으로 가정한다. 4K2K 동화상 모드에서 프레임 레이트 120fps로 전송할 화상 데이터의 데이터량은 전체 화소 판독 모드에서 전송된 데이터량의 1/4 이하가 되기 때문에, 전송을 위해 8포트 대신에 2포트가 필요하다.
8포트를 사용하여 전송하는 경우에는, 전송속도를 1/4 이하로 줄이는 것이 가능해진다. HD 동화상이나 VGA 동화상 모드에서 전송하는 화상 데이터의 데이터량이 더 작아질 수 있기 때문에, 화상 데이터의 전송속도를 더 줄일 수 있으므로, 소비 전력의 삭감이 가능해진다.
120fps의 프레임 레이트를 사용하는 것을 설명하였지만, 동화상 모드에서 60fps 및 30fps 등의 가변의 프레임 레이트를 적용해도 된다. 그 경우에는 전체 화소의 화상 데이터를 판독하여 전송하는 프레임 레이트를 동화상의 프레임 레이트로 변경하면 된다.
본 실시예에 있어서의 촬상 소자의 화소수가 2400만 화소인 것을 설명하였지만, 본 발명의 실시예는 이것에 한정되지 않고, 적용가능한 촬상 소자는 다양한 화소수를 가져도 된다.
이상에서 설명한 바와 같이, 본 실시예에 따르면, 화소층과 회로층을 적층한 촬상 소자가 회로층에 프레임 메모리를 갖고, 유저가 선택한 동화상 모드에서의 화상 사이즈로 전체 화소 판독 모드에서의 화상 사이즈로부터의 변환 처리를 행함으로써, 화상 데이터를 전송하는 데이터량을 삭감 가능하다. 소비 전력을 더 줄일 수 있다.
실시예4
실시예 3에 따르면, 동화상 모드시에 있어서의 화상 사이즈의 변환을 행하기 위해 리사이즈 처리를 행하여, 선택된 모드에 있어서 최적의 화상 사이즈로 함으로써, 화상 데이터를 전송하는 데이터량을 줄임으로써 소비 전력의 삭감을 행할 수 있다. 이에 대해, 실시예 4에 따르면, 전체 화면으로부터 화상을 잘라낼 때의 동작에 관한 상세를 설명한다.
실시예 4에 따른 잘라내기 동작을 행하는 예로서, 전체 화소의 데이터로부터 화각을 잘라내어 취득한 4K2K(4096×2160) 동화상을 설명한다. 본 실시예에 따른 장치 구성은 전술한 실시예와 같기 때문에, 설명을 생략한다.
유저에 의해 4K2K 동화상이 동화상 모드로서 선택될 때, 전체 화소의 데이터로부터 4K2K 동화상에 필요한 화각 영역을 잘라내서 판독하는 동작을 도 14의 흐름도를 참조하여 설명한다. 실시예 3의 도 12를 참조하여 설명한 동작과 같은 동작의 설명을 생략한다.
스텝 S603에 있어서, 유저에 의해 4K2K 동화상이 동화상 모드로서 선택되고, 조작부(515)에 포함되는 동화상 기록 버튼이 눌리면, 동화상 기록이 개시된다. 스텝 S606에 있어서, 전체 화소의 화상 데이터가 프레임 메모리(117)에 보존된다.
스텝 S801에서는, 전체 제어 연산부(509)의 제어하에서, 처리부(118)는, 4K2K 동화상의 화소수에 맞도록 프레임 메모리(117)에 보존된 전체 화소의 화상 데이터로부터 화각을 잘라내기는 처리를 행한다. 잘라낸 4K2K 동화상용의 화상 데이터는 P/S 변환부(120)로 보내진다. 스텝 S612와 이후의 스텝의 동작은 실시예 1의 도 12와 같다.
다음에, 화상 잘라내기 처리에 대해 도 15a 및 도 15b를 참조하여 설명한다. 도 15a는, 촬상 소자로부터 판독되는 3:2 화각의 2400만(수평 6000×수직 4000) 화소의 화상 데이터를 나타내고 있다.
유저가 4K2K 동화상을 동화상 모드로서 선택하고 있는 경우, 전체 제어 연산부(509)의 제어하에서 처리부(118)는 4K2K 동화상에 필요한 화각을, 프레임 메모리(117)에 보존된 화상 데이터로부터 잘라낸다.
4K2K 동화상에 필요한 수평 및 수직의 사이즈는 4096×2160이기 때문에, 촬상신호 처리회로(507)에서 행하는 각종 보정을 고려하여, 예를 들면, 도 15b에 나타낸 것과 같은 4136×2200 화상 데이터를 취득하기 위해 화각 잘라내기 처리를 행한다.
이상에서 설명한 바와 같이, 본 실시예에 따르면, 화소층과 회로층을 적층한 촬상 소자가 회로층에 프레임 메모리를 갖고, 전체 화소 판독 모드에서 화상 사이즈로부터 유저가 선택한 동화상 모드의 화상 사이즈로 잘라내기 처리를 행할 수 있으므로, 화상 데이터를 전송하는 데이터량을 삭감 가능하게 된다. 소비 전력을 더 삭감할 수 있다.
실시예5
유저가 촬영시에 수동 포커스를 맞추기 위해 표시부의 라이브 뷰 동화상의 화면 영역의 사이즈를 확대하기 하는 조작을 행할 수도 있다. 그렇지만, 화상의 솎아냄의 결과로써 라이브 뷰 표시 상태로부터 그대로 화상을 확대한 경우, 해상도가 떨어져, 화질이 열화될 수도 있다. 따라서, 포커스를 맞추는 것이 어려울 수 있다.
실시예 5에 따르면, 유저가 해당하는 라이브 뷰 화면을 봄으로써 소정의 영역의 화상의 사이즈를 확대할 때에, 해상도를 유지하고 심리스하게, 화상 데이터를 출력하는 동작에 대해 설명한다. 본 실시예에 따른 장치 구성은 전술한 실시예에 따른 것과 같기 때문에, 설명을 생략한다.
라이브 뷰 모드에서 표시할 화상 데이터는, 3:2 화각의 2400만(수평 6000×수직 4000) 화소의 화상 데이터를 라이브 뷰 모드에 적합한 화상 사이즈(750×500)로 리사이즈함으로써 얻어진다.
본 실시예에 따른 라이브 뷰 동화상를 표시하는 동작으로부터의 표시 영역 확대 동작에 대해 도 16의 흐름도를 참조하여 설명한다.
스텝 S1001에 있어서, 유저에 의해 조작부(515)에 포함되는 전원 버튼이 ON되면, 각종 초기 설정이 정의되고, 라이브 뷰 동화상의 촬영 및 표시가 개시된다.
스텝 S1002에 있어서, 전체 제어 연산부에 의해 결정된 노출 설정(축적 시간/조리개 설정/감도 설정)에 따라 촬상 소자(506)의 노광을 개시한다.
스텝 S1003에 있어서, 스텝 S1002에 의해 노광된 촬상 소자(506)의 전체 화소로부터 신호를 판독한다. 스텝 S1004에서는, 스텝 S1003에서 전체 화소로부터 판독된 신호를 프레임 메모리(117)에 화상 데이터로서 보존한다.
스텝 S1005에 있어서, 유저에 의해 라이브 뷰 확대가 선택되었는지 아닌지를 판정한다. 스텝 S1005에서 라이브 뷰 확대가 선택되지 않고 있다고 판정한 경우, 스텝 S1006으로 처리를 진행한다.
스텝 S1006에서는, 프레임 메모리(117)에 보존된 전체 화상 데이터를 기초로 화상 데이터가 라이브 뷰 동화상 사이즈의 화소 사이즈(750×500)로 화상 데이터를 리사이즈 처리된다.
스텝 S1005에서 라이브 뷰의 확대가 선택되었다고 판정한 경우, 스텝 S1007로 처리를 진행한다. 라이브 뷰 확대의 선택은, 예를 들면, 유저가 행한 확대 범위의 선택과, 조작부(515)에 포함되는 확대 버튼의 누름에 응답하여 발생한다.
스텝 S1007에서는, 유저에 의해 지정된 확대 영역의 정보가 전체 제어 연산부(509)로부터 처리부(118)에 보내진다. 그리고, 화소 연산부(118)는, 확대 영역의 정보를 기초로, 프레임 메모리(117)에 보존되어 있는 전체 화소의 화상 데이터의 확대 영역에 대응하는 화상 데이터를 라이브 뷰의 화각에 맞추어 조정하기 위한 리사이즈 율을 산출한다.
스텝 S1008에서는, 스텝 S1007에 있어서 산출된 리사이즈 율을 기초로, 프레임 메모리(117)에 보존되어 있는 전체 화소의 화상 데이터를 확대 영역에 근거하여 리사이즈 처리한다.
스텝 S1009에서는, 스텝 S1008에 있어서 리사이즈에 의해 화상 사이즈를 변경된 화상으로부터 확대 영역에 근거하여 잘라낸 화상 데이터 만을 P/S 변환부(120)에 보낸다.
스텝 S1010에서는, 스텝 S1006 또는 스텝 S1009에 있어서 송신된 화상 데이터가 P/S 변환부(120)에 있어서 데이터량을 기초로 P/S 변환되고, 최적의 전송속도와 최적의 포트수가 선택된다. P/S 변환된 화상 데이터는 촬상신호 처리회로(507)에 전송된다.
스텝 S1010에서는, 촬상신호 처리회로(507)가 P/S 변환부(120)로부터 출력된 화상 데이터에 대하여, 라이브 뷰용의 현상 처리를 행한다. 구체적으로는, 노이즈를 저감하는 로우패스 필터 처리, 셰이딩 및 화이트 밸런스 처리 등의 화상 데이터 처리, 보정처리 및 압축을 행한다.
스텝 S1011에서는, 스텝 S1010에서 처리된 화상 데이터를 동화상 데이터로서 표시부(511)에 표시한다.
스텝 S1012에서 촬영을 계속하는 것으로 판정된 경우에는, 스텝 S1002로 처리가 되돌아가, 그후 라이브 뷰 동작이 행해진다. 스텝 S1012에 있어서 촬영을 종료하는 것으로 판정된 경우에는, 스텝 S1013으로 처리를 진행하여, 라이브 뷰 동작을 종료한다.
다음에, 본 실시예에 있어서의 라이브 뷰 표시를 위한 확대 변환 처리에 대해 서 도 17a 내지 도 17e를 참조하여 설명한다. 도 17a는, 유저가 확대 영역(1100)의 확대를 지정한 경우에 표시부(511)에 표시된 라이브 뷰 동화상의 예이다.
도 17b는, 도 17a에 나타낸 확대 영역(1100)을 표시부(511)에 확대된 사이즈로 표시시킨 것을 나타내고 있다. 프레임 메모리(117)에는, 도 17c에 나타낸 것과 같이, 항상 촬상 소자로부터 판독된 전체 화소의 화상 데이터(1101)가 보존되어 있다.
통상의 라이브 뷰 표시를 위해, 도 17d에 나타낸 것과 같이, 프레임 메모리(117)에 보존된 전체 화소의 화상 데이터에 대한 리사이즈 변환 처리를 행하여, 화상 데이터의 사이즈를 라이브 뷰 동화상 사이즈인 화소 사이즈(750×500)로 변환한다.
이에 대해, 라이브 뷰 확대를 위해 선택된 확대 영역(1100)에 따르면, 도 17c에 나타내는 전체 화소의 화상 데이터로부터 영역 1102을 잘라낸 후, 잘라낸 영역(1102)의 화상 데이터를 표시할 수 있도록 제어된다.
잘라낸 영역(1102)의 화소수는 2250화소×1550화소인 것으로 가정한다. 잘라낸 영역(1102)의 화상 데이터는 도 17e에 나타낸 것과 같이 리사이즈 처리가 되어, 라이브 뷰 표시를 위한 화상 사이즈 750×500로 변환한다.
이상에서 설명한 바와 같이, 본 실시예에 따르면, 화소층과 회로층을 적층한 촬상 소자가 회로층에 프레임 메모리를 가짐으로써, 라이브 뷰 표시시에 유저가 선택한 확대 영역에 대응하는 화상 데이터를 전체 화소의 화상 데이터로부터 잘라낸다. 최적의 리사이즈 처리의 결과로써, 통상의 라이브 뷰 표시의 사이즈와 같은 사이즈의 화상 데이터를 전송하는 것이 가능해진다. 따라서, 해상도를 유지하면서 심리스하게 확대 화상을 출력하는 것이 가능해진다.
본 발명의 바람직한 실시형태에 대해 설명했지만, 본 발명은 이들 실시형태에 한정되지 않고, 그 요지의 범위 내에서 다양한 변형 및 변경이 가능하다.
기타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.
본 출원은 2015년 5월 29일자 출원된 일본 특허출원 2015-109426, 2015년 5월 29일자 출원된 일본 특허출원 2015-109429 및 2016년 4월 22일자 출원된 일본 특허출원 2016-086544의 우선권을 주장하며, 이 출원의 전체내용을 참조를 위해 본 출원에 원용한다.

Claims (18)

  1. 서로 적층되는 동시에 전기적으로 직접 접속된 제1 반도체 기판 및 제2 반도체 기판을 구비한 촬상 소자로서,
    상기 제1 반도체 기판에 설치되고, 입사광을 수광해서 광전변환하도록 구성된 촬상부와,
    상기 촬상부로부터 출력되는 아날로그 화상신호를 디지털 화상 데이터로 변환하도록 구성된 AD 변환부와,
    상기 제2 반도체 기판에 설치되고, 상기 AD 변환부에 의해 변환되는 1 프레임의 상기 디지털 화상 데이터를 기억하도록 구성된 기억부와,
    상기 제2 반도체 기판에 설치되고, 상기 기억부에 기억된 상기 디지털 화상 데이터로부터 소정 영역의 화상 데이터를 잘라내어 상기 디지털 화상 데이터에 대해 축소 변배처리를 행하도록 구성된 처리부와,
    상기 제2 반도체 기판에 설치되고, 상기 축소 변배처리된 화상 데이터를 상기 촬상 소자의 외부로 출력하도록 구성된 출력부를 구비하고,
    상기 처리부는,
    상기 기억부에 기억된 상기 디지털 화상 데이터로부터 소정 영역의 상기 화상 데이터를 잘라낼 때, 전자적인 팬/틸트 처리를 행하는 촬상 소자.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서.
    상기 처리부에 의해 축소 변배처리되는 상기 화상 데이터의 사이즈가 기록 동화상 화상 사이즈를 갖는 촬상 소자.
  7. 제 1항에 있어서,
    상기 축소 변배처리되는 상기 화상 데이터의 사이즈가 상기 축소 변배처리의 배율에 관계없이 일정하게 설정되는 촬상 소자.
  8. 삭제
  9. 서로 적층되는 동시에 전기적으로 직접 접속된 제1 반도체 기판 및 제2 반도체 기판을 구비한 촬상 소자로서, 상기 제1 반도체 기판에 설치되고, 입사광을 수광해서 광전변환하도록 구성된 촬상부와; 상기 촬상부로부터 출력되는 아날로그 화상신호를 디지털 화상 데이터로 변환하도록 구성된 AD 변환부와; 상기 제2 반도체 기판에 설치되고, 상기 AD 변환부에 의해 변환되는 1 프레임의 상기 디지털 화상 데이터를 기억하도록 구성된 기억부와; 상기 제2 반도체 기판에 설치되고, 상기 기억부에 기억된 상기 디지털 화상 데이터로부터 소정 영역의 화상 데이터를 잘라내어 상기 디지털 화상 데이터에 대해 축소 변배처리를 행하도록 구성된 처리부와; 상기 제2 반도체 기판에 설치되고, 상기 축소 변배처리된 화상 데이터를 상기 촬상 소자의 외부로 출력하도록 구성된 출력부를 구비한 촬상 소자와,
    상기 촬상 소자로부터 출력되는 화상 데이터에 대해 소정의 신호 처리를 실시하도록 구성된 신호 처리부와,
    화상을 표시하도록 구성된 표시부와,
    상기 촬상 소자, 상기 신호 처리부 및 상기 표시부를 제어하도록 구성된 제어부를 구비하고,
    상기 처리부는,
    상기 기억부에 기억된 상기 디지털 화상 데이터로부터 소정 영역의 상기 화상 데이터를 잘라낼 때, 전자적인 팬/틸트 처리를 행하는 촬상장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제 9항에 있어서,
    상기 처리부에 의해 축소 변배처리되는 상기 화상 데이터의 사이즈가 기록 동화상 화상 사이즈를 갖는 촬상장치.
  15. 제 9항에 있어서,
    상기 축소 변배처리되는 상기 화상 데이터의 사이즈가 상기 축소 변배처리의 배율에 관계없이 일정하게 설정되는 촬상장치.
  16. 삭제
  17. 삭제
  18. 삭제
KR1020177032190A 2015-05-29 2016-05-25 촬상 소자 및 촬상장치 KR101986128B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JPJP-P-2015-109426 2015-05-29
JPJP-P-2015-109429 2015-05-29
JP2015109429 2015-05-29
JP2015109426 2015-05-29
JPJP-P-2016-086544 2016-04-22
JP2016086544A JP6272387B2 (ja) 2015-05-29 2016-04-22 撮像素子および撮像装置
PCT/JP2016/002529 WO2016194339A1 (en) 2015-05-29 2016-05-25 Image pickup device and imaging apparatus

Publications (2)

Publication Number Publication Date
KR20170134693A KR20170134693A (ko) 2017-12-06
KR101986128B1 true KR101986128B1 (ko) 2019-06-05

Family

ID=57440904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177032190A KR101986128B1 (ko) 2015-05-29 2016-05-25 촬상 소자 및 촬상장치

Country Status (6)

Country Link
US (1) US10356339B2 (ko)
EP (1) EP3304889A4 (ko)
JP (1) JP6272387B2 (ko)
KR (1) KR101986128B1 (ko)
CN (1) CN107710744B (ko)
WO (1) WO2016194339A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6689656B2 (ja) * 2016-04-18 2020-04-28 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置
WO2018135125A1 (ja) * 2017-01-17 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 アナログ－デジタル変換器、固体撮像素子、及び、電子機器
JP6580111B2 (ja) * 2017-02-10 2019-09-25 キヤノン株式会社 撮像素子および撮像装置
US10893199B2 (en) 2018-06-07 2021-01-12 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
JP6821723B2 (ja) * 2018-06-07 2021-01-27 キヤノン株式会社 撮像装置およびその制御方法
JP7210172B2 (ja) 2018-07-06 2023-01-23 キヤノン株式会社 撮像装置およびその制御方法
CN112640430B (zh) 2018-08-31 2024-07-16 富士胶片株式会社 成像元件、摄像装置、图像数据处理方法及存储介质
KR102666694B1 (ko) * 2018-11-13 2024-05-20 삼성디스플레이 주식회사 피검체의 결함 검사 시스템 및 결함 검사 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008092291A (ja) * 2006-10-02 2008-04-17 Sony Ericsson Mobilecommunications Japan Inc 静止画像送信装置、静止画像受信装置、静止画像送受信装置、静止画像送信方法、静止画像受信方法、静止画像送受信方法、カメラ装置、及び携帯端末装置
JP2011159958A (ja) * 2010-01-08 2011-08-18 Sony Corp 半導体装置、固体撮像装置、およびカメラシステム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4783838A (en) * 1984-12-26 1988-11-08 Konishiroku Photo Industry Co., Ltd. Image processing method and apparatus therefor
US6701017B1 (en) * 1998-02-10 2004-03-02 Nihon Computer Co., Ltd. High resolution high-value added video transfer method system and storage medium by using pseudo natural image
JP2000092461A (ja) * 1998-09-10 2000-03-31 Sony Corp 付加情報重畳方法および映像信号出力装置
JP4000293B2 (ja) * 2002-10-22 2007-10-31 富士フイルム株式会社 デジタルカメラ
JP4250437B2 (ja) 2003-03-04 2009-04-08 キヤノン株式会社 信号処理装置、信号処理方法およびプログラム
JP2008193359A (ja) 2007-02-02 2008-08-21 Olympus Imaging Corp 撮像モジュール及び撮像素子パッケージ
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US9257467B2 (en) 2009-12-16 2016-02-09 Samsung Electronics Co., Ltd. Image sensor modules, methods of manufacturing the same, and image processing systems including the image sensor modules
JP4983961B2 (ja) * 2010-05-25 2012-07-25 株式会社ニコン 撮像装置
TWI510047B (zh) * 2010-07-20 2015-11-21 Htc Corp 手持電子裝置
JP5696513B2 (ja) * 2011-02-08 2015-04-08 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
JP5734121B2 (ja) 2011-07-15 2015-06-10 ルネサスエレクトロニクス株式会社 固体撮像装置
JP2013030939A (ja) 2011-07-27 2013-02-07 Canon Inc 撮像装置
US9183633B2 (en) * 2011-12-21 2015-11-10 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
US9607971B2 (en) 2012-06-04 2017-03-28 Sony Corporation Semiconductor device and sensing system
JP2014044345A (ja) 2012-08-28 2014-03-13 Ricoh Co Ltd 撮像装置
JP6292754B2 (ja) * 2013-02-21 2018-03-14 キヤノン株式会社 表示制御装置及びその制御方法
JP6190184B2 (ja) 2013-06-28 2017-08-30 キヤノン株式会社 撮像素子、撮像装置、その制御方法、および制御プログラム
JP2015041792A (ja) * 2013-08-20 2015-03-02 株式会社ニコン 画像処理装置および撮像装置
DE102016109179B4 (de) * 2015-05-29 2023-08-03 Canon Kabushiki Kaisha Bildaufnahmeeinrichtung und Bildgebungsvorrichtung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008092291A (ja) * 2006-10-02 2008-04-17 Sony Ericsson Mobilecommunications Japan Inc 静止画像送信装置、静止画像受信装置、静止画像送受信装置、静止画像送信方法、静止画像受信方法、静止画像送受信方法、カメラ装置、及び携帯端末装置
JP2011159958A (ja) * 2010-01-08 2011-08-18 Sony Corp 半導体装置、固体撮像装置、およびカメラシステム

Also Published As

Publication number Publication date
WO2016194339A1 (en) 2016-12-08
JP2016225970A (ja) 2016-12-28
JP6272387B2 (ja) 2018-01-31
KR20170134693A (ko) 2017-12-06
CN107710744B (zh) 2020-07-31
US10356339B2 (en) 2019-07-16
CN107710744A (zh) 2018-02-16
EP3304889A4 (en) 2018-10-31
US20180103214A1 (en) 2018-04-12
EP3304889A1 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
KR101986128B1 (ko) 촬상 소자 및 촬상장치
US11196923B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
US10003715B2 (en) Image pickup device and imaging apparatus
JP6372488B2 (ja) 電子機器
US7679657B2 (en) Image sensing apparatus having electronic zoom function, and control method therefor
JP6802642B2 (ja) 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP6513164B2 (ja) 撮像素子および撮像装置
KR20170134692A (ko) 촬상 소자 및 촬상장치
JP6580111B2 (ja) 撮像素子および撮像装置
JP2009302946A (ja) 固体撮像素子，固体撮像素子の駆動方法及び撮像装置
US20200014860A1 (en) Image-pickup apparatus and control method thereof
JP6885374B2 (ja) 電子機器
JP2006148591A (ja) 固体撮像装置および固体撮像素子駆動方法
JP2020171054A (ja) 電子機器
JP2018148590A (ja) 電子機器、及び撮像素子

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant