KR20050031911A - 촬상 장치 - Google Patents
촬상 장치 Download PDFInfo
- Publication number
- KR20050031911A KR20050031911A KR1020040076287A KR20040076287A KR20050031911A KR 20050031911 A KR20050031911 A KR 20050031911A KR 1020040076287 A KR1020040076287 A KR 1020040076287A KR 20040076287 A KR20040076287 A KR 20040076287A KR 20050031911 A KR20050031911 A KR 20050031911A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- resolution
- photoelectric conversion
- charge
- charges
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims description 85
- 238000006243 chemical reaction Methods 0.000 claims abstract description 72
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- 239000003086 colorant Substances 0.000 claims abstract description 15
- 238000002156 mixing Methods 0.000 claims description 37
- 238000012937 correction Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 abstract description 5
- 230000000875 corresponding effect Effects 0.000 description 49
- 230000005540 biological transmission Effects 0.000 description 16
- 238000001444 catalytic combustion detection Methods 0.000 description 16
- 238000012546 transfer Methods 0.000 description 14
- 239000007787 solid Substances 0.000 description 11
- 230000005570 vertical transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012952 Resampling Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 239000000758 substrate Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000005571 horizontal transmission Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
본 발명의 고체 촬상 소자는 보색 또는 베이어(Bayer) 컬러 필터 배열을 갖는 광전 변환 소자를 포함한다. 상기 고체 촬상 소자는 6행 6열의 부분마다 다색 중 하나의 컬러 필터를 갖는 9개의 광전 변환 소자에 저장된 전하를 모두 혼합하여 그 결과로서의 전하를 획득하고, 그 결과로서의 전하를 1 화소로서 출력한다. 컬러 중 하나에 대한 부분은 3행 및/또는 3열만큼 다른 컬러의 각각에 대한 부분으로부터 벗어나 있다. 이러한 화소 혼합 동작은 공간 저역 통과 필터의 작용을 야기함으로써, 목표 해상도에 대응하는 나이퀴스트(Nyquist) 주파수를 초과하는 신호 성분을 감소시킨다. 결과적으로, 목표 해상도를 갖는 영상에서의 얼라이어싱 노이즈(aliasing noise)가 감소되므로, 종래의 해상도 감소 기술과 비교할 때 더욱 높은 화질이 달성될 수 있다.
Description
본 발명은 촬상 장치에 관한 것으로, 특히 촬상 장치의 원래의 해상도보다 낮은 해상도 및 뛰어난 화질을 갖는 영상을 생성하는 기술에 관한 것이다.
최근에, 고체 촬상 소자는 더 큰 화소수를 갖는다. 현재 메가픽셀(megapixel) 즉, 100만 화소를 초과하는 해상도를 갖는 고체 촬상 소자가 소형 카메라 및 이동 전화와 같은 간단한 장치에도 사용되고 있다.
따라서, 매우 높은 해상도를 갖는 정지 화상이 그러한 간단한 장치로 촬영될 수 있다. 반면에, 고체 촬상 소자의 원래의 해상도보다 낮은 해상도를 갖는 영상은 동화상의 개별 프레임 화상 및 이메일에 첨부되는 영상용으로 사용될 필요가 있다. 따라서, 해상도를 줄이는 동작이 필수 불가결하게 되어 있다.
고체 촬상 소자의 원래의 해상도보다 낮은 목표 해상도를 갖는 영상을 생성하는 기술로서, 고체 촬상 소자의 화소의 일부를 폐기하는 것이 알려져 있다. 이러한 기술에 의해 생성되는 영상의 해상도는 고체 촬상 소자의 원래의 해상도의 1/N이며, 여기에서 N은 정수이다.
화소를 폐기하는 기술에 의해 생성된 영상의 해상도가 목표 해상도와 일치하지 않는 경우, 목표 해상도를 갖는 영상을 생성하기 위해 줌(zoom) 동작이 추가로 실행된다.
화질의 열화를 최소화하면서 그러한 줌 동작을 실행하는 기술은 예컨대, 일본 특허 출원 공개 제2002-374407호 공보(이하 "특허 문헌 1"이라고 함)에 개시되어 있다.
그러나, 이와 같이 화소를 폐기하고 줌 동작을 실현하는 종래의 기술은 고체 촬상 소자의 원래의 해상도보다 낮은 해상도에 덧붙여 화질이 뛰어난 영상을 생성할 수 없다. 이것은 화소의 폐기로 인해 큰 얼라이어싱 노이즈가 생성되기 때문이다.
상기 문제점을 고려하여, 본 발명의 목적은 고체 촬상 소자의 원래의 해상도보다 낮은 해상도를 갖고 화질이 뛰어난 영상을 생성하는 촬상 장치를 제공하는 것이다.
상기 목적은 촬상 장치의 원래의 해상도보다 낮은 목표 해상도를 갖는 영상을 나타내는 영상 데이터를 생성하는 촬상 장치에 의해 달성될 수 있다. 촬상 장치는, 2차원 행렬로 배치되어, 수광면에 복수의 컬러에서 선택되는 미리 정해진 컬러의 컬러 필터를 각각 갖고, 광전 변환에 의한 전하를 각각 저장하는 복수의 광전 변환 소자와, 상기 행렬의 L행 및 C열의 각 부분에 대해(여기에서, 6L, 6C이고, L 및 C는 짝수), 상기 부분에서 동일한 컬러의 컬러 필터를 갖는 광전 변환 소자에 저장된 전하를 모두 혼합하여 결과적인 전하를 획득하는 전하 혼합부와, 상기 행렬의 L행 및 C열의 모든 부분에 대해 결과적인 전하를 판독하는 판독부와, 상기 판독한 결과적인 전하에 기초하여 원래의 해상도보다 낮은 임시 해상도를 갖는 영상을 나타내는 영상 데이터를 생성하는 영상 데이터 생성부와, 상기 임시 해상도를 상기 목표 해상도로 저감하고, 상기 목표 해상도를 갖는 영상을 나타내는 영상 데이터를 생성하기 위해 상기 임시 해상도를 갖는 영상을 줌하는 줌부를 포함한다. 여기에서, 상기 복수의 광전 변환 소자의 수는 상기 임시 해상도가 상기 목표 해상도와 동일하게 되는데 필요한 광전 변환 소자의 수보다 크다.
이러한 구성에 따라, L행 및 C열의 각 부분에서의 동일한 컬러의 광전 변환 소자에 저장된 전하가 모두 혼합되어 결과적인 전하를 획득한다. 이것은 공간 저역 통과 필터의 작용을 야기하므로, 목표 해상도에 대응하는 나이퀴스트 주파수를 초과하는 신호 성분을 감소시킨다. 그 결과, 공간 저역 통과 필터의 작용을 야기하지 않는 화소를 폐기하는 종래의 해상도 저감 기술과 비교할 때, 목표 해상도를 갖는 영상에서의 얼라이어싱 노이즈가 감소되므로, 화질이 향상된다.
복수의 광전 변환 소자의 수는 임시 해상도가 목표 해상도와 동일하게 되는데 필요한 광전 변환 소자의 수보다 크다. 따라서, 목표 해상도를 갖는 영상을 나타내는 영상 데이터가, 목표 해상도보다 높은 임시 해상도를 갖는 영상이 먼저 생성된 후 임시 해상도를 갖는 영상이 임시 해상도를 목표 해상도로 저감하기 위해 줌되는 방식으로 얻어질 수 있다. 여기에서, 특허 문헌 1에 개시되어 있는 기술이 줌 동작을 실행하는데 사용되는 경우, 목표 해상도에 대응하는 나이퀴스트 주파수에서의 신호 성분은 목표 해상도를 갖는 영상에서 유지될 수 있다.
비교할 목적으로, 광전 변환 소자의 수가 임시 해상도가 목표 해상도와 동일하게 되는데 필요한 광전 변환 소자의 수와 동일한 경우를 가정한다. 이 경우에, 줌 동작은 실행될 수 없고, 목표 해상도를 갖는 영상에 목표 해상도에 대응하는 나이퀴스트 주파수의 신호 성분을 유지하는 것은 불가능하게 된다.
즉, 촬상 장치에 의해 얻어지는 목표 해상도를 갖는 영상은 목표 해상도에 대응하는 나이퀴스트 주파수의 근방에 더 높은 레벨의 고주파수 성분을 갖는다.
여기에서, 촬상 장치는 상기 영상의 윤곽부를 강조하기 위해, 상기 목표 해상도를 갖는 영상을 나타내는 상기 영상 데이터를 보정하는 윤곽 보정부를 추가로 포함할 수 있다.
이러한 구성에 따라, 고주파수 신호 성분의 레벨이 더욱 향상된다. 그 결과, 뛰어난 화질이 달성될 수 있다.
여기에서, 각 부분에서 상기 전하 혼합부는 상기 복수의 컬러 중 하나의 컬러 필터를 갖는 광전 변환 소자에 저장된 전하를 모두 혼합할 수 있고, 상기 복수의 컬러 중 하나에 대한 부분은 상기 컬러의 나머지의 각각에 대한 부분으로부터 벗어날 수 있다.
이러한 구성에 따라, 상이한 컬러를 갖는 화소가 전하 혼합의 결과 서로 근접하게 위치되지 않는다. 모든 컬러를 갖는 각 화소는 더욱 균등하게 배열되기 쉽다. 그 결과, 뛰어난 화질이 달성될 수 있다.
여기에서, L=4m+2 및 C=4n+2이고, 여기에서 m 및 n은 자연수이며, 상기 컬러 중 하나에 대한 부분은 상기 컬러의 나머지의 각각에 대한 부분으로부터 L/2행만큼, C/2열만큼, 또는 L/2행 및 C/2열만큼 벗어날 수 있다.
이러한 구성에 따라, 특정 컬러를 갖는 화소는 전하 혼합의 결과 사이한 컬러를 갖는 2개의 화소 사이의 정확히 중간에 위치한다. 따라서, 모든 컬러를 갖는 각 화소는 등간격으로 배열된다. 그 결과, 뛰어난 화질이 달성될 수 있다.
본 발명의 이들 목적, 이점 및 특징은 본 발명의 특정 실시예를 나타내는 첨부하는 도면과 관련하여 설명되는 이하의 설명으로부터 명백해질 것이다.
본 발명의 일 실시예에 관한 촬상 장치는 아래의 방법으로 목표 해상도를 갖는 영상을 나타내는 영상 데이터를 생성한다. 고체 촬상 소자내의 소정수의 화소의 각 그룹에 저장된 전하는 모두 혼합되어 그 결과로서의 전하를 획득한다. 따라서, 고체 촬상 소자는 고체 촬상 소자의 원래의 해상도보다 낮고 목표 해상도보다 높은 임시(tentative) 해상도를 갖는 영상을 나타내는 영상 데이터를 생성한다. 임시 해상도를 갖는 영상에서, 각 화소는 결과적인 전하로 나타난다. 이 후, 고체 촬상 소자는 임시 해상도를 갖는 영상 데이터에 줌 동작 및 윤곽 보정 동작을 실행하여 목표 해상도를 갖는 영상을 나타내는 영상 데이터를 생성한다.
이하의 부분은 첨부한 도면을 참조하여 본 발명의 실시예에 관한 촬상 장치를 설명한다.
(촬상 장치(30)의 구성)
도 1은 본 발명의 주제에 관련되는 촬상 장치(30)의 주요 부분의 구성을 일례로서 나타내는 기능 블록도이다.
고체 촬상 소자(31)는 복수의 광전 변환 소자가 반도체 기판에 2차원 행렬로 배치되는 방식으로 형성된다. 각 광전 변환 소자는 자신의 수광면에 복수의 서로 다른 컬러로부터 선택된 하나의 컬러의 컬러 필터를 갖는다. 또한, 각 광전 변환 소자는 구동부(32)로부터 전송된 구동 신호에 나타내는 기간 동안 피사체로부터 수광되는 광량을 전하로 변환한다.
고체 촬상 소자(31)는 각 광전 변환 소자에 저장된 전하를 판독하고, 판독한 전하에 대응하는 신호를 아날로그 프론트 엔드(33)에 출력한다. 다른 방법으로는, 고체 촬상 소자(31)는 전하를 모두 혼합하여, 그 결과로서의 전하를 획득하고, 광전 변환 소자의 행렬을 분할함으로써 형성되는 L행 C열의 각 부분에서 동일한 컬러의 컬러 필터를 갖는 광전 변환 소자로부터 판독하며(6L, 6C, L 및 C는 짝수), 각 부분에 대한 상기 결과로서의 전하를 판독하고, 상기 결과로서의 전하에 대응하는 신호를 아날로그 프론트 엔드(33)에 출력할 수 있다.
고체 촬상 소자(31)가 각 광전 변환 소자에서 전하를 판독할지 그 결과로서의 전하를 판독할지에 관해서는 구동부(32)로부터 전송되는 구동 신호에 따라 변화될 수 있다.
여기에서, L행 C열의 각 부분에 동일한 컬러의 컬러 필터를 갖는 화소의 수는 LC/4라고 가정한다. 결과로서의 전하를 판독하는 경우에, 고체 촬상 소자(31)는 각 광전 변환 소자에서 전하를 판독하는 경우에 비해, LC/4배 감도 및 LC/4배 해상도를 갖는다.
고체 촬상 소자(31)는 이후 상세하게 설명한다.
아날로그 프론트 엔드(33)는 고체 촬상 소자(31)로부터 수신된 신호에 대해 상관 이중 샘플링(CDS: correlated double sampling) 및 자동 이득 제어(AGC: auto gain control)를 실행한 후, 상기 신호를 디지털 신호로 변환한다.
영상 정보 생성부(35), 줌 및 윤곽 보정부(37), 제어부(38), 및 동기 신호 생성부(34)는 구체적으로 디지털 신호 프로세서(DSP), 중앙 처리 장치(CPU), 판독 전용 메모리(ROM) 등을 이용하여 실현된다. 상세하게는, 이들 각 부의 기능은 DSP 및 CPU가 ROM에 저장된 프로그램을 실행하는 방식으로 실현된다.
영상 정보 생성부(35)는 아날로그 프론트 엔드(33)로부터 수신된 디지털 신호를 메모리(36)에 의해 처리함으로써 영상 데이터를 생성한다. 영상 데이터는 휘도 및 컬러 차에 기초하여 촬영된 영상을 나타낸다. 영상 정보 생성부(35)는 생성된 영상 데이터를 메모리(36)에 저장한다. 메모리(36)는 예를 들어, 동기화 다이나믹 랜덤 액세스 메모리(SDRAM: synchronous dynamic random access memory)에 의해 실현된다.
줌 및 윤곽 보정부(37)는 상술한 특허 문헌 1에 개시되어 있는 영상 처리부를 포함한다. 메모리(36)에 저장된 영상 데이터를 판독한 후에, 줌 및 윤곽 보정부(37)는 영상 처리부가 판독된 영상 데이터에 대해 줌 동작 및 알려진 윤곽 보정 동작을 실행하게 하여, 목표 해상도를 갖고 윤곽부가 보정된 영상 데이터를 획득한다. 줌 및 윤곽 보정부(37)는 획득한 영상 데이터를 제어부(38)에 출력한다. 윤곽 보정 동작은 예를 들어, 휘도 기울기가 변화하는 위치에 위치하는 화소의 휘도를 휘도 기울기의 변화가 증가하도록 보정하는 필터를 이용하여 실행된다.
제어부(38)는 줌 및 윤곽 보정부(37)로부터 영상 데이터를 수신한다. 제어부(38)는 영상 데이터를 (도 1에 도시되지 않은) 다른 메모리에 저장하거나, 영상 데이터로 나타내는 영상을 (도 1에 도시되지 않은) 디스플레이부에 디스플레이한다.
(고체 촬상 소자(31))
고체 촬상 소자(31)는 일본 특허 출원 제2003-100187호(이하 "관련 출원"이라 함)에 개시되어 있는 발명을 기초로 한다. 이하에서는 관련 출원에 개시되어 있는 발명의 전형적인 실시예에 기초하여 고체 촬상 소자(31)를 설명한다. 설명을 간략히 하기 위해, 관련 출원에 사용된 것과 다른 용어가 본원과 관련 출원의 기술 내용의 동일성을 손상시키지 않는 범위 내에서 사용될 수 있다.
(컬러 필터 배열 패턴 및 전하 혼합의 부분의 예)
도 2는 광이 입사하는 방향에서 본 고체 촬상 소자(31)를 나타내는 개략도이다. 도 2는 고체 촬상 소자(31)의 일부만을 나타낸다. 고체 촬상 소자(31)는 복수의 광전 변환 소자(311, 312, 321, 322, …)가 반도체 기판 상에 2차원 행렬로 배치되는 방식으로 형성된다. 광전 변환 소자(311, 312, 321, 322)는 자신의 수광면에 황색(Y), 마젠타(M), 시안(C) 및 녹색(G)의 컬러 필터를 각각 갖는다. 이러한 컬러 필터 배열 패턴은 보색 필터 배열 패턴의 전형적인 예이다. 고체 촬상 소자(31)내의 각각의 광전 변환 소자는 이러한 배열 패턴에 따라 컬러 중 하나의 컬러 필터를 갖는다.
고체 촬상 소자(31)는 전하를 모두 혼합하여 광전 변환 소자에 저장되는 그 결과로서의 전하를 획득하고, 광전 변환의 결과로서 6행 6열의 각 부분에 동일한 컬러의 컬러 필터를 갖는 기능을 갖는다. 각 부분은 복수의 광전 변환 소자의 행렬을 분할하여 형성된다. 이하에서는 전하가 혼합되는 광전 변환 소자를 특정하기 위해 경계에 의해 한정되는 부분(이하 "전하 혼합 부분"이라 함)을 먼저 간략히 설명한 후, 전하 혼합 기능을 실현하기 위한 구성을 구체적으로 설명한다.
도 2에서, 일례로서, 황색, 마젠타, 시안 및 녹색의 6행 6열의 전하 혼합 부분이 각각 경계 Y, 경계 M, 경계 C 및 경계 G로 한정되어 있다. 도 2는 컬러에 대한 각 경계가 다른 전하 혼합 부분을 한정하는 경우를 나타낸다. 경계 Y는 경계 M으로부터 3행만큼 벗어나 있고, 경계 C로부터 3열만큼 벗어나 있으며, 경계 G로부터 3행 3열만큼 벗어나 있다.
경계 Y로 한정된 부분에서, 황색의 컬러 필터를 갖고 전하가 혼합된 9개의 광전 변환 소자가 실선에 의해 식별된다. 경계 Y내의 원은 경계 Y에 의해 한정된 부분에서 전하 혼합에 의해 획득되는 결과적인 전하로 표시되는 황색 화소의 위치를 나타낸다. 즉, 원은 전하가 모두 혼합되는 9개의 화소의 중심을 나타낸다.
다른 전하 혼합 부분에서, 전하 혼합에 의해 획득되는 결과적인 전하로 표시되는 화소의 위치만이 원으로 식별된다. 각각의 전하 혼합 부분에 대해서, 고체 촬상 소자(31)는 원으로 식별되는 광전 변환 소자에 저장된 전하와 원을 두른 소자와 동일한 컬러의 컬러 필터를 갖고 행, 열 및 대각선 방향에서 원을 두른 소자에 가장 가까이 위치되는 광전 변환 소자내의 전하를 모두 혼합한다.
전하 혼합에 의해 획득된 결과적인 전하로 표시되는 화소는 원래의 화소와 유사하게 2차원 행렬로 등간격으로 배치되고, 또한 원래의 화소와 동일한 컬러 필터 배열 패턴을 갖는다. 고체 촬상 소자(31)는 완전한 전하 혼합 부분을 형성할 수 없는 반도체 기판의 에지 가까이에 위치되는 광전 변환 소자를 제외하고, 고체 촬상 소자(31)내의 모든 광전 변환 소자에 전하 혼합을 실행한다.
도 2에 나타내는 경계, 실선 및 원은 설명을 위한 목적으로 제공된 것이지 고체 촬상 소자(31)의 구성으로서 반도체 기판 상에 물리적으로 형성되는 것은 아니다.
(구성 및 동작의 상세한 설명)
이하에서는 관련 출원에 개시되어 있는 발명의 전형적인 실시예에 기초하여 고체 촬상 소자(31)를 설명한다.
도 3은 일례로서, CCD 고체 촬상 소자에 의해 실현되는 고체 촬상 소자(31)에서 상술한 전하 혼합을 달성하기 위한 구체적인 구성을 나타낸다.
도 3에서, 광전 변환 소자(Y11, M12, C21 및 G22 …)는 각각 상술한 컬러 필터 배열 패턴에 따라 컬러 필터를 갖는다. 수직 CCD(VCCD 1, VCCD 2, …)가 행렬의 열과 1대1 대응하여 제공된다. 각 수직 CCD는 행렬의 행과 1대1로 대응하는 복수의 단으로 구성된다. 각 수직 CCD는 대응하는 광전 변환 소자의 각각으로부터 전하를 수신한다. 여기에서, 개별 전하는 그대로 전송되거나, 전송되는 동안 모두 혼합된다. 각 수직 CCD의 일단부에 수직 CCD(VCCD 1, VCCD 2, …)와 1대1 대응하여 연결 CCD(VCCD 1A, VCCD 2A, …)가 제공된다. 각 연결 CCD는 3개의 행에 대응하는 단으로 구성된다. 또한, 각 연결 CCD는 수직 CCD 중 대응하는 하나로부터 수평 CCD에 전하를 전송한다. 수평 CCD는 행렬의 열과 1대1로 대응하는 단으로 구성된다. 수평 CCD는 각각의 수직 CCD로부터 전하를 수신한다. 여기에서, 개별 전하는 그대로 전송되거나, 전송되는 동안 모두 혼합되어 그 결과로서의 전하를 획득하게 된다. 출력 증폭기(AMP)는 수평 CCD로부터 수신된 전하에 대응하는 전기 신호를 출력한다.
이러한 구성을 갖는 고체 촬상 소자(31)를 구동하기 위해, 구동부(32)는 동기 신호 생성부(34)의 제어 하에, 저장 신호, 판독 신호, 수직 전송 신호, 연결 전송 신호 및 수평 전송 신호를 고체 촬상 소자(31)에 전송한다.
고체 촬상 소자(31)는 모든 광전 변환 소자에 저장 신호를 동시에 전송하기 위한 배선을 갖는다. 광전 변환 소자는 각각 저장 신호의 수신 중에 피사체로부터 수신된 광을 전하로 변환하여, 전하를 저장한다.
판독 신호는 개별적으로 전송되는 제 1 판독 신호, 제 2 판독 신호 및 제 3 판독 신호를 포함한다. 고체 촬상 소자(31)는 3i번째 행(i는 자연수)의 모든 광전 변환 소자에 제 1 판독 신호를 동시에 전송하고, 3i-1번째 행(i는 자연수)의 모든 광전 변환 소자에 제 2 판독 신호를 동시에 전송하며, 3i-2번째 행(i는 자연수)의 모든 광전 변환 소자에 제 3 판독 신호를 동시에 전송하기 위한 배선을 갖는다. 제 1 내지 제 3 판독 신호 중 대응하는 하나가 수신될 때, 각 광전 변환 소자는 전하를 수직 CCD내의 대응하는 단에 전송한다.
수직 전송 신호는 개별적으로 전송되는 제 1 수직 전송 신호, 제 2 수직 전송 신호 및 제 3 수직 전송 신호를 포함한다. 고체 촬상 소자(31)는 3j번째 행(j는 자연수)의 모든 수직 CCD에 제 1 수직 전송 신호를 동시에 전송하고, 3j-1번째 행(j는 자연수)의 모든 수직 CCD에 제 2 수직 전송 신호를 동시에 전송하며, 3j-2번째 행(j는 자연수)의 모든 수직 CCD에 제 3 수직 전송 신호를 동시에 전송하기 위한 배선을 갖는다. 제 1 내지 제 3 수직 전송 신호 중 대응하는 하나가 수신될 때, 각 수직 CCD내의 각 단에 저장된 전하가 하향으로 1단 전송된다.
이하에서는 상술한 제어 신호를 참조하여 각 수직 CCD에 전송되는 동안 전하가 어떻게 혼합되는지를 설명한다.
먼저, 제 2 판독 신호가 전송될 때, 제 2 행, 제 5 행, 제 8 행, …의 광전 변환 소자에 저장된 전하가 각 수직 CCD의 대응하는 단에 각각 전송된다. 이 후, 제 1, 제 2 및 제 3 수직 전송 신호가 각각 2회 전송된다. 따라서, 각 수직 CCD에서 수신된 전하는 하향으로 2단 전송된다. 구체적으로 설명하면, 제 8 행의 광전 변환 소자로부터 수신된 전하는 각 수직 CCD내의 제 6 행에 대응하는 단에 전송되고, 제 5 행의 광전 변환 소자로부터 수신된 전하는 각 수직 CCD내의 제 3 행에 대응하는 단에 전송되었다.
제 1 판독 신호가 이어서 전송된다. 따라서, 제 3 행, 제 6 행, 제 9 행, …의 광전 변환 소자내의 전하는 각 수직 CCD내의 대응하는 단에 각각 전송된다. 이러한 방법으로, 제 8 행 및 제 6 행의 광전 변환 소자로부터 수신된 전하가 모두 혼합되어 각 수직 CCD내의 제 6 행에 대응하는 단에서 2개의 화소에 대한 전하를 획득하게 된다. 유사하게, 제 5 행 및 제 3 행의 광전 변환 소자로부터 수신된 전하가 모두 혼합되어 각 수직 CCD내의 제 3 행에 대응하는 단에서 2개의 화소에 대한 전하를 획득하게 된다.
이 후, 제 1, 제 2 및 제 3 수직 전송 신호가 각각 2회 전송된다. 따라서, 각 수직 CCD의 2개의 화소에 대한 전하는 하향으로 2단 전송된다. 그 후, 제 3 판독 신호가 전송되므로, 제 1 행, 제 4 행, 제 7 행, …의 광전 변환 소자내의 전하가 각 수직 CCD의 대응하는 단에 각각 전송된다. 이러한 방법으로, 제 8 행, 제 6 행 및 제 4 행의 광전 변환 소자로부터 수신된 전하가 모두 혼합되어, 각 수직 CCD의 제 4 행에 대응하는 단에서 3개의 화소에 대한 전하를 획득하게 된다. 유사하게, 제 5 행, 제 3 행 및 제 1 행의 광전 변환 소자로부터 수신된 전하가 모두 혼합되어, 각 수직 CCD의 제 1 행에 대응하는 단에서 3개의 화소에 대한 전하를 획득하게 된다.
이하에서는 다른 제어 신호를 설명한다.
연결 전송 신호는 개별적으로 전송되는 제 1 연결 전송 신호, 제 2 연결 전송 신호 및 제 3 연결 전송 신호를 포함한다. 고체 촬상 소자(31)는 3j번째 열(j는 자연수)의 모든 연결 CCD에 제 1 연결 전송 신호를 동시에 전송하고, 3j-1번째 열(j는 자연수)의 모든 연결 CCD에 제 2 연결 전송 신호를 동시에 전송하며, 3j-2번째 열(j는 자연수)의 모든 연결 CCD에 제 3 연결 전송 신호를 동시에 전송하기 위한 배선을 갖는다. 제 1 내지 제 3 연결 전송 신호 중 대응하는 하나가 수신될 때, 각 연결 CCD내의 각각의 단에 저장된 전하가 하향으로 1단 전송되고, 최하단의 전하를 수평 CCD의 대응하는 단에 전송한다.
고체 촬상 소자(31)는 수평 전송 신호를 수평 CCD에 전송하기 위한 배선을 갖는다. 수평 전송 신호가 수신될 때, 수평 CCD의 각각의 단의 전하가 좌향으로 1단 전송된다.
이하에서는 상술한 제어 신호를 참조하여 수평 CCD에 전송되는 동안 전하가 모두 어떻게 혼합되는지를 설명한다.
제 1, 제 2 및 제 3 수직 전송 신호와, 제 1, 제 2 및 제 3 연결 전송 신호는 각각 3회 전송된다. 따라서, 3개의 화소에 대한 전하가 각 연결 CCD의 최하단에 전송된다.
이 후, 제 2 연결 전송 신호가 수신될 때, 제 2 열, 제 5 열, 제 8 열, …의 각각의 연결 CCD의 최하단의 3개의 화소에 대한 전하가 수평 CCD의 대응하는 단에 전송된다. 그 후, 수평 전송 신호는 2회 전송되므로, 수평 CCD의 3개의 화소에 대한 수신된 전하가 좌향으로 2단 전송된다. 구체적으로 설명하면, 제 8 열에 대응하는 단에서 수신된 3개의 화소에 대한 전하는 수평 CCD의 제 6 열에 대응하는 단에 전송된다. 유사하게, 제 5 열에 대응하는 단에서 수신된 3개의 화소에 대한 전하는 수평 CCD의 제 3 열에 대응하는 단에 전송된다.
그 후, 제 1 연결 전송 신호가 수신될 때, 제 3 열, 제 6 열, 제 9 열, …의 각각의 연결 CCD의 최하단의 3개의 화소에 대한 전하가 수평 CCD의 대응하는 단에 전송된다. 따라서, 제 8 열 및 제 6 열의 연결 CCD로부터 3개의 화소에 대한 전하가 모두 혼합되어, 수평 CCD의 제 6 열에 대응하는 단에서 6개의 화소에 대한 전하를 획득하게 된다. 유사하게, 제 5 열 및 제 3 열의 연결 CCD로부터 3개의 화소에 대한 전하가 모두 혼합되어, 수평 CCD의 제 3 열에 대응하는 단에서 6개의 화소에 대한 전하를 획득하게 된다.
이 후, 수평 전송 신호가 다시 2회 전송된다. 따라서, 수평 CCD의 6개의 화소에 대한 전하가 좌향으로 2단 전송된다. 제 3 연결 전송 신호가 수신될 때, 제 1 열, 제 4 열, 제 7 열, …의 각각의 연결 CCD의 최하단의 3개의 화소에 대한 전하가 수평 CCD의 대응하는 단에 전송된다. 따라서, 제 8 열, 제 6 열 및 제 4 열의 연결 CCD로부터 3개의 화소에 대한 전하가 모두 혼합되어, 수평 CCD의 제 4 열에 대응하는 단에서 9개의 화소에 대한 전하를 획득하게 된다. 유사하게, 제 5 열, 제 3 열 및 제 1 열의 연결 CCD로부터 3개의 화소에 대한 전하가 모두 혼합되어 수평 CCD의 제 3 열에 대응하는 단에서 9개의 화소에 대한 전하를 획득하게 된다.
수평 CCD의 9개의 화소에 대한 전하는 출력 증폭기(AMP)를 통해 아날로그 프론트 엔드(33)에 출력된다.
상술한 바와 같이, 고체 촬상 소자(31)는 미리 정해진 각 행의 그룹에서 광전 변환 소자에 저장된 전하를 수직 CCD에 개별적으로 전송하고, 미리 정해진 각 열의 그룹에서 수직 CCD의 전하를 수평 CCD에 개별적으로 전송하는 특징적인 구성을 갖는다.
이러한 구성으로, 고체 촬상 소자(31)가 구동부(32)로부터 전송된 특징적인 제어 신호에 따라 각 수직 CCD 및 수평 CCD에 전하가 전송되는 동안 전하를 모두 혼합할 수 있다. 따라서, 고체 촬상 소자(31)는 전하를 모두 혼합하여 9개의 화소에 대한 결과적인 전하를 획득할 수 있고, 결과적인 전하를 하나의 화소로서 출력할 수 있다.
구동부(32)는 통상의 제어 신호를 전송할 수 있다. 통상의 제어 신호에 따라, 모든 행의 광전 변환 소자의 전하가 각 수직 CCD에 동시에 전송되고, 모든 열의 수직 CCD의 전하는 연결 CCD를 통해 수평 CCD에 동시에 전송된다. 그러한 경우, 고체 촬상 소자(31)는 각각의 광전 변환 소자에 저장된 전하를 하나의 화소로서 출력한다.
이로 인해, 고체 촬상 소자(31)의 원래의 해상도를 갖는 영상을 생성할 수 있다. 그러나, 이것은 고체 촬상 소자(31)의 원래의 해상도보다 낮은 해상도 및 뛰어난 화질로 영상을 생성하는 본 발명의 주제와 직접적인 관련이 없으므로, 상세한 설명은 생략한다.
수직 CCD, 연결 CCD 및 수직 CCD의 각 단은 복수의 게이트로 구성될 수 있다. 각 단이 2개의 게이트로 구성되는 경우, 제 1 내지 제 3 수직 전송 신호는 각각 2개의 게이트를 구동하는 상이한 위상의 2개의 제어 신호로 이루어지고, 각 수직 CCD는 상이한 위상의 6개의 제어 신호에 의해 구동된다. 또한, 수평 CCD는 상이한 위상의 2개의 제어 신호에 의해 구동된다.
각각의 컬러의 경계는 동일한 전하 혼합 부분, 또는 상이한 전하 혼합 부분을 규정할 수 있다. 또한, 전하 혼합에 의해 획득된 결과적인 전하로 표시되는 화소가 2차원 행렬에서 등간격으로 배치되지 않는 경우, 불균등한 배치를 보정하기 위한 필터가 사용될 수 있다.
각 컬러에 대한 전하 혼합 부분은 L행 C열을 가질 수 있고, 여기에서 L=4m+2, C=4n+2이며, m 및 n은 자연수이다. 또한, 컬러 중 하나에 대한 전하 혼합 부분을 규정하기 위한 경계는 다른 컬러의 경계로부터 L/2행만큼, C/2열만큼, 및 L/2행 C/2열만큼 벗어날 수 있다. 고체 촬상 소자(31)에 대한 상기 설명에서, m 및 n은 1로 설정된다. 즉, 전하 혼합 부분은 6행 6열이다. 또한, 경계 Y는 경계 M으로부터 3행만큼 벗어나 있고, 경계 C로부터 3열만큼 벗어나 있으며, 경계 G로부터 3행 3열만큼 벗어나 있다.
본 실시예에서는 컬러 필터 배열로 베이어 컬러 필터 배열을 사용할 수 있다. 컬러 필터 배열 패턴의 반복되는 부분은 4행 2열을 가질 수 있다. 이러한 반복되는 부분에서, 제 1행 제 1열 및 제 3행 제 2열의 광전 변환 소자는 동일한 컬러의 컬러 필터를 갖는다. 동일한 컬러 필터를 제 1행 제 2열 및 제 3행 제 1열의 광전 변환 소자, 제 2행 제 1열 및 제 4행 제 2열의 광전 변환 소자, 및 제 2행 제 2열 및 제 4행 제 1열의 광전 변환 소자에 적용한다. 다른 방법으로는, 컬러 필터 배열 패턴의 반복되는 부분이 2행 4열을 가질 수 있다. 이 경우에, 제 1행 제 1열 및 제 2행 제 3열의 광전 변환 소자는 동일한 컬러의 컬러 필터를 갖는다. 동일한 컬러 필터를 제 2행 제 1열 및 제 1행 제 3열의 광전 변환 소자, 제 1행 제 2열 및 제 2행 제 4열의 광전 변환 소자, 그리고 제 2행 제 2열 및 제 1행 제 4열의 광전 변환 소자에 적용한다.
구동부(32)는 제 1 내지 제 6 판독 신호 및 제 1 내지 제 6 연결 전송 신호를 개별적으로 고체 촬상 소자(31)에 전송할 수 있다. 여기에서, 고체 촬상 소자(31)는 6개의 연속적인 행의 광전 변환 소자에 각각 서로 다른 판독 신호를 전송하는 배선과, 6개의 연속적인 열의 연결 CCD에 각각 서로 다른 연결 전송 신호를 전송하는 배선을 가질 수 있다.
상술한 변형예는 관련 출원에서 상세히 설명하고 있으므로, 여기에서는 구체적으로 설명하지 않는다.
일본 특허 출원 제2003-018143호는 전하를 모두 혼합하여 9개의 화소에 대한 결과적인 전하를 획득하고, 금속 산화물 반도체(MOS) 고체 촬상 소자를 이용하여 결과적인 전하를 판독하는 구성을 개시한다. 고체 촬상 소자(31)는 이러한 구성을 이용하여 실현될 수 있다.
(주파수 특성의 비교)
아래의 부분은 일부 화소를 폐기하고 줌 동작을 실행하는 종래의 해상도 저감 기술과 비교할 때, 상술한 구성을 갖는 촬상 장치(30)가 영상을 더 높은 화질로 생성하는 것을 설명한다. 이러한 설명은 영상의 공간 주파수 특성의 비교에 기초하여 행해진다.
도 4는 3종류의 영상의 공간 주파수 특성을 나타내는 그래프이다. 공간 주파수는 수평축을 따라 도시되고, 영상에 포함되는 신호 성분의 레벨은 수직축을 따라 도시된다. 이 후, 공간 주파수는 간단히 주파수라고 한다.
풀 화소 주파수 특성은 영상의 주파수 성분을 고체 촬상 소자(31)의 원래의 해상도로 나타낸다. 그러한 영상에서, 하나의 화소는 고체 촬상 소자(31)의 각각의 광전 변환 소자에 저장된 전하로 표시된다.
도 4에서, f0은 고체 촬상 소자(31)의 원래의 해상도에 대응하는 나이퀴스트 주파수를 나타낸다. 고체 촬상 소자(31)는 샘플링에 의해 생성된 얼라이어싱 노이즈를 소거하는 광학 필터를 포함한다. 이러한 필터는 f0을 초과하는 주파수 성분을 소거한다.
화소 혼합 주파수 특성은 화소 혼합 영상의 주파수 성분을 나타낸다. 화소 혼합 영상에서, 각 화소는 고체 촬상 소자(31)의 원래의 해상도에 의해 9개의 화소에 대한 결과적인 전하로 표시된다. 9개의 화소에 대한 결과적인 전하는 상술한 구성에 기초하여 전하를 모두 혼합함으로써 획득된다.
화소 혼합 주파수 특성과 비교하여, 화소 폐기 주파수 특성은 화소 폐기 영상의 주파수 성분을 나타낸다. 화소 폐기 영상에서, 각 화소는 동일한 컬러의 컬러 필터를 갖는 9개의 광전 변환 소자 중 하나에 저장된 전하로 표시된다. 그러한 9개의 광전 변환 소자는 고체 촬상 소자(31)내의 광전 변환 소자의 행렬에서, 행방향 및 열방향으로 3×3 연속적으로 배열된다. 나머지 8개의 광전 변환 소자에 저장된 전하는 폐기되거나 판독되지 않는다.
화소 혼합 영상 및 화소 폐기 영상은 모두 고체 촬상 소자(31)의 원래의 해상도의 1/9인 임시 해상도를 갖는다. 도 4에서, f0/3은 임시 해상도에 대응하는 나이퀴스트 주파수를 나타낸다. 샘플링 정리에 따라, f0/3을 초과하는 주파수의 신호 성분은 임시 해상도를 갖는 영상의 얼라이어싱 노이즈로 나타나므로, 화질을 열화시킨다.
도 4에 나타내는 바와 같이, 화소 폐기 영상은 화소 혼합 영상보다 화질이 열화된 f0/3을 초과하는 신호 성분을 더 많이 갖는다. 그 이유는 아래에 설명한다. 전하 혼합을 실행하기 위해, 서로 인접한 다수의 화소내의 전하가 서로 혼합된다. 이러한 프로세스는 공간 저역 통과 필터(LPF)의 작용을 수반한다. 그러나, 화소를 폐기하는 프로세스는 공간 저역 통과 필터의 작용을 야기하지 않으므로, f0/3을 초과하는 신호 성분을 소거할 수 없다.
도 5는 줌 및 윤곽 보정부(37)에 의해 실행되는 줌 동작을 나타내는 개략도이다. 줌 동작은 특허 문헌 1에 구체적으로 개시되어 있으므로, 여기에서는 그 특징을 중점적으로 간략하게만 설명한다.
도 5는 리샘플링(resampling)에 의해 예를 들어, 인접한 원래의 화소 사이의 간격의 5/4 길이를 갖는 간격으로 배열되는 새로운 화소를 생성하는 줌 동작을 나타낸다. 도 5에서, 상부측의 백색 원은 원래의 화소를 나타내고, 하부측의 흑색 원은 리샘플링에 의해 생성되는 새로운 화소를 나타낸다. 리샘플링에 의해 생성되는 새로운 화소의 위치(이하 화소 위치라고 함)는 (A) 원래의 화소의 위치와 동일하거나, (B) 2개의 인접한 원래의 화소 사이의 간격의 1/4만큼 원래의 화소로부터 떨어져 있거나, 또는 (C) 2개의 인접한 원래의 화소 사이의 중간에 있다.
리샘플링은 각 화소 위치의 근방의 5개의 원래의 화소를 상기 경우 (A), (B) 및 (C) 중 대응하는 경우에 고유한 계수(도 5에서 A0 내지 A4, B0 내지 B4 또는 C0 내지 C4)로 승산하고, 승산 결과를 서로 혼합함으로써 실행된다.
상기 특허 문헌 1은 상이한 화소 위치에 관계없이 비교적 균등한 주파수 특성을 달성하는 계수를 선택하는 기준과, 원래의 화소를 특정 화소 위치에 대응하는 계수로 승산하고 승산 결과를 서로 혼합하기 위해 테이블에 계수를 미리 저장하는 구성을 개시한다.
도 6은 줌 동작에 의해 획득되는 이득의 주파수 특성을 일례로서 나타내는 그래프이다. 도 6에서, f는 리샘플링에 의해 달성되는 목표 해상도에 대응하는 나이퀴스트 주파수를 나타낸다. 임시 해상도에 대응하는 나이퀴스트 주파수 f0/3를 참고로 도 6에 나타내고 있다. 도 6은 상술한 (A), (B) 및 (C)의 경우의 각각의 주파수 특성인 특성 A, B 및 C를 일례로서 나타낸다. 주파수 f에서의 이득은 특성 A, B 및 C의 순서로 작아지고, 특성 C에 대한 최소 이득도 주파수 f에서 0은 아니다.
이러한 줌 동작에 따라, 화소 위치의 차이로 인한 주파수 특성의 변화가 감소되므로, 뛰어난 화질이 달성된다.
도 7은 혼합/크기 조정된 영상과 폐기/크기 조정된 영상의 각각의 주파수 특성을 나타내는 그래프이다. 혼합/크기 조정된 영상과 폐기/크기 조정된 영상은 화소 혼합 영상 및 화소 폐기 영상에 줌 동작을 실행함으로써 각각 얻어진다.
혼합/크기 조정된 영상 및 폐기/크기 조정된 영상의 주파수 특성은 도 4에 나타내는 화소 혼합 주파수 특성 및 화소 폐기 주파수 특성을 도 6에 나타내는 줌 동작의 결과로서의 주파수 특성으로 승산함으로써 각각 얻어진다. 상술한 바와 같이, 상이한 화소 위치에 대응하는 줌 동작의 결과로서의 다수의 종류의 이득의 주파수 특성이 존재한다. 이러한 승산에서, 이해를 쉽게 하기 위해 각 주파수의 최소값이 사용된다.
도 8은 혼합/크기 조정된 영상 및 폐기/크기 조정된 영상에 윤곽 보정 동작을 실행함으로써 각각 얻어지는 혼합/크기 조정/윤곽 보정된 영상 및 폐기/크기 조정/윤곽 보정된 영상의 각각의 주파수 특성을 나타내는 그래프이다.
상기 설명으로 알 수 있는 바와 같이, 화소 혼합 영상, 혼합/크기 조정된 영상 및 혼합/크기 조정/윤곽 보정된 영상의 그룹을 화소 폐기 영상, 폐기/크기 조정된 영상 및 폐기/크기 조정/윤곽 보정된 영상의 그룹과 비교할 때, 앞의 그룹의 영상이 목표 해상도에 대응하는 나이퀴스트 주파수를 초과하는 더 낮은 레벨의 신호 성분 및 열화된 화질을 갖는다. 이것은 본 발명의 실시예에 관한 촬상 장치(30)가 일부 화소를 폐기하는 종래의 해상도 저감 기술과 비교할 때, 영상을 더 높은 화질로 생성하는 것을 나타낸다.
목표 해상도에 대응하는 나이퀴스트 주파수 f에서의 신호 성분은 촬상 장치(30)에 의해 얻어진 혼합/크기 조정/윤곽 보정된 영상에서 0이 되지 않는다.
이러한 특징은 화소 혼합에 의해 목표 해상도보다 높은 임시 해상도를 갖는 영상을 생성하는 고체 촬상 소자를 이용함으로써 달성된다. 구체적으로 설명하면, 고체 촬상 소자는 목표 해상도보다 높은 임시 해상도를 갖는 화소 혼합 영상을 생성한다. 그 후, 고체 촬상 소자는 줌 동작을 실행함으로써, 목표 해상도에 대응하는 주파수 f에서의 최소 이득도 0이 되지 않으며, 화소 혼합 영상에 윤곽 보정 동작을 실행하여 목표 해상도를 갖는 혼합/크기 조정/윤곽 보정된 영상을 얻는다.
고체 촬상 소자가 화소 혼합에 의해 목표 해상도와 동일한 해상도를 갖는 영상을 생성한다고 가정한다. 그러한 고체 촬상 소자에서, 영상을 목표 해상도로 실행하기 위해 줌 동작은 실행될 수 없다. 이 경우에, 목표 해상도를 갖는 영상에 목표 해상도에 대응하는 주파수 f에서의 신호 성분을 유지하는 것은 불가능하다.
이러한 고체 촬상 소자에 의해 얻어진 화소 혼합 영상과 본 발명의 실시예에 관한 촬상 장치(30)에 의해 얻어진 혼합/크기 조정/윤곽 보정된 영상은 동일한 해상도를 갖는다. 그러나, 혼합/크기 조정/윤곽 보정된 영상은 주파수 f의 근방에서 더 높은 레벨의 고주파수 성분을 갖는다.
이것은 본 발명의 실시예에 관한 촬상 장치(30)가 목표 해상도를 갖는 영상을 생성할 수 있고, 목표 해상도에 대응하는 주파수 f에서의 신호 성분을 유지하므로, 뛰어난 고주파수 특성을 갖는 것을 나타낸다. 이들 효과는 촬상 장치(30)가 화소 혼합에 의해 목표 해상도보다 더 높은 해상도를 갖는 영상을 생성하는 고체 촬상 소자를 사용하기 때문에, 얻어질 수 있다.
이상과 같이, 본 발명에 의하면, 고체 촬상 소자의 원래의 해상도보다 낮은 해상도를 갖고 화질이 뛰어난 영상을 생성하는 촬상 장치를 얻을 수 있다.
도 1은 촬상 장치(30)의 주요 부분의 구성을 일례로서 나타내는 기능 블록도이다.
도 2는 광이 입사하는 방향에서 본 (도 1에 나타낸) 고체 촬상 소자(31)의 개략도이다.
도 3은 전하 결합 소자(CCD: charge-coupled device) 고체 촬상 장치에 의해 실현되는 고체 촬상 소자(31)의 구성을 일례로서 나타내는 도면이다.
도 4는 풀 화소(full-pixel) 영상, 화소 혼합(pixel-addition) 영상 및 화소 폐기(pixel-discard) 영상의 각각의 주파수 특성을 나타내는 그래프이다.
도 5는 줌 동작을 나타내는 개략도이다.
도 6은 줌 동작의 결과로서의 주파수 특성을 일례로서 나타내는 그래프이다.
도 7은 혼합/크기 조정된 영상 및 폐기/크기 조정된 영상의 각각의 주파수 특성을 나타내는 그래프이다.
도 8은 혼합/크기 조정/윤곽 보정 영상 및 폐기/크기 조정/윤곽 보정 영상의 각각의 주파수 특성을 나타내는 그래프이다.
<도면의 주요 부분에 대한 부호의 설명>
30 : 촬상 장치 31 : 고체 촬상 소자
32 : 구동부 33 : 아날로그 프론트 엔드
34 : 동기 신호 생성부 35 : 영상 정보 생성부
36 : 메모리 37 : 줌 및 윤곽 보정부
38 : 제어부
Claims (4)
- 촬상 장치의 원래의 해상도보다 낮은 목표 해상도를 갖는 영상을 나타내는 영상 데이터를 생성하는 촬상 장치로서,2차원 행렬로 배열되어, 수광면에 복수의 컬러로부터 선택되는 미리 정해진 컬러의 컬러 필터를 각각 갖고, 광전 변환에 의해 전하를 각각 저장하는 복수의 광전 변환 소자와,상기 행렬의 L행 및 C열의 각 부분에 대해(여기에서, 6L, 6C이고, L 및 C는 짝수), 상기 부분에서 동일한 컬러의 컬러 필터를 갖는 광전 변환 소자에 저장된 전하를 모두 혼합하여 결과적인 전하를 획득하는 전하 혼합부와,상기 행렬의 L행 및 C열의 모든 부분에 대해 결과적인 전하를 판독하는 판독부와,상기 판독한 결과적인 전하에 기초하여 원래의 해상도보다 낮은 임시 해상도를 갖는 영상을 나타내는 영상 데이터를 생성하는 영상 데이터 생성부와,상기 임시 해상도를 상기 목표 해상도로 저감하고, 상기 목표 해상도를 갖는 영상을 나타내는 영상 데이터를 생성하기 위해 상기 임시 해상도를 갖는 영상을 줌하는 줌부를 포함하며,상기 복수의 광전 변환 소자의 수는 상기 임시 해상도가 상기 목표 해상도와 동일하게 되는데 필요한 광전 변환 소자의 수보다 큰 것을 특징으로 하는 촬상 장치.
- 제 1 항에 있어서,상기 영상의 윤곽부를 강조하기 위해, 상기 목표 해상도를 갖는 영상을 나타내는 상기 영상 데이터를 보정하는 윤곽 보정부를 추가로 포함하는 것을 특징으로 하는 촬상 장치.
- 제 1 항에 있어서,각 부분에서, 상기 전하 혼합부는 상기 복수의 컬러 중 하나의 컬러 필터를 갖는 광전 변환 소자에 저장된 전하를 모두 혼합하고,상기 복수의 컬러 중 하나에 대한 부분은 상기 컬러의 나머지의 각각에 대한 부분으로부터 벗어나 있는 것을 특징으로 하는 촬상 장치.
- 제 3 항에 있어서,L=4m+2 및 C=4n+2이고, 여기에서 m 및 n은 자연수이며,상기 컬러 중 하나에 대한 부분은 상기 컬러의 나머지의 각각에 대한 부분으로부터 L/2행만큼, C/2열만큼, 또는 L/2행 및 C/2열만큼 벗어나 있는 것을 특징으로 하는 촬상 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2003-00341987 | 2003-09-30 | ||
| JP2003341987A JP2005109994A (ja) | 2003-09-30 | 2003-09-30 | 撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050031911A true KR20050031911A (ko) | 2005-04-06 |
Family
ID=34373478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040076287A KR20050031911A (ko) | 2003-09-30 | 2004-09-23 | 촬상 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7457486B2 (ko) |
| JP (1) | JP2005109994A (ko) |
| KR (1) | KR20050031911A (ko) |
| CN (1) | CN1312901C (ko) |
| TW (1) | TW200515801A (ko) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4468052B2 (ja) * | 2004-04-08 | 2010-05-26 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
| JP2006019950A (ja) * | 2004-06-30 | 2006-01-19 | Toshiba Corp | 映像信号処理装置及び映像信号処理方法 |
| JP4433981B2 (ja) | 2004-10-29 | 2010-03-17 | ソニー株式会社 | 撮像方法および撮像装置 |
| US8274715B2 (en) | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
| JP4682070B2 (ja) * | 2006-03-23 | 2011-05-11 | Ｈｏｙａ株式会社 | 画像信号処理装置 |
| TWI437872B (zh) * | 2006-05-22 | 2014-05-11 | Fujitsu Semiconductor Ltd | 影像處理系統 |
| US7916362B2 (en) * | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
| KR100809345B1 (ko) | 2006-06-16 | 2008-03-05 | 삼성전자주식회사 | 영상 생성 장치 및 방법 |
| KR100843087B1 (ko) * | 2006-09-06 | 2008-07-02 | 삼성전자주식회사 | 영상 생성 장치 및 방법 |
| JPWO2009037817A1 (ja) * | 2007-09-19 | 2011-01-06 | パナソニック株式会社 | 輪郭補正装置、輪郭補正方法、映像表示装置 |
| JP5054583B2 (ja) * | 2008-03-17 | 2012-10-24 | 株式会社リコー | 撮像装置 |
| JP5247279B2 (ja) * | 2008-07-17 | 2013-07-24 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
| JP2012169830A (ja) * | 2011-02-14 | 2012-09-06 | Sony Corp | 画像処理装置、画像処理方法、および電子機器 |
| WO2014030390A1 (ja) * | 2012-08-23 | 2014-02-27 | 富士フイルム株式会社 | 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5828406A (en) * | 1994-12-30 | 1998-10-27 | Eastman Kodak Company | Electronic camera having a processor for mapping image pixel signals into color display pixels |
| JP4140077B2 (ja) * | 1998-02-18 | 2008-08-27 | ソニー株式会社 | 固体撮像素子の駆動方法及び固体撮像素子、並びにカメラ |
| US6992714B1 (en) * | 1999-05-31 | 2006-01-31 | Canon Kabushiki Kaisha | Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement |
| JP3940530B2 (ja) * | 1999-08-12 | 2007-07-04 | セイコーエプソン株式会社 | 固体撮像装置及びその駆動方法 |
| JP3545979B2 (ja) * | 1999-11-30 | 2004-07-21 | シャープ株式会社 | 輪郭補正装置 |
| US7148926B2 (en) * | 2001-05-15 | 2006-12-12 | Matsushita Electric Industrial Co., Ltd. | Image sensing apparatus and signal processing method therefor |
| JP4523200B2 (ja) * | 2001-06-15 | 2010-08-11 | パナソニック株式会社 | 画像処理装置 |
| JP3950655B2 (ja) * | 2001-09-06 | 2007-08-01 | 富士フイルム株式会社 | 撮像装置 |
| US7292274B2 (en) * | 2001-11-06 | 2007-11-06 | Eastman Kodak Company | Solid-state image pickup device driving method and image capturing apparatus for outputting high-resolution signals for still images and moving images of improved quality at a high frame rate |
| DE10156629A1 (de) * | 2001-11-17 | 2003-05-28 | Philips Corp Intellectual Pty | Anordnung von Steuerelementen |
| US7257278B2 (en) * | 2003-02-26 | 2007-08-14 | Hewlett-Packard Development Company, L.P. | Image sensor for capturing and filtering image data |
| JP3877695B2 (ja) | 2003-04-03 | 2007-02-07 | 松下電器産業株式会社 | カラー固体撮像装置 |
-
2003
- 2003-09-30 JP JP2003341987A patent/JP2005109994A/ja active Pending
-
2004
- 2004-07-21 CN CNB2004100707076A patent/CN1312901C/zh not_active Expired - Fee Related
- 2004-08-31 TW TW093126194A patent/TW200515801A/zh unknown
- 2004-09-23 KR KR1020040076287A patent/KR20050031911A/ko not_active Application Discontinuation
- 2004-09-30 US US10/952,862 patent/US7457486B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005109994A (ja) | 2005-04-21 |
| TW200515801A (en) | 2005-05-01 |
| CN1604613A (zh) | 2005-04-06 |
| CN1312901C (zh) | 2007-04-25 |
| US20050068426A1 (en) | 2005-03-31 |
| US7457486B2 (en) | 2008-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4475665B2 (ja) | 固体撮像装置 | |
| US6133953A (en) | Color camera having a single imaging element and capable of restricting unwanted false color signal | |
| US9100604B2 (en) | Electric camera | |
| JP4658401B2 (ja) | 撮像装置 | |
| US5077810A (en) | Distributed digital signal processing system using standard resolution processors for a high resolution sensor | |
| EP2211554B1 (en) | Image processing device, image processing method, and image processing program | |
| JP5128207B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
| JP3946492B2 (ja) | 低解像度イメージの生成方法 | |
| KR20110117268A (ko) | 촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 촬상장치 | |
| JP4600315B2 (ja) | カメラ装置の制御方法及びこれを用いたカメラ装置 | |
| KR20050031911A (ko) | 촬상 장치 | |
| US8111298B2 (en) | Imaging circuit and image pickup device | |
| JP3664231B2 (ja) | カラー画像処理装置 | |
| JP3854662B2 (ja) | 撮像装置 | |
| US6429953B1 (en) | Super resolution scanning using color multiplexing of image capture devices | |
| JPH09238355A (ja) | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 | |
| JP4294810B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP3609606B2 (ja) | 単板式カラーカメラ | |
| US7470881B2 (en) | Solid-state imaging device including plural groups of photoelectric conversion devices with plural microlenses being shifted in a peripheral portion of the imaging device, and imaging apparatus including the imaging device | |
| JP2003101815A (ja) | 信号処理装置及び信号処理方法 | |
| JP3123415B2 (ja) | 単板カラー固体撮像装置 | |
| WO2013100097A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
| JP4232485B2 (ja) | 読出アドレス制御方法および装置、並びに半導体システムおよび撮像デバイス | |
| JP4825311B1 (ja) | 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置 | |
| US20220103766A1 (en) | Image sensing device and operating method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |