KR19980042697A - 보간 기능을 갖는 영상 픽업 장치 - Google Patents

보간 기능을 갖는 영상 픽업 장치 Download PDF

Info

Publication number
KR19980042697A
KR19980042697A KR1019970062344A KR19970062344A KR19980042697A KR 19980042697 A KR19980042697 A KR 19980042697A KR 1019970062344 A KR1019970062344 A KR 1019970062344A KR 19970062344 A KR19970062344 A KR 19970062344A KR 19980042697 A KR19980042697 A KR 19980042697A
Authority
KR
South Korea
Prior art keywords
sample information
color
color filter
pixels
interpolation
Prior art date
Application number
KR1019970062344A
Other languages
English (en)
Other versions
KR100517391B1 (ko
Inventor
시게토시 노다
Original Assignee
이데이 노부유키
소니(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유키, 소니(주) filed Critical 이데이 노부유키
Publication of KR19980042697A publication Critical patent/KR19980042697A/ko
Application granted granted Critical
Publication of KR100517391B1 publication Critical patent/KR100517391B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

본 발명은 R-G 영상이 내부 메모리에서 조합되고 DSP에서 백색 균형 조정이 행해진 영상 데이터 (R), (G), 및 (B)가 공급되는 적응성 보간(adaptive interpolation) 회로를 이용함으로서 적절한 가격으로 고해상도의 영상을 구하는 것을 가능하게 한다. 적응성 보간 회로는 수직 방향, 수평 방향, 및 대각선 방향에서 상관관계 정도를 계산한다. 가장 큰 상관관계 정도를 갖는 방향에서의 R-G 영상에 따라 보간이 실행되면, LPF 처리는 실행되지 않는다. 즉, 상술된 방향과 직교하여 교차되는 방향에서는 해상도 변형이 발생되지 않는다. 그러므로, 적응성 보간회로는 보간되는 부분 주위에서 영상 데이터의 상관관계에 따라 보간을 실행함으로서 해상도를 증진시키는 것을 가능하게 한다.

Description

보간 기능을 갖는 영상 픽업 장치
본 발명은 보간(interpolation)을 통해 픽업(pickup) 영상 데이터의 해상도를 증가시키는 신호 처리 장치에 관한 것이다.
종래에는 단일 칼라 CCD를 이용한 단일 플래이트(single-plate)형 비디오 카메라가 공지되어 있다. 그러나, 도 1에 도시된 바와 같이 G-체커(checker) R/B 선 순차 방법의 CCD 출력에는 앨리어싱(aliasing)이 발생된다.
또한, 2개 및 3개 CCD가 사용되는 2-플레이트형 및 3-플래이트형 비디오 카메라가 공지되어 있다. 그러나, 다수의 CCD를 사용하는 것은 많은 비용이 들고 복잡한 장치 구성을 요구한다.
또한, 다른 위치에서 구해진 다수의 프레임(frame) 영상을 조합시키도록 두형태소(bimorph) 등에 의해 CCD 위치를 워블(wobble) 시킴으로서 높은 해상도를 얻는 기술이 공지되어 있다. 그러나, 이 방법은 또한 너무 많이 복잡하다는 문제점을 갖는다.
그러므로, 본 발명의 목적은 픽업된 영상 데이터의 보간을 통해 높은 해상도의 영상을 구하는 것을 가능하게 하는 신호 처리 장치를 제공하는 것이다.
본 발명은 매트릭스 상태로 배열된 다수의 픽셀(pixel)을 갖고, 각 픽셀이 수신된 빛에 따른 샘플 정보를 출력하는 영상 픽업 소자; 수평 방향에서 다수의 샘플 정보의 상관관계 값, 수직 방향에서 다수의 샘플 정보의 상관관계 값, 및 대각선 방향에서 다수의 샘플 정보의 상관관계 값을 검출하도록 영상 픽업 소자의 각 픽셀로부터 출력된 샘플 정보로 구성되는 프레임내에서 기준 샘플 부근에 위치하는 다수의 픽셀로부터의 샘플 정보를 근거로 하는 상관관계값 검출 수단; 및 기준 샘플 위치에 대한 보간을 실행하도록 상관관계값 검출 수단에 의해 검출된 가장 큰 상관관계 값을 갖는 방향으로 위치하는 픽셀의 샘플 정보를 근거로 하는 보간 수단을 구비하는 영상 픽업 장치를 제공한다.
본 발명의 또 다른 특성에 따라, 각 픽셀에 의해 수신된 빛의 양에 따라 샘플 정보를 출력하는 영상 픽업 소자에 제공되고 매트릭스 상태로 배열된 다수의 픽셀로부터 출력된 샘플 정보를 구성되는 프레임내에서 기준 샘플 위치를 근거로 보간을 실행하고, 보간은 기준 샘플 위치 주의에서 픽셀의 샘플 정보에 따라 실행되고, 기준 샘플 위치 부근에서 다수의 픽셀 위치의 샘플 정보에 따라 수직 방향에서 다수의 샘플 정보의 상관관계 값, 수평 방향에서 다수의 샘플 정보의 상관관계 값, 및 대각선 방향에서 다수의 샘플 정보의 상관관계 값을 검출하는 상관관계 값 검출 수단, 및 상관관계 값 검출 수단에 의해 검출된 가장 큰 상관관계 값을 갖는 방향으로 위치하는 픽셀의 샘플 정보에 따라 기준 샘플 위치에 대한 보간을 실행하는 보간 수단을 구비하는 신호 처리 장치가 또한 제공된다.
본 발명의 또 다른 특성에 따라, 각 픽셀이 수신된 빛의 양에 따라 샘플 정보를 출력하고 매트릭스 상태로 배열된 다수의 픽셀을 갖는 영상 픽업 소자로부터 출력된 샘플 정보로 구성되는 프레임내에서 기준 샘플 위치 부근에 위치하는 다수의 픽셀로부터의 샘플 정보에 따라 보간을 실행하는 보간 방법이 제공되고, 여기서 기준 샘플 위치 부근에서 위치하는 다수의 픽셀로부터의 샘플 정보에 따라 수직 방향에서 다수의 샘플 정보의 상관관계 값, 수평 방향에서 다수의 샘플 정보의 상관관계 값, 및 대각선 방향에서 다수의 샘플 정보의 상관관계 값을 기준 샘플 위치에 대해 검출함으로서, 검출된 가장 큰 상관관계 값을 갖는 방향으로 위치하는 픽셀의 샘플 정보에 따라 기준 샘플 위치에대해 보간이 실행된다.
도 1 은 종래의 저역 통과 필터 등을 이용할 때 발생되는 앨리어싱(aliasing) 을 설명하는 도면.
도 2 는 본 발명의 제 1 실시예에 따른 영상 픽업 장치 구성의 블록도.
도 3 은 체커(checker) 형태로 상술된 영상 픽업 장치 중 CCD 영상 센서의 배열을 도시하는 도면.
도 4 는 R-G 영상 데이터가 내부 메모리에 조합될 때의 상태를 도시하는 도면.
도 5 는 R-G 영상 데이터의 휘도 신호 정보 항목의 배열을 도시하는 도면.
도 6 은 적응성 보간을 설명하는 흐름도.
도 7 은 적응성 보간을 설명하는 흐름도.
도 8 은 적응성 보간을 설명하는 흐름도.
도 9 는 분산도에 따라 적응성 보간을 실행할때 R 및 G 상태의 설명에 사용되는 도면.
도 10은 보간 처리를 실행한 이후에 R-G 영상 및 휘도 신호 Y의 배열을 도시하는 도면.
도 11 은 고주파수 성분의 휘도 신호(YH)가 발생될 때의 상태를 도시하는 도면.
도 12 는 본 발명의 제 2 실시예에 따른 영상 픽업 장치의 구성을 도시하는 블록도.
도 13 은 본 발명의 제 3 실시예에 따른 영상 픽업 장치의 구성을 도시하는 블록도.
도 14 는 본 발명의 제 4 실시예에 따른 영상 픽업 장치의 구성을 도시하는 블록도.
도 15 는 상술된 픽업 장치 중 CCD 영상 센서의 실효 충전 축적 주기를 설명하는 타이밍도.
도 16 은 상술된 영상 픽업 장치 중 적응성 보간부에 구성을 도시하는 블록도.
도 17 은 상술된 영상 픽업 장치 중 영상 조합부의 구성을 도시하는 블록도.
도 18a 내지 도 18d 는 영상 데이터의 신호 레벨 상태를 도시하는 도면.
도 19 는 상술된 영상 픽업 장치 중 또 다른 영상 조합부의 구성을 도시하는 블록도.
도 20a 내지 도 20d는 영상 데이터의 신호 레벨 상태를 도시하는 도면.
도 21 은 본 발명의 제 6 실시예에 따른 영상 픽업 장치의 구성을 도시하는 블록도.
도 22 는 상술된 영상 픽업 장치 중 CCD 영상 센서의 픽셀 배열을 도시하는 도면.
도 23a 내지 도 23b는 적응성 보간 회로에 저장된 영상 데이터 (R) 및 (G)의 배열과 보간된 휘도 신호(T)의 배열을 도시하는 도면.
도 24 는 적응성 보간 회로에서 적응성 보간을 설명하는 도면.
도 25a 는 종래 영상 데이터의 스펙트럼 특징을 도시하는 도면.
도 25b 는 적응성 보간된 영상 데이터의 스펙트럼 특징을 도시하는 도면.
*도면의 주요 부분에 대한 부호의 설명*
10 : 영상 픽업 장치11 : CCD 영상 센서
12 : CCD 드라이버13 : CDS/AGC 회로
14 : A/D 변환기15 : DSP
18 : 버퍼 메모리19 : 적응성 보간 회로
22 : 가산기 회로23 : 비디오 인코더
이제는 첨부된 도면을 참고로 본 발명의 실시예에 대해 설명이 주어진다.
본 발명의 제 1 실시예에 따른 영상 픽업 장치는 예를 들면, 단일 CCD(charge coupled device) 영상 센서로부터 구해진 각 신호에 대한 픽셀 사이의 보간에 의해 발생된 고주파수 휘도 성분을 합성함으로서 고해상도를 구하는 것을 가능하게 하는 단일 플래이트형이다.
도 2 는 CCD 드라이버(12)에 의해 구동되는 단일 플래이트 CCD 영상 센서(11); 서로 관련된 이중 샘플링/자동 이득 제어기(CDS/AGC) 회로(13); A/D 변환기(14); 디지탈 신호 처리기(DSP)(15); 저역 통과 필터(LPF)(17); 버퍼 메모리(18); 적응성 보간 회로(19); 고역 통과 필터(HPF)(20); 버퍼 메모리(21); 가산기 회로(22) ; 및 오디오 인코더(23)를 포함하는 제 1 실시예에 따른 영상 픽업 장치(10)를 도시한다.
CCD 영상 센서(11)는 예를 들면, 도 3에 도시된 바와 같이 적색(R) 픽셀, 녹색(G) 픽셀, 및 청색(G) 픽셀의 체커 배열로 구성된 진행 주사형이다. CCD 영상 센서는 물체로부터 입사광을 수신하면 CDS/AGC 회로(13)로 공급하도록 입사광에 따라 칼라 신호 (R), (G), 및 (B)를 발생한다.
CDS/AGC 회로(13)는 각 칼라 신호에 대해 예비충전(precharge) 레벨과 데이터 레벨을 샘플링-유지하고, 무작위 잡음을 제거하기 위해 정확한 신호 레벨을 검출하도록 차이를 검출하고, 또한 항상 안전된 신호 레벨의 픽업 신호를 출력하도록 각 신호의 강도에 따라 CDS/AGC 회로 자체의 이득을 자동적으로 제어한다.
A/D 변환기(14)는 샘플링 펄스에 따라 구동되고 CDS/AGC 회로(13)로부터의 각 칼라 신호를 DSP(15)에 공급되는 디지탈 신호로 변환시키도록 설계된다.
DSP(15)는 각 칼라 데이터에 대해 Y-정정과 같은 소위 디지탈 신호 처리와 니(knee) 처리를 실행하고, 구해진 3가지 주요 칼라의 칼라 신호를 LPF(17) 및 적응성 보간 회로(19)로 공급한다.
LPF(17)는 각 칼라 신호 (R), (G), 및 (B) 및 고주파수 성분을 절단하고, 저주파수 성분의 칼라 데이터 (RL), (GL), 및 (BL) 을 버퍼 메모리(18)를 통해 가산기 회로(22)에 공급한다.
한편, 적응성 보간 회로(19)는 칼라 신호 (R), (G), 및 (B)로부터 국부 픽셀 상관관계를 계산하고, 고해상도의 휘도 신호를 구하도록 상관관계를 최대로 하는 픽셀로 보간을 실행한다.
여기서, 적응성 보간 회로(19)에는 DSP(15)에서 백색 균형 조정이 행해져 도 4에 도시된 바와 같이 R 영상과 G 영상이 조합된 칼라 신호 (R), (G), 및 (B)가 공급된다. 칼라 신호 (R)과 칼라 신호(G)는 거의 동일한 신호 레벨을 갖도록 백색 균형 조정에서 조정되기 때문에, 도 4에서 점선으로 둘러싸인 3 × 3 부근에서 칼라 신호 (R) 및 (G) 의 휘도 신호(Y)에 대한 정보에 관심을 두면, 휘도 신호(Y1) 내지 (Y9) 는 도 5에 도시된 바와 같이 배열되는 것으로 가정될 수 있다.
상관관계 (S)는 특정한 방향의 픽셀열 (Yn)에 대해 다음과 같이 정의될 수 있다.
S = min(Yn)/max(Yn)
S ≤1 이고 최대 상관관계는 σ=1 일때 구해짐을 주목한다.
상관관계가 수직, 수평, 및 입사 방향에 대해 각각 계산되고, 보간이 상관관계를 최대로 하는 방향에서 실행되면, 그 신호에는 보강 방향과 직교하여 교차하는 방향에서 LPF 처리가 행해지지 않고, 그에 따라 직교 방향에서의 해상도가 변형되지 않게 된다. 다른 말로 하면, 해상도는 상관관계에 따라 보간을 실행함으로써 개선될 수 있다.
이러한 보간을 실행하기 위해, 적응성 보간 회로(19)는 단계(S1)로 시작되어 도 6의 단계를 실행한다.
단계(S1)에서, 적응성 보간 회로(19)는 도 4의 R-G 영상을 구하도록 칼라신호 (R) 및 (G) 만을 내부 메모리(19a)로 인출하고, 제어는 단계(S2)로 전해진다.
단계(S2)에서, 포인터(pointer)는 초기 영상 보간점에 설정되고, 제어는 단계(S3)로 전해진다.
단계(S3)에서, 적응성 보간 회로(19)는 수직 방향의 상관관계(a)를 계산한다. 여기서, 수직 상관관계(a)는 다음과 같은 식에 따라 계산된다.
a = min(Yn)/max(Yn)
min(Yn) = mim(Y1, Y4, Y7) * min(Y2, Y8) * min(Y3, Y6, Y9)
max(Yn) = max(Y1, Y4, Y7) * max(Y2, Y8) * max(Y3, Y6, Y9)
적응성 보간 회로(19)는 변수 X에 계산된 a 를 대입하고, 이 변수 X에 대응하는 플래그에 A를 설정한다. 제어는 단계(S4)로 전해진다.
단계(S4)에서, 적응성 보간 회로(19)는 다음과 같은 식에 따라 수평 상관관계 b를 계산하고, 제어는 단계(S5)로 전해진다.
b = min(Yn)/max(Yn)
min(Yn) = mim(Y1, Y2, Y3) * min(Y4, Y5) * min(Y7, Y8, Y9)
max(Yn) = max(Y1, Y2, Y3) * max(Y4, Y5) * max(Y7, Y8, Y9)
단계(S5)에서, 적응성 보간 회로(19)는 수평 상관관계에 대한 수직 상관관계의 비교를 위해 값 X가 상관관계(b)보다 더 큰가 여부를 검출한다. X가 더 크면, 제어는 단계(S7)로 전해지고, X가 더 크지 않으면 제어는 단계(S6)로 전해진다.
단계(S6)에서, 적응성 보간 회로(19)는 변수 X에 상관관계(b) 를 대입하고, B에 플래그를 설정한 후 제어를 단계(S7)로 전한다.
단계(S7)에서, 적응성 보간 회로는 다음과 같은 식에 따라 상단 좌측에서 하단 우측으로 연결된 방향(제 1 대각선 방향이라 칭하여지는)으로 상관관계 c 를 계산하고, 제어는 단계(S8)로 전해진다.
c = min(Yn)/max(Yn)
min(Yn) = mim(Y2, Y6) * min(Y4, Y8)
max(Yn) = max(Y2, Y6) * max(Y4, Y8)
단계(S8)에서, 적응성 보간 회로(19)는 변수 X가 값 c 보다 더 큰가 여부를 검출한다. 변수 X가 값 c 보다 더 크면, 제어는 도 7에 도시된 바와 같이 단계(S10)로 전해지고, 변수 X가 값 c 보다 더 크지 않으면, 제어는 단계(S9)로 전해진다.
단계(S9)에서, 적응성 보간 회로(19)는 변수 X에 상관관계(c)의 값을 대입하고, C에 플래그를 설정한 후 제어를 단계(S10)로 전한다.
단계(S10)에서, 적응성 보간 회로(19)는 다음과 같은 식에 따라 하단 좌측에서 상단 우측으로 연결된 방향(제 2 대각선 방향이라 칭하여지는)의 상관관계 d 를 계산하고, 제어는 단계(S11)로 전해진다.
d = min(Yn)/max(Yn)
min(Yn) = mim(Y2, Y4) * min(Y6, Y8)
max(Yn) = max(Y2, Y4) * max(Y6, Y8)
단계(S11)에서, 적응성 보간 회로(19)는 상관관계가 변수 X 보다 더 큰가 여부를 검출한다. 변수 X가 더 크면, 제어는 단계(S13)로 전해지고, X가 더 크지 않으면, 제어는 단계(S12)로 전해진다.
단계(S12)에서, 적응성 보간 회로(19)는 변수 X에 상관관계(d)의 값을 대입하고, 제어를 단계(S13)로 전한다.
단계(S13)에서, 적응성 보간 회로(19)는 변수 X에 대해 설정된 플래그가 A인가 여부를 결정한다. 플래그가 A이면, 수직 방향의 보간이 실행되고 (단계 S14), 플래그가 A가 아니면, 제어는 단계(S15)로 전해진다. 단계(S14)에서, 적응성 보간 회로(19)는 (Y2 + Y8)/2와 같이 Y5에 대해 수직 방향으로 휘도 신호(Y)의 평균을 계산하여 보간을 실행한다.
단계(S15)에서, 적응성 보간 회로(19)는 플래그가 B인가 여부를 검출한다. 플래그가 B이면 수평 방향의 보간이 실행되고 (단계 S16), 플래그가 B가 아니면, 제어는 단계(S17)로 전해진다. 단계(S16)에서, 적응성 보간 회로(19)는 (Y4 + Y6)/2와 같이 Y5에 대해 수평 방향으로 휘도 신호의 평균을 계산하여 수평 방향의 보간을 실행한다.
단계(S17)에서, 적응성 보간 회로(19)는 플래그가 CD인가 여부를 검출한다. 플래그가 C이면, 제 1 대각선 방향의 보간이 실행되고 (단계 S18), 플래그가 C가 아니면, 제어는 단계(S19)로 전해진다. 단계(S18)에서, 적응성 보간 회로(19)는 (Y1 + Y9)/2와 같이 Y5에 대해 제 1 대각선 방향으로 휘도 신호(Y)의 평균을 계산하여 대각선 방향의 보간을 실행한다.
단계(S19)에서, 적응성 보간 회로(19)는 플래그가 D인가 여부를 검출한다. 플래그가 D인 것으로 발견되면, 제 2 대각선 방향의 보간이 실행되고 (단계 S20), 플래그가 D가 아니면, 제어는 단계(S21)로 전해진다. 단계(S20)에서, 적응성 보간 회로(19)는 (Y3 + Y7)/2와 같이 Y5에 대해 제 2 대각선 방향으로 휘도 신호(Y)의 평균을 계산하여 이 대각선 방향의 보간을 실행한다.
단계(21)에서, 적응성 보간 회로(19)는 다음의 영상 보간점에 포인터를 설정하고, 제어를 단계(S22)로 전한다.
단계(S22)에서, 적응성 보간 회로(19)는 포인터가 최종 영상 보간점에 설정되었나 여부를 검출한다. 포인터가 최종 영상 보간점에 설정된 것으로 발견되면, 보간이 종료된다. 포인터가 최종 영상 보간점에 설정되지 않았으면, 제어는 단계(S3) 이후의 영상 보간을 실행하도록 단계(S3)로 복귀한다.
설명된 바와 같이, 적응성 보간 회로(19)는 주위의 픽셀의 상관관계를 구하고 a 내지 h를 설정하여 최적의 적응성 보간을 실행하는 것을 가능하게 하도록 다음과 같이 적응성 보간을 나타낼 수 있다.
Y5 = aY1 + bY2 + cY3 + dY4 + eY6 + fY7 + gY8 + hY9
상관관계 대신에, 픽셀간의 유사성에 따라 계산되는 것이 가능함을 주목하여야 한다.
단계(S18) 및 단계(S20)에서는 도 8에 도시된 서브루틴이 실행된다.
단계(S31)에서, 적응성 보간 회로(19)는 포인터 부근에서 칼라 신호 (R)의 분산도(σ)를 계산한다.
같은 칼라의 분산도(σ)는 국부 주변에서 평균값으로부터의 차이 분산을 나타낸다. 예를 들어 분산도(σ)가 작으면, 그 칼라의 상관관계는 어느 방향에서도 동일하고 적응성 보간의 효과가 얻어지지 않는다. 즉, σR이 작으면, 칼라 신호 (R)를 사용하지 않고, 칼라 신호 (G)에 대해 수직 및 수평 방향의 적응성 보간을 실행하는 것으로 충분하다.
여기서, 분산도(σ)가 다음과 같이 정의되면:
σ color = min(칼라의 모든 픽셀)/max(칼라의 모든 픽셀),
도 9의 경우는 다음과 같이 표시된다:
σR = min(R1, R2, R3, R4)/max(R1, R2, R3, R4)
단계(S32)에서, 적응성 보간 회로(19)는 분산도(σ)가 소정의 값 보다 더 큰가 여부를 검출한다. 분산도가 소정의 값 보다 더 크면, 제어는 단계(S33)로 전해지고, 더 크지 않으면, 제어는 단계(S34)로 전해진다.
단계(S33)에서, 적응성 보간 회로(19)는 다음과 같이 대각선 방향의 보간을 실행한다. 단계(S18)로부터의 처리가 실행되면, 제 1 대각선 방향의 보간이 실행된다. 단계(S20)로부터의 처리가 실행되면, 제 2 대각선 방향의 보간이 실행되고, 서브루틴을 종료한다.
한편, 단계(S32)에서 분산도(σ)가 소정의 값 보다 더 크지 않은 것으로 발견되면, 제어는 단계(S3)에서 계산된 상관관계 a 를 갖는 수직 방향이나 단계(S4)에서 계산된 상관관계 b를 갖는 수평 방향으로 적응성 보간 회로(19)가 보간을 실행하는 단계(S34)로 전해진다. a가 b보다 더 크면, 수직 보간이 실행되고, a가 b보다 더 작으면, 수평 보간이 실행되고, 서브루틴을 종료한다.
즉, 적응성 보간 회로(19)에서는 분산도(σ)가 클 때 대각선 방향의 보간이 실행되고, 분산도(σ)가 작을 때는 칼라 (R)의 상관관계가 어느 방향에서도 거의 동일하여 적응성 보간의 효과가 크지 않으므로, R을 사용하지 않고 단지 최고의 주파수를 갖는 G의수평 방향 또는 수직 방향의 보간만이 주어진다. 다른 말로 하면, 분산도(σ)가 작을 때는 칼라 영상의 R 과 G의 다른 레벨의 적응성 보간 사이에서 약간의 차이를 제거하기 위해 최고의 주파수 및 최고의 레벨을 갖는 G로만 보간이 실행되므로, 더 높은 해상도의 영상을 구하는 것이 가능하다.
상술된 바와 같은 처리로 휘도 신호(Y)가 보간될 때, 적응성 보간 회로(19)는 도 10에 도시된 휘도 신호(Y)와 칼라 신호 (R) 및 (G) 를 HPF(20)로 공급한다.
HPF(20)는 도 11에 도시된 바와 같은 더 높은 주파수 성분의 휘도 신호(YH)를 생성하도록 적응성 보간 회로(19)에 의해 구해진 휘도 신호로부터 저주파수 성분을 절단하고, 이 고주파수 휘도 신호(YH)를 버퍼 메모리(21)를 통해 가산기 회로(22)로 공급한다.
가산기 회로(22)는 각 칼라 신호 (RL), (GL), 및 (BL)의 저주파수 성분을 고주파수 성분 휘도 신호(YH)와 조합하여, 높은 해상도의 칼라 신호 (R), (G), 및 (B)를 출력한다. 더욱이, 비디오 인코더(23)는 가산기 회로(22)에서 발생된 고해상도의 칼라 신호 (R), (G), 및 (B)를 외부 모니터 장치(도시되지 않은)로 공급되도록 예를 들어, NTSC(National Television System Committee)형의 비디오 신호로 부호화한다.
상술된 바와 같이, 본 실시예에 따른 영상 픽업 장치(10)에서는 칼라 필터 배열로부터 R 및 G 픽셀의 적응성 보간을 실행함으로서, 수직 및 수평 방향 뿐만 아니라 대각선 방향으로 해상도를 개선시키는 것이 가능하다. 더욱이, 장치가 단일 플래이트형이기 때문에, 컴팩트 싸이즈의 장치가 저가로 이용가능하고, 그럼에도 불구하고 픽셀 쉬프트(shift) 기계와 같이 분리된 기계를 사용하지 않고 3CCD형과 동일한 고해상도를 구하는 것이 가능하다. 더욱이, 픽셀 쉬프트 기계 등을 이용하지 않고 고해상도를 구하는 것이 가능한 영상 픽업 장치(10)에서는 전자 셔터(electronic shutter)를 사용하는 것이 가능하다. 영상 픽업 장치(10)는 진행 주사형의 CCD 영상 센서(11)를 사용하고, 그에 따라 개인용 컴퓨터 모니터 장치 등에 적절한 비비월(non-interlace) 영상을 구하는 것이 가능하다.
이제는 본 발명의 제 2 실시예에 대한 설명이 주어진다. 제 1 실시예에서와 같은 회로는 같은 기호로 나타내어지고 그에 대한 설명은 생략됨을 주목한다. 이와 같은 내용은 이후 기술될 다른 실시예에서도 적용된다.
도 12 는 영상 픽업 블록(30A)과 컴퓨터 블록(30B)으로 구성된 제 2 실시예에 따른 영상 픽업 장치(30)의 블록도이다. 영상 픽업 블록(30A)에서 구해진 칼라 신호 (R), (G), 및 (B)에는 컴퓨터 블록(30B)의 소프트웨어에 의한 적응성 보간이 행해진다.
예를 들어, 도 12에 도시된 바와 같은 영상 픽업 블록(30A)은 CCD 영상 센서(11); CCD 영상 센서(11)를 구동하는 CCD 구동기(12); CCD 영상 센서로부터의 각 칼라 신호에 대해 서로 관련된 이중 샘플링 및 이득 제어를 실행하는 CDS/AGC 회로(13); CDS/AGC 회로(13)로부터의 각 칼라 신호를 디지탈화하는 A/D 변환기(14); A/D 변환기로부터의 디지탈화된 칼라 신호에 디지탈 신호 처리를 실행하는 DSP(15); 및 DSP(15)로부터의 칼라 신호를 비디오 신호로 변환하는 비디오 인코더(23)를 포함한다. 이들 회로는 제 1 실시예에서와 같은 기능을 갖는다.
더욱이, 영상 픽업 블록(30A)에는 DSP(15)로부터의 각 신호에 단순화된 보간을 실행하는 단순화 보간 회로(31)와, 보간된 칼라 신호가 출력도도록 컴퓨터 블록(30B)에 DSP(15)로부터의 칼라 신호를 전송하기 위한 소정의 신호 변환을 실행하는 개인용 컴퓨터 인터페이스(이후, PC 인터페이스라 칭하여지는)(32)가 제공된다. 영상 픽업 블록(30A)은 각 칼라 신호를 양방향성 버스(33)를 컴퓨터 블록(30B)에 전송하고 컴퓨터 블록(30B)으로부터 제어 신호를 수신하도록 배열된다.
한편, 컴퓨터 블록(30B)은 양방향성 버스(33)를 통해 각 칼라 신호가 전송되고 개인용 컴퓨터에서 사용되기에 양호한 개인용 컴퓨터(PC) 인터페이스(34); 프로 그램 등을 저장하는 하드 디스크 드라이브(HDD) 메모리(35); PC 인터페이스(34)로 부터의 각 칼라 신호에서 고주파수 성분을 절단하는 LPF(17); LPF(17)로부터의 각 칼라 신호를 저장하는 버퍼 메모리(18); PC 인터페이스(34)로부터의 각 칼라 신호에 적응성 보간을 실행하는 적응성 보간 회로(19); 적응성 보간 회로(19)로부터의 각 칼라 신호에서 저주파수 성분을 절단하는 HPF(20); HPF(20)로부터의 휘도 신호(YH)를 저장하는 버퍼 메모리(21)와 버퍼 메모리(21)로부터의 신호를 합산하는 가산기 회로(22); 및 가산기 회로(22)로부터의 각 칼라 신호를 모니터(50)로 출력하는 가속기(36)를 포함한다.
상술된 구성을 갖는 영상 픽업 장치(30)에서, CCD 영상 센서(11)는 CDS/AGC 회로(13)와 A/D 변환기(14)를 통해 DSP(15)로 공급되는 칼라 신호 (R), (G), 및 (B)를 발생한다. DSP(15)로부터의 출력은 비디오 인코더(23)에 의해 비디오 신호로 변환되고 VBS(video, burst, sync) 신호 또는 휘도/색차 신호 (Y/C)로 출력된다. 더욱이, DSP(15)의 출력에는 단순화 보간 회로(31)에서 단순화된 보간이 행해져 칼라 신호로 출력되거나 PC 인터페이스(32)를 통해 컴퓨터 블록(30B)에 전송된다.
컴퓨터 블록(30B)에서, PC 인터페이스(34)는 각 칼라 신호를 적응성 보간 회로(19)와 LPF(17)로 공급한다. LPF(17)는 각 칼라 신호로부터 고주파수 성분을 제거하고, 칼라 신호를 버퍼 메모리(18)를 통해 가산기 회로(22)에 공급한다.
적응성 보간 회로(19)는 상술된 단계(S1) 내지 (S22) 및 단계(S31) 내지 (S34)를 실행함으로서 적응성 보간을 실행하고, 도 10에 도시된 휘도 신호(Y)와 각 칼라 신호 (R), (G), 및 (B)를 HPF(20)로 공급한다. HPF(20)는 휘도 신호(Y)와 각 칼라 신호에서 저주파수 성분을 제거하고, 구해진 고주파수의 휘도 신호(YH)를 버퍼 메모리(21)를 통해 가산기 회로(22)를 공급한다.
가산기 회로(22)는 고주파수의 휘도 신호(Y)를 버퍼 메모리(19)로부터의 각 칼라 신호 (RL), (GL), 및 (BL)에 합산하고, 발생된 고해상도의 칼라 신호 (R), (G), 및 (B)를 가속기(36)를 통해 모니터(50)로 공급한다.
기술된 바와 같이, 제 2 실시예에 따른 영상 픽업 장치(30)에서 적응성 보간이 개인용 컴퓨터내에의 소프트웨어에 의해 실행되어, 영상 픽업 블록(30A)의 크기 및 무게를 줄일 뿐만 아니라 영상 픽업 블록(30A)을 대치하지 않고 소프트웨어를 개정하는 것을 가능하게 한다. 더욱이, 칼라 필터 배열로부터 R 및 G 픽셀에 대한 적응성 보간을 실행함으로서, 수직 및 수평 방향 뿐만 아니라 대각선 방향으로 해상도를 개선하는 것이 가능하다. 더욱이, 단일 CCD를 사용하는 상술된 영상 픽업 장치(30)는 적절한 가격에서 컴팩트 싸이즈로 이용가능하고, 이와 동시에 고해상도를 얻고 전자 셔터를 사용하는 것을 가능하게 한다. 또한, 영상 픽업 장치(30)가진 진행 주사형 CCD 영상 센서(11)를 사용하기 때문에, 개인용 컴퓨터 모니터 등에 양호한 비비월 영상을 구하는 것이 가능하다.
이제는 본 발명에 제 3 실시예에 대한 설명이 주어진다.
제 3 실시예에 따른 영상 픽업 장치(60)는 정지 영상 카메라에서 사용되는데 유리하다. 도 13에 도시된 바와 같이, 영상 픽업 장치(60)는 카메라 헤드 유닛(CHU)에서 양호하게 사용될 수 있는 영상 픽업 블록(60A)에서 메인 회로의 픽업 순간에만 동작되고 컴퓨터 블록(60B)으로부터 픽업 요구가 이루어지지 않을 때는 대기 모드에 유지되므로, 전기 에너지를 절약하게 된다.
예를 들어 도 13에 도시된 바와 같이, 영상 픽업 블록(60A)은 CCD 영상 센서(11); CCD 영상 센서(11)로부터의 각 칼라 신호에 서로 관련되는 이중 샘플링을 실행하는 CDS 회로(13a); CDS 회로(13a)로부터의 각 칼라 신호의 이득을 제어하는 AGC 회로(13b); AGC 회로(13b)로부터의 각 칼라 신호에서 고주파수 성분을 제거하는 LPF(61); LPF(61)로부터의 각 칼라 신호를 디지탈화하는 A/D 변환기(14); A/D 변환기로부터의 각 칼라 신호에 소정의 신호 변환을 실행하는 개인용 컴퓨터 인터페이스(32); CCD 영상 센서(11)를 구동시키도록 판독 펄스 등을 발생하는 타이밍 발생기(62); 홍채 제어 회로(63)에 따라 홍채를 조정하는 렌즈 블록(64)을 포함한다.
CCD 영상 센서(11)에는 효과적인 충전 축적 주기(전자 셔터 싸이클)를 제어하도록 타이밍 발생기(62)로부터 전자 셔터 펄스가 공급된다. 여기서, 전자 셔터 싸이클이 정지 영상 픽업에 대해 단일 프레임이나 수 개의 프레임의 주기로 설정되면 문제가 없다. 타이밍 발생기(62)는 저주파수로 클럭을 CCD 영상 센서(11)에 공급한다.
PC 인터페이스(32)는 컴퓨터 블록(60B)으로부터의 픽업 모드 요구에 따라 메인 회로의 기능을 on 시키고, 대기 모드 요구에 따라 PC 인터페이스(32)를 포함하는 메인 회로의 기능을 off 시킨다. 결과적으로, 영상 픽업 블록(60A)은 대기 모드에서 전력 소모를 억제하므로, 전기 에너지를 절약하게 된다.
컴퓨터 블록(60B)은 개인용 컴퓨터 인터페이스(34); 프로그램 등을 저장하는 HDD 메모리; 개인용 컴퓨터 인터페이스(34)로부터의 각 칼라 신호에 소정의 신호 처리를 실행하는 신호 처리 회로(65); 신호 처리 회로(65)로부터의 각 칼라 신호에서 고주파수 성분을 제거하는 LPF(17); LPF(17)로부터의 각 칼라 신호를 저장하는 버퍼 메모리(18); 개인용 컴퓨터 인터페이스(34)로부터의 각 칼라 신호에 적응성 보간을 실행하는 적응성 보간 회로(19); 적응성 보간 회로(19)로부터의 각 칼라 신호에서 저주파수 성분을 제거하는 HPF(20); HPF(20)로부터의 각 칼라 신호를 저장하는 버퍼 메모리(21); 버퍼 메모리(18)와 버퍼 메모리(21)로부터의 신호를 합산하는 가산기 회로(22); 가산기 회로(22)로부터의 각 칼라 신호를 모니터(50)로 출력하는 가속기(36); 및 영상 픽업 블록(60A)에 전력을 공급하는 전력원 회로(66)를 포함한다.
영상 픽업 블록(60A)의 모드 스위칭은 컴퓨터 블록(60B)내의 카메라 제어 소프트웨어가 동작되는 동안에 키보드 동작을 통해 실행된다. 즉, 영상 픽업 블록(60A)에 제공되는 전자 셔터 제어, 홍채 제어, 및 대기 모드 제어는 컴퓨터 블록(60B)에 의해 실행된다. 영상 픽업 블록(60A)으로부터의 각 칼라 신호에 실행되는 적응성 보간 및 디지탈 신호 처리는 또한 컴퓨터 블록(60B)내의 적응성 보간 회로(19)와 신호 처리 유닛(65)에 의해 실행된다.
상술된 구성을 갖는 영상 픽업 장치(60)에서는 컴퓨터 블록(60B)으로부터의 제어에 따라 장치가 대기 모드로 설정될 때, 영상 픽업 장치(60A)에는 전력원 회로(66)부터 전력이 공급되지 않아 개인용 컴퓨터 인터페이스(32)를 포함하는 메인 회로의 기능이 종료된다.
전력원 회로(66)로부터의 전력 공급으로 영상 픽업 블록(60A)이 픽업 모드로 설정될 때, 메인 회로의 기능은 동작을 시작한다. 이때, 예를 들면, 컴퓨터 블록(60B)은 키보드 동작을 통한 입력에 따라 PC 인터페이스(32)와 홍채 제어 회로(63)를 통해 홍채를 조정할 수 있다.
더욱이, 컴퓨터 블록(60B)이 영상 픽업 블록(60A)에 영상 픽업 요구를 전송할때, CCD 영상 센서(11)는 단일 프레임 주기 또는 수개의 프레임 주기인 전자 셔터 싸이클 동안 구해진 각 칼라 신호를 CDS 회로(13a), AGC 회로(13b) 등을 통해 PC 인터페이스(32)로 공급한다. PC 인터페이스(32)는 각 칼라 신호에 소정의 신호변환 처리를 실행하고, 이어서 양방향성 버스(33)를 통해 PC 인터페이스(34)로 공급한다.
컴퓨터 블록(60B)에서, 신호 처리 회로(65)는 PC 인터페이스(34)로부터의 칼라 신호 각각에 디지탈 신호 처리를 실행하고, 구해진 칼라 신호를 LPF(17)를 통해 가산기 회로(22) 및 적응성 보간 회로(19)로 공급한다. 신호 처리 회로(65)로부터의 각 칼라 신호 (R), (G), 및 (B)에서, 적응성 보간 회로(19)는 높은 해상도의 휘도 신호(Y)를 발생하여, HPF(22)를 통해 가산 회로(22)로 공급한다. 가산 회로(22)는 출력하도록 각 칼라 신호 (RL), (GL), 및 (BL)를 높은 해상도의 휘도 신호(YH)와 조합한다. 그래서, 높은 해상도의 칼라 신호 (R), (G), 및 (B)가 발생되어 가속기(36)를 통해 모니터(50)로 공급된다.
상술된 바와 같이, 제 3 실시예에 따른 영상 픽업 장치(60)는 픽업 동작 동안에만 영상 픽업 블록(60A)을 동작시키고, 대기 모드에 있을 때는 픽업 블록(60A)에서 메인 회로의 기능을 종료하므로, 전력을 절약하는 것을 가능하게 한다. 더욱이, 영상 픽업 장치(60)는 적응성 보간 뿐만 아니라 컴퓨터 블록(60B)내의 소프트웨어 처리를 통해 니(knee) Y-정정과 같은 디지탈 신호 처리를 실행하므로, 그에 따라 영상 픽업 블록(60A)은 크기 및 무게가 줄어들 수 있고 상술된 스프트웨어가 개정될 때는 대치될 필요가 없다. 더욱이, 칼라 필터 배열로부터 R 및 G 픽세로 적응성 보간을 실행함으로서, 수직 및 수평 방향 뿐만 아니라 대각선 방향으로 행상도를 개선하는 것이 가능하다. 상술된 영상 픽업 장치(60)는 단일 플레이트형으로, 그에 따라 적절한 가격에서 컴팩트 싸이즈로 이용가능하고, 픽셀 쉬프트 기계 등을 이용하지 않고 고해상도를 구하는 것을 가능하게 한다.
이제는 제 4 실시예에 따른 영상 픽업 장치에 대한 설명이 주어진다. 제 4 실시예에 따른 영상 픽업 장치는 두 픽업 소자를 사용해 동적 범위를 확대하여, 고해상도의 영상을 구하는 것을 가능하게 한다.
도 4 는 제 4 실시예에 따른 영상 픽업 장치(80)의 구성예를 도시하는 블록도로, 픽업광의 초점을 조정하는 픽업 렌즈(81); 픽업광의 칼라 분리를 위한 광학 필터(82), 반경(half mirror) 블록(83); 반경 블록(83)을 통해 픽업광을 도입하는 CCD 영상 센서(84)와 (86); CCD 영상 센서(84)로부터의 픽셀 신호에 적응성 보간을 실행하는 적응성 보간 부(85); CCD 영상 센서(86)로부터의 픽셀 신호에 적응성 보간을 실행하는 적응성 보간부(87); 적응성 보간부(85)와 (87)로부터의 칼라 신호를 합성하는 영상 조합부(88); 영상 조합부(88)에서 조합된 각 칼라 신호를 소정의 비디오 신호로 변환시키는 비디오 인코더(89); 및 전체적인 장치를 제어하는 시스템 제어기(90)를 포함한다.
여기서, CCD 영상 센서(84) 및 (86)은 예를 들면, 도 3에 도시된 바와 같이 적색 픽셀(R), 녹색 픽셀(G), 및 청색 픽셀(B)이 체커 배열로 각각 배열된 진행 주사형이다.
도 15에 도시된 바와 같이, CCD 영상 센서(84)에서, 실효 충전 축적 주기(전자 셔터 기능에 유리한)는 CCD 영상 센서(86)에서 보다 더 짧은 값으로 설정된다. 결과적으로, CCD 영상 센서(84)는 CCD 영상 센서(86)와 비교해 전체적으로 더 낮은 신호 레벨의 칼라 신호를 출력한다.
여기서, 적응성 보간부(85)와 적응성 보간부(87)는 동일한 구성을 갖는다. 도 16에 도시된 바와 같이, 적응성 보간부(85) 및 (87) 각각은 CCD 영상 센서(84), (86)로부터의 각 칼라 신호에 서로 관련된 이중 샘플링을 실행하는 CDS/AGC 회로(13); CDS/AGC 회로(13)로부터의 각 칼라 신호를 디지탈화하는 A/D 변환기(14); 및 A/D 변환기(14)에 의해 디지탈화된 각 칼라 신호에 디지탈 신호 처리를 실행하는 DSP(15)를 포함한다.
적응성 보간부(85) 및 (87) 각각은 또한 DSP(15)로부터 공급된 각 칼라 신호에서 고주파수 성분을 제거하는 LPF(17); LPF(17)로부터의 각 칼라 신호를 저장하는 버퍼 메모리(18); DSP(15)로부터의 각 칼라 신호에 적응성 보간을 실행하는 적응성 보간 회로(19); 적응성 보간 회로(19)로부터의 각 칼라 신호에서 저주파수 성분을 제거하는 HPF(20); HPF(20)로부터의 각 칼라 신호를 저장하는 버퍼 메모리(21); 및 버퍼 메모리(18)와 버퍼 메모리(21)로부터의 칼라 신호를 합산하는 가산기 회로(22)를 포함한다.
영상 조합부(88)에는 도 17에 도시된 바와 같이 LPF(91), 레벨 비교기(92), 및 적응성 보간부(85)로부터의 더 낮은 신호 레벨의 각 칼라 신호 및 적응성 보간부(87)로부터의 정상적인 신호 레벨의 각 칼라 신호를 선택적으로 출력하는 스위칭 회로(93)가 제공된다.
LPF(91)는 적응성 보간부(85)로부터 공급된 영상 데이터에서 불필요한 고주파수 성분을 제거하고, 구해진 칼라 신호를 레벨 비교기(92)로 공급한다.
레벨 비교기(92)는 각 칼라 신호의 레벨(HD1)을 한계값 레벨(Th), 즉 도 18a 에 도시된 바와 같은 동적 범위의 한계에 비교한다. 이 한계값 레벨을 넘으면, 영상은 백색-크러쉬(white-crushed)된 종류이다. 도 18b에 도시된 바와 같이, 칼라 신호의 레벨(HD1)이 한계값 레벨 보다 더 높으면, H 레벨의 스위치 제어 신호가 출력된다.
스위칭 회로(93)는 적응성 보간부(85)로부터의 칼라 신호(HD1)가 공급되는 단자 'a' 와, 적응성 보간부(87)로부터의 칼라 신호(HD2)가 공급되는 단자 'b'를 갖는다. 레벨 비교기(92)로부터 H 레벨의 스위치 제어 신호가 공급될 때, 스위칭 회로(93)는 단자 'a' 로 공급되는 칼라 신호(HD1)를 출력한다. 레벨 비교기(92)로부터 L 레벨의 신호가 공급될 때, 스위칭 회로(93)는 단자 'b'로 공급되는 칼라 신호(HD2)를 출력한다.
다른 말로 하면, 스위칭 회로(93)의 단자 'a' 에는 도 18a 에 도시된 각 칼라 신호(HD1)가 공급되는 반면, 스위칭 회로의 단자 'b'에는 도 18c에 도시된 각 칼라 신호(HD2)가 공급된다. 칼라 신호(HD2)가 동적 범위를 넘지 않는 동안 스위치 제어 신호는 L 레벨이 있기 때문에, 스위칭 회로(93)는 도 18d에 도시된 바와 같은 칼라 신호(HD2)를 출력한다. 칼라 신호(HD2)가 동적 범위를 넘을 때, 스위치 제어 신호는 H 레벨이 있어, 도 18d에 도시된 바와 같이 스위칭 회로(93)는 칼라 신호(HD1)를 출력한다.
결과적으로 예를 들어 실내에서 실외 화상을 취할 때, 칼라 신호(HD2)가 동적 범위를 넘으면, 영상 조합부(88)는 동적 범위를 넘는 부분에 대해 칼라 신호(HD1)를 대치하므로, 동적 범위를 확장하는 것을 가능하게 한다.
기술된 바와 같이, 영상 픽업 장치(80)는 두 CCD 영상 센서로부터 각 출력 신호에 대해 적응성 보간을 실행하여, 고해상도의 영상을 구하는 것을 가능하게 한다. 더욱이, 다른 셔터 싸이클의 칼라 신호를 선택적으로 합성함으로서, 동적 범위를 증진시키는 것이 가능하다. 더욱이, 칼라 필터 배열로부터 R 및 G 픽셀에 적응성 보간을 실행함으로서, 수직 및 수평 방향 뿐만 아니라 대각선 방향으로 해상도를 개선하는 것이 가능하다.
또한, 영상 픽업 장치(80)에서 반경 블록(83)과 CCD 영상 센서(84) 사이에 중성 밀도(neutral density, ND) 필터(95)를 제공하고, CCD 영상 센서(84)와 CCD 영상 센서(86)에 대해 동일한 셔터 속도를 설정하는 것이 가능하다. 즉, CCD 영상 센서(84)는 각 칼라 신호의 발생을 위해 ND 필터(95)에 의해 감소된 빛의 양을 수신하고, 셔터 속도가 증가될 때와 같은 방법으로 각 칼라 신호를 발생할 수 있다.
이제는 제 5 실시예에 따른 영상 픽업 장치에 대한 설명이 주어진다.
백색-크러쉬 뿐만 아니라 흑색-크러쉬를 제거하기 위해, 제 5 실시예에 따른 영상 픽업 장치는 도 17의 영상 조합부(88) 대신에 백색-크러쉬 정정 모드와 흑색-크러쉬 정정 모드 사이에서 교환될 수 있는 영상 조합부(88a)를 사용한다.
도 19에 도시된 바와 같이, 영상 조합부(88a)내의 스위칭 회로(94)는 적응성 보간부(85)로부터 각 칼라 신호(HD1)가 공급되는 단자 'c' 와 'f'; 적응성 보간부(87)로부터 각 칼라 신호(HD2)가 공급되는 단자 'd' 와 'e'; 단자 'c' 나 'd'에 공급된 칼라 신호를 선택적으로 출력하는 스위치(94X); 및 단자 'e' 나 'f'에 공급된 칼라 신호를 선택적으로 출력하는 스위치(94Y)를 포함한다. 스위치 (94X) 및 (94Y)는 서로 연결되고, 스위칭은 시스템 제어기(90)에 제어된다. 즉, 백색-크러쉬 모드가 설정되면, 시스템 제어기는 스위치(94X)를 단자 'c' 로, 또한 스위치(94Y)를 단자 'e'로 설정하고, 흑색-크러쉬 모드가 설정되면, 스위치(94X)는 단자 'd'로, 또한 스위치(94Y)는 단자 'f'로 설정된다. 스위치(94X)는 각 칼라 신호를 LPF(91)와 스위칭 회로(93)의 단자 'a'에 선택적으로 공급하는 반면, 스위치(94Y)는 각 칼라 신호를 스위칭 회로(93)의 단자 'b'에 선택적으로 공급한다.
LPF(91)는 각 칼라 신호에서 고주파수 성분을 제거하고, 결과의 신호를 레벨 비교기(92)로 공급한다. 도 20A에 도시한 바와 같이, 레벨 비교기(92)는 LPF(91)로 부터 공급된 각 칼라 신호의 레벨을 한계값 레벨(Th)과 비교하고, 도 20B에 도시된 바와 같이, 칼라 신호의 레벨이 한계값 레벨 보다 더 높으면 스위치 제어 신호를 출력한다. 여기서, 시스템 제어기(90)는 백색-크러쉬 정정 모드나 흑색-크러쉬 정정 모드에 따라 한계값 레벨을 설정한다. 스위칭 회로(93)는 레벨 비교기(92)로부터 H 레벨의 스위치 제어 신호를 수신하면 단자 'a' 에 공급되는 칼라 신호를 출력하고, L 레벨의 스위치 제어 신호를 수신하면 'b' 에 공급되는 칼라 신호를 출력한다.
흑색-크러쉬 정정 모드가 설정될 때, 시스템 제어기(90)는 스위치(94X)를 단자'd'에 연결시키고, 스위치(94Y)를 단자 'f'에 연결시키므로, 한계값 레벨(Th)을 흑색-크러쉬 정정에 따른 소정의 레벨로 설정하게 된다. 이러한 상태에서, 스위칭 회로(93)의 단자 'a'에는 도 20a에 도시된 각 칼라 신호(HD2)가 공급되고, 단자 'b'에는 도 20c에 도시된 칼라 신호(HD1)가 공급된다.
칼라 신호(HD1)에 의한 흑색-크러쉬가 발생되지 않을 때, 스위치 제어 신호는 도 20에 도시된 바와 같이, H 레벨에 있고, 스위칭 회로(93)는 도 20d에 도시된 바와 같은 칼라 신호(HD1)를 출력한다. 칼라 신호(HD1)에서 흑색-크러쉬가 발생될 때, 스위치 제어 신호는 L 레벨이 되고, 스위칭 회로(93)는 도 20d에 도시된 바와 같은 칼라 신호(HD2)를 출력한다.
즉, 예를 들어 외부로부터 내부 화상을 취하고, 신호(HD1)과 (HD2)중 하나에서 흑색-크러쉬가 발생될 때, 다른 신호는 흑색-크러쉬가 발생된 부분에 삽입되므로, 흑색-크러쉬가 없는 칼라 신호를 출력하는 것을 가능하게 한다.
백색-크러쉬 정정 모드가 설정될 때, 영상 조합부(88a)는 다음과 같이 설정됨을 주목하여야 한다: 스위치(94X)는 단자 'c' 로 설정되고, 스위치(94Y)는 단자 'd'로 설정된다. 즉, 영상 조합부(88a)는 백색-크러쉬가 없는 칼라 신호를 출력할 수 있는 영상 조합부(88)와 동일해진다.
이제는 제 6 실시예에 따른 영상 픽업 장치에 대한 설명이 주어진다.
도 21은 제 6 실시예에 따른 영상 픽업 장치의 구성예를 도시하는 블록도로서, 초점 조정를 위한 픽업 렌즈(101); 픽업 처리된 빛에서 고주파수 성분을 제거하는 광학 필터(102); 픽업 처리된 빛을 3개의 주요 칼라 적색, 녹색 및 청색으로 분리하는 2색 거울(103); 분리된 픽업광에 따라 칼라 신호 (R)를 출력하는 CCD 영상 센서(104R); 칼라 신호 (G)를 출력하는 CCD 영상 센서(104G); 및 칼라 신호 (B)를 출력하는 CCD 영상 센서(104B)를 포함한다.
여기서, CCD 영상 센서(104R), (104G), 및 (104B)는 진행 주사형이다. 도 22에 도시된 바와 같이, CCD 영상 센서(104R) 및 (104G)에서는 대각선 방향으로 픽셀을 반 피치(pitch) 쉬프트시켜 G와 RDL 다섯 점 모양으로 배열된다.
영상 픽업 장치(100)는 또한 CCD 영상 센서(104R), (104G), 및 (104B)로부터의 각 칼라 신호에 서로 관련된 이중 샘플링과 이득 제어를 실행하는 CDS/AGC 회로(13); CDS/AGC 회로(13)로부터 칼라 신호를 디지탈화하는 A/D 변환기(14); A/D 변환기기로부터의 각 칼라 신호에 대해 Y-정정과 같은 디지탈 신호 처리를 실행하는 DSP(15); DSP(15)로부터의 칼라 신호에서 고주파수 성분을 제거하는 LPF(17); LPF(17)로부터의 칼라 신호를 저장하는 버퍼 메모리; DSP(15)로부터의 칼라 신호에 적응성 보간을 실행하는 적응성 보간 회로(19); 적응성 보간 회로(19)로부터의 칼라 신호에서 저주파수 성분을 제거하고 고주파수의 휘도 신호를 발생하는 HPF(20); HPF(20)로부터의 고주파수 휘도 신호를 저장하는 버퍼 메모리(21); 및 버퍼 메모리(18)로부터의 칼라 신호와 버퍼 메모리(21)로부터의 휘도 신호를 합성하는 가산기 회로(22)를 포함한다.
상술된 구성을 갖는 영상 픽업 장치(100)에서, 적응성 보간 회로(19)에는 DSP(15)로부터 각 칼라 신호 (R), (G), 및 (B)가 공급된다. 칼라 신호 (R) 및 (G) 는 적응성 보간 회로(19)의 내부 메모리(19a)에서 도 23a에 도시된 다섯 점 모양의 배열로 저장된다.
적응성 보간 회로(19)는 보간 처리된 칼라 신호 (R) 및 (G)의 다섯 점 모양의 배열 일부에 포인터를 설정하고, 더 큰 상관관계의 방향으로 적응성 보관이 실행되도록 수직 및 수평 방향에서 상관관계를 계산한다.
여기서, 적응성 보간 회로(19)에는 (R) 및 (G)의 동일한 레벨에 백색 균형 조정으로 조정된 칼라 신호가 공급된다. 결과적으로, 도 24에 도시된 바와 같이, 픽셀 데이터 (R) 및 (G)에 포함된 휘도 신호(Y)의 정보에 관심을 두면, 임의의 포인터(Y0) 부근에는 휘도 신호(Y1) 내지 (Y4)가 배열되는 것으로 가정될 수 있다. 결과적으로, 다음의 식이 만족된다.
Y0 = aY1 + bY2 + cY3 + dY4
a 내지 d의 값은 수직 또는 수평 방향에서의 픽셀 상관관계에 의해 결정됨을 주목한다.
특히, 적응성 보간 회로(19)는 (Y1) 및 (Y2) 사이의 수평 방향과 (Y3) 및 (Y4) 사이의 수직 방향에서 레벨 차이를 계산하고, 더 작은 레벨 차이를 갖는 방향이 더 큰 상관관계 정도를 갖음을 결정하여, 그 방향에서 (Y0)의 보간을 실행한다.
예를 들어, 수평 방향이 더 큰 상관관계를 가지면, 다음의 계산이 실행된다.
Y0 = (Y1 + Y2)/2
도 23b에 도시된 바와 같이, 휘도 신호는 다섯 점 모양의 배열에서 칼라 신호 (R) 및 (G)에 대해 빗금친 위치에서 보간되고, 결과의 신호는 HPF(20)로 공급된다. HPF(20)는 칼라 신호 (R) 및 (G)와 휘도 신호에서 저주파수 성분을 제거하여, 고해상도의 휘도 신호를 발생한다. 이 휘도 신호는 버퍼 메모리(21)를 통하여 가산기 회로(22)로 공급된다. 가산기 회로(22)는 고해상도의 칼라 신호를 발생하도록 DSP(15)로부터 LPF(17)를 통해 공급된 칼라 신호 (R), (G), 및 (B)와 고주파수 성분의 휘도 신호를 가산하여 조합한다.
가산기 회로(22)에서 발생된 칼라 신호는 도 25a에 도시된 종래의 스펙트럼 특징과 비교해 도 25b에 도시된 바와 같이 고주파수 구역의 변형을 나타내지 않는다.
즉, 적응성 보간 회로(19)는 양호한 영상질의 칼라 신호를 발생하도록 대략적인 적응성 보간을 실행한다.
상술된 바와 같이, 영상 픽업 장치(100)는 고주파수 성분의 휘도 신호를 발생하도록 더 큰 상관관계를 갖는 수직 또는 수평 방향으로 보간을 실행하여, 중간 또는 저주파수 각 칼라 신호 (R), (G), 및 (B)에 동일하게 합산하므로, 양호한 영상질과 고해상도의 각 칼라 신호를 발생하는 것을 가능하게 한다.
상술된 바와 같이, 본 발명에 따라, 보간점 주위에 반대 픽셀에 대해 상관관계 계산이 실행되고, 고주파수 및 고해상도의 휘도 신호를 칼라 신호와 합성하도록 더 큰 상관관계를 갖는 방향으로 두 주요 칼라의 칼라 신호에 따라 휘도 신호가 발생되어 저주파수 성분을 제거하므로, 고해상도의 세 주요 칼라의 칼라 신호를 발생하는 것을 가능하게 한다.
본 발명의 또 다른 특성에 따라, 대각선 방향으로 보간되는 부분이 그 주위에서 작은 분산도를 가지면, 대각선 방향으로의 보간은 실행되지 않지만 상술된 더큰 상관관계를 갖고 높은 신호 레벨을 갖는 칼라 신호를 포함하는 수직 또는 수평 방향으로 보간이 실행되므로, 더 높은 해상도의 영상을 구하는 것을 가능하게 한다.
본 발명의 또 다른 특성에 따라, 가장 큰 상관관계를 갖는 수직, 수평, 또는 대각선 방향으로 인출된 각 칼라 신호 사이에서 보간이 실행되므로, 각 영상에서 각 방향의 해상도 정도에 따라 가장 낮은 방향의 방향 해상도를 개선하는 것을 가능하게 한다.
본 발명의 또 다른 특성에 따라, 장치 종륭, 즉 단일 플래이트형이나 다중 플래이트형에 관계없이 고해상도의 영상을 구하는 것이 가능하다.

Claims (30)

  1. 매트릭스 상태로 배열된 다수의 픽셀(pixel)을 갖고, 각 픽셀이 수신된 빛에 따라 샘플 정보를 출력하는 영상 픽업(image pickup) 소자,
    수평 방향에서 다수의 샘플 정보의 상관관계 값, 수직 방향에서 다수의 샘플 정보의 상관관계 값, 및 대각선 방향에서 다수의 샘플 정보의 상관관계 값을 검출하도록 영상 픽업 소자의 각 픽셀로부터 출력된 샘플 정보로 구성되는 프레임(frame)내에서 기준 샘플 부근에 위치하는 다수의 픽셀로부터의 샘플 정보를 근거로 하는 상관관계값 검출 수단; 및
    상기 기준 샘플 위치에 대한 보간을 실행하도록 상관관계값 검출 수단에 의해 검출된 가장 큰 상관관계 값을 갖는 방향으로 위치하는 픽셀의 샘플 정보를 근거로 하는 보간(interpolation) 수단을 구비하는 것을 특징으로 하는 영상 픽업 장치.
  2. 제 1 항에 있어서, 상기 영상 픽업 소자가 각 픽셀에 대해 제공되는 제 1 칼라 필터, 제 2 칼라 필터, 및 제 3 칼라 필터를 더 포함하고, 여기서 상기 제 1 칼라 필터는 상기 다수의 픽셀에 대해 체커(checker) 형태로 배열되고, 또한 제 1 칼라 필터에 대응하는 제 1 픽셀로부터 제 1 칼라 샘플 정보, 제 2 칼라 필터에 대응하는 제 2 픽셀로부터 제 2 칼라 샘플 정보, 및 제 3 칼라 필터에 대응하는 제 3 픽셀로부터 제 3 칼라 샘플 정보를 출력하는 것을 특징으로 하는 영상 픽업 장치.
  3. 제 1 항에 있어서, 상기 상관관계 값 검출 수단이 대각선 방향에서의 상관관계 값으로서 상기 기준 샘플 위치에 상단 우측 및 하단 우측에 위치하는 픽셀의 샘플 정보를 포함하는 제 1 대각선 방향으로의 상관관계 값 및 상기 기준 샘플 위치의 상단 좌측 및 하단 우측에 위치하는 픽셀의 샘플 정보를 포함하는 제 2 대각선 방향으로의 상관관계 값을 검출하는 것을 특징으로 하는 영상 픽업 장치.
  4. 제 1 항에 있어서, 상기 보간 수단으로부터의 출력에서 고주파수 성분을 추출하고 구해진 성분을 고주파수 대역 휘도 샘플 정보를 출력하는 고주파수 추출 수단을 더 구비하는 것을 특징으로 하는 영상 픽업 장치.
  5. 제 4 항에 있어서, 상기 픽업 소자로부터 출력된 샘플 정보를 상기 고주파수 대역 휘도 샘플 정보와 조합하는 조합 수단을 더 구비하는 것을 특징으로 하는 영상 픽업 장치.
  6. 제 2 항에 있어서, 상기 제 1 칼라 필터가 빛의 녹색 성분을 통과시키도록 허용하는 칼라 필터로 이루어지고, 상기 제 2 칼라 필터가 빛의 적색 성분을 통과시키도록 허용하는 칼라 필터로 이루어지고, 또한 상기 제 3 칼라 필터가 빛의 청색 성분을 통과시키도록 허용하는 칼라 필터로 이루어지고, 이들 칼라 필터는 녹색-체커 및 적색/청색선 순차(Green-checkers and Red/Blue line sequential) 구성으로 배열되는 것을 특징으로 하는 영상 픽업 장치.
  7. 매트릭스 상태로 배열된 다수의 픽셀과 다수의 제 1 칼라 필터, 제 2 칼라 필터, 제 3 칼라 필터를 갖고, 상기 제 1 필터는 상기 다수의 픽셀에 대해 체커 상태로 배열되는 영상 픽업 소자를 구비하고, 여기서
    상기 픽업 소자는 제 1 칼라 필터에 대응하는 제 1 픽셀로부터 제 1 칼라 샘플 정보, 제 2 칼라 필터에 대응하는 제 2 픽셀로부터 제 2 칼라 샘플 정보, 및 제 3 칼라 필터에 대응하는 제 3 픽셀로부터 제 3 칼라 샘플 정보를 출력하고, 또한
    제 3 픽셀 부근에 위치하는 제 1 및 제 2 픽셀로부터 출력된 칼라 샘플 정보에 따른 보간을 통해 상기 제 3 픽셀의 위치와 동일한 휘도 레벨 성분을 발생하는 보간 수단을 구비하는 것을 특징으로 하는 영상 픽업 장치.
  8. 제 7 항에 있어서, 상기 보간 수단이 픽셀 자체의 칼라 샘플 정보로부터 상기 제 1 및 상기 제 2 픽셀의 위치와 동일한 휘도 레벨 성분을 발생하는 것을 특징으로 하는 영상 픽업 장치.
  9. 제 7 항에 있어서, 상기 보간 수단으로부터의 출력에서 고주파수 성분을 추출하고 그 결과 성분을 고주파수 대역 휘도 샘플 정보로 출력하는 고주파수 성분 추출 수단을 더 구비하는 것을 특징으로 하는 영상 픽업 장치.
  10. 제 9 항에 있어서, 상기 픽업 소자로부터 출력된 제 1, 제 2 및 제 3 칼라 샘플 정보를 상기 고주파수 대역 휘도 샘플 정보와 조합하는 조합 수단을 더 구비하는 것을 특징으로 하는 영상 픽업 장치.
  11. 제 7 항에 있어서, 상기 제 1 칼라 필터가 빛의 녹색 성분을 통과시키도록 허용하는 칼라 필터로 이루어지고, 상기 제 2 칼라 필터가 빛의 적색 성분을 통과시키도록 허용하는 칼라 필터로 이루어지고, 또한 상기 제 3 칼라 필터가 빛의 청색 성분을 통과시키도록 허용하는 칼라 필터로 이루어지고, 이들 칼라 필터는 녹색-체커 및 적색/청색선 순차 구성으로 배열되는 것을 특징으로 하는 영상 픽업 장치.
  12. 제 7 항에 있어서, 수평 방향에서 다수의 칼라 샘플 정보의 상관관계 값, 수직 방향에서 다수의 칼라 샘플 정보의 상관관계 값, 및 대각선 방향에서 다수의 칼라 샘플 정보의 상관관계 값을 검출하도록 상기 영상 픽업 소자의 각 픽셀로부터 출력된 제 1 , 제 2, 제 3 샘플 정보로 구성되는 프레임내에서 기준 샘플 위치의 부근에 위치하는 다수의 픽셀로부터의 샘플 정보를 근거로 하는 상관관계 값 검출수단을 더 구비하고,
    상기 보간 수단이 상기 상관관계 값 검출 수단에 의해 검출된 가장 큰 상관관계 값을 갖는 방향으로 위치하는 픽셀의 샘플 정보를 근거로 상기 기준 샘플 위치에 대한 보간을 실행하는 것을 특징으로 하는 영상 픽업 장치.
  13. 매트릭스 상태로 배열된 다수의 픽셀과 다수의 제 1 칼라 필터, 제 2 칼라 필터, 제 3 칼라 필터를 갖고, 상기 제 1 필터는 상기 다수의 픽셀에 대해 체커 상태로 배열되고, 여기서 상기 픽업 소자는 제 1 칼라 필터에 대응하는 제 1 픽셀로부터 제 1 칼라 샘플 정보, 제 2 칼라 필터에 대응하는 제 2 픽셀로부터 제 2 칼라 샘플 정보, 및 제 3 칼라 필터에 대응하는 제 3 픽셀로부터 제 3 칼라 샘플 정보를 출력하는 픽업 소자,
    수평 방향에서 다수의 샘플 정보의 상관관계 값, 수직 방향에서 다수의 샘플 정보의 상관관계 값, 및 대각선 방향에서 다수의 샘플 정보의 상관관계 값을 검출하도록 영상 픽업 소자의 각 픽셀로부터 출력된 제 1, 제 2, 및 제 3 샘플 정보로 구성되는 프레임내에서 기준 샘플 부근에 위치하는 다수의 픽셀로부터의 샘플 정보를 근거로 하는 상관관계값 검출 수단;
    상기 기준 샘플 위치 부근에 위치하는 제 3 칼라 필터에 대응하는 다수의 픽셀의 칼라 샘플 정보의 분산도를 검출하는 분산도 검출 수단; 및
    상기 분산도가 한계값 이하일 때 상기 제 3 칼라 필터의 위치에 관련된 방향에서의 상관관계 값을 제외한 상관관계 값에 따라 상기 기준 샘플 위치에 대해 보간을 실행하는 보간 수단을 구비하는 것을 특징으로 하는 영상 픽업 장치.
  14. 제 13 항에 있어서, 상기 픽업 소자가 빛의 녹색 성분을 통과시키도록 허용하는 제 1 칼라 필터, 빛의 적색 성분을 통과시키도록 허용하는 제 2 칼라 필터, 및 빛의 청색 성분을 통과시키도록 허용하는 제 3 칼라 필터로 구성되는 녹색-체커 및 적색/청색선 순차 칼라 필터의 종류인 것을 특징으로 하는 영상 픽업 장치.
  15. 각 픽셀에 의해 수신된 빛의 양에 따라 샘플 정보를 출력하는 영상 픽업 소자에 제공되고 매트릭스 상태로 배열된 다수의 픽셀로부터 출력된 샘플 정보로 구성된 프레임내에서 기준 샘플 위치를 근거로 보간을 실행하고, 상기 보간이 상기 기준 샘플 위치 주위에서 픽셀의 샘플 정보에 따라 실행되는 신호 처리 장치에 있어서,
    상기 기준 샘플 위치 부근에서 다수의 픽셀 위치의 샘플 정보에 따라 수직 방향에서 다수의 샘플 정보의 상관관계 값, 수평 방향에서 다수의 샘플 정보의 상관관계 값, 및 대각선 방향에서 다수의 샘플 정보의 상관관계 값을 검출하는 상관관계 값 검출 수단, 및
    상관관계 값 검출 수단에 의해 검출된 가장 큰 상관관계 값을 갖는 방향으로 위치하는 픽셀의 샘플 정보에 따라 상기 기준 샘플 위치에 대한 보간을 실행하는 보간 수단을 구비하는 것을 특징으로 하는 신호 처리 장치.
  16. 제 15 항에 있어서, 상기 영상 픽업 소자가 상기 다수의 픽셀에 대해 체커 상태로 배열된 제 1 칼라 필터, 제 2 칼라 필터, 및 제 3 칼라 필터를 더 포함하고, 상기 제 1 칼라 필터에 대응하는 제 1 픽셀로부터 제 1 칼라 샘플 정보, 상기 제 2 칼라 필터에 대응하는 제 2 픽셀로부터 제 2 칼라 샘플 정보, 및 상기 제 3 칼라 필터에 대응하는 제 3 픽셀로부터 제 3 칼라 샘플 정보를 상기 샘플 정보로 출력하는 것을 특징으로 하는 신호 처리 장치.
  17. 제 15 항에 있어서, 상기 상관관계 값 검출 수단이 대각선 방향에서 샘플 정보의 상관관계 값으로서 상기 기준 샘플 위치의 상단 우측 및 하단 좌측에 위치하는 픽셀의 샘플 정보를 포함하는 제 1 대각선 방향으로의 상관관계 값 및 상기 기준 샘플 위치의 상단 좌측 및 하단 우측에 위치하는 픽셀의 샘플 정보를 포함하는 제 2 대각선 방향으로의 상관관계 값을 검출하는 것을 특징으로 하는 신호 처리 장치.
  18. 제 15 항에 있어서, 상기 보간 수단의 출력으로부터 고주파수 성분을 추출하고 추출된 성분을 고휘도 샘플 정보를 출력하는 고주파수 성분 추출 수단을 더 구비하는 것을 특징으로 하는 신호 처리 장치.
  19. 제 18 항에 있어서, 상기 픽업 소자로부터 출력된 샘플 정보를 상기 고주파수 대역 휘도 샘플 정보와 조합하는 조합 수단을 더 구비하는 것을 특징으로 하는 신호 처리 장치.
  20. 제 15 항에 있어서, 상기 픽업 소자가 빛의 녹색 성분을 통과시키도록 허용하는 제 1 칼라 필터, 빛의 적색 성분을 통과시키도록 허용하는 제 2 칼라 필터, 및 빛의 청색 성분을 통과시키도록 허용하는 제 3 칼라 필터로 구성되는 녹색-체커 및 적색/청색선 순차형의 칼라 필터를 더 구비하는 것을 특징으로 하는 신호 처리 장치.
  21. 매트릭스 상태로 배열된 다수의 픽셀과 상기 다수의 픽셀에 대응하는 체커상태로 배열된 다수의 제 1 칼라 필터, 다수의 제 2 칼라 필터, 및 다수의 제 3 칼라 필터를 갖고, 상기 제 1 칼라 필터에 대응하는 제 1 픽셀로부터 제 1 칼라 샘플정보, 상기 제 2 칼라 필터에 대응하는 제 2 픽셀로부터 제 2 칼라 샘플 정보, 및 상기 제 3 칼라 필터에 대응하는 제 3 픽셀로부터 제 3 칼라 샘플 정보를 출력하는 영상 픽업 소자로부터의 출력에 대해 보간을 실행하는 신호 처리 장치에 있어서,
    상기 영상 픽업 소자로부터 상기 제 1 칼라 샘플 정보, 상기 제 2 칼라 샘플 정보, 및 상기 제 3 칼라 샘플 정보를 입력하는 입력 수단,
    상기 입력 수단으로부터 공급된 상기 제 1 칼라 샘플 정보, 상기 제 2 칼라 샘플 정보, 및 상기 제 3 칼라 샘플 정보를 임시로 저장하는 저장 수단, 및
    각각의 제 3 픽셀 부근에 위치하는 제 1 및 제 2 픽셀로부터 출력된 칼라 샘플 정보에 따른 보간을 통해 상기 제 3 픽셀의 위치와 동일한 휘도 성분을 발생하는 보간 수단을 구비하는 것을 특징으로 하는 신호 처리 장치.
  22. 제 21 항에 있어서, 상기 보간 수단이 이들 픽셀의 칼라 샘플 정보로부터 상기 제 1 픽셀 및 상기 제 2 픽셀의 위치와 동일한 휘도 성분을 발생하는 것을 특징으로 하는 신호 처리 장치.
  23. 제 21 항에 있어서, 상기 보간 수단의 출력으로부터 고주파수 성분을 추출하고 추출된 성분을 고주파수 성분 휘도 샘플 정보로 출력하는 고주파수 성분 추출수단을 더 구비하는 것을 특징으로 하는 신호 처리 장치.
  24. 제 23 항에 있어서, 상기 영상 픽업 소자로부터 출력된 제 1, 제 2, 및 제 3 샘플 정보를 상기 고휘도 샘플 정보와 조합하는 조합 수단을 더 구비하는 것을 특징으로 하는 신호 처리 장치.
  25. 제 21 항에 있어서, 상기 영상 픽업 소자의 각 픽셀로부터 출력된 제 1, 제 2, 및 제 3 샘플 정보로 구성되는 프레임내에서 기준 샘플 부근에 위치하는 다수의 픽셀로부터의 칼라 샘플 정보에 따라, 수직 방향에서 다수의 칼라 샘플 정보의 상관관계 값, 수평 방향에서 다수의 칼라 샘플 정보의 상관관계 값, 및 대각선 방향에서의 다수의 칼라 샘플 정보의 상관관계 값을 검출하는 상관관계 값 검출 수단을 더 구비하고,
    상기 보간 수단이 상기 상관관계 값 검출 수단에 의해 검출된 가장 큰 상관관계 값을 갖는 방향으로 위치하는 픽셀의 칼라 샘플 정보에 따라 상기 기분 샘플 위치에 대한 보간을 실행하는 것을 특징으로 하는 신호 처리 장치.
  26. 매트릭스 상태로 배열된 다수의 픽셀과 다수의 픽셀에 대응하는 체커 상태로 배열된 다수의 제 1 칼라 필터, 다수의 제 2 칼라 필터, 및 다수의 제 3 칼라 필터를 갖는 영상 픽업 소자의 픽셀로부터 출력되는 제 1, 제 2, 및 제 3 샘플 정보로 구성되는 프레임내에서 기준 샘플 부근에 위치하는 다수의 픽셀로부터의 샘플 정보를 근거로 보간을 실행하고, 여기서 제 1 칼라 샘플 정보는 상기 제 1 칼라 필터에 대응하는 제 1 픽셀로부터 출력되고, 제 2 칼라 샘플 정보는 상기 제 2 칼라 필터에 대응하는 제 2 픽셀로부터 출력되고, 또한 제 3 칼라 샘플 정보는 상기 제 3 칼라 필터에 대응하는 제 3 픽셀로부터 출력되는 신호 처리 장치에 있어서,
    상기 기준 샘플 위치 부근에 위치하는 다수의 픽셀의 칼라 샘플 정보에 따라, 수직 방향에서 다수의 칼라 샘플 정보의 상관관계 값 수평 방향에서 다수의 칼라 샘플 정보의 상관관계 값, 및 대각선 방향에서 다수의 칼라 샘플 정보의 상관관계 값을 검출하는 상관관계 값 검출 수단;
    상기 기준 샘플 위치 부근에 위치하는 제 3 칼라 필터에 대응하는 다수의 픽셀의 칼라 샘플 정보의 분산도를 검출하는 분산도 검출 수단; 및
    상기 분산도가 한계값 이하일 때 상기 제 3 칼라 필터의 배열에 관련된 방향에서의 상관관계 값을 제외한 상관관계 값에 따라 상기 기준 샘플 위치에 대해 보간을 실행하는 보간 수단을 구비하는 것을 특징으로 하는 신호 처리 장치.
  27. 제 26 항에 있어서, 상기 픽업 소자가 빛의 녹색 성분을 통과시키도록 허용하는 제 1 칼라 필터인 상기 제 1 칼라 필터, 빛의 적색 성분을 통과시키도록 허용하는 칼라 필터인 상기 제 2 칼라 필터, 및 빛의 청색 성분을 통과시키도록 허용하는 칼라 필터인 제 3 칼라 필터로 구성되는 녹색-체커 및 적색/청색선 순차형의 칼라 필터인 것을 특징으로 하는 신호 처리 장치.
  28. 매트릭스 상태로 배열된 다수의 픽셀을 갖는 영상 픽업 소자로부터 출력되는 샘플 정보로 구성되는 프레임내에서 기준 샘플 위치 부근에 위치하는 다수의 픽셀로부터의 샘플 정보에 따라 보간을 실행하고, 각 픽셀은 수신되는 빛의 양에 따라 샘플 정보를 출력하는 보간 방법에 있어서,
    상기 기준 샘플 위치 부근에 위치하는 다수의 픽셀로부터의 샘플 정보에 따라, 수직 방향에서 다수의 샘플 정보의 상관관계 값, 수평 방향에서 다수의 샘플 정보의 상관관계 값, 및 대각선 방향에서 다수의 샘플 정보의 상관관계 값을 상기 기준 샘플 위치에 대해 검출하는 단계, 및
    검출된 가장 큰 상관관계 값을 갖는 방향으로 위치하는 픽셀의 샘플 정보에 따라 상기 기준 샘플 위치에 대한 보간을 실행하는 단계를 구비하는 것을 특징으로 하는 보간 방법.
  29. 매트릭스 상태로 배열된 다수의 픽셀과 상기 다수의 픽셀에 대응하는 체커상태로 배열된 다수의 제 1 칼라 필터, 다수의 제 2 칼라 필터, 및 다수의 제 3 칼라 필터를 갖고, 상기 제 1 칼라 필터에 대응하는 제 1 픽셀로부터 제 1 칼라 샘플정보, 상기 제 2 칼라 필터에 대응하는 제 2 픽셀로부터 제 2 칼라 샘플 정보, 및 상기 제 3 칼라 필터에 대응하는 제 3 픽셀로부터 제 3 칼라 샘플 정보를 출력하는 영상 픽업 소자의 출력에 대해 보간을 실행하는 보간 방법에 있어서,
    상기 영상 픽업 소자로부터 상기 제 1 칼라 샘플 정보, 상기 제 2 칼라 샘플 정보, 및 상기 제 3 칼라 샘플 정보를 입력하는 단계,
    입력된 상기 제 1 칼라 샘플 정보, 상기 제 2 칼라 샘플 정보, 및 상기 제 3 칼라 샘플 정보를 임시로 저장하는 단계, 및
    각각의 제 3 픽셀 부근에 위치하는 제 1 및 제 2 픽셀로부터 출력된 칼라 샘플 정보에 따라, 상기 제 3 픽셀의 위치와 동일한 휘도 성분을 보간을 통해 발생하는 단계를 구비하는 것을 특징으로 하는 보간 방법.
  30. 매트릭스 상태로 배열된 다수의 픽셀과 다수의 픽셀에 대응하는 체커 상태로 배열된 다수의 제 1 칼라 필터, 다수의 제 2 칼라 필터, 및 다수의 제 3 칼라 필터를 갖는 영상 픽업 소자의 픽셀로부터 출력되는 제 1, 제 2, 및 제 3 칼라 샘플 정보로 구성되는 프레임내에서 기준 샘플 부근에 위치하는 다수의 픽셀로부터의 샘플 정보를 근거로 보간을 실행하고, 여기서 제 1 칼라 샘플 정보는 상기 제 1 칼라 필터에 대응하는 제 1 픽셀로부터 출력되고, 제 2 칼라 샘플 정보는 상기 제 2 칼라 필터에 대응하는 제 2 픽셀로부터 출력되고, 또한 제 3 칼라 샘플 정보는 상기 제 3 칼라 필터에 대응하는 제 3 픽셀로부터 출력되는 보간 방법 있어서,
    상기 기준 샘플 위치 부근에 위치하는 다수의 픽셀의 칼라 샘플 정보에 따라, 수직 방향에서 다수의 칼라 샘플 정보의 상관관계 값, 수평 방향에서 다수의 칼라 샘플 정보의 상관관계 값, 및 대각선 방향에서 다수의 칼라 샘플 정보의 상관관계 값을 검출하는 단계;
    상기 기준 샘플 위치 부근에 위치하는 제 3 칼라 필터에 대응하는 다수의 픽셀의 칼라 샘플 정보의 분산도를 검출하는 단계; 및
    상기 분산도가 한계값 이하일 때 상기 제 3 칼라 필터의 배열에 관련된 방향에서의 상관관계 값을 제외한 상관관계 값에 따라 상기 기준 샘플 위치에 대해 보간을 실행하는 단계를 구비하는 것을 특징으로 하는 보간 방법.
KR1019970062344A 1996-11-18 1997-11-18 보간기능을갖는영상픽업장치 KR100517391B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP96-306788 1996-11-18
JP30678896A JP3787927B2 (ja) 1996-11-18 1996-11-18 撮像装置及びカラー画像信号の処理方法

Publications (2)

Publication Number Publication Date
KR19980042697A true KR19980042697A (ko) 1998-08-17
KR100517391B1 KR100517391B1 (ko) 2005-11-29

Family

ID=17961263

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970062344A KR100517391B1 (ko) 1996-11-18 1997-11-18 보간기능을갖는영상픽업장치

Country Status (7)

Country Link
US (1) US6295087B1 (ko)
JP (1) JP3787927B2 (ko)
KR (1) KR100517391B1 (ko)
CN (1) CN1123211C (ko)
ID (1) ID18876A (ko)
MY (1) MY118915A (ko)
TW (1) TW376640B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492396B2 (en) 2003-12-22 2009-02-17 Samsung Electronics Co., Ltd Digital image processing apparatus and method thereof

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11168745A (ja) * 1997-12-03 1999-06-22 Minolta Co Ltd デジタルカメラ
JP4066484B2 (ja) * 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
JPH11196427A (ja) * 1997-12-26 1999-07-21 Canon Inc 単板カラー撮像装置
US6421084B1 (en) * 1998-03-02 2002-07-16 Compaq Computer Corporation Method for interpolating a full color image from a single sensor using multiple threshold-based gradients
JP3556859B2 (ja) * 1998-09-08 2004-08-25 富士写真フイルム株式会社 画像補正方法、画像補正装置及び記録媒体
JP3972478B2 (ja) * 1998-08-11 2007-09-05 ソニー株式会社 撮像装置
KR20000026234A (ko) * 1998-10-19 2000-05-15 유무성 실물 화상기
KR20000074616A (ko) * 1999-05-24 2000-12-15 윤종용 스위치드 커패시터 기법을 이용한 이득 조절장치
US7010172B1 (en) * 1999-07-27 2006-03-07 Fuji Photo Film Co., Ltd. Image acquiring method, image processing method, and image transforming method
US7088391B2 (en) * 1999-09-01 2006-08-08 Florida Atlantic University Color video camera for film origination with color sensor and luminance sensor
US7053944B1 (en) * 1999-10-01 2006-05-30 Intel Corporation Method of using hue to interpolate color pixel signals
US6809765B1 (en) * 1999-10-05 2004-10-26 Sony Corporation Demosaicing for digital imaging device using perceptually uniform color space
US6781626B1 (en) * 2000-01-13 2004-08-24 Biomorphic Vlsi, Inc. System and method of color interpolation
JP2002064831A (ja) * 2000-08-15 2002-02-28 Sanyo Electric Co Ltd 単板式カラーカメラの色分離回路
US6947153B1 (en) * 2000-11-20 2005-09-20 Presstek, Inc. Method and apparatus for optimized image processing
JP2002232908A (ja) * 2000-11-28 2002-08-16 Monolith Co Ltd 画像補間方法および装置
CN1312939C (zh) * 2001-01-25 2007-04-25 株式会社尼康 图像处理方法、图像处理程序、图像处理装置
JP3862506B2 (ja) 2001-02-06 2006-12-27 キヤノン株式会社 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体
EP1246474A1 (fr) * 2001-03-27 2002-10-02 Koninklijke Philips Electronics N.V. Appareil de prise de vue et procédé pour traiter des images prises par un tel appareil
KR100396898B1 (ko) * 2001-09-13 2003-09-02 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법
US20030117507A1 (en) * 2001-12-21 2003-06-26 Nasser Kehtarnavaz Color filter array interpolation
JP2003274264A (ja) * 2002-03-13 2003-09-26 Sony Corp 撮像装置及び映像信号生成方法
US7292277B2 (en) * 2002-04-08 2007-11-06 Fujifilm Corporation Solid-state image pick-up device and digital still camera
US6983080B2 (en) * 2002-07-19 2006-01-03 Agilent Technologies, Inc. Resolution and image quality improvements for small image sensors
US7212689B2 (en) * 2002-11-06 2007-05-01 D. Darian Muresan Fast edge directed polynomial interpolation
EP1569442A4 (en) * 2002-12-02 2009-08-12 Olympus Corp VIEWING DEVICE
US8040385B2 (en) * 2002-12-02 2011-10-18 Olympus Corporation Image pickup apparatus
JP2004193970A (ja) * 2002-12-11 2004-07-08 Sanyo Electric Co Ltd 画像データ処理装置
JP2004229055A (ja) * 2003-01-24 2004-08-12 Pentax Corp 画像処理装置
US7477803B2 (en) 2003-09-12 2009-01-13 Canon Kabushiki Kaisha Image processing apparatus
EP1705902A4 (en) * 2003-12-26 2008-12-17 Olympus Corp IMAGE INPUT APPARATUS
JP4239091B2 (ja) * 2004-02-09 2009-03-18 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP4239094B2 (ja) * 2004-03-03 2009-03-18 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP4352331B2 (ja) * 2004-09-09 2009-10-28 富士フイルム株式会社 信号処理装置、信号処理方法及び信号処理プログラム
CN100410985C (zh) * 2004-09-22 2008-08-13 索尼株式会社 图像显示单元与校正图像显示单元中的亮度的方法
US20060119724A1 (en) * 2004-12-02 2006-06-08 Fuji Photo Film Co., Ltd. Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method
CN100366050C (zh) * 2005-03-11 2008-01-30 华亚微电子（上海）有限公司 一种图像缩放方法及图像缩放器系统
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US8064110B2 (en) 2005-12-08 2011-11-22 Qualcomm Incorporated Adaptive auto white balance
CN100433779C (zh) * 2006-04-28 2008-11-12 天津大学 全相位离散余弦变换内插核函数及用于图像分辨率的改变
JP4548390B2 (ja) 2006-06-16 2010-09-22 ソニー株式会社 撮像装置及び信号処理方法
JP2008104009A (ja) * 2006-10-19 2008-05-01 Sony Corp 撮像装置および撮像方法
JP4946581B2 (ja) 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
US8594465B2 (en) * 2007-11-14 2013-11-26 Microsoft Corporation Adaptive filtering for image transform processes
KR100891825B1 (ko) * 2007-11-27 2009-04-07 삼성전기주식회사 디지털 영상의 컬러 노이즈 제거 장치 및 방법
CN102164246A (zh) * 2011-03-08 2011-08-24 青岛海信移动通信技术股份有限公司 一种移动终端生成满足设定分辨率照片的实现方法及装置
JP6386301B2 (ja) * 2014-08-28 2018-09-05 株式会社日立国際電気 撮像装置およびその変調度補正方法
DE102016113010A1 (de) * 2015-12-15 2017-06-22 Basler Ag Bestimmung von Helligkeitswerten virtueller Pixel
CN109493322B (zh) * 2018-10-16 2021-08-31 东软医疗系统股份有限公司 峰值曲线渲染方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0350794B1 (en) 1988-07-13 1996-06-12 Hitachi, Ltd. Misregistration correction for a solid-state image pick-up apparatus
KR940000471B1 (ko) * 1990-09-19 1994-01-21 삼성전자 주식회사 화상처리를 위한 피일드 보간회로 및 방식
US5268758A (en) * 1990-09-26 1993-12-07 Matsushita Electric Industrial Co., Ltd. Horizontal line interpolation circuit and image pickup apparatus including it
JP2942903B2 (ja) * 1990-11-05 1999-08-30 キヤノン株式会社 ディジタル・カメラ信号処理装置
JP3011479B2 (ja) 1991-05-27 2000-02-21 三洋電機株式会社 撮像装置
JPH0576013A (ja) * 1991-09-12 1993-03-26 Matsushita Electric Ind Co Ltd 撮像装置
JPH05122612A (ja) 1991-10-28 1993-05-18 Olympus Optical Co Ltd 撮像装置
US5289269A (en) 1991-12-27 1994-02-22 Nippon Television Network Corporation Color television camera with details of luminance signal formation
JPH05219512A (ja) * 1992-01-31 1993-08-27 Victor Co Of Japan Ltd 撮像装置
JPH0576013U (ja) * 1992-03-16 1993-10-15 株式会社トーキン ピン端子付コイル
JP2931520B2 (ja) 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
JPH0799664A (ja) * 1993-09-28 1995-04-11 Sanyo Electric Co Ltd 高精細撮像装置
JPH07236150A (ja) 1994-02-22 1995-09-05 Matsushita Electric Ind Co Ltd 撮像装置
US6018363A (en) * 1994-04-28 2000-01-25 Canon Kabushiki Kaisha Image sensing apparatus with optical-axis deflecting device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492396B2 (en) 2003-12-22 2009-02-17 Samsung Electronics Co., Ltd Digital image processing apparatus and method thereof

Also Published As

Publication number Publication date
ID18876A (id) 1998-05-20
CN1189044A (zh) 1998-07-29
JP3787927B2 (ja) 2006-06-21
KR100517391B1 (ko) 2005-11-29
JPH10150668A (ja) 1998-06-02
US6295087B1 (en) 2001-09-25
CN1123211C (zh) 2003-10-01
MY118915A (en) 2005-02-28
TW376640B (en) 1999-12-11

Similar Documents

Publication Publication Date Title
KR100517391B1 (ko) 보간기능을갖는영상픽업장치
US6018363A (en) Image sensing apparatus with optical-axis deflecting device
JP3261152B2 (ja) 複数の光学系を備えた撮像装置
JP5043635B2 (ja) 撮像装置
JP4576280B2 (ja) 自動焦点調節装置及び焦点調節方法
US6587149B1 (en) Video camera with progressive scanning and dynamic range enlarging modes
JP2007251860A (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
US8427554B2 (en) Imaging apparatus and control method therefor
US6876386B1 (en) Digital camera with downsampling and zoom processing and method of controlling operation of same
US7142236B2 (en) Digital zoom apparatus to perform zoom during successive changes in zoom magnification
US8803996B2 (en) Image pickup apparatus for preventing unnatural motion of a motion image
JPH10155158A (ja) 撮像装置及びカラー画像信号の処理方法
JPH1155560A (ja) デジタルカメラ
JP2003153093A (ja) 固体撮像装置、電子スチルカメラ、固体撮像素子の駆動方法及び固体撮像素子を駆動する制御プログラム
JPH0646317A (ja) 映像信号処理回路
JPH10155106A (ja) 電子的撮像装置
JP2007180689A (ja) 撮像装置
JPH10136253A (ja) 撮像装置
JP2005159976A (ja) 撮像装置
JP2614575B2 (ja) ビデオカメラ
KR101145701B1 (ko) 자동초점 기능이 내장된 고정초점 카메라 모듈
JP2001128058A (ja) 撮像装置
JP2002354292A (ja) 画像処理装置およびその画像処理方法
JPH1013735A (ja) 撮像装置
JP2005175571A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110915

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20120917

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee