KR100657772B1

KR100657772B1 - 영상처리장치,영상처리방법과카메라

Info

Publication number: KR100657772B1
Application number: KR1019980053582A
Authority: KR
Inventors: 아추시 고바야시
Original assignee: 소니 가부시끼 가이샤
Priority date: 1997-12-08
Filing date: 1998-12-08
Publication date: 2007-05-14
Also published as: JP4066484B2; JPH11177994A; US6714242B1; TW398141B; KR19990081799A

Abstract

적색, 청색, 및 녹색의 기본 칼라로된 바이어 배열(Bayer arrangement)을 갖는 칼라필터를 구비하는 CCD영역 센서의 출력신호를 처리하는 영상 처리장치에서, VH-상관 검출부는 보간되어질 화소로부터 좌측 및 우측 방향들(수평방향)과 상측 및 하측 방향들(수직방향)의 4 방향들에 있는 4개의 화소정보에 따라 4 방향들에 있는 상관값, 예를 들면 녹색에 대한 상관값을 계산한다. 이러한 상관값들에 따라, 보간계수들이 결정된다. 보간 데이터는 승산기들에서 보간계수들에 의해 승산되고, 그 결과들은 보간처리를 수행하기 위해서 가산기들에서 합해진다

Description

영상처리장치, 영상처리방법과 카메라

발명의 배경

1. 발명의 분야

본 발명은 영상처리장치, 영상처리방법, 및 카메라들에 관한 것이며, 특히, 광수신 평면상에 특정한 칼라 배열을 갖는 칼라필터를 구비하는 고체 영상장치(solid-state imaging device)의 출력신호를 처리하는 영상처리장치, 영상처리방법, 및 이 영상처리장치를 이용하는 카메라에 관한 것이다.

2. 관련 기술의 설명

광수신 평면상에 기본 칼라들의 바이어 칼라배열(Bayer color arrangement)을 갖는 칼라필터를 구비하는 고체 영상장치의 출력신호를 처리하는 영상처리장치에 있어서, 각 칼라가 칼라필터상에 연속적으로 위치해 있지 않으므로, 해상도의 임프레션(impression)을 줄이지 않기 위해 보간처리가 수행된다. 종래의 이러한 형태의 영상처리장치에서는, 상관값들이 단지 두 방향들에서만 계산되었다. 즉 수평 방향에서의 두 개의 반대 방향들 (우측과 좌측방향) 또는 수직방향내에서 두 개의 반대방향들(상측 및 하측 방향들)에서 계산되고, 보간은 계산된 상관값들에 따라 수행된다. 다른 말로 표현하면, 수평 스트라이프들 또는 수직 스트라이프들이 보여지는지의 여부는 보간될 화소의 주변에 있는 화소들, 예를 들어 보간될 화소 주위의 5 × 5 화소들의 정보로부터 결정된다. 수평 스트라이프들이 관찰되는 경우에는, 보간이 보간될 화소의 수평 방향에서 두 측면들에 위치해 있는 화소들의 신호들을 이용하여 수행된다. 수직 스트라이프들이 관찰되는 경우에는, 보간이 보간될 화소의 수직방향에서 두 측면들에 위치해 있는 화소들의 신호들을 이용하여 수행된다.

종래의 영상처리장치는 단지 두 가지 방향들에서만 상관 검출에 의해 보간을 수행하고, 수평 및 수직 방향들에서 에지들(edges)에 대해 효과적이지만, 만약 그 에지들이 약 한 개의 화소 폭 정도라면, 그것은 수평 에지와 수직 에지의 교차부를 검출할 수 없거나, 잘리거나 구부러진 부분에서의 에지를 교정할 수 없다. 대각선 라인에 대해서는, 상기 장치는 수평상관 또는 수직상관이 강한지의 여부를 판정할 수 없고, 수평 에지와 수직 에지에서의 처리 결과들을 평균화(평균보간을 수행)하게 된다.

그러므로, 종래의 영상처리장치는 낮은 해상도의 임프레션을 갖는 흐려진 영상 또는 상술한 부분들에서, 없어서는 안될 곳에 있는 손실된 라인을 발생시키게 된다.

발명의 요약

따라서, 본 발명의 목적은 우측의 각진 모서리(right-angled corner)와 깨지거나 구부러진 라인에서도 성공적인 보간처리를 수행하도록 허용하는 영상처리장치, 영상처리방법, 및 상기 영상처리장치를 이용하는 카메라를 제공하는 것이다.

상기 목적은 본 발명의 한 양상에서 광수신 평면상에 특정한 칼라 배열을 갖는 칼라필터를 구비하는 고체 영상장치의 출력신호를 처리하는 영상처리장치를 제공함으로써 달성된다. 상기 영상처리장치는 보간되는 화소로부터의 4 방향들, 즉 상측, 하측, 좌측, 우측으로 되어 있으며, 90도의 각도 배수들을 형성하는 4 방향들에서의 4 화소 정보에 따라, 4 방향들에서의 상관값들을 계산하는 상관값 계산회로와, 상기 상관값 계산회로에 의해 계산된 4 방향들에서 상관값들에 따라 보간계수를 결정하는 보간결정회로와, 계수결정회로에 의해 결정된 보간계수들을 이용하여, 4 방향들에 대응하는 4 화소 정보에 따라서, 보간을 수행하는 보간처리장치를 포함한다.

상기 목적은 본 발명의 또다른 양상에서 광수신 평면상에 특정한 칼라 배열을 가지고 있는 칼라필터를 갖는 고체 영상장치의 출력신호를 처리하는 영상처리방법을 제공함으로써 달성된다. 상기 영상처리방법은 보간되는 화소로부터의 4 방향들, 즉 상측, 하측, 좌측, 우측으로 되어 있으며, 90도의 배수들을 형성하는 4 방향들에서의 4 화소 정보에 따라, 4 방향들에서의 상관값들을 계산하는 단계와, 4 방향들에서 상관값들에 따라 보간계수를 결정하는 단계와, 결정된 보간계수들을 이용하여, 4 방향들에 대응하는 4 화소 정보에 따라서, 보간 처리를 수행하는 단게로 구성되어 있다.

영상처리장치와 영상처리방법에서는, 특정값들, 즉, 좌우측방향(수평방향)과 상하방향(수직방향)의 총 4 방향들에서 보간되는 화소의 상관 정도를 나타내는 상관값들이 먼저 계산된다. 이러한 4 방향들에서 상관값들에 따라, 보간에 사용되는 보간계수들이 결정된다. 상관값들을 계산하는데 사용되는 4 방향들에서 4 화소정보들은 보간계수들에 의해 승산되고, 보간처리를 위해 합쳐진다.

상기 목적은 본 발명의 또 다른 양상에서 카메라를 제공함으로써 달성된다. 상기 카메라는 광수신 평면상에 특정한 칼라 배열을 가지고 있는 칼라필터를 갖는 고체 영상장치와, 고체 영상장치의 광수신 평면상에 입사하는 빛에 의해 물체의 영상을 형성하는 광시스템과, 고체 영상장치의 출력신호를 처리하는 영상처리장치로 구성되어 있다. 상기 영상처리장치는 보간되는 화소로부터의 4 방향들, 즉 상하좌우로되어 있으며, 90도의 배수들을 형성하는 4 방향들에서의 4 화소 정보에 따라, 4 방향들에서의 상관값들을 계산하는 상관값 계산회로와, 상기 상관값 계산회로에 의해 계산된 4 방향들에서 상관값들에 따라 보간계수를 결정하는 보간결정회로와, 계수결정회로에 의해 결정된 보간계수들을 이용하여, 4 방향들에 대응하는 4 화소 정보에 따라서, 보간을 수행하는 보간처리장치로 구성되어 있다.

상술한 바와 같이, 본 발명에 따르면, 광수신 평면상에 칼라필터를 가지고 있는 고체영상장치의 출력신호가 처리될 때에, 보간되는 화소로부터의 4 방향들, 즉 상하좌우의 4 방향들에 있는 4 화소 정보에 따라, 상관값들이 계산된다. 보간계수들은 4 방향들에서 계산된 상관값들에 따라 결정된다. 보간처리는 결정된 보간계수들을 이용하여, 4 화소 정보에 따라서, 수행된다. 상관 정도들은 상관값들이 계산되어지는 방향들중 어느 방향에 대해 수직이 아닌 방향에 배열된 에지에 대해서도 결정된다. 그러므로, 대각선 에지는 보간처리가 된 후에 어떤 흐려짐이 없이 도시된다. 그리고, 성공적인 보간은 우측의 모서리와 잘리거나 또는 구브러진 라인에서 수행된다.

양호한 실시예들의 설명

본 발명의 실시예들은 도면을 참조하여 설명되어질 것이다. 도1은 본 발명에 따르는 영상처리장치의 기본배열을 도시한 블록도이다. 영상처리장치가 처리를 수행하는 칼라 단일-칩 고체영상장치(12)는 예컨대, 도2에 도시한 바와 같이, 적색(R), 녹색(G), 청색(B)과 같은 기본 칼라들의 바이어 배열을 가지는 칼라 필터(11)를 포함하고 있다.

칼라 배열은 기본 칼라들의 바이어 배열 또는 RGB의 기본 칼라들의 배열에 제한되지 않는다. 다른 기본 칼라들의 칼라 구조 및 노랑, 시안(cyan), 마젠타(magenta)와 녹색과 같은 상보적인 칼라들의 칼라 배열이 동일한 방식으로 이용될 수 있다. 고체 영상처리장치(12)로서, 독자적으로 모든 화소들의 신호전하를 판독하는 모든 화소판독 전하결합장치(CCD 영역센서라고 부르겠음)가 이용된다. 모든 화소판독 방법을 이용하지 않는 CCD 영역센서도 이용될 수 있다.

신호처리부(13)는 흑색 레벨 클램핑(clamping)과 백색 밸런스(balance)와 같은 신호처리를 CCD 영역센서로부터 나온 RGB 위치-순차 데이터에 대해 수행하고, 상기 데이터를 검출부(14)와 보간부(15)로 전송한다. 검출부(14)는 입력 RGB 위치-순차 데이터로부터 가장 적합한 보간방법을 검출한다. 그리고, 보간정보를 보간부(15)로 전송한다. 보간부(15)는 보간처리를 검출부(14)로부터 입력된 보간정보에 따라 RGB 위치-순차 데이터에 대해 수행한다. 그리고, 그 결과들을 출력한다.

검출부(14)는 도3에 도시된 바와 같이, 보간되는 화소(보간화소라고 부름)로부터 좌우상하의 4방향, 즉, 수평방향(H)에서의 두 개의 반대 방향들과, 수직방향(V)에서의 두 개의 반대 방향들을 가지고 있으며, 90도의 배수들인 각들을 만드는 4 방향들에서의 상관 정도를 검출하는 VH-검출부(16)와, 상기 4개의 방향들을 가지고 있으며, 45도의 배수들을 만드는 4 방향들에서의 상관 정도를 검출하는 대각선 상관 검출부(17)로 구성되어 있다.

본 실시예에서는, 4개의 대각선 방향들과 좌우상하의 방향들을 합한 총 8개의 방향에서 상관 정도가 검출된다. 상관정도는 단지 4개의 방향. 즉 좌우상하 방향에서만 검출될 수 있다. 다음의 설명에서는, 상관 정도가 8개의 방향에서 검출되는 경우가 보기로 설명되어 있다.

보간부(15)는 도4에 도시된 바와 같이, 검출부(14)로부터 입력된 보간정보에 따라, G 화소정보에 대해 보간처리를 하는 G 보간부(18)와, R 화소정보에 대해 보간처리를 하는 R 보간부(19)와 B 화소정보에 대해 보간처리를 하는 B 보간부(20)로 구성되어 있다.

도5는 VH- 상관 검출부(16)와 대각선 상관 검출부(17)의 특정한 구성을 도시한 블록도이다.

VH- 검출부(16)는 보간화소의 우측에 위치한 화소 정보에 따라 상관 정도를 나타내는 상관값을 계산하는 우측 상관값 계산회로(21)와, 보간화소의 좌측에 위치한 화소 정보에 따라 상관 정도를 나타내는 상관값을 계산하는 좌측 상관값 계산회로(22)와, 보간화소의 상측에 위치한 화소 정보에 따라, 상관 정도를 나타내는 상관값을 계산하는 상측 상관값 계산회로(23)와, 보간화소의 하측에 위치한 화소 정보에 따라 상관 정도를 나타내는 상관값을 계산하는 하측 상관값 계산회로(24)와, 이러한 상관값 계산회로들(21-24)에서 계산된 상관값들을 보간 이득들로 변환하고, 출력시키는 상관값-보간 이득 변환회로(25)로 구성되어 있다.

상기 구성을 가지고 있는 VH-검출부(16)에서는, 상관값-보간 이득 변환회로(25)가 수평 및 수직 보간이득들 RGain, LGain, TGain, BGain과 수평 및 수직 RB보간이득, RGainD, LGainD, TGainD, BGainD를 보간계수들로 출력한다. 수평 및 수직 RB 보간 이득들 RGainD, LGainD, TGainD, BGainD는 나중에 상술될 것이다.

대각성 상관 검출부(17)는 보간화소의 상부우측에 위치한 화소의 정보에 따라 상관값을 계산하는 상부우측 상관값 계산회로(26)와, 보간화소의 상부좌측에 위치한 화소의 정보에 따라 상관값을 계산하는 상부좌측 상관값 계산회로(27)와, 보간화소의 하부우측에 위치한 화소의 정보에 따라 상관값을 계산하는 하부우측 상관값 계산회로(28)와, 보간화소의 하부좌측에 위치한 화소의 정보에 따라 상관값을 계산하는 하부좌측 상관값 계산회로(29)와, 이러한 상관값 계산회로들(26-29)에서 계산된 상관값들을 보간 이득들로 변환하고, 대각선 보간이득들 D1Gain, D2Gain, D3Gain, D4Gain을 보간계수들로 출력하는 상관값-보간이득 변환회로(30)로 구성되어 있다.

4 개의 수평 및 수직 방향들과 4개의 대각선 방향들은 서로 수직이 아니므로, 수평 및 수직 방향들에서의 상관값들과 대각선 방향들에서의 상관값들을 비교하여, 대각선 보간보상 이득들(VHGain, DGain)을 보간계수들로 계산하는 VH-대각선 상관값 비교회로(31)가 제공된다. 이러한 대각선 보간보상 이득(VHGain, DGain)들을 계산하는 방법은 나중에 상세히 설명되어질 것이다.

도6은 VH-상관 검출부(16)에서 좌측 상관값 계산회로(22)의 특정배열을 도시한 블록도이다. 우측 상관값 계산회로(21), 상측 상관값 계산회로(23), 하측 상관값 계산회로(24)는 좌측 상관값 계산회로(22)와 같이 동일한 회로 배열을 가지고 있다.

좌측 상관값 계산회로(22)에서, 입력 RGB 위치-순차 신호는 R 화소, G 화소, B 화소의 칼라들에 대응하는 R신호, G 신호, 및 B 신호로 분리되고, 칼라분리회로(32)에 의해 출력된다. G 신호는 차이 1 계산회로(33)와 차이 2 계산회로(34)로 전송된다. R 신호는 차이계산회로(35)로, 그리고 B신호는 차이계산회로(36)로 전송된다.

단지 G신호만이 두 개의 차이계산회로들(33,34)로 전송되는 이유는 다음과 같다. 즉, 도2에 도시된 R,G,B의 기본 칼라들로된 바이어 구조로부터 알 수 있듯이, G신호는 수평 및 수직 방향들에서 R과 B신호들의 샘플링 카운트를 두 배로하며, 인접한 수직 라인들에 있는 G 신호들간의 차이와, 한 라인씩 분리된 수직라인들에 있는 G 신호들간의 차이가 계산되기 때문이다. 본 실시예에서는, 인접한 수직 라인들과 한 라인씩 분리된 수직라인들이 사용된다. 두 개 이상 분리된 수직라인들이 사용될 수도 있다.

도7에 도시된 바와 같이, 차이1 계산회로(33)와, 차이2 계산회로(34)와, 차이계산회로(35,36)에서는, 신호들이 차이들이 계산되는 방향에 대해 수직으로 위치해 있는 저대역 통과필터들(LPFs)(1,2,2,2,1) (37,38,39)을 통과하며, 차이계산을 위한 계산 밴드통과 필터들(BPFs: 40,41,42,43)을 통과한다. 계산 밴드통과 필터들(BPFs: 40,41,42,43)은 1/2 상관(1,-1)과 G 신호를 위한 1/4 상관(1,0,-1), R 과 B 신호들을 위한 1/4 상관(1,1,-1,-1)을 사용한다.

이러한 차이계산회로(33,34,35,36)들에 의해 계산된 차이들은 절대값 계산회로들(45,46,47,48)에서 절대값으로 만들어진다. 그리고 계수가산회로들(49,50,51,52)로 전송된다. 계수가산회로들(49,50,51,52)은 절대값 계산회로들(45,46,47,48)에 의해 절대값으로 만들어진 차이들을 각각 독자적으로 명시된 계수들만큼 승산시키고, 그 결과들을 출력시킨다. 계수가산회로들(49,50,51,52)의 출력들은 가산기 회로(53)에서 가산되며, 좌우상하 방향에서 상관값(St, Sb, Sl, Sr)들로 출력된다. 이 경우에서는, R과 B 성분들이 4로 나누어지고, 가산되어, R과 B 성분이 상관값에 미치는 영향을 G 성분이 미치는 영향보다 더 작게 만든다.

NTSC 시스템에서 R,G,B 칼라신호로부터 휘도를 발생시키기 위해 0.30R+ 0.59G+0.11B가 계산되는 경우와 같이, 계수가산회로들(49,50,51,52)은, 인간의 시각적 감각특성에 맞추기 위해 계수들만큼 상기 차이들을 승산시킨다. 3:6:1, 1:2:1 또는 2:4:1과 같은 R,G,B의 비율은 계산의 양과 게이트들의 크기를 줄이기 위해 간단하게 되어 있는 것이 바람직하다.

상기 배열을 가지고 있는 좌측 상관값 계산회로(22)내의 차이계산회로(33-36)들에 의해 좌측방향에서 차이를 계산하는 방법은 도8에 도시된 기본 칼라들의 바이어 배열을 참조하여 다음에 설명되어질 것이다. 각각의 서로 다른 방향들(좌우상하)에서의 차이를 계산하는 방법은, 첨자들이 변경되지만 좌측 방향에서의 차이를 계산하는 방법과 동일하다.

인접한 수직라인들에 있는 G 신호들간의 차이는 표현식(1)에 의해 계산되며, 1 라인 간격 떨어진 수직라인들에서의 G 신호들간의 차이는 표현식(2)에 의해 계산된다. 표현식(1),(2)은 화소(G22)에 대한 상관을 검출하기 위해서 사용된다. 한편, R과 B 신호들은 한 라인씩 떨어진 서로 다른 수직라인들에서 발생되므로, 1 라인 간격 떨어진 수직라인들에서 R 신호들간의 차이는 표현식(3)에 의해 계산되며, 1 라인 간격 떨어진 수직라인들에서 B 신호들간의 차이는 표현식(4)에 의해 계산된다. 화소(G33)에 대해서는, 수평 및 수직 라인들을 나타내는 첨자들은 1만큼 증가하며, R과 B 신호들을 위해 사용된 계산 방법은 변경된다.

...(1)

...(2)

...(3)

...(4)

도5에 도시된 VH-상관 검출부(16)에서는, 상관값 보간 이득변환회로(25)는 상관계수들을 결정하는 회로로 동작한다. 그리고, 상관계수들을 결정하기 전에, 상관값 회로들(21-24)에 의해 계산된 4 개의 방향에 있는 상관값들(Sr,Sl,St,Sb)에 따라 상관 모드를 결정한다. 상관 모드가 도입되는 이유는 다음과 같다. 즉 만약 상관값들이 그들의 등급 순서대로 배열되어 있다면, 상관 등급에 대응하는 상관계수들을 결정하는 것이 어렵기 때문이다.

예를 들면, 상관계수들은 4 개의 상관값들(100,101,102,103)이 실제적으로 동일한 경우와, 4 개의 상관값들(0,10,100,500)이 전적으로 다른 경우에는 서로 달라야 한다. 그러므로, 상관 계수들의 분포를 나타내는 상관모드는 상관등급 결정과는 독자적으로 도입되게 된다. 상관모드는 4 개의 상관값들(Sr,Sl,St,Sb)의 분포를 나타낸다. 표1에 도시한 바와 같이, 상관 모드는 0에서 7까지의 8개 모드들을 포함한다.

도9는 상관모드를 결정하는 상관모드 결정회로의 특정 배열을 도시한 블록도이다.

도9에서는, 6 개의 비교기들(54-59)이 제공되어 4 개의 상관값들(Sr,Sl,St,Sb)을 비교하게 된다. 우측 상관값들(Sr)은 비교기들(54,55,57)의 비교 입력(A)으로 동작한다. 상측 상관값(St)은 비교기(54)의 입력(B)으로, 그리고 비교기들(56,58)의 입력(A)으로도 동작한다. 하측 상관값들(Sb)은 비교기들(57,58,59)의 비교 입력(B)으로 동작한다.

비교기들(54-59)은 두 개의 입력(A,B)들을 비교하고, 그 결과를 3개의 레벨들, ">", "=", "<" 로 출력한다. 다른 말로 표현하며, 두 개의 상관값들간의 차이의 절대값이 소정의 기준값(TH)보다 작을 때에는, 두 개의 비교 결과들 A>B, A<B뿐만 아니라, A=B가 출력된다. 소정의 기준값(TH)으로는, 보간화소 근처에 있는 가중치가 매겨진 화소들의 평균레벨들 또는 평균 레벨이 사용된다. 예를 들면, 소정의 계수에 의해 승산된 보간화소 부근의 휘도(Y0)가 사용된다. 도10은 휘도(Y0)의 검출을 도시한 도면이다.

비교기들(58-59)의 다음 단계에서는, 좌우 및 상하에 대응하는 4 개의 1비트 전가산기들(full- adders: 60-63)이 사용된다. 전가산기(60)는 한 개의 가산입력(X)에서 비교기(54)의 비교결과(A>B)를 수신하고, 다른 가산 입력(Y)에서 비교기(55)의 비교결과(A>B)를, 캐리 입력(C) 에서는 비교기(57)의 비교결과(A>B)를 수신한다. 전가산기(61)는 한 개의 가산입력(X)에서 비교기(54)의 비교결과(A>B)를 수신하고, 다른 가산 입력(Y)에서 비교기(56)의 비교결과(A>B)를, 캐리 입력(C) 에서는 비교기(58)의 비교결과(A>B)를 수신한다.

전가산기(62)는 한 개의 가산입력(X)에서 비교기(55)의 비교결과(A<B)를 수신하고, 다른 가산 입력(Y)에서 비교기(56)의 비교결과(A<B)를, 캐리 입력(C) 에서는 비교기(59)의 비교결과(A<B)를 수신한다. 전가산기(63)는 한 개의 가산입력(X)에서 비교기(57)의 비교결과(A<B)를 수신하고, 다른 가산 입력(Y)에서 비교기(58)의 비교결과(A<B)를, 캐리 입력(C) 에서는 비교기(59)의 비교결과(A<B)를 수신한다. 전가산기(60-63)들의 각각은 두 개의 가산입력(X,Y)과 캐리 입력(C)에 따라 등급을 결정한다. 그리고 결정 결과들(S0,S1)을 출력한다.

결정 결과들(S0,S1)은 논리 회로(64)를 통해 4 개의 4-입력 가산기들(65-68)에 전송된다. 가산기들(65-68)중에서는, 가산기들(65,66)이 각각 두 개의 가산 출력(S0,S1)들을, 가산기들(67,68)은 각각 한 개의 가산 출력(S0)을 논리회로(69)에 출력한다. 논리 회로(69)는 가산기들(65,66)의 두 개의 가산출력들(S0,S1)과 가산기들의 한 개의 가산 출력(S0)에 따라, 3 개의 비트들로된 모드신호, 즉 m0,m1,m2를 출력한다. 8개의 모드들중 한 모드는 모드 신호(m0,m1,m2)에 근거하여 결정된다.

상기 배열을 가지고 있는 상관모드 결정회로에서는, 4개의 상관값들(Sr,Sl,St,Sb)이 3개의 레벨들(">", "=", "<")로 표시되는 비교결과들을 얻기 위해 비교된다. 그리고 상관값들은 비교결과들에 따라 등급이 매겨진다. 그리고, 0부터 시작되는 낮은 번호들은 더 작은 값에 할당된다. 이 경우에서는, 두 개의 방향들 또는 4개의 방향들에서의 상관값들은 동일한 레벨에서 등급이 매겨진다. 등급 분포와 표1에 따라, 상관 모드가 결정된다. 모드들(1,2,5,6,)의 경우에서는, 등급 분포가 표에 도시된 분포와 다를 수도 있다. 모드(1)에서는, 예를 들면, 등급(0)이 3개의 방향에 있는 상관값들에 할당된다. 그리고, 등급(1,2 또는 3)은 다른 한 방향에서의 상관값에 할당된다.

랭크(rank)들은 상관 등급에 근거하여 결정된다. 설명을 하기 위해, 랭크들은 상관 등급들과 다르게 되어 있다. 랭크들에서는, 순서가 상관 등급을 가지고 있는 방향에 있는 상관값들에도 할당된다. 만약 상관값들이 동일한 상관 순서를 가고 있다면, 순서는 우측으로부터 시계방향으로 할당된다. 상측, 하측, 우측, 및 좌측 방향에 있는 모든 상관값들이 동일한 상관 등급을 가지고 있을 때에, 상측, 하측, 우측, 및 좌측 방향들에 있는 상관값들은 각각 0,1,2,3의 랭크들을 가지게 된다.

상술한 바와같이, 상관 계수들이 계산될 때에, 상관값-보간이득 변환회로(25)에서는, 상관 모드와 랭크들이 결정된다. 그리고, 각 방향에서 보간계수들을 결정하기 위해, 즉 수평 및 수직 보간이득(RFain, LGain, TGain, BGain)과 수평 및 수직 RB 보간이득들(RGainD, LGainD, TGainD, BGainD)을 결정하기 위해서, 상관 모드와 랭크에 따라 계산된다.

보간계수들이 계산될 때에, 상관값-보간이득 변환회로(25)는 결정된 상관 모드에 따라 보간계수들을 계산하는 방법을 바꾼다. 다른 말로 표현하며, 수평 및 수직 방향들에서의 4개의 상관값들(Sr,Sl,St,Sb)은 가장 작은 것부터 S0,S1,S2,S3으로 불려진다. 그리고 변수(α) (0≤α≤1/4)가 모드에서 검색표(LUT)로부터 이러한 순서에 의해 얻어진다. 그리고, 보간계수들은 변수(α)를 이용하여 계산된다.

다른 말로 표현하며, 도11에 도시된 바와 같이, 4 개의 상관값들(S0-S3) 은 3 개의 계산출력들(S3-S0, S2-S0, S1-S0)을 얻기 위해서 계산회로(70A)에 입력된다. 3개의 계산출력들(S3-S0, S2-S0, S1-S0)중 한 개가 3 비트 모드 신호(m0-m2)에 의해 결정된 각 모드에 따라 선택되며, 검색표(70C)로 전송된다.

검색표(70C)에서는, 변수(α)가 모드(0)에서는 0으로 설정되고, 모드(1)에서는 S3-S0으로, 그리고, 모드(2,3)에서는, S2-S0으로 설정된다. 모드(4-7)에서는 S1-S0으로 설정된다. 보간계수들은 표2에 도시된 비와 같이, 변수(α)를 이용하여 계산된다. 검색표(70C)의 값들이 외적인 요인에 의해 변화될 때에, 변수(α)는 어떤 값으로 설정된다.

4 개의 수평 및 수직 방향들에서의 상관 검출은 이미 기술되었다. 4 개의 대각선 방향에서의 상관 검출을 살펴보면, 대각선 방향에서의 변조 성분들의 절대값들은 칼라분리(color separation) 이후에 얻어진 R,G,B 신호들의 각각에 대해 계산된다. 그리고 그들 절대값들은 상대값을 표시하기 위해 R:G:B = 1:4:1의 비율로 더해진다. 상측 우측, 상측 좌측, 하부좌측과 하측 우측방향은 각각 D1,D2,D3,D4 방향으로 불리운다. 도5에 도시된 상관값-보간이득 변환회로(30)에서는, 4 개의 대각선 방향들에서의 보간 이득들(D1Gain, D2Gain, D3Gain,D4Gain)이 4 개의 수평 및 수직 방향들의 경우와 같이 동일한 방식으로 보간계수들로 계산된다.

도12와 도13은 도4에 도시된 보간부(15)내에 있는 G보간부(18), R보간부(19), B 보간부(20)의 특정 배열을 도시하고 있다. 도12는 G 보간부의 배열을 도13은 R 보간부(19)와 B 보간부(20)의 배열을 도시하고 있다.

도12에서는, 칼라 분리후에 얻어진 G 데이터가 4 개의 수평 및 수직 방향들, 즉 우측, 좌측, 상측, 및 하측 상관처리회로(71,72,73,74)에 전송되어, 4방향에서 보간 데이터(Gr, Gl, Gt, Gb)를 발생시킨다. 보간 데이터(Gr, Gl, Gt, Gb)는 보간 방향에서 G 데이터를 저대역 통과필터들(LPFs)로 통과시킴으로써 발생된다. 보간 데이터(Gr, Gl, Gt, Gb)는 실제적으로 낮은 휘도와 높은 휘도에 사용되는 2개의 LPF 들을 제공하고, LPF들의 출력들을 소정의 이득만큼 승산시키고, 그들을 합침으로써 발생된다.

보간 데이터(Gr, Gl, Gt, Gb)는 승산기들(75,76,77,78)에서, 도5에 도시된 VH-상관검출부(16)에 의해 결정된 보간 계수들, 즉 수평 및 수직 보간 이득들(RGain, LGain, TGain, BGain)과 승산된다. 그 결과들은 가산기들(79-81)에 의해 합쳐져, G 보간처리를 수행한다. 보간처리 후에 얻어진 G 영상 데이터는 표현식(5)에 의해 표현된다.

G= Gr X RGain + Gl X LGain + Gt X TGain + Gb X BGain ...(5)

이와 같이, D1,D2,D3,D4 방향들에 있는 보간 데이터는 4개의 대각선 방향들 즉, 상부우측, 상부좌측, 하부좌측, 하부우측 상관처리 회로들(82,83,84,85)에서 발생된다. 상기 데이터는 승산기들(86,87,88,89))에 의해 도5에 도시된 대각선상관 검출부917)에 의해 결정된 대각선 보간이득들(D1Gain, D2Gain, D3Gain, D4Gain)만큼 승산된다. 그리고, 보간처리를 수행하기 위해서 가산기들(90-92)에 의해 합쳐진다.

4개의 수평 및 수직 방향들에서 상관 검출과 보간에 의해 얻어진 G 영상 데이터와, 4개의 대각선 방향에서 상관 검출과 보간에 의해 얻어진 G 영상 데이터는 표현식(6)에 의해 도시된 바와 같이 상황에 따라 변화되는 결합비율에 의해 합쳐진다. 결합 비율은 도5에 도시된 VH-대각선 상관값 비교회로(31)에서 계산된 대각선 보간 보상이득들(diagonal-interpolation compensating gains)(VHGain, DGain)에 의해 조절된다.

G = Gvh X VHGain + Gd X DGain ...(6)

수평 및 수직 방향들은 대각선 방향에 대해 수직이 아니므로, 수평 및 수직 방향들 및 대각선 방향들의 최대값들(S3)과 최소값들(S0)간의 차이들이 비교되며, 더 큰 차이에 대응하는 보간계수들은 증가하여 더 작은 차이에 대응하는 보간계수들보다 더욱 커지게 된다. 그 이유는 상관값들의 최대와 최소간의 차이는 검출방향들중 어느 방향에 대해 수직이거나 또는 에지가 평행인 경우에 대해서는 더욱 커지기 때문이다. 수평 및 수직 방향들에서의 상관값들이 대각선 방향에서의 값들과 비교될 때에, 수평 및 수직 보간은 오프셋(offset)이 제공된 수평 및 수직의 계산된 값들에 의해 일반적으로 수행되며, 대각선 방향에서의 보간계수들은 단지 대각선 보간이 적절한 경우에만 증가한다.

방향 및 대각선 방향들의 최대값들(S3)과 최소값들(S0)간의 차이(S3-S0)들이 비교될 때에, 소정의 상수(SDoffset)는 대각선 방향들내의 차이(S3-S0)에 부가된다. (또는 소정의 상수로부터 감해진다.) 최종 값은 계수(SDGain)에 의해 승산되며, 곱(A)은 수평 및 수직 방향들에서의 차이(B: S3-S0)와 비교된다. 그리고, 대각선 보간 보상이득(VHGain, DGain)들은 도14에 도시된 바와 같이 차이(A-B)에 따라 표시된다.

다른 말로 표현하자면, 도12에서는, 가산기(81)의 출력 데이터가 승산기(93) 내의 대각선 보간 보상이득(VHGain)에 의해 승산되고, 가산기(92)의 출력 데이터가 승산기(94)내의 대각선 보간 보상이득(DGain)에 의해 승산된다. 4개의 수평 및 수직 방향들에서 상관검출과 보간에 의해 얻어진 G 영상 데이터와, 4 개의 대각선 방향에서 상관 검출과 보간의 의해 얻어진 G 영상 데이터를 소정의 비율로 결합한(가산한)형태를 얻기 위해, 승산기들(93,94)의 출력들은 가산기(95)에 가산된다.

G 보간부(18)의 동작과 구조가 이미 서술되었다. 도13에 도시된 R과 B의 보간부의 구조는 기본적으로 도12에 도시된 G 보간부(18)의 구조와 동일하다. 그러므로, 도12에 사용된 표시들과 동일한 표시들이 도13에 있는 대응하는 비슷한 부분들에 할당된다. 좌우 및 상하 상관 처리회로들(71', 72', 73', 74')에서 보간 데이터를 발생시키는 방법은 G 데이터의 경우보다 더욱 복잡하다. 그 이유는 RB보간에 대한 상관검출이 수행되고, G/2 성분이 RB 데이터에 추가되기 때문이다.

RB보간에 대한 상관검출은 수평(우측 및 좌측)보간 데이터와 수직(상측 및 하측) 보간 데이터에 대해 독자적으로 수행된다. 자세히 설명하자면, R 신호와 B신호는 R과 B 데이터에 대해서만 보간계수들로 계산된 수평 및 수직 RB보간이득들(RGainD, LGainD, TGainD, BGainD)에 의해 R화소들과 B화소들의 신호로부터 보간된다. R 신호에 대한 보간 처리는 보기를 들어 설명되어질 것이다. B신호에 대한 보간 처리는 T신호의 경우와 동일하다.

도2에 도시된 칼라 구조에서 알 수 있듯이, R,G,B의 주요 칼라들로된 바이어 배열을 가지고 있는 칼라필터(11)에서는, G 신호가 CCD영역센서(12)의 전체 화소에 있는 공간 샘플링 카운트와 동일한 카운트를 수평 및 수직 방향들에서 가지고 있다. 반면에, R 과 B 신호는 CCD영역 센서(12)의 전체 화소들에 있는 공간 샘플링 카운트보다 더 작은 카운트를 수평 및 수직 방향에 가지고 있다.

도8에 도시된 기본 칼라들로된 바이어 구조에서는, 화소(R21)가 보간될 때에, 어떤 공간 처리도 요구되지 않으며, R21의 신호는 R 신호와 같이 사용된다. 화소(G22)가 보간될 때에, 화소(R23)는 우측 보간을 위해 사용되며, 도15에 도시된 보간계수 계산회로(96)는 상측과 하측 보간을 위해 사용된다. 보간계수 계산회로(96)는 도5에 도시된 VH-상관검출부(16)내의 상관값-보간이득 변환회로(25)의 한 부분을 형성한다.

다른 말로 표현하자면, VH-상관 검출부(16)에서는, 좌측상관값 계산회로(22)에서 계산된 좌측 상관값(Sl)과 우측상관값 계산회로(21)에서 계산된 우측 상관값(Sr)이 보간계수 계산회로(96)가 입력되어, 우측보간계수(RGainD)와 좌측 보간계수(LGainD)를 계산하게 된다. 도16은 보간계수 계산회로(96)의 특징을 도시하고 있다. 도16에 도시된 특징에서는, 보간계수들이 0.0에서 1.0에 걸쳐 있다. 보간계수들은 어떤 값이 될 수 있으며, 실제로, 보간계수에 의해 승산된 R 신호는 0.0에서 1.0에 존재할 필요가 있다.

상술한 바와 같이 계산된 우측보간계수(RGainD)와 좌측 보간계수(LGainD)는 도13에 도시된 우측상관 처리회로(71')와 좌측상관 처리회로(72')에 입력된다. 상관처리 회로들(71',72')은 소정의 계산을 수행하여, 다음의 계산에 의해 상측 보간 데이터(TData)와 하측 보간 데이터(BData)를 출력시킨다.

TData = R01 X LGainD + R03 X RGainD

BData = R41 X LGainD + R43 X RGainD

다음의 표현식들도 이용가능하다.

TData = {(R01 + R21) X LGainD + (R03 + R23) X RGainD}/2

BData = {(R21 + R41) X LGainD + (R23 + R43) X RGainD}/2

화소(G33)가 보간될 때에, 상측 보간계수(TGainD)와 하측 보간계수(BGainD)는 상술한 바와 같이, 동일한 처리 방법에 의해 상측 보간값(St)과 하측 보간값(Sb)으로부터 계산된다. 우측 보간 데이터(RData)와 좌측 보간 데이터(LData)는 예를 들면, 다음 계산식에 의해 계산된다.

LData = R21 X TGainD + R41 X BGainD

RData = R25 X TGainD + R45 X BGainD

화소(B32)가 보간될 때에, 상측 보간계수(TGainD)와 하측 보간계수(BGainD)는 상측 상관값(St)과 하측 상관값(Sb)으로부터 계산되며, 우측 보간계수(RGainD)와 좌측 보간계수(LGainD)는 우측 상관값(sr)과 좌측 상관값(Sl)으로부터 계산된다. 상측 보간데이타(TData), 하측 보간 데이터, 좌측 보간 데이터(LData), 우측 보간데이타(RData)는 다음 수학식에 의해 계산된다.

TData = R21 X LGainD + R23 X RGainD

BData = R41 X LGainD + R43 X RGainD

LData = R21 X TGainD + R41 X BGainD

RData = R23 X TGainD + R43 X BGainD

상술한 바와 같이,RB 보간에 대한 상관 검출은 수평(우측과 좌측) 보간 데이터와 수직(상측 및 하측) 보간 데이터에 대해 독자적으로 수행된다. 우측 상관값(Sr)과 좌측 상관값(Sl)은 수평방향에서의 보간 데이터에 대한 보간계수들(LGainD, RGainD)을 계산하기 위해 비교된다. 상측 상관값(St)과 하측 상관값(Sb)은 수직 방향에 있는 보간데이타에 대한 보간계수들(TGainD, BGainD)을 계산하기 위해서 비교된다.

보간계수들(TGainD, BGainD, LGainD, RGainD)에 따라, 상측 보간 데이터(TData), 하측 보간데이타(BData), 좌측 보간 데이터(LData), 우측 보간 데이터(RData)가 계산된다. 그들은 수평 및 수직 계수들(TGain, BGain, LGain, TGain)에 의해 승산되고, R신호를 발생시키기 위해 합쳐진다.

R신호에 대한 상측 보간 데이터(TData)가 발생되는 경우가 보기로서 제시되어 있다. R 정보는 최초 영상내의 수평 및 수직 방향들에서 두 번째 화소마다 얻어지므로, 만약 R 화소가 보간된다면, 상기 R 화소의 데이터가 사용되며, 만약 Gb화소가 보간된다면, R 화소가 상측에 배치되어 있으므로, 상측 R화소의 데이터는 상측 보간 데이터로서 사용된다.

만약 B 또는 Gr화소가 보간된다면, R 정보는 수직라인에서 얻어지지 않으므로, 상측 보간 데이터(TData)는 좌측과 우측 수직라인들내의 R화소들의 데이터와 G 화소의 1/2 변조 성분에 따라 발생된다. 자세히 설명하자면, 우측 수직라인상의 R 화소의 데이터와 수평방향의 우측에 있는 G 화소의 1/2 변조 정보는 더해지며, RGainD에 의해 계수로서 승산된다. 좌측 수직라인상의 R화소의 데이터와 수평방향의 좌측에 있는 G 화소의 1/2 변조 정보는 더해지며, LGainD에 의해 계수로서 승산된다. 두 개의 결과들은 상측 보간 데이터(TData)를 발생시키기 위해 더해진다.

도8에 도시된 기본 칼라들의 바이어 배열에서는, 화소(G2)에 대응하는 R 신호가 보간될 때에, R 화소들은 양측에 배치되어 있고, R 정보는 가늘기(thin) 때문에 수평보간에서는 문제가 없다. 그러나, 수직 보간에서는, 단지 G 신호들과 B 신호들이 G02, B12, G22, B32, G42로부터 얻어지는 것과 같이 동일한 수직라인에서 얻어지므로, 인접한 수직라인내의 R신호가 사용될 필요가 있다.

신호 레벨이 수평방향에서 급격하게 변하는 수직 에지의 영상이 취해질 때에, 에지는 G22의 수직 라인과 인접한 라인, 예를 들면 R23의 수직 라인 사이에 위치하게 된다. 이 경우에서는, R03, R23, 또는 R43의 R 신호가 사용되므로, G22의 위치에서 R 신호가 R01, R21, R41의 R 신호와 동일한 레벨을 가지고 있지만, 신호 레벨은 실제 레벨과 다르며, 에지는 칼라를 가지게 된다.

상술한 바와 같이, 기본 칼라들의 바이어 구조에 대한 신호 처리에서는, 수평방향에서는 보간 데이터에 대한 보간계수들(LGainD, RGainD)이 우측 상관값(Sr)과 좌측 상관값(Sl)에 따라 계산되고, 수직 방향에서는 보간 데이터에 대한 보간계수들(TGainD, BGainD)이 상측 상관값(St)과 하측 상관값(Sb)에 따라 계산되어, R과 B 화소들로부터 R과 B 신호들을 보간하게 되므로, 에지에서 칼라(잘못된 칼라 신호)를 발생하는 단계는 생략이 되고, 해상도와 해상도의 임프레션은 4 개의 방향에서의 보간과 상관 검출에 의해 개선된다.

도17은 본 발명에 따르는 카메라의 구성을 도시한 도면이다. 도17에서는, 물체로부터 반사된 입사 빛이 렌즈(101)를 포함하는 광시스템에 의해 CCD 영역센서(102)의 광수신 평면(영상면)위에 영상을 형성한다. CCD 영역센서(102)의 광수신 평면 위에는, 기본 칼라들의 바이어 배열을 가지고 있는 카라 필터(103)가 제공된다. CCD 영역 센서(102)는 노출, 신호 전하판독, 신호전하 전달등을 위해 CCD구동회로(114)에 의해 구동되고 제어된다.

CCD 영역 센서(102)는 영상처리장치(105)에 전송되며, 여러 가지 형태의 신호처리가 상기 신호에 적용된다. 영상처리장치(105)로서, 상기 실시예에 따르는 영상처리장치가 사용되며, 상기 처리장치는 8 개의 수평, 수직과 대각선 방향에 있는 상관을 검출하고, 검출 결과에 따라 적응성 보간처리를 수행한다.

상술한 바와 같이, 기본 칼라들의 바이어 배열을 가지고 있는 칼라 필터(103)를 포함하는 CCD 영역 센서(102)를 영상장치로 이용하는 카메라는 8 개의 수평, 수직 및 대각선 방향들에서 상관을 검출하고, 검출 결과에 따라 적응성 보간처리를 수행하고, 또한, 각각의 칼라가 칼라 필터(103)상에서 연속적으로 배치되어 있지 않더라도, 보간 처리는 우측 모서리와 잘리거나 또는 구부러진 라인에 대해서도 수행이 되므로, 양호한 영상이 얻어지게 된다.

도1은 본 발명의 실시예에 따르는 영상처리장치의 기본 배열을 도시한 블록도.

도2는 칼라 필터에서 기본 칼라들의 바이어 배열을 도시한 도면.

도3은 검출부의 배열을 도시한 블록도.

도4는 보간부의 배열을 도시한 블록도.

도5는 VH-상관 검출부와 대각선 상관 검출부의 특정 배열을 도시한 블록도.

도6은 상관값 계산회로의 특정 배열을 도시한 도면.

도7은 차이 계산을 보여주기 위한 개념도.

도8은 차이 계산 방법을 기술하기 위해 사용되는 기본 칼라들의 바이어 배열을 도시한 도면,

도9는 상관 모드 판별회로의 특정 배열을 도시한 블록도.

도10은 휘도 Y0 검출을 설명하기 위한 개념도.

도11은 변수(α)를 계산하는 회로의 특정배열을 도시한 블록도.

도12는 G 보간부의 특정배열을 도시한 블록도.

도13은 R과 B 보간부의 특정배열을 도시한 블록도.

도14는 대각선 보간보상 이득을 계산을 설명하기 위한 개념도.

도15는 수평 및 수직 RB 보간계수들을 게산하기 위한 배열을 도시한 도면.

도16은 보간계수 계산회로의 특성을 도시한 도면.

도17는 본 발명에 따르는 카메라의 배열을 도시한 개략도.

*도면의 주요부분에 대한 간단한 설명*

13 : 신호처리부 18 : G 보간부

14 : 검출부 20 : B 보간부

15 : 보간부

Claims

광수신 평면상에 특정한 칼라 배열을 갖는 칼라 필터를 구비하는 고체 영상장치의 출력신호를 처리하는 영상처리장치에 있어서,

보간될 화소로부터의 상호 90도의 배수들인 각들을 형성하는 4 방향들 즉, 좌측, 우측, 상측, 및 하측 방향들에서의 4개의 화소 정보에 따라 상기 4 방향들에서 상관값들을 계산하는 상관값 계산회로와,

상기 상관값 계산회로에 의해 계산된 상기 4 방향들에서 상기 상관값들에 따라 보간계수들을 결정하는 계수결정회로와,

상기 계수결정회로에 의해 결정된 상기 보간계수들을 이용하여 상기 4개의 화소 정보에 따라 보간을 수행하는 보간처리회로를 포함하고,

상기 계수결정회로는 상기 4 방향들에서 얻어진 상기 상관값들 사이의 크기 관계에 따라 상관 모드를 결정하고, 상기 상관 모드에 따라 상기 보간계수들을 계산하는 방법을 변경하는, 영상처리장치.
제1 항에 있어서, 상기 계수결정회로가 상기 4 방향에서 얻어진 상기 상관값들의 크기들을 비교할 때에, 상기 계수결정회로는 3 개의 레벨들, 즉 더 큰 레벨, 동일한 레벨, 더 작은 레벨에서 결정을 수행하는, 영상처리장치.
제1 항에 있어서, 상기 계수결정회로가 상기 4 방향들에서 얻어진 상기 상관값들의 크기들을 비교할 때에, 상기 계수결정회로는 보간될 화소의 부근에 있는 화소들의 평균 레벨 또는 가중된 평균 레벨을 이용하여 결정을 수행하는, 영상처리장치.
제1 항에 있어서, 상기 상관값 계산회로는, 보간될 화소로부터의 4 방향들, 즉 우측, 좌측, 상측, 및 하측 방향들에서의 제1의 4개의 화소 정보와, 상기 4개의 방향들에 대해 45도의 각을 형성하는 상기 4 개의 방향에서의 제2의 4개의 화소정보에 따라 총 8 방향들에서 상관값들을 계산하는, 영상처리장치.
제4 항에 있어서, 상기 계수결정회로는 상기 제1의 4개의 화소 정보에 근거하여 상기 상관값들로부터 제1 시스템 보간계수들을 결정하고, 상기 제2의 4개의 화소정보에 근거하여 상기 상관값들로부터 제2 시스템 보간계수들을 결정하는, 영상처리장치.
제5 항에 있어서, 상기 보간처리 회로는 상기 제1 시스템 보간계수들에 근거하는 보간처리에 의해 제1 영상 데이터를 발생시키고, 상기 제2 시스템 보간계수들에 근거하는 보간처리에 의해 제2 영상 데이터를 발생시키는, 영상처리장치.
제6 항에 있어서, 상기 보간처리회로는 특정한 비율로 상기 제1 영상 데이터와 제2 영상 데이터를 더하는, 영상처리장치.
제7 항에 있어서, 상기 계수결정회로는 상기 제1 영상 데이터와 제2 영상 데이터를 발생시키는데 사용되는 최대 상관값들과 최소 상관값들간의 차이들을 비교하며, 더 큰 차이를 가지고 있는 상기 영상 데이터의 보간계수들이 더 작은 차이를 가지고 있는 상기 영상 데이터의 보간계수들보다 더 크게 되도록 하는, 영상처리장치.
제8 항에 있어서, 상기 계수결정회로는, 상기 최대 상관값들과 상기 최소 상관값들간의 차이들을 비교하기 위해, 상기 제1의 4개의 화소 정보에 근거하여 얻어진 상기 최소 상관값과 상기 최대 상관값간의 차이와, 상기 제2의 4개의 화소 정보에 근거하여 얻어진 상기 최대 상관값과 상기 최소 상관값간의 차이에 특정한 상수를 더하거나 또는 특정한 상수를 뺌으로써 얻어지는 값과 계수를 승산하여 얻어지는 값을 비교하는, 영상처리장치.
광수신 평면상에 특정한 칼라 배열을 갖는 칼라 필터를 구비하는 고체 영상 장치의 출력신호를 처리하는 영상처리장치에 있어서,

보간될 화소로부터 상호 90도의 배수들인 각들을 형성하는 4 방향들 즉, 좌측, 우측, 상측, 및 하측 방향들에서의 4개의 화소 정보에 따라 상기 4 방향들에서 상관값들을 계산하는 상관값 계산회로와,

상기 상관값 계산회로에 의해 계산된 상기 4 방향들에서 상기 상관값들에 따라 보간계수들을 결정하는 계수결정회로와,

상기 계수결정회로에 의해 결정된 상기 보간계수들을 이용하여 상기 4개의 화소 정보에 따라 보간을 수행하는 보간처리회로를 포함하고,

상기 계수결정회로는, 상기 칼라 필터의 칼라 배열에 있는 칼라들 중에, 수평 또는 수직방향에서의 공간 샘플링 카운트가 상기 고체 영상장치의 모든 화소들에 있는 공간 샘플링 카운트보다 더 작은 어떤 칼라에 대해서, 상기 4 방향들 중 두 개의 반대되는 방향들에서의 상관값들간의 비교 결과에 따라 보간계수를 계산하는 보간계수 계산회로를 포함하는, 영상처리장치.
제10 항에 있어서, 상기 어떤 칼라들은 적색, 녹색, 및 청색의 기본 칼라들의 바이어 배열(Bayer arrangement)을 갖는 칼라 필터에서 적색 및 청색인,영상처리장치.
광수신 평면상에 특정한 칼라 배열을 갖는 칼라 필터를 구비하는 고체 영상장치의 출력신호를 처리하는 영상 처리방법에 있어서,

보간될 화소로부터 상호 90도 배수들인 각들을 형성하는 4 방향들, 즉 좌측, 우측, 상측, 및 하측 방향들에서의 4개의 화소 정보에 따라, 4 방향들에서 상관값들을 계산하는 단계와,

상기 4 방향들에서 계산된 상관값들에 따라 보간계수들을 결정하는 단계와,

결정된 보간계수를 이용하여 상기 4개의 화소 정보에 따라 보간처리를 수행하는 단게를 포함하고,

상기 4 방향들에서 얻어진 상관값들 사이의 크기 관계에 따라 상관 모드를 결정하고, 상기 상관 모드에 따라 상기 보간계수들을 계산하는 방법을 변경하는, 영상처리방법.
제12 항에 있어서, 상기 보간처리들은 상기 보간계수들과 상기 4개의 화소 정보를 승산하여, 이들을 합함으로써 수행되는, 영상처리방법.
제12 항에 있어서, 상관값들이, 보간될 화소로부터의 상기 4 방향들, 즉 좌측, 우측, 상측, 및 하측 방향들에서의 4개의 화소 정보와, 상기 4 방향들에 대해 45도의 각을 형성하는 4 방향들에서의 4개의 화소 정보에 따라 총 8 방향들에서 계산되는, 영상처리방법.
카메라에 있어서,

광수신 평면상에 특정한 칼라 배열을 갖는 칼라 필터를 구비하는 고체 영상장치와,

상기 고체 영상장치의 광수신 평면상에 입사하는 빛에 의해 물체의 영상을 형성하는 광 시스템과,

상기 고체 영상장치의 출력신호를 처리하는 영상처리장치를 포함하며,

상기 영상처리장치는:

보간될 화소로부터 상호 90도의 배수들인 각들을 형성하는 4 방향들, 즉 좌측, 우측, 상측, 및 하측 방향들에서의 4개의 화소 정보에 따라, 상기 4 방향들에서 상관값들을 계산하는 상관값 계산회로와,

상기 상관값 계산회로에 의해 계산된 상기 4 방향들에서 상기 상관값들에 따라 보간계수들을 결정하는 계수결정회로와,

상기 계수결정회로에 의해 결정된 상기 보간계수를 이용하여 상기 4개의 화소 정보에 따라 보간을 수행하는 보간처리회로를 포함하고,

상기 계수 결정회로는 상기 4 방향들에서 얻어진 상기 상관값들 사이의 크기 관계에 따라 상관 모드를 결정하고, 상기 상관 모드에 따라 상기 보간계수들을 계산하는 방법을 변경하는, 카메라.
제15 항에 있어서, 상기 보간처리회로는 상기 계수결정회로에 의해 결정된 상기 보간계수들을 상기 4개의 화소 정보와 승산하여, 이들을 합하는, 카메라.
제15 항에 있어서, 상기 상관값 계산회로가, 보간될 화소로부터의 4 방향들, 즉 좌측, 우측, 상측, 및 하측 방향들에서의 4개의 화소 정보와, 상기 4 방향들에 대해 45도의 각을 형성하는 4 방향에서의 4개의 화소정보에 따라 총 8 방향들에서 상관값들을 계산하는, 카메라.