KR101003605B1 - 화소보간회로, 화소보간방법 및 기록매체 - Google Patents

Abstract

베이어 데이터에 있어서의 R화소, G화소, B화소의 각각의 화소값을 이용하여 보간대상화소의 주변영역에 있어서의 수평방향의 상관성과 수직방향의 상관성을 산출한다. 산출된 각 상관성 중, 상관성이 강한 방향에 있어서 보간대상화소와 인접하는 화소의 화소값에 의거하여, 보간대상화소에 보간할 G화소의 화소값을 결정한다. 결정된 화소값으로 이루어지는 G화소를 상기 베이어 데이터에 있어서의 보간대상화소에 보간한다.

베이어 데이터, 화소보간유닛, 화소보간회로, 광대역LPF, 가산기, 감산기

Description

화소보간회로, 화소보간방법 및 기록매체{PIXEL INTERPOLATION CIRCUIT, PIXEL INTERPOLATION METHOD, AND RECORDING MEDIUM}

본 발명은 단판식의 컬러촬상방식이 채용되는 촬상장치 등에 이용되는 화소보간회로, 화소보간방법 및 기록매체에 관한 것이다.

디지털카메라에서는 베이어 배열의 화소 배열로 이루어지는 촬상소자를 이용한 단판식 촬상방식이 주류로 되어 있다. 베이어 배열의 촬상소자로 촬상된 피사체상 데이터인 베이어 데이터로부터 화상신호를 얻을 경우, 베이어 데이터에 있어서의 각 화소에 배치되어 있는 색필터 이외의 색정보(화소값)를 보간할 필요가 있다. 특히, G화소의 정보는 휘도정보에 영향을 주기 때문에, G화소의 정보는 화상신호의 해상도나 윤곽의 샤프니스에 영향을 주게 된다.

여기에서, 종래, 베이어 데이터에 있어서, 보간대상화소(G화소의 정보가 존재하지 않는 R화소나 B화소)에 대해 G화소를 보간하는 것으로서 일본국 특개 2000-278703호 공보나, 특개 2006-135564호 공보에 기재된 기술이 있다. 이들의 종래기술에서는 베이어 데이터에 있어서의 보간대상화소의 주변에 있어서의 화소의 상관성을 고려하여 보간대상화소에 G화소를 보간하고 있다.

그러나, 이들의 종래기술은 어느 것이나, 베이어 데이터에 있어서의 보간대상화소에 대해 G화소를 보간할 때에, 보간대상화소의 주변에 있어서의 G화소밖에 참조하고 있지 않다. 그로 인해, 보간대상화소에 G화소를 보간할 때에 참조하는 화소의 정보가 적게 되어 있다. 그 결과, 보간대상화소의 주변에 있어서의 화소의 상관성을 적정하게 판정할 수 없고, 보간대상화소에 적정한 G화소를 보간할 수 없다고 하는 문제가 있었다.

그래서, 본 발명은 베이어 데이터에 대해 G화소의 정보를 적정하게 보간하는 것을 목적으로 한다.

본 발명의 하나의 형태는, 상기 베이어 데이터에 있어서 R화소, G화소, B화소의 각각의 화소값을 이용하여 G화소가 존재하지 않는 화소인 보간대상화소의 주변영역에 있어서의 수평방향의 상관성과 수직방향의 상관성을 산출하는 상관성 산출부와, 상기 상관성 산출부에 의해 산출된 각 상관성 중에서 보다 강한 상관성을 나타내는 수평방향과 수직방향의 어느 하나의 방향에 있어서 상기 보간대상화소와 인접하는 화소의 화소값에 의거하여, 상기 보간대상화소에 보간할 G화소의 화소값을 결정하는 화소값 결정부를 구비하며, 상기 화소값 결정부에 의해 결정된 화소값으로 이루어지는 G화소를 상기 베이어 데이터에 의거하는 화상신호에 대해 보간한다.

본 발명의 다른 하나의 형태는, 베이어 데이터에 있어서 R화소, G화소, B화소의 각각의 화소값을 이용하여 G화소가 존재하지 않는 화소인 보간대상화소의 주변영역에 있어서의 수평방향의 상관성과 수직방향의 상관성을 산출하는 제 1 스텝과, 상기 제 1 스텝에 대해 산출된 각 상관성 중에서 보다 강한 상관성을 나타내는 수평방향과 수직방향의 어느 하나의 방향에 있어서 상기 보간대상화소와 인접하는 화소의 화소값에 의거하여, 상기 보간대상화소에 보간할 G화소의 화소값을 결정하는 제 2 스텝과, 상기 제 2 스텝에 대해 결정된 화소값으로 이루어지는 G화소를 상기 베이어 데이터에 의거하는 화상신호에 대해 보간하는 제 3 스텝을 포함한다.

본 발명의 다른 하나의 형태는, 컴퓨터에, 베이어 데이터에 있어서 R화소, G화소, B화소의 각각의 화소값을 이용하여 G화소가 존재하지 않는 화소인 보간대상화소의 주변영역에 있어서의 수평방향의 상관성과 수직방향의 상관성을 산출하는 제 1 처리와, 상기 제 1 처리에 의해 산출된 각 상관성 중에서 보다 강한 상관성을 나타내는 수평방향과 수직방향의 어느 하나의 방향에 있어서 상기 보간대상화소와 인접하는 화소의 화소값에 의거하여, 상기 보간대상화소에 보간할 G화소의 화소값을 결정하는 제 2 처리와, 상기 제 2 처리에 의해 결정된 화소값으로 이루어지는 G화소를 상기 베이어 데이터에 의거하는 화상신호에 대해 보간하는 제 3 처리를 실행시킨다.

본 발명에 따르면, 베이어 데이터에 대해 G화소의 정보를 적정하게 보간할 수 있다.

본 발명의 실시형태에 대해 설명한다. 우선, 도 1을 참조하여 본 실시형태 에 관련되는 디지털카메라(100)의 전체 구성을 설명한다.　

촬상렌즈(62)는 포커스렌즈, 줌렌즈를 포함하고, 렌즈구동블록(63)이 접속되어 있다. 이 렌즈구동블록(63)은 도시하지 않는 포커스렌즈, 줌렌즈를 각각 촬상면과 평행한 광축방향으로 구동시키는 포커스모터 및 줌모터와, CPU(70)로부터의 제어신호에 따라서 포커스모터 및 줌모터를 각각 구동시키는 포커스드라이버 및 줌모터드라이버로 구성되어 있다.

조리개 겸용 셔터(64)는 도시하지 않는 구동회로를 포함하고, 이 구동회로는 CPU(70)로부터 보내져 오는 제어신호에 따라서 조리개 겸용 셔터를 동작시킨다. 또한, 이 조리개 겸용 셔터(64)는 조리개와 셔터로서 기능한다.

촬상소자인 CCD(50)에는 수광면에 베이어 배열의 컬러필터가 설치되어 있다. CCD(50)는 촬상렌즈(62) 및 조리개 겸용 셔터(64)를 통하여 투영된 피사체의 빛을 전기신호로 변환하고, 변환한 전기신호를 촬상신호로서 화상처리부(20)에 출력한다. 또, CCD(50)는 TG(66)가 CPU(70)로부터의 제어신호에 따라서 생성한 소정 주파수의 타이밍신호에 따라서 구동한다.

카드I/F(76)에는 메모리ㆍ카드(80)가 착탈 가능하게 접속되어 있다.

메모리(69)는 CPU(70)에 의한 디지털카메라(100)의 각부의 제어에 필요한 프로그램이나 데이터를 격납하고 있다.

DRAM(68)은 CCD(50)에 의해서 촬상된 후, CPU(70)에 보내져 온 화상데이터를 일시 기억하는 버퍼메모리로서 사용되는 동시에, CPU(70)의 작업메모리로서도 사용된다.

화상표시부(71)는 액정디스플레이와 그 구동회로로 구성되어 있다. 디지털카메라(100)가 촬영대기상태에 있을 때는, CCD(50)에 의해서 촬상된 피사체를 스루화상으로서 액정디스플레이에 표시한다. 화상표시부(71)는 디지털카메라(100)가 화상을 재생할 때에는 메모리ㆍ카드(80)로부터 판독된 화상을 액정디스플레이에 표시한다.

키 입력부(72)는 셔터버튼이나 모드 키, 설정 키, 십자 키, 촬영모드선택 키 등의 복수의 조작 키를 포함하고, 사용자의 키 조작에 따른 조작신호를 CPU(70)에 출력한다.

CPU(70)는 디지털카메라(100)의 전체를 제어한다. CPU(70)는 메모리(69)로부터 판독한 프로그램과의 협동에 의해서 각종의 동작을 실행한다.

다음으로, 도 2를 참조하여 화상처리부(20)의 구성에 대해 설명한다. 화상처리부(20)는 아날로그처리부(CDS, AGC, A/D, 21)와, 블랙레벨조정부(22)와, 화이트밸런스조정부(23)와, 감마보정부(24)와, 화소보간유닛(30)과, YUV변환처리부(27)와, JPEG변환부(28)로 구성되어 있다.

화상처리부(20)에 있어서, 상관이중샘플링회로(CDS)는 CCD(50)로부터 출력된 아날로그신호인 촬상신호에 포함되는 노이즈를 감소시킨다. 자동이득제어회로 (AGC)는 노이즈 저감 후에 있어서의 촬상신호의 게인을 조정한다. A/D변환기(A/D)는 게인조정 후의 촬상신호를 디지털신호, 즉 컬러필터의 베이어 배열에 따른 R(적색정보를 나타내는 화소데이터), G(녹색정보를 나타내는 화소데이터), B(청색정보를 나타내는 화소데이터)의 화소데이터인 베이어 데이터로 변환한다.

블랙레벨조정부(22)는 베이어 데이터를 소정의 블랙레벨로 클램프한다. 화이트밸런스조정부(23)는 클램프 후의 베이어 데이터에 대한 R, G, B마다의 게인조정을 실행하고 화이트밸런스의 조정을 실행한다. 감마보정부(24)는 화이트밸런스조정 후에 베이어 데이터에 대한 감마특성(계조특성)의 보정을 실행한다. 화소보간유닛(30)은 감마특성의 보정 후의 베이어 데이터에 대해서 화소값의 정보를 보간하고, 화상신호를 생성한다. 화소보간유닛(30)의 상세에 대해서는 후술한다.

YUV변환처리부(27)는 화소정보의 보간된 화상신호로부터 휘도신호(Y)와 색차신호(U, V)로 이루어지는 화상신호를 생성한다. JPEG변환부(28)는 화상신호를 JPEG형식으로 압축부호화한다. 압축부호화된 화상신호가 메모리ㆍ카드(80)에 기록된다.

다음으로, 도 3을 참조하여 화소보간유닛(30)에 대해 상세하게 설명한다. 화소보간유닛(30)은 제 1 회로부(30a), 제 2 회로부(30b)의 2개의 회로부와, LPF (Low Pass Filter, 26)와, 가산기(36)에 의해서 구성되어 있다. 제 1 회로부(30a)는 광대역LPF(31)와, G보간회로(32)와, R보간회로(33)와, B보간회로(34)로 구성되어 있다. 제 2 회로부(30b)는 G화소 추출회로(40)와, HPF(High Pass Filter, 37)로 구성되어 있다.

제 1 회로부(30a)에 있어서는 감마보정부(24)로부터 보내져 오는 베이어 데이터에 대해, 결락되어 있는 화소의 정보를 보간하는 신호처리가 시행되고, 화소보간유닛(30)에 있어서 생성되는 화상신호의 기준이 되는 컬러화상신호가 생성된다.

여기에서, 제 1 회로부(30a)에 있어서의 신호처리는 일본국 특개 2006- 135564호 공보에 개시되어 있는 신호처리와 똑같은 것이다. 즉, 제 1 회로부 (30a)에 있어서의 신호처리에 대해서는, 베이어 데이터에 있어서, G화소의 정보가 존재하지 않는 R화소나 B화소(이하, 「보간대상화소」라고 한다)에 G화소의 화소값을 보간할 때에, 보간대상화소의 주변에 있어서의 G화소의 화소값 밖에 참조하지 않게 된다. 그로 인해, 보간대상화소에 G화소의 화소값을 보간할 때에 참조하는 화소값의 정보가 적게 된다. 그 결과, 보간대상화소의 주변에 있어서의 화소값의 상관성을 적정하게 판정할 수 없고, 보간대상화소에 G화소의 적정한 화소값을 보간할 수 없는 경우가 있다.

그리고, 이 부적절한 G화소가 고립점으로 되어 화상신호 중에 노이즈가 발생하는 경우가 있다. 그로 인해, 이 노이즈성분을 제거하기 위해 로패스필터인 LPF(26)에 이 화상신호를 통과시킴으로써 화상신호의 고주파 성분(노이즈성분 등)을 제거한다. 그러나, LPF(26)에 화상신호를 통과시키면 노이즈성분은 제거할 수 있지만, 화상신호에 있어서의 윤곽의 샤프니스도 저하하고, 화상신호에 의거하는 재생화상이 희미하게 된다

그래서, 제 2 회로부(30b)에 의해서 감마보정부(24)로부터 보내져 오는 베이어 데이터로부터 G화소의 적정한 정보를 별도 추출한다. 그리고, 가산기(38)에 있어서, 추출한 G화소의 정보를 LPF(26)를 통과한 화상신호에 대해 가산한다. G화소의 정보는 재생화상에 있어서의 윤곽의 샤프니스에 영향을 주기 때문에, 이와 같이 하면, 베이어 데이터에 의거하는 재생화상의 윤곽이 강조되고, 재생화상이 희미해지는 일이 없어진다.

다음으로, 제 2 회로부(30b)에 있어서의 신호처리에 대해 상세하게 설명한다. 제 2 회로부(30b)에 있어서의 G화소 추출회로(40)는 베이어 데이터에 있어서의 보간대상화소(G화소의 정보가 존재하지 않는 R화소, B화소)에 대해 보간해야 할 G화소의 정보(화소값)를 추출하기 위한 회로이다. G화소 추출회로(40)는 도 4에 나타내는 바와 같이, 수평방향 기준화상 생성부(41)와, 수직방향 기준화상 생성부 (42)와, 수평방향 상관도 산출부(43)와, 수직방향 상관도 산출부(44)와, 화소값 결정부(45)와, 화소값 추출부(46)로 구성되어 있다.

수평방향 기준화상 생성부(41)는 베이어 데이터에 대해, 수평방향으로 인접하는 화소의 화소값을 이용한 연산을 실행하고, 수평방향 기준화상을 생성한다. 수평방향 기준화상은 베이어 데이터의 각 보간대상화소의 주변에 있어서, 화소의 상관성이 강한 방향을 구하기 위한 정보이다.

구체적으로는, 수평방향 기준화상 생성부(41)는 베이어 데이터의 각 보간대상화소의 주변에 있어서의 각 화소에 대해서, 다음의 (A1)부터 (A4)의 어느 하나의 처리를 순차 실행함으로써 수평방향 기준화상을 생성한다.

(A1) 수평방향에 있어서 G화소에 인접하는 R화소에 대해서는 해당 R화소의 화소값에서, 수평방향에 있어서 해당 R화소에 인접하는 G화소의 화소값의 평균값을 감산하는 처리

(A2) 수평방향에 있어서 R화소에 인접하는 G화소에 대해서는 수평방향에 있어서 해당 G화소에 인접하는 R화소의 화소값의 평균값에서, 해당 G화소의 화소값을 감산하는 처리

(A3) 수평방향에 있어서 B화소에 인접하는 G화소에 대해서는 수평방향에 있어서 해당 G화소에 인접하는 B화소의 화소값의 평균값에서, 해당 G화소의 화소값을 감산하는 처리

(A4) 수평방향에 있어서 G화소에 인접하는 B화소에 대해서는 해당 B화소의 화소값에서, 수평방향에 있어서 해당 B화소에 인접하는 G화소의 화소값의 평균값을 감산하는 처리

도 5에 베이어 데이터에 있어서의 각 화소의 화소값의 예를 나타낸다. 도 5에 있어서, B0, B2,ㆍㆍㆍB48 등 B로 표기되어 있는 위치는, 베이어 데이터에 있어서 B화소가 배치되어 있는 위치이다. G1, G3,ㆍㆍㆍG47 등 G로 표기되어 있는 위치는, 베이어 데이터에 있어서 G화소가 배치되어 있는 위치이다. R8, R10,ㆍㆍㆍR40 등 R로 표기되어 있는 위치는, 베이어 데이터에 있어서 R화소가 배치되어 있는 위치이다.

또, 도 5에 있어서, B0, B2,ㆍㆍㆍB48은 각 B화소의 화소값을 나타내고 있다. G1, G3,ㆍㆍㆍG47은 각 G화소의 화소값을 나타내고 있다. R8, R10,ㆍㆍㆍR40은 각 R화소의 화소값을 나타내고 있다.

수평방향 기준화상의 생성에 대해서는 베이어 데이터에 있어서의 각 보간대상화소의 주변영역에 착목한다. 도 6에 수평방향 기준화상의 예인 수평방향 기준화상(40H)을 나타낸다. 수평방향 기준화상(40H)은 도 5에 나타내는 「R24」의 위치에 있어서의 화소(보간대상화소)에 대한 수평방향 기준화상이다.

예를 들면, 수평방향 기준화상(40H)의 생성에 대해서 도 5에 나타내는 「R24 」의 위치에 있어서의 화소의 주변영역에 있어서의 7×7개의 화소인 B0, G1, B2,ㆍㆍㆍB48의 위치에 있어서의 각 화소로 이루어지는 영역에 착목한다. 또한, 착목하는 주변영역은 7×7개의 화소로 이루어지는 영역이 아니라도 좋다.

다음으로, 수평방향 기준화상에 있어서의 각 성분의 예로서 수평방향 기준화상(40H)에 있어서의 각 성분에 대해 설명한다.

수평방향 기준화상(40H)에 있어서의 성분 「h8」은 도 5에 나타내는 G7, R8, G9의 화소값을 이용한 (A1)의 처리에 의해서 이하의 값이 된다.

h8=R8-(G7+G9)/2

수평방향 기준화상(40H)에 있어서의 성분 「h9」는 도 5에 나타내는 R8, G9, R10의 화소값을 이용한 (A2)의 처리에 의해서 이하의 값이 된다.

h9=(R8+R10)/2-G9

수평방향 기준화상(40H)에 있어서의 성분 「h15」는 도 5에 나타내는 B14, G15, B16의 화소값을 이용한 (A3)의 처리에 의해서 이하의 값이 된다.　

h15=(B14+B16)/2-G15

수평방향 기준화상(40H)에 있어서의 성분 「h16」은 도 5에 나타내는 G15, B16, G17의 화소값을 이용한 (A4)의 처리에 의해서 이하의 값이 된다.

h16=B16-(G15+G17)

똑같이 해서, 수평방향 기준화상(40H)에 있어서의 다른 성분에 대해서도 (A1)에서 (A4)의 처리를 실행함으로써 구할 수 있다.

(A1)에서 (A4)의 처리에 대신하여 베이어 데이터의 보간대상화소의 주변에 있어서의 각 화소에 대해서, 다음의 (A5)에서 (A8)의 어느 하나의 처리를 순차 실행함으로써 수평방향 기준화상을 생성해도 좋다.

(A5) 수평방향에 있어서 G화소에 인접하는 R화소에 대해서는 수평방향에 있어서 해당 R화소에 인접하는 G화소의 화소값의 평균값에서, 해당 R화소의 화소값을 감산하는 처리

(A6) 수평방향에 있어서 R화소에 인접하는 G화소에 대해서는 해당 G화소의 화소값에서, 수평방향에 있어서 해당 G화소에 인접하는 R화소의 화소값의 평균값을 감산하는 처리

(A7) 수평방향에 있어서 B화소에 인접하는 G화소에 대해서는 해당 G화소의 화소값에서, 수평방향에 있어서 해당 G화소에 인접하는 B화소의 화소값의 평균값을 감산하는 처리

(A8) 수평방향에 있어서 G화소에 인접하는 B화소에 대해서는 수평방향에 있어서 해당 B화소에 인접하는 G화소의 화소값의 평균값에서, 해당 B화소의 화소값을 감산하는 처리

한편, 수직방향 기준화상 생성부(42)는 베이어 데이터에 대해, 수직방향으로 인접하는 화소의 화소값을 이용한 연산을 실행하고, 수직방향 기준화상을 생성한다. 수직방향 기준화상은 베이어 데이터의 각 보간대상화소의 주변에 있어서, 화소의 상관성이 강한 방향을 구하기 위한 정보이다. 구체적으로는, 수직방향 기준화상 생성부(42)는 베이어 데이터의 보간대상화소의 주변에 있어서의 각 화소에 대해서, 다음의 (B1)부터 (B4)의 어느 하나의 처리를 순차 실행함으로써 수직방향 기 준화상을 생성한다.

(B1) 수직방향에 있어서 G화소에 인접하는 R화소에 대해서는 해당 R화소의 화소값에서, 수직방향에 있어서 해당 R화소에 인접하는 G화소의 화소값의 평균값을 감산하는 처리

(B2) 수직방향에 있어서 R화소에 인접하는 G화소에 대해서는 수직방향에 있어서 해당 G화소에 인접하는 R화소의 화소값의 평균값에서, 해당 G화소의 화소값을 감산하는 처리

(B3) 수직방향에 있어서 B화소에 인접하는 G화소에 대해서는 수직방향에 있어서 해당 G화소에 인접하는 B화소의 화소값의 평균값에서, 해당 G화소의 화소값을 감산하는 처리

(B4) 수직방향에 있어서 G화소에 인접하는 B화소에 대해서는 해당 B화소의 화소값에서, 수직방향에 있어서 해당 B화소에 인접하는 G화소의 화소값의 평균값을 감산하는 처리

도 7에 수직방향 기준화상의 예로서 수직방향 기준화상(40V)을 나타낸다. 여기에서, 수직방향 기준화상(40V)에 있어서의 각 성분에 대해 설명한다.

수직방향 기준화상(40V)에 있어서 성분 「v8」은 도 5에 나타내는 G1, R8, G15의 화소값을 이용한 (B1)의 처리에 의해서 이하의 값이 된다.

v8=R8-(G1+G15)/2

수직방향 기준화상(40V)에 있어서 성분 「v15」는 도 5에 나타내는 R8, G15, R22의 화소값을 이용한 (B2)의 처리에 의해서 이하의 값이 된다.

v15=(R8+R22)/2-G15

수직방향 기준화상(40V)에 있어서 성분 「v9」는 도 5에 나타내는 B2, G9, B16의 화소값을 이용한 (B3)의 처리에 의해서 이하의 값이 된다.

v9=(B2+B16)/2-G9

수직방향 기준화상(40V)에 있어서 성분 「v16」은 도 5에 나타내는 G9, B16, G23의 화소값을 이용한 (B4)의 처리에 의해서 이하의 값이 된다.

v16=B16-(G9+G23)/2

똑같이 해서, 수직방향 기준화상(40V)에 있어서의 다른 성분에 대해서도 (B1)에서 (B4)의 처리를 실행함으로써 구할 수 있다.

(B1)에서 (B4)의 처리에 대신하여 베이어 데이터의 보간대상화소의 주변에 있어서의 각 화소에 대해서, 다음의 (B5)에서 (B8)의 어느 하나의 처리를 순차 실행함으로써 수직방향 기준화상을 생성해도 좋다.

(B5) 수직방향에 있어서 G화소에 인접하는 R화소에 대해서는 수직방향에 있어서 해당 R화소에 인접하는 G화소의 화소값의 평균값에서, 해당 R화소의 화소값을 감산하는 처리

(B6) 수직방향에 있어서 R화소에 인접하는 G화소에 대해서는 해당 G화소의 화소값에서, 수직방향에 있어서 해당 G화소값에 인접하는 R화소의 화소값의 평균값을 감산하는 처리

(B7) 수직방향에 있어서 B화소에 인접하는 G화소에 대해서는 해당 G화소의 화소값에서, 수직방향에 있어서 해당 G화소값에 인접하는 B화소의 화소값의 평균값 을 감산하는 처리

(B8) 수직방향에 있어서 G화소에 인접하는 B화소에 대해서는 수직방향에 있어서 해당 B화소에 인접하는 G화소의 화소값의 평균값에서, 해당 B화소의 화소값을 감산하는 처리

수평방향 상관도 산출부(43)는 베이어 데이터에 있어서의 각 보간대상화소에 대해서, 수평방향 기준화상으로부터 수평방향의 상관도인 수평상관도(Hr)를 산출한다. 수평방향 상관도 산출부(43)는 다음의 (C1)에서 (C3)의 처리를 실행함으로써 수평상관도(Hr)를 산출한다.

(C1) 수평방향 기준화상에 있어서의 각 성분간의 차분값을 구한다.

(C2) (C1)에 있어서 구한 각 차분값의 절대값을 구한다.

(C3) (C2)에 있어서 구한 각 절대값에 소정의 계수를 곱한 값의 총합을 수평상관도(Hr)로서 산출한다.

(C1)에서 (C3)의 처리의 예를 들면, 도 5에 나타내는 「R24」의 위치에 있어서의 화소에 관한 수평상관도(Hr)는 이하와 같이 된다.

Hr=abs(h8-h9)+2×abs(h9-h10)+2×abs(h10-h11)+abs(h11-h12)+2×{abs(h15-h16)+2×abs(h16-h17)+2×abs(h17-h18)+abs(h18-h19)}+2×{abs(h22-h23)+2×abs(h23-h24)+2×abs(h24-h25)+abs(h25-h26))+2×{abs(h29-h30)+2×abs(h30-h31)+2×abs(h31-h32)+abs(h32-h33)}+abs(h36-h37)+2×abs(h37-h38)+2×abs(h38-h39)+abs(h39-h40)

여기에서, abs()는 절대값을 구하는 연산을 나타낸다.

수평상관도(Hr)의 값이 작을수록 수평방향의 상관성이 강해진다.

수직방향 상관도 산출부(44)는 베이어 데이터에 있어서의 각 보간대상화소에 대해서, 수직방향 기준화상으로부터 수직방향의 상관도인 수직상관도(Vd)를 산출한다. 수직방향 상관도 산출부(44)는 다음의 (D1)에서 (D3)의 처리를 실행함으로써 수직상관도(Vd)를 산출한다.

(D1) 수직방향 기준화상에 있어서의 각 성분간의 차분값을 구한다.

(D2) (D1)에 있어서 구한 각 차분값의 절대값을 구한다.

(D3) (D2)에 있어서 구한 각 절대값에 소정의 계수를 곱한 값의 총합을 수직상관도(Vd)로서 산출한다.

(D1)에서 (D3)의 처리의 예를 들면, 도 5에 나타내는 「R24」의 위치에 있어서의 화소에 관한 수직상관도(Vd)는 이하와 같이 된다.

Vd=abs(v8-v15)+2×abs(v15-v22)+2×abs(v22-v29)+abs(v29-v36)+2×{abs(v9-v16)+2×abs(v16-v23)+2×abs(v23-v30)+abs(v30-v37)}+2×{abs(v10-v17)+2×abs(v17-v24)+2×abs(v24-v31)+abs(v31-v38))+2×(abs(v11-v18)+2×abs(v18-v25)+2×abs(v25-v32)+abs(v32-v39)}+abs(v12-v19)+2×abs(v19-v25)+2×abs(v26-v33)+abs(v33-v40)

여기에서, abs()는 절대값을 구하는 연산을 나타낸다.

수직상관도(Vd)의 값이 작을수록 수직방향의 상관성이 강해진다.

화소값 결정부(45)는 수평상관도(Hr)와 수직상관도(Vd)에 의거하여, 보간대상화소에 대해서 보간할 G화소의 화소값을 결정한다.

수평상관도(Hr)가 수직상관도(Vd)보다도 작은, 환언하면, 수평방향의 상관성이 수직방향의 상관성보다도 강한 경우, 화소값 결정부(45)는 보간대상화소의 수평방향에 있어서 인접하는 G화소의 화소값의 평균값을 보간대상화소에 대해서 보간할 G화소의 화소값으로서 결정한다.

이 경우, 예를 들면, 화소값 결정부(45)는 도 5에 나타내는 「R24」의 위치에 있어서의 화소(보간대상화소)에 대해 보간되는 G화소의 화소값「G24」로서, 수평방향에 있어서「R24」의 위치에 있어서의 화소에 인접하는 G화소의 화소값「G23」,「G25」를 이용하여 이하의 화소값을 결정한다.

G24=(G23+G25)/2

한편, 수직상관도(Vd)가 수평상관도(Hr)보다도 작은, 환언하면, 수직방향의 상관성이 수평방향의 상관성보다도 강한 경우에는, 화소값 결정부(45)는 보간대상화소의 수직방향에 있어서 인접하는 G화소의 화소값의 평균값을 보간대상화소에 대해서 보간할 G화소의 화소값으로서 결정한다.

이 경우, 예를 들면, 화소값 결정부(45)는 도 5에 나타내는「R24」의 위치에 있어서의 화소(보간대상화소)에 대해 보간되는 G화소의 화소값「G24」로서, 수직방향에 있어서「R24」의 위치에 있어서의 화소에 인접하는 G화소의 화소값「G17」,「G31」를 이용하여 이하의 화소값을 결정한다.

G24=(G17+G31)/2

화소값 추출부(46)는 화소값 결정부가 결정한 화소값을 베이어 데이터에 있어서의 보간대상화소에 대해 보간해야 할 G화소의 화소값으로서 추출한다.

G화소 추출회로(40)는 「R24」의 위치에 있어서의 화소 이외에도, 베이어 데이터에 있어서의 모든 보간대상화소(G화소의 정보가 존재하지 않는 R화소, B화소)에 대해서, 상기 설명한 처리를 시행하여 각 보간대상에 대해 보간해야 할 G화소의 화소값을 추출한다. 즉, G화소 추출회로(40)는 베이어 데이터에 있어서의 모든 보간대상화소의 각각에 대해, 수평방향 기준화상과 수직방향 기준화상을 생성하고, 이들 수평방향 기준화상과 수직방향 기준화상에 있어서의 성분을 이용하여 수평방향에 있어서의 화소값의 상관성과 수직방향에 있어서의 화소값의 상관성을 산출하여 각 보간대상에 대해 보간해야 할 G화소의 화소값을 추출한다. 이 처리에 의해서, 베이어 데이터로부터 추출한 적정한 G화소의 정보만으로 이루어지는 화상신호(이하, 「G화상신호」라고 한다)가 얻어진다.

도 3으로 되돌아가서, 제 2 회로부(30b)에 있어서, G화소 추출회로(40)가 얻은 G화상신호를 하이패스필터인 HPF(37)를 통과시켜서 G화상신호의 저주파 성분을 제거한다.

그리고, 가산기(36)에 있어서, 제 1 회로부(30a)에 있어서 신호처리가 시행되어 LPF(로패스필터, 26)를 통과한 컬러화상신호에 대해, 저주파 성분이 제거된 G화상신호가 가산, 즉 보간된다.

이상 설명한 바와 같이, 본 실시형태에 따르면, 보간대상화소의 주변에 있어서의 G화소뿐만 아니라, 보간대상화소의 주변에 있어서의 R화소나 B화소도 참조하여 베이어 데이터에 대해 보간할 G화소의 화소값을 결정했다. 이와 같이 하면, 베이어 데이터에 대해서 G화소를 보간할 때에 참조할 화소의 정보가 많아진다. 그 결과, 화상신호에 대해서 G화소의 적정한 화소값을 보간할 수 있다.

또, 본 실시형태에 따르면, 보간대상화소의 주변에 있어서의 G화소, R화소, B화소의 각각의 화소값을 이용하여 수평방향 기준화상과 수직방향 기준화상을 생성ㅎ하고 이들 수평방향 기준화상과 수직방향 기준화상에 있어서의 성분을 이용하여 수평 방향에 있어서의 화소값의 상관성과 수직방향에 있어서의 화소값의 상관성을 산출했다. 이와 같이 하면, 화소값에 관한 상관성을 산출할 때에 참조할 화소의 정보가 많아진다. 그 결과, 화소값에 관한 상관성이 강한 방향을 실수해서 판단할 가능성을 저감할 수 있다.

또, 본 실시형태에 따르면, 제 1 회로부(30a)에 있어서 신호처리가 시행되어 LPF(로패스필터, 26)를 통과한 컬러화상신호에 대해, 제 2 회로부(30b)에 있어서 추출된 G화소의 적정한 정보를 보간했다. G화소의 정보는 재생화상에 있어서의 윤곽의 샤프니스에 영향을 주기 때문에 이와 같이 하면, 베이어 데이터에 의거하는 재생화상의 윤곽이 강조되어 재생화상의 화질을 향상시킬 수 있다.

＜ 변형예 ＞

다음으로, 본 실시형태의 변형예에 대해 설명한다. 보간대상화소의 주변에 있어서의 화소에 대해서, 수평방향의 상관성과 수직방향의 상관성의 차가 적은 경우가 있다. 즉, 보간대상화소의 주변에 있어서는 그러데이션이 완만한 경우가 있다. 이 경우, 상기 실시형태의 처리에 의해서 베이어 데이터의 보간대상화소에 대해 G화소를 보간하면, 보간대상화소의 화소값이 두드러진 값(고립점)이 되어 화상신호에 의거하는 재생화상의 화질이 열화한다고 하는 과제가 있다. 본 변형예는 이와 같은 과제에 대처하는 것이다.

이 변형예에 있어서는, 도 8에 나타내는 바와 같이, G화소 추출회로(40)에 있어서 혼합비 결정부(47)를 설치한 점만이, 상기의 실시형태와 달리하고 있다. 다른 구성이나 처리는 상기의 실시형태와 똑같다.

혼합비 결정부(47)는 수평방향 상관도 산출부(43)가 산출한 수평상관도(Hr)와 수직방향 상관도 산출부(44)가 산출한 수직상관도(Vd)로부터 혼합비를 결정한다.

수평상관도(Hr)가 수직상관도(Vd)보다도 작은, 즉, 수평방향의 상관성이 수직방향의 상관성보다도 강한 경우에는, 혼합비 결정부(47)는 혼합비로서 Hr/Vd로 이루어지는 값을 결정한다. 한편, 수직상관도(Vd)가 수평상관도(Hr)보다도 작은, 즉, 수직방향의 상관성이 수평방향의 상관성보다도 강한 경우에는, 혼합비 결정부 (47)는 혼합비로서 Vd/Hr로 이루어지는 값을 결정한다.

수평방향의 상관성이 수직방향의 상관성보다도 강한 경우, 화소값 결정부 (45)는 수평방향에 있어서 보간대상화소에 인접하는 G화소의 화소값의 평균값과, 수평방향 및 수직방향에 있어서 보간대상화소에 인접하는 4개의 G화소의 평균값을 혼합비에 의거하는 비율로 가산한 화소값의 G화소를 보간대상화소에 대해서 보간할 G화소의 화소값으로서 결정한다.

이 경우, 예를 들면, 도 5에 나타내는「R24」의 위치에 있어서의 화소에 대해 보간되는 G화소의 화소값「G24」는 이하의 화소값이 된다.

G24=(1.0-(Hr/Vd))×(G23+G25)/2+(Hr/Vd)×(G17+G31+G23+G25)/4

수직방향의 상관성이 수평방향의 상관성보다도 강한 경우, 화소값 결정부 (45)는 수직방향에 있어서 보간대상화소에 인접하는 G화소의 화소값의 평균값과, 수평방향 및 수직방향에 있어서 보간대상화소에 인접하는 4개의 G화소의 평균값을 혼합비에 의거하는 비율로 가산한 화소값의 G화소를 보간대상화소에 대해 보간할 G화소의 화소값으로서 결정한다.

이 경우, 예를 들면, 도 5에 나타내는「R24」의 위치에 있어서의 화소에 대해 보간되는 G화소의 화소값「G24」는 이하의 화소값이 된다.

G24=(1.0-(Vd/Hr))×(G17+G31)/2+(Vd/Hr)×(G17+G31+G23+G25)/4

화소값 추출부(46)는 화소값 결정부가 결정한 화소값을 베이어 데이터에 있어서의 보간대상화소에 대해 보간해야 할 G화소의 화소값으로서 추출한다. 이것으로, 베이어 데이터로부터 추출한 적정한 G화소의 정보만으로 이루어지는 화상신호(G화상신호)가 얻어진 것으로 된다.

그리고, 도 3으로 되돌아가서, 가산기(36)에 있어서, 제 1 회로부(30a)에 있어서 신호처리가 시행되어 LPF(로패스필터, 26)를 통과한 컬러화상신호에 대해, G화상신호가 가산, 즉 보간된다.

이상 설명한 변형예에 따르면, 베이어 데이터에 대해서 보간할 G화소의 화소값을 결정하는 것에 대해서 상관성이 강한 방향에 있어서 보간대상화소에 인접하는 2개의 화소의 평균값뿐만 아니라, 수평방향 및 수직방향에 있어서 보간대상화소에 인접하는 4개의 화소의 평균값도 이용했다. 이와 같이 하면, 수평방향의 상관성과 수직방향의 상관성의 차가 적은 경우라도, 보간대상화소의 화소값이 두드러진 값 (고립점)이 되지 않고, 화상신호에 의거하는 재생화상의 화질의 열화를 방지할 수 있다.

본 발명은 상기의 실시형태나 변형예에 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위의 설계변경도 포함된다.

도 1은 디지털카메라(100)의 전체 구성을 나타내는 도면이다.

도 2는 화상처리부(20)의 구성을 나타내는 도면이다.

도 3은 화소보간유닛(30)의 구성을 나타내는 도면이다.

도 4는 G화소 추출회로(40)의 구성도이다.

도 5는 베이어 배열의 예를 나타내는 도면이다.

도 6은 수평기준화상의 예를 나타내는 도면이다.

도 7은 수직기준화상의 예를 나타내는 도면이다.

도 8은 변형예에 있어서의 G화소 추출회로(40)의 구성도이다.

※도면의 주요부분에 대한 부호의 설명

30: 화소보간유닛 31: 광대역LPF

32: G보간회로 33: R보간회로

34: B보간회로 36: 가산기

37: LPF 38: 감산기

40: 화소보간회로 41: 수평방향 기준화상 생성부

42: 수직방향 기준화상 생성부 43: 수평방향 상관도 산출부

44: 수직방향 상관도 산출부 45: 화소값 결정부

46: 화소값 추출부 47: 혼합비 결정부

100: 디지털카메라

Claims (10)

1. 베이어 데이터에 있어서의 G화소가 존재하지 않는 화소인 보간대상화소의 주변영역에 있어서, R화소, G화소, B화소 중, 주목화소로 되는 제 1 화소의 화소값과, 수평방향에 있어서 해당 제 1 화소에 인접하는 해당 제 1 화소의 색성분과 다른 색성분의 제 2 화소와 제 3 화소의 각각의 화소값의 평균값과의 차분값을 취득하고, 취득한 각 차분값에 의거하여 제 1 기준화상을 생성하는 제 1 기준화상 생성부와,

   상기 보간대상화소의 주변영역에 있어서, 상기 제 1 화소의 화소값과, 수직방향에 있어서 해당 제 1 화소에 인접하는 해당 제 1 화소의 색성분과 다른 색성분의 제 4 화소와 제 5 화소의 각각의 화소값의 평균값과의 차분값을 취득하고, 취득한 각 차분값에 의거하여 제 2 기준화상을 생성하는 제 2 기준화상 생성부와,

   상기 제 1 기준화상 생성부에 의해 생성된 제 1 기준화상 및 상기 제 2 기준화상 생성부에 의해 생성된 제 2 기준화상에 의거하여, 상기 보간대상화소의 주변영역에 있어서의 수평방향의 상관성과 수직방향의 상관성을 산출하는 상관성 산출부와,

   상기 상관성 산출부에 의해 산출된 각 상관성 중에서 보다 강한 상관성을 나타내는 수평방향과 수직방향의 어느 하나의 방향에 있어서 상기 보간대상화소와 인접하는 화소의 화소값에 의거하여, 상기 보간대상화소에 보간할 G화소의 화소값을 결정하는 화소값 결정부를 구비하며,

   상기 화소값 결정부에 의해 결정된 화소값으로 이루어지는 G화소를 상기 베이어 데이터에 의거하는 화상신호에 대해 보간하는 것을 특징으로 하는 화소보간회로.
2. 제 1 항에 있어서,

   상기 제 1 기준화상 생성부는,

   R화소의 화소값과, 수평방향에 있어서 해당 R화소에 인접하는 G화소의 화소값의 평균값의 차분값을 취득하는 제 1 수평 차분 연산부와,

   B화소의 화소값과, 수평방향에 있어서 해당 B화소에 인접하는 G화소의 화소값의 평균값의 차분값을 취득하는 제 2 수평 차분 연산부와,

   수평방향에 있어서 G화소에 인접하는 R화소의 화소값의 평균값과, 해당 G화소의 화소값의 차분값을 취득하는 제 3 수평 차분 연산부와,

   수평방향에 있어서 G화소에 인접하는 B화소의 화소값의 평균값과, 해당 G화소의 화소값의 차분값을 취득하는 제 4 수평 차분 연산부를 구비하고,

   상기 제 1에서 제 4 수평 차분 연산부에 의해 얻어진 각 차분값에 의거하여 상기 제 1 기준화상을 생성하며,

   상기 제 2 기준화상 생성부는,

   R화소의 화소값과, 수직방향에 있어서 해당 R화소에 인접하는 G화소의 화소값의 평균값의 차분값을 취득하는 제 1 수직 차분 연산부와,

   B화소의 화소값과, 수직방향에 있어서 해당 B화소에 인접하는 G화소의 화소값의 평균값의 차분값을 취득하는 제 2 수직 차분 연산부와,

   수직방향에 있어서 G화소에 인접하는 R화소의 화소값의 평균값과, 해당 G화소의 화소값의 차분값을 취득하는 제 3 수직 차분 연산부와,

   수직방향에 있어서 G화소에 인접하는 B화소의 화소값의 평균값과, 해당 G화소의 화소값의 차분값을 취득하는 제 4 수직 차분 연산부를 구비하고,

   상기 제 1에서 제 4 수직 차분 연산부에 의해 얻어진 각 차분값에 의거하여 상기 제 2 기준화상을 생성하는 것을 특징으로 하는 화소보간회로.
3. 제 2 항에 있어서,

   상기 상관성 산출부는,

   상기 제 1에서 제 4 수평 차분 연산부에 의해 얻어진 각 차분값의 절대값의 각각에 소정의 계수를 곱한 값의 총합인 제 1 상관값을 산출하는 제 1 산출부와,

   상기 제 1에서 제 4 수직 차분 연산부에 의해 얻어진 각 차분값의 절대값의 각각에 소정의 계수를 곱한 값의 총합인 제 2 상관값을 산출하는 제 2 산출부를 구비하고,

   상기 제 1 산출부에 의해 산출된 제 1 상관값과, 상기 제 2 산출부에 의해 산출된 제 2 상관값에 의거하여 수평방향의 상관성과 수직방향의 상관성을 산출하는 것을 특징으로 하는 화소보간회로.
4. 제 1 항에 있어서,

   상기 화소값 결정부는,

   상기 상관성 산출부에 의해 산출된 각 상관성 중에서 보다 강한 상관성을 나타내는 수평방향과 수직방향의 어느 하나의 방향에 있어서 상기 각 보간대상화소와 인접하는 화소의 화소값의 평균값을, 상기 보간대상화소에 보간할 G화소의 화소값으로서 결정하는 것을 특징으로 하는 화소보간회로.
5. 제 1 항에 있어서,

   상기 화소값 결정부는,

   상기 상관성 산출부에 의해 산출된 각 상관성 중에서 보다 강한 상관성을 나타내는 수평방향과 수직방향의 어느 하나의 방향에 있어서 상기 각 보간대상화소와 인접하는 화소의 화소값의 평균값과, 수평방향 및 수직방향에 있어서 상기 각 보간대상화소에 인접하는 화소의 평균값을 소정의 비율에 따라 가산한 화소값을, 상기 각 보간대상화소에 보간할 G화소의 화소값으로서 결정하는 것을 특징으로 하는 화소보간회로.
6. 베이어 데이터에 있어서의 G화소가 존재하지 않는 화소인 보간대상화소의 주변영역에 있어서, R화소, G화소, B화소 중, 주목화소로 되는 제 1 화소의 화소값과, 수평방향에 있어서 해당 제 1 화소에 인접하는 해당 제 1 화소의 색성분과 다른 색성분의 제 2 화소와 제 3 화소의 각각의 화소값의 평균값과의 차분값을 취득하고, 취득한 각 차분값에 의거하여 제 1 기준화상을 생성하는 스텝과,

   상기 보간대상화소의 주변영역에 있어서, 상기 제 1 화소의 화소값과, 수직방향에 있어서 해당 제 1 화소에 인접하는 해당 제 1 화소의 색성분과 다른 색성분의 제 4 화소와 제 5 화소의 각각의 화소값의 평균값과의 차분값을 취득하고, 취득한 각 차분값에 의거하여 제 2 기준화상을 생성하는 스텝과,

   상기 생성된 제 1 기준화상 및 상기 생성된 제 2 기준화상에 의거하여, 상기 보간대상화소의 주변영역에 있어서의 수평방향의 상관성과 수직방향의 상관성을 산출하는 스텝과,

   상기 산출된 각 상관성 중에서 보다 강한 상관성을 나타내는 수평방향과 수직방향의 어느 하나의 방향에 있어서 상기 보간대상화소와 인접하는 화소의 화소값에 의거하여, 상기 보간대상화소에 보간할 G화소의 화소값을 결정하는 스텝과,

   상기 결정된 화소값으로 이루어지는 G화소를 상기 베이어 데이터에 의거하는 화상신호에 대해 보간하는 스텝을 포함하는 것을 특징으로 하는 화소보간방법.
7. 컴퓨터에,

   베이어 데이터에 있어서의 G화소가 존재하지 않는 화소인 보간대상화소의 주변영역에 있어서, R화소, G화소, B화소 중, 주목화소로 되는 제 1 화소의 화소값과, 수평방향에 있어서 해당 제 1 화소에 인접하는 해당 제 1 화소의 색성분과 다른 색성분의 제 2 화소와 제 3 화소의 각각의 화소값의 평균값과의 차분값을 취득하고, 취득한 각 차분값에 의거하여 제 1 기준화상을 생성하는 처리와,

   상기 보간대상화소의 주변영역에 있어서, 상기 제 1 화소의 화소값과, 수직방향에 있어서 해당 제 1 화소에 인접하는 해당 제 1 화소의 색성분과 다른 색성분의 제 4 화소와 제 5 화소의 각각의 화소값의 평균값과의 차분값을 취득하고, 취득한 각 차분값에 의거하여 제 2 기준화상을 생성하는 처리와,

   상기 생성된 제 1 기준화상 및 상기 생성된 제 2 기준화상에 의거하여, 상기 보간대상화소의 주변영역에 있어서의 수평방향의 상관성과 수직방향의 상관성을 산출하는 처리와,

   상기 산출된 각 상관성 중에서 보다 강한 상관성을 나타내는 수평방향과 수직방향의 어느 하나의 방향에 있어서 상기 보간대상화소와 인접하는 화소의 화소값에 의거하여, 상기 보간대상화소에 보간할 G화소의 화소값을 결정하는 처리와,

   상기 결정된 화소값으로 이루어지는 G화소를 상기 베이어 데이터에 의거하는 화상신호에 대해 보간하는 처리를 실행시키는 프로그램이 기억된 컴퓨터 판독 가능한 기록매체.
8. 삭제
9. 삭제
10. 삭제

Images