KR101315299B1

KR101315299B1 - 디지털 영상 처리장치

Info

Publication number: KR101315299B1
Application number: KR1020080110495A
Authority: KR
Inventors: 아츠시 고바야시
Original assignee: 삼성테크윈 주식회사
Priority date: 2008-11-07
Filing date: 2008-11-07
Publication date: 2013-10-14
Also published as: KR20100051362A

Abstract

본 발명은 디지털 영상 처리장치에 관한 것으로, 원색계 필터 또는 보색계 필터 중 어느 하나의 필터, 상기 필터를 통과한 영상광을 인가받아 영상 신호를 생성하는 촬상소자, 상기 영상 신호에 대하여 영상 신호 처리를 수행하여 RAW 데이터를 생성하는 제1 영상 신호 처리부, 상기 RAW 데이터를 저장하는 저장매체, 및 상기 RAW 데이터에 대하여 간이 보간 처리를 수행하는 간이 보간 처리부를 포함하는 저장매체에 저장하는 디지털 영상 처리장치를 제공하여 동일한 시스템 내에서 입력되는 색 성분에 따라서 영상 신호 처리를 수행할 수 있게 한다.

Description

디지털 영상 처리장치{Digital image processing apparatus}

본 발명은 디지털 영상 처리장치에 관한 것으로, 특히 RAW 데이터에 대하여 영상 신호 처리를 수행하는 디지털 영상 처리장치에 관한 것이다.

종래에는 디지털 영상 처리장치의 일 예인 감시용 카메라에서 보다 고감도의 영상을 얻기위해 보색계 필터를 사용한 촬상소자가 주로 사용되었다. 한편, 최근에는 촬상소자의 감도 향상을 위해 색 재현성이 뛰어난 원색계 필터를 채용한 촬상소자가 이용되기 시작하고 있다. 원색계 필터로는 R(Red), G(Green), B(Blue)의 3가지 색이 사용되며, 보색계 필터로는 C(Cyan), Y(Yellow), M(Magenta), G(Green)의 4가지 색이 사용된다.

이처럼 서로 다른 필터가 채용된 촬상소자를 포함하여 영상 처리 시스템을 구성하는 경우, 입력되는 색 성분이 서로 다르기 때문에 종래에는 각각의 입력 색 성분에 적합한 파이프 라인을 별도로 구비할 필요가 있었다. 즉, 동일한 파이프 라인에서 영상 처리를 수행하지 못하고, 원색계 필터를 채용한 촬상소자를 사용하는 경우에는 그에 해당하는 영상 처리 시스템을 구성하고, 또한 보색계 필터를 채용한 촬상소자를 사용하는 경우에는 그에 해당하는 영상 처리 시스템을 별도로 구성할 필요가 있었다. 이로 인하여, 종래에는 하드웨어 규모가 커지게 되고, 제조 비용 등이 증가하였다. 따라서, 이러한 문제점을 해결하기 위하여는 촬상소자에 채용된 필터에 관계없이 동일한 시스템 내에서 입력되는 색 성분에 따라서 영상 신호 처리를 수행할 필요가 있다.

본 발명이 해결하고자 하는 기술적 과제는 사용되는 필터에 관계없이 하나의 영상 신호 처리 시스템에 의하여 영상 신호 처리를 수행하는 디지털 영상 처리장치를 제공하는데 있다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 측면은 원색계 필터 또는 보색계 필터 중 어느 하나의 필터, 상기 필터를 통과한 영상광을 인가받아 영상 신호를 생성하는 촬상소자, 상기 영상 신호에 대하여 영상 신호 처리를 수행하여 RAW 데이터를 생성하는 제1 영상 신호 처리부, 상기 RAW 데이터를 저장하는 저장매체, 및 상기 RAW 데이터에 대하여 간이 보간 처리를 수행하는 간이 보간 처리부를 포함하는 디지털 영상 처리장치를 제공한다.

이러한 본 발명의 다른 특징에 의하면, 상기 간이 보간 처리부는 상기 필터가 원색계 필터인 경우 R, G, B 신호를 생성하고, 상기 필터가 보색계 필터인 경우 Y, R, G, B 신호를 생성할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 필터가 원색계 필터인 경우 상기 R, G, B 신호로부터 Y, Cb, Cr 신호를 생성하고, 상기 필터가 보색계 필터인 경우 Y, R, G, B 신호 중 R, G, B 신호로부터 Cb, Cr 신호를 생성하는 제1 행렬 연산부를 더 포함할 수 있다.

또한 본 발명의 또 다른 특징에 의하면, 상기 디지털 영상 처리장치는 상기 간이 보간 처리부로부터의 신호를 사용하여 자동 화이트 밸런스, 자동 노출, 및 자동 초점 중 적어도 어느 하나의 기능을 수행할 수 있다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 측면은 원색계 필터 또는 보색계 필터 중 어느 하나의 필터, 상기 필터를 통과한 영상광을 인가받아 촬상소자에서 생성된 영상 신호에 대하여 제1 영상 신호 처리를 수행하여 생성된 RAW 데이터를 저장하는 저장매체, 상기 RAW 데이터에 대하여 보간 처리를 수행하는 보간 처리부, 및 상기 보간 처리된 RAW 데이터에 대하여 제2 영상 신호 처리를 수행하는 제2 영상 신호 처리부를 포함하며, 상기 보간 처리부는, 상기 필터가 원색계 필터인 경우에는 R, G, B 신호를 생성하고, 상기 필터가 보색계 필터인 경우에는 Y, R, G, B 신호를 생성하는 것을 특징으로 하는 디지털 영상 처리장치를 제공한다.

이러한 본 발명의 다른 특징에 의하면, 상기 제2 영상 신호 처리부는 상기 필터가 원색계 필터인 경우에는 상기 R, G, B 신호의 선형 보정 수행 및 Y신호의 생성을 수행하고, 상기 필터가 보색계 필터인 경우에는 상기 Y, R, G, B 신호의 선형 보정을 수행하는 선형 보정부를 포함할 수 있다.

또한 본 발명의 또 다른 특징에 의하면, 상기 제2 영상 신호 처리부는 상기 선형 보정부로부터 Y, R, G, B 신호를 인가받아 감마 보정을 수행하는 감마 보정부, 및 상기 감마 보정된 Y, R, G, B 신호를 Y, Cb, Cr 신호로 변환하는 제2 행렬 연산부를 더 포함할 수 있다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 또 다른 측면은 원색계 필 터 또는 보색계 필터 중 어느 하나의 필터와, 상기 필터를 통과한 영상광을 인가받아 영상 신호를 생성하는 촬상소자와, 상기 영상 신호에 대하여 제1 영상 신호 처리를 수행하여 RAW 데이터를 생성하는 제1 영상 신호 처리부와, 상기 RAW 데이터에 대하여 보간 처리를 수행하며, 상기 필터가 원색계 필터인 경우에는 R, G, B 신호를 생성하고, 상기 필터가 보색계 필터인 경우에는 Y, R, G, B 신호를 생성하는 보간 처리부와, 상기 보간 처리부로부터 R, G, B 신호 또는 Y, R, G, B 신호를 인가받아 Y, Cb, Cr 신호를 생성하는 제1 행렬 연산부와, 상기 보간 처리된 RAW 데이터에 대하여 제2 영상 신호 처리를 수행하는 제2 영상 신호 처리부와, 상기 제2 영상 신호 처리가 수행된 RAW 데이터를 저장하는 저장매체를 포함하는 디지털 영상 처리장치를 제공한다.

이러한 본 발명의 다른 특징에 의하면, 상기 디지털 영상 처리장치는 상기 보간 처리부 또는 상기 제1 행렬 연산부로부터의 신호 중 적어도 어느 하나의 신호를 사용하여 자동 화이트 밸런스, 자동 노출, 및 자동 초점 중 적어도 어느 하나의 기능을 수행할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 제2 영상 신호 처리부는 상기 필터가 원색계 필터인 경우에는 상기 R, G, B 신호의 선형 보정 수행 및 Y신호의 생성을 수행하고, 상기 필터가 보색계 필터인 경우에는 상기 Y, R, G, B 신호의 선형 보정을 수행하는 선형 보정부를 포함할 수 있다.

또한 본 발명의 또 다른 특징에 의하면, 상기 제2 영상 신호 처리부는 상기 선형 보정부로부터 Y, R, G, B 신호를 인가받아 감마 보정을 수행하는 감마 보정 부, 및 상기 감마 보정된 Y, R, G, B 신호를 Y, Cb, Cr 신호로 변환하는 제2 행렬 연산부를 더 포함할 수 있다.

상기 언급한 바와 같이, 본 발명에 따른 디지털 영상 처리장치는 필터의 종류에 상관없이, 즉 촬상소자에서 생성되는 색 성분에 관계 없이 동일한 영상 처리 시스템에 의하여 영상 신호 처리를 수행할 수 있게 된다.

이하, 도 1 내지 도 4를 참조하여 본 발명의 바람직한 실시예들에 대하여 자세히 설명한다.

도 1은 본 발명의 일 실시예에 따라서 R, G, B 신호 및 C, Y, M, G(또는 Cy, Ye, Mg, G) 신호를 변환하는 방법을 나타내는 개념도이다.

본 발명에 따른 디지털 영상 처리장치에서는 입력되는 색 성분에 관계없이 동일한 영상 처리 시스템에 의하여 영상 신호 처리를 수행한다. 이를 위하여, 촬상소자가 R, G, B 신호를 생성하는 원색계 필터(110)를 채용한 경우, 상기 촬상소자에서 생성된 베이어 배열의 R, G, B 색 신호에 대하여 보간 처리를 수행하여 디스플레이 장치에서 디스플레이 가능하도록 수평 방향으로 배열될 수 있는 R, G, B 신호(111)를 생성한다. 또한 촬상소자가 보색계 필터(120)를 채용한 경우, 상기 촬상소자에서 생성된 Cy, Ye, Mg, G 색 신호에 대하여 보간 처리를 수행하여 Y, R, G, B 신호(112)를 생성한다.

3×3 행렬 연산이 가능한 행렬 연산기에서는 상기 생성된 R, G, B 신호(111) 또는 Y, R, G, B 신호(121)를 사용하여 Y, Cb, Cr 신호를 생성한다. 상기 생성된 Y, Cb, Cr 신호를 사용하여 AWB(Auto White Balance), AF(Auto Focus), AE(Auto Explosure) 기능을 수행할 수 있다. 또한 상기 AWB(Auto White Balance), AF(Auto Focus), AE(Auto Explosure) 기능을 수행함에 있어서, 상기 R , G, B 신호를 함께 사용하는 것도 가능할 것이다. 이하, 상기 도 1에서 나타낸 바와 같이 색 성분에 관계 없이 동일한 영상 처리 시스템에 의하여 영상 신호 처리를 수행할 수 있는 디지털 영상 처리장치를 도 2(a) 내지 도 4를 참조하여 자세히 설명하도록 한다.

도 2(a)는 본 발명의 일 실시예에 따라서 영상 신호 처리를 수행하는 디지털 영상 처리장치의 일부를 나타내는 내부 구성도이다.

도 2(a)를 참조하면, 디지털 영상 처리장치(200)는 필터(220), 촬상소자(221), 제1 영상 신호 처리부(230), 간이 보간 처리부(240), 제1 행렬 연산부(241), 저장매체(260)를 포함할 수 있다. 또한 상기 디지털 영상 처리장치(200)는 렌즈(210), AWB(Auto White Balance) 검출기(250), AE(Auto Explosure) 검출기(251), AF(Auto Focus) 검출기(252) 등을 포함할 수도 있다.

렌즈(210)는 피사체의 영상광을 인가받아 촬상소자(221)에 결상시킨다.

필터(220)는 상기 렌즈(210)를 통하여 인가되는 영상광 중에서 특정 색깔의 빛만을 통과시킨다. 상기 필터(220)는 원색계 필터 또는 보색계 필터일 수 있다. 상기 필터(220)가 원색계 필터인 경우에는 도 1의 110과 같은 색 배열을 가질 수 있다. 또한 상기 필터(220)가 보색계 필터인 경우에는 도 1의 120과 같은 색 배열을 가질 수 있다.

촬상소자(221)는 상기 필터(220)를 통과한 영상관을 인가받아 영상 신호를 생성한다. 상기 필터(220)가 원색계 필터인 경우에는 영상 신호로서 R, G, B 정보를 갖는 신호가 생성되며, 상기 필ㅌ(220)가 보색계 필터인 경우에는 영상 신호로서 C, Y, M, G 정보를 갖는 신호가 생성될 것이다.

제1 영상 신호 처리부(230)는 상기 촬상소자(221)에서 생성된 영상 신호에 대하여 영상 신호 처리를 수행하여 RAW 데이터를 생성한다. 상기 영상 신호 처리에는 광학적 블랙 채널 게인(Optical Black Channel Gain) 조정, 결함 보상(Defect Compensation), 스미어 보정(Smear Correction), 음영 보정(Shading Correction) 등을 포함할 수 있다. 상기 영상 신호 처리들은 예시적인 것으로 이에 한정되지 않으며, 다양한 영상 신호 처리가 더 포함될 수도 있으며, 또한 상기 언급된 영상 신호 처리 중 일부만 수행되는 것도 가능할 것이다.

간이 보간 처리부(240)는 상기 제1 영상 신호 처리부(230)에서 생성한 RAW 데이터에 대하여 간이 보간 처리를 수행한다. 간이 보간 처리란 일반적으로 디지털 영상 처리장치에서 이루어지는 보간 처리를 간략화한 신호 처리를 의미한다. 상기 간이 보간 처리부(240)는 상기 필터(220)가 원색계 필터인 경우에는 RAW 데이터를 인가받아 디스플레이 장치에 디스플레이 가능한 R, G, B 신호를 생성한다. 또한 상기 간이 보간 처리부(240)는 상기 필터(220)가 보색계 필터인 경우에는 RAW 데이터를 인가받아 Y, R, G, B 신호를 생성한다. 상기 간이 보간 처리를 수행하는 방법은 도 2(b) 내지 도 2(d)를 참조하여 자세히 설명하도록 한다.

제1 행렬 연산부(241)는 상기 간이 보간 처리부(240)로부터 R, G, B 또는 Y, R, G, B 신호를 인가받아 Y, Cb, Cr 신호를 생성한다. 즉, 상기 필터(220)가 원색계 필터인 경우에는 상기 간이 보간 처리부(240)로부터 R, G, B 신호를 인가받아 Y, Cb, Cr 신호를 생성하고, 상기 필터(220)가 보색계 필터인 경우에는 상기 간이 보간 처리부(240)로부터 인가되는 Y, R, G, B 신호 중 R, G, B 신호를 사용하여 Cb, Cr 신호를 생성한다. 상기 제1 행렬 연산부(241)는 상기 인가받은 R, G, B 또는 Y, R, G, B 신호와 함께 생성한 Y, Cb, CR 신호를 출력신호로서 출력할 수 있다.

AWB 검출기(250)는 상기 제1 행렬 연산부(241)로부터 R, G, B 및 Y, Cb, Cr 신호를 인가받아 자동 화이트 밸런스 조정 기능을 수행한다. 본 실시예에서는 R, G, B 및 Y, Cb, Cr 신호를 모두 사용하여 자동 화이트 밸런스 조정 기능을 수행하는 것으로 설명하였으나 이는 예시적인 것으로, 상기 제1 행렬 연산부(241)에서 생성한 Y, Cb, Cr 신호만을 사용하여 자동 화이트 밸런스 조정 기능을 수행하는 것도 가능할 것이다.

AE 검출기(251) 및 AF 검출기(252)는 상기 제1 행렬 연산부(241)에서 생성된 Y 신호를 인가받아 자동 노출 조정 기능 및 자동 초점 조정 기능을 각각 수행한다.

저장매체(260)는 상기 제1 영상 신호 처리부(230)에서 생성된 RAW 데이터를 일시적 또는 영구적으로 저장한다.

이하, 도 2(b) 내지 도 2(d)를 참조하여 RAW 데이터에 대하여 간이 보간 처리를 수행하는 방법에 대하여 살펴보도록 한다.

도 2(b)는 필터로서 원색계 필터를 사용하는 경우 간이 보간 처리를 수행하 는 방법을 나타내는 도면이다.

원색계 필터의 경우 R, G, B가 베이어 배열로 되어 있다. 즉, 4개의 픽셀을 기본으로 하여 좌측 상단부터 시계방향으로 R, G, B, G 순서로 색필터가 위치한다. 이러한 경우 디스플레이부에 디스플레이하기 위한 색 배열, 즉 수평방향으로 R, G, B가 순서대로 나열되는 배열의 데이터를 생성하기 위하여 간이 보간 처리가 수행될 수 있다. 도 2(b)는 상기 원색계 필터에 있는 색으로 이루어진 픽셀 구성의 CASE를 나타내고 있으며, 각 CASE에서는 R, G, B 값은 다음과 같이 구할 수 있다.

<CASE1>

R = (R11 + R13 + R31 + R33)/4 G = (G12 + G21 + G23 + G32)/4

B = B22

<CASE2>

R = (R12 + R32)/2 G = G22 B = (B21 + B23)/2

<CASE3>

R = R22 G = (G12 + G21 + G23 + G32)/4

B = (B11 + B13 + B31 + B33)/4

<CASE4>

R = (R21 + R23)/2 G = G22 B = (B12 + B32)/2

도 2(c)는 필터로서 보색계 필터를 사용하는 경우 간이 보간 처리를 수행하는 방법을 나타내는 도면이다.

보색계 필터의 경우 Cy, Ye, G, Mg색을 갖는 색필터로 이루어진다. 상기 Cy, Ye, Mg는 Cy = B + G, Ye = R + G, Mg = R + B의 값을 가진다. 도 2(c)는 상기 보색계 필터에 있는 색으로 이루어진 픽셀 구성의 8가지 CASE를 나타내고 있으며, 각 CASE에서 Y, R, G, B 값은 다음과 같이 구할 수 있다. 여기서 R의 색 좌표값은 (255, 0, 0), G의 색 좌표값은 (0, 255, 0), B의 색 좌표값은 (0, 0, 255)이다. 따라서 Cy, Ye, Mg의 색 좌표값은 각각 (0, 255, 255), (255, 255, 0), (255, 0, 255)이다.

<CASE1>

Y = G22 + (Mg21 + Mg23 + Ye12 +Ye32)/2 + (Cy11 + Cy13 + Cy31 + Cy33)/4

R = (Ye12 + Ye32)/2 - G22 G = G22

B = (Cy11 + Cy13 + Cy31 + Cy33)/4 -G22

<CASE2>

Y = Mg22 + (G21 + G23 + Cy12 + Cy32)/2 + (Ye11 + Ye13 + Ye31 + Ye33)/4

R = (Ye11 + Ye13 + Ye31 + Ye33)/4 - (G21 + G23)/2

G = (G21 + G23)/2 B = (Cy12 + Cy32)/2 - (G21 + G23)/2

<CASE3>

Y=(G12*2 + G31 + G33)/4 + Ye22 + (Cy21 + Cy23)/2 + (Mg11 + Mg13 + Mg32*2)/4

R = Ye22 - (G12*2 + G31 + G33)/4 G = (G12*2 + G31 + G33)/4

B = (Cy12 + Cy23)/2 - (G12*2 + G31 + G33)/4

<CASE4>

Y = (G11 + G13 + G32*2)/4 + Cy22 + (Ye21 + Ye23)/2 + (Mg12*2 + Mg31 + Mg33)/4

R = (Ye21 + Ye23)/2 - (G11 + G13 + G32*2)/4

G = (G11 + G13 + G32*2)/4 B = Cy22 - (G11 + G13 + G32*2)/4

<CASE5>

Y = G22 + (Mg21 + Mg23 + Cy12 + Cy32)/2 + (Ye11 + Ye13 + Ye31 + Ye33)/4

R = (Ye11 + Ye13 + Ye31 + Ye33)/4 - G22

G = G22 B = (Cy12 + Cy32)/2 - G22

<CASE6>

Y = Mg22 + (G21 + G23 + Ye12 + Ye32)/2 + (Cy11 + Cy13 + Cy31 + Cy33)/4

R = (Ye12 + Ye32)/2 - (G21 + G23)/2 G = (G21 + G23)/2

B = (Cy11 + Cy13 + Cy31 + Cy33)/4 - (G21 + G23)/2

<CASE7>

Y=(G12*2 + G31 + G33)/4 + Cy22 + (Ye21 + Ye23)/2 + (Mg11 + Mg13 + Mg32*2)/4

R = (Ye21 + Ye23)/2 - (G12*2 + G31 + G33)/4

G = (G12*2 + G31 + G33)/4 B = Cy22 - (G12*2 + G31 + G33)/4

<CASE8>

Y = (G11 + G13 + G32*2)/4 + Ye22 + (Cy21 + Cy23)/2 + (Mg12*2 + Mg31 + Mg33)/4

R = Ye22 - (G11 + G13 + G32*2)/4 G = (G11 + G13 + G32*2)/4

B = (Cy21 + Cy23)/2 - (G11 + G13 + G32*2)/4

마지막으로, 도 2(d)는 필터로서 도 2(c)에서 나타낸 보색계 필터와 다른 색 배열을 가지고 있는 보색계 필터를 사용하는 경우에 간이 보간 처리를 수행하는 방법을 나타내는 도면이다.

도 2(d)의 보색계 필터의 경우 각각의 색은 MgCy, GYe, GCy, MgYe색을 갖는 색필터로 이루어진다. 여기서 Cy, Ye, Mg의 색 좌표값은 각각 (0, 255, 255), (255, 255, 0), (255, 0, 255)이므로, MgCy, GYe, GCy, MgYe의 색 좌표는 각각 (128, 128, 255), (128, 255, 0), (0, 255, 128), (255, 128, 128)이다.

도 2(d)는 상기 MgCy, GYe, GCy, MgYe 색으로 이루어진 픽셀 구성의 4가지 CASE를 나타내고 있으며, 각 CASE에서 Y, R, G, B 값은 다음과 같이 구할 수 있다.

<CASE1>

Y = MgYe22 + (GCy21 + GCy23)/2

R = MgYe22*3 - (MgCy11 + MgCy13 +MgCy31 + MgCy33)/4 - (GCy21 + GCy23)/2

G = (GYe12 + GYe32 + GCy21 + GCy23)*3/4 - MgYe22/2 - (MgCy11 + MgCy13 + MgCy31 + MgCy33)/8

B = (MgCy11 + MgCy13 +MgCy31 + MgCy33)*3/4 - (GYe12 + GYe32)/2 - MgYe22

<CASE2>

Y = (MgYe21 + MgYe23)/2 + GCy22

R = (MgYe21 + MgYe23)*3/2 - (MgCy12 + MgCy32)/2 - GCy22

G = (GYe11 + GYe13 + GYe31 + GYe33 + GCy22*4)*3/8 - (MgCy12 + MgCy32 + MgYe21 + MgYe23)/4

B = (MgCy12 + MgCy32)*3/2 - (GYe11 + GYe13 + GYe31 + GYe33)/4 - (MgYe21 + MgYe23)/2

<CASE3>

Y = GYe22 + (MgCy21 + MgCy23)/2

R = (MgYe12 + MgYe32)*3/2 - (MgCy21 + MgCy23)/2 - (GCy11 + GCy13 + GCy31 + GCy33)/4

G = (GYe22*4 + GCy11 + GCy13 + GCy31 + GCy33)*3/8 - (MgCy21 + MgCy23 + MgYe12 + MgYe32)/4

B = (MgCy21 + MgCy23)*3/2 - GYe22 - (MgYe12 + MgYe32)/2

<CASE4>

Y = (GYe21 + GYe23)/2 + MgCy22

R = (MgYe11 + MgYe13 + MgYe31 + MgYe33)*3/4 - MgCy22 - (GCy12 + GCy32)/2

G = (GYe21 + GYe23 + GCy12 + GCy32)*3/4 - (MgCy22*4 + MgYe11 + MgYe13 + MgYe31 + MgYe33)/4

B = MgCy22*3 - (GYe21 + GYe23)/2 - (MgYe11 + MgYe13 + MgYe31 + MgYe33)/4

본 실시예에서는 간이 보간 처리를 위하여 9개의 픽셀 데이터를 사용하였으 나 이는 예시적인 것으로 이에 한정되지 않는다. 즉, 더 많은 픽셀 데이터를 사용하여 간이 보간 처리를 수행하는 것이 가능할 것이다.

이하, 도 2(a)의 실시예에 따른 디지털 영상 처리장치(200)의 동작에 대하여 살펴본다.

피사체의 영상광이 렌즈(210)를 통하여 촬상소자에 인가되면, 상기 영상광에 따라서 영상 신호가 생성된다. 이 때, 상기 영상 신호는 촬상소자(221)와 렌즈(210) 사이에 구비된 필터(220)의 종류에 따른 색 신호를 갖는다. 즉, 상기 필터(220)가 원색계 필터이면 R, G, B 색 신호를 생성하며, 상기 필터(220)가 보색계 필터이면 Cy, Ye, Mg, G 색 신호를 생성한다. 제1 영상 신호 처리부(230)는 상기 생성된 영상 신호에 대하여 일련의 영상 신호 처리를 수행하여 RAW 데이터를 생성한다. 영상 신호 처리가 수행된 RAW 데이터는 일시적으로 저장매체(260)에 저장된다. 상기 저장매체(260)에 저장된 RAW 데이터는 종래의 디지털 영상 처리장치에서와 동일한 과정에 의하여 추가적인 영상 신호 처리가 수행될 수 있다.

또한 이와 동시에 상기 RAW 데이터는 간이 보간 처리부(240)로 전송되어 간이 보간 처리가 수행된다. 상기 간이 보간 처리는 도 2(b) 내지 도 2(d)의 설명에서와 같은 방법으로 이루어질 수 있으며, 이러한 간이 보간 처리는 일반적인 보간 처리에 비하여 단순한 계산으로 이루어지기 때문에 디지털 영상 처리장치(200)에 걸리는 부하가 경감될 수 있다.

제1 행렬 연산부(241)는 상기 간이 보간 처리가 수행된 RAW 데이터를 사용하여 Y, Cb, Cr 신호를 생성한다.

상기 생성된 Y, Cb, Cr 신호는 AWB 검출기(250), AE 검출기(251), AF 검출기(252) 등에서 촬영 조건을 제어하기 위하여 사용될 수 있다.

이와 같이, 필터, 촬상소자, 제1 영상 신호 처리부, 저장매체 및 간이 보간 처리부를 포함하는 본 발명에 따른 디지털 영상 처리장치는 상기 필터의 종류에 상관없이, 즉 색 성분에 관계 없이 동일한 영상 처리 시스템에 의하여 영상 신호 처리를 수행할 수 있게 된다. 이러한 영상 처리 시스템은 촬상소자로부터의 신호가 저장매체에 저장되는 단계 이전에 구비되는 것을 특징으로 할 수 있다.

도 3은 본 발명의 다른 실시예에 따라서 영상 신호 처리를 수행하는 디지털 영상 처리장치의 일부를 나타내는 내부 구성도이다.

도 3을 참조하면, 디지털 영상 처리장치(300)는 렌즈(310), 필터(320), 촬상소자(321), 제1 영상 신호 처리부(330), 저장매체(260), 보간 처리부(370), 제2 영상 신호 처리부(380)를 포함할 수 있으며, 상기 제2 영상 신호 처리부(380)는 선형 보정부(381), 감마 보정부(382), 제2 행렬 연산부(383)를 포함할 수 있다.

상기 렌즈(310), 필터(320), 촬상소자(321), 제1 영상 신호 처리부(330)는 도 2(a)와 동일한 기능을 수행하므로 자세한 설명은 생략한다.

저장매체(260)는 상기 제1 영상 신호 처리부(230)에서 생성된 RAW 데이터를 일시적 또는 영구적으로 저장한다. 또한, 상기 저장매체(260)는 상기 일시적으로 저장한 RAW 데이터를 후술할 보간 처리부(370)에 인가한다.

보간 처리부(370)는 상기 RAW 데이터에 대하여 보간 처리를 수행한다. 상기 보간 처리는 일반적으로 디지털 영상 처리장치에서 이루어지는 보간 처리이며, 상 기 보간 처리 방법은 공지 기술이므로 자세한 설명은 생략한다. 상기 보간 처리부(370)는 상기 필터(320)가 원색계 필터인 경우에는 R, G, B 신호를 출력하고, 상기 필터(320)가 보색계 필터인 경우에는 Y, R, G, B 신호를 출력한다.

제2 영상 신호 처리부(380)는 상기 보간 처리된 RAW 데이터에 대하여 제2 영상 신호 처리를 수행한다. 상기 제2 영상 신호 처리는 상기 인가된 RAW 데이터에 대한 선형 보정 및 감마 보정 등을 포함할 수 있다. 또한 상기 제2 영상 신호 처리는 Y, Cb, Cr 신호를 생성하는 단계를 포함할 수 있으며, 그 이외에도 저장매체(360)로부터 출력한 RAW 데이터에 대하여 이루어지는 일련의 영상 신호 처리를 포함할 수 있다. 상기 언급한 제2 영상 신호 처리를 수행하기 위하여 상기 제2 영상 신호 처리부(380)는 선형 보정부(381), 감마 보정부(382), 제2 행렬 연산부(383)를 포함할 수 있다.

선형 보정부(381)는 상기 보간 처리부(370)로부터 인가된 신호에 대하여 선형 보정을 수행한다. 이 때, 상기 필터(320)가 원색계 필터인 경우에는 RAW 데이터로서 R, G, B 신호만 인가되므로 상기 R, G, B 신호를 사용하여 휘도 신호인 Y 신호를 생성하는 단계가 포함될 수도 있다. 상기 선형 보정은 행렬 연산에 의하여 이루어질 수 있으며, 상기 행렬 연산은 4×4 행렬 연산일 수 있다.

감마 보정부(382)는 상기 선형 보정부(381)로부터 인가되는 Y, R, G, B 신호에 대하여 감마 특성에 따른 감마 보정을 수행한다.

상기 선형 보정 및 상기 감마 보정은 기존에 공지된 기술에 의하여 구현하는 것이 가능하며, 따라서 자세한 설명은 생략하도록 한다.

제2 행렬 연산부(383)는 상기 감마 보정부(382)로부터 인가되는 감마 보정이 수행된 Y, R, G, B 신호에 대하여 행렬 연산을 수행하여 Y, Cb, Cr 신호를 생성한다. 상기 행렬 연산은 4×3 행렬 연산일 수 있다.

또한, 도시하지는 않았으나 상기 디지털 영상 처리장치(300)는 AWB 검출기, AE 검출기, AF 검출기 등을 더 포함할 수도 있다. 상기 AWB 검출기, AE 검출기 및 AF 검출기는 상기 제2 행렬 연산부(381)로부터 R, G, B 및 Y, Cb, Cr 신호를 인가받아 자동 화이트 밸런스 조정 기능, 자동 노출 조정 기능 및 자동 초점 조정 기능을 각각 수행할 수 있다.

이하, 도 3의 실시예에 따른 디지털 영상 처리장치(200)의 동작에 대하여 살펴본다.

피사체의 영상광이 렌즈(310)를 통하여 촬상소자에 인가되면, 상기 영상광에 따라서 영상 신호가 생성된다. 이 때, 상기 영상 신호는 촬상소자(321)와 렌즈(310) 사이에 구비된 필터(320)의 종류에 따른 색 신호를 갖는다. 즉, 상기 필터(320)가 원색계 필터이면 R, G, B 색 신호를 생성하며, 상기 필터(320)가 보색계 필터이면 Cy, Ye, Mg, G 색 신호를 생성한다.

제1 영상 신호 처리부(330)는 상기 생성된 영상 신호에 대하여 일련의 영상 신호 처리를 수행하여 RAW 데이터를 생성한다. 상기 일련의 영상 신호 처리는 종래의 디지털 영상 처리장치에 있어서 촬상소자에서 생성된 영상 신호가 저장매체에 저장되기 이전에 수행되는 영상 신호 처리와 동일한 신호 처리이다.

상기 저장매체(360)에 일시적으로 저장된 RAW 데이터는 다시 호출되어 보간 처리부(370)로 전송된다.

상기 보간 처리부(370)는 상기 RAW 데이터를 인가받아 보간 처리를 수행한다.

상기 보간 처리가 수행된 RAW 데이터는 선형 보정부(381) 및 감마 보정부(382)에 의하여 각각 선형 보정 및 감마 보정이 수행된다. 상기 선형 보정부(381)에서는 상기 필터(320)가 원색계 필터인 경우에는 상기 RAW 데이터에 R, G, B 신호만이 포함되어 있으므로 Y 신호를 생성한다. 상기 Y 신호가 생성됨으로 인하여 상기 필터(320)가 원색계 필터인 경우에나 보색계 필터인 경우에나 모두 Y, R, G, B 신호가 생성될 수 있다.

상기 제2 행렬 연산부(383)에서는 상기 감마 보정된 RAW 데이터를 인가받아 Y, Cb, Cr 신호를 생성한다. 상기 제2 행렬 연산부(383)는 4×3 행렬 연산일 수 있다.

상기 생성된 Y, Cb, Cr 신호는 종래의 디지털 영상 처리장치에서 이루어지는 일련의 영상 신호 처리가 더욱 수행될 수 있다.

이와 같이, 필터, 촬상소자, 저장매체, 보간 처리부, 선형 보정부, 감마 보정부 및 제2 행렬 연산부를 포함하는 본 발명에 따른 디지털 영상 처리장치는 상기 필터의 종류에 상관없이, 즉 색 성분에 관계 없이 동일한 영상 처리 시스템에 의하여 영상 신호 처리를 수행할 수 있게 된다. 이러한 영상 처리 시스템은 상기 도 2(a)에서의 실시예와 달리, 촬상소자로부터의 신호가 저장매체에 저장되는 단계 이후에 구비되는 것을 특징으로 할 수 있다.

도 4는 본 발명의 다른 실시예에 따라서 영상 신호 처리를 수행하는 디지털 영상 처리장치의 일부를 나타내는 내부 구성도이다. 도 4에 따른 디지털 영상 처리장치에서는 생성된 RAW 데이터가 저장매체에 일시적으로 저장되는 단계가 없이, 하나의 파이프 라인을 통하여 한번에 모든 영상 신호 처리가 이루어지는 시스템이다.

도 4를 참조하면, 디지털 영상 처리장치(400)는 렌즈(410), 필터(420), 촬상소자(421), 제1 영상 신호 처리부(430), 보간 처리부(470), 제2 영상 신호 처리부(480), 제1 행렬 연산부(441), AWB 검출기(450), AE 검출기(451), AF 검출기(452), 저장매체(460)를 포함할 수 있으며, 상기 제2 영상 신호 처리부(480)는 선형 보정부(481), 감마 보정부(482), 제2 행렬 연산부(483)를 포함할 수 있다.

상기 렌즈(410), 필터(420), 촬상소자(421), 제1 영상 신호 처리부(430)는 도 2(a)와 동일한 기능을 수행하므로 자세한 설명은 생략한다.

보간 처리부(470)는 상기 제1 영상 신호 처리부(430)에서 생성된 RAW 데이터에 대하여 보간 처리를 수행한다. 상기 보간 처리부(470)는 일반적으로 디지털 영상 처리장치에서 이루어지는 보간 처리이다. 상기 보간 처리부(370)는 상기 필터(320)가 원색계 필터인 경우에는 R, G, B 신호를 출력하고, 상기 필터(320)가 보색계 필터인 경우에는 Y, R, G, B 신호를 출력한다.

제2 영상 신호 처리부(480)는 상기 보간 처리된 RAW 데이터에 대하여 제2 영상 신호 처리를 수행한다. 상기 제2 영상 신호 처리는 상기 인가된 RAW 데이터에 대한 선형 보정 및 감마 보정 등을 포함할 수 있다. 또한 상기 제2 영상 신호 처리는 Y, Cb, Cr 신호를 생성하는 단계를 포함할 수 있으며, 그 이외에도 상기 RAW 데 이터에 대하여 이루어지는 일련의 영상 신호 처리를 포함할 수 있다. 상기 언급한 제2 영상 신호 처리를 수행하기 위하여 상기 제2 영상 신호 처리부(480)는 선형 보정부(481), 감마 보정부(482), 제2 행렬 연산부(483)를 포함할 수 있다. 상기 선형 보정부(481), 감마 보정부(482), 제2 행렬 연산부(483)의 기능은 도 3에서 설명한 것과 동일하므로, 자세한 설명은 생략하도록 한다.

저장매체(460)는 상기 제2 영상 신호 처리가 수행된 RAW 데이터를 일시적 또는 영구적으로 저장한다. 본 실시예에서는 촬상소자(421)에서 생성된 신호가 상기 저장매체(460)에 일시적으로 저장된 후 다시 출력되는 과정이 생략되고, 하나의 파이프 라인에 의하여 상기 생성된 신호에 대하여 영상 신호 처리가 이루어진 이후에 상기 저장매체(460)에 저장되는 시스템이다.

한편, 제1 행렬 연산부(441)는 상기 보간 처리부(470)에서 생성된 R, G, B 또는 Y, R, G, B 신호에 대하여 행렬 연산을 수행하여 Y, Cb, Cr 신호를 생성한다. 상기 제1 행렬 연산부(441)는 상기 필터(420)가 원색계 필터인 경우에는 상기 보간 처리부(440)로부터 R, G, B 신호를 인가받아 Y, Cb, Cr 신호를 생성하고, 상기 필터(420)가 보색계 필터인 경우에는 상기 보간 처리부(440)로부터 인가되는 Y, R, G, B 신호 중 R, G, B 신호를 사용하여 Cb, Cr 신호를 생성한다. 상기 제1 행렬 연산부(441)는 상기 인가받은 R, G, B 또는 Y, R, G, B 신호와 함께 생성한 Y, Cb, CR 신호를 출력신호로서 출력할 수 있다.

AWB 검출기(450), AE 검출기(451) 및 AF 검출기(452)는 상기 제1 행렬 연산부(441)로부터 인가받은 신호를 사용하여 자동 화이트 밸런스 조정 기능, 자동 노 출 조정 기능 및 자동 초점 조정 기능을 각각 수행한다. 상기 AWB 검출기(450), AE 검출기(451) 및 AF 검출기(452)의 기능은 도 2(a)의 디지털 영상 처리장치와 동일하므로, 자세한 설명은 생략한다.

이하, 도 4의 실시예에 따른 디지털 영상 처리장치(400)의 동작에 대하여 살펴본다.

피사체의 영상광이 렌즈(410)를 통하여 촬상소자에 인가되면, 상기 영상광에 따라서 영상 신호가 생성된다. 이 때, 상기 영상 신호는 촬상소자(421)와 렌즈(410) 사이에 구비된 필터(420)의 종류에 따른 색 신호를 갖는다. 즉, 상기 필터(420)가 원색계 필터이면 R, G, B 색 신호를 생성하며, 상기 필터(420)가 보색계 필터이면 Cy, Ye, Mg, G 색 신호를 생성한다. 제1 영상 신호 처리부(430)는 상기 생성된 영상 신호에 대하여 일련의 영상 신호 처리를 수행하여 RAW 데이터를 생성한다. 영상 신호 처리가 수행된 RAW 데이터는 저장매체에 저장되지 않고 곧장 보간 처리가 수행된다.

보간 처리부(370)는 상기 제1 영상 신호 처리부(430)에서 생성된 RAW 데이터를 인가받아 보간 처리를 수행한다.

상기 보간 처리가 수행된 RAW 데이터는 선형 보정부(481) 및 감마 보정부(482)에 의하여 각각 선형 보정 및 감마 보정이 수행된다. 상기 선형 보정부(481)에서는 상기 필터(420)가 원색계 필터인 경우에는 상기 RAW 데이터에 R, G, B 신호만이 포함되어 있으므로 Y 신호를 생성한다. 상기 Y 신호가 생성됨으로 인하여 상기 필터(420)가 원색계 필터인 경우에나 보색계 필터인 경우에나 모두 Y, R, G, B 신호가 생성될 수 있다.

상기 제2 행렬 연산부(483)에서는 상기 감마 보정된 RAW 데이터를 인가받아 Y, Cb, Cr 신호를 생성한다. 상기 제2 행렬 연산부(483)는 4×3 행렬 연산일 수 있다.

또한 이와 동시에 상기 보간 처리가 수행된 RAW 데이터는 제1 행렬 연산부(441)에 인가되며, 상기 제1 행렬 연산부(441)에서는 상기 RAW 데이터를 사용하여 Y, Cb, Cr 신호를 생성한다.

상기 생성된 Y, Cb, Cr 신호는 AWB 검출기(450), AE 검출기(451), AF 검출기(452) 등에서 촬영 조건을 제어하기 위하여 사용될 수 있다.

이와 같이, 필터, 촬상소자, 제1 영상 신호 처리부, 보간 처리부, 제1 행렬 연산부, 선형 보정부, 감마 보정부, 제2 행렬 연산부 및 저장매체를 포함하는 본 발명에 따른 디지털 영상 처리장치는 상기 필터의 종류에 상관없이, 즉 색 성분에 관계 없이 동일한 영상 처리 시스템에 의하여 영상 신호 처리를 수행할 수 있게 된다. 이러한 영상 처리 시스템은, 상기 도 2(a) 또는 도 3에서의 실시예와 달리, 일련의 신호 처리가 저장매체에 일시적으로 저장되는 단계없이 하나의 파이프 라인에 의하여 수행되도록 구비되는 것을 특징으로 할 수 있다.

상기 발명의 상세한 설명과 도면은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범 위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 따라서 이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서 본 발명의 기술적 보호 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여 져야만 할 것이다.

도 1은 본 발명의 일 실시예에 따라서 R, G, B 신호 및 C, Y, M, G 신호를 변환하는 방법을 나타내는 개념도이다.

도 2(b) 내지 도 2(d)는 필터에 따라서 RAW 데이터에 대하여 간이 보간 처리를 수행하는 방법을 나타내는 도면이다.

도 3은 본 발명의 다른 실시예에 따라서 영상 신호 처리를 수행하는 디지털 영상 처리장치의 일부를 나타내는 1내부 구성도이다.

도 4는 본 발명의 다른 실시예에 따라서 영상 신호 처리를 수행하는 디지털 영상 처리장치의 일부를 나타내는 내부 구성도이다.

Claims

삭제
삭제
삭제
삭제
원색계 필터 또는 보색계 필터 중 어느 하나의 필터;

상기 필터를 통과한 영상광을 인가받아 촬상소자에서 생성된 영상 신호에 대하여 제1 영상 신호 처리를 수행하여 생성된 RAW 데이터를 저장하는 저장매체;

상기 RAW 데이터에 대하여 보간 처리를 수행하며, 상기 필터가 원색계 필터인 경우에는 R, G, B 신호를 생성하고, 상기 필터가 보색계 필터인 경우에는 Y, R, G, B 신호를 생성하는 보간 처리부; 및

상기 보간 처리된 RAW 데이터에 대하여 제2 영상 신호 처리를 수행하며, 상기 필터가 원색계 필터인 경우에는 상기 R, G, B 신호의 선형 보정 수행 및 Y신호의 생성을 수행하고, 상기 필터가 보색계 필터인 경우에는 상기 Y, R, G, B 신호의 선형 보정을 수행하는 선형 보정부를 포함하는 제2 영상 신호 처리부를 포함하는 것을 특징으로 하는 디지털 영상 처리장치.
삭제
청구항 7은(는) 설정등록료 납부시 포기되었습니다.

제5항에 있어서,

상기 제2 영상 신호 처리부는

상기 선형 보정부로부터 Y, R, G, B 신호를 인가받아 감마 보정을 수행하는 감마 보정부; 및

상기 감마 보정된 Y, R, G, B 신호를 Y, Cb, Cr 신호로 변환하는 제2 행렬 연산부를 더 포함하는 것을 특징으로 하는 디지털 영상 처리장치.
원색계 필터 또는 보색계 필터 중 어느 하나의 필터;

상기 필터를 통과한 영상광을 인가받아 영상 신호를 생성하는 촬상소자;

상기 영상 신호에 대하여 제1 영상 신호 처리를 수행하여 RAW 데이터를 생성하는 제1 영상 신호 처리부;

상기 RAW 데이터에 대하여 보간 처리를 수행하며, 상기 필터가 원색계 필터인 경우에는 R, G, B 신호를 생성하고, 상기 필터가 보색계 필터인 경우에는 Y, R, G, B 신호를 생성하는 보간 처리부;

상기 보간 처리부로부터 R, G, B 신호 또는 Y, R, G, B 신호를 인가받아 Y, Cb, Cr 신호를 생성하는 제1 행렬 연산부;

상기 보간 처리된 RAW 데이터에 대하여 제2 영상 신호 처리를 수행하며, 상기 필터가 원색계 필터인 경우에는 상기 R, G, B 신호의 선형 보정 수행 및 Y신호의 생성을 수행하고, 상기 필터가 보색계 필터인 경우에는 상기 Y, R, G, B 신호의 선형 보정을 수행하는 선형 보정부를 포함하는 제2 영상 신호 처리부; 및

상기 제2 영상 신호 처리가 수행된 RAW 데이터를 저장하는 저장매체를 포함하는 디지털 영상 처리장치.
청구항 9은(는) 설정등록료 납부시 포기되었습니다.

제8항에 있어서,

상기 보간 처리부 또는 상기 제1 행렬 연산부로부터의 신호 중 적어도 어느 하나의 신호를 사용하여 자동 화이트 밸런스, 자동 노출, 및 자동 초점 중 적어도 어느 하나의 기능을 수행하는 것을 특징으로 하는 디지털 영상 처리장치.
삭제
청구항 11은(는) 설정등록료 납부시 포기되었습니다.

제8항에 있어서,

상기 제2 영상 신호 처리부는

상기 선형 보정부로부터 Y, R, G, B 신호를 인가받아 감마 보정을 수행하는 감마 보정부; 및

상기 감마 보정된 Y, R, G, B 신호를 Y, Cb, Cr 신호로 변환하는 제2 행렬 연산부를 더 포함하는 것을 특징으로 하는 디지털 영상 처리장치.