KR20050015711A

KR20050015711A - 영상 처리에 있어서의 에지 강조를 위한 장치 및 방법

Info

Publication number: KR20050015711A
Application number: KR1020030054648A
Authority: KR
Inventors: 박상현; 정종식; 이연철; 김강주; 박형만; 곽부동
Original assignee: 삼성전기주식회사
Priority date: 2003-08-07
Filing date: 2003-08-07
Publication date: 2005-02-21
Also published as: US7301573B2; DE10344397B4; DE10344397A1; CN1308891C; CN1581227A; KR100548611B1; US20050030396A1; JP2005056374A

Abstract

본 발명은 3×3 보간과 동시에 별도의 추가적인 저장 공간 없이 에지 강조를 수행할 수 있는 장치 및 방법에 관한 것이다.

본 발명에 따른 장치는, 이미지를 촬상하는 이미지 센서; 상기 이미지 센서가 촬상한 이미지 데이터를 수신하여 출력하는 라인 버퍼; 상기 라인 버퍼로부터 출력되는 이미지 데이터를 저장하는 레지스터; 상기 레지스터에 저장된 이미지 데이터를 수신하여 보간을 수행하고, 상기 레지스터에 저장된 이미지 데이터의 패턴을 표시하는 선택 신호를 출력하는 보간부; 상기 보간부로부터의 선택 신호에 따라 상기 레지스터에 저장된 이미지 데이터를 수신하여 상기 보간부의 보간 수행과 병렬로 에지 검출값을 산출하는 에지 검출부; 및 상기 에지 검출부에서 검출한 에지 검출값에 의해 상기 보간부의 출력을 강조하는 에지 강조부를 포함하는 것을 특징으로 한다.

Description

영상 처리에 있어서의 에지 강조를 위한 장치 및 방법{Apparatus and method for edge enhancement in image processing}

본 발명은 휴대폰용 디지털 카메라 등 저 화소수의 보급형 디지털 카메라에 있어서의 에지 강조(edge enhancement)를 위한 장치 및 방법에 관한 것이다. 보다 구체적으로 본 발명은 에지 강조를 위한 별도의 블록없이도 보간 처리(interpolation)와 동시에 수행이 가능한 에지 강조 처리 장치 및 방법에 관한 것이다.

휴대폰용 디지털 카메라와 저화소수의 보급형 디지털 카메라의 경우 화상 센서의 크기, 렌즈 등이 소형이고, 원가절감을 위한 영상처리 IC의 기능 단순화 등으로 촬영한 영상이 선명하지 못한 경우가 많이 있다. 특히 피사체의 경계가 뭉개져서 보여지는 경우가 있는데 이를 해결하기 위한 방법으로 에지 강조(Edge Enhancement) 방법을 사용한다. 이 방법을 사용하면 피사체의 경계선을 강조하여 좀더 선명한 영상을 얻을 수 있다.

영상의 에지는 그 영상의 많은 정보를 가지고 있다. 영상의 에지는 물체의 위치, 모양, 크기 등이 변경되는 경계선을 의미하는 것으로서 이 에지는 영상의 밝기가 낮은 곳에서 높은 곳으로 또는 높은 곳에서 낮은 값으로 변하는 지점에 존재한다.

전술한 바와 같이, 저화소수의 보급형 디지털 카메라 등의 경우 선명한 영상을 얻기 위해 에지 강조 방법을 사용하게 되는데, 에지를 강조하기 위한 방법은 여러 가지가 있으나 우선 다양한 방법에 의해 에지를 검출하고 검출된 출력을 원래 영상과 더하여 강조하는 방법이 주로 사용된다.

우선 에지를 검출하는 방법은 입력되는 영상의 종류나 형태에 따라서 효과적인 방법이 여러 가지가 있지만 가장 단순하고 빠른 에지 검출 방법은 중심 화소와 주변 화소들의 화소 데이터 값을 계산하여 최대값을 결정하는 것이다. 이러한 방법에는 유사연산자(Homogeneity Operator) 방법과 차연산자(Difference Operator) 방법이 있다.

도1a 및 도1b는 각각 유사 연산자 방법과 차연산자 방법을 설명하기 위한 도면이다.

도1a에 도시된 바와 같이, 유사연산자 방법에서는 3×3 개의 화소로 구성된 윈도우에서 중심 화소의 화소값으로부터 가장 자리의 8개 화소들 각각의 화소값을 감산하여 그 차이를 구하고, 출력은 각 차이의 절대값 중에서 가장 큰 값으로 한다. 유사연산자 방법에서는 중심 화소와 주변의 8개 화소 각각에 대해 감산을 행하게 되므로 총 8번의 연산이 요구된다.

도1b에 도시된 바와 같이, 차연산자 방법에서는 ① 왼쪽 상단의 화소값과 오른쪽 하단의 화소값의 차, ② 중간의 맨 위의 화소값과 중간 맨 아래쪽에 있는 화소값, ③ 오른쪽 상단의 화소값과 왼쪽 하단의 화소값, 그리고 ④ 중간 오른쪽 화소의 화소값과 중간 왼쪽 화소의 화소값에 대하여 이루어진다. 차연산자 방법에서는 화소당 4개의 감산이 필요하므로 유사연산자 방법과 비교하여 좀더 빠른 연산을 수행한다.

위에서 설명한 유사 연산자 및 차연산자 방법은 밝기 요소만 존재하는 흑백 영상의 경우에 대한 것이다.

흑백이 아닌 컬러 영상에서의 에지 검출 방법도 여러 가지가 존재하지만 일반적인 경우에 RGB 공간에서는 R,G,B의 각 컬러 요소들의 화소값들에 대하여 연산을 수행하고 그 결과를 다음의 식(1)에 의하여 그레이 스케일 에지 맵을 생성하게 된다.

식(1)

여기서, Gred는 레드(Red) 요소의 화소값, Ggreen은 그린(Green) 요소에서의 에지 맵, Gblue는 블루(blue) 요소에서의 에지 맵이다.

그러나, HSV(Hue,Saturation,Value ; 색조, 채도, 밝기) 공간에서, 컬러 영상의 에지는 색조(H), 채도(S), 밝기(V) 중 밝기 요소(V)에 의해서도 검출될 수 있으므로 모든 컬러 요소에 대해서 수행하지 않고, 에지 검출을 밝기 요소(V) 만을 사용하여 수행하는 것도 가능하다.

도2는 종래의 에지를 강조하는 장치의 개략적인 블록도이다.

도2에서, 화상 센서(201)에 의해 촬상된 영상은 베이어 패턴 형태로 라인 메모리(202)에 저장된다. 한편, 실제와 같은 영상을 나타내고자 할 때는 적어도 3가지 이상의 데이터를 필요로 하는데, 이것은 세가지 독립적인 칼라(RGB)의 화소값으로부터 추론할 수 있다. 컬러 영상에 대한 하나의 센서는 센서의 배열로 구성된 CFA(Color Filter Array)를 필요로 한다. 이러한 배열 속에서 센서의 각 화소들은 여러 개의 칼라 중에서 단 하나만의 칼라에 대한 화소값을 추출하게 되고 CFA를 이용하여 각각의 화소에 대한 잃어버린 화소의 정보를 그 주위의 화소에 대한 정보를 이용함으로써 추론할 수 있다. 이러한 방법이 가장 일반적인 방법이며 Bayer 패턴은 가장 일반적인 CFA로 알려져 있다. 즉, CFA 기반의 센서로부터 칼라 영상을 복구하는 것을 보간(interpolation) 또는 디모자이크(demosaicing)라 한다.

라인 메모리(202)에 저장된 영상 정보는 3×3 라인 보간부(203)에서 보간처리되어 RGB 패턴의 영상이 된다.

보간부(203)에서 3×3 라인 보간법에 의해 베이어 패턴으로 저장된 영상 정보를 3×3개의 화소로 구성된 윈도우 단위로 보간을 수행한다고 가정할 경우 베이어 패턴은 다음과 같은 4가지 형태만 존재하므로, 3×3 윈도우는 도3에 도시된 바와 같은 4가지의 경우 중 하나가 된다.

00 : rgrgrg....

gbgbgb....

01 : bgbgbg....

grgrgr....

10 : gbgbgb....

rgrgrg....

11 : grgrgr....

bgbgbg....

보간부(203)에 도3의 (1)과 같은 3×3 라인 베이어 패턴이 제공되었을 때, RGB 값은 다음과 같다.

R = (R1 + R2 + R3 +R4)/4,

G = (G1 + G2 + G3 + G4)/4,

B = B1

(2)와 같은 3×3 라인 베이어 패턴이 제공되는 경우에는,

R = (R1 + R2)/2,

G = G3,

B = (B1 + B2)/2 이 되고,

(3)과 같은 3×3 라인 베이어 패턴이 제공되는 경우에는,

R = (R1 + R2)/2,

G = G3,

B = (B1 + B2)/2 이 되며,

(4)와 같은 3×3 라인 베이어 패턴이 제공되는 경우에는,

R = R1,

G = (G1 + G2 + G3 + G4)/4,

B = (B1 + B2 + B3 + B4)/4 이 된다.

3×3 라인 베이어 패턴의 보간법으로는 위와 같이 주변 픽셀들 전체의 산술 평균을 이용하는 방식 이외에도, 주변 픽셀 들 중 최대 및 최소값을 제외한 나머지 값들의 산술 평균을 구하는 방법 등 여러 가지가 있다. 이와 같은 3×3 라인의 보간법 수행을 위해서는 3개 라인의 데이터를 동시에 영상 처리기로 입력해 주어야 한다.

보간부(203)에서 보간된 RGB 패턴은 YCbCr 또는 YUV 패턴 형성기(204)를 거치고, 메모리(205)에 저장되었다가 에지 강조(206) 과정을 거치게 된다.

하지만 위와 같은 종래 방법을 적용하여 보간 및 에지 강조를 위한 영상 처리 블록을 구현할 경우 프레임(Frame) 단위로 연산이 수행됨으로 인하여 입력 영상과 출력 영상간에 1 프레임만큼의 지연이 발생될 수 있고, 또한 프레임 단위로 연산을 하기 때문에 입력 영상을 임시 저장하기 위한 프레임 버퍼(Frame Buffer)와 에지 맵을 저장하기 위한 별도의 저장 공간이 필요하게 된다.

한편, 전술한 바와 같이 휴대폰용 디지털 카메라와 저화소수의 보급형 디지털 카메라의 경우 화상 센서의 크기, 렌즈 등이 소형이고, 원가절감을 위한 영상처리 IC의 기능 단순화 등으로 촬영한 영상이 선명하지 못한 경우가 많이 있으며, 특히 피사체의 경계가 뭉개져서 보여지는 경우가 있는데 에지 강조 방법을 사용하면 피사체의 경계선을 강조하여 좀더 선명한 영상을 얻을 수 있지만, 종래 기술에 따른 에지 강조 장치는, 도2에 도시된 바와 같이 보간 처리 블록 이외에 에지 강조를 위한 기능 블록이 별도로 요구된다.

일본 특개평 7-107268에는 근해상도 정보를 선형보간 수단에 의해 고해상도 정보에 지협함과 동시에, 에지 정보 작성 수단에 의해 작성된 에지 정보를 선형 보간된 고해상도 정보에 가산함으로써 에지가 샤프한 고해상도 정보를 얻을 수 있는 화상 처리 장치를 개시하고 있다.

그러나, 상기 문헌에 개시된 화상 처리 장치 역시 보간 처리 이후에 별도의 에지 강조 처리 과정을 수행하는 장치로서 전술한 바와 같이 보간 처리 블록 이외에 기능 블록이 별도로 요구되며, 휴대폰용 디지털 카메라나 보급형 디지털 카메라 내 영상 처리 장치에 사용되기에는 적절치 못하다.

휴대폰용 디지털 카메라나 보급형 디지털 카메라 내 영상처리 IC의 크기나 단가에 큰 부담없이 적용할 수 있기 위해서는, 별도의 기능 블록 없이 보간(Interpolation) 처리를 수행하면서 에지 강조를 동시에 수행할 수 있는 방법이 요구된다.

본 발명의 목적은 간단한 회로의 추가로 에지를 강조하여 전체 IC 크기의 큰 증가없이 선명한 영상을 얻을 수 있는 에지 강조 장치 및 방법을 제공하는 것이다.

본 발명의 또다른 목적은, 에지 강조를 별도의 블록으로 구성할 경우 필요한 라인메모리 및 에지 맵 등을 저장하기 위한 별도의 저장공간 없이도 에지 강조가 가능한 에지 강조 장치 및 방법을 제공하는 것이다.

본 발명의 또다른 목적은, 보간과 에지 강조를 별도의 회로로 구성할 경우 발생되는 최대 1프레임의 출력 지연없이, 3×3 보간과 에지 강조를 동시에 수행함으로써 수 클럭의 지연만으로도 출력이 가능한 에지 강조 장치 및 방법을 제공하는 것이다.

본 발명에 따른 에지 강조 장치는, 이미지를 촬상하는 이미지 센서; 상기 이미지 센서가 촬상한 이미지 데이터를 수신하여 출력하는 라인 버퍼; 상기 라인 버퍼로부터 출력되는 이미지 데이터를 저장하는 레지스터; 상기 레지스터에 저장된 이미지 데이터를 수신하여 보간을 수행하고, 상기 레지스터에 저장된 이미지 데이터의 패턴을 표시하는 선택 신호를 출력하는 보간부; 상기 보간부로부터의 선택 신호에 따라 상기 레지스터에 저장된 이미지 데이터를 수신하여 상기 보간부의 보간 수행과 병렬로 에지 검출값을 산출하는 에지 검출부; 및 상기 에지 검출부에서 검출한 에지 검출값에 의해 상기 보간부의 출력을 강조하는 에지 강조부를 포함하는 것을 특징으로 한다.

본 발명에 따른 에지 강조 방법은, 이미지를 촬상하는 단계; 라인 버퍼가 상기 이미지 센서가 촬상한 이미지 데이터를 수신하여 출력하는 단계; 상기 라인 버퍼로부터 출력되는 이미지 데이터를 레지스터에 저장하는 단계; 상기 레지스터에 저장된 이미지 데이터를 수신하여 보간을 수행하고, 상기 레지스터에 저장된 이미지 데이터의 패턴을 표시하는 선택 신호를 출력하는 단계; 상기 보간 수행과 병렬로 상기 레지스터에 저장된 이미지 데이터를 수신하여 에지 검출부에서 에지 검출값(X)을 산출하는 단계; 및 상기 에지 검출부에 의해 검출된 에지 검출값(X)에 의해 에지를 강조하는 단계를 포함하는 것을 특징으로 한다.

종래 기술에서 언급하였듯이 에지를 검출하는 방법 및 강조하는 방법에는 여러 가지가 있다. 본 발명에 따른 에지 강조 장치 및 방법에서는 가장 간단한 방법으로서 영상 데이터 중 밝기 성분으로부터 에지를 검출하여 강조하는 방법을 사용한다. 대부분의 에지가 밝기 성분에서 검출된 에지에서도 나타나므로 밝기 성분에 의해 에지를 검출하여 강조할 수 있다.

밝기 성분은 YCbCr(혹은 YUV) 형식에서 Y에 해당하는 것으로 다음과 같은 CCIR-601 YCbCr 컬러 공간(Color Space) 변환 공식에 따르면 Y에 대한 식을 보면 R의 계수가 77, G의 계수가 150, B의 계수가 29로서, R, G, B 세 가지 색 성분 중 G성분이 Y에 가장 큰 영향을 미치는 것을 알 수 있고 때문에 밝기 성분으로 에지를 검출, 강조할 경우 YCbCr의 Y 성분을 직접 사용하거나 RGB 컬러 공간에서의 G 성분을 사용할 수 있다.

< CCIR-601 YCbCr 컬러 공간 변환 공식 >

Y = (77R + 150G + 29B) / 256 Range : 16 ~ 235

Cb = (-44R - 87G + 131B) / 256 + 128 Range : 16 ~ 240

Cr = (131R - 110G - 21B) / 256 + 128 Range : 16 ~ 240

밝기 성분에 의해 에지를 검출하는 방법에서 화상 센서가 영상 처리기를 내장하고 있어 보간 처리 과정을 거친 RGB 데이터 즉, YUV 데이터를 출력하는 경우에는 각 화소의 밝기 성분인 Y값을 이용하여 에지를 검출하는 것이 바람직하지만, RGB 데이터만 출력하는 센서 즉 영상 처리기를 내장하지 않은 센서에서 Y값을 이용하려면 RGB 포맷을 YCbCr 또는 YUV 포맷으로 변환하는 과정이 필요하며 따라서, 이 경우에는 에지를 검출하는 과정에 사용되어야 할 저장공간이 추가로 필요하게 된다.

본 발명에 따른 에지 강조 장치 및 방법에서는 휴대폰 등의 모바일 기기에 장착되는 카메라 등의 소형 영상 기기에 보간과 에지 강조를 적용하기 위해서 최대한 간단한 구조로 수행이 되도록 구현하고자 하는 것이 목적이므로 앞에서 언급한 바와 같이 밝기에 가장 큰 영향을 미치는 G 성분에 의해 에지를 검출, 강조하는 방법을 사용한다.

본 발명에 따른 에지 강조 장치 및 방법에서 사용될 에지를 검출하는 방법은 1개 프레임의 영상에 3×3 윈도우를 사용하여 3×3 윈도우의 중심화소 G값과 가장자리 화소의 G값을 비교하고 그 차이로부터 에지를 검출한다.

도3에 도시된 바와 같은 4가지 베이어 패턴의 3×3 윈도우에 대하여 중심화소의 G값과 주변 G값들의 크기를 비교하여 차이가 큰 부분을 에지로 인식하고 강조하게 된다.

본 발명에 따른 에지 강조 장치 및 방법에서는 보간 작업과 동시에 에지를 검출하고자 하는 것으로서, 에지 강조 대상이 되는 영상 데이터는 아직 보간이 수행되지 않았으므로 아직 각 화소에 R,G,B 중 하나의 색 정보만이 베이어 패턴 형태로 존재하므로 중심화소와 그 주변 화소 4곳의 G값만을 비교한다.

도3의 (1)과 (4)에서는 중심 화소에 G값이 아닌 B 또는 R값이 존재한다. G값은 이 값들을 기반으로 보간의 결과로 생성되는 데이터이기 때문에 실제 화상센서가 읽어 들이는 값이 아닌 가공된 데이터이다. 따라서 도3의 (1)과 (4)의 경우에는 에지를 계산하지 않는다.

도3의 (2)와 (3)의 경우에는 중심 화소(G₃)의 G값에 4배를 한 값에서 주변 화소의 4개의 G의 합(G₁ + G₂ + G₄ + G₅)를 감산하여 에지 검출값(X)을 산출한다. 즉, 에지 검출값(X)은 다음 식(2)에 의해 계산된다.

에지 검출값(X) = 4G₃ - (G₁ + G₂ + G₄ + G₅) (식2)

여기에서 중심 화소(G₃)의 G값에 4배를 하는 이유는 비교하고자 하는 주변의 G들이 네 개이기 때문이다. 만일 이 3×3 윈도우로 둘러 싼 부분에 에지가 존재하지 않는다고 하면 이 윈도우내의 모든 G값들은 거의 비슷한 값을 출력하게 될 것이고 위의 방법대로 중심 G값에 4배를 하고 주변의 G값들의 합을 감산한 결과는 거의 0에 근접 즉, 에지 검출값(X)≒0이 될 것이다. 이와 반대로 윈도우에 에지가 존재하는 경우에는 밝기의 차이에 의하여 주변 4개의 G값 중 일부는 다른 값들과 차이가 많이 날 것이며 연산 결과의 절대값은 큰 값을 가지게 되어 이로써 에지를 구분할 수 있게 된다.

애초의 목적이 최대한 간단하게 에지 강조를 구현하고자 하는 것이며 실제의 에지 위치보다 한 화소 옆에서 에지를 검출, 강조한다고 하더라도 결과영상에서의 효과는 확대/축소를 하지 않은 상태에서 큰 차이가 없기 때문에 적용이 가능하다.

이 경우에 적절한 임계값을 설정하여 에지 검출값(X)가 임계값 이상이면 에지가 있는 것으로 판단하고, 임계값 이하이면 에지가 없는 것으로 판단하면 된다.

본 발명에 따른 에지 강조 장치 및 방법에서는 에지 강조 처리시 3×3 보간 동작을 수행하는데 요구되는 라인메모리를 공유함으로써 별도의 저장공간 추가없이 에지 검출 및 강조를 구현할 수 있다.

도4에는 본 발명에 따른 에지 강조 장치를 구현한 회로도가 도시되어 있다. 이하 도4를 참조하여 본 발명에 따른 에지 강조 장치의 동작을 보다 상세히 설명한다.

도4의 회로를 살펴보면 이미지 센서(415)에서 촬상되어 다수의 화소 라인들로 구성된 프레임 단위의 이미지를 구성하는 화상 데이터가 라인 버퍼(401)에 전달된다. 라인 버퍼(401)는 입력되는 화상 데이터를 일시적으로 저장하고, 이를 3×3 라인 보간 수행을 위해 3라인 단위로 출력하고, 이는 레지스터(402)를 통해 보간부(403)로 입력된다.

레지스터(402)는 가장 좌측에서 라인 버퍼(401)의 출력을 수신하여 매 클럭마다 우측으로 데이터를 시프트시킨다. 결과적으로 레지스터(402)가 3×3 윈도우에 대응하는 화상 데이터를 저장하고 매 클럭마다 3×3 윈도우가 이동하는 효과를 나타내게 된다. 3×3 윈도우는 매 클럭 마다 우측으로 이동되어 보간부(403)에 입력된다.

보간부(403)에서는 상기 레지스터(402)에 저장된 세 라인의 9개 화소에 대한 화상 데이터를 전달 받아 전술한 바와 같은 3×3 라인 보간을 수행하게 된다.

RGB to YCbCr 변환부(404)에서는 보간부(403)에서 보간 처리된 RGB 화상 데이터를 YCbCr 또는 YUV 타입 데이터로 변환하여, 이후의 디스플레이 장치 또는 저장 장치로 출력한다.

도4의 하단의 부가적인 회로들(405,406,407,409)에서는 에지 검출 및 강조 기능을 담당한다.

콘트롤 블록(405)은 보간부(403)에 패턴에 대한 정보를 나타내는 패턴 신호를 전달한다. 패턴(pattern) 신호는 이미지 센서(415)가 출력하는 베이어 패턴의 형태를 보간부(403)에 알려준다.

이미지 센서(415) 내에 영상 처리기를 내장하지 않는 화상 센서의 경우에 레지스터(402)에서 보간부(403)로 전달되는 신호는 베이어 패턴이다. 이 경우 베이어 패턴은 예컨대 다음과 같은 형태 중 하나가 된다.

00 : rgrgrg....

gbgbgb....

01 : bgbgbg....

grgrgr....

10 : gbgbgb....

rgrgrg....

11 : grgrgr....

bgbgbg....

즉, 콘트롤 블록(405)은 위와 같은 패턴 신호를 통해 보간부(403)에 현재 전달되고 있는 베이어 패턴이 위의 4가지 중 어떤 것인지를 알려준다.

레지스터(402)에 저장된 3×3 윈도우를 구성하는 화소중 중심 화소에 G값이 위치할 경우 그 값에 4를 곱하고 주변 4개 G값의 합을 감산한 뒤 이를 비교 블록(407)에서 콘트롤 블록(405)에 의해 미리 설정된 임계값(CV)와 비교하여 임계값보다 클 경우에는 에지 검출값(X)에 a배를 하여 이를 보간부(403)의 출력 Gout에 합산함으로써 그 부분을 강조하게 되고 에지가 존재하지 않을 경우에는 보간부(403)의 출력 G_out이 그대로 다음 블록으로 출력된다.

레지스터(402)에 저장된 3×3 윈도우를 구성하는 화소중 중심 화소에 G값이 위치하지 않는 경우에는 에지 검출부의 에지 검출값(X)이 보간부(403)에 전달되지 않는다.

도4에 도시된 회로의 보간 및 에지 강조 동작을 보다 상세히 살펴보면, 보간부(403)는 콘트롤 블록(405)으로부터의 패턴 신호를 수신하여 이로부터 현재 보간부(403)로 입력되고 있는 베이어 패턴을 확인한다.

보간부(403)는 입력되는 패턴의 윈도우가 도3의 (1) 또는 (4)와 같이 중심에 G값이 아닌 B 또는 R값이 존재하는 경우에는 에지 검출부(406)에 0의 값을 갖는 선택신호를 전송하여 에지 검출부(406)가 동작하지 않도록 하고, 입력되는 패턴의 윈도우가 도3의 (2) 또는 (3)과 같이 중심에 G값을 갖는 경우에는 에지 검출부(406)의 AND 게이트(414)의 입력으로 1을 입력하여 에지 검출부의 출력이 비교 블록(407)로 전달되도록 한다.

에지 검출부(402)에서는 에지를 검출하기 위해 레지스터(402)에 저장된 3×3윈도우의 중심에 위치한 G값인 G_c 및 가장자리에 위치한 화소의 G₁, G₂, G₃ 및 G₄에 대한 연산이 이루어진다. 에지 검출값(X)은 다음 식에 의해 계산된다.

에지 검출값(X) = 4G_c - (G₁ + G₂ + G₃ + G₄)

에지 검출부(406)에서의 연산 과정을 살펴보면, 합산기(410)는 G₁과 G₃를 합산하여 G₁+G₃로 출력하고, 곱셈기(411)는 G_c에 4를 곱하여 4G_c를 출력하며, 합산기(413)는 G₂와 G₄를 합산하여 G₂+G₄를 출력한다. 합산기(412)는 상기 합산기(410)의 출력인 G₁+G₃, 곱셈기(411)의 출력인 4G_c 및 합산기(413)의 출력인 G₂+G₄를 합산하여 에지 검출값(X) = 4G_c - (G₁ + G₂ + G₃ + G₄)을 산출하여 출력한다.

전술한 바와 같이, 영상 데이터 중 레지스터(402)에 저장된 3×3 윈도우로 해당하는 부분에 에지가 존재하지 않는 경우에는 이 윈도우를 구성하는 화소 내의 모든 G값들은 거의 비슷한 값을 갖게 될 것이고 위의 방법대로 중심의 G_c 값에 4배를 하고 주변의 G값들의 합을 감산한 결과는 거의 0에 근접할 것이다. 즉, 에지 검출값(X) ≒0이 된다. 이와 반대로 윈도우에 에지가 존재하는 경우에는 밝기의 차이에 의하여 가장자리 화소에 존재하는 G값 중 일부는 다른 값들과 차이가 많이 날 것이며 연산 결과의 절대값은 큰 값을 가지게 되어 결과적으로 에지 검출값(X)의 크기는 달라지게 된다.

합산기(412)로부터 출력된 에지 검출값(X)은 보간부(403)로부터의 출력인 선택 신호와 함께 AND 게이트(414)에 입력되어 AND 연산된다. 보간부(403)는 콘트롤 블록(405)으로부터의 패턴 신호를 통해 베이어 패턴을 확인하여, 레지스터(402)에 현재 저장되어 있는 3×3 윈도우의 중심에 G값이 아닌 R 또는 B값이 존재하는 경우에는 선택신호로서 0을 전달하고, 레지스터(402)에 현재 저장되어 있는 3×3 윈도우의 중심에 G값이 존재하는 경우에는 선택신호로서 1을 전달한다.

선택신호가 0인 경우 즉, 디스에이블된 경우는 레지스터에 현재 저장되어 있는 화소 윈도우의 중심에 G값이 아닌 R 또는 B값이 존재하는 경우를 나타내는 것으로서 에지 검출값(X)이 합산기(408)로 전달되지 않고, 선택신호가 1인 경우, 즉 인에이블된 경우는, 레지스터에 현재 저장되어 있는 화소 윈도우의 중심에 G값이 존재하는 경우를 나타내는 것으로서 그 에지 검출값(X)이 합산기(408)로 전달된다.

에지 검출값(X)은 합산기(408)에 의해 보간부(403)의 출력 중 Gout와 합산되어 Gout를 강조하게 된다. 결과적으로 보간부(403)에 의해 보간된 후 에지가 존재하는 경우, 강조되어 RGB to YCbCr 변환기(404)로 전달되는 G'는

G' = G_out + X

가 된다.

도5에는 본 발명에 일 실시예에 따른 에지 강조 장치를 구현한 회로도가 도시되어 있다. 도5의 회로는 콘트롤 블록에서 에지 검출값에 대한 소정의 임계값(CV)을 설정하고 에지 검출부(406)에서 검출한 에지 검출값(X)이 소정의 임계값을 넘는 경우에만 선택적으로 에지를 강조하게 된다.

도5의 회로는 콘트롤 블록(505)가 소정의 임계값(CV)을 설정하고, 에지 검출값을 임계값과 비교하여 비교블록(507) 및 곱셈기(509)를 갖는다는 점을 제외하고는 도4의 회로와 동일하다.

에지 검출부(506)의 합산기(512)로부터 출력된 에지 검출값(X)은 보간부(503)로부터의 출력인 선택 신호와 함께 AND 게이트(514)에 입력되어 AND 연산된다. 보간부(503)는 콘트롤 블록(505)으로부터의 패턴 신호를 통해 베이어 패턴을 확인하여, 레지스터(502)에 현재 저장되어 있는 3×3 윈도우의 중심에 G값이 아닌 R 또는 B값이 존재하는 경우에는 선택신호로서 0을 전달하고, 레지스터(502)에 현재 저장되어 있는 3×3 윈도우의 중심에 G값이 존재하는 경우에는 선택신호로서 1을 전달한다.

선택신호가 0인 경우 즉, 레지스터에 현재 저장되어 있는 화소 윈도우의 중심에 G값이 아닌 R 또는 B값이 존재하는 경우에는 비교 블록(507) 및 곱셈기(509)로 전달되지 않고, 선택신호가 1인 경우, 즉 레지스터에 현재 저장되어 있는 화소 윈도우의 중심에 G값이 존재하는 경우에는 그 에지 검출값(X)이 비교 블록(507) 및 곱셈기(509)로 전달되고, 비교 블록(507)은 이 에지 검출값(X)과 콘트롤 블록(505)으로부터의 특정의 임계값(CV)을 비교함으로써 에지의 존재 유무를 판단하게 된다.

콘트롤 블록(505)에서 출력된는 임계값(CV)은 에지를 강조하고자 하는 정도에 따라 조정할 수 있는데, 임계값(CV)을 낮게 설정하면 영상이 조금만 변화하는 부분, 즉 경계가 흐릿한 부분도 강조하게 되고, 임계값(CV)을 높게 설정하면 영상이 크게 변화하는 부분, 즉 경계가 뚜렷하게 강조하게 된다. 영상의 종류 및 용도에 따라 에지 강조의 필요성이 달라질 것이며, 에지 강조의 필요성에 따라 임계값(CV)을 적절히 설정하여야 한다.

8비트 영상 프레임의 경우 G값은 0 내지 255의 값을 가지며, 통상적으로 임계값(CV)을 64 정도로 설정하여 에지 검출값(X)이 그 이상인 경우를 에지가 존재하고, 그 이하인 경우는 에지가 존재하지 않는 것으로 판단하는 것이 바람직하다.

비교 블록(507)은 에지 검출값(X)과 임계값(CV)을 비교한 결과 에지가 존재하는 경우는 가중치 a를 출력한다. 출력된 a는 곱셈기(509)에서 에지 검출값(X)과 곱해져 a·X가 되고, 이것은 보간부(503)의 출력 중 Gout와 합산기(508)에 의해 합산되어 G_out를 강조하게 된다. 결과적으로 보간부(503)에 의해 보간된 후 에지가 존재하는 경우, 강조되어 RGB to YCbCr 변환기(504)로 전달되는 G'는

G' = Gout + a·X

가 된다.

위 식으로부터 알 수 있는 바와 같이 보간부(503)의 출력 Gout은 가중치 a값의 크기에 따라 강조되는 정도가 달라지게 된다. 가중치 a값의 범위는 너무 크게 되면 에지 강조가 지나치게 되어 영상의 에지가 뭉개져 보일 수 있다. a는 0 < a < 1 범위의 값이 바람직하다.

비교 블록(507)이 에지 검출값(X)과 임계값(CV)을 비교한 결과 에지가 존재하지 않는 경우에는 0을 출력하고 곱셈기(509)에서 에지 검출값(X)과 곱함으로써 에지 검출값(X)은 상쇄된다. 따라서, 에지 보간부(503)로부터의 출력 G_out은 강조되지 않고 그대로 RGB to YCbCr 변환기(504)로 전달 된다. 즉,

G' = G_out

이 된다.

전술한 설명으로부터 알 수 있듯이 3×3 보간을 수행하는 보간부(503)에 3라인의 화상 데이터를 제공하기 위한 레지스터(502)를 에지 검출 및 강조 기능을 담당하는 하단의 부가적인 회로들(505,506,507,509)이 공동으로 사용하기 때문에 별도의 저장공간이 필요치 않고 또한 부가적인 회로도 부담이 안되는 수준으로서 전체 IC 면적에 크게 영향을 미치지 않는다.

본 발명에 따른 에지 검출 및 강조 장치에 따르면, 간단한 회로의 추가로 에지를 강조하여 전체 IC 크기의 큰 증가없이 선명한 영상을 얻을 수 있다.

또한, 본 발명에 따른 에지 검출 및 강조 장치에 따르면, 에지 강조를 별도의 블록으로 구성할 경우 필요한 라인메모리 및 에지 맵 등을 저장하기 위한 별도의 저장공간이 필요하지 않게 된다.

또한, 본 발명에 따른 에지 검출 및 강조 장치에 따르면, 별도로 구성할 경우 최대 1프레임의 출력 지연이 발생할 가능성이 존재하지만 3×3 보간과 에지 강조를 동시에 수행함으로써 클럭의 지연없이 출력이 가능하다.

도2는 밝기 요소에 대해서만 에지 검출을 사용하는 방법을 나타낸다.

도3은 베이어 패턴이 3×3 라인 보간법에 의해 보간되는 경우 구성될 수 있는 4가지 경우의 3×3 윈도우를 나타낸다.

도4는 본 발명에 따른 에지 강조 장치를 구현한 회로도이다.

도5는 본 발명의 일 실시예에 따른 에지 강조 장치를 구현한 회로도이다.

※ 도면의 주요 부분에 대한 설명

401 : 라인 버퍼 402 : 레지스터

403 : 보간부 404 : RGB to YCbCr 변환부

405 : 콘트롤 블록 406 : 에지 검출부

407 : 비교 블록 415 : 이미지 센서

Claims

이미지를 촬상하는 이미지 센서;

상기 이미지 센서가 촬상한 이미지 데이터를 수신하여 출력하는 라인 버퍼;

상기 라인 버퍼로부터 출력되는 이미지 데이터를 저장하는 레지스터;

상기 레지스터에 저장된 이미지 데이터를 수신하여 보간을 수행하고, 상기 레지스터에 저장된 이미지 데이터의 패턴을 표시하는 선택 신호를 출력하는 보간부;

상기 보간부로부터의 선택 신호에 따라 상기 레지스터에 저장된 이미지 데이터를 수신하여 상기 보간부의 보간 수행과 병렬로 에지 검출값을 산출하는 에지 검출부; 및

상기 에지 검출부에서 검출한 에지 검출값에 의해 상기 보간부의 출력을 강조하는 에지 강조부를 포함하는 것을 특징으로 하는 에지 강조 장치.
제1항에 있어서,

상기 에지 검출부는 상기 보간부로부터의 선택 신호가 인에이블인 경우에만 에지 검출값을 산출하는 것을 특징으로 하는 에지 강조 장치.
제1항에 있어서,

상기 에지 검출부에 의해 산출된 에지 검출값과 소정의 임계값(CV)을 비교하는 비교 블록을 더 포함하고, 상기 에지 강조부는 상기 에지 검출부에 의해 검출된 에지 검출값이 소정의 임계값을 초과하는 경우에만 상기 보간부의 출력을 강조하는 것을 특징으로 하는 에지 강조 장치.
제3항에 있어서,

상기 레지스터에 저장되어 있는 이미지 데이터에 대한 패턴 정보 신호를 출력하고, 상기 임계값(CV)을 설정하여 비교 블록에 제공하는 콘트롤 블록을 더 포함하는 것을 특징으로 하는 에지 강조 장치.
제1항에 있어서,

상기 라인 버퍼는 상기 이미지 센서가 촬상한 이미지를 수신하여 3라인 단위로 출력하는 것을 특징으로 하는 에지 강조 장치.
제1항에 있어서,

상기 레지스터에는 상기 이미지 데이터는 상기 3×3개의 화소로 구성된 윈도우 단위로 저장되는 것을 특징으로 하는 에지 강조 장치.
제1항에 있어서,

상기 에지 검출부는 상기 레지스터에 저장된 이미지 데이터의 각 화소의 G값을 수신하여, 상기 3×3개의 화소로 구성된 윈도우의 중심 화소의 G값을 G_c, 가장자리에 속하는 화소들의 G값을 각각 G₁, G₂, G₃, G₄라 할때, 다음 식

X = 4G_c - (G₁ + G₂ + G₃ + G₄)

에 의해 에지 검출값(X)을 산출하는 것을 특징으로 하는 에지 강조 장치.
제1항에 있어서,

상기 비교 블록은 상기 임계값(CV)과 상기 에지 검출부에서 산출된 에지 검출값(X)을 비교하여 상기 에지 검출값(X)이 상기 임계값(CV)을 초과하는 경우에는 상기 에지 검출값(X)에 가중치(a)를 곱한 a·X를 출력하고, 상기 에지 검출값(X)이 상기 임계값(CV) 이하인 경우에는 0을 출력하는 것을 특징으로 하는 에지 강조 장치.
제1항에 있어서,

상기 보간부의 출력은 R,G,B값을 포함하고, 상기 에지 강조부는 상기 보간부로부터의 출력 중 G값에 상기 비교 블록으로부터의 출력을 합산하는 합산기를 포함하는 것을 특징으로 하는 에지 강조 장치.
이미지를 촬상하는 단계;

라인 버퍼가 상기 이미지 센서가 촬상한 이미지 데이터를 수신하여 출력하는 단계;

상기 라인 버퍼로부터 출력되는 이미지 데이터를 레지스터에 저장하는 단계;

상기 레지스터에 저장된 이미지 데이터를 수신하여 보간을 수행하고, 상기 레지스터에 저장된 이미지 데이터의 패턴을 표시하는 선택 신호를 출력하는 단계;

상기 보간 수행과 병렬로 상기 레지스터에 저장된 이미지 데이터를 수신하여 에지 검출부에서 에지 검출값(X)을 산출하는 단계; 및

상기 에지 검출부에 의해 검출된 에지 검출값(X)에 의해 에지를 강조하는 단계를 포함하는 것을 특징으로 하는 에지 강조 방법.
제10항에 있어서,

상기 에지를 강조하는 단계는,

상기 산출된 에지 검출값(X)을 상기 보간부의 출력에 합산하는 단계를 포함하는 것을 특징으로 하는 에지 강조 방법.
제10항에 있어서

상기 에지를 강조하는 단계는,

상기 에지 검출값(X)에 대한 소정의 임계값(CV)을 설정하는 단계; 및

상기 에지 검출부에 의해 검출된 에지 검출값(X)과 상기 소정의 임계값(CV)을 비교하는 단계;

상기 에지 검출값이 상기 임계값(CV)을 초과하는 경우에는 가중치(a)×에지 검출값(X)을 출력하는 단계;

상기 에지 검출값(X)이 상기 임계값(CV) 이하인 경우에는 0을 출력하는 단계; 및

상기 산출된 가중치(a)×에지 검출값(X) 또는 0을 상기 보간부의 출력에 합산하는 단계를 포함하는 것을 특징으로 하는 에지 강조 방법.
제11항에 있어서,

상기 에지를 강조하는 단계는,

상기 임계값(CV)과 상기 에지 검출부에서 산출된 에지 검출값(X)을 비교하여 상기 에지 검출값(X)이 상기 임계값(CV)을 초과하는 경우에는 가중치(a)×에지 검출값(X)을 출력하고, 상기 에지 검출값(X)이 상기 임계값(CV) 이하인 경우에는 0을 출력하는 단계; 및

상기 산출된 가중치(a)×에지 검출값(X) 또는 0을 상기 보간부의 출력에 합산하는 단계를 포함하는 것을 특징으로 하는 에지 강조 방법.
제10항에 있어서,

상기 라인 버퍼가 상기 이미지 데이터를 출력하는 단계는 3개의 라인 단위로 출력하는 것을 특징으로 하는 에지 강조 방법.
제10항에 있어서,

상기 라인 버퍼로부터의 이미지 데이터를 상기 레지스터에 저장하는 단계는 3×3개의 화소 윈도우 단위로 저장되는 것을 특징으로 하는 에지 강조 방법.
제10항에 있어서,

상기 이미지 데이터를 수신하여 보간을 수행하는 단계는 상기 레지스터에 저장된 이미지 데이터의 패턴을 표시하는 선택 신호를 출력하는 단계를 더 포함하는 것을 특징으로 하는 에지 강조 방법.
제10항에 있어서,

상기 에지 검출값(X)을 산출하는 단계는 상기 선택 신호가 인에이블인 경우에만 수행되는 것을 특징으로 하는 에지 강조 방법.