KR100688757B1 - 이미지 데이터의 에지 강조 장치 및 방법 - Google Patents

Abstract

본 발명은 휘도를 이용한 에지 강조 장치 및 방법에 관한 것이다. 보다 구체적으로는, 종래의 에지 강조 장치 또는 방법과 달리 휘도신호와 색차신호를 분리하여 휘도신호를 샘플링 또는 업샘플링하고 이를 휘도신호에 합산함으로써 에지를 강조하는 휘도를 이용한 에지 강조 장치 및 방법에 관한 것이다.

YCbCr, RGB, 휘도, 색차신호, 업샘플링 필터, 블러링

Description

이미지 데이터의 에지 강조 장치 및 방법{An apparatus and method for the edge enhancement of image data}

도1a는 종래 기술에 따른 유사 연산자 방법을 설명하기 위한 도면.

도1b는 종래 기술에 따른 차연산자 방법을 설명하기 위한 도면.

도2는 종래의 에지를 강조하는 장치의 구성도.

도3은 본 발명에 따른 휘도를 이용한 에지 강조 시스템의 구성도.

도4는 본 발명에 따른 5·11 필터의 회로도.

도5는 본 발명에 따른 휘도를 이용한 에지 강조 시스템의 순서도.

※ 도면의 주요 부분에 대한 설명 ※

300 : 이미지 데이터 수신부

310 : 휘도신호 처리부

320 : 색차신호 처리부

330 : 에지 강조부

340 : YCbCr 결합부

350 : 출력부

본 발명은 휘도를 이용한 에지 강조 장치 및 방법에 관한 것이다.

보다 구체적으로는, 종래의 에지 강조 장치 또는 방법과 달리 휘도신호와 색차신호를 분리하여 휘도신호를 샘플링 또는 업샘플링하고 이를 휘도신호에 합산함으로써 에지를 강조하는 휘도를 이용한 에지 강조 장치 및 방법에 관한 것이다.

휴대폰용 디지털 카메라와 저화소수의 보급형 디지털 카메라의 경우 화상 센서의 크기, 렌즈 등이 소형이고, 원가절감을 위한 영상처리 IC의 기능 단순화 등으로 촬영한 영상이 선명하지 못한 경우가 많이 있다. 특히 피사체의 경계가 뭉개져서 보여지는 경우가 있는데 이를 해결하기 위한 방법으로 에지 강조(Edge Enhancement) 방법을 사용한다. 이 방법을 사용하면 피사체의 경계선을 강조하여 좀더 선명한 영상을 얻을 수 있다.

영상의 에지는 그 영상의 많은 정보를 가지고 있다. 영상의 에지는 물체의 위치, 모양, 크기 등이 변경되는 경계선을 의미하는 것으로서 이 에지는 영상의 밝기가 낮은 곳에서 높은 곳으로 또는 높은 곳에서 낮은 값으로 변하는 지점에 존재한다.

전술한 바와 같이, 저화소수의 보급형 디지털 카메라 등의 경우 선명한 영상을 얻기 위해 에지 강조 방법을 사용하게 되는데, 에지를 강조하기 위한 방법은 여러 가지가 있으나 우선 다양한 방법에 의해 에지를 검출하고 검출된 출력을 원래 영상과 더하여 강조하는 방법이 주로 사용된다.

우선 에지를 검출하는 방법은 입력되는 영상의 종류나 형태에 따라서 효과적인 방법이 여러 가지가 있지만 가장 단순하고 빠른 에지 검출 방법은 중심 화소와 주변 화소들의 화소 데이터 값을 계산하여 최대값을 결정하는 것이다. 이러한 방법에는 유사연산자(Homogeneity Operator) 방법과 차연산자(Difference Operator) 방법이 있다.

도1a 및 도1b는 각각 유사 연산자 방법과 차연산자 방법을 설명하기 위한 도면이다.

도1a에 도시된 바와 같이, 유사연산자 방법에서는 3×3 개의 화소로 구성된 윈도우에서 중심 화소의 화소값으로부터 가장 자리의 8개 화소들 각각의 화소값을 감산하여 그 차이를 구하고, 출력은 각 차이의 절대값 중에서 가장 큰 값으로 한다. 유사연산자 방법에서는 중심 화소와 주변의 8개 화소 각각에 대해 감산을 행하게 되므로 총 8번의 연산이 요구된다.

도1b에 도시된 바와 같이, 차연산자 방법에서는 ① 왼쪽 상단의 화소값과 오른쪽 하단의 화소값의 차, ② 중간의 맨 위의 화소값과 중간 맨 아래쪽에 있는 화소값, ③ 오른쪽 상단의 화소값과 왼쪽 하단의 화소값, 그리고 ④ 중간 오른쪽 화소의 화소값과 중간 왼쪽 화소의 화소값에 대하여 이루어진다. 차연산자 방법에서는 화소당 4개의 감산이 필요하므로 유사연산자 방법과 비교하여 좀더 빠른 연산을 수행한다.

위에서 설명한 유사 연산자 및 차연산자 방법은 밝기 요소만 존재하는 흑백 영상의 경우에 대한 것이다.

흑백이 아닌 컬러 영상에서의 에지 검출 방법도 여러 가지가 존재하지만 일반적인 경우에 RGB 공간에서는 R,G,B의 각 컬러 요소들의 화소값들에 대하여 연산을 수행하고 그 결과를 다음의 식(1)에 의하여 그레이 스케일 에지 맵을 생성하게 된다.

식(1)

여기서, Gred는 레드(Red) 요소의 화소값, Ggreen은 그린(Green) 요소에서의 에지 맵, Gblue는 블루(blue) 요소에서의 에지 맵이다.

그러나, HSV(Hue,Saturation,Value ; 색조, 채도, 밝기) 공간에서, 컬러 영상의 에지는 색조(H), 채도(S), 밝기(V) 중 밝기 요소(V)에 의해서도 검출될 수 있으므로 모든 컬러 요소에 대해서 수행하지 않고, 에지 검출을 밝기 요소(V) 만을 사용하여 수행하는 것도 가능하다.

도2는 종래의 에지를 강조하는 장치의 개략적인 블록도이다.

도2에서, 화상 센서(201)에 의해 촬상된 영상은 베이어 패턴 형태로 라인 메모리(202)에 저장된다. 한편, 실제와 같은 영상을 나타내고자 할 때는 적어도 3가지 이상의 데이터를 필요로 하는데, 이것은 세가지 독립적인 칼라(RGB)의 화소값으로부터 추론할 수 있다. 컬러 영상에 대한 하나의 센서는 센서의 배열로 구성된 CFA(Color Filter Array)를 필요로 한다. 이러한 배열 속에서 센서의 각 화소들은 여러 개의 칼라 중에서 단 하나만의 칼라에 대한 화소값을 추출하게 되고 CFA를 이용하여 각각의 화소에 대한 잃어버린 화소의 정보를 그 주위의 화소에 대한 정보를 이용함으로써 추론할 수 있다. 이러한 방법이 가장 일반적인 방법이며 Bayer 패턴은 가장 일반적인 CFA로 알려져 있다. 즉, CFA 기반의 센서로부터 칼라 영상을 복구하는 것을 보간(interpolation) 또는 디모자이크(demosaicing)라 한다.

라인 메모리(202)에 저장된 영상 정보는 3×3 라인 보간부(203)에서 보간처리되어 RGB 패턴의 영상이 된다.

보간부(203)에서 3×3 라인 보간법에 의해 베이어 패턴으로 저장된 영상 정보를 3×3개의 화소로 구성된 윈도우 단위로 보간을 수행한다고 가정할 경우 베이어 패턴은 다음과 같은 4가지 형태만 존재하므로, 3×3 윈도우는 도3에 도시된 바와 같은 4가지의 경우 중 하나가 된다.

00 : rgrgrg....

gbgbgb....

01 : bgbgbg....

grgrgr....

10 : gbgbgb....

rgrgrg....

11 : grgrgr....

bgbgbg....

3×3 라인 베이어 패턴의 보간법으로는 주변 픽셀들 전체의 산술 평균을 이용하는 방식 이외에도, 주변 픽셀 들 중 최대 및 최소값을 제외한 나머지 값들의 산술 평균을 구하는 방법 등 여러 가지가 있다. 이와 같은 3×3 라인의 보간법 수행을 위해서는 3개 라인의 데이터를 동시에 영상 처리기로 입력해 주어야 한다.

보간부(203)에서 보간된 RGB 패턴은 YCbCr 데이터 형성기(204)를 거치고, 메모리(205)에 저장되었다가 에지 강조(206) 과정을 거치게 된다.

하지만 위와 같은 종래 방법을 적용하여 보간 및 에지 강조를 위한 영상 처리 블록을 구현할 경우 프레임(Frame) 단위로 연산이 수행됨으로 인하여 입력 영상과 출력 영상간에 1 프레임만큼의 지연이 발생될 수 있고, 또한 프레임 단위로 연산을 하기 때문에 입력 영상을 임시 저장하기 위한 프레임 버퍼(Frame Buffer)와 에지 맵을 저장하기 위한 별도의 저장 공간이 필요하게 된다.

한편, 전술한 바와 같이 휴대폰용 디지털 카메라와 저화소수의 보급형 디지털 카메라의 경우 화상 센서의 크기, 렌즈 등이 소형이고, 원가절감을 위한 영상처리 IC의 기능 단순화 등으로 촬영한 영상이 선명하지 못한 경우가 많이 있으며, 특히 피사체의 경계가 뭉개져서 보여지는 경우가 있는데 에지 강조 방법을 사용하면 피사체의 경계선을 강조하여 좀더 선명한 영상을 얻을 수 있지만, 종래 기술에 따른 에지 강조 장치는, 도2에 도시된 바와 같이 보간 처리 블록 이외에 에지 강조를 위한 기능 블록이 별도로 요구된다.

휴대폰용 디지털 카메라나 보급형 디지털 카메라 내 영상처리 IC의 크기나 단가에 큰 부담없이 적용할 수 있기 위해서는, 별도의 기능 블록 없이 보간 (Interpolation) 처리를 수행하면서 에지 강조를 동시에 수행할 수 있는 방법이 요구된다.

본 발명의 목적은 간단한 회로의 추가로 에지를 강조하여 전체 IC 크기의 큰 증가없이 선명한 이미지를 얻을수 있을 뿐만 아니라, 부드러운 이미지를 만들어 낼수 있는 휘도를 이용한 에지 강조 장치 및 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른 에지 강조 장치는, 이미지 센서를 통하여 촬상된 RGB 데이터를 수신하여 휘도신호 및 색차신호를 출력하는 이미지 데이터 수신부; 4개 휘도신호의 평균값 신호를 생성하는 휘도신호 처리부; 선명한 색차가 나오도록 상기 색차신호를 칼라 수정, CRT 감마보정을 수행하고 에지 강조를 위해 상기 평균값 신호를 업샘플링 또는 블러링 처리하여 샘플링 신호를 생성하는 색차신호 처리부; 및 상기 휘도신호와 상기 평균값 신호를 합산하고, 합산된 휘도신호와 색차신호를 출력하는 출력부를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 에지 강조 방법은, 이미지 센서를 통하여 촬상된 RGB 데이터를 수신하여 휘도신호와 색차신호를 생성하는 단계; 4개 휘도신호의 평균값 신호를 생성하는 단계; 상기 휘도신호와 상기 평균값신호를 합산하여 에지를 강조하는 단계; 및 상기 휘도신호와 색차신호를 출력하는 단계를 포함하는 것을 특징으로 한다.

종래 기술에서 언급하였듯이 에지를 검출하는 방법 및 강조하는 방법에는 여러 가지가 있다. 본 발명에 따른 에지 강조 장치 및 방법에서는 가장 간단한 방법으로서 영상 데이터 중 밝기 성분(휘도; Y)으로부터 에지를 검출하여 강조하는 방법을 사용한다. 대부분의 에지가 밝기 성분에서 검출된 에지에서도 나타나므로 밝기 성분(휘도; Y)에 의해 에지를 검출하여 강조할 수 있다.

이제, 도 3 이하의 도면을 참조하여 본 발명의 바람직한 일실시예를 상세히 설명하면 다음과 같다.

먼저, 도 3은 이미지 데이터 수신부(300), 휘도신호 처리부(310), 색차신호 처리부(320), 출력부(350)로 구성된 휘도를 이용한 에지 강조 시스템에 대한 구성도이다.

이미지 데이터 수신부(300)는, 이미지를 촬상하여 RGB 생성하고, 이를 YCbCr 신호로 변환하고, YCbCr 신호를 휘도신호와 색차 신호를 분리하여 출력한다. 또한, 이미지 데이터 수신부(300)에서는 이미지 센서에서 촬상된 이미지 데이터에 대해 보간 처리를 수행할 수 있다. 보간 처리된 RGB 이미지 데이터는 YCbCr 데이터로 다음과 같은 식을 이용하여 변환한 후, 휘도(Y)신호와 색차신호(CbCr)로 분리한다.

이를 위해 이미지 데이터 수신부(300)는 이미지를 촬상하여 RGB 신호를 생성하는 이미지 센서, 상기 이미지 데이터를 저장하기 위한 라인 메모리, 다음 식에 따라 상기 RGB 신호를 휘도신호 및 색차신호로 변환하는 변환부, 및 상기 휘도신호 및 색차신호를 분리하는 분리부 등을 포함할 수 있다.

< CCIR-601 YCbCr 컬러 공간 변환 공식 >

Y = (77R + 150G + 29B) / 256 Range : 16 ~ 235

Cb = (-44R - 87G + 131B) / 256 + 128 Range : 16 ~ 240

Cr = (131R - 110G - 21B) / 256 + 128 Range : 16 ~ 240

휘도신호 처리부(310)에서는 입력된 휘도(Y)신호의 노이즈 제거 및 보정 등을 수행한다. 또한, 휘도(Y)신호를 식(2)과 같이 산출된 평균값 신호(dY)로 변환하여 후술되는 색차신호 처리부(320)에 전달한다.

식(2)

색차신호 처리부(320)에서는 상기 이미지 데이터 수신부(300)를 통하여 입력된 색차신호(CbCr)와 상기 휘도신호 처리부(310)를 통하여 입력된 상기 평균값 신호(dY)의 성분을 처리한다. 먼저, 색차신호(CbCr)는 칼라 수정, CRT 감마보정 등을 수행하여 출력시 선명한 색차가 나오도록 처리된다. 또한, 색차신호 처리부(320)는 평균값 신호(dY)를 상기 색차신호 처리부(320) 내의 제어 블록에 의해 업샘플링 또는 블러링 처리하여 에지 강조를 위한 적절한 샘플링 신호를 생성한다. 이를 위해, 색차신호 처리부(320)는 도4에 도시된 바와 같은 업샘플링 또는 블러링 필터의 일종인 5·11 필터 및 색차성분의 보정 처리부를 포함할 수 있다.

도 4는 평균값 신호(dY)를 업샘플링하는 5·11 필터의 구성을 나타낸다.

도 4를 참조하면, 1×2 라인의 평균값 신호(dY)를 입력하여 곱셈 및 덧셈의 연산으로 이루어진 5·11 필터에 의해 업샘플링 또는 블러링(blurring)함으로써 업샘플링된 신호(dC, dD, dE, dF)를 생성하게 된다.

5·11 필터는 각 강조된 휘도(Y)신호 성분이 부드러운 에지를 갖도록 하기 위해서 적절하게 업샘플링된 신호(dC, dD, dE, dF)를 생성하기 위한 것이나, 실시예에 따라서는 5·11 필터에 의해 평균값 신호(dY)를 블러링하지 않고 평균값 신호(dY)를 휘도신호(Y)에 합산하여 에지를 강조할 수도 있다.

출력부(350)는 에지 강조부(330)와 YCbCr 결합부(340)로 구성된다.

에지 강조부(330)는 각 휘도(Y)신호에 상기 색차신호 처리부(320)에서 생성된 업샘플링된 신호(dC, dD, dE, dF)를 적절히 합산하여 에지를 강조하고, YCbCr 결합부(340)는 에지 강조부(330)를 통하여 에지가 강조된 휘도신호와 상기 색차신호 처리부(320)에서 보정된 색차신호(CbCr)를 결합하여 출력한다.

도 5는 본 발명의 일실시예에 따른 휘도를 이용한 에지 강조 시스템의 순서도이다.

먼저, 이미지 센서를 통하여 촬상하여 RGB 이미지 데이터 생성하고, RGB 신호를 YCbCr 데이터로 변환하여 휘도(Y)신호와 색차성분(Cb, Cr)으로 나눈다(S100).

이미지 센서에서 촬상되어 프레임 단위의 이미지로 구성된 이미지 데이터가 라인 버퍼에 전달된다. 라인 버퍼는 입력되는 이미지 데이터를 일시적으로 저장하고, 이를 3×3 라인 보간 수행을 위해 3라인 단위로 출력한다. 저장된 세 라인의 9개 화소에 대한 이미지 데이터를 3×3 라인 보간을 수행한 후, 보간 처리된 RGB 이미지 데이터를 YCbCr 데이터로 변환하여 분리부로 이동시키면 휘도(Y)신호와 색차성분(Cb, Cr)으로 분리된다.

이후, 상기 휘도(Y)신호를 휘도신호 처리부에 입력하여 보정 등을 수행하고 상기 휘도(Y)신호를 변환하여 평균값 신호(dY)를 형성한다(S200).

휘도신호 처리부에서는 휘도(Y)신호를 상기 식(2)를 이용하여 평균값 신호(dY)를 생성한다. 입력된 평균값 신호(dY)의 업샘플링 또는 블러링(Blurring)처리, 노이즈 제거 및 보정 등을 수행하게 된다.

이후, 변환된 평균값 신호(dY)와 상기 색차성분(Cb, Cr)을 색차신호 처리부에 입력하여 색차성분(Cb, Cr)의 보정 및 2×2 라인의 업샘플링된 신호(dC, dD, dE, dF)를 생성한다(S300).

색차신호(CbCr)는 칼라 수정, CRT 감마보정 등을 수행하여 출력시 선명한 색차가 나오도록 하고, 샘플링된 신호(dY)는 상기 색차신호 처리부(320) 내의 제어 블록에 따라 각 휘도(Y)신호 성분에 맞게 5·11 필터를 통하여 업샘플링된다.

즉, 1×2 라인의 샘플링된 신호(dY)를 입력하여 곱셈 및 덧셈의 연산으로 이루어진 5·11 필터를 통과시켜서 2×2 라인의 업샘플링된 신호(dC, dD, dE, dF)를 산출하여 각 휘도(Y)신호 성분에 맞도록 부드럽게 합하기 위함이다.

이후, 상기 휘도(Y)신호와 상기 업샘플링된 신호(dC, dD, dE, dF)를 합산한다(S400).

여기서, 휘도(Y)신호와 상기 업샘플링된 신호(dC, dD, dE, dF)를 적절하게 합산하면 밝기 성분이 증가되어 에지를 강조할 수 있게 된다.

상술한 바와 같이 휘도(Y)신호와 업샘플링된 신호(dC, dD, dE, dF)를 합산한 후, 합산된 휘도(Y+dC, dD, dE, dF)신호를 상기 보정된 색차신호(CbCr)와 결합하여 출력한다(S500).

상기한 바와 같이, 본 발명에 따른 휘도를 이용한 에지 강조 장치 및 방법에 따르면, 간단한 회로 추가로 선명도를 좌우하는 에지를 조정하여 보다 선명한 이미지를 제공하는 효과가 있다.

또한, 본 발명에 따른 휘도를 이용한 에지 강조 장치 및 방법에 따르면, 휘도를 이용하여 에지를 강조함으로써 보다 부드러운 이미지를 제공하는 효과가 있다.

여기에서, 상술한 본 발명에서는 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.

Claims (7)

1. 이미지 센서를 통하여 촬상된 RGB 데이터를 수신하여 휘도신호 및 색차신호를 출력하는 이미지 데이터 수신부;

   4개 휘도신호의 평균값 신호를 생성하는 휘도신호 처리부;

   선명한 색차가 나오도록 상기 색차신호를 칼라 수정, CRT 감마보정을 수행하고 에지 강조를 위해 상기 평균값 신호를 업샘플링 또는 블러링 처리하여 샘플링 신호를 생성하는 색차신호 처리부; 및

   상기 휘도신호와 상기 평균값 신호를 합산하고, 합산된 휘도신호와 색차신호를 출력하는 출력부

   를 포함하여 구성된 것을 특징으로 하는 에지 강조 장치.
2. 제1항에 있어서,

   상기 이미지 데이터 수신부는,

   이미지를 촬상하여 RGB 신호를 생성하는 이미지 센서;

   상기 RGB 신호를 저장하는 라인 메모리;

   상기 RGB 신호를 휘도신호 및 색차신호로 변환하는 변환부; 및

   상기 휘도신호 및 색차신호를 분리하는 분리부

   를 포함하는 것을 특징으로 하는 에지 강조 장치.
3. 제1항에 있어서,

   상기 색차신호 처리부는 상기 평균값 신호를 업샘플링하는 업샘플링 필터를 포함하는 것을 특징으로 하는 에지 강조 장치.
4. 제1항에 있어서,

   상기 출력부는 상기 휘도신호와 상기 평균값 신호를 합산하여 에지를 강조하는 에지 강조부; 및

   상기 휘도신호와 색차신호를 결합하는 결합부를 포함하는 것을 특징으로 하는 에지 강조 장치.
5. 이미지 센서를 통하여 촬상된 RGB 데이터를 수신하여 휘도신호와 색차신호를 생성하는 단계;

   4개 휘도신호의 평균값 신호를 생성하는 단계;

   상기 휘도신호와 상기 평균값 신호를 합산하여 에지를 강조하는 단계; 및

   상기 휘도신호와 색차신호를 출력하는 단계;

   를 포함하여 구성된 것을 특징으로 하는 에지 강조 방법.
6. 재5항에 있어서,

   상기 휘도신호와 색차 신호를 생성하는 단계는,

   상기 RGB 신호를 휘도신호 및 색차 신호로 변환하는 단계; 및

   상기 휘도신호 및 색차 신호를 분리하는 단계를 포함하는 것을 특징으로 하는 에지 강조 방법.
7. 제5항에 있어서,

   상기 에지를 강조하는 단계는,

   상기 평균값 신호를 업샘플링하는 단계; 및

   상기 업샘플링된 신호를 상기 휘도신호에 합산하는 단계를 포함하는 것을 특징으로 하는 에지 강조 방법.

Images