KR102270230B1

KR102270230B1 - 영상 처리 장치 및 영상 처리 방법

Info

Publication number: KR102270230B1
Application number: KR1020140174819A
Authority: KR
Inventors: 켄지 스즈키
Original assignee: 삼성디스플레이 주식회사
Priority date: 2013-12-09
Filing date: 2014-12-08
Publication date: 2021-06-28
Also published as: KR20150067055A; US20150161770A1; JP2015114729A; US9466008B2

Abstract

영상 처리 장치는 입력 영상에 대하여 에지 강조 처리를 실시하여 출력 영상을 생성한다. 영상 처리 장치는 상기 입력 영상에 대한 Gradient의 절대 값과 Laplacian의 절대 값을 산출하고, 산출된 상기 Gradient의 절대 값과 Laplacian의 절대 값을 근거로 라인 게인을 산출하는 라인 게인 산출부; 상기 입력 영상과 상기 라인 게인에 기초하여 블랜드 계수를 산출하고, 상기 블랜드 계수에 기초하여 상기 라인 게인을 보정하고, 보정 라인 게인을 생성하는 라인 게인 보정부; 및 상기 보정 라인 게인을 상기 입력 영상에 적용하여, 상기 출력 영상을 생성하는 게인 적용부를 구비한다.

Description

영상 처리 장치 및 영상 처리 방법 {IMAGE PROCESS DEVICE AND IMAGE PROCCESSING METHOD}

본 발명은 영상의 에지를 강조할 수 있는 영상 처리 장치, 표시 장치, 영상 처리 방법에 관한 것이다.

저해상도의 영상의 데이터가 표시 장치에 입력된 경우, 표시 장치는 저해상도의 영상의 해상도를 높여 고해상도화시킨다. 이 때, 영상에 있어서 휘도가 크게 변화하는 부분, 즉 에지(또는 윤곽)을 단지 보간만시키는 경우, 에지의 휘도의 경사가 둔해지고, 에지는 희미해진 영상으로 되어 버린다. 일반적으로는, 에지는 휘도가 계단 형상으로 변화하는 스텝 에지, 백선 또는 흑선 등의 선에 의해 형성되는 라인 에지가 포함된다. 라인 에지가 희미해지면, 선폭이 두꺼워진다.

에지를 강조하기 위해, 라플라시안 필터를 사용한 언샤프 마스크 처리에 의해 에지의 휘도의 경사를 가파르게 만드는 영상 처리가 알려져 있다. 그러나, 라플라시안 필터를 사용하면, 링잉(ringing)(오버슈트, 언더슈트)가 발생한다. 여기서, 링잉이 발생하지 않도록 하기 위한 기술로서, 클립(clip) 처리를 사용하는 기술이 특허문헌 1, 2에 개시되어 있다.

[선행기술문헌]

(특허문헌 1) JP2000-115526 A

(특허문헌 2) WO2010-073582 A

특허문헌 1, 2에 개시된 클립 처리를 이용하면, 클립하는 레벨을 설정하는 것이 곤란하고, 또한, 일정한 값으로 휘도가 클립되기 때문에 에지 부근의 휘도가 평탄하게 되어 버린다. 휘도가 평탄하게 되면, 자연화(natural image)와 같은 영상은 덧칠한 유화(油畵)와 같이 표시되어 부자연스러운 영상으로 되어 버린다.

본 발명의 목적의 하나는 링잉의 발생을 억제하면서 에지를 강조한 영상을 생성하는 것에 있다.

본 발명의 일 실시예에 따른 영상 처리 장치는 입력 영상에 대하여 에지 강조 처리를 실시하여 출력 영상을 생성하는 영상 처리 장치에 있어서, 상기 입력 영상에 대한 Gradient의 절대 값과 Laplacian의 절대 값을 산출하고, 산출된 상기 Gradient의 절대 값과 Laplacian의 절대 값을 근거로 라인 게인을 산출하는 라인 게인 산출부; 상기 입력 영상과 상기 라인 게인에 기초하여 블랜드 계수를 산출하고, 상기 블랜드 계수에 기초하여 상기 라인 게인을 보정하고, 보정 라인 게인을 생성하는 라인 게인 보정부; 및 상기 보정 라인 게인을 근거로 상기 입력 영상을 처리하여, 상기 출력 영상을 생성하는 게인 적용부를 구비한다.

상기 블랜드 계수는 상기 입력 영상에 상기 라인 게인을 가산하여 생성되는 가산 중간값 및 상기 입력 영상에 상기 라인 게인을 감산하여 생성되는 감산 중간값을 이용하여 생성된다.

상기 블랜드 계수는 상기 가산 중간값 및 상기 감산 중간값을 필터에 통과시켜 각각 생성한 필터링된 가산 중간값 및 필터링된 감산 중간값을 근거로 생성된다.

상기 블랜드 계수는 상기 필터링된 가산 중간값 및 상기 입력 영상과의 제1 차분 및 상기 필터링된 감산 중간값 및 상기 입력 영상과의 제2 차분을 근거로 생성된다.

상기 블랜드 계수는

을 만족하고, 여기서 BR 은 상기 블랜드 계수이며, DiffM은 상기 필터링된 감산 중간값이며, DiffP는 상기 필터링된 가산 중간값이다.

상기 라인 게인은 인핸스먼트 조정 파라미터를 곱한 상기 Gradient의 절대 값과 상기 Laplacian의 절대 값과의 차분을 근거로 산출되는 라인 게인 씨드를 근거로 생성된다.

상기 인핸스먼트 조정 파라미터는 제1 및 제2 서브 조정 파라미터를 포함하며, 상기 라인 게인 씨드가 0보다 큰 값을 갖는 경우 상기 제1 서브 조정 파라미터가 곱해지며, 상기 라인 게인 씨드가 0보다 작은 값을 갖는 경우 상기 제2 서브 조정 파라미터가 곱해진다.

상기 Gradient의 절대 값과 Laplacian의 절대 값을 근거로 스텝 게인을 산출하는 스텝 게인 산출부; 및 상기 스텝 게인을 상기 입력 영상에 적용하여, 상기 출력 영상을 생성하는 게인 적용부;를 구비한다.

상기 스텝 게인 산출부는, 상기 Gradient의 절대 값과 상기 Laplacian을 곱한 값을 사용하여, 상기 스텝 게인을 산출한다.

본 발명의 일 실시예에 따른 영상 처리 방법은 입력 영상에 대하여 에지 강조 처리를 실시하여 출력 영상을 생성하는 영상 처리 방법에 있어서, 상기 입력 영상에 대한 Gradient의 절대 값과 Laplacian의 절대 값을 산출하는 단계; 산출 된 상기 Gradient의 절대 값과 Laplacian의 절대 값을 근거로 라인 게인을 산출하는 단계; 상기 입력 영상과 상기 라인 게인에 기초하여 블랜드 계수를 산출는 단계; 상기 블랜드 계수에 기초하여 상기 라인 게인을 보정하고, 보정 라인 게인을 생성하는 단계; 및 상기 보정 라인 게인을 근거로 상기 입력 영상을 처리하여, 상기 출력 영상을 생성하는 단계를 포함한다.

상기 Gradient의 절대 값과 Laplacian을 근거로 스텝 게인을 산출하고, 상기 스텝 게인 및 상기 보정 라인을 근거로 상기 입력 영상을 처리하여, 상기 출력 영상을 생성한다.

본 발명에 의하면, 링잉의 발생을 억제하면서 에지를 강조한 영상을 생성할 수 있다.

도 1은 본 발명의 일 실시형태에 있어서 표시 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시형태에 있어서 영상 처리 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시형태에 있어서 스텝 게인 산출부의 산출 방법을 설명하는 도면이다.
도 4는 본 발명의 일 실시형태에 있어서 스텝 에지가 스텝 게인에 의해 강조된 예를 설명하는 도면이다.
도 5는 본 발명의 일 실시형태에 있어서 라인 게인 산출부의 산출 방법을 설명하는 도면이다.
도 6은 본 발명의 일 실시형태에 있어서 라인 에지가 라인 게인에 의해 강조된 예를 설명하는 도면이다.
도 7은 본 발명의 일 실시형태에 있어서 라인 게인 보정부의 구성을 나타내는 블록도이다.
도 8은 본 발명의 일 실시형태에 있어서 라인 게인 보정부에 있어서 블랜드 계수를 산출할 때의 백선의 영향을 설명하는 도면이다.
도 9는 본 발명의 일 실시형태에 있어서 라인 게인 보정부에 있어서 블랜드 계수를 산출할 때의 흑선의 영향을 설명하는 도면이다.
도 10은 본 발명의 일 실시형태에 있어서 라인 게인에 대하여 스텝 게인 보정 처리를 행한 상태를 설명하는 도면이다.
도 11은 본 발명의 일 실시형태에 있어서 스텝 게인에 대하여 스텝 게인 보정 처리를 행한 상태를 설명하는 도면이다.

이하, 본 발명의 실시 형태에 따른 표시 장치에 대해 도면을 참조하면서, 상세히 설명한다. 또한, 이하에 나타내는 실시형태는 본 발명의 실시형태의 일 예로서, 본 발명은 이들의 실시형태에 한정하여 해석되는 것이 아니라, 여러 가지의 변형을 행하여 실시하는 것이 가능하다.

<실시형태>

본 발명의 일 실시형태에 따른 표시 장치에 대해서, 도면을 참조하면서 상세하게 설명한다.

[전체 구성]

도 1은 발명의 일 실시형태에 있어서 표시 장치의 구성을 나타내는 블록도이다. 표시 장치(1)는 스마트폰, 휴대 전화, 퍼스널컴퓨터, 텔레비젼 등에 있어서, 영상을 표시하는 장치이다. 표시 장치(1)는 영상 처리 장치(10), 영상 확대부(20) 및 표시부(30)를 구비한다. 표시부(30)는 매트릭스 형상으로 배치된 화소를 갖고, 각각의 화소에는 영상을 표시하기 위한 표시 소자를 구비하는 디스플레이이다. 표시부(30)는 영상 처리 장치(10)로부터 출력되는 출력 영상에 대한 정보를 포함하는 데이터에 기초하여, 각 화소에 마련된 표시 소자를 제어하여, 출력 영상을 표시시킨다. 예를 들어 표시 소자는 OLED 소자 등의 자발광 소자나 LCD 소자 등의 비자발광 소자이다. 표시 소자가 LCD 소자 인 경우 표시 장치(1)는 백라이트 유닛(미도시)을 더 구비할 수 있다.

영상 확대부(20)는 표시부(30)의 해상도보다도 낮은 해상도의 디스플레이에 사용되는 영상(저해상도 영상)을 수신한다. 저해상도 영상은 디지털 또는 아날로그 처리 장치에서 처리 가능한 데이터형태로 제공된다.

바꾸어 말하면, 영상 확대부(20)로 입력되는 데이터는 1 화면의 영상을, 표시부(30)의 화소 수보다도 적은 화소 수로 나타내고 있다. 즉, 이 명세서에 있어서, 해상도는 1 화면의 영상을 구성하는 화소 수에 대응된다. 영상 확대부(20)는 입력된 저해상도 영상을 표시부(30)의 화소 수에 대응하는 고해상도 영상으로 업스케일링(업컨버트)하여 출력한다. 고해상도 영상은 디지털 또는 아날로그 처리 장치에서 처리 가능한 데이터 형태로 제공된다.

여기에서의 변환은 보간 처리 등의 공지의 기술이 사용된다. 이 변환에 의해, 고해상도 영상은 입력된 저해상도 영상과 비교하여 둔해진 에지를 갖는다.

영상 처리 장치(10)는 영상 확대부(20)에서 출력되는 있어서 고해상도 영상을 수신한다. 이하. 고해상도 영상을 입력 영상(Org)라 칭한다. 영상 처리 장치(10)는 입력 영상(Org)의 에지를 강조하는 처리(이하, 에지 강조 처리)를 행하여 출력한다. 에지 강조 처리에 따라, 영상에 포함된 에지가 선명해 진다. 에지는 휘도가 계단 형상으로 변화하는 스텝 에지, 백선 또는 흑선 등의 선에 의해 형성되는 라인 에지가 포함될 수 있다. 또한, 영상 처리 장치(10)는 입력 영상(Org)에 미리 평활화 필터 등의 노이즈 제거 필터를 먼저 적용한 후, 적용 후의 휘도 값에 기초하여 에지 강조 처리를수행 할 수 있다.

또한, 이하의 실시 형태에서는 영상 처리 장치(10)는 입력 영상(Org)의 휘도 값에 기초하여 하기에 나타내는 각 게인을 산출한다. 그러나 이에 한정되지 않고, 영상 처리 장치(10)는 입력 영상(Org)의 휘도 값 대신에, 입력 영상(Org)의 컴포넌트 신호를 입력하여, RGB 개별적으로 각 게인을 산출 할 수 있다.

영상 처리 장치(10)로부터 출력되는 영상을 출력 영상이라 칭하고, 표시부(30)에 있어서는, 출력 영상이 표시된다. 이어서, 영상 처리 장치(10)의 상세한 구성을 설명한다.

[영상 처리 장치(10)의 구성]

도 2는 본 발명의 일 실시형태에 있어서 영상 처리 장치(10)의 구성을 나타내는 블록도이다. 영상 처리 장치(10)는 스텝 게인 산출부(110), 라인 게인 산출부(120), 라인 게인 보정부(130), 스텝 게인 보정부(150), 및 게인 적용부(140)를 구비한다.

스텝 게인 산출부(110)는 수평 스텝 게인 산출부(112), 수직 스텝 게인 산출부(114), 및 이들의 출력을 가산하는 덧셈기(116)를 구비한다. 수평 스텝 게인 산출부(112)는 게인의 산출 대상으로 되는 화소(이하, 주목 화소(target pixel)라고 함)에 대하여 수평 방향(주사 선의 연장 방향)으로 인접한 화소를 참조하여, 수평 성분의 스텝 게인을 산출하는 처리(이하, 수평 성분의 스텝 게인 산출 처리)를 행한다.

또한, 수직 스텝 게인 산출부(114)는 주목 화소에 대하여 수직 방향( 데이터 선이 연장하는 방향)으로 인접한 화소를 참조하여, 수직 성분의 스텝 게인을 산출하는 처리(이하, 수직 성분의 스텝 게인 산출 처리)를 행한다.

덧셈기(116)는 수평 성분의 스텝 게인 및 수직 성분의 스텝 게인을 가산하고, 스텝 게인(GainS)을 출력한다. 스텝 게인을 산출하는 처리는 스텝 에지를 강조하기 위해 수식을 사용하여 게인을 산출하는 처리이다.

라인 게인 산출부(120)는 수평 라인 게인 산출부(122), 수직 라인 게인 산출부(124), 및 이들의 출력을 가산하는 덧셈기(126)를 구비한다. 수평 라인 게인 산출부(122)는 주목 화소에 대하여 수평 방향으로 인접한 화소를 사용하여, 수평 성분의 라인 게인 산출 처리를 행한다. 또한, 수직 라인 게인 산출부(124)는 주목 화소에 대하여 수직 방향으로 인접한 화소를 사용하여, 수직 성분의 라인 게인 산출 처리를 행한다.

덧셈기(126)는 수평 성분의 라인 게인 및 수직 성분의 라인 게인을 가산하고, 라인 게인(GainL)을 출력한다. 라인 게인 산출 처리는 라인 에지를 강조하기 위해 수식을 사용하여 게인을 산출하는 처리이다.

라인 게인 보정부(130)는 라인 게인(GainL)을 블랜드 계수에 기초하여 보정하고, 보정 라인 게인(GainLB)를 출력한다. 라인 에지에 적용되는 게인 후술하는 바와 같이 백선인가, 아니면 흑선인가에 따라서 달라질 필요가 있기 때문에, 라인 게인(GainL)은 보정될 필요가 있다. 이것을 보정하기 위한 블랜드 계수의 산출 방법에 대해서는 별도로 설명한다.

스텝 게인 보정부(150)는 스텝 게인(GainS)을 스텝 게인 보정 계수(CtlS, 미도시) 에 기초하여 보정하고, 보정 스텝 게인(GainSCtl)를 출력한다. 그 스텝 게인 보정 처리는 스텝 에지에 대하여, 스텝 게인의 영향이 적어지도록 하기 위한 처리이다. 스텝 게인 보정 계수의 산출 방법에 대해서는 별도로 설명한다.

게인 적용부(140)는 보정 스텝 게인(GainSCtl) 및/또는 보정 라인 게인(GainLB) 을 입력 영상(Org)에 적용하여 출력 영상으로서 출력한다.

이어서, 스텝 게인 산출 처리, 라인 게인 산출 처리 및 라인 게인 보정부(130), 스텝 게인 보정부(150)의 구성과 동작에 대해서, 순서대로 설명한다.

[스텝 게인 산출 처리]

스텝 게인 산출 처리에 대해서 설명한다. 스텝 게인 산출 처리는 스텝 에지를 강조하기 위한 수식을 사용하여 게인을 산출하는 처리이다. 여기에서는, 수평 성분의 스텝 게인 산출 처리를 예로서 설명한다. 또한, 수직 성분일지라도 산출에 참조되는 화소만이 다르기 때문에, 설명을 생략한다.

스텝 게인의 산출에는, Gradient와 Laplacian을 이용한다. Gradient라 함은 주목 화소의 우측 인접 화소의 휘도 값으로부터 좌측 인접 화소의 휘도 값을 감산한 값이고, 식(1)로 나타내진다. 또한, x는 대상 화소를 나타내고, x+1는 우측 인접 화소, x-1는 좌측 인접 화소를 나타내고 있다. grad는 Gradient를 나타내고, lum는 휘도 값을 나타내고 있다.

[수학식 1]

Laplacian 이라 함은 주목 화소의 우측 인접 화소의 휘도 값에 좌측 인접 화소의 휘도 값을 더한 것에서 주목 화소의 휘도 값의 2 배를 감산한 값이고, 식(2)으로 나타내진다. lap는 Laplacian를 나타내고 있다.

[수학식 2]

또한, Gradient의 절대 값을 1로 정규화하기 위해, Gradient에 Max 필터를 적용한 grandMax를 산출한다. Max 필터라 함은 예를 들어, 주목 화소의 전후 3 화소(우측으로 인접하는 3화소와 좌측으로 인접하는 3 화소)의 Gradient의 최대 값이고, 식(3)으로 나타내진다.

[수학식 3]

도 3은 본 발명의 일 실시형태에 있어서 스텝 게인 산출부의 산출 방법을 설명하는 도면이다. 도 3은 입력 영상(Org)이 스텝 에지를 나타낼 때의 Laplacian, Gradient, 및 gradMax를 나타낸 도면이다. 이들은 상술한 식(1)~(3)에 의해 산출된다.

이어서, 스텝 게인(GainS)은 Gradient의 절대 값을 정규화한 것과 Laplacian과 미리 설정한 파라메타(pStep)를 곱하여 산출 할 수 있으며, 식(4)로 나타내진다. pStep은 인헨스먼트(enhancement) 강도를 조정하는 파라메타이다.

[수학식 4]

도 4는 본 발명의 일 실시형태에 있어서 스텝 에지가 스텝 게인에 의해 강조된 예를 설명하는 도면이다. 도 4에 나타내는 스텝 게인(GainS)은 상술한 식(4)에 의해 산출된다. EnhS는 Org에 대하여 GainS를 적용한 경우의 휘도 값이다. 이 예에서는 EnhS = Org + GainS이다.

상술한 바와 같이, 스텝 게인(GainS)를 산출할 때에, Laplacian 뿐만아니라, Gradient의 절대 값을 혼합함으로써, 스텝 에지의 중앙 부분으로의 Laplacian의 영향을 강하게 한다. 이 산출 방법에 의해, 링잉의 발생을 억제하면서도, 스텝 에지의 경사를 보다 가파르게 하여 스텝 에지를 강조할 수 있다. 또한, 클립 처리를 사용하지 않기 때문에, 자연스러운 영상이 유지될 수도 있다.

한편, 스텝 게인의 산출은 스텝 에지에 효과적으로 적용되나, 라인 에지에 대하여는 라인 에지의 경사를 가파르게 하는 효과는 있지만, 라인의 선폭을 가늘게 하는 효과는 없다. 그러므로, 라인 에지에 스텝 게인을 그대로 더하게 되면, 라인 게인의 선 폭을 가늘게 하는 효과는 저하된다. 여기서, 후술하는 스텝 게인 보정부(150)에 있어서, 라인 에지에 대하여는 스텝 게인의 영향이 적어지도록 스텝 게인을 보정한다.

[라인 게인 산출 처리]

라인 게인 산출 처리에 대해서 설명한다. 라인 게인 산출 처리는 라인 에지를 강조하기 위한 수식을 사용하여 게인을 산출하는 처리이다. 여기에서는, 수평 성분의 라인 게인 산출 처리를 예로서 설명한다. 또한, 수직 성분일지라도 산출에 참조되는 화소만이 다르기 때문에, 설명을 생략한다.

라인 게인의 산출에는 스텝 게인과 마찬가지로 Gradient와 Laplacian을 이용한다. 라인 게인 씨드(seed)는 Laplacian의 절대 값으로부터 Gradient의 절대 값에 미리 설정한 파라메타(pLine1)를 곱한 값으로 으감산하여 구할 수 있다. seed는 식(5)로 나타내진다. 파라메타(pLine1)는 peak(봉)/Foot(저변)의 비율을 조정하는 파라메타이다.

[수학식 5]

도 5는 본 발명의 일 실시형태에 있어서 라인 게인 산출부(120)의 산출 방법을 설명하는 도면이다. 도 5는 입력 영상(Org)가 라인 에지를 나타낼 때의 Laplacian, Gradient, 및 seed를 나타낸 도면이다. 이들은 상술한 식(1), (2), (5)에 의해 산출된다.

이어서, Peak 영역에 대응되는 라인 게인 씨드(seed)에 미리 설정한 파라메타(pLine0P)를 곱하고, Foot 영역에 대응되는 라인 게인 씨드(seed)에 미리 설정한 파라메타(pLine0M)를 곱하여라인 게인(GainL)을 구한다. 라인 게인(GainL)은 식(6)으로 나타내진다. 여기서, 라인 게인 씨드(seed)가 「0」보다 큰 영역을 Peak 영역이라 칭하고, 「0」 이하의 영역을 Foot 영역이라 칭한다. pLine0P는 Peak 영역의 인헨스먼트 강도를 조정하는 파라메타이고, pLine0M는 Foot 영역의 인헨스먼트 강도를 조정하는 파라메타이다.

[수학식 6]

도 6은 본 발명의 일 실시형태에 있어서 라인 에지가 라인 게인에 의해 강조된 예를 설명하는 도면이다. 도 6에 나타내는 라인 게인(GainL)은 상술한 식(6)에 의해 산출된다. EnhL은 Org에 대하여 GainL를 적용한 경우의 휘도 값이다. 이 예에서는 EnhL = Org + GainL이다.

상술한 바와 같이, 라인 게인(GainL)를 산출할 때에, Laplacian 뿐만아니라, Laplacian의 절대 값으로부터 Gradient의 절대 값의 소정 비율을 감산함으로써, 라인 에지의 중심 부근에서는 Peak의 휘도를 높게 하고, 라인 에지의 중심으로부터 멀어져서 휘도가 완만하게 변화하는 영역에서는 Foot의 휘도를 낮게 할 수 있다. 이 산출 방법에 의해, 링잉의 발생을 억제하면서도, 라인 에지의 경사를보다 가파르게 하여 강조하고, 선 폭을 가늘게 할 수 있다. 또한, 클립 처리를 사용하지 않기 때문에, 자연스러운 영상이 유지될 수도 있다.

또한, 라인 게인의 산출은 라인 에지에 효과적으로 적용되지만, 스텝 에지에 대하여는 후술하는 라인 게인 보정부(130)의 처리에 의해 게인이 거의 캔슬되도록 작용하기 때문에, 라인 게인에 의한 영향은 적다.

또한, 상술한 스텝 게인 및 라인 게인의 산출식은 상술한 수식에 한정되지 않고, 동일한 특성을 얻을 수 있는 것이면, 다른 산출식을 포함할 수도 있다. 특히, Gradient나 Laplacian을 산출할 때에는 여러 가지 방법을 생각할 수 있다. 예를 들어, 주목 화소의 우측으로 인접한 2개의 우측 인접 화소들의 휘도 값의 합계로부터 주목 화소의 좌측으로 인접한 2개의 우측 인접 화소들의 휘도 값의 합계를 감산한 값일 수도 있다. 또한, 주목 화소의 우측으로 인접한 우측 인접 화소 및 주목 화소의 상하로 인접한 화소들의 휘도 값의 합계로부터, 주목 화소의 좌측으로 인접하한 좌측 인접 화소 및 주목 화소의 상하로 인접한 화소들의 휘도 값의 합계를 감산한 값일 수도 있다.

여기서, 도 5 및 도 6에 나타내는 바와 같은 백선을 대상으로 한 것이면, 상술한 라인 게인의 산출 방법이 적용될 수 있다. 그러나, 흑선을 대상으로 한 경우에는, EnhL = Org - GainL이 이용된다. 이는 Laplacian의 절대 값과 Gradient의 절대 값을 사용하여 산출되는 라인 게인 씨드(seed)는 백선 또는 흑선인지 여부와 관계 없이 같은 극성을 갖기 때문이다.

그러므로, 이하에 설명하는 바와 같이, 라인 게인 보정부(130)는, 입력 영상 (Org)에 적용 되는 라인 게인(GainL)의 혼합 비율을 나타내는 블랜드 계수를 산출함으로써, 라인 게인을 보정할 필요가 있다. 즉, EnhL=Org + 블랜드 계수 x GainL이다. 이 예에서는 블랜드 계수는 - 1 이상 + 1 이하의 범위 중의 어느 하나로 되도록 산출된다. 이하의 설명에 있어서, 보정된 라인 게인(GainLB)는 블랜드 계수 x GainL에 대응되는 값을 갖는다.

[라인 게인 보정부(130)의 구성]

도 7은 본 발명의 일 실시형태에 있어서 라인 게인 보정부(130)의 구성을 나타내는 블록도이다. 라인 게인 보정부(130)는 덧셈기(1322), 감산기(1342), LPF(Low Pass Filter, 1324, 1344), BM(블록 매칭부, 1326, 1346), 및 보정부(1330)를 구비한다.

덧셈기(1322)는 Org와 GainL을 가산하여 EnhP를 생성하고 EnhP를 출력한다. EnhP는 라인 에지가 백선인 것으로 가정하여, 라인 게인을 적용한 경우의 휘도 값이다. LPF(1324)는 EnhP에 대하여 저역 통과 필터를 적용하고, EnhLP를 얻는다. 필터 계수 등의 파라메타는 미리 결정되어 있다.

BM(1326)은 블록 매칭을 이용하여 EnhLP 및 Org와의 차분(DiffP)을 산출한다. 예를 들어, DiffP는 식(7)에 의해 나타내지는 SAD(Sum of Absolute Difference) Block Matching을 사용하여 산출된다. Org와 EnhLP가 가까울수록 DiffP가 작아진다. 또한, SSD(Sum of Squered Difference) Block Matching 등 Org와 EnhLP의 상관 관계를 얻을 수 있는 방법이면, 다른 방법으로도 산출될 수 있다.

[수학식 7]

여기서, LumOrg(x, y)는 화소(x, y)에 있어서 Org의 휘도 값이고, LumEnhLP(x, y)는 화소(x, y)에 있어서 EnhLP의 휘도 값이다.

감산기(1342)는 Org으로부터 GainL를 감산하여 EnhM을 생성하고, EnhM을 출력한다. EnhM은 라인 에지가 흑선인 것으로 가정하여, 라인 게인을 적용한 경우의 휘도 값이다. LPF(1344)는 EnhM에 대하여 저역 통과 필터를 적용하고, EnhLM를 얻는다. 필터 계수 등의 파라메타는 미리 결정되어 있다.

BM(1346)는 블록 매칭을 이용하여 Org 및 EnhLM와의 차분(DiffM)을 산출한다. DiffM은 상술한 BM(1326)과 마찬가지로, 식(8)에 의해 나타내지는 SAD Block Matching을 사용하여 산출된다. Org와 EnhLM이 가까울수록 DiffP가 작아진다.

[수학식 8]

도 8은 본 발명의 일 실시형태에 있어서 라인 게인 보정부에 있어서 블랜드 계수를 산출할 때의 백선의 영향을 설명하는 도면이다. 도 8a는 Org가 백선인 경우에, 덧셈기(1322)에 의해 Org에 GainL가 가산되는 경우 생성되는 EnhP 및 EnhLP를 나타내고 있다.

한편, 도 8b Org가 백선인 경우에, 감산기(1342)에 의해 Org으로부터 GainL가 감산되는 경우 생성되는 EnhP 및 EnhLP를 나타내고 있다.

Org에 GainL가 가산되는 경우 산출되는 DiffP는 Org에 GainL가 감산되는 경우 산출되는 DiffM보다 작다.도 9는 본 발명의 일 실시형태에 있어서 라인 게인 보정부에 있어서 블랜드 계수를 산출할 때의 흑선의 영향을 설명하는 도면이다. 도 9a는 Org가 흑선 인 경우에, 덧셈기(1322)에 의해 Org에 GainL이 가산되는 경우 생성되는 EnhP 및 EnhLP 를 나타내고 있다. 한편, 도 9b는 Org가 흑선인 경우에, 감산기(1342)에 의해 Org으로부터 GainL이 감산되는 경우 생성되는 EnhP 및 EnhLP를 나타내고 있다.

Org에 GainL가 가산되는 경우 산출되는 DiffP는 Org에 GainL가 감산되는 경우 산출되는 DiffM보다 크다.이와 같이, 도 8 및 도 9에 나타내는 바와 같이, 라인 에지가 백선에 가까울수록, DiffP가 작고, Diff M가 커지는 한편, 흑선에 가까울수록, DiffP가 크고, DiffM가 작아진다. 보정부(1330)는 이 특징을 사용하여 블랜드 계수를 산출한다.

다시 도 7을 참조하면. 보정부(1330)는 DiffP와 DiffM에 기초하여 블랜드 계수를 산출하고, 블랜드 계수에 기초하여 GainL을 보정한다. 보정부(1330)는 GainL를 보정하여 얻을 수 있는 GainLB를 출력한다. DiffP와 DiffM를 사용한 블랜드 계수는 예를 들어, 이하의 식(9)로 산출된다.

[수학식 9]

BR은 블랜드 계수이고, -1 이상 + 1 이하의 값을 취할 수 있다. 블랜드 계수(BR)는 라인 에지가 백선이면, + 1에 근접하고, 흑선이면, -1 에 근접하게 된다. 또한, 상술한 바와 같이, Org가 스텝 에지인 경우, DiffP와 DiffM는 서로 유사한 값을 갖기 때문에, 블랜드 계수(BR)는 거의「0」으로 되므로, 라인 게인의 영향을 거의 받지 않는다.

보정부(1330)는 산출한 블랜드 계수(BR)와 라인 게인(GainL)을 곱하고, 보정 라인 게인(GainLB)(= BR x GainL)을 출력한다. 상술한 바와 같이, 백선이면, 블랜드 계수(BR)는 「+1」에 근접하게 되기 때문에, 도 8a에 도시된 것과 같이, Org에 라인 게인(GainL)이 가산된다. 한편, 흑선이면, 블랜드 계수(BR「-1」)에 근접하게 되기 때문에, 도 9b에 도시된 것과 같이, Org에 라인 게인(GainL)이 감산된다.

[스텝 게인 보정부(150)의 구성]

스텝 게인 보정 처리에 대해서 설명한다. 스텝 게인 보정 처리에서는 라인 에지가 입력된 경우에 스텝 게인을 캔슬하는 기능이다. 스텝 게인 보정 처리에서는 라인 게인의 절대 값에 Max 필터를 적용한 GainLMax를 사용한다. Max 필터라 함은 예를 들어, 주목 화소의 상하 좌우 각각의 방향으로 인접한 3 화소(총 12개 화소)를 포함하는 사각형 영역의 최대 값이고, 식(10)으로 나타낸다.

[수학식 10]

이어서, 스텝 게인 보정 계수(CtlS, 미도시)는 식(11), 식(12)으로 나타낸다. pStepCtl은 라인 에지에 대한 스텝 게인의 영향도를 조정하는 파라메타이다.

[수학식 11]

[수학식 12]

이어서, 보정 스텝 게인(GainSCtl)은 스텝 게인 보정 계수(CtlS)에, 스텝 게인(GainS)을 곱하여 생성되고, 식(13)으로 나타낸다.

[수학식 13]

도 10은 본 발명의 일 실시형태에 있어서 라인 게인에 대하여 스텝 게인 보정 처리를 행한 상태를 설명하는 도면이다. 도 10은 입력 영상(Org)이 라인 에지를 나타내는 때의 GainL, GainS, GainLMax, GainSCtl를 나타낸 도면이다. 라인 에지 근방에서는 스텝 게인 보정 계수(CtlS)가 0에 가까운 값으로 되기 때문에, 보정 스텝 게인(GainSCtl)은 0에 가까운 값으로 된다.

도 11은 본 발명의 일 실시형태에 있어서 스텝 게인에 대하여 스텝 게인 보정 처리를 행한 상태를 설명하는 도면이다. 도 11은 입력 영상(Org)가 스텝 에지를 나타내는 때의 GainL, GainS, GainLMax, GainSCtl를 나타낸 도면이다. 전술한 바와 같이, 스텝 에지에 대하여는 라인 게인이 캔슬되기 때문에, 스텝 에지 근방에서는 스텝 게인 보정 계수(CtlS)가 1에 가까운 값으로 된다. 이것에 의해, 보정 스텝 게인(GainSCtl)은 GainS에 가까운 값으로 된다.

도 2로 돌아와서 설명을 계속한다. 게인 적용부(140)는 Org에 대하여, GainSCtl 및 GainLB를 적용하고, 출력 영상을 생성한다. 이 예에서는Org + GainSCtl + GainLB가 출력 영상이다. 그 출력 영상은, 표시부(30)로 출력된다.

이와 같이, 본 원의 실시 형태에 있어서 영상 처리 장치(10)는 스텝 게인 산출 처리에 있어서, Laplacian 뿐만아니라, Gradient의 절대 값을 혼합한 값을 사용함으로써, 링잉의 발생을 억제하면서도, 스텝 에지의 경사를 보다 가파르게 할 수 있다. 또한, 라인 게인 산출 처리에 있어서, Laplacian 뿐만아니라, Laplacian의 절대 값으로부터 Gradient의 절대 값의 소정 비율을 감산하도록 혼합한 값을 사용함으로써, 링잉의 발생을 억제하면서도, 라인 에지의 경사를보다 가파르게 하여 선 폭을 가늘게할 수 있다. 또한, 클립 처리를 사용하지 않기 때문에, 자연스러운 영상을 유지할 수도 있다.

또한, 상술한 표시 장치(1)에 있어서, 영상 처리 장치(10)는 도 1에 나타내는 바와 같이 영상 확대부(20)의 후단에 배치되고, 업스케일링된 영상에 대하여 에지 강조를 행하는 예를 나타내었으나, 영상 확대부(20)는 생략 될 수 있다. 이 경우, 이 표시 장치는 해상도 변환을 수행하지 않고, 입력 영상에 대하여 에지 강조만을 행한다.

또한, 상술한 영상 처리 장치(10)의 각 구성은 프로그램을 실행함으로써, 실현되도록 할 수 있다. 이 경우에는, 영상 처리 장치(10)는 프로그램을 기억하는 메모리, 및 그 프로그램을 실행하는 CPU를 구비하는 컴퓨터일 수 있다. 이 프로그램은 자기 기록 매체, 광 기록 매체, 광 자기 기록 매체, 반도체 메모리 등의 컴퓨터에서 읽을 수 있는 기록 매체에 기억한 상태로 제공될 수 있다. 또한, 각 프로그램은 네트워크 경유로 다운로드될 수도 있다.

이상에서는 본 발명의 바람직한 실험예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면, 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

1 : 표시 장치 10 : 영상 처리 장치
20 : 영상 확대부 30 : 표시부
110 : 스텝 게인 산출부 112 : 수평 스텝 게인 산출부
114 : 수직 스텝 게인 산출부 116 : 덧셈기
120 : 라인 게인 산출부 122 : 수평 라인 게인 산출부
124 : 수직 라인 게인 산출부 126 : 덧셈기
130 : 라인 게인 보정부 150 : 스텝 게인 보정부
140 : 게인 적용부 1322 : 덧셈기
1324 : LPF 1326 : BM
1342 : 감산기 1344 : LPF
1346 : BM 1330 : 보정부

Claims

입력 영상에 대하여 에지 강조 처리를 실시하여 출력 영상을 생성하는 영상 처리 장치에 있어서,
상기 입력 영상에 대한 Gradient의 절대 값과 Laplacian의 절대 값을 산출하고, 산출된 상기 Gradient의 절대 값과 Laplacian의 절대 값을 근거로 라인 게인을 산출하는 라인 게인 산출부;
상기 입력 영상과 상기 라인 게인에 기초하여 블랜드 계수를 산출하고, 상기 블랜드 계수에 기초하여 상기 라인 게인을 보정하고, 보정 라인 게인을 생성하는 라인 게인 보정부; 및
상기 보정 라인 게인을 근거로 상기 입력 영상을 처리하여, 상기 출력 영상을 생성하는 게인 적용부를 구비하고,
상기 Gradient는 주목 화소의 우측 인접 화소의 휘도 값으로부터 좌측 인접 화소의 휘도 값을 감산한 값이고,
상기 Laplacian은 상기 주목 화소의 상기 우측 인접 화소의 휘도 값에 상기 좌측 인접 화소의 휘도 값을 더한 값에서 상기 주목 화소의 휘도 값의 2 배를 감산한 값이고,
상기 입력 영상의 에지는 백선 또는 흑선 등의 선에 의해 형성되는 라인 에지를 포함하고, 상기 블랜드 계수는 -1 이상 +1 이하의 값을 갖고, 상기 블랜드 계수는 상기 라인 에지가 상기 백선이면 +1에 근접하고, 상기 흑선이면, -1에 근접하는 것을 특징으로 하는 영상 처리 장치.
제1 항에 있어서,
상기 블랜드 계수는 상기 입력 영상에 상기 라인 게인을 가산하여 생성되는 가산 중간값 및 상기 입력 영상에 상기 라인 게인을 감산하여 생성되는 감산 중간값을 이용하여 생성되는 것을 특징으로 하는 영상 처리 장치.
제2 항에 있어서,
상기 블랜드 계수는 상기 가산 중간값 및 상기 감산 중간값을 필터에 통과시켜 각각 생성한 필터링된 가산 중간값 및 필터링된 감산 중간값을 근거로 생성되는 것을 특징으로 하는 영상 처리 장치.
제3 항에 있어서,
상기 블랜드 계수는 상기 필터링된 가산 중간값 및 상기 입력 영상과의 제1 차분 및 상기 필터링된 감산 중간값 및 상기 입력 영상과의 제2 차분을 근거로 생성되는 것을 특징으로 하는 영상 처리 장치.
제4 항에 있어서,
상기 블랜드 계수는

을 만족하고,
여기서 BR 은 상기 블랜드 계수이며, DiffM은 상기 필터링된 감산 중간값이며, DiffP는 상기 필터링된 가산 중간값인 것을 특징으로 하는 영상 처리 장치.
제 1 항 항에 있어서,
상기 라인 게인은 인핸스먼트 조정 파라미터를 곱한 상기 Gradient의 절대 값과 상기 Laplacian의 절대 값과의 차분을 근거로 산출되는 라인 게인 씨드를 근거로 생성되는 것을 특징으로 하는 영상 처리 장치.
제6 항에 있어서,
상기 인핸스먼트 조정 파라미터는 제1 및 제2 서브 조정 파라미터를 포함하며,
상기 라인 게인 씨드가 0보다 큰 값을 갖는 경우 상기 제1 서브 조정 파라미터가 곱해지며, 상기 라인 게인 씨드가 0보다 작은 값을 갖는 경우 상기 제2 서브 조정 파라미터가 곱해지는 것을 특징으로 하는 영상 처리 장치.
제1 항에 있어서,
상기 Gradient의 절대 값과 Laplacian의 절대 값을 근거로 스텝 게인을 산출하는 스텝 게인 산출부; 및
상기 스텝 게인을 상기 입력 영상에 적용하여, 상기 출력 영상을 생성하는 게인 적용부;를 구비하는 것을 특징으로 하는 영상 처리 장치.
제8 항에 있어서,
상기 스텝 게인 산출부는, 상기 Gradient의 절대 값과 상기 Laplacian을 곱한 값을 사용하여, 상기 스텝 게인을 산출하는 것을 특징으로 하는 영상 처리 장치.
입력 영상에 대하여 에지 강조 처리를 실시하여 출력 영상을 생성하는 영상 처리 방법에 있어서,
상기 입력 영상에 대한 Gradient의 절대 값과 Laplacian의 절대 값을 산출하는 단계;
산출 된 상기 Gradient의 절대 값과 Laplacian의 절대 값을 근거로 라인 게인을 산출하는 단계;
상기 입력 영상과 상기 라인 게인에 기초하여 블랜드 계수를 산출는 단계;
상기 블랜드 계수에 기초하여 상기 라인 게인을 보정하고, 보정 라인 게인을 생성하는 단계; 및
상기 보정 라인 게인을 근거로 상기 입력 영상을 처리하여, 상기 출력 영상을 생성하는 단계를 포함하고,
상기 Gradient는 주목 화소의 우측 인접 화소의 휘도 값으로부터 좌측 인접 화소의 휘도 값을 감산한 값이고,
상기 Laplacian은 상기 주목 화소의 상기 우측 인접 화소의 휘도 값에 상기 좌측 인접 화소의 휘도 값을 더한 값에서 상기 주목 화소의 휘도 값의 2 배를 감산한 값이고,
상기 입력 영상의 에지는 백선 또는 흑선 등의 선에 의해 형성되는 라인 에지를 포함하고, 상기 블랜드 계수는 -1 이상 +1 이하의 값을 갖고, 상기 블랜드 계수는 상기 라인 에지가 상기 백선이면 +1에 근접하고, 상기 흑선이면, -1에 근접하는 것을 특징으로 하는 영상 처리 방법.
제10 항에 있어서,
상기 Gradient의 절대 값과 Laplacian을 근거로 스텝 게인을 산출하고,
상기 스텝 게인 및 상기 보정 라인을 근거로 상기 입력 영상을 처리하여, 상기 출력 영상을 생성하는 것을 특징으로 하는 영상 처리 방법.