KR101010961B1 - 블럭 기반의 영역 분류를 이용한 공간적 디인터레이싱 방법 - Google Patents

Abstract

블럭 기반의 영역 분류를 이용한 디인터레이싱 방법이 개시된다. 본 디인터레이싱 방법은, 소정 탐색영역내에서, 보간할 라인의 상위 라인 및 하위 라인간의 상대적 변위를 소정 크기의 블럭단위로 산출하는 단계, 상대적 변위가 소정 임계값 이하인 경우, 상대적 변위에 기초하여 보간할 라인을, 상위 라인 및 하위 라인과 연결성을 갖는 제1 영역과 연결성을 갖지 않는 제2 영역으로 분류하는 단계, 및 제1 영역에 대해서는 상대적 변위를 반영하여 공간적 보간을 수행하고, 제2 영역에 대해서는 화소단위의 공간적 보간을 수행하는 단계를 구비한다. 이에 의해, 화소단위의 알고리즘을 사용하는 종래의 공간적 디인터레이싱 방법에 비하여, 방향방향성을 잘못 추정하는 가능성을 감소시킬 수 있으므로, 윤곽선 특성을 보다 잘 보전할 수 있다.

디인터레이싱, ELA, 공간적 보간

Description

블럭 기반의 영역 분류를 이용한 공간적 디인터레이싱 방법{Method for spatial deinterlacing using block based region clasification}

도 1은 본 발명에 따른 디인터레이싱 방법에서 사용되는 블럭 분류를 설명하기 위한 도면,

도 2는 ELA 방법을 설명하기 위한 도면,

도 3은 본 발명에 따른 디인터레이싱 방법의 동작 과정을 나타낸 흐름도,

도 4는 본 발명에 따른 디인터레이싱 방법의 설명에 제공되는 도면, 그리고

도 5 및 도 6은 본 발명에 따른 디인터레이싱 방법과 종래의 디인터레이싱 방법으로 보간한 화면을 나타낸 도면이다.

본 발명은 디인터레이싱(deinterlacing) 방법에 관한 것으로, 더욱 상세하게는 블럭 기반의 영역 분류를 이용한 공간적 보간(spatial interpolation)을 사용하는 디인터레이싱 방법에 관한 것이다.

TV 개발 초기부터 영상 소스가 인터레이스 스캔(interlace scan)방식을 취하고 있고, 현재에도 방대한 영상 소스와의 호환성 문제로 인하여 TV 신호 방식에서 는 인터레이스 스캔 방식을 채택하고 있다. 반면 HDTV(High Definition Television) 신호에서는 한 프레임을 각 라인 순서대로 주사하는 프로그레시브 스캔 (progressive scan) 방식도 채택하고 있다. 프로그레시브 스캔 방식은 한 프레임을 연속적으로 주사한다. 이에 따라, 인터레이싱 스캔 방식에 비하여 한 프레임을 보여줄 때 필드간에 시간축상의 에일리어싱이 없기 때문에 더 깨끗한 화질을 제공할 수 있고, 각 라인들 간의 깜박거림 현상도 줄일 수 있다.

디인터레이싱 방법이란, 상술한 인터레이스 스캔방식의 영상신호를 프로그레시브 스캔방식의 영상신호로 변환하는 방법을 말한다. 프로그레시브 스캔방식을 사용하는 영상 디스플레이 장치가 증가됨과 동시에, 서로 다른 스캔방식을 사용하는 장치들간의 데이터 교환의 필요성이 늘어남에 따라, 성능이 뛰어난 디인터레이싱 방법이 필요하게 된다.

디인터레이싱 방법에는 다양한 방식이 있으며, 기본적인 방법으로는 보간할 현재필드의 라인정보를 단순히 반복하는 라인 반복 방법이 있다. 이 방법은 구현이 용이하나, 보간된 화면의 해상도가 절반으로 떨어지며, 특정 시점의 특정한 이미지가 아예 사라질 수도 있다는 단점이 있다. 이에 따라, 현재필드의 두 라인사이의 영역에 그 두 라인의 데이터를 이분한 데이터를 삽입하는 방법 등으로 새로운 필드를 구현하는 공간적 보간(spatial interpolation) 방법, 및 현재필드의 라인사이에 현재필드 전후 필드의 라인을 이용하여 프레임을 구현하는 움직임 보상이 없는 시간적 보간(temporal interpolation) 방법 등이 개발되었다.

그런데, 기존의 공간적 보간 방법은, 상기한 바와 같이 보간할 화소 주위의 화소값을 이용함으로, 단순한 하드웨어로 구현할 수 있다는 장점은 있으나, 보간한 화면에서 윤곽선과 같은 물체의 경계 부근에서 블러링(blurring) 현상 또는 블록킹(blocking) 현상이 일어나는 결점을 지니고 있다. 따라서, 영상 화질 개선을 위해서는 윤곽선 특성을 보존할 수 있는 공간적 디인터레이싱 방법이 필요하다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 물체의 경계 부분에서 블러링 또는 블럭킹 현상 없이 인터레이스 스캔방식의 영상을 프로그레시브 스캔 방식의 영상으로 변환하는 공간적 인터레이싱 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 디인터레이싱 방법은, 소정 탐색영역내에서, 보간할 라인의 상위 라인 및 하위 라인간의 상대적 변위를 소정 크기의 블럭단위로 산출하는 단계, 상기 상대적 변위가 소정 임계값 이하인 경우, 상기 상대적 변위에 기초하여 상기 보간할 라인을, 상기 상위 라인 및 하위 라인과 연결성을 갖는 제1 영역과 연결성을 갖지 않는 제2 영역으로 분류하는 단계, 및 상기 제1 영역에 대해서는 상기 상대적 변위를 반영하여 공간적 보간을 수행하고, 상기 제2 영역에 대해서는 화소단위의 공간적 보간을 수행하는 단계를 포함한다.

바람직하게는, 상기 상대적 변위가 상기 소정 임계값보다 큰 경우, 상기 보간할 라인에 대하여 화소단위의 공간적 보간을 수행하는 단계를 더 포함한다. 또한, 상기 제2 영역에 대한 화소단위의 공간적 보간은 ELA 보간 방법을 사용하는 것 이 가능하다.

상기 상대적 변위는 다음의 식에 의해 산출되는 것이 가능하다.

여기서, d는 상기 상대적 변위, x는 상기 상위 라인의 화소값, y는 상기 하위 라인의 화소값, M은 상기 블럭 크기, 그리고 k는 상기 탐색 영역 R 내의 오프셋을 나타낸다.

상기 제1 영역에서는 다음의 식에 의해 보간되는 것이 가능하다.

여기서, x 는 상기 상위 라인의 화소값, y는 상기 하위 라인의 화소값, d는 상기 상대적 변위, f(i)는 보간될 화소값이다.

바람직하게는, 상위 라인 및 하위 라인에서 인접한 상기 블럭들에 의해, 상기 제1 영역이 겹쳐지는 경우에는, 가장 작은 평균절대오차(MAD) 값을 갖는 블럭에 의해 정해지는 영역을 상기 제1 영역으로 선정하는 단계를 더 포함한다

한편, 본 발명에 따른 컴퓨터 판독가능한 매체는, 소정 탐색영역내에서, 보간할 라인의 상위 라인 및 하위 라인간의 상대적 변위를 소정 크기의 블럭단위로 산출하는 단계, 상기 상대적 변위가 소정 임계값 이하인 경우, 상기 상대적 변위에 기초하여 상기 보간할 라인을, 상기 상위 라인 및 하위 라인과 연결성을 갖는 제1 영역과 연결성을 갖지 않는 제2 영역으로 분류하는 단계, 및 상기 제1 영역에 대해서는 상기 상대적 변위를 반영하여 공간적 보간을 수행하고, 상기 제2 영역에 대해 서는 화소단위의 공간적 보간을 수행하는 단계를 포함하여 디인터레이싱 동작을 컴퓨터에 실행시키기 위한 명령어를 제공한다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명에 따른 디인터레이싱 방법에서 이용되는 블럭 기반의 영역 분류를 설명하기 위한 도면이다. 도 1에서, Existing line 이라고 표기된 상위 라인 및 하위 라인은 각각 정보가 존재하는 주사선을 나타내고, Interpolated line 이라고 표기된 가운데 라인은 주어진 필드에서 보간할 라인, 즉 보간되어야 할 주사선을 나타낸다.

도시한 바와 같이, 각 주사선의 영역은, connected 영역(①), shaded 영역(②), 및 unshaded 영역(③)의 세 종류로 분류될 수 있다. connected 영역(①)은 보간할 라인을 중심으로 상위 라인을 참조 라인으로 하여 하위 라인과의 화소값에서 MAD(Mean Absolute Difference), 즉 평균 절대 오차를 최소로 하는 영역을 말한다. 즉, 보간할 라인에서 connected 영역(①)은 상위 라인 및 하위 라인과 가장 큰 연결성을 갖는다고 판단되는 영역이다. 이때, MAD를 구하는 식은 다음과 같다.

여기서,

는 상위 라인의 화소값,

는 하위 라인의 화소값, M은 블럭 크기, 그리고 k는 탐색 영역 R 내의 오프셋이다.

이 경우, 상위 라인 및 하위 라인간의 상대적 변위를 나타내는, connected 변위 d 는, 도 1에 도시한 바와 같이, connected 영역이 상위 라인 및 하위 라인에서 수평으로 몇 화소만큼 이동했는가를 나타내는 상대적 변위로서, 이를 식으로 나타내면 다음과 같다.

상위 라인과 하위 라인간의 상대적 변위인, connected 변위 d 가 구해지면, 보간할 라인에서 connected 영역은 상위 라인 및 하위 라인에서에서 connected 변위 d 를 수평 방향으로 보상해서 그에 해당하는 상위 라인 및 하위 라인의 화소값을 평균하여 다음과 같이 보간값을 산출한다.

이와 같이, 블럭 정합 알고리듬에서 움직임 벡터가 2차원 (2-D)으로 정의되는 것에 비해 connected 변위 d 는 수평방향의 1차원 (1-D)으로 정의된다.

Shaded 영역 (②)은 connected 영역이 수평방향으로 이동하면서 아래 라인에서 일부가 가리워진 영역이며, 반대로 unshaded 영역 (③)은 아래 라인에서 일부가 드러난 영역이다. Shaded 영역과 unshaded 영역은 hole 영역으로 간주되어 화소단위의 공간적 보간 방법으로 처리된다. 대표적으로 ELA(Edge-based Line Average) 보간 방법을 사용할 수 있다.

도 2는 ELA 보간 방법을 설명하기 위한 도면이다. 도 2를 참조하며, 먼저 보간할 화소를 중심으로 상위에 라인을 U(i), 하위의 라인을 L(i)라고 하면, U(i) 와 L(i) 라인으로부터 다음과 같은 비용함수를 통하여 방향을 산출한다.

방향이 산출되면, 다음과 같은 식에 의해 보간될 화소의 화소값이 정해진다.

U(i) .

이와 같은 ELA 보간 방법은 보간할 라인에 인접한 두 라인 사이의 방향성을 고려하여 보간할 라인의 화소값을 보간하는 방법으로서, 간단하지만 성능은 비교적 우수한 보간 방법이다.

한편, 도 1에서는 단독 블럭의 경우를 설명했기 때문에 영역 겹침이 없었지만, 실제 영상에서는 블럭이 인접해서 존재하기 때문에 다음과 같이 여러 영역이 겹치게 될 수 있다. 첫번째 경우로는, 인접한 블럭들의 connected 변위가 같지 않을 경우 그 블럭들의 connected 영역이 겹치게 될 수 있다. 이러한 경우 한 화소가 두 개 이상의 connected 영역에 속하게 된다면 그 중 가장 작은 MAD를 갖는 블럭의 connected 영역 값을 대입한다. MAD가 작다는 것은 보간시 그만큼 오차가 작다는 것은 기대할 수 있기 때문이다. 둘째, connected 영역과 shaded/unshaded 영역이 겹치게 될 수 있다. 이 경우 connected 영역의 값은 shaded/unshaded 영역보다 작은 MAD 값을 갖는 영역이기 때문에 connected 영역의 값을 선택한다. 마지막으로 shaded/unshaded 영역이 서로 겹칠 경우를 생각할 수 있다. Shaded 영역과 unshsded 영역이 어떻게 겹치든 모든 경우에 대해 hole 영역으로 간주하고 후술하 는 hole 영역 처리를 수행한다. 셋째, 본 발명에 따른 디인터레이싱 방법의 경우 물체의 경계에서 블럭킹 현상이 때로 관찰되는데, 블럭 겹침을 이용하여 이 현상을 줄일 수 있다.

도 3은 본 발명에 따른 디인터레이싱 방법의 설명에 제공되는 흐름도이다. 도 3을 참조하면, 먼저 블럭크기(M)과 탐색영역(R)을 결정한다(S200). 블럭크기와 탐색영역은 다양한 크기로 결정될 수 있다. 만일 탐색 영역 R 이 크다면 보다 작은 각도의 기울기를 갖는 윤곽선의 특성이 보존될 것을 기대할 수 있지만 대신 계산량이 많아지게 된다. 마찬가지로, 블럭 크기 M 에 따라서도 역시 성능과 계산시간이 영향을 받게 되므로, 이러한 점들을 고려하여 적절한 크기로 결정하면 된다.

블럭크기(M)과 탐색영역(R)을 결정되면, 결정된 블럭에 따라 MADn 을 산출하여하고, 산출된 MADn 가 소정의 임계값인 T 보다 작은지 여부를 판단한다(S205). 이때, MADn 은 참조 라인에서 n번째 블럭의 MAD를 나타낸다. S205 단계에서의 판단결과, MADn 가 임계값 T보다 클 경우에는, connected 영역의 오차가 커서 연결성을 생각할 수 없다는 의미이므로 블럭 전체를 hole 영역으로 처리한다(S235). Hole 영역 처리에는, 앞서 설명한 바와 같이, ELA 보간 방법을 적용하여 처리함으로써, hole 영역 처리에서도 최대한 방향성을 고려할 수 있게 된다.

S205 단계에서의 판단결과 MADn 가 임계값 T보다 작은 경우에는, [수학식 2]를 사용하여, connected 변위 d를 추정한다(S210). connected 변위 d가 추정되면, 보간할 라인의 해당 블럭이 connected 영역인지 여부를 판단한다(S215). 판단결과 connected 영역인 경우에는, 다시 connected 영역이 겹쳤는지 여부를 판단한다(S220). S220 단계에서의 판단결과, connected 영역이 겹쳐지지 않는 경우에는 [수학식 3]과 같이 connected 영역으로 처리하여 보간한다(S230). 이와 달리 connected 영역이 겹쳐진 경우에는 MAD가 가장 작은 connected 영역을 선택하고(S255), 선택된 connected 영역에 [수학식 3]과 같이 connected 영역으로 처리하여 보간한다(S230).

만일, connected 영역이 아니거나, connected 영역이 겹쳐지지 않는 경우에는 ELA 알고리즘을 적용하여 hole 영역으로 처리한다(S235). 이와 같은 방법에 의해, 보간할 라인에 대한 보간값을 산출할 수 있다.

도 4는 본 발명에 따른 디인터레싱 방법을 설명하기 위한 도면이다. 도 4에서는 connected 변위 d가 +3, M가 4인 경우를 나타낸다. 도 4를 참조하면, f2∼f4는 connected 영역내의 화소이고, f1과 f5는 connected영역이 지나가는 경계의 화소이다. 여기서 f2∼f4는 그림의 식과 같이 반화소 단위로 보간하고, f1과 f5는 hole 영역으로 처리한다.

도 5 및 도 6은 본 발명에 따른 디인터레싱 방법을 사용하여 보간된 화면과 종래의 디인터레이싱 방법을 사용하여 보간한 화면을 비교 도시한 도면이다. 도 5및 도6 에서 (a)는 라인 반복 방법을 사용한 경우, (b)는 라인 평균 방법을 사용한 경우, (c) ELA 보간 방법을 사용한 경우, 그리고 (d)의 경우에는 본 발명에 따른 디인터레이싱 방법을 사용하여 보간한 화면이다. 본 발명에 따른 디인터레이싱 방법을 사용시, 테스트 영상은 원영상을 저역 통과 필터를 거치지 않고 수직 방향으로만 1/2 크기로 다운샘플링하여 본 발명에 따른 디인터레이싱 방법을 적용하였다.

도 5에 나타낸 바와 같이, 본 발명에 따른 디인터레이싱 방법을 사용하는 경우에 작은 각도를 갖는 윤곽선에서의 성능이 종래의 디인터레이싱 방법을 사용한 경우에 비해 뛰어나다는 것을 관찰할 수 있다.

또한, 도 6의 공항(Airport) 영상에 대하여 보간된 화면의 결과에서 알 수 있듯이, 본 발명에 따른 디인터레이싱 방법을 적용한 결과 역시 작은 각도를 갖는 윤곽선에서 뛰어난 성능을 보인다. 특히 ELA 방법을 적용한 결과와 비교해 볼 때 본 발명에 따른 디인터레이싱 방법으로 처리한 화면이 바닥 블럭의 선이 끊어지지 않고 매끄럽게 이어져 있음을 확인할 수 있다.

한편, 다음의 [표 1]에서는 서로 다른 크기를 갖는 테스트 영상에 대해 종래의 디인터레이싱 방법과 본 발명에 따른 디인터레이싱 방법을 적용한 결과를 PSNR(Peak signal to Noise Ratio)과 계산시간의 측면에서 비교한 것이다. 실험에서 M은 8, R은 ±6으로 하고, MAD의 임계값 T는 20 으로 하였다. 본 발명에 따른 디인터레싱 방법은 모든 테스트 영상에서 가장 큰 PSNR을 나타낸다. 라인 반복과 라인 평균, ELA 보간 방법과 비교하여 본 발명에 따른 방법은 Hotel 영상에 대해 각각 5.50, 0.37, 그리고 1.17dB 높은 PSNR을 나타내었다. 계산시간은 본 발명에 따른 디인터레싱 방법이 라인 반복, 라인 평균, ELA 알고리듬과 비교하여 각각 8, 5, 그리고 2.5배 정도의 시간이 더 필요함을 보였다. 파라미터인 M과 R에 따라 계산 시간과 성능은 달라질 것이다.

사용방법	Airport	Hotel	Bike	Lena	Block	calendar
라인 반복	24.90/0.05	28.07/0.09	21.20/0.04	32.55/0.05	23.19/0.02	20.35/0.03
라인 평균	28.49/0.08	33.20/0.12	24.25/0.07	37.57/0.08	24.36/0.03	24.73/0.04
ELA	27.53/0.16	32.40/0.23	23.40/0.12	35.89/0.16	22.82/0.05	22.42/0.07
본 발명	28.61/0.40	33.57/0.67	25.11/0.31	37.70/0.40	24.38/0.10	24.75/0.13

상기한 바와 같이, 본 발명에 따른 디인터레이싱 방법은, 윤곽선 특성을 보다 잘 보전하여 보간된 화면의 화질을 개선할 수 있다. 또한, 본 발명에 따른 디인터레이싱 방법은, 단독으로 사용되거나, 시간적 보간방법 등과 결합하여 사용함으로써 보다 양질의 화면을 얻을 수 있다. 그리고, 본 발명에 따른 디인터레이싱 방법은 하드웨어 장치로 구현하거나, 프로그램화 되어 컴퓨터 등에 의해 실행되는 것도 가능하다.

이상 설명한 바와 같이, 본 발명에 따른 디인터레싱 방법을 사용하면, 화소단위의 알고리즘을 사용하는 종래의 공간적 디인터레이싱 방법에 비하여, 방향성을 잘못 추정하는 가능성을 감소시킬 수 있으므로, 윤곽선 특성을 보다 잘 보전할 수 있다. 이에 따라 보간된 화면의 화질을 개선할 수 있으며, 비교적 간단하게 구현이 가능하다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (7)

1. 소정 탐색영역내에서, 보간할 라인의 상위 라인 및 하위 라인간의 상대적 변위를 소정 크기의 블럭단위로 산출하는 단계;

   상기 상대적 변위가 소정 임계값 이하인 경우, 상기 상대적 변위에 기초하여 상기 보간할 라인을, 상기 상위 라인 및 하위 라인과 연결성을 갖는 제1 영역과 연결성을 갖지 않는 제2 영역으로 분류하는 단계; 및

   상기 제1 영역에 대해서는 상기 상대적 변위를 반영하여 공간적 보간을 수행하고, 상기 제2 영역에 대해서는 화소단위의 공간적 보간을 수행하는 단계;를 포함하는 것을 특징으로 하는 디인터레이싱 방법.
2. 제1항에 있어서,

   상기 산출하는 단계 이후에,

   상기 상대적 변위가 상기 소정 임계값보다 큰 경우, 상기 보간할 라인에 대하여 화소단위의 공간적 보간을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 디인터레이싱 방법.
3. 제2항에 있어서,

   상기 화소단위의 공간적 보간은 ELA 보간 방법을 사용하는 것을 특징으로 하는 디인터레싱 방법.
4. 제1항에 있어서,

   상기 상대적 변위는 다음의 식에 의해 산출되는 것을 특징으로 하는 디인터레이싱 방법:

   

   여기서, d는 상기 상대적 변위, x는 상기 상위 라인의 화소값, y는 상기 하위 라인의 화소값, M은 상기 블럭 크기, 그리고 k는 상기 탐색 영역 R 내의 오프셋이다.
5. 제4항에 있어서,

   상기 제1 영역에서는 다음의 식에 의해 보간되는 것을 특징으로 하는 디인터레이싱 방법:

   

   여기서, x 는 상기 상위 라인의 화소값, y는 상기 하위 라인의 화소값, d는 상기 상대적 변위, f(i)는 보간될 화소값이다.
6. 제1항에 있어서,

   상기 분류하는 단계 이후에,

   상기 상위 라인 및 하위 라인에서 인접한 상기 블럭들에 의해, 상기 제1 영역이 겹쳐지는 경우에는, 가장 작은 평균절대오차(MAD) 값을 갖는 블럭에 의해 정해지는 영역을 상기 제1 영역으로 선정하는 단계;를 더 포함하는 것을 특징으로 하는 디인터레이싱 방법.
7. 소정 탐색영역내에서, 보간할 라인의 상위 라인 및 하위 라인간의 상대적 변위를 소정 크기의 블럭단위로 산출하는 단계;

   상기 상대적 변위가 소정 임계값 이하인 경우, 상기 상대적 변위에 기초하여 상기 보간할 라인을, 상기 상위 라인 및 하위 라인과 연결성을 갖는 제1 영역과 연결성을 갖지 않는 제2 영역으로 분류하는 단계; 및

   상기 제1 영역에 대해서는 상기 상대적 변위를 반영하여 공간적 보간을 수행하고, 상기 제2 영역에 대해서는 화소단위의 공간적 보간을 수행하는 단계;를 포함하는 디인터레이싱 동작을 컴퓨터에 실행시키기 위한 명령어를 제공하는 컴퓨터 판독가능한 매체.

Images