KR100561477B1

KR100561477B1 - 경계 방향에 기초한 영상 보간 방법

Info

Publication number: KR100561477B1
Application number: KR1020030100645A
Authority: KR
Inventors: 김영택; 왕시앙린
Original assignee: 삼성전자주식회사
Priority date: 2003-05-30
Filing date: 2003-12-30
Publication date: 2006-03-16
Also published as: US20080024658A1; US7379625B2; US7590307B2; US20030206667A1; KR20040103739A

Abstract

비월 주사된 비디오 화상을 디인터레이싱하기 위해, 비월 주사로부터의 화소 데이터를 사용하여 생략된 선의 화소 데이터를 보간하는 방법이다. 비월 주사 내의 매 두 개의 인접한 주사선의 중심 위치에서 화상 경계 방향이 검출된다. 주어진 필드 내의 모든 검출된 방향들이 경계 방향 맵을 구성한다. 경계 방향들은 필터링 되어 잘못되고 신뢰할 수 없는 경계 방향들이 경계 방향 맵으로부터 제거된다. 만약 어떤 경계 방향이 제거되면, 수직 방향이 경계 방향 맵에서 그 방향을 대체하기 위하여 사용된다. 두 인접한 주사선의 중심에서 새로운 화소를 보간하기 위해서, 그 위치에 대한 대응하는 방향이 보간 방향으로 사용되어 새 화소의 값을 계산한다. 만약 그 방향이 수직이라면, 보간값을 계산하기 위하여 수직 방향을 따라 필터가 사용된다. 만약 그 방향이 수직이 아니고 또한 정수값을 갖는다면, 그 방향을 따른 두 인접 샘플값들의 평균을 취하는 것에 의해서 보간이 수행된다. 만약 그 방향이 수직이 아니고 또한 비정수값을 갖는다면, 방향성 겹선형 방법을 사용하여 보간값이 계산된다.

영상 보간, 경계 방향

Description

경계 방향에 기초한 영상 보간 방법{An edge direction based image interpolation method}

도 1은 경계 방향의 일예를 보인다.

도 2는 본 발명에 따른 경계 방향 기반 보간을 위한 시스템의 일예를 블록도로 보인다.

도 3은 화상 필드 예의 일부와 경계 방향들이 검출될 필요가 있는 위치들을 보인다.

도 4는 서로 다른 방향성을 갖는 방향들에 대해 번호를 매기는 본 발명에 따른 예를 보인다.

도 5a, 도 5b는 벡터들과 서로 다른 방향을 따른 벡터 상호관계를 점검하는 방법의 본 발명에 따른 예를 보인다.

도 6은 수직 경계 방향 및 정수 방향값을 갖는 비수직 경계 방향의 경우에 대해서 새로운 화소를 위한 보간값을 계산하는 본 발명에 따른 예를 보인다.

도 7은 본 발명에 따라 수직 보간을 위해 사용되는 2 탭 유한 임펄스 응답 필터의 예 및 4 탭 유한 임펄스 응답 필터주파수 응답을 보인다.

도 8은 비정수 방향값을 갖는 비수직 경계 방향의 경우에 대해 새로운 화소의 보간값을 계산하는 본 발명에 따른 예를 보인다.

도 9a 및 도 9b는 도 2의 시스템의 방향성 보간기(directional interpolator) 내의 보간 과정의 예를 보이는 흐름도이다.

본 발명은 영상 보간에 관한 것으로, 특히, 비월 주사시의 두 인접한 라인 사이의 경계 방향들(edge directions)을 검출하여 검출된 경계 방향들을 따라 두 라인 사이의 생략된 라인을 보간하는 것에 관한 것이다.

디인터레이싱은 비월 주사를 비비월 주사로 변환하는 프로세스이다. 그러한 기능은 많은 서로 다른 비디오 포맷이 입력 비디오 일 수 있는 디지털 티브이 시스템에 필요하다. 만약 디지털 티브이 모니터가 비비월 방식이고, 입력 비디오가 비월 방식이라면, 그 비디오는 디인터레이싱될 필요가 있다.

디인터레이싱에는 비월 주사의 인접한 라인들 사이의 경계 방향들(edge directions, edge orientations)을 검출하는 것이 중요하다. 경계 방향을 따라서는 영상 화소들의 휘도값이 일정하게 유지되거나 점차적으로 변화한다. 그러나, 경계 방향을 가로질러서는 화소들의 휘도값이 급격하게 변화한다.

영상 디인터레이싱을 위한 기존의 방법이 있다. 일반적으로 이들 방법은 세 가지 범주로 나눌 수 있는데, 공간적(spatial) 내지 인트라 필드(intra-field)적인 방법, 시간적(temporal) 내지 인터 필드(inter-field)적인 방법, 시-공간적(spatio-temporal) 방법이 그것이다. 공간적 방법에서는, 동일한 필드 내 의 샘플들(즉, 화소들)만을 사용하여 새로운 화소들의 값을 계산한다. 시간적 방법에서는 인접한 필드들 내의 샘플들을 사용하여 새로운 화소들의 값을 계산한다. 시-공간적 방법에서는, 새로운 화소들의 값을 계산하는데 현재의 필드 및 인접한 필드들 내의 샘플들이 사용될 수 있다. 최근에는, 디인터레이싱을 위해 동작 보상이 또한 사용되는 추세이다.

다양한 종류의 디인터레이싱 방법 중에서, 공간적 방법이 가장 기본적인 것이다. 비디오에서 큰 장면 전환이 있는 경우에는, 시간적 정보가 디인터레이싱을 위한 신뢰성이 없을 수 있다. 그러한 경우에는, 공간적 방법이 통상적으로 사용된다. 동작 보상에 기반한 디인터레이싱에서는, 동작 벡터가 신뢰적이지 못한 경우에도 또한 공간적 방법이 사용된다. 그러므로, 양호한 공간적 디인터레이싱은, 디지털 티브이 시스템에서의 전체적인 디인터레이싱 품질을 위해 매우 중요하다.

공간적 디인터레이싱 방법의 기본적인 아이디어는 새로운 화소가 보간될 위치 주위 인접 샘플들 사이의 상호관계를 이용하는 것이다. 일반적으로, 보간은 인접 샘플들의 가중 평균을 계산하는 것에 의해서 달성된다. 그러나, 이러한 보편적인 방식의 공간적 보간에 수반되는 하나의 문제점은 보간된 화상에 나타날 수 있는 톱날형 라인들 또는 흐릿한 경계들 등, 이미지 경계들의 품질 저하이다.

상기 문제점에 대한 하나의 해결책은 화상 경계 방향을 따라 보간을 수행하는 것이다. 그러한 방법은 보간될 각각의 위치를 위해서 화상 경계 방향의 검출을 요한다. 그 다음에는 그 경계 방향에 기초하여, 그 방향을 따른 인접 샘플들의 가중 평균을 계산하는 것에 의해서 보간이 수행될 수 있다.

경계 방향을 따른 화상 보간을 위한 몇 가지 방법이 제안되어 왔다. 그러나, 어떻게 하여 보간될 각각의 위치에 대한 경계 방향을 효과적이고 정확하게 검출할 것인가 하는 점은 여전히 어렵고 개방되어 있는 과제이다. 한편으로는, 경계 방향의 검출은 정확해야만 하는데, 왜냐하면 잘못된 경계 검출은 보간된 화상에 명백한 인위요소(artifacts) 혹은 오류를 도입할 수 있기 때문이다. 또 한편으로는, 경계 검출은 이용 가능한 임의의 곳에서 효과적으로 사용되어야만 한다. 그렇지 않고, 만약 양호한 경계 검출이 적절히 검출되어 주어진 위치에서 사용되지 못한다면, 그 위치에서의 보간은 경계의 품질 저하를 야기할 수 있다.

본 발명은 상기의 요청에 대응하기 위한 것이다. 본 발명의 하나의 목적은 보간된 화상에 명백한 인위요소를 도입함이 없이 경계 방향 정보를 효과적으로 검출하여 이용할 수 있는, 경계 방향 기반의 화상 보간 방법을 제공하는 것이다. 그러한 방법에 따르면, 비월 주사에서의 인접한 두개의 주사선 마다의 중심 위치에서 화상 경계 방향이 검출된다. 주어진 필드 내에서 검출된 모든 방향들이 경계 방향 맵(edge orientation map)을 구성한다. 경계 방향들은 필터링되어 잘못되고 신뢰할 수 없는 경계 방향들은 경계 방향 맵으로부터 제거된다. 만약 하나의 경계 방향이 제거되면, 수직 경계 방향이 경계 방향 맵에서 그 방향을 대체하기 위하여 사용된다.두 인접한 주사선의 중심에서의 새로운 화소를 보간하기 위해서, 그 위치에 대한 대응하는 방향이 그 새로운 화소의 값을 계산하기 위한 보간 방향으로 사용된다. 만약 그 방향이 수직이라면, 유한 임펄스 응답(FIR 필터가 그 수직 방향을 따 라 사용되어 보간값을 계산한다. 만약 방향이 수직이 아니라면, 그리고 정수값을 갖는다면, 그 방향을 따른 두 인접한 샘플값의 평균을 취하는 것에 의해서 보간이 수행된다. 만약 방향이 수직이 아니고 비정수값을 갖는다면, 방향성 겹선형 방법(directional bilinear method)을 사용하여 보간값이 계산된다.

본 발명은 많은 서로 다른 형태의 실시예로 구현될 수 있으나, 이하에서 첨부도면을 참조하여 본 발명의 몇 가지 실시예를 보인다. 본 발명이 실시예들에 한정되지 않으며 실시예들은 예로서 보여지는 것임에 주목하여야 한다.

위에서 설명한 바와 같이, 본 발명의 한 실시예는, 화상 경계 방향이 비월 주사 내의 매 인접한 두 주사선의 중심 위치에서 검출되는, 경계 방향 기반 화상 보간 방법을 제공한다. 주어진 필드 내에서 검출되는 모든 방향들이 경계 방향 맵을 구성한다. 경계 방향들은 필터링되어 잘못되고 신뢰할 수 없는 경계 방향들을 경계 방향 맵으로부터 제거한다. 만약 어떤 경계 방향이 제거된다면, 그 수직 경계 방향이 경계 방향 맵에서 그 방향을 대체하기 위하여 사용된다.

두 인접 주사선의 중심에서의 새로운 화소를 보간하기 위해서, 그 위치에 대한 대응되는 방향이 그 새로운 화소값을 계산하기 위한 보간 방향으로 사용된다. 만약 그 방향이 수직이라면, 유한 임펄스 응답 필터가 그 수직 방향을 따라 사용되어 보간값이 계산된다. 만약 그 방향이 수직이 아니고, 또한 정수값을 갖는다면 그 방향을 따른 두 인접 샘플값의 평균을 취하는 것에 의해서 보간이 수행된다. 만약 방향이 수직이 아니고 비정수값을 갖는다면, 방향성 겹선형 방법을 사용하여 보간 값이 계산된다.

본 발명은 추가적으로, 비월 주사 내의 두 인접한 선들 사이의 경계 방향들을 검출하고, 검출된 경계 방향들에 기초하여 그 두 인접한 주사선들 사이의 생략된 하나의 선을 보간하는 시스템을 제공한다. 그러한 종류의 보간을 통해서, 원래의 비월 주사는 화상 경계 영역 주위의 품질 저하나 명백한 인위요소의 도입 없이 비비월 주사로 변환될 수 있다.

도 1은 경계 방향(14)을 보이는 화소(12) 필드(10)의 예를 보인다. 경계 방향(14)을 따라서, 화소들의 휘도값은 일정하거나 또는 점층적으로 변한다. 경계 방향(14)을 가로질러서는, 화소들의 휘도값이 급격히 변한다.

도 2를 참조하면, 본 발명에 따른 경계 방향 기반 보간 시스템(20)의 일예는, 경계 방향 검출기(22)와, 경계 방향 필터(24)와, 방향성 보간기(26)를 구비한다. 시스템(20)으로의 입력은 비월 화상이고, 시스템(20)의 출력은 보간에 의해 비비월 포맷으로 변환된 처리 화상이다.

도 3은 화상 필드(28)의 예의 일부를 보이는데, 선들 n-3, n-1, n+1, n+3은 원래의 주사선(30)들이고, 점선 32는 필드(28) 내의 원래 샘플들(화소들)을 나타낸다. 선들 n-2, n, n+2는 보간되어야 하는 필드(28) 내의 생략된 선(34)들이다. 속이 빈 점(36)들은 보간될 새 화소들의 위치를 나타낸다. 이들 새 위치(36)들은 또한 경계 방향 검출기(22)가 경계 방향들을 검출한 장소이기도 한다. 하나의 예에서, 경계 방향 검출기(22)는 매 두 인접 주사선 사이의 중심 위치에서 경계 방향들을 검출한다.

이 예에서는, 경계 방향은 각 방향의 방향성(direction orientation)에 서로 다른 값을 할당하는 것에 의해서 나타내어진다. 인접한 경계 방향 방향성들은 인접한 값들로 할당된다. 그러한 방향 번호매김 방법이 예로써 도 4에 도시 되어 있는데, 수직 경계 방향은 0의 값을 할당 받는다. 수직이 아닌 경계 방향에 대해서는, 현재의 화소(36)의 상측열(즉, n-1 선) 또는 하측열(즉, n+1 선)상의 수직방향으로부터 변위된 화소(32)들의 수와 값이 관련된다. 예를 들면, 화소 (n+1, m-1)과 화소 (n-1, m+1)을 연결하는 경계 방향은 1의 값을 할당 받는다. 화소 (n+1, m+1)과 화소 (n-1, m-1)을 연결하는 경계 방향은 -1의 값을 할당 받는다. 일반적으로, 화소 (n+1, m-i)와 화소 (n-1, m+i)를 연결하는 경계 방향(14)은 i의 값을 할당 받으며, 여기서 i 는 양수 또는 음수이고 정수 또는 비정수값일 수 있다. 도 4는 화소 (n+1, m-0.5)와 화소 (n-1, m+0.5)를 연결하는, 0.5의 값을 갖는 경계 방향을 보인다.

도 2의 경계 방향성 검출기(22)에 의해 구현되는 경계 방향 검출은 벡터 상관(vector correlations)을 점검하는 것에 기반을 두고 있다. 도 5a를 참고하면, 벡터(38)의 일예는 두 선택된 선들(즉, 선 n-1 및 n+1) 중 하나의 화소(32)들과 보간을 위해 선택된 화소(36)에 관련되는 화소들로부터의 복수개의 서로 연결되는 화소들로 구성된다. 도 5a에서, 속이 빈 점(36)은 보간될 선택된 화소를 나타낸다. 주사선 n-1 상의 일곱 화소들(32)은

그리고

값을 각각 가지며, 선 n+1 상의 일곱 화소들(32)은

그리고

값을 각각 가진다. 벡터의 폭 이 5라고 가정하면,

가 제 1 벡터를 나타내고,

가 제 2 벡터를 나타낸다. 이들 두 벡터들 사이의 상관 점검은 현재 선택된 화소(36) 주위에 수직이 아닌 경계가 존재하는지 여부를 나타낸다. 마찬가지로, 도 5b의 예에서 볼 수 있는 바와 같이, 벡터

와 벡터

간의 상관 점검은 현재 선택된 화소(36) 주위에 방향값 ??1의 경계가 존재하는지 여부를 나타낸다. 유사하게, 다른 방향들을 따라서 벡터 상관이 점검될 수 있다. 최선의 벡터 상관을 제공하는 방향이 적합한 경계 방향을 나타낼 것이다.비월 주사 내의 인접한 두 주사선(30) 마다의 사이(예를 들면 두 주사선의 중심)에서 검출된 경계 방향들이 경계 방향 맵(예를 들면, 메모리에 저장되는 경계 방향들의 표)을 구성한다. 검출된 경계 방향들이 새로운 화소(36)들의 값을 보간하기 위한 보간 방향으로 사용되기 전에, 특별한 경계 방향 필터링 과정이 수행된다. 도 2의 시스템(20)을 참조하면, 경계 방향 필터(24)가 그러한 경계 방향 필터링 과정을 수행한다. 필터링을 통해서, 잘못되거나 신뢰할 수 없는 경계 방향들이 경계 방향 맵으로부터 제거된다. 어떤 하나의 경계 방향이 경계 방향 맵으로부터 제거되면, 그것은 수직의 경계 방향으로 대체된다. 이 예에서, 수직 방향은 디인터레이싱을 위한 디폴트 보간 방향으로 간주된다.

예의 필터링 과정은, 유효한 경계는 어떤 최소의 길이 및 어떤 최소의 폭을 가져야 한다는 가정에 기초하고 있다. 그러므로, 경계 방향 맵에서는, 경계를 따라 또는 경계를 가로질러 인접한 경계 방향들 사이에 상관들(correlations)이 존재하 여야 한다.

유효한 경계는 어떤 최소의 길이를 가져야 한다는 가정에 기초하여, 필터링 과정은, 각각의 방향을 경계 방향 맵에서 그것이 나타내는 방향을 따라 점검함에 의해서 수행될 수 있다. 그 경우, 경계를 따라 인접한 방향들은 동일한 경계에 속한다고 볼 수 있도록 유사한 방향성을 가져야 한다. 만약 어떤 방향이 그 인접한 방향들로 그러한 방식으로 연장될 수 없다면, 그것이 나타내는 경계는 너무 짧다. 이 경우에는, 그 방향은 보간에 사용하기에 신뢰할 수 없으며, 필터링 되어 제거되고 수직 방향으로 대체되어야 한다.

유사하게, 유효한 경계는 어떤 최소한의 폭을 가져야 한다는 가정에 기초하여, 경계 방향 맵 내의 수평 방향을 따라 각각의 방향을 점검하는 것에 의해서 필터링 과정이 수행될 수 있다. 그 경우에는, 경계 방향 맵 내의 동일한 열 내의 인접한 경계 방향들은, 그들이 동일한 경계에 속한다고 볼 수 있기 위해서, 동일한 방향성을 가져야 한다. 만약 어떤 경계 방향이 인접한 경계 방향들과 그와 같은 유사한 방향성을 갖지 못한다면, 그것이 나타내는 경계는 너무 얇다. 이 경우, 그 경계 방향은 보간을 위해서 신뢰적이지 못하며, 필터링 되어 제거되고 수직 방향으로 대체되어야 한다. 그와 같은 필터링 과정을 통해서, 잘못되거나 또는 신뢰할 수 없는 경계 방향들인 효과적으로 경계 방향 맵으로부터 제거되고, 양호하고 신뢰할 수 있는 경계 방향들이 보존된다. 필터링 과정 후에는, 경계 방향 맵 내의 방향들은 보간에 사용되도록 준비되어 있다.

도 2에서의 방향성 보간기(26)는 적당한 수준의 시스템 복잡도에서 양호한 보간 품질을 얻을 수 있도록 설계되어 있다. 보간되도록 선택된 현재의 화소(36) 위치에서의 경계 방향에 기초하여, 보간은 아래와 같은 세 가지 경우, 즉 (1) 경계 방향이 수직인 경우, (2) 경계 방향이 수직이 아니지만 정수인 방향값을 갖는 경우, (3) 경계 방향이 수직이 아니고 비정수의 방향값을 갖는 경우로 분류될 수 있다.

첫번째 경우(즉, 경계 방향이 수직인 경우)에는, 수직 방향을 따라서 보간이 수행된다. 하나의 단순한 보간 방법은 현재의 화소(36)의 바로 위 및 바로 아래의 두 샘플들(32)을 취하여 그들의 평균값들을 계산한다. 예를 들면, 도 6에서 n 선, m열의 샘플 A는 보간될 현재의 화소(36)이고 A에서의 경계 방향은 수직으로 가정된다. 샘플 B와 C에서의 휘도값들이 I(n-1,m)와 I(n+1,m)로 각각 나타내어 진다. I(.,.)는 현재의 화상 프레임 내의 휘도값을 나타낸다. 이 경우 보간은 아래와 같이 나타내어 진다.

그러나, 상기의 평균화 연산은 화상을 부드럽게 할 수 있다. 또 다른 보간 방법은 수직 방향을 따라 더 많은 샘플들을 이용하는 것이다. 도 6에 도시된 바오 같이, 샘플 B, C에 추가하여 샘플 D, E가 화소 A의 값을 보간하는데 사용될 수 있다. 이 경우, 보간을 위해 4 탭 유한 임펄스 응답 필터(four tap FIR filter)가 설계될 수 있다. 이 시스템(20)에 사용되는 4 탭 유한 임펄스 응답 필터의 한 예는 {-0.1, 0.6, 0.6, -0.1}로 나타내어진다. 이 경우에는 화소 A는 아래의 수학식 2에 따라 보간될 수 있다.

수학식 1에서의 평균화 연산은 계수 {0.5, 0.5}를 갖는 2 탭 필터를 사용하는 유한 임펄스 응답 필터링 과정으로 생각될 수 있다. 도 7은 상기 두 개의 유한 임펄스 응답 필터들의 주파수 응답을 비교하여 보인다. 도 7에서, 수평축은 정규화된 주파수 f를 나타내고, 수직축은 주파수 전달 함수 H(f)의 진폭을 나타낸다. 점선으로 된 곡선(40)은 2 탭 유한 임펄스 응답 필터의 주파수 응답을 나타내고, 실선으로 된 곡선(42)은 4 탭 유한 임펄스 응답 필터의 주파수 응답을 나타낸다. 고주파수 성분을 유지하기에 4 탭 유한 임펄스 응답 필터가 더 낫다는 것을 볼 수 있다. 그러므로, 4 탭 필터는 2 탭 필터가 하는 만큼 화상을 부드럽게 하지 않는다.

경계 방향이 수직이 아닌 경우에는, 바람직하게는, 경계 방향을 따라 보간이 수행된다. 도 4를 참조하면, 만약 경계 방향(14) 값(d)이 정수라면, 경계 방향은 바로 위 선(n-1)의 샘플(32)과 바로 아래 선(n+1)의 대응하는 샘플(32)을 연결한다. 현재의 화소(36)에 대한 방향이 정수값의 d를 갖는다면, 그 방향은 (n-1, m+d) 위치에서의 샘플과 (n+1, m-d) 위치에서의 샘플을 연결한다. 도 6에 도시된 바와 같이, 만약 화소 A에서의 방향이 2의 값을 갖는다면, 그것은 샘플 G와 H를 연결한다. 이 경우에는, 화소 A의 보간값은 두 샘플 G와 H의 평균값으로 간단하게 계산된 다.

보간은 모든 다른 정수값의 수직인 아닌 경계 방향들에 대해 유사한 방법으로 수행되는바, 현재의 화소의 경계 방향을 따라 가서, 필드 내의 바로 위 선의 대응 샘플과 바로 아래 선의 대응 샘플을 구하고, 그들 두 샘플값의 평균을 현재의 화소를 위한 보간값으로 취하는 것에 의해서 수행된다. 이러한 연산은 아래의 수학식 3으로 나타낼 수 있다.

만약 수직이 아닌 경계 방향이 비정수값을 갖는다면, 그 방향은 바로 위 선(n-1) 또는 바로 아래 선(n+1)의 어떠한 샘플(32)도 연결하지 않는다. 그 대신에, 그것은 샘플들(32) 사이로 지나간다. 도 8에 도시된 예를 참조하면, d = 1.6의 값을 갖는 경계 방향(14)이 화소 A 위치에 도시 되어 있다. 이 경우에는, 보간이 겹선형 방법에 의해서 수행되는 바, 우선, 도시된 바와 같이 바로 위 선(n-1) 및 바로 아래 선(n+1) 내에 경계 방향을 따라 J, G, H, K로 표시된 인접한 네 개의 샘플들(32)을 획득한다. 상기 네 샘플들은

그리고

위치에 위치한다. 여기서, int 는 0에 가장 가까운 정수값으로 라운딩하는 라운딩 함수이다. 예를 들면, int(1.7) = 1, int(-2.5) = -2이다. 추가적으로, sgn 은 아래와 같이 정의되는 부호함수(sign function)이다.

도 8에 도시된 예에서, 네 개의 샘플들 J, G, H, K는 각각

위치에 위치한다. 네 개의 샘플들을 얻은 다음에는, 현재의 화소에 대한 보간값이 아래의 식으로 계산된다.

여기서, p₁ 과 p₂는 현재의 화소(36)를 위한 방향값(d)에 관련되는 계수이고, 수학식 5에서 d는 비정수값이다. 이 경우에, p₁ 과 p₂ 는 아래의 식으로 결정된다.

인접한 두 샘플들 사이의 거리를 1이라 가정하면, p₁ 과 p₂ 는 도 8에 도시된 간격들의 길이를 나타낸다. 수학식 5에 따른 보간은 겹선형 보간에 유사하나, 방향 d를 따라 수행된다. 이 연산을 여기서는 방향성 겹선형 보간이라 칭한다.

그와 같이 하여, 본 발명은 개선된 화상 보간 방법을 제공하며, 본 발명의 개선된 화상 보간 방법은 비월 주사 내의 두 인접한 주사선 사이의 경계 방향을 검출하고 경계 방향들에 기초하여 두 주사선 사이의 생략된 선을 보간한다. 전술한 바와 같이, 하나의 예에서, 두 주사선 사이의 선택된 화소에 대한 그러한 화상 보간은 아래의 단계들을 포함한다. 즉, (i) 벡터 상관을 점검하는 것에 의해서 비월 주사 내의 인접한 주사선들 사이의 선택된 화소에서의 경계 방향을 검출하는 것, (ii) 경계 방향 맵 내의 인접한 방향들 간의 상관들을 점검하는 것에 의해서 검출된 경계 방향들을 필터링하여 잘못되었거나 신뢰할 수 없는 경계 방향들을 제거하되, 여기서의 점검은 경계 방향을 따라서 및 경계 방향을 가로질러서 행해지고 만약 어떤 방향이 그 인접 방향들과 잘 상관되지 않는다면 그것이 제거되는 방식으로 행해짐, 및 (iii) 두 인접한 주사선들의 중심에서 생략된 선의 화소들을 보간하되, 각각의 새로운 화소 위치에서, 상기 두 단계에서 검출되고 필터링된 그 위치에서의 경계 방향을 따라 보간이 행해지는 것을 포함한다.

추가적으로, 경계 방향에 기초한 보간은 경계 방향의 방향성 및 값에 의존한 다. 경계 방향이 수직인 경우에는, 선택된 화소와 동일한 행(column) 내의 화상 샘플들을 사용하여 수직 방향을 따라 보간이 행해진다. 2 탭 유한 임펄스 응답 필터 또는 4 탭 유한 임펄스 응답 필터 중 어느 것이라도 현재 화소에 대한 값을 보간하기 위해 사용될 수 있다. 경계 방향이 수직이 아니지만 정수의 방향값을 갖는다면, 경계 방향에 의해서 연결된 두개의 샘플들을 사용하여 경계 방향을 따라 보간이 행해진다. 두 화소들의 평균이 현재의 화소에 대한 보간값으로 사용된다. 경계 방향이 수직이 아니고 비정수값을 갖는다면, 선택된 화소에 대한 보간값은, 방향성 겹선형 방법에서의 경계 방향을 따른 네 개의 인접 샘플들을 사용하여 계산된다.

도 9a, 9b의 흐름도는 도 2의 방향성 보간기에 의한 과정의 예의 단계들을 보인다. 도 9a의 흐름도는 수직 보간을 위해서 2 탭 유한 임펄스 응답 필터를 사용하는 과정 단계들을 보인다. 2 탭 유한 임펄스 응답 필터가 수직 보간을 위해서 사용되는 경우에는, 그 과정은 수직이 아닌 정수 방향의 경우와 실질적으로 같다. 그러므로, 그 두 경우는 도 9a에서 하나의 경우로 함께 묶어졌다. 도 9b에서의 흐름도는 수직 보간을 위한 4 탭 유한 임펄스 응답 필터를 사용하는 과정 단계들을 보인다.

도 9a에서 예로 보인 보간 과정은 다음의 단계들을 포함한다. 먼저, 상술한 바와 같이, 보간될 위치 (n, m)에서의 화소에 대해 경계 방향(d)를 결정한다(단계 50). 그 다음, 현재의 화소에 인접한 두 주사선 상의 화상 데이터가 얻어진다(단계 52). 그 다음, d 가 정수인지 여부가 결정된다(단계 54). 만약 d가 정수라면 수학식 3에 따른 인접한 주사선들에서의 화상 데이터의 평균값이 위치 (n, m)에서의 보 간된 화소값 I(n, m)으로 결정된다(단계 56). 만약 d가 정수가 아니라면, 보간은 방향성 겹선형 방법을 통해 이루어지며, 먼저 수학식 6과 7에 의해서 계수 p₁ 및 p₂를 각각 결정하고(단계 58), 그 다음 수학식 5에 따라 화소값 I(n, m)을 결정한다(단계 60).

도 9b의 보간 과정 예는 다음과 같은 단계들을 포함한다. 먼저, 상술한 바와 같이, 보간될 위치 (n, m)에서의 화소에 대한 경계 방향(d)를 결정한다(단계 62). 그 다음 현재의 화소에 인접한 네 개의 주사선들 상의 화상 데이터가 얻어진다(단계 64). 그 다음, d 가 0인지 여부가 결정된다(단계 66). 만약 d가 실질적으로 0라면, 위치 (n, m)에서의 화소값 I(n, m)은 수학식 2에 의해서 보간된다(단계 68). 만약 d가 0이 아니라면 d가 정수인지 여부가 결정된다(단계 70). 만약 d가 정수라면, 위치 (n, m)에서의 화소값 I(n, m)은 수학식 3에 의해서 보간된다(단계 72). 그러나, 만약 d 가 0이 아니고 비정수라면, 위치 (n, m)에서의 화소값 I(n, m)은 방향성 겹선형 방법을 사용하여 결정되는데, 먼저 수학식 6과 7에 의해서 계수 p₁ 및 p₂를 각각 결정하고(단계 74), 그 다음 수학식 5에 따라 화소값 I(n, m)을 결정한다(단계 76).

그와 같이 하여, 본 발명은 보간된 화상에 명백한 인위요소들을 도입함이 없이 경계 방향 정보를 효과적으로 검출하고 이용하는 경계 방향 기반의 화상 보간 방법을 제공한다.

전술한 본 발명에 따른 장치/시스템(20)은 프로세서에 의해 실행되는 프로그램 명령들, ASIC와 같은 논리 회로, 또는 펌웨어 등, 당업자에 의해 다양한 형태로 구현될 수 있다. 따라서, 본 발명은 기술된 실시예들에 한정되지 않는다.

본 발명은 그 바람직한 태양들을 참고로 하여 상당한 정도로 상세히 기술되었으나, 다른 태양들도 가능하다. 그러므로, 첨부된 청구범위의 본지와 범위는 바람직한 태양들에 한정되어서는 안된다.

Claims

화소들로 이루어진 복수개의 선들을 갖는 화상으로부터 선택된 두 개의 선들 사이의 선을 구성하는 화소들 중에서 선택된 화소를 보간하기 위한 방법으로서,

두 선택된 선 사이의 경계 방향들을 검출하는 단계와;

상기 검출된 경계 방향들로 경계 방향 맵을 구성하는 단계;

상기 경계 방향 맵으로부터 인접한 경계 방향들 간의 상관들을 점검하여 인접한 경계 방향들과 유사 방향성이 없는 잘못된 검출 경계 방향들을 제거하는 단계; 및

검출된 경계 방향들을 따라 두 선택된 선들로부터 복수개의 화소값들을 사용하여 상기 두 선들 사이의 선택된 화소를 보간하는 단계를 포함하는,

경계 방향에 기초한 영상 보간 방법.
제 1 항에 있어서, 경계 방향들을 검출하는 단계는 추가적으로,

두 선택된 선들 중 하나의 화소들로부터의 복수개의 인접하는 화소들에 기초하고 상기 선택된 화소에 관련되는 벡터들을 생성하는 단계와;

상기 벡터들 간의 상관을 점검하여 선택된 화소에 근사한 경계들을 검출하는 단계를 포함하는,

경계 방향에 기초한 영상 보간 방법.
제 1 항에 있어서, 잘못된 검출 경계 방향들을 제거하는 단계는 추가적으로,

인접한 검출 경계 방향들 간의 상관들을 점검하여서 잘못된 검출 경계 방향들을 제거하는 것에 의해 검출된 경계 방향들을 필터링하는 단계를 포함하는,

경계 방향에 기초한 영상 보간 방법.
제 1 항에 있어서, 잘못된 검출 경계 방향들을 제거하는 단계는 추가적으로,

경계 방향들을 따른 및 경계 방향들을 가로지르는 인접한 검출 경계 방향들 간의 상관들을 점검함에 의해서 잘못된 검출 경계 방향들을 제거하는 것에 의해 검출된 경계 방향들을 필터링하는 단계를 포함하는,

경계 방향에 기초한 영상 보간 방법.
제 1 항에 있어서, 잘못된 검출 경계 방향들을 제거하는 단계는 추가적으로,

만약 어떤 경계 방향이 인접한 경계 방향들과 잘 상관되지 않는다면 그 경계 방향을 제거하는 것과 같은 방식으로 하여, 인접한 검출 경계 방향들 간의 상관들을 점검하는 단계를 포함하는,

경계 방향에 기초한 영상 보간 방법.
제 1 항에 있어서,

잘못된 검출 경계 방향들을 제거하는 단계는 잘못된 검출 경계 방향들을 경계 방향 맵으로부터 제거하는 단계들을 추가적으로 포함하는,

경계 방향에 기초한 영상 보간 방법.
제 1 항에 있어서, 선택된 화소는 비월 주사 내의 두 인접한 주사선들의 중심에 위치하는,

경계 방향에 기초한 영상 보간 방법.
제 1 항에 있어서, 경계 방향에 기초하여 보간하는 단계는 추가적으로,

(i) 경계 방향들이 수직인지 아닌지 경계 방향의 방향성을 결정하는 단계와;

(ii) 만약 경계 방향이 수직이라면, 선택된 화소와 동일한 행 내의 화소들을 사용하여, 수직 방향을 따라 선택된 화소를 보간하는 단계와;

(iii) 만약 경계 방향이 수직이 아니면서 정수인 방향값을 갖는다면, 경계 방향에 의해서 연결되는 적어도 둘 이상의 화소들을 사용하여, 경계 방향을 따라 선택된 화소를 보간하는 단계와;

(iv) 만약 경계 방향이 수직이 아니고 비정수값을 갖는다면, 방향성 겹선형 방법에서의 경계 방향을 따른 인접 샘플들을 사용하여, 경계 방향을 따라 선택된 화소를 보간하는 단계를 포함하는,

경계 방향에 기초한 영상 보간 방법.
제 8 항에 있어서, 선택된 화소값을 보간하는 것은 2 탭 유한 임펄스 응답 필터를 사용하여 수행되는,

경계 방향에 기초한 영상 보간 방법.
제 9 항에 있어서, 단계 (ii)에서 선택된 화소를 보간하는 것은 수학식,

를 구현하는 2 탭 유한 임펄스 응답 필터를 사용하여 수행되고,

여기서, I(.,.)는 휘도값이고, (n, m)은 화상 내의 선택된 화소의 위치이고, (n-1, m) 및 (n+1, m)은 하나의 행 내에서 선택된 화소의 바로 위 및 바로 아래의 두 화소 위치인,

경계 방향에 기초한 영상 보간 방법.
제 8 항에 있어서, 선택된 화소를 보간하는 것은 4 탭 유한 임펄스 응답 필터를 이용하여 수행되는,

경계 방향에 기초한 영상 보간 방법.
제 11 항에 있어서, 단계 (ii)의 선택된 화소를 보간하는 단계는 수학식,

를 구현하는 4 탭 유한 임펄스 응답 필터를 이용하여 수행되고,

여기서, I(.,.)는 휘도값이고, (n, m)은 화상 내의 선택된 화소의 위치인,

경계 방향에 기초한 영상 보간 방법.
제 8 항에 있어서, 단계 (iii)의 선택된 화소를 보간하는 단계는 추가적으로,

경계 방향에 의해서 연결되는 두 화소의 평균값을 구하는 단계와;

그 평균값을 선택된 화소에 대한 보간값으로 사용하는 단계를 포함하는,

경계 방향에 기초한 영상 보간 방법.
제 8 항에 있어서, 단계 (iii)의 보간은 수학식,

에 따라서 수행되고,

여기서, I(.,.)는 휘도값이고, (n, m)은 화상 내의 선택된 화소의 위치이며, d 는 선택된 화소에 대한 방향값인,

경계 방향에 기초한 영상 보간 방법.
제 8 항에 있어서, 단계 (iv)에서 선택된 화소에 대한 보간값은 방향성 겹선형 방법에서의 경계 방향을 따라 네 개의 인접한 샘플들을 사용하여 결정되는,

경계 방향에 기초한 영상 보간 방법.
제 8 항에 있어서, 단계 (iv)에서 방향성 겹선형 방법에서의 보간은 수학식,

에 따라 수행되고,

여기서, I(.,.)는 휘도값, (n, m)은 화상 내의 선택된 화소의 위치, d 는 선택된 화소에 대한 방향값, int 는 0에 가장 가까운 정수값으로 라운딩하는 라운딩 함수, sgn 은 부호함수, 그리고 p₁ 과 p₂는 식,

로 정의되어 선택된 화소의 방향값 d와 관련되는 계수인,

경계 방향에 기초한 영상 보간 방법.
화소들로 이루어진 복수개의 선들을 갖는 화상으로부터 선택된 두 개의 선들 사이의 선을 구성하는 화소들 중에서 선택된 화소를 보간하는 화상 보간 시스템으로서,

두 선택된 선 사이의 경계 방향들을 검출하고, 상기 검출된 경계 방향들로 경계 방향 맵을 구성하는 경계 검출기와;

상기 경계 방향 맵으로부터 인접한 경계 방향들 간의 상관들을 점검하여 인접한 경계 방향들과 유사 방향성이 없는 잘못된 검출 경계 방향들을 제거하는 경계 방향 필터와;

검출된 경계 방향들을 따라 두 선택된 선들로부터 복수개의 화소값들을 사용하여 상기 두 선들 사이의 선택된 화소를 보간하는 방향성 보간기를 포함하는,

경계 방향에 기초한 영상 보간 시스템.
제 17 항에 있어서, 상기 경계 검출기는 추가적으로,

두 선택된 선들 중 하나의 화소들로부터의 복수개의 인접하는 화소들에 기초하고 상기 선택된 화소에 관련되는 벡터들을 생성하며;

상기 벡터들 간의 상관을 점검하여 선택된 화소에 근사한 경계들을 검출하는

경계 방향에 기초한 영상 보간 시스템.
제 17 항에 있어서, 상기 경계 방향 필터는 인접한 검출 경계 방향들 간의 상관들을 점검하는 것에 의해서 잘못된 검출 경계 방향들을 제거하는,

경계 방향에 기초한 영상 보간 시스템.
제 17 항에 있어서, 상기 경계 방향 필터는 경계 방향들을 따른 및 경계 방향들을 가로지르는 인접한 검출 경계 방향들 간의 상관들을 점검하는 것에 의해서 잘못된 검출 경계 방향들을 제거하는,

경계 방향에 기초한 영상 보간 시스템.
제 17 항에 있어서, 상기 경계 방향 필터는, 만약 어떤 경계 방향이 인접한 경계 방향들과 잘 상관되지 않는다면 그 경계 방향이 제거되도록, 인접한 검출 경계 방향들 간의 상관들을 점검함에 의해서 잘못된 검출 경계 방향들을 제거하는,

경계 방향에 기초한 영상 보간 시스템.
제 17 항에 있어서, 선택된 화소는 비월 주사 내의 두 인접한 주사선들의 중심에 위치하는,

경계 방향에 기초한 영상 보간 시스템.
제 17 항에 있어서, 방향성 보간기는 추가적으로,

(ii) 만약 경계 방향이 수직이라면, 방향성 보간기가 선택된 화소와 동일한 행 내의 화소들을 사용하여, 수직 방향을 따라 선택된 화소를 보간하고;

(iii) 만약 경계 방향이 수직이 아니면서 정수인 방향값을 갖는다면, 방향성 보간기가 경계 방향에 의해서 연결되는 적어도 둘 이상의 화소들을 사용하여, 경계 방향을 따라 선택된 화소를 보간하며;

(iv) 만약 경계 방향이 수직이 아니고 비정수값을 갖는다면, 방향성 보간기가 방향성 겹선형 방법에서의 경계 방향을 따른 인접 샘플들을 사용하여, 경계 방향을 따라 선택된 화소를 보간하도록 구성된,

경계 방향에 기초한 영상 보간 시스템.
제 23 항에 있어서, 상기 방향성 보간기는 2 탭 유한 임펄스 응답 필터를 포함하여 구성되는,

경계 방향에 기초한 영상 보간 시스템.
제 24 항에 있어서, 상기 방향성 보간기는 추가적으로,

만약 경계 방향이 수직이면, 방향성 보간기가 수학식,

를 구현하는 2 탭 유한 임펄스 응답 필터를 사용하여 선택된 화소를 보간하도록 구성되고,

여기서, I(.,.)는 휘도값이고, (n, m)은 화상 내의 선택된 화소의 위치이고, (n-1, m) 및 (n+1, m)은 하나의 행 내에서 선택된 화소의 바로 위 및 바로 아래의 두 화소 위치인,

경계 방향에 기초한 영상 보간 시스템.
제 23 항에 있어서, 상기 방향성 보간기는 4 탭 유한 임펄스 응답 필터를 포함하여 구성되는,

경계 방향에 기초한 영상 보간 시스템.
제 26 항에 있어서, 방향성 보간기는 추가적으로,

만약 경계 방향이 수직이면 방향성 보간기가 수학식,

를 구현하는 4 탭 유한 임펄스 응답 필터를 이용하여 선택된 화소를 보간하도록 구성되고,

여기서, I(.,.)는 휘도값이고, (n, m)은 화상 내의 선택된 화소의 위치인,

경계 방향에 기초한 영상 보간 시스템.
제 23 항에 있어서, 상기 방향성 보간기는 추가적으로,

만약 경계 방향이 수직이 아니면서 정수 방향값을 갖는 다면, 방향성 보간기가 경계 방향에 의해서 연결되는 두 화소의 평균값을 구한 다음, 그 평균값을 선택된 화소에 대한 보간값으로 사용하도록 구성되는,

경계 방향에 기초한 영상 보간 시스템.
제 23 항에 있어서, 상기 방향성 보간기는 추가적으로,

만약 경계 방향이 수직이 아니고 정수의 방향값을 갖는다면, 방향성 보간기가 수학식,

에 따라서 선택된 화소를 보간하도록 구성되고,

여기서, I(.,.)는 휘도값이고, (n, m)은 화상 내의 선택된 화소의 위치이며, d 는 선택된 화소에 대한 방향값인,

경계 방향에 기초한 영상 보간 시스템.
제 23 항에 있어서, 상기 방향성 보간기는 추가적으로, 만약 경계 방향이 수직이 아니고 비정수값을 갖는다면, 방향성 보간기가 방향성 겹선형 방법에서의 경계 방향을 따라 네 개의 인접한 샘플들을 사용하여 선택된 화소의 값을 보간하도록 구성되는,

경계 방향에 기초한 영상 보간 시스템.
제 23 항에 있어서, 상기 방향성 보간기는 추가적으로,

만약 경계 방향이 수직이 아니고 비정수값을 갖는다면, 방향성 보간기가 수학식,

에 따라 선택된 화소의 값을 보간하도록 구성되고,

여기서, I(.,.)는 휘도값, (n, m)은 화상 내의 선택된 화소의 위치, d 는 선택된 화소에 대한 방향값, int 는 0에 가장 가까운 정수값으로 라운딩하는 라운딩 함수, sgn 은 부호함수, 그리고 p₁과 p₂ 는 식,

로 정의되어 선택된 화소의 방향값 d와 관련되는 계수인,

경계 방향에 기초한 영상 보간 시스템.