KR100547135B1

KR100547135B1 - 에지 방향 필터링을 위한 필터링 방법 및 시스템

Info

Publication number: KR100547135B1
Application number: KR1020030054206A
Authority: KR
Inventors: 왕시앙린
Original assignee: 삼성전자주식회사
Priority date: 2002-11-08
Filing date: 2003-08-05
Publication date: 2006-01-26
Also published as: US6798422B2; US20040090443A1; KR20040041489A; US20050008248A1

Abstract

정확한 에지 방향들을 유지하고, 거짓 에지들 또는 잘못된 방향들을 갖는 에지들을 필터링 제거하기 위한, 필터링 방법 및 필터링 시스템이 에지 방향 검출 시스템으로부터 얻어진 에지 배향 맵에 적용된다. 에지 방향이 소정의 최소 길이를 갖지 아니하는 경우에는, 그 방향은 필터링 제거되고, 디폴트 방향이 제공된다. 에지 방향이 소정의 최소 폭을 갖도록 보장함으로써 부가적인 보증이 얻어질 수 있다. 에지 방향이 최소 폭을 갖지 않는 경우에는, 그 에지 방향은 필터링 제거되고 디폴트 방향이 제공된다. 방향 평활기가 이웃 에지 방향들의 전이를 매끄럽게 하기 위하여 에지 배향 맵 중의 방향들에 적용될 수도 있다. 이러한 프로세스는 에지 방향들에 기초하여 보간된 영상의 화질을 향상시키는데 효과적인 것으로 나타났다.

Description

에지 방향 필터링을 위한 필터링 방법 및 시스템 {Method and filtering system for filtering edge directions}

도 1은 에지 방향의 개념을 설명하기 위한 도면이고;

도 2는 방향 길이 필터를 포함하는 본 발명의 제1 구현예에 대한 블록도이고;

도 3은 방향 길이 필터 및 방향 폭 필터를 포함하는 본 발명의 제2 구현예에 대한 블록도이고;

도 4는 방향 길이 필터, 방향 폭 필터, 및 방향 평활기를 포함하는 본 발명의 제3 구현예에 대한 블록도이고;

도 5는 영상 디인터레이싱 (image deinteracing) 응용에서의 에지 검출을 위한 위치들을 보여 주는 도면이고;

도 6은 영상 스케일링 응용에서의 에지 검출을 위한 위치들을 보여 주는 도면이고;

도 7은 다른 배향 (orientation)들을 갖는 방향들을 나타내기 위한 넘버링 방법을 설명하기 위한 도면이고;

도 8은 방향 필터링 프로세스의 예를 보여 주는 도면이고;

도 9는 어느 방향이 에지 배향 맵 중에서 그에 이웃한 상단 열 (upper row) 로 연장될 수 있는지를 결정하기 위하여 사용되는 chkup 방법에 대한 흐름도이고;

도 10은 어느 방향이 에지 배향 맵 중에서 그에 이웃한 하단 열 (lower row)로 연장될 수 있는지를 결정하기 위하여 사용되는 chkdn 방법에 대한 흐름도이고;

도 11은 어느 방향이 에지 배향 맵 중에서 그 두 개 위의 열로 연장될 수 있는지를 결정하기 위하여 사용되는 chkup2 방법에 대한 흐름도이고;

도 12는 어느 방향이 에지 배향 맵 중에서 그 두 개 아래의 열로 연장될 수 있는지를 결정하기 위하여 사용되는 chkdn2 방법에 대한 흐름도이고;

도 13은 방향 길이 필터링 프로세스에 대한 흐름도이고; 또한

도 14는 방향 폭 필터링 프로세스에 대한 흐름도이다.

본 발명은 비월 주사 (interlaced scan) 또는 비비월 주사 (non-interlaced scan)로부터 탐지된 에지 배향 맵 (edge orientation map)에서의 에지 방향 필터링을 위한 방법 및 시스템에 관한 것이다. 필터링된 에지 방향은 보간된 영상 (interpolated image)에서 에지들의 평활도 (smoothness)를 보존하기 위한 영상 보간 프로세스 (image interpolation process)에서 사용될 수 있다.

도 1을 참조하면, "에지 방향 (edge direction)"이라는 용어의 의미를 이해할 수 있다. 에지 방향을 따라서는, 픽셀의 휘도 (luminance) 수치가 일정하거나 또는 점진적으로 변화하지만, 에지 방향을 가로질러서는, 픽셀의 휘도 수치가 급격 하게 변화한다.

영상 보간은 대개 영상 디인터레이싱 (de-interlacing) 및 영상 스케일링 (scaling) 응용 모두에서 수행된다. 영상 보간을 위한 다양한 종류의 방법들이 사용되고 있지만, 대부분의 방법들에서의 한 가지 보편적인 문제점은 보간된 영상과 연계된 톱니 선 (serrate line) 효과와 같은 에지들의 열화 (degradation)이다. 이러한 문제점을 극복하기 위해서, 영상 중 에지 방향들을 찾아 내어 이러한 방향들을 따라서 영상 보간을 수행함으로써 에지들의 평활도가 보존될 수 있도록 하는 것이 바람직하다.

에지 위치 검출 및 에지 방향 검출을 포함하는 에지 검출에 대해서는 많은 수의 방법들이 공지되어 있다. 그러나, 대부분의 에지 검출 방법들은 영상 노이즈 (image noise)에 민감하다. 이에 더하여, 하나의 영상 내의 주어진 픽셀에 이웃한 것들은 에지 검출 방법이 처리하는 수 많은 케이스를 가질 수 있다. 결과적으로, 반드시 그러한 것은 아니지만, 일반적으로 에지 검출 시스템이 소정 비율의 거짓 에지 위치들 또는 거짓 에지 방향들을 제공하게 된다.

반면에, 에지 방향들이 디인터레이싱 또는 스케일링과 같은 영상 응용에서 사용되는 경우에는 그 에지 방향들의 정확성이 매우 중요한 역할을 하게 된다. 에지 방향에 기초한 영상 디인터레이싱에 있어서, 에지 방향은 보간되는 각 픽셀의 위치에서 검출될 수 있다. 다음으로, 각 에지 픽셀들에 대해서, 에지 방향들을 따라서 보간이 수행되어, 보간된 영상 중 에지들의 평활도를 보존할 수 있다. 동일한 아이디어가 영상 스케일링에도 적용될 수 있다. 그러나, 이러한 응용들에서, 만일 검출된 에지가 거짓이거나 또는 에지 방향이 올바르지 않게 되면, 보간된 영상 내에 명백한 오차가 도입될 수도 있다. 그러므로, 에지 방향들이 이러한 종류의 응용들에서 이용되는 경우에는, 거짓 에지들 또는 잘못된 방향들을 갖는 에지들은 그러한 에지 정보가 사용되기 전에 배제되어야 한다.

따라서, 본 발명이 이루고자 하는 기술적 과제는, 상기 언급한 종래 방법들 및 이러한 일반적 유형의 장치들의 단점들을 극복할 수 있는, 에지 방향 필터링을 위한 필터링 방법 및 시스템을 제공하는 것이다.

더욱 구체적으로, 본 발명의 과제는 에지 방향 검출 시스템으로부터 얻어진 에지 배향 맵에 적용될 수 있는 필터링 방법을 제공하는 것이다. 상기 필터링 방법은 정확한 에지 방향들을 유지할 수 있으며, 거짓 에지들 또는 잘못된 방향들을 갖는 에지들을 필터링 제거 (filter out) 해낼 수 있다.

본 발명의 과제를 달성하기 위하여, 방향 길이 필터링 프로세스 (direction length filtering process)를 수행하기 위한 방향 길이 필터가 제공된다. 상기 방향 길이 필터는 에지 방향에 의하여 지시되는 방향을 따라서 에지 방향을 필터링하는데 사용된다. 현재 방향을 따라서, 이웃한 에지 방향들이 검사되는 현재 방향에 유사한 배향들을 갖는지 여부가 검사된다. 만일 이웃한 방향들이 현재 방향과 매우 다른 배향들을 갖는다면, 그 현재 방향은 필터링 제거된다. 이러한 필터링에 대한 가정은 유효 에지 방향 (valid edge direction)이 연장될 수 있어야 하며, 따 라서 소정의 최소 길이를 가져야 한다는 점이다.

또한, 방향 폭 필터링 프로세스 (direction width filtering process)를 수행하기 위한 방향 폭 필터가 제공된다. 에지 배향 맵 중에서 방향의 폭은 에지 방향들이 현재 방향과 근접한 수평 방향을 따르는 연속적인 이웃 포지션들의 갯수로서 정의된다. 방향 폭 필터는 에지 배향 맵 중에서 지나치게 얇은 에지 방향들을 필터링 제거하는데 사용된다. 만일 수평 방향을 따라서 현재 방향과 유사한 배향들을 갖는 연속적인 이웃 에지 방향들의 소정의 최소 갯수가 존재한다면, 그러한 현재 방향은 유지된다. 그렇지 않은 경우에는, 현재 방향은 필터링 제거된다.

또한, 방향 평활 프로세스 (direction smoothing process)를 수행하기 위한 방향 평활기 (direction smoother)가 제공된다. 상기 방향 평활기는 기본적으로 저역 필터 (low pass filter)이다. 상기 방향 평활기가 에지 배향 맵 중의 방향들에 가해지는 경우에는, 상기 필터는 이웃 에지 방향들의 변화를 매끄럽게 할 수 있다. 이러한 프로세스는 에지 방향들에 기초하여 보간된 영상의 화질을 향상시키는데 있어서 효율적인 것으로 나타났다.

상기 및 다른 과제들을 고려하여, 본 발명에 따르면 에지 방향을 필터링하기 위한 방법이 제공된다. 상기 방법은:

(a) 에지 배향 맵 중의 소정의 열 (row) 중에서 에지 방향을 갖는 소정 픽셀을 선택하는 단계;

(b) 상기 소정 픽셀로부터 상기 에지 배향 맵 중의 이웃 상단 열로 상기 소정 픽셀의 에지 방향을 따라 횡단함으로써 상기 소정 픽셀에 대한 이웃 상단 에지 방향 (neighboring upper edge direction)을 갖는 이웃 상단 픽셀들을 검색하는 단계;

(c) 상기 소정 픽셀로부터 상기 에지 배향 맵 중의 이웃 하단 열로 상기 소정 픽셀의 에지 방향을 따라 횡단함으로써 상기 소정 픽셀에 대한 이웃 하단 에지 방향 (neighboring lower edge direction)을 갖는 이웃 하단 픽셀들을 검색하는 단계;

(d) 상기 소정 픽셀의 에지 방향 및 이웃 상단 에지 방향 사이의 배향 유사성을 검사함으로써, 상기 소정 픽셀의 에지 방향이 이웃 상단 열 (neighboring upper row)로 연장될 수 있는지 여부를 결정하는 단계;

(e) 상기 소정 픽셀의 에지 방향 및 이웃 하단 에지 방향 사이의 배향 유사성을 검사함으로써, 상기 소정 픽셀의 에지 방향이 이웃 하단 열 (neighboring lower row)로 연장될 수 있는지 여부를 결정하는 단계;

(f) 상기 소정 픽셀의 에지 방향이 상기 이웃 상단 열 및 상기 이웃 하단 열 양자 모두로 연장될 수 있는 경우에는, 상기 소정 픽셀의 에지 방향이 유효한 것으로 가정하는 단계;

(g) 상기 소정 픽셀의 에지 방향이 이웃 하단 열로는 연장될 수 없으나, 상기 소정 픽셀의 에지 방향이 상기 이웃 상단 픽셀들 중의 하나로는 연장될 수 있고, 상기 이웃 상단 픽셀들 중의 하나에서의 이웃 상단 에지 방향이 상기 에지 배향 맵의 또 다른 이웃 상단 열로 연장될 수 있는 경우에는, 상기 소정 픽셀의 에지 방향이 유효한 것으로 가정하는 단계;

(h) 상기 소정 픽셀의 에지 방향이 이웃 상단 열로는 연장될 수 없으나, 상기 소정 픽셀의 에지 방향이 이웃 하단 픽셀들 중의 하나로는 연장될 수 있고, 상기 이웃 하단 픽셀들 중의 하나에서의 이웃 하단 에지 방향이 에지 배향 맵의 또 다른 이웃 하단 열로 연장될 수 있는 경우에는, 상기 소정 픽셀의 에지 방향이 유효한 것으로 가정하는 단계; 및

(i) 상기 (f), (g) 및 (h) 이외의 경우에는, 상기 소정 픽셀의 에지 방향이 유효하지 않은 것으로 가정하는 단계를 포함한다.

본 발명의 부가적인 특징에 따라서, 상기 소정 픽셀 (x, y) 의 에지 방향은 d(x, y) 로 표현되고, 이웃 상단 픽셀들을 검색하는 단계는 하기 식을 사용하는 것을 포함한다:

부가하여, 이웃 하단 픽셀들을 검색하는 단계는 하기 식을 사용하는 것을 포함한다:

본 발명의 부가적인 특징에 따라서, 상기 소정 픽셀의 에지 방향 및 이웃 상단 에지 방향 사이의 배향 유사성을 검사하는 단계는:

a) 검사 함수 chkup(x, y) 를 하기와 같이 정의하는 단계:

b) chkup(x, y) 가 1인 경우에는 상기 소정 픽셀의 에지 방향이 이웃 상단 열로 연장될 수 있는 것으로 결론 짓는 단계를 포함하고; 또한

상기 소정 픽셀의 에지 방향 및 이웃 하단 에지 방향 사이의 배향 유사성을 검사하는 단계는:

a) 검사 함수 chkdn(x, y) 를 하기와 같이 정의하는 단계:

b) chkdn(x, y) 가 1인 경우에는 상기 소정 픽셀의 에지 방향이 이웃 하단 열로 연장될 수 있는 것으로 결론 짓는 단계를 포함한다.

상기 식에서, T ₁ 은 0 보다 크고, 이웃 에지 방향들의 상관 관계를 입증하기에 충분히 작지만, 미세하게 다른 방향들이 잔류할 정도로 충분히 작지는 않도록 선택된 문턱값 (threshold value)이다.

본 발명의 또 다른 특징에 따라서, 상기 방법은:

검사 함수 chkup2(x, y) 를 하기와 같이 정의하는 단계;

검사 함수 chkdn2(x, y) 를 하기와 같이 정의하는 단계;

상기 검사 함수 chkup2(x, y) 가 1의 값을 갖는 경우에는, 이웃 상단 픽셀들 중의 하나에서의 이웃 상단 에지 방향이 에지 배향 맵의 또 다른 이웃 상단 열로 연장될 수 있는 것으로 결론 짓는 단계; 및

상기 검사 함수 chkdn2(x, y) 가 1의 값을 갖는 경우에는, 이웃 하단 픽셀들 중의 하나에서의 이웃 하단 에지 방향이 에지 배향 맵의 또 다른 이웃 하단 열로 연장될 수 있는 것으로 결론 짓는 단계를 포함한다.

본 발명의 또 다른 특징에 따르면, 상기 소정 픽셀의 에지 방향이 상기 소정 열 (row) 중에서 두 개의 수평으로 이웃한 방향들로부터의 문턱값 이내인 경우에는, 상기 소정 픽셀의 에지 방향이 유효한 것으로 최종 결론을 짓게 된다.

본 발명의 또 다른 부가적인 특징에 따르면, 상기 방법은: 상기 소정 픽셀의 에지 방향 및 상기 소정 열 중의 두 개의 수평으로 이웃한 방향들 사이의 배향 유사성을 결정함으로써 상기 소정 픽셀의 에지 방향의 폭을 검사하는 단계를 포함한다.

본 발명의 또 다른 부가적인 특징에 따르면, 상기 소정 픽셀 (x, y) 의 에지 방향은 d(x, y) 로 표현되고, 상기 소정 픽셀의 에지 방향의 폭을 검사하는 단계는 하기 식을 사용하는 것을 포함한다:

상기 식에서, T ₂ 는 0 보다 크고, 이웃 에지 방향들의 상관 관계를 입증하기에 충분히 작지만, 미세하게 다른 방향들이 잔류할 정도로 충분히 작지는 않도록 선택된 문턱값이다.

본 발명의 또 다른 부가적인 특징에 따르면, 상기 방법은 이웃 에지 방향들 사이의 전이 (transition)를 매끄럽게 하기 위한 필터링 프로세스를 수행하는 것을 포함한다.

본 발명의 또 다른 부가적인 특징에 따르면, 상기 방법은 필터링 프로세스에 대하여 3-탭 필터를 사용하는 단계; 및 식 d _s (x, y) = (d(x, y-1) + 2*d(x, y) + d(x, y+1))/4 를 이용하여 상기 3-탭 필터를 구현 (implementing)하는 단계를 포함한다. 여기에서, d _s (x, y) 는 필터링된 출력 방향이다.

상기 서술한 사항들 및 다른 과제들을 고려하여, 본 발명에 따르면 또한, 에지 배향 맵 중에서 현재 에지 방향을 이웃 상단 열들 및 이웃 하단 열들로 연장하기 위한 방향 길이 필터를 포함하는 에지 방향 필터링 시스템이 제공된다. 상기 방향 길이 필터는 현재 에지 방향 및 현재 에지 방향을 따라 위치한 이웃 에지 방향들 사이의 배향 유사성을 검사하기 위한 것이다. 상기 방향 길이 필터는, 현재 에지 방향이 에지 배향 맵 중에서 소정 갯수의 이웃 열들로 연장될 수 있는 경우에는, 현재 에지 방향이 유효하다는 것을 나타낸다.

본 발명의 부가적인 특징에 따르면, 수평 방향에 따라서 현재 에지 방향을 필터링하기 위한 방향 폭 필터가 제공된다. 상기 방향 폭 필터는 상기 현재 에지 방향 및 에지 배향 맵 중에서 상기 현재 에지 방향을 갖는 열 (row) 상의 이웃 에지 방향들 사이의 배향 유사성을 검사하기 위한 것이다. 상기 방향 폭 필터는, 상 기 현재 에지 방향을 갖는 상기 열 상의 소정 갯수의 연속적인 이웃 에지 방향들이 상기 현재 에지 방향과 유사한 배향을 갖는 경우에는, 현재 에지 방향이 유효하다는 것을 나타낸다.

본 발명의 부가적인 특징에 따르면, 에지 배향 맵의 수평으로 이웃한 에지 방향들 사이의 전이를 평활화하기 위하여 저역 필터가 제공된다.

본 명세서 중, {d(·,·)} 는 비월 또는 비비월 주사 방법에 의하여 생성된 영상 중에서 검출된 에지 방향을 나타낸다. 영상 디인터레이싱 응용에서, 에지 방향들은 보간될 각각의 픽셀 위치에서 검출된다. 이러한 경우가 도 5에 도시되어 있으며, 도면에서 d(n, m) 은 픽셀 (n, m) 위치에서의 방향을 나타낸다. 블랙 픽셀들은 현재 장 중에서 이용가능한 것들이고, 화이트 픽셀들은 보간될 것들이다. 각 화이트 픽셀의 위치에서의 에지 방향에 기초하여, 그 방향을 따라서 보간이 수행된다. 각 영상 필드에 대하여, {d(·,·)} 로 표시되는 모든 에지 방향들이 에지 배향 맵을 구성한다.

유사한 방법이 영상 스케일링 응용에도 적용된다. 예를 들어, 도 6의 "◇"로 표시된 각 위치에서 나타낸 바와 같이, 이웃 열들 사이에서 에지 방향들이 검출될 수 있다. 검출된 모든 방향들은 에지 배향 맵을 구성한다. 보간될 임의의 위치들에 대해서는, 에지 배향 맵 중에서 보간함으로써 그 위치에서의 에지 방향이 얻어질 수 있다. 상기 방향에 기초하여, 영상 보간이 그에 따라 수행된다.

상기 언급한 종류의 응용들에 대해서, 에지 방향들의 정확성은 전체 시스템 성능과 관련하여 매우 중요하다. 영상 보간이 각 위치에서의 에지 방향을 따라서 수행되므로, 에지 방향이 잘못되거나 또는 부정확한 경우에는 명백한 오차가 발생될 수도 있다. 그러므로, 에지 방향 필터링은, 에지 배향 맵이 보간에 사용되기 이전에 에지 배향 맵으로부터 잘못되거나 부정확한 방향들을 제거해준다는 점에서 중요하다.

간단히 말하면, 본 발명에 대한 하기 서술은 영상 디인터레이싱 응용으로부터 발생된 에지 배향 맵에 기초한 것이다. 그러나, 위에 서술된 과정들은 영상 스케일링 장치로부터 발생된 에지 배향 맵에도 적용될 수 있다.

에지 배향 맵은 다른 배향을 갖는 각각의 방향에 다른 수치를 할당함으로써 표시된다. 이웃 방향들은 이웃한 수치들을 갖는다. 방향 넘버링 방법은 도 7에 도시되어 있다. 수직 방향에는 수치 0이 할당된다. 비-수직 방향에 대해서는, 그 수치는 현재 픽셀의 상단 열 또는 하단 열 상의 수직 방향으로부터 시프트된 픽셀들의 갯수와 연관된다. 예를 들어, 픽셀 (n+1, m-1) 및 픽셀 (n-1, m+1) 을 연결하는 방향에는 수치 1이 할당된다. 픽셀 (n-1, m-1) 및 픽셀 (n+1, m+1) 을 연결하는 방향에는 수치 -1이 할당된다. 일반적 형태로, 픽셀 (n+1, m-i) 및 픽셀 (n-1, m+i) 을 연결하는 방향에는 수치 i가 할당된다. 여기에서, i은 양의 값 및 음의 값일 수 있다.

일단 잘못된 방향이 필터링 제거되면, 그 위치에서는 어떠한 에지 방향 정보도 보간을 위하여 사용되어서는 안된다. 그와 같은 경우에는, 보간이 수직 방향을 따라서 수행될 수 있다. 그러므로, 수직 방향은 디폴트 보간 방향으로 간주될 수 있다.

도 2에 도시된 바와 같이, 본 발명에 따른 제1 구현예는 방향 길이 필터링 과정을 수행하는 방향 길이 필터 (1)만으로 구성되어 있다. 방향 길이 필터링에 기초가 되는 가정은, 현재 방향 및 에지를 따른 그에 이웃한 방향들 사이에 일관성 (consistency)이 있어야 한다는 점, 즉 유효 에지가 그 자신의 방향을 따라서 소정의 길이를 가져야 한다는 점이다. 상기 길이가 너무 짧은 경우에는, 이러한 에지는 영상의 일부 국소 기만 영역들 (local tricky areas)에 속하는 것일 수도 있으며, 상기 에지의 검출된 방향은 신뢰할 만하지 않다. 이러한 경우에는, 이러한 에지 방향은 보간을 위하여 사용하지 않는 것이 안전하다. 반면에, 인간 시각 시스템은 그와 같은 기만 영역들에서 에지 열화 (degradation)에 덜 민감하며, 따라서 그러한 영역들에서는 단순히 수직 보간을 사용하는 것이 합리적이다.

본 발명에서, 유효 에지에 대한 길이 요구사항은 하기와 같이 정의된다: 에지 배향 맵 중에서 최소한 3열을 따라서 에지를 연장시킬 수 있을 것. 길이 요구사항을 더욱 명확하게 하기 위하여, 하기와 같은 함수들이 정의된다:

상기 식에서, d(x, y) 는 픽셀 (x, y) 위치에서의 에지 방향 값이다. 함수 c _u (x, y) 및 c _d (x, y) 는 하기 식 (3) 및 (4)에서 정의된다:

도 8에 도시된 바와 같이, 현재 픽셀은 "A" 로 표시된다. "A" 에서의 에지 방향은 d _A = d(n, m) 이다. 예에서, d _A = 1 이다. d _A 의 방향을 따라서, 에지 배향 맵 중의 이웃 방향들은 "B" 및 "C" 에 위치한다. 상기 (3) 및 (4)의 정의를 따르면, (n-2, c _u (n, m)) 은 실제로는 "B" 의 위치이고, (n+2, c _d (n, m)) 은 "C" 의 위치이다. 그러므로, 식 (1) 및 (2)에 따르면, f(n, m) 및 g(n, m) 은 각각 "B" 및 "C" 에서의 에지 방향들, 즉 d _B = f(n, m) 및 d _C = g(n, m) 을 나타낸다.

식 (1) 및 (2)에 기초하여, 하기 함수들이 또한 정의된다:

명백하게, f _l (n, m) 은 f(n, m) 의 좌측에 위치한 방향이고, f _r (n, m) 은 f(n, m) 의 우측에 위치한 방향이다. 도 8에서, "B _l " 및 "B _r " 은 각각 "B" 의 좌측 및 우측 위치이다. 그러므로, d _Bl = f _l (n, m) 이고 d _Br = f _r (n, m) 이다. 동일한 방식으로, 또 한 d _Cl = g _l (n, m) 및 d _Cr = g _r (n, m) 이다.

상기 함수 정의들에 기초하여, 2 방향 검사 함수들이 정의될 수 있다. 그들 중 하나는 에지 배향 맵 중에서 현재 위치에 대한 이웃 상단 열에서의 방향 일관성을 검사하는데 사용된다. 다른 하나는 에지 배향 맵 중에서 현재 위치에 대한 이웃 하단 열에서의 방향 일관성을 검사하는데 사용된다. 상기 두 개의 검사 함수들은 각각 chkup(x, y) 및 chkdn(x, y) 로 명명된다.

chkup(x, y) 함수에서, 하기 (7) 내지 (9)에 나타낸 3 가지 조건들 중의 어느 하나가 참 값을 갖는다면, 그 이웃 상단 열 중에서 현재 방향에 대한 방향 일관성이 존재한다고 말할 수 있다.

이러한 검사 과정의 흐름도를 도 9에 나타내었다.

도 9에 도시된 chkup(x, y) 함수는 식 (10)으로 표현될 수 있다:

상기 식에서, T _l 은 0 보다 큰 문턱값이다. T _l 이 작은 값을 갖는 경우에는, (7), (8) 또는 (9)에 도시된 이웃 에지 방향들이 서로에 대하여 매우 유사한 배향을 가질 것이 요구된다. T _l 이 0이라면, 이웃 에지 방향들이 정확히 동일한 배향을 가질 것이 요구된다. T _l 의 수치는 이웃 에지 방향들의 상관 관계를 입증할 수 있을 정도로 충분히 작지만, 미소하게 다른 방향들이 잔존할 정도로 너무 작게 선택되어서는 안된다.

chkup(x, y) 가 1인 경우에는, 방향 d(x, y) 가 에지 배향 맵 중에서 그 이웃 상단 열로 연장될 수 있다고 할 수 있다. 유사하게, chkdn(x, y) 함수에서, 하기 (11) 내지 (13)에 나타낸 3 가지 조건들 중의 어느 하나가 참 값을 갖는다면, 그 이웃 하단 열 중에서 현재 방향에 대한 방향 일관성이 존재한다고 말할 수 있다.

이러한 검사 과정의 흐름도를 도 10에 나타내었다.

도 10에 도시된 chkup(x, y) 함수는 식 (14)로 표현될 수 있다:

chkdn(x, y) 가 1인 경우에는, 방향 d(x, y) 가 에지 배향 맵 중에서 그 이웃 하단 열로 연장될 수 있다고 할 수 있다.

유효한 에지를 위한 길이 요구사항에 따르면, chkup(x, y) 및 chkdn(x, y) 양자 모두가 1인 경우, 즉 chkup(x, y) + chkdn(x, y) = 2 인 경우에는, 방향 d(x, y) 가 그 이웃 상단 열 및 이웃 하단 열 모두로 연장될 수 있다. 그러므로, d(x, y) 는 길이 요구사항을 만족시킨다. chkup(x, y) 및 chkdn(x, y) 양자 모두가 0인 경우에는, d(x, y) 가 길이 요구사항을 만족시키지 않고 이것은 유효하지 않다. chkup(x, y) + chkdn(x, y) = 1 인 경우에는, 계속된 검사가 필요하다.

chkup(x, y) = 1 이고 chkdn(x, y) = 0 인 경우를 가정해 본다. 이 경우에는, d(x, y) 가 에지 배향 맵 중에서 이웃 상단 열로는 연장될 수 있지만, 이웃 하단 열로는 연장될 수 없다. 도 8에 도시된 바와 같이, T _l = 1 이라고 가정하면, "C" , "C _l " 및 "C _r " 에서의 어떠한 방향도 "A" 에서의 현재 방향과 일치하지 않는다. 이러한 경우에는, 검사 과정이 에지 배항 맵 중에서 위로 더 진행되어야 한다. 그러므로, n-4 열에서의 방향들이 검사될 필요가 있다.

이 경우 사용된 검사 함수는 chkup2(x, y) 로 명명된다. 이러한 함수는 하기 (15) 내지 (17)에 도시된 3가지 경우들 중의 어느 하나가 참 값이라면 1이라는 수 치를 갖는다:

이러한 검사 과정의 흐름도가 도 11에 도시되어 있다. chkup2(x, y) 함수는 (18)과 같이 표현될 수 있다:

chkup2(x, y) 가 1이라면, 방향 d(x, y) 가 열 n-2 및 n-4 양자 모두로 연장될 수 있다는 것을 의미한다. 그러므로, d(x, y) 는 또한 이러한 경우에도 에지 길이 요구사항을 만족시킨다. 도 8에서, T _l = 1 이라고 가정하면, 위치 "A" 에서의 방향 d(n, m) 은 최소한 "B _l " 로, 다시 B _l " 로부터 "D" 로 연장될 수 있다. 따라서, chkup2(n, m) = 1 이고, d(n, m) 은 길이 요구사항을 만족시킨다.

유사한 방식으로, chkup(x, y) = 0 이고, chkdn(x, y) =1 인 경우에는, 검사 함수 chkdn2(x, y) 가 이러한 경우에 대하여 정의되며, 하기 (19) 내지 (21)에 도시 된 3가지 경우들 중의 어느 하나가 참 값을 갖는다면, 이는 수치 1을 갖는다:

이러한 검사 과정에 대한 흐름도가 도 12에 도시되어 있다. chkdn2(x, y) 함수는 (22)와 같이 표현될 수 있다.

상기 서술에 기초하여, 방향 길이 필터링 조건은 하기와 같이 요약될 수 있다:

(23) 내지 (25) 중의 어느 하나의 조건이 참 값을 가지면, 방향 d(x, y) 는 방향 길이 요구사항을 만족시킨다고 할 수 있다. {d(·,·)} 에 대한 방향 길이 필터링 결과가 {d _L (·,·)} 이라고 가정하면, 방향 길이 필터링 과정의 흐름도는 도 13 에 도시되어 있다.

방향 d(n, m) 이 도 13에 도시된 검사 과정에 따라 유효한 경우에는, 출력 방향은 현재의 방향과 동일하고, 검사 과정은 다음 위치로 이동한다. 현재 방향 d(n, m) 이 유효하지 않은 경우에는, 출력 방향은 현재 방향의 조정된 버젼으로 세팅되어 진다. 영상 디인터레이싱 또는 스케일링 목적에서, 현재 방향이 유효하지 않다면, 즉 d _L (n, m) = 0 인 경우라면, 출력 방향의 조정된 버젼은 단순히 수직 방향이다.

방향 길이 필터 (1)은 에지에 따른 이웃 방향들 사이의 상관 관계를 이용함으로써 거짓 에지 방향들을 제거하는데 있어서 매우 효율적인 것으로 나타났다.

도 3은 방향 길이 필터 (1) 뿐만이 아니라, 방향 폭 필터 (2)도 포함하는 본 발명의 제2 구현예를 도시한 것이다. 방향 길이 필터링 과정이 종료된 경우에는, 방향 폭 필터링 프로세스가 수행된다. 방향 폭 필터링의 기초가 되는 가정은 에지 방향이 수평 방향을 따라서 소정의 폭을 가져야 한다는 사실이다. 본 발명에서는, 유효한 에지에 대한 폭의 요구사항이 하기와 같이 정의된다: 3개 픽셀의 폭 또는 그 보다 넓은 폭을 갖는 에지, 즉 그 방향이 동일한 열에서 유사한 배향을 갖는 최소한 두 개의 이웃한 방향을 가져야 한다.

픽셀 (n, m) 의 위치에 대한 폭의 요구사항은 하기 세 가지 경우들로 표현될 수 있다:

상기 식에서 T ₂ 는 0보다 큰 문턱값이다. T ₂ 가 작은 값을 갖는 경우에는, (26), (27) 또는 (28)에 도시된 이웃 에지 방향들이 서로에 대하여 매우 유사한 배향을 가질 것이 요구된다. T ₂ 가 0인 경우에는, 이웃 에지 방향들이 정확하게 동일한 배향을 가질 것이 요구된다. T ₂ 의 수치는 이웃 에지 방향들의 상관 관계를 입증하기에 충분한 정도로 작게 선택되어야 하지만, 미세하게 다른 방향들이 잔류할 정도로 너무 작게 선택되어서는 안된다.

도 8에 도시된 바와 같이, 조건 (26)은 "A" , "A _l " 및 "A _r " 이 유사한 에지 방향들을 가질 것을 요구한다. 유사하게, 조건 (27)은 "A" , "A _l " 및 "A _ll " 이 유사한 에지 방향을 가질 것을 요구한다. 조건 (28)은 "A" , "A _r " 및 "A _rr " 이 유사한 에지 방향을 가질 것을 요구한다.

픽셀 (n, m) 의 위치에 대하여, (26), (27) 또는 (28) 중의 어느 하나에서의 조건이 참 값을 갖는다면, d(n, m) 은 방향 폭 요구사항을 만족시킨다고 할 수 있 다. {d(·,·)} 에 대한 방향 폭 필터링 결과는 {d _w (·,·)} 로 가정한다. 에지 방향이 요구되는 폭을 갖는지를 확인하는 방향 폭 필터링 프로세스에 대한 흐름도는 도 14에 도시되어 있다.

방향 d(n, m) 이 도 14에 도시된 방향 폭 필터링 프로세스에 따라 유효한 경우에는, 출력 방향은 현재의 방향과 동일하고, 검사 프로세스는 다음 위치로 이동한다. 현재 방향 d(n, m) 이 유효하지 않은 경우에는, 출력 방향은 현재 방향의 조정된 버젼이다. 영상 디인터레이싱 또는 스케일링 목적을 위해서는, 현재 방향이 유효하지 않다면, 즉 d _w (n, m) = 0 인 경우라면, 출력 방향은 단순히 수직 방향으로 세팅될 수 있다.

방향 길이 필터 (1)과 유사하게, 방향 폭 필터 (2) 또한 이웃 방향들 사이의 상관 관계를 이용하지만, 방향 폭 필터는 에지 방향 대신에 수평 방향을 따라서 이를 행한다. 방향 폭 필터 (2)가 시스템 내에서 방향 길이 필터 (1)와 조합된 경우에는, 이는 에지 배향 맵 중의 거짓 에지 방향들을 필터링 제거하는 시스템의 능력을 더욱 향상시키게 된다.

도 4는 방향 길이 필터 (1) 및 방향 폭 필터 (2) 모두를 포함하고, 이에 더하여, 방향 평활기 (3)를 포함하는 본 발명의 제3 구현예를 나타낸 것이다. 이러한 시스템에서, 방향 길이 필터 (1) 및 방향 폭 필터 (2)는 에지 배향 맵으로부터 거짓 에지 방향들을 효과적으로 제거하는 역할을 한다. 방향 평활기 (3)의 기능은 이웃 에지 방향들의 전이를 매끄럽게 하기 위한 것이다.

방향 평활기 (3)는 기본적으로 3-탭 저역 필터이다. {d(·,·)} 에 대한 방향 평활 결과는 {d _s (·,·)} 로 가정한다. 방향 평활기 (3)는 하기 식 (11)로 표현될 수 있다:

이러한 프로세스는 보간된 영상의 화질을 향상시키는데 효과적인 것으로 나타났다.

본 발명의 에지 방향 검출 시스템으로부터 얻어진 에지 배향 맵에 적용될 수 있는 필터링 방법은 정확한 에지 방향들을 유지할 수 있으며, 거짓 에지들 또는 잘못된 방향들을 갖는 에지들을 필터링 제거해낼 수 있다.

Claims

에지 방향을 필터링하기 위한 방법으로서, 상기 방법은:

(a) 에지 배향 맵 중의 소정의 열 (row) 중에서 에지 방향을 갖는 소정의 픽셀을 선택하는 단계;

(b) 상기 소정의 픽셀로부터 상기 에지 배향 맵 중의 이웃 상단 열로 상기 소정의 픽셀의 에지 방향을 따라서 횡단함으로써 상기 소정의 픽셀에 대한 이웃 상단 에지 방향을 갖는 이웃 상단 픽셀들을 검색하는 단계;

(c) 상기 소정의 픽셀로부터 상기 에지 배향 맵 중의 이웃 하단 열로 상기 소정의 픽셀의 에지 방향을 따라서 횡단함으로써 상기 소정의 픽셀에 대한 이웃 하단 에지 방향을 갖는 이웃 하단 픽셀들을 검색하는 단계;

(d) 상기 소정의 픽셀의 에지 방향 및 상기 이웃 상단 에지 방향 사이의 배향 유사성을 검사함으로써, 상기 소정의 픽셀의 에지 방향이 상기 이웃 상단 열로 연장될 수 있는지 여부를 결정하는 단계;

(e) 상기 소정의 픽셀의 에지 방향 및 상기 이웃 하단 에지 방향 사이의 배향 유사성을 검사함으로써, 상기 소정의 픽셀의 에지 방향이 상기 이웃 하단 열로 연장될 수 있는지 여부를 결정하는 단계;

(f) 상기 소정의 픽셀의 에지 방향이 상기 이웃 상단 열 및 상기 이웃 하단 열 양자 모두로 연장될 수 있는 경우에는, 상기 소정의 픽셀의 에지 방향이 유효한 것으로 가정하는 단계;

(g) 상기 소정의 픽셀의 에지 방향이 상기 이웃 하단 열로는 연장될 수 없으나, 상기 대상 픽셀의 에지 방향이 상기 이웃 상단 픽셀들 중의 하나로는 연장될 수 있고, 상기 이웃 상단 픽셀들 중의 하나에서의 이웃 상단 에지 방향이 상기 에지 배향 맵의 또 다른 이웃 상단 열로 연장될 수 있는 경우에는, 상기 소정의 픽셀의 에지 방향이 유효한 것으로 가정하는 단계;

(h) 상기 소정의 픽셀의 에지 방향이 상기 이웃 상단 열로는 연장될 수 없으나, 상기 소정의 픽셀의 에지 방향이 상기 이웃 하단 픽셀들 중의 하나로는 연장될 수 있고, 상기 이웃 하단 픽셀들 중의 하나에서의 이웃 하단 에지 방향이 상기 에지 배향 맵의 또 다른 이웃 하단 열로 연장될 수 있는 경우에는, 상기 소정의 픽셀의 에지 방향이 유효한 것으로 가정하는 단계; 및

(i) 상기 (f), (g) 및 (h) 이외의 경우에는, 상기 소정의 픽셀의 에지 방향이 유효하지 않은 것으로 가정하는 단계를 포함하는 것을 특징으로 하는 에지 방향 필터링 방법.
제1항에 있어서, 상기 소정의 픽셀 (x, y) 의 에지 방향은 d(x, y) 로 표현되고;

상기 이웃 상단 픽셀들을 검색하는 단계는 하기 식을 사용하는 것을 포함하고:

상기 이웃 하단 픽셀들을 검색하는 단계는 하기 식을 사용하는 것을 포함하는 것을 특징으로 하는 에지 방향 필터링 방법:
제2항에 있어서, 상기 소정의 픽셀의 에지 방향 및 상기 이웃 상단 에지 방향 사이의 배향 유사성을 검사하는 단계는:

a) 검사 함수 chkup(x, y) 를 하기와 같이 정의하는 단계:

b) chkup(x, y) 가 1인 경우에는 상기 소정의 픽셀의 에지 방향이 상기 이웃 상단 열로 연장될 수 있는 것으로 결론짓는 단계를 포함하고; 또한

상기 소정의 픽셀의 에지 방향 및 상기 이웃 하단 에지 방향 사이의 배향 유사성을 검사하는 단계는:

a) 검사 함수 chkdn(x, y) 를 하기와 같이 정의하는 단계:

b) chkdn(x, y) 가 1인 경우에는 상기 소정의 픽셀의 에지 방향이 상기 이웃 하단 열로 연장될 수 있는 것으로 결론짓는 단계를 포함하는 것을 특징으로 하는 에지 방향 필터링 방법:

단, 상기 식에서, T₁ 은 0 보다 크고, 이웃 에지 방향들의 상관 관계를 입증하기에 충분히 작지만, 미세하게 다른 방향들이 잔류할 정도로 작지는 않도록 선택된 문턱값이다.
제2항에 있어서, 검사 함수 chkup2(x, y) 를 하기와 같이 정의하는 단계;

검사 함수 chkdn2(x, y) 를 하기와 같이 정의하는 단계;

상기 검사 함수 chkup2(x, y) 가 1의 값을 갖는 경우에는, 상기 이웃 상단 픽셀들 중의 하나에서의 상기 이웃 상단 에지 방향이 상기 에지 배향 맵의 또 다른 이웃 상단 열로 연장될 수 있는 것으로 결론짓는 단계; 및

상기 검사 함수 chkdn2(x, y) 가 1의 값을 갖는 경우에는, 상기 이웃 하단 픽셀들 중의 하나에서의 상기 이웃 하단 에지 방향이 상기 에지 배향 맵의 또 다른 이웃 하단 열로 연장될 수 있는 것으로 결론짓는 단계를 포함하는 것을 특징으로 하는 에지 방향 필터링 방법.
제1항에 있어서, 상기 소정의 픽셀의 에지 방향이 상기 소정의 열 중에서 두 개의 수평으로 이웃한 방향들로부터의 문턱값 이내인 경우에는, 상기 소정의 픽셀의 에지 방향이 유효한 것으로 최종 결론을 짓는 단계를 포함하는 것을 특징으로 하는 에지 방향 필터링 방법.
제1항에 있어서, 상기 소정의 픽셀의 에지 방향 및 상기 소정의 열 중의 두 개의 수평으로 이웃한 방향들 사이의 배향 유사성을 결정함으로써 상기 소정의 픽셀의 에지 방향의 폭을 검사하는 단계를 포함하는 것을 특징으로 하는 에지 방향 필터링 방법.
제6항에 있어서, 상기 소정의 픽셀 (x, y) 의 에지 방향은 d(x, y) 로 표현되고; 또한, 상기 소정의 픽셀의 에지 방향의 폭을 검사하는 단계는 하기 식을 사용하는 것을 포함하는 것을 특징으로 하는 에지 방향 필터링 방법:

단, 상기 식에서, T₂ 는 0 보다 크고, 이웃 에지 방향들의 상관 관계를 입증하기에 충분히 작지만, 미세하게 다른 방향들이 잔류할 정도로 작지는 않도록 선택된 문턱값이다.
제1항에 있어서, 이웃 에지 방향들 사이의 전이 (transition)를 매끄럽게 하기 위한 필터링 프로세스를 수행하는 것을 포함하는 것을 특징으로 하는 에지 방향 필터링 방법.
제8항에 있어서, 상기 필터링 프로세스에 대하여 3-탭 필터를 사용하는 단계; 및

식 d_s(x, y) = (d(x, y-1) + 2*d(x, y) + d(x, y+1))/4 를 이용하여 상기 3-탭 필터를 구현 (implementing)하는 단계를 포함하는 것을 특징으로 하는 에지 방향 필터링 방법:

단, 상기 식에서 d_s(x, y) 는 필터링된 출력 방향이다.
에지 배향 맵 중에서 현재 에지 방향을 이웃 상단 열들 및 이웃 하단 열들로 연장하기 위한 방향 길이 필터를 포함하는 에지 방향 필터링 시스템으로서,

상기 방향 길이 필터는 상기 현재 에지 방향 및 상기 현재 에지 방향을 따라 위치한 이웃 에지 방향들 사이의 배향 유사성을 검사하기 위한 것이며; 또한

상기 방향 길이 필터는, 상기 현재 에지 방향이 에지 배향 맵 중에서 소정 갯수의 이웃 열들로 연장될 수 있는 경우에는, 상기 현재 에지 방향이 유효하다는 것을 나타내기 위한 것을 특징으로 하는 에지 방향 필터링 시스템.
제10항에 있어서, 수평 방향을 따라서 상기 현재 에지 방향을 필터링하기 위 한 방향 폭 필터를 더 포함하며,

상기 방향 폭 필터는 상기 현재 에지 방향 및 에지 배향 맵 중에서 상기 현재 에지 방향을 갖는 열 상의 이웃 에지 방향들 사이의 배향 유사성을 검사하기 위한 것이며; 또한

상기 방향 폭 필터는, 상기 현재 에지 방향을 갖는 열 상의 소정 갯우의 연속적인 이웃 에지 방향들이 상기 현재 에지 방향과 유사한 배향을 갖는 경우에는, 상기 현재 에지 방향이 유효하다는 것을 나타내기 위한 것을 특징으로 하는 에지 방향 필터링 시스템.
제11항에 있어서, 상기 에지 배향 맵의 수평으로 이웃한 에지 방향들 사이의 전이를 평활화하기 위한 저역 필터를 더 포함하는 것을 특징으로 하는 에지 방향 필터링 시스템.