KR101509552B1 - 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도 - Google Patents

비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도 Download PDF

Info

Publication number
KR101509552B1
KR101509552B1 KR20080123201A KR20080123201A KR101509552B1 KR 101509552 B1 KR101509552 B1 KR 101509552B1 KR 20080123201 A KR20080123201 A KR 20080123201A KR 20080123201 A KR20080123201 A KR 20080123201A KR 101509552 B1 KR101509552 B1 KR 101509552B1
Authority
KR
South Korea
Prior art keywords
current point
video image
distance
points
distances
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR20080123201A
Other languages
English (en)
Other versions
KR20090063101A (ko
Inventor
조나당 케르브
파스칼 부르동
니콜라 멩나르
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090063101A publication Critical patent/KR20090063101A/ko
Application granted granted Critical
Publication of KR101509552B1 publication Critical patent/KR101509552B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 비디오 화상의 현재 점에서 가장자리 방위(edge orientation)를 나타내는 거리를 생성하는 방법과 디바이스에 관한 것이다. 생성된 거리들은 특히 비디오 화상들의 디인터레이싱(deinterlacing)이나 포맷 전환을 위해 사용된다. 본 발명은 비디오 코더나 디코더에서 구현될 수 있다. 본 발명에 따르면, 계산된 가장자리 방위를 나타내는 거리는 p ×q 거리들의 윈도우(window)에 적용된 조건부 중앙값 필터를 가지고 필터링된다. 이 필터는 비디오 성분들의 국부적인 그래디언트 모듈이 임계값보다 큰 점들의 거리만을 고려한다.

Description

비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도{METHOD FOR GENERATING DISTANCES REPRESENTATIVE OF THE EDGE ORIENTATIONS IN A VIDEO PICTURE, CORRESPONDING DEVICE AND USE OF THE METHOD FOR DEINTERLACING OR FORMAT CONVERSION}
본 발명은 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리의 생성을 위한 방법과 디바이스에 관한 것이다. 생성된 거리들은 특히 비디오 화상의 포맷 전환이나 디인터레이싱(deinterlacing)을 위해 사용된다. 그것은 비디오 코더나 디코더로 구현될 수 있다.
현재 표준 HDTV(고선명 TV)와 연관된 2가지 포맷이 존재한다. 이들 2가지 포맷은 720p 포맷과 1080i 포맷이다. 720p 포맷은 720개의 라인과 1280개의 열을 포함하는 순차(progressive) 화상을 만들고, 1080i 포맷은 1080개의 라인과 1920개의 열을 포함하는 인터레이싱된(interlaced) 화상을 만든다. 이들 포맷 각각은 그것에 특정되는 장점들을 가진다. 720p 포맷은 더 나은 시간 해상도를 나타내고, 흐릿함(blur) 결과를 생성하지 않으면서 빠르게 이동하는 물체들을 재생하는데 반해, 1080i 포맷은 더 나은 공간 해상도를 나타낸다. 프로그램 방송국들은 이들 포맷 중 하나 또는 나머지 하나를 사용하거나 둘 다 사용하지 않을 것을 선택하였다. 그러므로, 디스플레이 전에, 방송 프로그램의 포맷을 상기 프로그램을 디스플레이하기 위해 사용된 디스플레이 디바이스에 의해 지원된 포맷으로 변환하기 위해, 방송 프로그램의 포맷을 처리할 현실적인 필요성이 존재하게 된다.
관련 분야에서는 비디오 화상의 포맷을 변경하거나, 먼저 입력 화상에서의 가장자리들의 국부적인 방위의 검출을 실행한 다음 검출된 방위들에 기초한 보간을 실행하는 것이 알려져 있다. 비디오 화상에서의 가장자리 방위들의 검출에 대해 알려진 방법들의 결과는 잡음이 많거나 다수의 계산(예컨대, 다수의 가능한 가장자리 방위들의 테스팅)을 요구한다.
본 발명의 목적은 이러한 방법을 개선하는 것이다.
본 발명은 비디오 화상의 현재 점에서의 가장자리 방위를 나타내는 거리를 생성하기 위한 방법에 관한 것으로, 이 방법은 현재 점 위에 중심이 있는 k개의 점들의 집합을 형성하는 상기 현재 점을 둘러싸는 화상의 복수의 점과 현재 점을 이 점에서의 가장자리 방위를 나타내는 거리에서 계산하는 단계를 포함하고, 이 방법은 미리 결정된 기준을 고려하여 k개의 점들의 집합인 점들에 관해 계산된 거리들 중에서 거리들의 집합에 대해, 현재 점에 관해 계산된 거리의 조건부 중앙 값(median) 필터링 단계를 더 포함하는 것이 주목할 만하다.
특별한 일 실시예에 따르면, 비디오 화상의 한 점에서의 가장자리 방위를 나타내는 거리는, 상기 점에서의 비디오 화상의 비디오 성분들의 국부적인 그래디언트(local gradient)로부터 계산된다.
본 발명에 따르면, 미리 결정된 기준을 고려하는 거리들은 이들 점에서의 비디오 성분들의 국부적인 그래디언트가 임계값보다 큰 점들의 집합인 점들과 연관된 거리들이다. 이 임계값은 고정되거나 변할 수 있다. 유리하게, 이 임계값은 변할 수 있고, 현재 점에 관해서는 이 임계값이 현재 점의 비디오 성분들의 국부적인 그래디언트 모듈에 의존한다. 특별한 실시예에 따르면, 이 임계값은 현재 점의 비디오 성분들의 국부적인 그래디언트 모듈의 백분율과 같다. 이 백분율은, 예컨대 50% 와 같다.
본 발명은 또한 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리의 생성을 위한 디바이스에 관한 것으로, 이 디바이스는
- 상기 현재 점과 상기 현재 점 위에 중심이 있는 k개의 점들의 집합을 형성하는, 상기 현재 점을 둘러싸는 상기 화상의 복수의 점들에서, 상기 점에서의 가장자리 방위를 나타내는 거리를 계산하기 위한 계산 회로로서, k는 1보다 큰 자연수인, 계산 회로와,
- 미리 결정된 기준을 고려하여 k개의 점들의 집합인 점들에 관해 계산된 거리들 중에서 거리들의 집합에 대해, 상기 현재 점에 관해 계산된 거리를 필터링하기 위한 조건부 중앙값 필터를 포함한다.
본 발명에 따르면, 미리 결정된 기준을 고려하는 거리들은 상기 점들에서의 비디오 성분들의 국부적인 그래디언트가 임계값보다 큰 점들의 거리들이다.
본 발명은 또한 비디오 화상 디인터레이싱 방법에서 가장자리 방위에 관한 거리의 생성 방법의 사용에 관한 것으로, 이 경우 비디오 화상의 현재 점에서 계산된 가장자리 방위를 나타내는 거리는, 디인터레이싱된 화상의 픽셀들의 값을 계산하기 위해 사용된다.
본 발명은 또한 입력 비디오 화상을 출력 비디오 화상으로 전환하는 포맷 전환 방법에서의 가장자리 방위에 관한 거리의 생성 방법의 용도에 관한 것으로, 이 경우 비디오 화상의 현재 점에서 계산된 가장자리 방위를 나타내는 거리는 출력 화상의 픽셀들의 값을 계산하기 위해 사용된다.
본 발명은 첨부된 도면을 참조하고 비제한적인 예로서 제공된 다음 상세한 설명을 읽음으로써 더 잘 이해된다.
본 발명은 비디오 화상의 현재 점에서의 가장자리 방위를 나타내는 거리를 생성할 수 있고, 이렇게 생성된 거리들은 특히 디인터레이싱이나 비디오 화상들의 포맷 전환을 위해 사용될 수 있다.
도 1은 본 발명에 따른 방법의 제 1 실시예에서의 단계들을 보여준다. 이 방법은 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 것을 목표로 한다. 이 방법은 현재 점과, 현재 점에 중심을 둔 k개의 점들의 집합을 형성하는 현재 점을 둘러싸는 상기 화상의 복수의 점에서, 현재 점에서의 가장자리 방위를 나타내는 거리를 계산하는 단계(110)를 포함하고, 이 경우 k는 1보다 큰 자연수이다. 이 집합은, 예컨대 현재 점에 중심을 둔 p ×q 점들의 직사각형 윈도우(window)이고, p와 q는 1보다 더 큰 자연수이다. 디인터레이싱의 경우, 거리가 계산되는 화상의 현재 점의 위치는 디인터레이싱된 화상의 픽셀의 위치에 대응한다. 포맷 전환의 경우, 거리가 계산되는 화상의 현재 점의 위치는 전환된 화상의 픽셀의 위치에 대응한다.
입력 화상의 한 점에서의 가장자리 방위의 대표적인 거리(d)의 계산 예가 이후 디인터레이싱의 경우 제공된다. 이 거리(d)는 도 2에 도시된 바와 같은 입력 화 상의 한 점(P)에서 계산된다. 도 2는 입력 화상의 2개의 연속하는 라인들(yn,yn+1)에 걸쳐 퍼져있는 입력 화상의 8개의 픽셀을 보여준다. 이들 픽셀은 입력 화상의 xm-1, xm, xm+1, xm+2로 번호가 매겨진 픽셀들의 열에 속한다. 입력 화상의 픽셀들은 도 2에서 검은색 원들로 나타나 있다. 이 예에서, 디인터레이싱은 라인들(yn,yn+1) 사이의 중간-거리에 끼워진 픽셀들의 라인(y'=yn+1/2)을 생성하는 것으로 이루어진다. 이 추가 라인의 픽셀들은 검은색 정사각형으로 나타나 있다. 그 거리는 라인(y')과 열(xm)에 속하는 점(P)에서 계산된다. 이 점(P)은 좌표들인 (xm-1,yn), (xm+1,yn), (xm+1,yn+1) 및 (xm-1,yn+1)에 의해 범위가 정해진 지역 내부에 위치한다. 픽셀(P)은 입력 화상에서의 좌표들(xm,y')에 의해 식별된다. 이후 좌표들(xm,y')의 픽셀(P)에 관한 거리(d)의 계산이 제공된다. 이 목적을 위해, 휘도 성분의 Ix(x1,y')라고 표시된 수평 그래디언트와 Iy(x1,y')라고 표시된 수직 그래디언트는 이 점(P)에서 계산된다.
Figure 112008084001533-pat00001
Figure 112008084001533-pat00002
여기서 I(x,y)는 좌표(x,y)에서 픽셀의 휘도 성분을 가리킨다.
그러면 점(P)까지의 거리(d)는
Figure 112008084001533-pat00003
가 된다.
점(P)에 관해 계산된 거리(d)는 도 2에 도시되어 있다. 라인 세그먼트(S)는 좌표들(x'+d,yn)에서의 점과 좌표들(x'-d,yn+1)에서의 점을 연결한다.
도 1을 다시 참조하면, 본 발명의 방법은 그 다음 단계(110)에서 계산된 거리(d)의 조건부 중앙값 필터링의 단계(120)를 포함한다. 조건부 중앙값 필터링은 필터링을 고려하여 취해진 값들이 미리 결정된 기준을 고려하는 중앙값 필터링을 의미한다고 이해된다. 중앙값 필터링은, 예컨대 p ×q 거리 값들의 윈도우 상에서 실행되고, 여기서 p와 q는 1보다 큰 자연수이다. 정수값들인 p와 q는 필터가 효율적으로 되기 위해서는 바람직하게 3보다 크다. 예컨대, p=5이고 q=5이다. 이후 필터링은 이 경우 25개의 값들에 대해 수행된다. 필터링은 필터링될 거리(d)에 중심을 둔다. 본 발명에 따르면, 이러한 필터링을 위해 미리 결정된 기준을 고려하는 값들만이 이용된다. 필터링을 위해 고려된 윈도우의 값들은, 연관된 점들이 임계값(S)보다 큰 그것들의 비디오 성분들인
Figure 112008084001533-pat00004
에 국부적인 그래디언트 모듈을 가지는 값들이고, 이 경우
Figure 112008084001533-pat00005
이다. Ij(x,y)는 화상에서의 공간 좌표(x,y)에서의 픽셀의 컬러 성분(j)의 값을 가리키고, q는 비디오 성분의 개수를 가리킨다. 컬러 공간인 [Y,Cb,Cr]에서 표현된 픽셀 값의 경우, q는 3과 같고, I1은 성분(Y)의 값을 가리키며, I2는 성분(Cb)의 값을, I3는 성분(Cr)의 값을 가리킨다.
예컨대, 임계값(S)은 고려된 점의 비디오 성분들의 국부적인 그래디언트 모듈의 백분율이다. 이 임계값은, 예컨대 50%와 같다. 이 임계값은 실험적으로 정의될 수 있다.
이 필터링은 다음 2개의 표로 예시되는데, 첫 번째 표는 현재 점에 중심을 둔(중심에서) 5 ×5 점들의 윈도우의 점들의 비디오 성분들인
Figure 112008084001533-pat00006
의 국부적인 그래디언트 모듈들을 보여주고, 두 번째 표는 이들 점에 관해 계산된 거리를 보여준다.
Figure 112008084001533-pat00007
Figure 112008084001533-pat00008
임계값(S)이 현재 점의 국부적인 그래디언트 모듈의 50%에서 고정된다면, 이 제 1 표에서의 이러한 기준을 고려하는 그래디언트 값들은 회색으로 표시되어 있다. 마찬가지로, 이 기준을 고려하는 점들과 연관된 거리 값들은 표 2에서 회색으로 표시되어 있다. 그러면 본 발명의 조건부 중앙값 필터링은, 오름차순이나 내림차순으로 보유된 거리 값들을 분류하고, 필터의 출력 값으로서 이렇게 주문된 목록의 중심값(central value)(또는 중앙값이라고 부름)을 선택하는 것으로 이루어진다.
이러한 조건부 필터링은 가장자리들의 부재를 나타내는 거리 값들의 중앙값 필터로부터의 제거를 가능하게 하고, 이들 값은 입력 화상의 균일(homogeneous) 영역들에 특정되며, 거리 값들에 대한 필터링의 집중은 중앙값 필터의 잡음 감소의 효과를 보존하기 위한 가장자리를 나타낸다.
일 변형예로서, 임계값(S)은 고정되거나 현재 점의 국부적인 그래디언트에 의존하지 않는다.
도 3a 내지 도 3c는 조건부 중앙값 필터링의 결과들을 예시하기 위한 일 예로서 제공된다{본 발명의 방법의 단계(120)}. 도 3a는 도시 가운데에서의 마천루를 보여주는 입력 화상이다. 이 화상은 다수의 가장자리를 포함한다. 도 3b는 이 화상의 가장자리 방위를 나타내는 거리를 보여준다. 도 3c는 본 발명에 따른 조건부 중앙값 필터의 적용 후 이 화상에서의 가장자리 방위들을 나타내는 거리를 보여준다. 도 3b와 도 3c에서 중간 그레이 레벨(8비트 상에서 그레이 레벨을 코딩하는 경우에는 128)은 널(null) 거리(d)(=특권이 주어진 어떠란 가장자리 방위도 없음)를 나타내고, 128보다 높은 그레이 레벨은 양의 거리(d)(=화상의 좌측으로부터 우측까지 상부 쪽으로 방위가 정해진 비스듬한 가장자리들의 존재)를 나타내며, 128보다 낮은 그레이 레벨은 음의 거리(d)(=화상의 좌측으로부터 우측까지 하부 쪽으로의 비스듬한 가장자리들의 존재)를 나타낸다.
이들 도면으로부터 볼 수 있는 것처럼, 본 발명의 조건부 중간값 필터링은 많은 스퓨리어스(spurious) 거리들이 버려지는 것을 가능하게 한다. 본 발명에 따른 조건부 중간값 필터링은, 2개의 균일한 영역을 분리하는 물체들의 미세한 가장자리들에 대한 결과가 눈에 띄게 개선되는 것을 가능하게 한다.
이들 필터링된 거리는 포맷 전환이나 디인터레이싱하기 위한 픽셀들의 보간을 위해 사용된다. 이후, 이 방법은 입력 화상(포맷 전환이나 디인터레이싱 후의)에서의 좌표들(xout,yout)과 시작 화상에서의 좌표들(x',y')에서의 픽셀(Pout)을 보간하기 위해 사용된다. 그러므로 출력 화상의 픽셀(Pout)은 시작 화상에서의 픽셀(P)에 대응한다. ν는 출력 화상의 라인들의 개수에 대한 시작 화상의 라인들의 개수의 비이고, r은 출력 화상의 열들의 개수에 대한 시작 화상의 열들의 개수의 비이다.
도 4는 픽셀(Pout)이 픽셀(P)과 같은 시작 화상의 픽셀들의 라인들(yn,yn+1) 사이와 열(xm)에 위치하는 경우를 예시한다. Pout은 예컨대 디인터레이싱된 화상의 한 픽셀이다. 라인(yout)에 가장 가까운 입력 화상의 픽셀(yn,yn+1)의 라인들이 결정된다.
Figure 112008084001533-pat00009
여기서, E(x)는 변수(x)의 정수 부분을 가리킨다.
픽셀(Pout)의 라인(y')과 시작 화상의 라인(yn) 사이의 거리를 나타내는 수직 위상인
Figure 112008084001533-pat00010
가 정의된다.
Figure 112008084001533-pat00011
는 0과 1 사이에 있는 값이다. 디인터레이싱의 경우,
Figure 112008084001533-pat00012
는 1/2이다.
따라서,
Figure 112008084001533-pat00013
이고
Figure 112008084001533-pat00014
이며, d는 좌표(x',y')에서의 픽셀(P)에 관해 계산된다.
이후 출력 화상에서의 좌표(xout,yout)에서의 픽셀(Pout)의 값이, 쌍일차(bilinear) 보간에 대응하는 다음 수학식을 사용하여 계산된다.
Figure 112008084001533-pat00015
여기서, - Iin(x,y)는 시작 화상에서의 좌표(x,y)에서의 픽셀의 값을 가리키고, Iout(x,y)는 출력 화상에서의 좌표들(x,y)에서의 픽셀의 값을 가리킨다.
- sgn(x)은 x의 사인 함수이다.
Figure 112008084001533-pat00016
- 파라미터인 α와 β는 다음과 같이 정의된다.
Figure 112008084001533-pat00017
그 계산은 픽셀의 각각의 비디오 성분에 대해 실행된다. 휘도 비디오 성분에 관해 계산된 거리(d)는, 출력 화상으로부터 픽셀의 모든 비디오 성분의 계산을 위해 사용된다.
출력 화상의 픽셀들의 비디오 성분들을 계산하기 위한 다른 수학식들이 고려될 수 있다. 위 예에서, 보간은 쌍일차이다. 선형 보간이나 가장 가까운 이웃의 선택에 의한 보간 또는 선형 또는 쌍일차 보간의 조합의 사용을 생각해볼 수 있다. 이들 보간은 당업자에게 공지된 것이다. 더 많은 개수의 라인이나 열의 사용 또한 생각해볼 수 있다. 마지막으로 거리 모듈(d)에 따른 보간 수학식의 변경이 제공될 수 있다.
도 5는 본 발명의 방법을 구현할 수 있는 디바이스(500)를 예시한다. Yin, Cbin 및 Crin은 디바이스의 입력에서 적용된 화상의 비디오 성분들을 가리킨다. 이들 성분들은 컬러 공간인 [Y,Cb,Cr]에서 표현된다. 당연히 다른 컬러 공간들이 사용될 수 있다. 이 디바이스(500)는
- 입력 화상의 가장자리 방위를 나타내는 거리들의 계산 회로(510)로서, 본 발명의 방법의 단계(110)를 구현하고, 거리 차트를 전달하는, 계산 회로(510)와,
- 필터링된 거리 차트를 전달하고, 블록(510)에 의해 전달된 거리 차트로부터 본 발명의 방법의 단계(120)를 구현하는 조건부 중앙값 필터(520)를 포함한다.
포맷 전환이나 디인터레이싱의 상황 내에서는, 이후 이들 필터링된 거리가 보간 블록에 의해 처리된다.
도 6은 본 발명의 제 2 실시예를 예시한다. 이 제 2 실시예는 단계(601,610,620)를 포함한다. 단계(610,620)는 도 1에 의해 예시된 제 1 실시예의 단계(110,120)와 동일하다. 이 제 2 실시예는 참조 번호 601로 표시된 입력 화상 단계의 조건부 필터링을 포함한다. 이 필터링의 목적은 입력 화상의 가장자리 방위들의 거리 계산을 개선한다. 사용된 필터는 가우시안 커널(Gaussien kernel)에 기초한다. 이 필터는 입력 화상의 신호 휘도의 성분(Y)이나 입력 화상의 신호의 모든 비디오 성분에 적용된다. 이후, Ijf는 필터링 후의 성분(Ij)을 가리킨다. 그러면 필터링된 성분은
Figure 112008084001533-pat00018
가 되고,
여기서:
Figure 112008084001533-pat00019
,
-
Figure 112008084001533-pat00020
은 가우시안 커널의 분산이다.
사용된 필터는, 예컨대 다음과 같은 5 ×5 계수 필터이다.
Figure 112008084001533-pat00021
도 7은 본 발명의 방법의 제 2 실시예를 구현할 수 있는 디바이스(700)를 예시한다. Yin, Cbin 및 Crin은 디바이스의 입력에서 적용된 화상의 비디오 성분들을 가리킨다. 이들 성분들은 컬러 공간인 [Y,Cb,Cr]에서 표현된다. 디바이스(700)는
- 입력 화상의 신호의 비디오 성분 중 하나 또는 모두에 적용되는 제 1 필터링 단계(601)를 구현하기 위한 제 1 필터(701),
- 입력 화상의 가장자리 방위들을 나타내는 거리를 계산하는 회로(710)로서, 본 발명의 방법의 제 2 실시예의 단계(610)를 구현하고 거리 차트를 전달하는 계산 회로(710), 및
- 블록(720)에 의해 전달된 거리 차트로부터 본 발명의 방법의 단계(620)를 구현하고, 필터링된 거리 차트를 전달하는 조건부 중앙값 필터(720)를 포함한다.
포맷 전환이나 디인터레이싱의 상황 내에서는, 이후 이들 필터링된 거리가 보간 블록에 의해 처리된다.
앞서 정의된 본 발명의 방법에서, 단계(110 또는 610)에서 계산된 거리는 제 2 집합의 픽셀들을 결정하기 위해 사용된다. 일 변형예로서, 계산된 거리가 미리 정의된 최대값을 초과하게 되면, 이 거리는 최대값이 된다. 이 최대값은, 예컨대 하나의 SD(Standard Definition) 화상의 경우 4개의 픽셀과 같다. 실제로, 이러한 최대값을 넘어서게 되면, 거리(d)의 값이 낮아질 수 없게 되어, 보간에 에러들을 도입하게 된다. 또 다른 변형예에 따르면, 계산된 거리가 이러한 최대값을 초과하게 되면, 그 거리가 널 값으로 조정된다. 이 제 2 변형예는 에러들의 위험을 훨씬 더 감소시킬 수 있는데 반해, 한편으로는 일부 가장자리의 보간에 있어서는 덜 정확하게 된다.
당연히, 본 발명은 전술한 실시예에 제한되지 않는다. 출력 화상을 생성하기 위해 사용된 가장자리 방위들의 거리에 대한 조건부 중앙값 필터링을 제안하는 포맷 전환이나 인터레이싱을 위한 임의의 방법이나 디바이스는, 본 발명의 분야 내에 있다.
도 1은 본 발명에 따른 방법의 제 1 실시예에서의 단계들을 도시하는 도면.
도 2는 디인터레이싱의 경우, 가장자리 방위를 나타내는 거리에서 계산되는, 입력 화상의 점(P)의 위치를 도시하는 도면.
도 3a 내지 도 3c는 각각 본래 화상, 본 발명에 따른 조건부 중앙값 필터링을 이용해서 본래의 화상에 관해 계산된 가장자리 방위 거리들 및 조건부 중앙값 필터링 없이 본래의 화상에 관해 계산된 가장자리 방위 거리들을 도시하는 도면.
도 4는 디인터레이싱의 경우, 픽셀(Pout)의 보간을 도시하는 도면.
도 5는 도 1의 방법을 구현할 수 있는 디바이스를 도시하는 도면.
도 6은 본 발명에 따른 방법의 제 2 실시예에서의 단계들을 도시하는 도면.
도 7은 도 6의 방법을 구현할 수 있는 디바이스를 도시하는 도면.
※ 도면의 주요 부분에 대한 부호의 설명 ※
Ix(x1,y'): 수평 그래디언트 Iy(x1,y'): 수직 그래디언트

Claims (11)

  1. 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법으로서,
    - 상기 현재 점과, 상기 현재 점에 중심을 둔 k개의 점들의 집합을 형성하는 상기 현재 점을 둘러싸는 상기 비디오 화상의 복수의 점에서, 상기 현재 점 및 상기 복수의 점의 가장자리 방위를 나타내는 거리를 계산하는 단계를 포함하고, k는 1보다 큰 자연수인, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법에 있어서,
    - 미리 결정된 기준을 고려하여 k개의 점들의 집합인 점들에 관해 계산된 거리들 중에서 거리들의 집합에 대해, 현재 점에 관해 계산된 거리를 필터링하기 위한 조건부 중앙 값(median) 필터링 단계를
    더 포함하는 것을 특징으로 하는, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법.
  2. 제 1항에 있어서, 비디오 화상의 한 점에서의 가장자리 방위를 나타내는 거리는, 상기 점에서 비디오 화상의 비디오 성분들의 국부적인 그래디언트(local gradient)로부터 계산되는, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법.
  3. 제 2항에 있어서, 상기 미리 결정된 기준을 고려하는 거리들은, 상기 점들에 서의 비디오 성분들의 국부적인 그래디언트의 모듈이 임계값보다 큰 점들의 거리들인, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법.
  4. 제 3항에 있어서, 상기 임계값은 고정되는, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법.
  5. 제 3항에 있어서, 상기 현재 점에 관해, 상기 임계값은 비디오 화상의 상기 현재 점에서의 비디오 성분들의 국부적인 그래디언트 모듈에 의존하는, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법.
  6. 제 5항에 있어서, 상기 현재 점에 관해, 상기 임계값은 비디오 화상의 상기 현재 점에서의 비디오 성분들의 국부적인 그래디언트 모듈의 백분율과 같은, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법.
  7. 제 6항에 있어서, 백분율은 50%와 같은, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법.
  8. 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 디바이스로서,
    - 상기 현재 점과, 상기 현재 점에 중심을 둔 k개의 점들의 집합을 형성하는 상기 현재 점을 둘러싸는 상기 비디오 화상의 복수의 점에서, 상기 현재 점 및 상기 복수의 점의 가장자리 방위를 나타내는 거리를 계산하기 위한 계산 회로를 포함하고, k는 1보다 큰 자연수인, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 디바이스에 있어서,
    - 미리 결정된 기준을 고려하여 k개의 점들의 집합인 점들에 관해 계산된 거리들 중에서, 거리들의 집합 상에서 상기 현재 점에 관해 계산된 거리를 필터링하기 위한 조건부 중앙값 필터를
    더 포함하는 것을 특징으로 하는, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 디바이스.
  9. 제 8항에 있어서, 상기 미리 결정된 기준을 고려하는 거리들은, 상기 점들에서의 비디오 성분들의 국부적인 그래디언트의 모듈이 임계값보다 큰 점들의 거리들인, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 디바이스.
  10. 비디오 화상의 디인터레이싱(deinterlacing) 공정에서 제 1항 내지 제 7항 중 어느 한 항에 따른 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법으로서, 비디오 화상의 현재 점에서 계산된 가장자리 방위를 나타내는 거리는, 디인터레이싱된 화상의 픽셀들의 값을 계산하기 위해 사용되는, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법.
  11. 입력 비디오 화상의 출력 비디오 화상으로의 포맷 전환 공정에서 제 1항 내지 제 7항 중 어느 한 항에 따른 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법으로서, 비디오 화상의 현재 점에서 계산된 가장자리 방위를 나타내는 거리는, 출력 화상의 픽셀들의 값을 계산하기 위해 사용되는, 비디오 화상의 현재 점에서 가장자리 방위를 나타내는 거리를 생성하는 방법.
KR20080123201A 2007-12-13 2008-12-05 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도 Expired - Fee Related KR101509552B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0759828A FR2925199A1 (fr) 2007-12-13 2007-12-13 Procede de generation de distances representatives d'orientations de contour dans une image video, dispositif correspondant et utilisation du procede pour le desentrelacement ou la conversion de format
FR0759828 2007-12-13

Publications (2)

Publication Number Publication Date
KR20090063101A KR20090063101A (ko) 2009-06-17
KR101509552B1 true KR101509552B1 (ko) 2015-04-06

Family

ID=39327267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080123201A Expired - Fee Related KR101509552B1 (ko) 2007-12-13 2008-12-05 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도

Country Status (6)

Country Link
US (1) US8139153B2 (ko)
EP (1) EP2071512B8 (ko)
JP (1) JP5616014B2 (ko)
KR (1) KR101509552B1 (ko)
CN (1) CN101459812B (ko)
FR (1) FR2925199A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2925200A1 (fr) * 2007-12-13 2009-06-19 Thomson Licensing Sas Procede de conversion de format d'image video et dispositif correspondant
CN101621710B (zh) * 2009-07-21 2012-07-11 深圳市融创天下科技股份有限公司 一种基于边缘检测的视频质量评价方法和系统
KR101600312B1 (ko) 2009-10-20 2016-03-07 삼성전자주식회사 영상처리장치 및 영상처리방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191065A (ja) * 1996-12-26 1998-07-21 Dainippon Screen Mfg Co Ltd 画像フィルタリング方法及び装置
JP2003179882A (ja) * 2001-11-19 2003-06-27 Matsushita Electric Ind Co Ltd エッジに基づく補間方法
JP2005293555A (ja) * 2004-03-10 2005-10-20 Seiko Epson Corp 画像における肌領域の特定

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5519451A (en) * 1994-04-14 1996-05-21 Texas Instruments Incorporated Motion adaptive scan-rate conversion using directional edge interpolation
DE69605018T2 (de) * 1996-02-13 2000-06-08 Stmicroelectronics S.R.L., Agrate Brianza Kantenorientiertes Intrabild- und Zwischenbildinterpolationsfilter für Videogeräte besserer Qualität
US6262773B1 (en) * 1997-09-15 2001-07-17 Sharp Laboratories Of America, Inc. System for conversion of interlaced video to progressive video using edge correlation
US7423691B2 (en) * 2001-11-19 2008-09-09 Matsushita Electric Industrial Co., Ltd. Method of low latency interlace to progressive video format conversion
GB0500805D0 (en) * 2005-01-14 2005-02-23 Snell & Wilcox Ltd Image processing
CN100371861C (zh) * 2005-06-28 2008-02-27 钟煜曦 一种基于计算机图像和纯色物体的互动输入控制方法
US7982798B2 (en) * 2005-09-08 2011-07-19 Silicon Image, Inc. Edge detection
DE102005046772A1 (de) * 2005-09-29 2007-04-05 Micronas Gmbh Iteratives Verfahren zur Interpolation von Bildinformationswerten

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191065A (ja) * 1996-12-26 1998-07-21 Dainippon Screen Mfg Co Ltd 画像フィルタリング方法及び装置
JP2003179882A (ja) * 2001-11-19 2003-06-27 Matsushita Electric Ind Co Ltd エッジに基づく補間方法
JP2005293555A (ja) * 2004-03-10 2005-10-20 Seiko Epson Corp 画像における肌領域の特定

Also Published As

Publication number Publication date
EP2071512B8 (en) 2017-07-12
EP2071512A1 (en) 2009-06-17
FR2925199A1 (fr) 2009-06-19
JP5616014B2 (ja) 2014-10-29
US8139153B2 (en) 2012-03-20
CN101459812B (zh) 2013-08-14
EP2071512B1 (en) 2017-04-12
KR20090063101A (ko) 2009-06-17
JP2009147937A (ja) 2009-07-02
US20090207304A1 (en) 2009-08-20
CN101459812A (zh) 2009-06-17

Similar Documents

Publication Publication Date Title
EP1441510A2 (en) Method and apparatus for de-interlacing video signal
US7423691B2 (en) Method of low latency interlace to progressive video format conversion
US5784115A (en) System and method for motion compensated de-interlacing of video frames
US5631706A (en) Converter and method for converting video signals of interlace format to video signals of progressive format
KR100403364B1 (ko) 영상 신호의 디인터레이스 방법 및 장치
KR100739744B1 (ko) 인터레이스트 비디오 시퀀스에서 잡음-적응 움직임 검출방법 및 시스템
KR101509552B1 (ko) 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도
KR100422575B1 (ko) 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
US7532773B2 (en) Directional interpolation method and device for increasing resolution of an image
US8274605B2 (en) System and method for adjacent field comparison in video processing
AU2004200237B2 (en) Image processing apparatus with frame-rate conversion and method thereof
KR100931110B1 (ko) 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법
US8264601B2 (en) Video picture format conversion method and corresponding device
KR100628190B1 (ko) 영상 데이터의 칼라 포맷 변환 방법
JP4849515B2 (ja) Ｉｐ変換処理装置、その制御方法
US8325273B2 (en) System and method for vertical gradient detection in video processing
JP4712495B2 (ja) 走査変換装置及びプログラム
CN101729882B (zh) 低角度内插装置及其方法
JP2009017004A (ja) 画像処理装置及び画像処理方法
EP1191785A1 (en) Interlace to progresssive conversion
EP0444329A1 (en) Improved image edge direction detection apparatus in video systems
KR100698151B1 (ko) 디인터레이서 및 그 방법
JPH0232835B2 (ko)
JP2007060104A (ja) 自己相関値算出方法及び補間画素生成方法、それらの装置並びにそれらのプログラム
JP2009267753A (ja) 画像フォーマット変換装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20200402

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20200402