KR20060006102A

KR20060006102A - 이미지들의 보간법

Info

Publication number: KR20060006102A
Application number: KR1020057023162A
Authority: KR
Inventors: 지울리오 페레티; 파올라 카라이; 프란체스코 조타; 지오바니 람포니
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2003-06-04
Filing date: 2004-05-25
Publication date: 2006-01-18
Also published as: CN1799065A; EP1634239A1; JP2006526832A; WO2004109598A1; US20070003167A1

Abstract

이미지 샘플들(Pi, Pot)의 샘플값들(f)을 보간하는 방법에서, 샘플들(Pi, Pot)중 특정 하나에 대한 샘플 값들(f)의 로컬 기울기(8) 검출은 샘플들(Pi, Pot)중 특정 하나에 이웃하는 샘플 값들(f)로부터 결정된다(1). 보간기 입력 값들(ai)의 위치는 샘플들(Pi, Pot)중 특정 하나의 로컬 기울기(8) 방향에서 선택된다(20). 샘플들(Pi, Pot)중 특정 하나에 대한 보간기 입력 값들(ai)은 보간기 입력 값들(ai)에 이웃하는 화소 값들(f)로부터 보간된다(21). 워프된 거리 보간(3)을 위한 워프 팩터(A)는 보간기 입력 값들(ai)을 사용하여 결정된다(22).

이미지 샘플, 로컬 기울기, 보간기

Description

이미지들의 보간법{Interpolation of images}

본 발명은 이미지상 화소들의 화소 값들을 보간하는 방법에 관한 것이다. 본 발명은 워프된 거리 보간기(warped distance interpolator), 및 그러한 워프된 거리 보간기를 포함하는 디스플레이 장치에 관한 것이다.

워프된 거리 개념(WaDi)은 G. Ramponi에 의하여 1999년 5월자 공개된 "Warped distance for space-variant linear image interpolation", IEEE Transactions on Image processing, 8권 5번에 공지된다. 선형 보간을 위한 워프된 거리 개념은 실사(natural)(그래픽이 아닌) 이미지들의 로컬 화소 구성에 선형 보간기를 적응시킨다. 특히, 보간 처리에 의해 에지들이 희미해지는 것(blur)을 방지하는 것이 목적이다.

WaDi 개념은 일차원 보간을 수행한다. 수평 방향에서, 보간된 샘플은 보간될 샘플을 샌드위칭(sandwich)하는 2개의 이웃하는 수평 샘플들의 선형 결합일 수 있다. 선형 결합은 2개의 이웃하는 수평 샘플들에 관련하여 보간될 샘플의 부분 위치(또는 위상)에 따른다. 발광 에지에서 보간은 보간될 샘플이 우측 또는 좌측 입력 샘플쪽으로 가상으로 이동되도록 위상을 국부적으로 워핑함으로써 제공된다. 이런 워핑은 발광 에지들의 존재시 보다 강하고 부드러운 부분들에서 보다 약하다. 워핑 양을 결정하기 위하여, 보간되어야 하는 샘플 주변의 4개의 화소들은 분석되고, 비대칭 값은 보간될 샘플이 그것이 속하는 편평한 영역쪽으로 이동되도록 계산된다.

2D 이미지의 보간은 먼저, 보간된 수평 샘플들을 얻기 위하여 수평 방향으로 입력 샘플들에 WaDi 알고리즘을 수행하고, 그 다음에, 보간된 수평 샘플들에 수직 방향으로 WaDi 알고리즘을 수행함으로써 얻어진다. 상대적으로 복잡한 알고리즘을 요구하는 것이 단점이다.

본 발명의 목적은 보다 높은 성능의 알고리즘을 제공하는 2차원 이미지상에서 WaDi 보간을 수행하는 것이다.

본 발명의 제 1 측면은 청구항 제 1 항에 청구된 이미지의 샘플들의 샘플 값들을 보간하는 방법을 제공한다. 본 발명의 제 2 측면은 청구항 제 7 항에 청구된 바와같은 워프된 거리 보간기를 제공한다. 본 발명의 제 3 측면은 청구항 제 8 항에 청구된 디스플레이 장치를 제공한다. 본 발명에 따른 바람직한 실시예들은 종속항들에서 한정된다.

이미지 샘플들의 샘플 값들을 보간하는 방법은 샘플들중 특정 하나에 이웃하는 샘플 값들로부터 샘플들의 특정 하나에 대한 로컬 기울기 방향을 결정한다. 이런 로컬 기울기는 특정 샘플의 위치에서 샘플들 값의 변화 방향을 가리킨다. 예를들어, 만약 이미지가 하양 좌측 영역 및 검정 우측 영역을 포함하고 특정 샘플이 하양 영역 및 검정 영역 사이의 수직 경계 근처에 있으면, 기울기는 하양 영역쪽으로 수평 방향으로 지향할 것이다. 일반적으로, 로컬 기울기는 이미지의 각각의 출력 샘플에 대하여 결정된다.

그리고 나서, 워프된 거리 보간기 WaDi에 대한 워핑 팩터는 특정 샘플의 기울기 방향으로 배열된 보간기 입력 값들을 사용하여 결정된다. 따라서, 잘 공지된 WaDi 보간기에 대한 보간기 입력 값들은 로컬 기울기의 방향으로 특정 샘플을 통하여 연장하는 라인상에서 선택된다.

일반적으로, 이들 보간기 입력 값들이 입력 샘플들과 일치하지 않기 때문에, 보간기 입력 값들은 보간기 입력 값들과 이웃하는 입력 샘플 값들로부터 보간되어야 한다.

로컬 기울기의 방향으로 워핑 팩터의 결정은 WaDi 보간이 수평 및 수직 방향으로 연속적으로 WaDi 보간 단계를 수행하는 대신 1개의 단계에서 수행될 수 있다는 장점을 가진다.

청구항 제 2 항에서 한정된 바와같은 본 발명에 따른 실시예에서, WaDi 보간은 출력 이미지가 스케일된 입력 이미지인 시스템에 적용된다. 이런 방법은 출력 샘플들 사이의 거리가 입력 샘플 사이의 거리의 대략 절반인 것을 의미하는 적어도 2인 스케일링 인자들에 대하여 특히 바람직하다. 상기 거리는 이들 샘플들이 디스플레이 스크린의 화소들상에 디스플레이될때 2개의 연속적인 샘플들 사이에서 경과된 시간 또는 디스플레이 스크린상 실제 위치일 수 있다.

이 실시예에서, 출력 이미지는 예를들어 간단한 쌍일차 보간기를 사용함으로써 원 보간 데이타를 얻기 위하여 입력 이미지로부터 우선 대략적으로 보간된다. 이미지의 결과적인 저역 통과 버젼은 노이즈에 덜 영향을 받는 기울기 평가치를 형성한다. 보다 복잡한 보간, 예를들어 큐빅 보간은 사용될 수 있지만 보다 높은 계산 복잡성이 유발되는 단점을 가진다. 로컬 기울기는 간단한 보간기에 의해 제공된 원 보간 데이타 또는 출력 화소들을 사용함으로써 결정된다.

청구항 제 3 항에서 한정된 바와같은 본 발명에 따른 실시예에서, 로컬 기울기는 입력 샘플 값들을 사용함으로써 입력 맵에서 결정된다. 발견된 로컬 기울기들은 출력 맵에서 출력 샘플들의 샘플 위치를 출력하기 위하여 맵핑된다. 이런 맵핑은 예를들어 가장 가까운 이웃 방법 또는 선형 보간에 의해 수행될 수 있다. 이런 방법은 원 보간 단계를 요구하지 않고 따라서 계산 노력이 덜 든다.

청구항 제 4 항에서 한정된 바와같은 본 발명에 따른 실시예에서, 샘플들은 샘플들의 위치가 수직 x, y 좌표들에 의해 한정된 행렬에 배열된다. 잘 공지된 소벨 필터(Sobel filter)들은 로컬 기울기의 방향을 평가하기 위하여 사용된다.

청구항 제 5 항에 한정된 바와같은 본 발명에 따른 실시예에서, 기울기를 결정하기 위하여 사용된 인접한 보간기 입력 값들 사이의 거리는 간섭성 보간을 제공하기 위하여 인접한 입력 샘플들 사이의 거리와 실질적으로 같다.

청구항 제 6 항에 한정된 바와 같은 본 발명에 따른 실시예에서, 워핑 팩터는 투영된 워핑 팩터들에 따른 x 및 y 방향으로의 거리들(시간 도메인에서 샘플들 또는 공간 도메인에서 화소들을 워프하기 위하여)을 변형하기 위하여 WaDi 보간기를 제어하도록 x 및 y 좌표들상에 투영된다. 따라서, 표준 WaDi 알고리즘을 두번 실행하는 대신, 우선 제 1 방향에서 중간 결과들을 얻고, 그 다음 y 방향에서 중간 결과들을 사용하여, 단일 워핑 팩터의 구성요소들이 입력 샘플들로부터 보간된 출력 샘플들을 직접 얻기 위하여 사용된다.

본 발명의 이들 및 다른 측면들은 이후에 기술되는 실시예들을 참조하여 명백할 것이다.

도 1은 공지된 2개의 단계 보간 방법을 도시하는 도면.

도 2는 공지된 워프된 거리 개념을 계산하기 위한 파형을 도시하는 도면.

도 3은 본 발명의 실시예에 따라 로컬 기울기 방향으로 보간기 입력 값들의 배열을 특정 출력 샘플에 대하여 도시하는 도면.

도 4는 본 발명에 따른 1개의 단계 워프된 거리 개념의 실시예를 설명하기 위한 흐름도.

도 5는 본 발명에 따른 1개의 단계 워프된 거리 개념의 다른 실시예의 흐름도.

도 6은 본 발명에 따른 워프된 거리 보간기를 포함하는 디스플레이 장치의 블록 다이어그램.

도 1은 종래 기술 2개 단계의 보간 방법을 도시한다.

잘 공지된 선형 보간 기술들에서, 2차원 입력 이미지Ⅱ(도 6 참조)는 입력 샘플들(Pi)이 x 및 y 방향을 가진 직사각형 그리드상에 배치되도록 일반적으로 등가로 샘플되는 입력 샘플들(Pi)에 의해 표현된다. 입력 샘플들(Pi)은, 입력 샘플 들(Pi)이 디스플레이 스크린(DS)(도 6 참조)상에 디스플레이되면, 시간에서 직사각형 그리드가 디스플레이 스크린(DS)상의 정위치에 직사각형 그리드로서 도시되는 사실에 기초하는 입력 화소들(Pi)이라 한다. 입력 샘플들(Pi)의 값들은 입력 화소들(Pi)의 세기를 결정한다. 실제로 디스플레이 스크린(DS)상에 디스플레이될 출력 샘플들(Po)은 디스플레이 스크린(DS)상 화소들에 대응하는 입력 화소들(Po)을 얻기 위하여 입력 샘플들(Pi)로부터 보간될 수 있다. 이것은 예를들어 디스플레이 스크린(DS)의 해상도가 행렬 디스플레이들에 대한 경우와 같이 고정되고 입력 이미지 Ⅱ의 해상도가 디스플레이 스크린(DS)의 해상도와 상이하다면 요구된다.

도 1은 입력 샘플들(Pi) 사이에 위치되는 출력 샘플(Po)의 보간을 도시한다. 입력 이미지 샘플들의 j 번째 행(row)에 있는 i 번째 입력 샘플(Pi)의 값은 f(x_i, y_i)로 표현된다. 출력 샘플(Po)의 값은 f₀(x,y)로 표현된다. 도 1에서 4개의 입력 샘플들(Pi)은 출력 샘플(Po)에 가장 가깝게 도시된다.

우선, 입력 이미지 Ⅱ는 수평 방향(x)에서 보간된다. 행(y_i)에서, 일시적인 샘플(Pt1)의 값 ft(x,y_i)는 열(x_i)에서 입력 샘플(Pi)의 값 f(x_i, y_i) 및 열(x_i+1)에서 입력 샘플(Pi)의 값 f(x_i+1,y_i)을 사용하여 결정된다. 동일한 방식으로 행(y_j+1)에서, 일시 샘플(Pt2)의 값 ft(x,y_j ₊₁)은 열(x_i)에서 입력 샘플(Pi)의 값 f(x_i,y_j+1) 및 열(x_i+1)에서 입력 샘플(Pi)의 값 f(x_i+1,y_j ₊₁)을 사용하여 결정된다. 그 다음, 출력 화소(Po)의 값 fo(x,y)은 일시적인 샘플들(Pt1 및 Pt2)을 사용하여 결정된다.

일시적인 샘플들(Pt1 및 Pt2)의 값들은 다음과 같이 계산될 수 있다.

ft(x,y_k) = (1-S_x)f(x_i,y_k) + S_xf(x_i+1,y_k) k = j, j+1 (1)

여기서 S_x는 x 및 x_i 사이의 x 방향 거리이다.

출력 샘플(Po)의 값은 다음과 같이 계산된다.

fo(x,y) = (1-S_y)ft(x,y_i) + Sy ft(x,y_j ₊₁) (2)

여기서 S_y는 y 및 y_i 사이의 y 방향에서 거리이다.

도 2는 공지된 워프된 거리 개념을 설명하기 위한 파형을 도시한다. 도 1과 관련하여 설명된 것과 동일한 방식으로, 워프된 거리 개념(추후 WaDi라 함)은 2개의 단계들에서 출력 샘플(Po)의 값을 결정한다. 선형 보간과의 차이는 거리들(S_x 및 S_y)이 보간된 출력 이미지(OⅠ)(도 6 참조)의 감지된 품질을 증가시키기 위하여 입력 이미지Ⅱ의 로컬 특징에 따라 적용(워프)되는 도 1에 관련하여 설명된다. 따라서, WaDi는 일시적 또는 중간 보간 샘플들(Pt)을 얻기 위하여 제공된 거리(S_x)를 x 방향의 선형 보간 알고리즘에 우선 제공함으로써 입력 이미지 Ⅱ를 보간한다. 따라서, WaDi는 출력 샘플(Po)을 얻기 위하여 제공된 거리(S_y)를 중간 보간 샘플들(Pt)상에 y 방향의 선형 보간 알고리즘을 제공한다.

WaDi는 워핑 팩터 A에 기초하여 거리들(S_x 및 S_y)을 워프한다 :

A = (la3-a1l - la4-a2l)/(L-1) (3)

여기서 계수들(a1 내지 a4)은 보간될 출력 샘플(Po)의 이웃에 있는 입력 샘플 값들 f(xi, yi)이다. WaDi에 의해 수행되는 단계에 따라, 입력 샘플들 a1 내지 a4은 x 또는 y 방향으로 배열된다. L은 예를들어 8 비트 발광 신호들(L=256)에 대한 샘플들을 디스플레이하는데 이용할 수 있는 레벨들의 수이다.

도 2는 x 방향으로 WaDi를 설명하기 위한 파형 및 입력 샘플들(Pi)을 도시한다. 함수 f(x)는 입력 비디오 이미지 Ⅱ에서 전이를 도시한다.

특히, WaDi의 목적은 보간 처리에 의해 에지들이 희미해지는 것을 방지하기 위한 것이다. 만약 보간될 중간 샘플(Pt)이 출력 도메인에서 위치(u)(도시되지 않음)에 있다면, 입력 도메인에서 출력 샘플(Po)의 대응하는 위치는 x=u/z이고, 여기서 z는 스케일링 팩터이다. 입력 도메인은 입력 화소들(Pi)을 포함하고 출력 도메인은 출력 화소들(Po)을 포함한다. 부분 위치 또는 위상 Sx = x-x_o이고, 여기서 x_o는 x 다음의 좌측 입력 샘플(Pi)이다. x_o에서 이런 입력 샘플(Pi)은 샘플 값(a2)을 가지며, x₁에서 입력 샘플(Pi)은 값(a3)을 가지며, x_-1에서 입력 샘플(Pi)은 값(a1)을 가지며 x₂에서 입력 샘플(Pi)은 도시된 예들에서 1인 값(a4)을 가진다. 만약 간단한 텐트(쌍일차) 커널이 WaDi의 선형 보간기의 기본 커널로서 제공되면, 출력 값은 다음과 같다.

ft(x) = (1-Sx)f(x₀) + Sxf(x₁) = (1-Sx)a2 + Sxa3 (4)

여기서 x₁은 x 다음의 우측 입력 샘플이다.

일반적으로 말하면, 보간된 샘플 ft(x)은 이웃하는 샘플들 f(x₀) 및 f(x₁)의 선형 결합이고, 상기 선형 결합은 부분 위치(또는 위상)(Sx)에 따른다. 발광 에지에서 보간은 x가 우측 또는 좌측 입력 샘플(Pi)쪽으로 가상적으로 이동되도록 로컬적으로 위상(Sx)를 워핑함으로서 제공된다. 이런 워핑은 발광 에지들의 존재시 더 강해지고 부드러운 부분들에서 더 약해진다. 보간될 위치(x)에서 샘플 주위의 워핑 양을 결정하기 위하여 위치(x_-1, x₀, x₁ 및 x₂)들에서 4개의 샘플들(Pi)은 분석되고, 비대칭 값 또는 워핑 팩터(A)는 다음과 같이 계산된다.

(5)

여기서 L은 허용되는 발광 레벨들의 수(8 비트 양자화의 경우 256)이다. 그리고 x₁은 입력 샘플(x₀)에 선행하는 입력 샘플이고, x₂는 입력 샘플(x₁)을 뒤따르는 입력 샘플이다. 만약 S자형 만곡부 에지 모델이 적용되면, 방정식(5)에서 비대칭 값(A)는 에지가 바람직하게 대칭일때 0이고, 에지가 샘플(Pt)의 우측(좌측)으로 보다 편평할때 1(또는 -1)에 가깝다.

보간될 샘플(Pt)은 그것이 속하는 편형한 영역쪽으로 이동되어야 한다. 그러므로, 워핑 팩터 A>0일때, 위상(Sx)은 증가되어야 하고, 반면 워핑 팩터 A<0일때 위상(Sx)은 감소되어야 한다. 이것은 다음 워핑 함수에 의해 얻어진다.

Sx' = Sx - kASx(Sx-1) (6)

여기서 k는 제어할 수 있는 일반적인 워핑 양이다. 만약 k가 범위[0, 1]내 에 있다면, 워핑된 위상(Sx')은 범위 [0, 1]에서 유지된다. 2개의 외항들(Sx=0 및 Sx=1)이 A 및 k의 값에도 불구하고 유지되는 것(Sx'=0 및 Sx'=1)은 주의되어야 한다. 워핑된 중간 샘플은 WP로서 표시된다.

x 방향으로 공지된 WaDi를 수행함으로써 워핑된 중간 샘플들을 결정하기 위하여 설명된 바와 동일한 방식으로, WaDi는 출력 샘플(Po)을 얻기 위하여 y 방향으로 워핑된 중간 샘플들(WP)을 통합하여야 한다.

위상(Sx)을 변화시키는 것은 워핑된 것과 같이 WaDi의 선형 필터 방정식을 적용하기 전에, 각각 중간 또는 출력 그리드에 보간될(Pt 또는 Po) 샘플의 위치를 이동시키는 것과 같다. 실제로, 샘플들(Pt 또는 Po)의 최종 위치는 변화되지 않고, 알고리즘은 워핑된 위치에 있다면 얻어진 값을 보간될(Pt 또는 Po) 샘플에 할당한다. 팩터(k)는 워핑 양을 제어하고, 보다 큰 k의 값은 샤프닝(sharping) 효과를 증가시킨다. 위상(Sx)이 간격 0 내지 1내에 놓이는 것을 보장하기 위하여, 팩터(k)는 ≤1로 선택되어야 한다. 그러나, 자연스러운 이미지를 위하여, 팩터(k)는 바람직하게 1 보다 크다. 왜냐하면 lAl는 일반적으로 작고, 심지어 이들 보다 큰 팩터들(k)에서 조차, 위상(Sx)은 1보다 작기 때문이다. 만약 위상(Sx)이 1보다 크면, 그것은 1로 클립되거나 만약 0보다 작으면 0으로 클립된다.

본 발명에 따른 실시예에서, 공지된 WaDi와 비교하여, 워핑 함수는 입력 이미지 또는 출력 이미지에서 로컬 기울기(θ)의 방향으로 일단 다시 결정된다.

도 3은 특정 출력 샘플에 대하여, 보간기 입력 값들(a1 내지 a4)이 본 발명의 실시예에 따른 로컬 기울기의 방향으로 배열될 수 있는 방법을 도시한다. 입력 샘플들(Pi)은 x, y 공간에서 거리(d) 이상 이격된 큰 도트들에 의해 표시된다. 출력 샘플들(Po)은 출력 그리드를 형성하는 수평 및 수직 라인들의 교차점에 의해 표시된다. 도 3은 예를 들어 팩터 2를 가진 스케일링을 도시한다. 라인(TR)은 검정 영역(경계 TR의 좌측 및 우측) 및 하양 영역 사이의 경계를 가리킨다. 출력 화소(P)의 위치에서 로컬 기울기의 방향은 경계 TR에 수직인 점선 DLG에 의해 표시된다.

본 발명은 x 또는 y 방향에서 로컬 1차원 특징에 따르지 않고 2차원 특징들을 따른 위상들(Sx 및 Sy)을 변화시키는 것을 기초로 한다. 따라서, 워핑 팩터(A)는 대각선일 수 있는 로컬 기울기 방향(θ)을 따라 한 단계에서 계산된다. x 방향 및 y 방향에서 각각 팩터(A)를 결정하는 것은 요구되지 않는다.

공지된 WaDi에 관련하여 논의된 바와같이, 비대칭 값 또는 워핑 팩터(A)는 값이 결정되는 출력 샘플(P)의 이웃에 배치된 입력 값들(a1 내지 a4)을 사용함으로써 계산된다. 그러나, 본 발명의 실시예에 따라, 이들 값들은 x 방향에서 입력 샘플들(Pi)이나 y 방향에서 워핑된 일시 샘플들(Pt)이 아니다. 지금, 입력 값들(a1 내지 a4)은 로컬 기울기(θ)의 방향으로 배열된다. 도 3에 도시된 바와같이, 워핑 팩터(A)를 결정하기 위하여 사용된 입력 값들(a1 내지 a4)은 라인 DLG상에 로컬 기울기(θ)의 방향으로 배치된다. 일반적으로, 이들 입력 값들(a1 내지 a4)은 입력 샘플들(Pi)과 일치하지 않고 따라서 입력 샘플들(Pi)로부터 보간될 것이다. 바람직하게, 입력 샘플들(a1 내지 a4)중 2개의 연속 값들 사이의 거리(d)는 이미지 보간 단계와 결합을 유지하기 위하여 입력 이미지 Ⅱ의 샘플들(Pi)의 샘플링 주기와 같다.

이런 샘플링 주기는 x 또는 y 방향에서 2개의 연속적인 입력 샘플들(Pi) 사이의 거리(d)에 대응한다. 예를들어, 입력 값들(a1 내지 a4)은 도 3에 도시된 위치에서 쌍일차 보간에 의해 얻어진다. 이들 입력 값들(a1 내지 a4)의 위치들은 보간될 출력 화소(P)의 (xp,yp) 위치로부터 각각 1.5d, -0.5d, 0.5d, 1.5d 거리에서 최대 기울기 방향(θ)을 따라 선택되고, 여기서 d는 입력 그리드에서 2개의 연속적인 입력 화소들(Pi) 사이의 거리이다. 입력 값들(a1 내지 a4)의 좌표들(x 및 y)은 다음 방정식들에 따라 결정된다.

x = x_p + (i-2.5)d·cos(θ)

y = y_p + (i-2.5)d·sin(θ)

여기서 i는 입력 값(ai)의 인덱스이다.

2개의 가능한 실시예들은 로컬 기울기(θ)를 결정하기 위하여 설명된다. 제 1 실시예에서, 입력 이미지 Ⅱ는 대략적으로 보간된 출력 샘플들을 얻기 위하여 쌍일차 필터를 사용하여 공지된 알고리즘을 사용하여 우선 보간된다. 로컬 기울기(θ)는 이들 출력 샘플들로부터 출력 도메인에서 결정된다. 예를들어, 소벨 필터를 사용함으로써, x 및 y 방향을 따라 파생된 방향 값을 얻기 위한 소벨 필터들의 가능한 마스크들은 다음과 같다.

위치(x_i,y_i)에서 기울기(θ)의 방향은 다음과 같이 평가된다.

θ(x_i,y_i) = arctan((f1*Sobel_y)l(x_i,y_j)/(f1*Sobel_x)l(x_i,y_j)) (7)

여기서 f1은 입력 이미지 Ⅱ의 대략적인 보간의 결과이고, θ는 -π/2 및 π/2 사이에서 변화하는 각도이다.

기울기 방정식은 출력 도메인에서 소벨의 방법을 사용함으로써 수행되었다. 사전 처리, 예를들어 간단한 쌍일차 보간기는 입력 이미지 Ⅱ의 저역 통과 버젼을 나타내는 원 보간 출력 샘플들을 얻기 위하여 요구되고 기울기 평가는 노이즈에 보다 덜 민감하다. 대략적인 보간은 보다 높은 계산 복잡도가 요구되지만 보다 나은 기울기 값들(θ)을 제공하는 단점을 가진 바이큐빅(bicubic) 보간 같은 보다 복잡한 방법들로 수행될 수 있다. 비록 이런 제 1 실시예가 매우 우수한 기울기 평가를 제공하지만, 총 처리 시간에 상당한 오버헤드를 부가한다.

다른 실시예에서, 기울기(θ)를 평가하기 위한 보다 덜 최적인 해결책은 입력 도메인(입력 샘플들 Pi을 사용)에서 소벨 필터들을 제공하고 이들 기울기 값들을 출력 그리드에 맵핑하는 것이다. 이런 맵핑은 예를들어 가장 가까운 이웃 방법, 또는 평가된 기울기 값들(θ)을 선형적으로 보간함으로써 수행될 수 있다.

만약 보간 팩터의 매우 높은 값들이 요구되면, 소벨 필터의 통과 대역은 너 무 크게 되고 기울기 평가는 작동하지 않는다. 높은 보간 팩터들 때문에, 전체 알고리즘을 두번 수행하는 2개의 단계들에서 실현하는 것이 보다 바람직하다. 예를들어, 팩터 8에 의한 보간은 팩터 2에 의한 직렬 보간에 의한 보간이될 수 있다. 선택적으로, 소벨 필터들은 기울기 값들(θ)을 얻기 위하여 입력 이미지 Ⅱ의 중간 해상도 버젼을 처리하기 위하여 사용될 수 있다. 동일한 기울기 값들(θ)은 매우 높은 해상도 출력 그리드에서 출력 화소들(Po)의 그룹에 할당된다.

도 4는 본 발명에 따른 1개의 단계 워프된 거리 개념의 실시예를 설명하기 위한 흐름도를 도시한다.

단계 1은 입력 샘플들 Pi(i,j)을 수신하고 로컬 기울기(θ(m,n))(또한 기울기라 함)들을 공급한다. 이전에 설명된 바와같은 제 1 실시예에서, 단계(10)는 소벨_x 필터링 단계(11) 및 소벨_y 필터링 단계(12)에 입력된 평가 출력 샘플들 I'(m,n)을 얻기 위하여 입력 화소들 Pi(i,j)을 통합한다. 분할 단계(13)에서, 소벨_y 필터링 단계(12)의 출력은 소벨_x 필터링 단계(11)의 출력에 의해 나누어진다. 단계(14)는 분할 단계(13)의 출력의 아크탄젠트(arctan)를 계산함으로써 기울기 θ(m,n)를 결정한다.

단계 2는 워핑 팩터 A의 결정이라 불리는 로컬 비대칭 평가를 수행한다. 단계(20)에서, 4개의 입력 값들(a1 내지 a4)은 로컬 기울기(θ)의 방향, 따라서 라인 DLG을 따른 위치들에서 결정되도록 선택된다. P(m,n)은 값이 보간되는 출력 샘플이고, θ(P)는 이 출력 샘플 P(m,n)의 위치에서 로컬 기울기이다. 단계(21)에서, 입력 값들(a1 내지 a4)의 값들은 입력 값들(a1 내지 a4)의 위치들을 둘러싸는 입력 샘플들(Pi)의 보간에 의해 결정된다. 바람직하게, 쌍일차 보간은 사용된다. 단계(22)에서, 워핑 팩터 A는 보간된 입력 값들(a1 내지 a4)로부터 한 단계에서 방정식 5에 따라 결정된다.

단계 3은 출력 샘플들 Po(i,j)의 값들을 결정한다. 단계(30)는 공지된 WaDi 방법에 대하여 행해진 방정식 6과 동일한 방식으로, 거리들(S_x 및 S_y)을 워핑함으로써 로컬 워핑 성분들 또는 거리들(SL_x 및 Sl_y)을 계산하기 위하여 기울기들 θ(m,n) 및 워핑 팩터 A를 수신한다. 결과를 얻기 위하여, 워핑 벡터 A는 x 및 y 방향으로 투영된다. 다음 방정식들은 이들 동작들을 수행한다.

SL_x = S_x + kAcos(θ)/4 (8)

SL_y = S_y + kAsin(θ)/4 (9)

공지된 WaDi 방법에서 처럼, k는 왜곡 세기를 조절하는 곱셈 팩터이고, θ는 기울기 방향을 한정하는 각도이다. 분모에서 최적 팩터(4)는 공지된 WaDi 결과들과 비교하기 위해서만 제공된다. k 팩터가 (외부) 자동 제어에 의해 샘플 단위(또는 만약 화소 단위에서 출력 화소들을 말하면)로 변화될 수 있다는 것이 주의된다. 예를들어, 자연 콘텐트 검출기는 로컬 화소가 사진의 일부인지 가능성을 평가하기 위하여 사용될 수 있다. 이런 평가에 따라 워핑 효과는 가장 우수한 결과를 얻기 위하여 k 팩터를 통하여 조절될 수 있다.

최적 클립핑 단계(31)는 제한치들을 영에서 1 범위에서 유지하기 위하여 로 컬 워핑 거리들(SL_x 및 Sly)의 값들을 클립한다. 그렇지 않으면, 특히 만약 곱셈 팩터 k>4이면, 워핑 거리들(SL_x 또는 SL_y)이 보간될 출력 화소(Po)가 우수한 보간을 제공하지 않을 4개의 가장 가까운 입력 화소들(Pi)에 의해 형성되는 정사각형 외부로 이동되는 것을 의미하는 1보다 크거나 영보다 작은 것이 발생할 수 있다. 클립된 워핑 거리들은 SLC_x 및 SLC_y에 의해 표현된다.

방정식들(8 및 9)에 기초하여, 만약 위상 Sx=0이고 위상 Sy=0이면, 그리고 A가 영이 아니면, 워핑 거리들(SL_x 및 SL_y)가 영과 동일하지 않을 수 있는 것이 주의된다. 따라서, 입력 그리드의 위치에 대응하는 출력 그리드의 포인트들에 통합된 출력 화소들 Po(m,n)은 대응하는 입력 샘플들 Pi(i,j)와 다른 값을 가질 수 있다. 그러므로, 본 발명에 따라 제공된 WaDi 알고리즘은 적당한 보간 알고리즘이다.

보간 단계(32)는 바람직하게 선형 커널을 사용하는 보간기를 사용하여 입력 샘플들 Pi(i,j)을 보간한다. 클립된 워핑 거리들(SLC_x 및 SLC_y)은 출력 샘플 Po(m,n)이 공지된 WaDi와 동일한 방식으로 인접한 입력 샘플들 Pi(i,j)을 웨이팅함으로써 보간되는 방법을 결정한다.

출력 샘플 또는 화소 Po(x,y)의 값 f(x',y')이 평가되는 워핑 위치(x',y')는 하기 3개의 팩터들에 의해 영향을 받는다 :

우리가 보간하는 출력 화소(Po)의 좌표들 x,y,

워핑 팩터 A를 계산하기 위하여 사용된 입력 값들(ai)의 위치를 포함하는 로 컬 기울기의 방향(θ), 및

워핑 세기 파라미터(k)의 값.

도 5는 본 발명에 따른 1개의 단계 워핑 거리 개념의 다른 실시예 일부의 흐름도를 도시한다. 도 5는 상기된 제 2 실시예에 따른 로컬 기울기 θ(m,n)의 검출을 결정하는 단계(1)에서 요구된 단계들을 도시한다. 지금, 단계(1)은 도 4에 도시된 단계들(10 내지 14) 대신 단계들(15 및 16)을 포함한다. 단계(15)에서, 로컬 기울기들 θ(i,j)의 방향은 입력 샘플들(Pi)에 대한 입력 이미지 Ⅱ에서 결정된다. 단계(16)은 출력 화소들(Po)에 대한 로컬 기울기들 θ(m,n)을 얻기 위하여 입력 도메인에서 출력 도메인으로 이들 로컬 기울기들 θ(i,j)을 맵핑한다. 본 발명에 따른 이 실시예의 WaDi 처리의 다른 단계들은 도 4에 도시된 단계들과 동일하다.

도 6은 본 발명에 따른 워프된 거리 보간기를 포함하는 디스플레이 장치의 블록도를 도시한다. 입력 비디오 처리기(IVP)는 입력 샘플들(Pi)을 포함하는 입력 이미지 Ⅱ를 얻기 위하여 입력 비디오 Ⅳ를 처리한다. 만약 입력 비디오 Ⅳ가 3개의 RGB 신호들을 포함하면, 입력 비디오 처리기(IVP)는 발광 값을 결정하기 위한 행렬을 포함할 수 있다. 스케일러 WⅠ는 하나의 단계에서 2차원 입력 이미지들 Ⅱ을 처리할 수 있도록 제공된 공지된 WaDi 보간기인 본 발명에 따른 WaDi 보간기를 포함한다. 스케일러 WⅠ는 출력 샘플들(Po)을 포함하는 출력 이미지(OI)를 공급한다. 상기 스케일러는 일반적으로 행렬 디스플레이를 포함하는 디스플레이 장치에 일반적으로 요구된다. 상기 행렬 디스플레이는 각각의 행에서 화소들(디스플레이 요소들)의 수 및 행들의 수에 의해 결정된 본래의 해상도를 가진다. 다른 한편, 입력 이미지 Ⅱ는 행렬 디스플레이의 본래 해상도와 다를 수 있는 해상도를 가진다. 따라서, 행렬 디스플레이의 화소들상에 디스플레이될 출력 샘플들(Po)은 입력 샘플들(Pi)로부터 보간되어야 한다. 스케일러 WⅠ는 만약 제공되면 3개의 신호들 R, G 및 B의 각각을 통합할 입력 비디오 Ⅳ를 수신할 수 있다. 출력 비디오 처리는 디스플레이 스크린(DS)을 포함하는 디스플레이 장치(DP)를 구동하기에 적당한 비디오 구동 신호(VDS)를 얻기 위하여 출력 비디오(OI)를 처리한다.

결론적으로, 본 발명에 따른 바람직한 실시예는 제공된 순서로 다음 단계들을 수행하는 디지탈 처리기에 관한 것이다.

임시 출력 샘플들(Pot)을 포함하는 대략적으로 보간된 출력 이미지 I'(m,n)를 얻기 위하여 미리 결정된 빠른 보간 방법을 가진 입력 이미지 Ⅱ 보간(10). 임시 출력 샘플들(Pot)은 로컬 기울기 방향 θ(m,n)을 계산하기 위하여 결정되고 디스플레이되는 것을 의미하지 않는다.

소벨 필터들(11 및 12), 분할기(13) 및 아크탄젠트 계산기(14) 같은 간단한 알고리즘을 사용하여 대략적으로 보간된 출력 이미지 I'(m,n)에서 로컬 기울기 방향 θ(m,n) 계산. 다른 알고리즘들은 사용될 수 있다.

우리가 보간하기 원하는 출력 화소 Po(m,n) 주위에 배치된 미리 결정된 위치들을 선택된 20에서 입력 이미지 Ⅱ의 입력 샘플들 Pi(i,j)로부터 이 기울기 방향 θ(m,n)을 따라 다수의 보간된 입력 값들 결정(21). 워핑 팩터 A를 계산(22)함으로써 WaDi 방법의 에지 모델을 매칭하기 위한 이들 입력 값들(ai) 사용. 기울기 방향 θ(m,n)을 따라 워핑을 계산하기 위하여 이런 워핑 팩터 A 사용.

x 및 y 축상에서 기울기 방향 θ(m,n)을 따라 계산된 워핑 보호(30), 및 만약 필요하면 클립핑(31) 수행. 위상들(Sx 및 Sy)(출력 샘플 Po(m,n)의 워핑 위치를 계산하기 위하여 가장 가까운 상부 좌측 입력 화소들 Pi(i,j)에 관련하여 보간될 출력 샘플들 Po(m,n)의 오프셋을 나타냄)의 값들상에 투영된 x 및 y 워핑 성분들 적용(32). 워핑된 위치에서 출력 샘플 값 Po(m,n)을 보간하기 위한 선형 필터링 기술 사용(32). 출력 샘플들 Po(m,n)은 디스플레이되도록 사용된다.

본 발명에 따른 WaDi 알고리즘은 보간 처리가 사진 이미지들 또는 비디오에 요구되는 매 시간 사용될 수 있다. 알고리즘은 2 보다 큰 스케일링 팩터들이 요구될때 가장 우수하게 수행한다. 예를들어, 알고리즘은 사진 손질 소프트웨어 및 다른 콘텍스트에서 비디오 월 애플리케이션들에 사용될 수 있다. 또한 디지탈 디스플레이 시스템들의 제어기들 같은 집적 회로들 내부에 사용될 수 있다. 알고리즘은 실시간 및 일괄 처리 애플리케이션들 양쪽에서 실행될 수 있다.

상기된 실시예들이 본 발명을 제한하기 보다 도시하고, 당업자는 첨부된 청구항들의 범위에서 벗어나지 않고 다른 실시예들을 설게할 수 있다는 것이 주의된다.

비록 본 발명에 따른 WaDi 처리가 그레이 스케일 이미지들을 위하여 기술되었지만, 동일한 처리는 컬러 이미지들에 사용될 수 있다. 만약 WaDi 처리기가 RGB(적색, 녹색 및 청색) 입력 신호들을 수신하면, 워프된 거리들(Slx 및 SLy)은 RGB 입력 신호들로부터 결정된 발광 값을 사용함으로써 계산될 수 있다. 그 차이는 최종 단계(32)에서, 워프된 거리들(SLx 및 SLy) 또는 클립된 워핑 거리들(SLCx, SLCy)의 동일한 값들을 사용하여 독립적으로 RGB 신호들의 각각 하나에서 보간이 3번 제공되는 것이다.

청구항들에서, 괄호 사이에 배치된 어떤 참조 부호들도 청구항을 제한하는 것으로 구성되지 않는다. 동사 "포함하는(comprise)" 및 그 어형 변화의 사용은 청구항에서 개시된 것 이외의 요소들 또는 단계들의 존재를 배제하지 않는다. 요소들 앞의 단수 표현은 다수의 요소들의 존재를 배제하지 않는다. 본 발명은 몇개의 구별되는 요소들을 포함하는 하드웨어 및 적당히 프로그램된 컴퓨터에 의해 실행될 수 있다. 몇몇 수단을 열거한 장치 청구항에서, 이들 수단 중 몇몇은 하드웨어 하나 및 동일한 아이템에 의해 실현될 수 있다. 특정 방법들이 상호 다른 종속항들을 제한하는 사실은 이들 방법들의 결합이 장점으로 사용될 수 없는 것을 가리키지 않는다.

Claims

이미지의 샘플들(Pi, Pot)의 샘플 값들(f)을 보간하는 방법에 있어서,

상기 샘플들(Pi, Pot) 중 특정 샘플에 이웃하는 샘플 값들(f)로부터, 상기 샘플들(Pi,Pot) 중 상기 특정 샘플에 대한 샘플 값들(f)의 로컬 기울기(θ)의 방향을 결정하는 단계(1);

상기 샘플들(Pi,Pot) 중 상기 특정 샘플의 로컬 기울기(θ) 방향에서 보간기 입력 값들(ai)의 위치를 선택하는 단계(20);

상기 보간기 입력 값들(ai)에 이웃하는 샘플 값들(f)로부터, 상기 샘플들(Pi,Pot) 중 상기 특정 샘플에 대한 상기 보간기 입력 값들(ai)을 보간하는 단계(21); 및

상기 보간기 입력 값들(ai)을 사용하여 워프된 거리 보간기(3)에 대한 워핑 팩터(warping factor)(A)를 단일 단계에서 결정하는 단계(22)를 포함하는, 샘플 값 보간 방법.
제 1 항에 있어서,

출력 이미지(OI)가, 출력 샘플들(Po)을 가진 상기 출력 이미지(OI)를 얻기 위하여, 입력 샘플 값들을 갖는 입력 샘플들(Pi)을 가진 입력 이미지(Ⅱ)를 디지탈적으로 스케일링하기 위한 시스템에서, 상기 입력 이미지(Ⅱ)로부터 보간되고,

상기 방법은 임시 출력 샘플 값들(I'(m,n))을 갖는 보간된 임시 출력 샘플들 (Pot)을 얻기 위하여, 상기 입력 샘플 값들을 보간하는 단계(10)를 더 포함하며,

상기 로컬 기울기(θ)의 방향을 결정하는 단계(1)는 이웃하는 임시 출력 샘플 값들(I'(m,n))로부터 상기 출력 샘플들(Po)의 각각의 샘플에 대한 상기 로컬 기울기(θ) 방향을 결정하도록 배열되는, 샘플 값 보간 방법.
제 1 항에 있어서,

출력 이미지(OI)가, 출력 샘플들(Po)을 가진 출력 이미지(OI)를 얻기 위하여, 입력 샘플들(Pi)을 가진 입력 이미지(Ⅱ)를 디지탈적으로 스케일링하기 위한 시스템에서, 상기 입력 이미지(Ⅱ)로부터 보간되고,

상기 로컬 기울기(θ)의 방향을 결정하는 단계(1)는 입력 샘플 기울기 값들을 얻기 위하여, 이웃하는 입력 샘플 값들로부터 상기 입력 샘플들(Pi)의 각각의 샘플에 대한 상기 로컬 기울기(θ)의 방향을 결정하도록(15) 배열되며,

상기 방법은 상기 출력 샘플들(Po)의 출력 기울기 값들에 상기 입력 샘플 기울기 값들을 맵핑하는 단계(16)를 더 포함하고, 상기 출력 기울기 값들 중 대응하는 값은 상기 샘플들(Pi,Pot) 중 특정 샘플의 상기 로컬 기울기(θ)로서 사용되는, 샘플 값 보간 방법.
제 2 항에 있어서,

상기 입력 샘플들(Pi) 및 상기 출력 샘플들(Po)은 x 방향의 화소들의 행들 및 y 방향의 화소들의 열들을 포함하는 행렬로 배열되고, 상기 로컬 기울기(θ)의 방향을 결정하는 단계(1)는 상기 x 방향으로 상기 임시 출력 샘플들(Pot)의 제 1 소벨 필터링(Sobel filtering)(11), 및 상기 y 방향으로 제 2 소벨 필터링(12)을 포함하고, 상기 출력 샘플들(Po)의 상기 로컬 기울기(θ)는 상기 제 1 소벨 필터링(11)에 의해 나누어진 상기 제 2 소벨 필터링(12)의 아크탄젠트인, 샘플 값 보간 방법.
제 2 항 또는 제 3 항에 있어서,

인접한 보간기 입력 값들(ai) 사이의 거리(d)는 인접한 입력 샘플들(Pi) 사이의 거리와 실질적으로 동일한, 샘플 값 보간 방법.
제 2 항 또는 제 3 항에 있어서,

상기 입력 샘플들(Pi) 및 상기 출력 샘플들(Po)은 x 방향의 화소들의 행들 및 y 방향의 화소들의 열들을 포함하는 행렬로 배열되고,

상기 워핑 팩터(A)를 결정하는 단계(22)는 제 1 및 제 2 워핑 성분들(Ax, Ay)을 각각 얻기 위하여 x 및 y 축상에 워핑 팩터(A)를 투영하는 단계(30)를 포함하고, 보간기(32)는 제 1 및 제 2 워핑 성분들(Ax, Ay)에 의해 결정된 변형된 거리들로 입력 샘플들(Pi)을 보간하기 위한 것인, 샘플 값 보간 방법.
이미지 샘플들(Pi,Pot)의 샘플 값들(f)을 보간하기 위한 워프된 거리 보간기에 있어서,

상기 샘플들(Pi, Pot) 중 특정 샘플에 이웃하는 샘플 값들(f)로부터, 상기 샘플(Pi,Pot) 중 특정 샘플에 대한 샘플 값들(f)의 로컬 기울기(θ) 방향을 결정하기 위한 수단(1);

상기 샘플들(Pi,Pot) 중 특정 샘플의 상기 로컬 기울기(θ)의 방향에서 보간기 입력 값들(ai)의 위치를 선택하기 위한 수단(20);

상기 보간기 입력 값들(ai)과 이웃하는 화소 값들(f)로부터 상기 샘플들(Pi,Po) 중 특정 샘플에 대한 상기 보간기 입력 값들(ai)을 보간하기 위한 수단(21); 및

상기 보간기 입력 값들(ai)을 사용하여 워프된 거리 보간기(3)에 대한 워핑 팩터(A)를 단일 단계에서 결정하기 위한 수단(22)을 포함하는, 보간기.
제 7 항의 워프된 거리 보간기(3), 및 디스플레이 스크린(DS)을 포함하는, 디스플레이 장치.