KR20160025877A

KR20160025877A - 가중치가 주어진 최소 사각형 기반 내부 필드 디인터레이싱 방법

Info

Publication number: KR20160025877A
Application number: KR1020140113320A
Authority: KR
Inventors: 전광길
Original assignee: 인천대학교 산학협력단
Priority date: 2014-08-28
Filing date: 2014-08-28
Publication date: 2016-03-09
Anticipated expiration: 2034-08-28
Also published as: KR101609644B1

Abstract

본 발명의 실시 예에 따른 가중치가 주어진 최소 사각형 기반 내부 필드 디인터레이싱 알고리즘은 디인터레이싱 방법에 있어서, 조건부 확률 모델을 위해 원본 이미지의 통계적 모델을 가우시안 분포로 추정하는 단계와, 인터레이스된 이미지에서 미리 설정된 소정 크기의 가중치가 부여된 로컬 윈도우를 설정하는 단계 및 상기 통계적 모델 분석에 기초하여 상기 로컬 윈도우를 디인터레이싱하는 단계를 포함한다.

Description

가중치가 주어진 최소 사각형 기반 내부 필드 디인터레이싱 알고리즘{weighted least squares-based intrafield de-interlacing algorithm}

본 발명은 디인터레이싱 기법에 관한 것으로 특히, 가중치가 주어진 최소 사각형 기반 내부 필드 디인터레이싱 알고리즘(weighted least squares-based intrafield de-interlacing algorithm)에 관한 것이다.

인터레이스된 스캐닝은 대역폭을 줄이기 위해 비디오 신호에 사용되어 왔고, NTSC, PAL, SECAM, 그리고 몇몇의 HDTV 포맷의 형식으로 TV 방송 시스템의 표준으로 널리 사용된다. 하지만, 인터레이스된 스캐닝은 선 깜빡임과 톱니 모양의 가장자리와 같은 약간의 인위적인 현상들을 만들어 낸다. 이러한 문제점들을 해결하기 위해, 이 분야에서는 위의 결점들을 줄이기 위한 몇 가지 디인터레이싱 알고리즘들이 제안되어 왔다. 디인터레이싱은 인터레이싱된 저해상도 이미지를 최대 크기 고해상도 이미지로 생성하는 기법이다.

디인터레이싱은 일반적인 업샘플링 문제로의 단순한 접근이다. 왜냐면 그것은 두 배의 수직 업샘플링에 의해 수행될 수 있기 때문이다. 하지만, 그러한 업샘플링은 비디오 신호가 나이키스트 판정법(Nyquist criterion)을 만족할 때만 적당하다. 연산 및 하드웨어 비용과 결과 이미지의 품질 사이에서 좋은 균형을 이루는 많은 디인터레이싱 방식들이 있었다.

일반적으로 디인터레이싱은 두 타입으로 분류된다. 하나는, 단일 필드만 받아들이는 intrafield(spatial) 디인터레이싱 방식이다. 다른 하나는, 다중 필드들을 받아들이는 interfield (spatio-temporal) 디인터레이싱 방식이다. MC 디인터레이싱 방식은 높은 연관성으로 모션 궤적의 재생성을 시도한다. 하지만, MC기반 방식은 높은 정확도의 모션 정보를 필요로 한다.

공간 디인터레이싱 방식은 가장 단순한 방식이며 높은 하드웨어 비용을 요구하지 않는다. 이들 방식은 현재 필드에 있는 픽셀과 채워지는 픽셀 사이의 높은 연관성을 사용한다. 따라서 공간 방식은 실시간 어플리케이션에 널리 이용된다.

이 중 몇 가지 복잡도와 성능을 가지는 많은 수의 공간 디인터레이싱 방식들이 있다. 예를 들면, 선 평균 방식은, 상하 픽셀의 강도의 평균값으로 비어있는 픽셀을 추정하는 방식으로서 복잡하지 않은 접근이다. 선 평균 방식은 그것의 단순함으로 선호된다. 하지만, 입력되는 이미지의 수직 해상도가, 이미지가 재생성되기 전까지는 반으로 줄어들기 때문에, 이것은 디인터레이스 되는 이미지의 상세함을 약화시키는 원인을 제공한다.

이 문제를 완화하기 위해서, 가장자리 기반 선 평균(ELA) 방식이 나타난다. ELA 방식은, 인터레이스된 이미지에서 두 개의 이웃하는 선 사이에 비어있는 픽셀을 재생성하기 위해, 가장자리 방향 연관성을 사용했다. ELA는 낮은 복잡도로 수용가능한 객관적인 성능을 보이며, 가장자리가 적절히 결정되는 영역에서는 선 평균의 흐릿해지는 인위적 현상을 제거한다. 하지만, ELA는 높은 공간 빈도나 부정확한 가장자리 방향의 영역에서는 수준 낮은 가시 결과를 준다.

EELA는 방향성 공간 연관성을 더 효과적으로 판단하기 위해, 가장자리 방향 측정 인자를 개선했다.

EELA의 업그레이드 된 몇몇 버전들은, 방향성 지향 보간(DOI) 방식, 낮은 복잡도 보간 디인터레이싱(LCID), 내용 분석 기반 접근 (수정된 가장자리 기반 선 평균(MELA)), 새로운 가장자리 의존 디인터레이싱 방식(NEDD), 가장자리 맵기반 디인터레이싱(EMD), 공분산 기반 수용적 디인터레이싱(CAD), 가장자리 기반 연관성 수용(ECA) 등이다. 양방향 필터링 보간을 이용하는 intrafield 디인터레이싱 방식이나, 디인터레이싱을 위해, local intensity histogram screening과 일반화된 퍼지 연산 접근으로 수용적 양방향 필터가 제안되었다.

DOI는 가장 높은 공간 연관성의 방향을 더 잘 추정하기 위해서 상하 공간 방향 벡터를 수용한다. 이 벡터들을 사용해서, DOI는 가장 관련된 공간 방향을 위한 잘못된 결정의 기회를 감소시켰다. LCID 방식은, 차후의 보간을 위한 결정 오류를 완화하는 주된 목적으로, 효과적으로 공간 관계를 추정하는 추가적인 측정을 나타낸다. MELA는 또 다른 수직 측정을 포함하며, 수직 및 두 사각선 방향들을 포함하는 세 방향의 공간 관계를 고려한다. NEDD는 정확한 가장자리 방향을 검출하기 위해, 차이점과 가장자리 패턴을 모두 사용한다. EMD는 가장자리 방향의 더 좋은 해상도를 얻도록, 가장자리 맵에 의해 계산되는 45도, 90도, 135도 방향의 세 가장자리 방향 벡터들을 소개한다. 방향 벡터의 가장자리 방향에 따르면, 가중치는 각각의 가장자리 방향에 대해 계산된다. 이들 가중치 값은 재생성된 장면의 추정을 성공적으로 만들기 위해서 후보 디인터레이스된 픽셀들로 곱해진다. CAD 방식은 최적 계수를 얻기 위해 지역 가장자리 방향에 정렬된 인접 픽셀을 수용한다. 그리고, 방향 지향 지리 이원성에 근거하여, 대응하는 방향에서 인접 픽셀을 위한 최적의 보간 계수가 추정된다. ECA는 가장자리를 발견하기 위해서 다양한 가장자리 방향을 기반으로 하며, 보간 결과를 용이하게 하기 위해서 ELA의 요소들의 가중치가 부여된 총합을 사용하여 개선된다.

위에서 언급한 intrafield 디인터레이싱 방식들에서, 선 평균, ELA, EELA등과 같은 몇 가지 방법들은 그들의 단순함으로 인해, 구현하기가 쉽다. 하지만 이것들은 제한적인 후보 가장자리 방향을 사용하는 낮은 수준의 추정 때문에 좋은 가시 품질을 달성하기 어렵다. CAD는 저해상도의 인터레이스된 이미지로부터 고해상도의 디인터레이스된 이미지로의 공분산 추정에 근거한 수용적인 방식이다. CAD는 추정이 잘못되었을 경우만 이미지 품질이 저하된다.

기존의 디인터레이싱 알고리즘으로부터, 디인터레이싱 알고리즘의 추정 품질이 근본적으로 하나의 이미지에 걸친 다양한 픽셀 구조에 대한 그것의 융통성에 의존한다는 결론을 내릴 수 있다.

기존의 디인터레이싱 알고리즘들은 효율적이고 구현하기 쉽지만, 이미지의 품질을 복구하는데 취약하고, 원본 이미지의 근본적인 구조를 추정하는데 취약하여, 낮은 가시 품질과 낮은 PSNR의 원인이 된다.

본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로, 그 목적은 인터레이스된 이미지를 디인터레이싱하는데 있어서 높은 품질을 구현하여 근본적인 원본 이미지를 추정하고, 가시 품질과 PSNR을 높일 수 있는, 디인터레이스 알고리즘을 제공하는데 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 가중치가 주어진 최소 사각형 기반 내부 필드 인터레이싱 알고리즘은 디인터레이싱 방법에 있어서, 조건부 확률 모델을 위해 원본 이미지의 통계적 모델을 가우시안 분포로 추정하는 단계와, 인터레이스된 이미지에서 미리 설정된 소정 크기의 가중치가 부여된 로컬 윈도우를 설정하는 단계 및 상기 통계적 모델 분석에 기초하여 상기 로컬 윈도우를 디인터레이싱하는 단계를 포함한다.

본 발명의 실시예에 따른 가중치가 주어진 최소 사각형 기반 내부 필드 디인터레이싱 알고리즘에 의하면, 인터레이스 된 이미지에 가중치가 부여된 최소 사각형 오류 기준을 사용함으로써, 인터레이스된 저해상도 이미지로부터 고해상도의 이미지를 추정하고, PSNR과 가시 품질의 관점에서 높은 디인터레이싱 성능을 제공할 수 있다.

도 1은 이미지 통계적 모델의 예를 나타내는 도면.
도 2는 본 발명의 실시예에 따른 HR 픽셀의 이웃 HR 픽셀들을 나타내는 도면.
도 3은 본 발명의 실시예에 따른 LR 픽셀의 이웃 HR 픽셀들과 HR 픽셀의 이웃 LR 픽셀들을 나타내는 도면.
도 4는 LR 픽셀의 이웃 LR 픽셀들을 나타내는 도면.
도 5는 본 발명의 실시예에 따른 실증적인 히스토그램과 통계적 모델의 매칭율을 나타내는 그래프.
도 6은 본 발명의 실시예에 따른 로컬 윈도우 내의 픽셀 위치를 나타내는 도면.
도 7은 본 발명의 실시예에 따른 수행 평가를 위한 테스트 이미지의 스냅샷을 나타내는 도면.
도 8은 수행 평가 방법을 나타내는 도면.
도 9는 원본 이미지와 이를 각 디인터레이싱한 이미지들을 나타내는 도면.
도 10은 원본 이미지와 이를 각 디인터레이싱한 이미지들을 나타내는 도면.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명의 가중치가 주어진 최소 사각형 기반 내부 필드 디인터레이싱 알고리즘을 상세히 설명한다.

본 발명에서는 가중치가 부여된 최소 사각형(WLS) 오류 기준 방식을 근본적인 원본 실제 이미지를 복구하는데 제안한다. 즉, 본 발명은 인터레이스 된 이미지에 가중치가 부여된 최소 사각형(WLS) 오류 기준 방식을 사용한 디인터레이스 알고리즘을 제안하며, 이는 maximum a posteriori (MAP) 프레임웍의 분류에 속한다.

본 발명은 저해상도 이미지와 고해상도 이미지의 상호간의 영향과 관계를 고려하여, MAP 이슈를 명학하게 하기 위해 통계적 보간을 사용한다. 본 발명은 통계적 모델의 적절한 추정을 얻는 실증적 그래프로 접근하기 위해 Gaussian distribution을 수용한다. 통계적 모델의 분석을 활용하면서, 본 발명은 가중치가 부여된 최소 사각형 문제에 대해, 추정 절차를 생성한다. 가중치는 몇 가지 통계적인 판단과 이미지 구조의 다른 특성들을 조사하여 수용되어야 한다.

1. 제안된 알고리즘

A. 맵 추정(MAP Estimator)

첫째, 본 발명은 제안된 알고리즘의 묘사를 위해 필요한 몇 가지 표기법을 소개한다. x를 width * height / 2의 크기를 갖는 주어진 인터레이스된 저해상도(LR) 이미지라 하고, y는 width * height의 크기를 갖는 보간될 고해상도(HR) 이미지라 한다. x_m ∈ x 과 y_m ∈ y 은 LR과 HR 이미지의 픽셀이라 한다. 디인터레이싱 알고리즘을 위해, LR 이미지는 원본 이미지의 홀수 열이다. 그러면 x_m ∈ x는 x_m ∈ y를 암시하기 때문에, HR 이미지 y는 x와 관련된다. 따라서 본 발명은 y_m이 LR 이미지에 있을 때, y_m을 x_m이라 쓸 수 있다. 본 발명은 디인터레이싱 문제를 MAP 추정으로 생성할 수 있다.

y_opt= arg max p(y |x)

y 식 (1)

y_opt가 원본 이미지의 최적 추정일 때. Bayes rules를 사용하여 다음을 얻는다.

y_opt= arg max p(y|x)p(y)

y 식 (2)

식 (2)로부터, 최적의 재생성을 추정하기 위해, 본 발명은 이전의 원본 이미지의 통계적 모델과 조건적 확률 모델을 얻어야 한다.

도 1의 (a)에 있는 자연 이미지에 대해, 도 1의 (b)에 있는 그래프로, 이미지의 통계적 속성을 직접 찾기는 어렵다는 것을 분명히 알 수 있다. 도 1의 (c)에 보여지는 잔여 이미지가 Gaussian 통계적 속성들을 가지고, 이들 속성들은 도 1의 (d)의 잔여 이미지의 그래프로 표현이 될 수 있다는 것은 잘 알려져 있다. 잔여 이미지는, 원본 이미지와, local window에서 원본 이미지의 평균에 의한 매끈해진 이미지 사이의 차이점이다. 그러면 본 발명은 이전의 통계적 모델을 Gaussian distribution으로 추정할 수 있다. 다음과 같이,

식(3)

α_A 가 범위 인자일 때, σ_A 는 가중치 인자이고, A의 인자들은 A = [a₁, a₂, ..., a₈]인 모델 인자들이고, y_N은 도 2와 같이 y의 HR 이웃 픽셀들이다.

B. 가중치가 부여된 최소 사각형(WLS)의 오류 기준을 사용하는 제안된 디인터레이싱 알고리즘

조건부 확률 모델을 위해, 본 발명은 위의 분석을 활용할 수 있고, Gaussian distribution으로서 조건부 확률 모델의 특징을 부여할 수 있다.

식 (4)

B의 인자들이, B = [b₁, b₂, ..., b₆]인, 모델 인자들일 때, α_B는 범위 인자이고, σ_B는 가중치 인자이고, y_x는 LR 이미지 x의 HR 이웃 픽셀들이고, x_y는 도 (3)의 HR 이미지 y의 LR 이웃 픽셀들이다.

본 발명은 MAP 평가자를 개발하기 위해 계속 연구하고, 식 (2)는 다음과 동등하다.

y_opt= arg max p(y|x)p(y)

= arg max log [p(x|y)p(y)]

= arg max log[σ_Aexp(-Ⅱy-Ay_N ² ₂/2 σ² _A)σ_Bexp(-ⅡX-By_X Ⅱ ² ₂+Ⅱy-Bx_y ² ₂/2σ² _B)]

= arg max[logσ_A+(-Ⅱy-Ay_NⅡ² ₂/2σ² _A)+ log_B+ (-ⅡX-By_X Ⅱ² ₂+Ⅱy-Bx_yⅡ² ₂/2σ² _B)]

=argmax[(-Ⅱy-Ay_NⅡ² ₂/2σ² _A)+(-ⅡX-By_XⅡ² ₂+y-Bx_y Ⅱ² ₂/2σ² _B)]

= arg min [Ⅱy-Ay_NⅡ² ₂/2σ² _A+ⅡX-By_XⅡ² ₂+Ⅱy-Bx_yⅡ/σ² _B] 식 (5)

log_A와 log_B는 상수이고 그들은 p(x|y)p(y)의 최대값에 영향을 미치지 않는다. 본 발명의 목적은 p(x|y)p(y)의 최대값을 선택해서 최적 y값을 찾는 것이다. 식(5)에서 log_A와 log_B를 빼도, 차이가 없다. 따라서 본 발명은 식을 단순화하기 위해서 log_A와 log_B를 뺀다.

최적 추정치를 성공적으로 얻기 위한 주요 이슈는 모델 인자들 A와 B를 어떻게 계산하는지이다. A는, LR 픽셀들 사이의 방향적 연관성이 HR 픽셀들 사이의 방향적 연관성과 유사하다고 가정하는 최소 사각형 방식에 의해 얻어진다.

식 (6)

X_S가 x_m의 중심이 된 local window S에서 모든 LR 픽셀들을 포함하는 픽셀 벡터일 때. X_N은 도 4의 (a)와 같이 k번째 열이 8개의 LR 이웃 픽셀들로 구성된 데이터 행렬이다. 그리고 W_A = diag[σ_A ^-2]이다. 식 (6)의 해는,

식 (7)

모델 인자 B를 계산하기 위해, 본 발명은 또 다른 최소 사각형 방정식을 포함한다.

=arg _Bmin W_BX_S-Bx_N ⁽⁶⁾Ⅱ² ₂ 식 (8)

X_N은 도 4(b)와 같이 k번째 열이 6개의 LR 이웃 픽셀들로 구성된 데이터 행렬이다. 그리고 WB = diag[σ_B ^-2]이다. 식 (8)의 해는,

=(X_N ^(6)TW_Bx_N ⁽⁶⁾)^-1(X_N ^(6)TW_Bx_S) 식 (9)

B의 추정이 다음을 가정하는 것은 주목해야 한다. 그것은, 식(5)에서 y_m이 B와 관련된다는 방식처럼, 인터레이스된 픽셀 x_m이, 같은 공간 방향을 가지고 같은 범위를 가진다는 것이다.

C. 가중치 인자들의 선택

가중치 인자 σ_A가 분포의 넓이를 제어하는 동안, 범위 인자 α_A는 분포의 높이를 제어한다. 서로 다른 범위 인자 α_A와 가중치 인자 σ_A에 대해, 도 5에서 보여 주듯이, 매칭은 다양한 특징들을 가진다.

이런 양상으로, 본 발명은 몇 가지 자연 이미지의 residual 이미지의 실증적 그래프를 묘사하고, 실증적 그래프를, 다양한 인자들을 가지는 이전의 통계적 모델과 비교한다. 이는 도 5에서, 넓이가 높이보다 더 중요한 역할을 한다는 것을 볼 수 있다. 왜냐면 residual 이미지가 0에 가까울 때, 픽셀이 매끄러운 영역에 있기 때문이다. 이미지 프로세싱에서 모든 관심은 분포의 끝쪽인 가장자리나 텍스처와 같은 복잡한 영역에 주어진다. 끝쪽은 넓이에 의해 제어된다. 더욱이, 범위 인자가 가중치 인자에 반비례 한다는 것이 주목된다. 방정식 (5)는 범위 인자가 MAP 추정에 영향을 미치지 않고, 단지 가중치 인자가 최적 추정치를 얻는다는 사실이 고려되어야 한다는 것을 확정한다. 이러한 분석에 근거하여, 본 발명은 단지 가중치 인자들만을 논의한다는 것을 가정한다. 실증적 그래프에서 최고의 매칭을 이루기 위해, 본 발명은 다른 값을 가지는 융통성 있는 인자를 사용해야 한다. 다시 말해, 큰 residual 값들에 대해, 본 발명은 큰 가중치 인자들을 사용할 수 있고, 작은 residual 값들에 대해, 본 발명은 작은 가중치 인자들을 사용할 수 있다. 실제 계산에서, 본 발명은 그것의 대각선 요소 W_A _(i,i) = σ_A ^-2(m,i)인 가중치 행렬 W_A를 활용한다. 그러면, 가중치 행렬 W_A _(i,i)는 가중치 인자 σ_A ²(m,i)에 반비례해야 하고, 가중치 인자 σ_A ²(m,i)는 residual 값에 비례해야 한다. 따라서 W_A _(i,i)는 residual 값에 반비례해야 한다. 그러면 본 발명은 양쪽의 필터를 이용하여 W_A _(i,i)를 다음으로 정의할 수 있다.

식 (10)

v_xm과 v_xi가 x_m과 x_i의 픽셀 위치이고, α와 β가 범위 인자일 때.

식(5)에서 모델 인자 B의 가중치 인자 σ_B에 대해, 두 요소 ||x By_x||₂ ²와 ||y Bx_y||₂ ²가 있다. 따라서 본 발명은 모델 인자 B를 위해 두 가지 다른 가중치 행렬 W_B ¹과 W_B ²를 설계해야 한다.

식(11)

λ가 모델 인자 A와 B의 기여를 조정하는 규칙화 요소이고, α와 β가 W_A _(i,i)와 같고, v_ym과 v_yi가 y_m과 y_i의 픽셀 위치일 때. HR 픽셀 y_m과 y_i는 알려져 있지 않다. 그러면 본 발명은 식(11)에서 y_m과 y_i를 추정하기 위해 선 평균을 사용한다.

본 발명은 모델 인자 A와 B의 비율로 를 정의한다.

식 (12)

D. 제안된 알고리즘의 구현

상기 언급한 바와 같이 제안한 가중치가 부여된 최소 사각형 기반 디인터레이싱 방식에서, 본 발명은 도 6에서 보여지듯이, local window를 활용하는 HR 픽셀 y₁₃을 추정한다. 큰 window 크기를 선택하는 이유는 더 좋은 PSNR과 더 안정적인 통계 속성들을 얻기 위함이다. 제안된 방법에서, 본 발명은 고해상도와 저해상도 픽셀들 사이의 관계에 근사치를 내기 위해 local 통계 속성들을 활용한다. 큰 window 크기는 더 신뢰성 있는 통계 속성이 포함된다고 가정한다. 위의 논의에 근거하여, 본 발명은 식(5)를 다음과 같이 다시 쓸 수 있다.

식 (13)

W_A가 1 * 1 행렬이고, W_B ¹이 25 * 25 행렬이고, W_B ²가 6 * 6 행렬일 때.

본 발명은 식 (13)을 또한 다음과 같이 축소시킬 수 있다.

식 (14)

y_L = [y₁, y₂, ..., y₂₅]_T과 x_L = [x₁, x₂, ..., x₄₂]_T 가 알려지지 않고, 도 (6)에서와 같이 local window에서 얻은 픽셀이고, W가 32 * 32 크기의 대각선 행렬이며 그것의 요소가 W_A, W_B ¹, W_B ²의 요소로 구성되었을 때.

32 * 32의 크기를 가지는 행렬 C와 32 * 42의 크기를 가지는 행렬 D는 인자 A와 B로 구성된다. 식(13)에 따르면, C와 D는 C = [C₁ C₂ C₃]^T와 D = [D₁ D₂ D₃]^T로 나타낼 수 있다. 식(13)에서, C₁과 D₁은 첫 번째 항과 관련되며, C₂와 D₂는 두 번째 항과 관련되며, C₃와 D₃는 세 번째 항과 관련된다.

C₁은 도 (3)에서, k번째 열이 LRP x_k의 6개의 연결된 이웃인 HRPs에 대응하는 인자 A로 구성된 6 * 25 행렬이다. D₁은 1로 구성된 6 * 6 행렬과 0으로 구성된 6 * 22 행렬로 이루어져 있는 6 * 42 행렬이다.

C₂는 1로 구성된 25 * 25행렬이며 D₂는 도 (3)에서, k번째 열이 HRP y_k의 6개의 연결된 이웃인 LRPs에 대응하는 인자 A로 구성된 25 * 42 행렬이다. C₃는 도 (2)에서, k번째 열이 HRP y_k의 6개의 연결된 이웃인 HRPs에 대응하는 인자 B로 구성된 1 * 25 행렬이고, D₃는 1 * 42 크기의 0행렬이다. LR 방식으로 인터레이스 된 이미지 x를 사용하면서, 본 발명은 위의 모든 인자들을 계산할 수 있고, 디인터레이스 된 HR 이미지 y를 추정한다.

2. 모의실험 결과

이하 다양한 설정과 조건들에서 수행된 실험들에 대해 논의한다. 제안된 WLS 기반 디인터레이싱 (WLSD) 방식과 최근 문헌들로부터의 기본의 방식들에 대해, 몇몇의 수치적 그리고 가시적인 결과들이 제시된다. 기존 방식들, 선 평균[8], ELA[9], EELA[10], NEDD[14], CAD[16], ECA[17], FDD[18] 등과 비교하여, WLSD의 뛰어난 성능을 입증하기 위해, 모의실험 결과는 8개의 대표적인 테스트 이미지, Chair (512 * 512) ... Caravel (768 * 512)등과, 테스트 장면들, Bluesky (1920 * 1080) ... Akiyo (176 * 144)등에 대해 수행되었다. 이들 이미지들은 도 7에 도시되어 있다.

하나의 객관적인 품질 미터법 (PSNR)이 WLSD 방식의 성능을 추정하기 위해 사용되었다. 디인터레이싱 속도는, 이미지들을 디인터레이스 하기 위한 각각의 방식이 필요로 하는 시간을 측정하여 테스트 하였다. 구조적 유사성(SSIM)은 주관적 성능을 측정하기 위한 시도로, 지각적 모델을 사용한다]. 작은 SSIM 값은 추정된 이미지에서 더 많은 에러를 양상하고, 따라서, 가시 품질이 더 수준 낮게 감지된다. 실험들은 MATLAB 구현을 사용하는 Intel Core 2 Duo CPU E8500 3.14GHz 환경에서 수행되었다.

A. 객관적 성능 분석

본 발명은 객관적인 품질을 평가하기 위해 PSNR 미터법을 사용했고, 다음과 같이 정의했다.

식 (15)

식 (16)

img_org와 img_src는 원본과 재생성된 이미지를 나타낸다. 모든 테스트 이미지들은 원본 크기에서, 도 8과 같은 시스템을 기반으로, 수직으로 인터레이스된 크기로 변환된다. 그리고 재생성된 이미지들은 원본 이미지와 비교된다.

테이블(1)은 8개의 테스트 이미지들의 PSNR과 평균 오차율 보여준다. 테이블(1)에서 WLSD 알고리즘이 최적의 PSNR을 나타냄을 알 수 있다. 평균 PSNR에서의 개선은, 기존 알고리즘들, 선 평균 / ELA / EELA / NEDD / ECA / FDD / CAD와 비교하여 2.3 / 2.75 / 2.28 / 2.10 / 3.35 / 2.13 / 1.86 dB까지이다.

Method	LA	ELA	EELA	NEDD	ECA	FDD	CAD	WLSD	AWLSD
Bench	30.63	31.52	31.92	32.00	30.33	30.96	31.69	34.76	34.18
Clock	35.58	34.91	35.83	35.71	34.11	35.91	35.98	38.32	37.94
Carrousel	33.15	33.36	33.81	33.88	32.19	33.76	33.85	35.49	35.16
Flower	37.34	37.03	37.46	37.35	35.82	37.67	37.57	40.42	39.99
Guitar	32.59	31.99	32.18	33.13	31.56	32.55	33.95	35.49	35.08
Butterfly	35.10	34.46	34.92	35.07	33.52	35.51	35.61	37.30	36.99
Window	34.37	34.18	34.56	34.57	33.66	34.60	34.87	35.98	35.75
Caravel	32.29	31.23	31.52	31.24	31.55	32.22	32.81	33.77	33.56
Bluesky	37.88	37.24	37.36	37.89	37.59	37.86	37.85	40.10	39.79
Raven	42.13	40.03	40.62	41.90	40.66	41.68	41.89	43.08	42.95
Forman	32.24	33.49	33.63	33.13	32.07	32.90	32.93	34.07	33.81
Akiyo	35.44	33.99	35.32	35.28	33.15	35.26	35.31	37.65	37.34
Average	34.90	34.45	34.92	35.10	33.85	35.07	35.34	37.20	36.88

디인터레이스된 이미지와 비디오의 PSNR 메트릭스

본 발명은 이제 연산 시간의 관점에서 다른 방식들에 대해 WLSD 디인터레이싱 알고리즘의 성능을 비교한다. 테이블(2)는 테스트 이미지들 중 하나를 디인터레이스 하는데 걸리는 시간을 보여준다. WLSD 방식은 다른 방식들과 비교하여 가장 느리다. 테이블(1)과 테이블(2)에서 볼 수 있는 것처럼, WLSD 방식은 다른 방식들보다 가장 높은 PSNR을 제공하지만, 더 많은 연산 시간을 필요로 한다. 기술의 발전으로, CPU 연산 시간은 현재 큰 이슈가 아니다. 그리고 CPU 연산 시간을 향상시키기 위한 많은 기술들이 존재한다.

Method	LA	ELA	EELA	NEDD	ECA	FDD	CAD	WLSD	AWLSD
Bench	0.015	0.218	0.265	5.351	0.580	2.491	13.908	41.901	4.772
Clock	0.021	0.202	0.234	5.351	0.565	2.195	13.642	41.655	4.422
Carrousel	0.021	0.187	0.249	5.397	0.565	2.163	13.892	41.832	4.489
Flower	0.015	0.202	0.234	5.396	0.565	2.242	13.705	41.679	4.538
Guitar	0.015	0.187	0.249	5.364	0.565	2.273	13.565	41.365	4.521
Butterfly	0.021	0.187	0.249	5.302	0.565	2.132	13.986	41.336	4.712
Window	0.220	0.343	0.349	8.201	0.831	4.356	15.336	41.399	4.388
caravel	0.220	0.359	0.361	8.081	0.819	4.568	15.056	41.338	4.376
Bluesky	0.062	1.654	1.825	10.316	4.212	17.016	84.661	186.721	19.232
Raven	0.026	0.733	0.585	5.318	1.965	6.562	38.017	112.268	11.500
Forman	0.001	0.078	0.095	0.577	0.215	0.828	8.916	18.608	2.077
Akiyo	0.001	0.033	0.039	0.268	0.107	0.386	1.086	2.596	0.517
Average	0.053	0.365	0.417	5.410	0.963	3.934	20.481	54.392	5.796

B. 주관적 성능 분석

주관적 품질은 텍스처, 가장자리, 다른 종류의 지리적 상세함(대각선, 코너, 품질 높은 패턴 등)에 관해서 평가될 수 있다. 디인터레이스 된 이미지의 주관적 성능을 비교하기 위해, 본 발명은, 도 9와 도 10에서의 Butterfly와 Caravel의 인지된 이미지 품질의 부분을 본다. 나타난 형상들로부터, 명백히 기존 알고리즘과 비교하여 본 발명이 실시예에 의한 WLSD알고리즘이 텍스처 영역에서 뛰어난 주관적 품질을 제공함을 알 수 있다. LA방식은 가장자리 방향이 수직이 아닐 때, 낮은 주관적 성능을 제공한다. ELA의 성능은 정확한 가장자리 방향에 대한 추정일 때 좋다. 하지만, 잘못 된 방향 추정으로 인한, 몇몇 분명한 인위적 결점들이 존재한다. EELA 방식은 단지 세 가장자리 방향들만 측정해서, 부정확하게 검출된 가장자리 방향들은 이미지 품질 저하를 발생시킨다. NEDD는 잘못 된 방향 추정에서 낮은 가시 품질을 보여준다. 도 9의 (g)와 도 10의 (g)는 ECA가 MELA및 LCID와 비교할 만한 결과를 가짐을 나타낸다. FDD는 EELA보다 더 많은 가장자리 방향을 나타낸다. 하지만 후보 방향의 제한 때문에, 텍스처 영역에 몇몇의 명백한 인위적 결점들이 존재한다.

Method	LA	ELA	EELA	NEDD	ECA	FDD	CAD	WLSD	AWLSD
Bench	0.9349	0.9460	0.9508	0.9499	0.9376	0.9459	0.9435	0.9600	0.9487
Clock	0.9820	0.9763	0.9807	0.9824	0.9738	0.9833	0.9794	0.9862	0.9843
Carrousel	0.9729	0.9658	0.9711	0.9730	0.9600	0.9747	0.9725	0.9776	0.9755
Flower	0.9716	0.9711	0.9759	0.9786	0.9749	0.9807	0.9764	0.9805	0.9765
Guitar	0.9696	0.9628	0.9692	0.9764	0.9610	0.9696	0.9720	0.9786	0.9745
Butterfly	0.9817	0.9771	0.9793	0.9820	0.9741	0.9824	0.9808	0.9847	0.9833
Window	0.9653	0.9618	0.9652	0.9658	0.9576	0.9664	0.9662	0.9723	0.9691
caravel	0.9398	0.9294	0.9359	0.9351	0.9254	0.9397	0.9398	0.9453	0.9428
Bluesky	0.9807	0.9780	0.9787	0.9808	0.9798	0.9808	0.9806	0.9849	0.9830
Raven	0.9845	0.9752	0.9782	0.9828	0.9748	0.9846	0.9812	0.9849	0.9847
Forman	0.9389	0.9458	0.9480	0.9456	0.9363	0.9434	0.9451	0.9504	0.9452
Akiyo	0.9759	0.9651	0.9735	0.9747	0.9541	0.9779	0.9770	0.9825	0.9795
Average	0.9665	0.9629	0.9672	0.9689	0.9591	0.9691	0.9679	0.9740	0.9706

CAD는 기존 방식에서 가장 뛰어난 성능을 보여준다. 그러나 그것은 여전히 인위적 결점들을 가지고 있다. 대조적으로, WLSD 방식은 다른 방식보다 더 뛰어난 가시 품질을 생성해 내도록, 이미지에 맞춰 조정할 수 있다. 도 9의 (k)와 도 10의 (k)는 조정적인 WLSD(AWLSD)의 가시 성능을 보여준다. 모든 결과들은 본 발명의 실시예에 따른 가중치가 부여된 최소 사각형 기반의 디인터레이싱 방식이 다른 intrafield 디인터레이싱 방식들보다, 낮은 복잡도로, 객관적, 주관적 품질의 관점에서 더 뛰어나다는 것을 보여준다.

주관적 이미지 품질을 지속적으로 평가하기 위해서, 본 발명은, 주관적 이미지 품질 평가로 잘 알려진 방식중의 하나인, SSIM이라 불리는 측정을 수용한다. SSIM 색인은 휘도와 대비로 일반화 된 픽셀 강도의 local 패턴을 비교하며, 본 발명은 SSIM을 통해, 원본 이미지와 재생성된 이미지의 유사성을 측정할 수 있다. SSIM 색인의 초점은 이미지들에서 구조의 손실을 잡아내는 것이다. 인간의 가시 시스템이 아주 적응력이 높기 때문에, 가시 장면으로부터 구조적 정보들을 뽑아낼 수 있다. 따라서 구조적 유사성의 측정은 인지된 이미지 품질의 좋은 추정을 제공한다. SSIM 색인은 다음과 같이 나타낼 수 있다.

식 (17)

식 (18)

M은 local 이미지 영역의 수이다. 본 발명은 식(17)로부터 μ_o가 μ_R과 같고, σ_o가 σ_R와 같다면, SSIM은 1이 가장 큰 값이라는 것을 발견한다. 따라서 SSIM 은 0에서 1까지의 범위를 갖고 있다. SSIM이 1에 가까워질 때, 재생성된 이미지는 원본 이미지와 더욱 유사해 진다. 그리고 반대도 마찬가지이다. MSSIM은 SSIM의 평균이다. 따라서 MSSIM은 SSIM과 같은 속성들을 가진다. 달리말하면, MSSIM값이 클수록, 주관적 이미지 품질이 더 좋아진다. MSSIM은 테이블(3)에서의 방식들과 비교된다. 테이블(3)은 또한 WLSD 방식이 기존 알고리즘들과 비교하여 더 좋은 MSSIM을 가짐을 보여준다.

C. 조정적 WLSD

테이블(1)과 테이블(3)과 도 9와 도 10으로부터, 본 발명은 제안된 알고리즘이, 기존 알고리즘들과 비교될 때, 유망한 객관적 그리고 가시적 결과를 보여준다는 것을 안다. 하지만, 본 발명은 또한 테이블(2)에서, 제안된 알고리즘이, 좋은 PSNR과 가시 품질을 얻기 위해 큰 window 크기의 역행렬의 계산 때문에 상대적으로 높은 연산 복잡도를 가진다는 것을 관찰했다. 연산 복잡도 문제를 완화시키기 위해, 본 발명은 제안된 WLSD의 복잡도를 감소시키는 조정적 방법을 제시한다. LA, ELA, EELA와 같은 기존 방식들은 가장자리 영역에 몇몇의 인위적 결점을 가지는 것이 나타난다. 하지만 이들 방법들은 매끈한 영역에서는 좋은 결과를 생성한다. 이러한 관찰에 근거하여, 본 발명은 조정적 WLSD(AWLSD)를 제시한다. 조정적 WLSD(AWLSD)는 두 방법, WLSD와 LA로 구성된다. 제안된 WLSD 방식은 자연 이미지에서 작은 부분만 차지하는 가장자리 영역에만 적용되고, LA는 매끈한 영역에 사용된다. 이 가장자리 영역을 추출하기 위해, 본 발명은 Sobel 연산을 사용했다. 테이블(1)과 테이블(3)은 AWLSD가 PSNR 미터법 관점에서 기존 intrafield 디인터레이싱 방식을 능가한다는 것을 보여준다. 더욱이, 테이블(2)에서, AWLSD가 WLSD와 비교해서 89.3%까지 CPU연산 시간을 줄이는 것이 주목할 만 하다. 본 발명은 이러한 결과로부터, 지금까지 연구된 방식들 중에서, AWLSD가 훌륭한 성능과 최적의 품질-속도 트레이드오프를 제공한다는 결론을 낼 수 있다.

3. 결론

본 발명은 가중치가 부여된 최소 사각형(WLS)를 사용하는 디인터레이싱 알고리즘의 상세 분석을 나타냈다. 본 발명은 MAP 프레임웍과 통계적 분석에 근거하여, 가중치가 부여된 최소 사각형 오류 기준을 사용함으로써, 인터레이스 된 저해상도 이미지로부터 고해상도 이미지를 추정한다. 그것은 PSNR과 SSIM의 관점에서 최고의 디인터레이싱 성능을 제공하는 것을 보여준다. 제안된 알고리즘은 큰 window 크기와 행렬 연산으로 인해, 높은 연산 복잡도를 가진다. 이 방식의 가장 중요한 공헌은, 본 발명이 더 높은 PSNR 뿐만 아니라, 좋은 가시 품질을 달성할 수 있게 하는 것이다. WLSD의 CPU 시간은 CAD의 2.655배이며, PSNR 결과는 1.54dB만큼 더 높다. WLSD와 AWLSD는 만족스러운 가시 성능을 생성한다. 향후 연구에서, 본 발명은 window 크기를 어떻게 줄일 것인지, 좋은 속성들을 어떻게 유지할 것인지, 행렬 연산을 대체하기 위해 다른 효과적인 방식들을 어떻게 활용할 것인지에 대해 투자할 것이다.

이상에서 설명된 본 발명의 가중치가 주어진 최소 사각형 기반 내부 필드 디인터레이싱 알고리즘의 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.

Claims

디인터레이싱 방법에 있어서,
조건부 확률 모델을 위해 원본 이미지의 통계적 모델을 가우시안 분포로 추정하는 단계;
인터레이스된 이미지에서 미리 설정된 소정 크기의 가중치가 부여된 로컬 윈도우를 설정하는 단계; 및
상기 통계적 모델 분석에 기초하여 상기 로컬 윈도우를 디인터레이싱하는 단계를 포함하는 것을 특징으로 하는, 가중치가 주어진 최소 사각형 기반 내부 필드 디인터레이싱 알고리즘.
제1항에 있어서,
상기 통계적 모델을 추정하는 단계는, 상기 이미지의 고해상도와 저해상도 픽셀들 사이의 관계에 근사치를 내기 위해 로컬 통계 속성들을 이용하는 것을 특징으로 하는, 가중치가 주어진 최소 사각형 기반 내부 필드 디인터레이싱 알고리즘.
제1항에 있어서,
상기 디인터레이싱 단계는,

또는
에 의해 디인터레이싱을 실
행하고, 여기서 W_A가 1 * 1, W_B ¹이 25 * 25, W_B ²가 6 * 6 행렬이고, y_L = [y₁, y₂, ..., y₂₅]_T과 x_L = [x₁, x₂, ..., x₄₂]_T 가 알려지지 않은 상기 로컬 윈도우에서 얻은 픽셀이며, W가 32 * 32 크기의 대각선 행렬이며 그것의 요소가 W_A, W_B ¹, W_B ²의 요소로 구성되었을 때, 32 * 32의 크기를 가지는 행렬 C와 32 * 42의 크기를 가지는 행렬 D는 인자 A와 B로 구성되고, LR 방식으로 인터레이스 된 이미지 x를 사용하면서, 상기의 모든 인자들을 계산함으로써, 디인터레이스 된 HR 이미지 y를 추정하는 것을 특징으로 하는, 가중치가 주어진 최소 사각형 기반 내부 필드 디인터레이싱 알고리즘.