KR101092650B1 - 양자화 코드를 이용한 화질 평가 방법 및 장치 - Google Patents

양자화 코드를 이용한 화질 평가 방법 및 장치 Download PDF

Info

Publication number
KR101092650B1
KR101092650B1 KR20100002890A KR20100002890A KR101092650B1 KR 101092650 B1 KR101092650 B1 KR 101092650B1 KR 20100002890 A KR20100002890 A KR 20100002890A KR 20100002890 A KR20100002890 A KR 20100002890A KR 101092650 B1 KR101092650 B1 KR 101092650B1
Authority
KR
South Korea
Prior art keywords
image
quantization code
image quality
hamming distance
quality evaluation
Prior art date
Application number
KR20100002890A
Other languages
English (en)
Other versions
KR20110082942A (ko
Inventor
김동오
박래홍
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR20100002890A priority Critical patent/KR101092650B1/ko
Priority to JP2012547972A priority patent/JP5536231B2/ja
Priority to CN201180005958.4A priority patent/CN102713977B/zh
Priority to PCT/KR2011/000177 priority patent/WO2011087251A2/ko
Priority to US13/521,943 priority patent/US8948521B2/en
Priority to EP11733039.9A priority patent/EP2528038A4/en
Publication of KR20110082942A publication Critical patent/KR20110082942A/ko
Application granted granted Critical
Publication of KR101092650B1 publication Critical patent/KR101092650B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 발명은 양자화 코드를 이용한 화질 평가 방법에 관한 것으로서, 원 영상과 열화 영상을 필터링하고, 필터링 결과로부터 크기/위상 양자화 코드를 생성하고, 원영상의 크기/위상 양자화 코드와 열화 영상의 크기/위상 양자화 코드 간의 해밍 거리를 산출한 다음, 산출된 해밍 거리를 이용하여 열화 영상의 화질을 평가하는 것을 특징으로 한다. 본 발명에 따르면, 원 영상과 열화 영상의 화소값들을 양자화된 복소 평면으로 매핑한 후 이진 코드 연산을 수행하므로 화질 평가 하드웨어 구현을 용이하게 할 수 있으며, 또한 화질 평가 성능이 우수하다.

Description

양자화 코드를 이용한 화질 평가 방법 및 장치{Method and apparatus of assessing of image quality using quantization encoding}
본 발명은 양자화 코드를 이용한 화질 평가 방법에 관한 것으로서, 더욱 상세하게는 원 영상과 열화 영상의 화소값들을 양자화된 복소 평면으로 매핑한 후 이진 코드 연산을 수행하여 화질 평가 하드웨어 구현을 용이하게 하고, 화질 평가 성능이 우수한 양자화 코드를 이용한 화질 평가 방법 및 장치에 관한 것이다.
화질을 평가하는데 PSNR(peak signal-to-noise ratio)나 MSE(mean squared error)가 객관적인 화질 평가 지수로 많이 사용되어 왔다. 그러나 이러한 화질 평가 지수는 인간이 느끼는 주관적인 화질을 잘 반영하지 못하였기 때문에 다양한 화질 평가 지수가 개발되고 있다. UQI(universal quality index), SSIM(Structural similarity), MSSSIM(multi-scale SSIM), 및 MSVD와 같은 화질 평가 지수들이 개발되었는데 이러한 화질 평가 지수들은 화질 평가시에 부동 소수점을 사용하기 때문에 하드웨어 구현이 어려울 뿐만 아니라 큰 메모리 크기가 필요하다. 따라서 효율적으로 하드웨어를 구현할 수 있는 화질 평가 기술이 필요하다.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 화질 평가 하드웨어 구현을 용이하게 하면서 화질 평가 성능이 우수한 양자화 코드를 이용한 화질 평가 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 화질 평가 하드웨어 구현을 용이하게 하면서 화질 평가 성능이 우수한 양자화 코드를 이용한 화질 평가 장치를 제공하는 것이다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 원 영상과 열화 영상을 필터링하는 단계; 상기 필터링 결과로부터 위상 양자화 코드를 생성하는 단계; 상기 원영상의 위상 양자화 코드와 상기 열화 영상의 위상 양자화 코드 간의 해밍 거리를 산출하는 단계; 및 상기 산출된 해밍 거리를 이용하여 상기 열화 영상의 화질을 평가하는 단계를 포함하는 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 방법을 제공한다.
본 발명의 일 실시예에 의하면, 상기 필터링하는 단계는 상기 원영상과 상기 열화 영상의 화소값들을 복소 평면의 실수부와 허수부에 매핑할 수 있도록 변환하는 단계일 수 있다.
또한, 상기 위상 양자화 코드를 생성하는 단계는 상기 필터링 결과로부터 크기 양자화 코드를 생성하는 단계를 더 포함하고, 상기 해밍 거리를 산출하는 단계는 상기 원 영상과 상기 열화 영상 각각에 대응하는 크기 양자화 코드와 위상 양자화 코드로 구성된 이진 코드 간의 해밍 거리를 산출하는 단계일 수 있다.
또한, 상기 화소값은 휘도값인 것이 바람직하다.
본 발명의 다른 실시예에 의하면, 상기 필터링하는 단계는 상기 원영상과 상기 열화 영상의 각 화소별 x방향 그래디언트와 y방향 그래디언트를 산출하는 단계일 수 있다.
또한, 상기 필터링하는 단계에서 사용되는 필터는 가버(Gabor) 필터 또는 복소 웨이블릿 변환 필터인 것이 바람직하다.
본 발명의 또 다른 실시예에 의하면, 상기 열화 영상의 화질을 평가하는 단계는 상기 산출된 해밍 거리를 이용하여 화질 평가 지수를 산출하고, 상기 화질 평가 지수를 DMOS와 비교할 수 있도록 변환한 다음, 상기 변환된 화질 평가 지수와 DMOS의 유사 정도에 따라 상기 열화 영상의 화질을 평가할 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 원 영상과 열화 영상을 필터링하는 필터부; 상기 필터부의 출력으로부터 위상 양자화 코드를 생성하는 양자화 코드부; 상기 원 영상의 위상 양자화 코드와 상기 열화 영상의 위상 양자화 코드 간의 해밍 거리를 산출하는 해밍 거리 산출부; 및 상기 산출된 해밍 거리를 이용하여 상기 열화 영상의 화질을 평가하는 화질 평가부를 포함하는 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 장치를 제공한다.
본 발명에 따르면, 원 영상과 열화 영상의 화소값들을 양자화된 복소 평면으로 매핑한 후 이진 코드 연산을 수행하므로 화질 평가 하드웨어 구현을 용이하게 할 수 있으며, 화질 평가 성능이 우수하다. 또한, 본 발명에 따르면, 필터 출력이 하나의 화소값에 대응하는 복소값 또는 한 쌍의 값을 출력하는 경우에 필터 특성에 따라 새로운 화질 평가 지수를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 양자화 코드를 이용한 화질 평가 장치의 블록도이다.
도 2는 K개의 크기 레벨과 L개의 위상 레벨로 양자화된 복소 평면 양자화의 개념도를 나타낸 것이다.
도 3은 빌딩 이미지의 8×8 블록 위상 양자화 코드를 생성하는 과정의 예를 도시한 것이다.
도 4는 원 영상과 열화 영상 간의 해밍 거리 맵과 휘도값 차이의 절대값을 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 양자화 코드를 이용한 화질 평가 방법의 흐름도이다.
도 6은 원 영상과 열화 영상 및 본 발명의 일 실시예에 따른 위상 양자화 코드에 의해 얻어진 해밍 거리 맵을 나타낸 것이다.
도 7은 DMOS 값과 다섯 가지 화질 평가 지수들을 피팅한 그래프를 나타낸 것이다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.
본 발명의 일 실시예에 따른 양자화 코드를 이용한 화질 평가 방법은 원 영상과 열화 영상을 필터링한 후, 필터링 결과로부터 위상 양자화 코드를 생성하고, 원영상의 위상 양자화 코드와 열화 영상의 위상 양자화 코드 간의 해밍 거리를 산출한다. 이후, 산출된 해밍 거리를 이용하여 열화 영상의 화질을 평가하는 것을 특징으로 한다.
이하, 바람직한 실시예를 들어 본 발명을 더욱 상세하게 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다. 아울러 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 양자화 코드를 이용한 화질 평가 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 양자화 코드를 이용한 화질 평가 장치는 휘도값 변환부(110), 필터부(120), 양자화 코드부(130), 해밍 거리 산출부(140), 및 화질 평가부(150)로 구성된다.
휘도값 변환부(110)는 영상의 RGB 값을 휘도값(luminance, Y)으로 변환한다. 휘도값으로의 변환은 RGB-YCbCr 변환을 이용할 수 있다. 휘도값 변환부(110)는 원영상과 열화영상을 수신하고, 원영상과 열화영상 화소의 RGB값으로부터 휘도값을 생성하는 것이 바람직하다.
필터부(120)는 휘도값 변환부(110)가 출력한 각 화소별 휘도값을 입력으로 하여 각 화소에 대응하는 두 개의 값을 생성한다. 필터부(120)는 그래디언트 필터 특히 소블 연산자를 이용할 수 있고, 가버(Gabor) 필터 또는 복소 웨이블릿 변환 필터를 이용하는 것도 가능하다. 필터부(120)가 그래디언트 필터인 경우 필터부(120)가 생성하는 두 개의 값은 x방향 그래디언트와 y방향 그래디언트가 될 수 있으며, 필터부(120)가 가버(Gabor) 필터인 경우 cosine 함수에 의해 특정되는 실수부와 sine 함수에 의해 특정되는 허수부가 휘도값에 대응하는 두 개의 값이 될 수 있으나 이에 한정되지 않는다. 따라서 본 발명의 일 실시예에 따른 필터부(120)는 각 화소별 휘도값을 변환하여 복소평면에 표현할 수 있도록 두 개의 값을 생성하는 필터를 모두 포함하는 것이 바람직하다. 이하에서는 특히 필터부(120)가 그래디언트 필터 중 소블 연산자인 경우를 상세히 살펴보기로 한다.
I가 이미지를 나타낸다고 할 때, 이미지의 x축과 y축에 따른 그래디언트 값인 Ix와 Iy가 다음의 수학식 1과 같이 정의된다.
Figure 112010002045411-pat00001
양자화 코드부(130)는 필터부(120)가 출력한 두 개의 값을 복소 평면 상으로 매핑하고, 매핑 결과로부터 양자화 코드를 생성한다. 이때 복소 평면은 크기와 위상에 대해서 양자화되어 있는 것이 바람직하다. 양자화 코드부(130)는 양자화되어 있는 복소 평면에 필터부(120)가 출력한 값을 매핑하고, 크기와 위상에 대하여 코드화한다. 양자화 코드부(130)에 대해서는 도 2와 도 3을 참조하여 보다 상세하게 살펴보기로 한다.
해밍 거리 산출부(140)는 원영상과 열화 영상 각각에 대한 양자화 코드를 비교하여 해밍 거리를 산출한다.
화질 평가부(150)는 산출된 해밍 거리에 근거하여 화질 평가 지수를 생성한다.
본 발명은 영상의 구조적 왜곡이 영상의 위상 변화를 발생시킨다는 사실에 기초한다. 따라서 영상의 위상 변화를 측정함으로써, 구조적 왜곡을 측정할 수 있을 것이다. 다만 위상만을 이용할 때보다는 크기와 위상을 이용할 때 우수한 성능을 나타낼 것이다.
도 2는 K개의 크기 레벨과 L개의 위상 레벨로 양자화된 복소 평면 양자화의 개념도를 나타낸 것이다.
도 2(a)는 K=4, L=8인 경우에 크기, 위상 양자화를 나타낸 것이고, 도 2(b)는 K=1, L=4인 경우에 크기, 위상 양자화를 나타낸 것이다.
도 2(a)를 참조하면, 크기와 위상의 양자화 코드(amplitude/phase quantization code, APQC)를 표현하기 위해서 크기를 4개로, 위상을 8개로 양자화한 것을 나타낸 것이다. K=4이면 코드화하는데 2비트가 필요하고, L=8이면 3비트가 필요하므로, 양자 코드화하는데 총 5비트가 필요할 것이다.
도 2(b)를 참조하면, 크기는 양자화하지 않고, 위상만 4개로 양자화한 것을 나타낸다. 위상만 4개로 양자화한 경우를 특히 위상 양자화 코드(phase quantization code, PQC)라고 하기로 한다. 이하에서는 그래디언트 필터를 예로 들어 설명하나 다른 필터의 경우에도 마찬가지로 적용될 수 있을 것이다.
그래디언트 필터에서 Ix와 Iy는 각각 복소 평면에서의 실수부와 허수부에 대응한다. 도 2(b)를 참조하면, 만일 그래디언트 필터의 출력 값 Ix가 양의 값, Iy가 음의 값을 가지면, 위상 양자화 코드는 [1 0]의 2비트 코드가 된다. 즉, 필터부(120)의 출력값이 갖는 실수부와 허수부의 부호만을 이용하여도 쉽게 위상 양자화 코드를 계산할 수 있다. 또한, 만일 필터부(120)의 출력값이 갖는 실수부와 허수부가 둘 다 양의 값이라면 위상 양자화 코드는 [1 1]이라는 것을 확인할 수 있다.
이와 같이 위상 양자화 코드는 이미지 내에 존재하는 픽셀 별로 계산될 수 있으므로, 어느 하나의 이미지의 위상 양자화 코드는 2×N 비트 크기의 2비트 코드 시퀀스로 표현된다. 여기서 N은 이미지 픽셀들의 총 갯수를 나타낸다. 위상 양자화 코드를 이용하면, 어느 하나의 이미지를 2비트 코드 시퀀스로 표현할 수 있으므로, 이미지 간의 이진 산술연산을 계산하기 용이하다. 또한, 위상 양자화 코드에 필요한 메모리 크기가 픽셀 당 2비트인 반면, 부동 소수점 수(floating-point number)로 표현되는 특징값들 간의 차이를 측정하는 종래의 일반적인 화질 평가 지수들의 메모리 크기가 픽셀 당 1 바이트이므로, 위상 양자화 코드에 필요한 메모리 크기가 픽셀 당 더 적게 소요됨을 알 수 있다.
도 3은 빌딩 이미지의 8×8 블록 위상 양자화 코드를 생성하는 과정의 예를 도시한 것이다.
도 3(a)는 확대된 8×8 블록의 원 영상과 이에 따른 휘도값을 나타낸 것이고, 도 3(b)는 확대된 8×8 블록의 백색 노이즈로 왜곡된 이미지와 이에 따른 휘도값을 나타낸 것이다. 도 3(c)와 도 3(d)는 도 3(a)와 도 3(b)에 확대된 블록들에 대한 그래디언트 값 Ix(왼쪽)와 Iy(오른쪽)를 각각 나타낸 것이다. 도 3(e)와 도 3(f)는 도 3(c)와 도 3(d)의 위상 양자화 코드(PQC)를 각각 나타낸 것이다. 도 3을 참조하면, 원 영상과 열화 영상 각각의 영상에 대하여 위상 양자화 코드를 생성하는 과정을 알 수 있다. 즉, 필터 출력의 부호를 코드화한 결과인 원 영상과 열화 영상의 이진 코드가 도 3(e)와 도 3(f)에 도시되어 있으며, 생성된 이진 코드는 영상의 화질을 평가하는데 사용된다.
이하에서는 해밍 거리 산출부(140)에 대하여 보다 상세히 살펴보기로 한다.
일반적으로 화질을 평가하는 대부분의 평가 지표들은 원 영상과 열화 영상을 나타내는 특징값 간의 차이를 측정한다. 그러나 실질적으로는 눈에 보이는 차이가 화질 평가에 있어서 특징값 간의 차이 정도만큼이나 중요하다. 이러한 점에서 볼 때, 위상 양자화 코드는 두 비교 대상 이미지가 다를 때, 두 이미지 특징값들의 부호의 차이를 잘 알아낼 수 있다. 따라서 원 영상과 열화 영상이 필터를 통해 출력된 값들의 위상 양자화 코드 간의 차이를 계산하는 것은 두 영상 간의 화질을 평가하는 것과 유사한 결과를 갖는다.
원 영상과 열화 영상의 위상 양자화 코드를 화질을 평가하기 위해 비교하는데 있어서, 본 발명의 일 실시예에서는 해밍 거리를 이용한다. 해밍 거리는 두 개의 양자화 코드 간에 얼마나 다른 비트들이 있는지를 나타내는 척도이다. 만일 화질이 열화되면, 영상의 위상 양자화 코드는 변화한다. 그러므로, 원 영상과 열화 영상의 필터 출력의 위상 양자화 코드 간의 해밍 거리는 영상의 열화 정도를 잘 반영할 수 있을 것이다. 원 영상과 열화 영상의 위상 양자화 코드의 n번째 비트에서의 해밍 거리 HD(n)은 다음의 수학식 2와 같이 정의될 수 있다.
Figure 112010002045411-pat00002
여기서, cr과 cd는 각각 원 영상과 열화 영상의 위상 양자화 코드를 나타내고,
Figure 112010002045411-pat00003
는 배타적 논리곱(Exclusive-OR)를 의미한다. 위상 양자화 코드 대신 크기 및 위상 양자화 코드를 이용하는 경우에도 마찬가지로 해밍 거리를 산출할 수 있을 것이다.
이하에서는 화질 평가부(150)에 대하여 보다 상세히 살펴보기로 한다.
본 발명의 일 실시예에 따른 양자화 코드를 이용한 화질 평가 장치가 이용하는 위상 양자화 코드 기반의 화질 평가지수(Image Quality Measurement, IQM)는 다음과 같이 계산될 수 있다.
Figure 112010002045411-pat00004
여기서, 2N은 위상 양자화 코드의 전체 비트 수를 의미한다. 수학식 3에 의하여 생성된 화질 평가 지수는 로지스틱 회귀 분석(logistic regression)을 이용하여 DMOS와 비교할 수 있는 화질 평가 지수로 변환된다.
도 4는 원 영상과 열화 영상 간의 해밍 거리 맵과 휘도값 차이의 절대값을 나타낸 것이다.
도 4(a)는 원 영상과 열화 영상에 대한 그래디언트 필터 출력의 위상 양자화 코드를 나타낸다. 도 4(b)는 도 4(a)에 도시된 두 개의 위상 양자화 코드 간의 해밍 거리 맵을 나타낸 것이다. 도 4(c)는 도 3(a)와 도 3(b)에 도시된 확대된 8×8 블록들 간의 휘도값 차이의 절대값을 나타낸다. 도 4(c)에서 보다 밝은 음영은 해밍 거리 HD가 1이고, 보다 어두운 음영은 해밍 거리 HD가 2인 화소에 대응한다.
만일 어떠한 열화영상의 해밍 거리 맵이 많은 하얀 영역을 포함하는 경우에는 원 영상과 열화 영상의 차이가 없다는 것을 의미하므로 그 열화 영상은 좋은 화질인 것으로 판단할 수 있다.
도 4(b)와 도 4(c)에 도시된 바와 같이 해밍 거리 맵은 절대 차이값 영상과 정확하게 같지는 않지만 유사하다. 따라서 영상의 변화가 위상 양자화 코드의 변화를 생성한다는 점에서 위상 양자화 코드는 화질을 잘 반영하고 있음을 알 수 있다.
도 5는 본 발명의 일 실시예에 따른 양자화 코드를 이용한 화질 평가 방법의 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 양자화 코드를 이용한 화질 평가 방법은 도 1에 도시된 양자화 코드를 이용한 화질 평가 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 양자화 코드를 이용한 화질 평가 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 화질 평가 방법에도 적용된다.
510 단계에서 화질 평가 장치는 원 영상과 열화 영상의 RGB 값을 휘도값(luminance, Y)으로 변환한다.
520 단계에서 화질 평가 장치는 510 단계에서 변환된 각 화소별 휘도값을 입력으로 하여 각 화소에 대응하는 두 개의 값을 생성하는 필터링을 수행한다. 이때, 필터링은 그래디언트 필터 특히 소블 연산자를 이용할 수 있고, 가버(Gabor) 필터 또는 복소 웨이블릿 변환 필터를 이용하는 것도 가능하다. 그래디언트 필터인 경우 필터링을 수행하여 생성하는 두 개의 값은 x방향 그래디언트와 y방향 그래디언트가 될 수 있으며, 가버(Gabor) 필터인 경우 cosine 함수에 의해 특정되는 실수부와 sine 함수에 의해 특정되는 허수부가 휘도값에 대응하는 두 개의 값이 될 수 있다. 따라서 본 발명의 일 실시예에 따른 필터링은 각 화소별 휘도값을 변환하여 복소평면에 표현할 수 있도록 하는 필터를 모두 포함하는 것이 바람직하다.
530 단계에서 화질 평가 장치는 520 단계에서 필터링된 두 개의 값을 복소 평면 상으로 매핑하고, 매핑 결과로부터 양자화 코드를 생성한다. 이때 복소 평면은 크기와 위상에 대해서 양자화되어 있는 것이 바람직하다.
540 단계에서 화질 평가 장치는 원영상과 열화 영상 각각에 대한 양자화 코드를 비교하여 해밍 거리를 산출한다.
550 단계에서 화질 평가 장치는 산출된 해밍 거리에 근거하여 화질 평가 지수를 생성하고, 화질을 평가한다.
도 6은 원 영상과 열화 영상 및 본 발명의 일 실시예에 따른 위상 양자화 코드에 의해 얻어진 해밍 거리 맵을 나타낸 것이다.
도 6(a)는 원 영상을 나타내고, 도 6(b)와 도 6(c)는 표준 편차가 각각 1.708과 4.916인 가우시안 블러로 열화된 영상을 나타낸다. 도 6(d)와 도 6(e)는 각각 본 발명의 일 실시예에 따른 위상 양자화 코드에 의해 생성된 도 6(b)와 도 6(c)의 해밍 거리 맵을 나타낸다. 도 6(d)와 도 6(e)에서 하얀 영역, 회색 영역, 및 검은 영역들은 각각 0,1,2의 값을 갖는 해밍 거리 값을 나타낸다.
따라서 만일 열화 영상의 해밍 거리 맵이 많은 하얀 영역을 갖는다면, 영상은 좋은 화질을 갖는 것을 의미한다. 도 6(c)에 도시된 열화 영상은 도 6(b)에 도시된 열화 영상보다 더 열화된 영상이다. 도 6(d)와 도 6(e)를 살펴보면, 도 6(e)의 해밍 거리 맵이 도 6(d)의 해밍 거리 맵보다 더 많은 검은 영역이 있음을 알 수 있으므로 도 6(c)가 도 6(b)보다 더 열화되었음을 알 수 있다. 이러한 결과로부터 본 발명의 일 실시예에 따른 양자화 코드를 이용한 화질 평가 방법이 시각적인 열화를 잘 반영하고 있음을 알 수 있다.
본 발명의 일 실시예에 따른 양자화 코드를 이용한 화질 평가 방법의 성능을 평가하기 위해 LIVE(Laboratory for Image & Video Engineering) 데이터 세트를 이용하기로 한다. LIVE 데이터 세트는 29개의 원 영상, 982개의 열화 영상들 및 DMOS(Differential Mean Opinion Score) 값이 포함되어 있다. 일반적으로 768×512 이미지 크기를 갖는 열화 영상들은 JPEG, JPEG2000, 백색 노이즈, 가우시안 블러, 및 JPEG2000 비트 스트림에서의 전송 에러 등에 의해 열화되어 있다.
수학식 3에 의하여 산출된 본 발명의 일 실시예에 따른 위상 양자화 코드 기반의 화질 평가지수(IQM)는 화질을 평가하는데 바로 사용할 수 없다. 즉, 대부분의 화질 평가 지수는 주관적인 화질 평가 지수인 DMOS(Differential Mean Opinion Score)와 연관되는 것이 필요하다. 왜냐하면 화질 평가의 목적은 영상의 주관적인 화질을 양적으로 표현하는 것이기 때문이다.
이를 위해 로지스틱 회귀 분석(logistic regression)을 이용하여 DMOS와 비교할 DMOS 대비 화질 평가 지수를 생성하여야 하고, 다음의 수학식 4와 같이 표현된다.
Figure 112010002045411-pat00005
여기서, a1, a2, a3, a4, 및 a5는 로지스틱 회귀 분석 후에 얻어지는 상수를 나타낸다.
로지스틱 회귀분석 방법에 의해 화질 평가 지수를 피팅(fitting)한 후에 얻어진 DMOS 대비 화질 평가 지수의 성능을 평가하기 위해, 로지스틱 회귀분석 방법에 의해 피팅된 결과와 주관적인 화질 평가 지수인 DMOS를 비교한다. 이러한 성능 비교는 피어슨 상관 계수(Pearson correlation coefficient), RMSE(Root Mean Squared Error), SROCC(Spearman rank order CC)를 이용할 수 있다.
도 7은 DMOS 값과 다섯 가지 화질 평가 지수들을 피팅한 그래프를 나타낸 것이다. 만일 어떠한 화질 평가 지수가 대각선에 가깝다면, 그 화질 평가 지수는 DMOS와 유사하다는 것을 의미한다. 따라서 도 7에 도시된 바와 같이 그래디언트 필터를 이용한 위상 양자화 코드(Gradient-PQC) 기반 화질 평가 지수가 다른 화질 평가 지수보다 더 DMOS와 유사한 것을 알 수 있다.
표 1은 피어슨 상관 계수를 이용하여 LIVE 데이터 세트에 대한 화질 평가 지수들의 성능 평가를 나타낸 것이다. 표 1을 참조하면, Gradient-PQC가 가장 큰 피어슨 계수를 갖는 것을 알 수 있으며, 피어슨 계수가 클수록 DMOS와 유사함을 의미한다.
Figure 112010002045411-pat00006
표 2는 RMSE를 이용하여 LIVE 데이터 세트에 대한 화질 평가 지수들의 성능 평가를 나타낸 것이다. 표 2를 참조하면, Gradient-PQC가 다른 화질 평가 지수들과 비교할 때 작은 RMSE를 갖는 것을 알 수 있으며, RMSE가 작을수록 DMOS와 유사함을 의미한다.
Figure 112010002045411-pat00007
표 3은 SROCC를 이용하여 LIVE 데이터 세트에 대한 화질 평가 지수들의 성능 평가를 나타낸 것이다. 표 3을 참조하면, Gradient-PQC가 다른 화질 평가 지수들과 비교할 때 전체적으로는 큰 SROCC를 갖는다. 특히 가우시안 블러와 fast fading distortion에 대해서는 Gradient-PQC가 가장 우수한 성능을 나타내고 있다. 그러나 JPEG2000과 백색 노이즈 열화에 대해서는 MSVD가 가장 우수한 성능을 나타내고, JPEG에 대해서는 SSIM이 가장 우수하다.
Figure 112010002045411-pat00008
표 4는 그래디언트 필터를 이용하는 경우에 도 2에서 살펴본 크기와 위상의 양자화 코드(amplitude/phase quantization code, APQC) 및 위상 양자화 코드(phase quantization code, PQC) 간의 성능 비교를 나타낸 것이다. GPQC는 그래디언트 필터를 이용한 PQC를 의미하며, GAPQC는 그래디언트 필터를 이용한 APQC를 의미한다. 또한, K는 크기를 양자화한 갯수를 나타내고, Th는 임계크기를 나타낸다. 그래디언트 필터에서 크기는 x축과 y축에 따른 그래디언트 값인 Ix와 Iy을 각각 제곱해서 더한 값에 제곱근을 취한 값으로 정한다.
표 4를 참조하면, 위상만을 양자화하여 사용하는 PQC보다 크기와 위상 모두를 양자화하여 사용한 APQC의 성능이 더 우수한 것을 알 수 있으며, 또한, 크기 양자화 레벨을 많이 구분할수록 성능이 더 우수한 것을 알 수 있다.
PQC는 위상을 4개로 양자화하여 한 화소를 이진 코드로 표현하는 경우 도 2(b)에서 살펴본 바와 같이 2비트가 소요된다. 또한, APQC의 경우에는 크기를 2개로 양자화하고, 위상을 4개로 양자화하는 경우 3비트가 소요되고, 크기를 4개로 양자화하고, 위상을 4개로 양자화하면 4비트가 소요될 것이다.
Figure 112010002045411-pat00009
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 원 영상과 열화 영상 각각에 대하여 화소에 대응하는 두 개의 값을 생성하는 필터링 단계;
    상기 원 영상과 상기 열화 영상 각각에 대하여 상기 필터링 결과로부터 생성된 두 개의 값을 복소평면에 매핑하고, 매핑된 복소평면 상의 위치에 대응하는 위상을 참조하여 각 화소별 위상 양자화 코드를 생성하는 단계;
    상기 원영상의 위상 양자화 코드와 상기 열화 영상의 위상 양자화 코드 간의 해밍 거리를 산출하는 단계; 및
    상기 산출된 해밍 거리를 이용하여 상기 열화 영상의 화질을 평가하는 단계를 포함하는 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 방법.
  2. 제 1 항에 있어서,
    상기 필터링하는 단계는 상기 원영상과 상기 열화 영상의 화소값들을 복소 평면의 실수부와 허수부에 매핑할 수 있도록 변환하는 단계인 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 방법.
  3. 제 1 항에 있어서,
    상기 위상 양자화 코드를 생성하는 단계는
    상기 필터링 결과로부터 크기 양자화 코드를 생성하는 단계를 더 포함하고,
    상기 해밍 거리를 산출하는 단계는
    상기 원 영상과 상기 열화 영상 각각에 대응하는 크기 양자화 코드와 위상 양자화 코드로 구성된 이진 코드 간의 해밍 거리를 산출하는 단계인 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 방법.
  4. 제 2 항에 있어서,
    상기 화소값은 휘도값인 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 방법.
  5. 제 1 항에 있어서,
    상기 필터링하는 단계는
    상기 원영상과 상기 열화 영상의 각 화소별 x방향 그래디언트와 y방향 그래디언트를 산출하는 단계인 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 방법.
  6. 제 1 항에 있어서,
    상기 필터링하는 단계에서 사용되는 필터는 가버(Gabor) 필터 또는 복소 웨이블릿 변환 필터인 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 방법.
  7. 제 1 항에 있어서,
    상기 열화 영상의 화질을 평가하는 단계는
    상기 산출된 해밍 거리를 이용하여 화질 평가 지수를 산출하고, 상기 화질 평가 지수를 주관적인 화질 평가 지수인 DMOS(Differential Mean Opinion Score)와 비교할 수 있도록 변환한 다음, 상기 변환된 화질 평가 지수와 DMOS의 유사 정도에 따라 상기 열화 영상의 화질을 평가하는 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 방법.
  8. 원 영상과 열화 영상 각각에 대하여 화소에 대응하는 두 개의 값을 생성하는 필터부;
    상기 원 영상과 상기 열화 영상 각각에 대하여 상기 필터부의 출력으로부터 생성된 두 개의 값을 복소평면에 매핑하고, 매핑된 복소평면 상의 위치에 대응하는 위상을 참조하여 각 화소별 위상 양자화 코드를 생성하는 양자화 코드부;
    상기 원 영상의 위상 양자화 코드와 상기 열화 영상의 위상 양자화 코드 간의 해밍 거리를 산출하는 해밍 거리 산출부; 및
    상기 산출된 해밍 거리를 이용하여 상기 열화 영상의 화질을 평가하는 화질 평가부를 포함하는 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 장치.
  9. 제 8 항에 있어서,
    상기 필터부는 상기 원영상과 상기 열화 영상의 화소값들을 복소 평면의 실수부와 허수부에 매핑할 수 있도록 변환하는 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 장치.
  10. 제 8 항에 있어서,
    상기 양자화 코드부는
    상기 필터부의 출력으로부터 크기 양자화 코드를 더 생성하고,
    상기 해밍 거리 산출부는
    상기 원 영상과 상기 열화 영상 각각에 대응하는 크기 양자화 코드와 위상 양자화 코드로 구성된 이진 코드 간의 해밍 거리를 산출하는 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 장치.
  11. 제 9 항에 있어서,
    상기 화소값은 휘도값인 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 장치.
  12. 제 8 항에 있어서,
    상기 필터부는
    상기 원영상과 상기 열화 영상의 각 화소별 x방향 그래디언트와 y방향 그래디언트를 산출하는 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 장치.
  13. 제 8 항에 있어서,
    상기 필터부는 가버(Gabor) 필터 또는 복소 웨이블릿 변환 필터인 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 장치.
  14. 제 8 항에 있어서,
    상기 화질 평가부는
    상기 산출된 해밍 거리를 이용하여 화질 평가 지수를 산출하고, 상기 화질 평가 지수를 주관적인 화질 평가 지수인 DMOS(Differential Mean Opinion Score)와 비교할 수 있도록 변환한 다음, 상기 변환된 화질 평가 지수와 DMOS의 유사 정도에 따라 상기 열화 영상의 화질을 평가하는 것을 특징으로 하는 양자화 코드를 이용한 화질 평가 장치.
  15. 제 1 항 내지 제 7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR20100002890A 2010-01-12 2010-01-12 양자화 코드를 이용한 화질 평가 방법 및 장치 KR101092650B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR20100002890A KR101092650B1 (ko) 2010-01-12 2010-01-12 양자화 코드를 이용한 화질 평가 방법 및 장치
JP2012547972A JP5536231B2 (ja) 2010-01-12 2011-01-11 量子化コードを利用した画質評価方法及び装置
CN201180005958.4A CN102713977B (zh) 2010-01-12 2011-01-11 用于使用量化代码评定图像质量的方法和设备
PCT/KR2011/000177 WO2011087251A2 (ko) 2010-01-12 2011-01-11 양자화 코드를 이용한 화질 평가 방법 및 장치
US13/521,943 US8948521B2 (en) 2010-01-12 2011-01-11 Method and apparatus for assessing image quality using quantization codes
EP11733039.9A EP2528038A4 (en) 2010-01-12 2011-01-11 IMAGE QUALITY ASSESSMENT PROCESS AND DEVICE USING A QUANTIZATION CODE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20100002890A KR101092650B1 (ko) 2010-01-12 2010-01-12 양자화 코드를 이용한 화질 평가 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110082942A KR20110082942A (ko) 2011-07-20
KR101092650B1 true KR101092650B1 (ko) 2011-12-13

Family

ID=44304789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20100002890A KR101092650B1 (ko) 2010-01-12 2010-01-12 양자화 코드를 이용한 화질 평가 방법 및 장치

Country Status (6)

Country Link
US (1) US8948521B2 (ko)
EP (1) EP2528038A4 (ko)
JP (1) JP5536231B2 (ko)
KR (1) KR101092650B1 (ko)
CN (1) CN102713977B (ko)
WO (1) WO2011087251A2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2447762B1 (en) 2010-10-28 2013-10-09 Lg Electronics Inc. Display apparatus
EP3155536A4 (en) * 2014-06-12 2017-11-22 Nokia Technologies Oy Method, apparatus, computer program product and system for reputation generation
CN104394405B (zh) * 2014-11-19 2017-01-04 同济大学 一种基于全参考图像的客观质量评价方法
US9741107B2 (en) * 2015-06-05 2017-08-22 Sony Corporation Full reference image quality assessment based on convolutional neural network
JP7129326B2 (ja) * 2018-12-14 2022-09-01 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CN110070519B (zh) * 2019-03-13 2023-07-14 西安电子科技大学 基于相位一致性的拼接图像质量测定方法、图像拼接系统
CN110070282B (zh) * 2019-04-17 2023-06-20 国网安徽省电力公司 一种基于综合关联度的低压台区线损影响因素分析方法
CN114445386B (zh) * 2022-01-29 2023-02-24 泗阳三江橡塑有限公司 一种基于人工智能的pvc管件质量检测评估方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100731358B1 (ko) * 2005-11-09 2007-06-21 삼성전자주식회사 화질 평가 방법 및 시스템
JP2009260940A (ja) 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974159A (en) * 1996-03-29 1999-10-26 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two image sequences
WO2000048407A1 (en) * 1999-02-11 2000-08-17 British Telecommunications Public Limited Company Analysis of video signal quality
JP2005045523A (ja) * 2003-07-22 2005-02-17 Matsushita Electric Ind Co Ltd デジタルビデオデータ検査装置および方法
EP1727088A1 (en) * 2005-05-25 2006-11-29 Thomson Licensing Method for assessing image quality
KR20080031548A (ko) * 2006-10-04 2008-04-10 광운대학교 산학협력단 실시간 화질 평가 방법 및 장치
EP2112833B1 (en) * 2008-04-24 2014-12-17 Psytechnics Ltd Method and apparatus for measuring blockiness in video images
CN101441768A (zh) * 2008-11-28 2009-05-27 武汉大学 基于结构失真和图像清晰度的图像质量评价方法
US8515182B2 (en) * 2009-02-11 2013-08-20 Ecole De Technologie Superieure Method and system for determining a quality measure for an image using multi-level decomposition of images
US8422795B2 (en) * 2009-02-12 2013-04-16 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
CN102405644B (zh) * 2009-04-21 2014-09-10 马维尔国际贸易有限公司 基于因特网视频内容的经估算质量对视频后处理器的自动调节

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100731358B1 (ko) * 2005-11-09 2007-06-21 삼성전자주식회사 화질 평가 방법 및 시스템
JP2009260940A (ja) 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、およびプログラム

Also Published As

Publication number Publication date
JP2013516890A (ja) 2013-05-13
WO2011087251A2 (ko) 2011-07-21
CN102713977A (zh) 2012-10-03
CN102713977B (zh) 2015-01-07
WO2011087251A3 (ko) 2011-12-01
US8948521B2 (en) 2015-02-03
JP5536231B2 (ja) 2014-07-02
EP2528038A4 (en) 2016-04-13
US20120308145A1 (en) 2012-12-06
EP2528038A2 (en) 2012-11-28
KR20110082942A (ko) 2011-07-20

Similar Documents

Publication Publication Date Title
KR101092650B1 (ko) 양자화 코드를 이용한 화질 평가 방법 및 장치
Cavigelli et al. CAS-CNN: A deep convolutional neural network for image compression artifact suppression
Min et al. Saliency-induced reduced-reference quality index for natural scene and screen content images
US10609373B2 (en) Methods and apparatus for encoding and decoding digital images or video streams
Okarma Combined image similarity index
JP6320115B2 (ja) 画像処理装置、画像処理方法、およびプログラム
Dimauro A new image quality metric based on human visual system
Bae et al. DCT-QM: A DCT-based quality degradation metric for image quality optimization problems
Liang et al. A no-reference perceptual blur metric using histogram of gradient profile sharpness
Bohr et al. A no reference image blur detection using cumulative probability blur detection (cpbd) metric
Vora et al. Analysis of compressed image quality assessments, m
Samani et al. Transform domain measure of enhancement—TDME—for security imaging applications
Jaiswal et al. A no-reference contrast assessment index based on foreground and background
JP6722651B2 (ja) 画像のタイプに応じて圧縮アルゴリズムを選択する方法
Moreno et al. Towards no-reference of peak signal to noise ratio
Joy et al. RECENT DEVELOPMENTS IN IMAGE QUALITY ASSESSMENT ALGORITHMS: A REVIEW.
Bosse et al. A perceptually relevant shearlet-based adaptation of the PSNR
George et al. A methodology for spatial domain image compression based on hops encoding
Wen et al. TransIm: Transfer image local statistics across EOTFs for HDR image applications
Kim et al. Image quality assessment using the amplitude/phase quantization code
JP7453561B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
Ruikar et al. Structural SIMilarity and correlation based filtering for Image Quality Assessment
Mahmood Performance Evaluation of Natural Scenes Features to create Opinion Unaware-Distortion Unaware IQA Metric
Mahmoud The use of double moment based descriptors to speed up FIC
Jiang Rate-distortion optimized image compression based on image inpainting

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141205

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151120

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee