KR100933284B1 - 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법 - Google Patents

동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법 Download PDF

Info

Publication number
KR100933284B1
KR100933284B1 KR1020080034291A KR20080034291A KR100933284B1 KR 100933284 B1 KR100933284 B1 KR 100933284B1 KR 1020080034291 A KR1020080034291 A KR 1020080034291A KR 20080034291 A KR20080034291 A KR 20080034291A KR 100933284 B1 KR100933284 B1 KR 100933284B1
Authority
KR
South Korea
Prior art keywords
video
pixel
boundary region
frame
matching
Prior art date
Application number
KR1020080034291A
Other languages
English (en)
Other versions
KR20090108933A (ko
Inventor
이철희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020080034291A priority Critical patent/KR100933284B1/ko
Publication of KR20090108933A publication Critical patent/KR20090108933A/ko
Application granted granted Critical
Publication of KR100933284B1 publication Critical patent/KR100933284B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상 화질평가 시스템 및 방법에 관한 것이다. 보다 상세하게는 원동영상의 경계영역 화소와 수신동영상의 화소값 차이를 계산할 때 코덱과 전송과정에서의 오류에 의해 발생할 수 있는 요인들을 고려하여 시공간상의 정합을 수행함으로써 보다 정확하고 신뢰성 있는 화질평가를 수행할 수 있고, 1차적으로 산출된 화질 지수를 상향 조정하거나 하향 조정하고, 경우에 따라 화질 지수의 상한과 하한을 설정하며, 블록킹 정도를 계산하고 아울러 블러링 정도를 측정하여 화질 지수에 반영함으로써 시청자에게 실제로 보여지는 체감 화질을 충분히 반영하여 최종 화질 지수를 산출할 수 있는 동영상 화질평가 시스템 및 방법에 관한 것이다.
이를 위하여 본 발명은 송신하고자 하는 원동영상으로부터 경계영역을 검출하고 검출된 경계영역에서 주어진 비트율이 허용하는 만큼의 경계영역 화소를 선택한 후 상기 경계영역 화소정보를 저장하여 추후에 화질 측정에 사용하거나, 상기 경계영역 화소를 부호화하여 부호화된 경계영역 화소데이터와 압축동영상데이터를 네트워크를 통하여 송신하는 동영상 송신장치; 및 상기 네트워크를 통해 수신한 상기 경계영역 화소데이터와 압축동영상데이터를 복호화하고 시공간상에서 정합하고 게인과 오프셋을 보정한 후 화소간의 차이를 구하여 평균자승오차와 최대신호대잡음비를 산출함으로써 수신동영상의 화질평가를 수행하는 동영상 수신장치를 포함하는 것을 특징으로 하는 동영상 화질평가 시스템을 제공한다.
화질평가, 멀티미디어, 경계영역, 정합

Description

동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법{System for video quality mesurement, apparutus for transmitting video, apparutus for receiving video and method thereof}
본 발명은 동영상 화질평가 시스템 및 방법에 관한 것이다. 보다 상세하게는 원동영상의 경계영역 화소와 수신동영상의 화소값 차이를 계산할 때 코덱과 전송과정에서의 오류에 의해 발생할 수 있는 요인들을 고려하여 시공간상의 정합을 수행함으로써 보다 정확하고 신뢰성 있는 화질평가를 수행할 수 있고, 1차적으로 산출된 화질 지수를 상향 조정하거나 하향 조정하고, 경우에 따라 화질 지수의 상한과 하한을 설정하며, 블록킹 정도를 계산하고 아울러 블러링 정도를 측정하여 화질 지수에 반영함으로써 시청자에게 실제로 보여지는 체감 화질을 충분히 반영하여 최종 화질 지수를 산출할 수 있는 동영상 화질평가 시스템 및 방법에 관한 것이다.
동영상 코덱의 성능을 검증하고 새로운 압축 기법을 개발함에 있어 동영상에 대한 화질을 평가하는 것은 매우 중요하다. 또한 IPTV와 같이 통신망을 사용하여 멀티미디어 데이터가 전송될 때, 품질열화가 발생할 수 있으며 이를 모니터링하는 것은 중요한 문제로 부각되고 있다.
일반적으로 동영상에 대한 품질 평가는 동영상의 품질을 평가하는 평가자들 에 의해 주관적으로 이루어진다. 이러한 평가방법은 인간의 지각력을 반영하는 것으로, 평가시 다수의 평가자가 요구되고 시간과 비용의 측면에 있어 비효율적이라는 문제점이 있다.
이러한 문제점을 해결하기 위해 본 출원인은 "동영상 화질 평가장치 및 방법"을 출원한 바 있다(등록특허 제0525467호). 상기 특허는 소스 동영상 시퀀스의 영상과 평가대상 동영상 시퀀스 영상 사이의 외곽선 영역의 화소값 차이를 이용하여 동영상의 화질을 평가함으로써, 평가시간을 단축하고 실시간으로 평가를 수행할 수 있도록 하였다.
코덱에 의해 인코딩 및 디코딩되는 과정(encoding, decoding)과 전송 과정(transmission)에서 원동영상은 시공간적인 정렬이 어긋나는 경우가 있다(spatial and temporal shift). 특히 부호화 과정 및 전송 매체를 통해 동영상 데이터가 전송되는 과정에서 프레임의 x축 상의 이동(Δx)과 y축 상의 이동(Δy) 및 시간축 상의 이동(Δt)이 발생할 수 있다. 예컨대, 동일한 프레임이 반복되어 나타나거나 일부 프레임이 손실되는 경우가 나타날 수 있다. 특히, 낮은 비트율로 전송하는 경우 부호화기에서는 초당 프레임 수를 감소시킨 후 부호화할 수 있으므로, 수신측에서 동일한 프레임이 주기적으로 반복될 수 있다. 또한, 전송에러로 인하여 정지프레임이 발생할 수도 있다.
또한, 동영상이 코덱과 전송과정을 거치는 동안 게인(gain)과 오프셋(offset)이 추가될 수 있다. 이러한 게인과 오프셋이 보정되지 않은 채로 화질이 평가되면 그 정확도가 매우 떨어지는 문제점이 있다.
한편, 화면의 대상 물체가 빠른 속도로 움직여 프레임간 차이가 매우 크거나 공간주파수의 고주파 성분이 커서 인접 화소간 화소값 변화가 큰 경우, 시청자는 화질의 열화를 인지하기 어려우므로 이러한 상황을 최종 화질 평가에 반영할 필요가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 코덱과 전송과정에서의 오류에 의해 발생할 수 있는 요인들을 고려하여 경계영역 화소와 수신동영상의 정합을 수행함으로써 보다 정확하고 신뢰성 있는 화질평가를 수행할 수 있고, 시청자에게 실제로 보여지는 체감 화질을 충분히 반영하여 최종 화질 지수를 산출할 수 있는 동영상 화질평가 시스템 및 방법을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위해 안출된 본 발명의 일 측면에 따른 동영상 화질평가 시스템은 송신하고자 하는 원동영상으로부터 경계영역을 검출하고 검출된 경계영역에서 주어진 비트율이 허용하는 만큼의 경계영역 화소를 선택한 후 상기 경계영역 화소의 화소값 및 위치정보를 저장하여 추후에 화질 측정에 사용하거나, 상기 경계영역 화소의 화소값 및 위치정보를 부호화하여 부호화된 경계영역 화소데이터와 압축동영상데이터를 네트워크를 통하여 송신하는 동영상 송신장치; 및 상기 네트워크를 통해 수신한 상기 경계영역 화소데이터와 압축동영상데이터를 복호화하고, 게인과 오프셋을 보정하고, 압축동영상데이터를 복호화하여 얻은 수신동영상과 경계영역 화소를 시공간상에서 정합한 후 화소간의 차이를 구하여 경계영역 평균자승오차와 경계영역 최대신호대잡음비를 산출함으로써 수신동영상의 화질평가를 수행하는 동영상 수신장치를 포함하는 것을 특징으로 한다.
본 발명에 따른 동영상 송신장치는 동영상 수신장치에서의 화질 평가가 가능하도록 하는 동영상 송신장치에 있어서 상기 동영상 수신장치로 전송할 원동영상으로부터 경계영역을 검출하는 경계영역 검출부; 검출된 경계영역에서 경계영역 화소를 선택하는 경계영역 화소 선택부; 및 상기 경계영역 화소의 화소값 및 위치정보를 부호화하는 부호화부를 포함하는 것을 특징으로 한다.
본 발명에 따른 동영상 수신장치는 네트워크를 통하여 동영상 송신장치로부터 압축동영상 데이터와 경계영역 화소데이터를 수신하여 화질 평가를 수행하는 동영상 수신장치로서, 상기 네트워크를 통해 수신한 상기 경계영역 화소데이터와 압축동영상데이터를 복호화하는 복호화부; 상기 복호화부에서 각각 복호화된 경계영역 화소와 압축동영상데이터를 복호화하여 얻은 수신동영상을 시공간상에서 정합하고 게인과 오프셋을 보정하는 정합부; 및 상기 경계영역 화소와 수신동영상의 화소간 차이를 구하여 경계영역 최대신호대잡음비를 산출하는 화질평가부를 포함하는 것을 특징으로 한다.
본 발명에 따른 동영상 화질평가 방법은 (a) 송신하고자 하는 원동영상으로부터 경계영역을 검출하는 단계; (b) 검출된 경계영역에서 주어진 비트율이 허용하는 만큼의 경계영역 화소를 선택하는 단계; (c) 상기 경계영역 화소의 화소값 및 위치정보와 원동영상을 부호화하여 네트워크를 통하여 송신하는 단계; (d) 상기 네트워크를 통해 수신한 상기 경계영역 화소데이터와 압축동영상데이터를 복호화하는 단계; (e) 복호화된 경계영역 화소와 압축동영상데이터를 복호화하여 얻은 수신동영상을 시공간상에서 정합하는 단계; 및 (f) 정합된 경계영역 화소와 수신동영상 간의 화소간 차이를 구하여 경계영역 최대신호대잡음비를 산출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면 원동영상의 경계영역 화소와 이에 대응하는 수신동영상의 화소값 차이를 계산할 때 코덱과 전송과정에서의 오류에 의해 발생할 수 있는 요인들을 고려하여 시공간상의 정합을 수행함으로써 보다 정확하고 신뢰성 있는 화질평가를 수행할 수 있는 효과가 있다.
또한, 본 발명에 의하면 원동영상과 수신동영상간의 시공간적인 정렬이 어긋나거나 게인과 오프셋이 추가된 경우 이를 보정함으로써 화질평가의 정확도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명에 의하면 원동영상을 낮은 비트율로 압축하여 전송함에 따라 수신측에서 동일 프레임이 반복되거나 전송에러로 인하여 프레임 정지 현상이 발생하더라도 정합시 이를 고려함으로써 화질평가의 정확도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명에 의하면 산출된 1차 화질 지수를 상향 조정하거나 하향 조정하고, 경우에 따라 상한과 하한을 설정함으로써 시청자에게 실제로 보여지는 체감 화질을 충분히 반영하여 최종 화질 지수를 산출할 수 있는 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 동영상 화질평가 시스템의 블록도이다.
본 발명의 바람직한 실시예에 따른 동영상 화질평가 시스템은, 도 1을 참조하면, 동영상을 송신하는 주체인 동영상 송신장치(100)와, 동영상 송신장치(100)가 송신하는 동영상을 소정의 네트워크(10)를 경유하여 수신하는 클라이언트인 동영상 수신장치(200)를 포함한다. 이때, 네트워크(10)는 무선 및 유선 통신망을 모두 포함한다. 또한, 동영상 수신장치(200)는 사용자의 이동통신단말기가 될 수 있다. 이하에서는 송신하고자 하는 동영상을 '원동영상', 원동영상을 부호화한 것을 '압축동영상데이터', 수신장치에서 압축동영상데이터를 복호화한 것을 '수신동영상'이라 한다. 전송과정에서 압축동영상데이터에 에러가 발생할 수 있고, 이 경우 수신동영상은 전송에러로 인한 열화를 포함하게 된다. 그리고, 경계영역 화소의 화소값 및 위치정보를 부호화한 것을 '경계영역 화소데이터'라고 한다. 또한, 본 발명에서는 프레임 단위를 가정하고 기술하고 있으나, 비월주사(interlaced) 신호인 경우에는 필드 단위로 적용될 수 있다.
동영상 송신장치(100)는 송신하고자 하는 원동영상으로부터 경계영역을 검출하고, 검출된 경계영역에서 경계영역 화소를 선택한 후, 경계영역 화소의 화소값 및 위치정보를 부호화하여 얻은 경계영역 화소데이터와 압축동영상데이터를 네트워크(10)를 통하여 송신한다. 동영상 송신장치(100)는 검출된 경계영역에서 주어진 비트율이 허용하는 만큼의 경계영역 화소를 선택한다. 한편, 동영상 송신장치(100)는 경계영역 화소데이터를 저장하여 추후에 화질 측정에 이용할 수도 있다. 또한 경계영역 화소데이터를 다른 채널을 사용하여 수신측으로 전송할 수 있다. 여기서 경계영역 화소정보의 부호화시, 경계영역 화소 값과 화소 위치정보를 함께 부호화한다.
동영상 수신장치(200)는 네트워크(10)를 통해 수신한 경계영역 화소데이터와 압축동영상데이터를 복호화하고 시공간상에서 정합하고 게인과 오프셋을 보정한 후 화소간의 차이를 구하여 평균자승오차와 최대신호대잡음비를 산출함으로써 수신동영상의 화질평가를 수행한다. 여기서 평균자승오차는 화소당 평균자승오차를 의미한다. 즉, 먼저 경계영역 화소와 이에 대응하는 수신동영상 화소와의 자승오차의 합계를 구하고 이를 전체 경계영역 화소수로 나누어 화소당 평균자승오차를 구하게 된다.
일반적으로 시공간상에서의 정합은 다음과 같이 모델링할 수 있다.
O(t+Δt, x+Δx, y+Δy) = I(t, x, y)
I(t, x, y)는 원동영상의 t번째 프레임의 (x, y) 지점의 화소에서의 화소값, O(t, x, y)는 수신동영상의 t번째 프레임의 (x, y) 지점의 화소에서의 화소값, Δx는 공간좌표 x축 상의 이동, Δy는 공간좌표 y축 상의 이동, Δt는 시간축 상의 이동을 나타낸다. 여기서 x는 프레임의 가로축, y는 세로축을 의미한다. 시공간상에서의 정합은 Δx, Δy, Δt를 주어진 한도안에서 변경하면서 다음과 같은 평균자승오차를 최소화하는 Δx, Δy, Δt 값들을 시공간상에서 정합 결과(x, y, t축으로의 이동값)로 구할 수 있다.
Figure 112008026481069-pat00001
도시되지 않았으나, 본 발명에 따른 동영상 화질평가 시스템은 경계영역 화소를 추출하는 송신장치의 전술한 구성요소를 수신장치가 구비하고, 수신장치는 송신장치가 전송하는 압축동영상데이터를 수신하여 그로부터 경계영역 화소를 선택하고 이를 부호화하여 송신장치로 전송하며, 송신장치는 수신된 경계영역 화소데이터를 사용하여 수신장치에서의 동영상 화질을 모니터링할 수도 있다.
즉, 동영상 화질평가 시스템은 네트워크를 통해 수신된 수신동영상으로부터 경계영역을 검출하고 검출된 경계영역에서 주어진 비트율이 허용하는 만큼의 경계영역 화소를 선택한 후 경계영역 화소 값과 위치 정보를 부호화하여 송신측으로 송신하는 동영상 수신장치와, 상기 동영상 수신장치가 전송하는 부호화된 경계영역 화소데이터를 복호화하고 복호화된 경계영역 화소와 원동영상을 시공간상에서 정합하고 게인과 오프셋을 보정한 후 화소간의 차이를 구하여 평균자승오차와 최대신호 대잡음비를 산출함으로써 수신동영상의 화질평가를 수행하는 동영상 송신장치를 포함할 수 있다.
이 경우, 동영상 수신장치는 수신되는 동영상 데이터에 오류가 발생하는 경우에만 오류에 해당하는 데이터 부분의 파라미터를 추출하여 송신장치로 전송하며, 동영상 송신장치는 상기 파라미터를 수신하여 화질평가를 수행할 수 있다. 또한, 상기 동영상 수신장치는 수신되는 동영상 데이터에 패킷 오류가 발생하는 경우, 오류가 발생한 패킷을 동영상 송신장치로 전송할 수 있으며, 동영상 송신장치는 상기 패킷을 수신하여 화질평가를 수행할 수 있다.
도 2는 본 발명의 바람직한 실시예에 따른 동영상 송신장치의 블록도이다.
도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 동영상 송신장치(100)는 원동영상(소스 비디오)을 입력하기 위한 영상입력부(110)와, 영상입력부(110)로부터 입력되는 원동영상의 경계영역을 검출하기 위한 경계영역 검출부(120)와, 검출된 경계영역에서 경계영역 화소를 선택하는 경계영역 화소 선택부(130)와, 원동영상 및 경계영역 화소정보를 부호화하는 부호화부(140) 및 부호화된 경계영역 화소데이터와 압축동영상데이터를 네트워크(10)로 송신하는 통신부(150)를 포함한다. 여기서 부호화부는 내부적으로 화소정보를 부호화하는 부호화부와, 원동영상을 부호화하는 부호화부로 따로 구성할 수 있다.
영상입력부(110)는 외부 장치로부터 동영상을 입력받는 입력장치 혹은 영상이 미리 저장된 소정의 저장장치일 수 있다. 또한, 원동영상과 경계영역 화소정보는 컨텐츠 제공업자에 의해 부호화되어 제공될 수도 있다.
화질평가에 사용하는 경계영역 화소 전송에는 오류가 발생하지 말아야 하므로 특수한 부호화 기법을 사용하는 것도 가능하다. 또한, 부호화된 압축동영상데이터와 경계영역 화소데이터에 동시에 오류가 발생하는 것은 피하는 것이 바람직하다. 따라서, 부호화된 압축동영상데이터와 경계영역 화소데이터는 다른 채널을 사용하여 전송하는 것이 바람직하다. 일례로, 부호화된 압축동영상데이터와 경계영역화소 데이터는 서로 다른 패킷을 사용하여 전송할 수 있고, 시간차를 두어 전송할 수도 있다.
도 3은 본 발명의 바람직한 실시예에 따른 동영상 수신장치의 블록도이다.
도 3을 참조하면, 본 발명의 바람직한 실시예에 따른 동영상 수신장치(200)는 네트워크(10)를 통해 수신된 경계영역 화소데이터와 압축동영상데이터를 복호화하는 복호화부(210)와, 복호화부(210)에서 각각 복호화된 경계영역 화소와 수신동영상을 시공간상에서 정합하는 정합부(220)와, 경계영역 화소와 수신동영상의 화소간 차이를 구하여 경계영역 최대신호대잡음비를 산출하는 화질평가부(230)를 포함하여 형성된다. 일반적으로 복호화부는 압축동영상데이터 복호화부와 경계영역 화소데이터 복호화부로 내부적으로 나뉘어져 구성된다. 압축동영상데이터 복호화부와 경계영역 화소데이터 복호화부는 별도의 모듈(module)로 구성될 수 있다. 또한, 동영상 수신장치(200)는 화질평가부(230)를 통해 산출된 화질 지수를 조정하는 후처리부(240)를 더 포함할 수 있다. 이하에서는 화질평가부(230)를 통해 산출된 화질 지수를 '1차 화질 지수', 후처리부(240)에서 1차 화질 지수를 조정하여 계산한 화질 지수를 '최종 화질 지수'라 한다.
화질평가부(230)에서 경계영역 화소와 수신동영상의 화소간 차이를 구하고 경계영역 평균자승오차를 산출한 후, 최대신호대잡음비를 계산하는 과정은 대한민국 특허공개공보 제2004-0078311호에 상세하게 기재되어 있으므로, 이에 대한 상세한 설명은 생략하기로 한다.
도 4a는 원동영상으로부터 경계영역을 검출하는 일례를 도시한 도면이다.
본 발명에서는 경계영역을 검출하기 위해 원동영상에 외곽선 추출 알고리즘(Edge Detection Algorithm)을 적용한다. 외곽선 검출 알고리즘으로는 기존에 제안된 알고리즘의 하나를 사용할 수 있으며, 일례로 구배 연산자(Gradient Operator)를 이용할 수 있다.
경계영역 검출부(120)는 수직 구배 연산자와 수평 구배 연산자를 이용하여 각각 수직 구배 영상과 수평 구배 영상을 생성한다. 그리고, 생성된 수직 구배 영상과 수평 구배 영상에 절대값 연산을 수행하여 수직 및 수평 구배 영상을 생성한다. 이러한 수직 및 수평 구배 영상에 문턱값 연산을 적용하여 화소값의 크기가 소정치 이상인 것을 추출함으로써 경계영역을 생성한다. 경계영역을 검출하여 경계영역 화소를 추출하는 방법 및 최대신호대잡음비를 계산하는 방법은 대한민국 특허 제0525467호에 상세하게 기재되어 있으므로, 이에 대한 상세한 설명은 생략하기로 한다. 다만 간단하게 요약하여 기술하면 다음과 같다. 수신측에서 원동영상에서 추출한 경계영역 화소를 ESRC(i)라고 하고, 시공간상에서 정합하고 게인 및 오프셋을 보정한 후 이에 대응하는 수신동영상의 경계영역 화소를 EPVS(i)라 하면 다음과 같 이 경계영역 평균자승오차를 구할 수 있다.
Figure 112008026481069-pat00002
(단, 유효한 EPVS(i)에 한하여 합산)
여기서 Nvalid _ edge _ pixels은 유효한 경계영역 화소수이다. 즉, 부호화과정 및 전송과정 중 수신동영상의 일부 프레임은 손실되어 원동영상에서 추출한 경계영역화소에 대응하는 화소가 수신동영상에 존재하지 않을 수 있다. 따라서, 평균자승오차를 계산할 때 이러한 문제를 고려하여 원동영상에서 추출한 경계영역화소에 대응하는 수신동영상의 경계영역화소가 존재할 때만 해당 화소를 평균자승오차 계산에 사용한다. 경계영역 평균자승오차를 계산 후 다음과 같이 경계영역 최대신호대잡음비를 계산한다.
Figure 112008026481069-pat00003
(여기서 P는 최대 화소값)
도 4b는 검출된 경계영역으로부터 경계영역 화소를 선택하는 일례를 도시한 도면이다.
경계영역 화소 선택부(130)는 검출된 경계영역에서 경계영역 화소를 선택하 되, 주어진 비트율이 허용하는 한도내에서 수행한다. 경계영역의 화소를 선택하는 방법은 여러 가지가 가능하며, 일례로 프레임에 구배연산자를 적용하여 구배영상을 구하고 구배영상의 화소값 기준으로 화소값이 큰 순서대로 이에 대응하는 원동영상 화소를 순차적으로 선택할 수 있다. 만일 프레임당 10개의 경계영역화소를 선택하는 경우, 먼저 프레임 구배영상의 화소값이 최상위인 10개의 화소를 검색하고 이들에 대응하는 원동영상 화소들을 경계영역 화소로 선택한다. 다른 예로는 구배영상의 화소값이 문턱치 이상인 화소에 대응하는 원동영상 화소중에서 임의로 추출하는 방법이 있다. 예컨대, 구배영상의 화소값의 크기를 기준으로 상위 10%에 해당하는 화소들에 대응하는 원동영상 화소들 중에서 무작위로 선택할 수 있다. 또한, 이전 프레임에서 선택된 화소와 동일한 위치에 존재하는 화소는 선택에서 제외할 수도 있음은 물론이다. 일반적으로 경계영역 화소는 프레임당 가능한 일정 수를 유지하도록 선택할 수 있다. 구배영상을 구하는 방법과 경계영역 화소를 추출하는 방법은 대한민국 특허 제0525467호에 자세히 기술되어 있다.
일반적으로 부호화 과정에서 외곽영역이 제거될 수 있으므로 도 6a와 같이 원동영상의 각 프레임 또는 필드의 외곽 일정 부분을 제거한 후 경계영역 화소를 추출하는 것이 유리하다. 도 6a를 참조하면, 일례로 외곽 제거부(121)는 각 프레임(또는 필드)의 외곽에서 일정 부분을 제거한다. SDTV의 경우 도 6a와 같이 상하좌우 각 여백에서 40화소를 제거할 수 있다. QCIF, QVGA 및 CIF 포맷 등과 같이 영상의 크기가 작아지면 이에 상응하게 외곽의 일정 부분을 제거한다. 만일 부호화 또는 전송과정에서 외곽영역이 제거되지 않는 것이 확실한 경우, 외곽 제거부(121) 에서는 제거되는 폭을 0으로 할 수 있음은 물론이다.
도 4c는 수신동영상과 원동영상에서 추출한 경계영역 화소를 시공간상에서 정합하는 일례를 도시한 도면이다. 수신동영상의 한 프레임에 해당하는 원동영상 프레임을 찾기 위하여 주어진 시간축 범위내에서 원동영상의 프레임을 검색한다. 이때 수신측에서 원동영상 프레임에 대한 정보는 여러 개의 경계영역 화소만 존재하므로 프레임간의 차이는 원동영상 프레임 경계영역 화소에 대응하는 수신동영상 프레임 화소만을 사용하여 계산한다. 즉 원동영상 p번째 프레임과 수신동영상 q번째 프레임의 평균자승오차는 다음과 같이 계산될 수 있다.
Figure 112008026481069-pat00004
여기서 ESRC _p(i)는 원동영상 p번째 프레임의 경계영역 화소이고, EPVS _q_ SRC _p(i)는 q번째 프레임에서 원동영상 p번째 프레임의 경계영역 화소에 대응하는 화소이며, NSRC _p는 원동영상 p번째 프레임의 경계영역 화소수이다.
정합부(220)는 네트워크로 수신동영상과 전송된 경계영역 화소를 시공간상에서 정합한다. 경계영역 화소와 수신동영상의 화소간 차이를 통해 화질평가를 수행하기 전에 정합을 수행함으로써, 코덱과 전송매체를 거치면서 발생한 시공간적인 정렬 오류와 게인 및 오프셋을 보정하여 보다 정확하고 신뢰성 있는 화질 지수를 산출할 수 있다.
일반적으로 동영상이 코덱과 전송과정을 지나는 동안 시공간상에서 이동이 발생하고, 게인(gain)과 오프셋(offset)이 추가될 수 있다.
O(x+Δx, y+Δy) = a I(x, y) + b
I(x, y)는 원동영상의 (x, y) 지점의 화소에서의 화소값, O(x, y)는 수신동영상의 (x, y) 지점의 화소에서의 화소값, Δx는 x축 상의 이동, Δy는 y축 상의 이동, a는 게인, b는 오프셋을 나타낸다. 위 식에서는 시간축 이동이 없는 것을 가정하고 한 프레임을 고려하였다. 일반적으로 게인과 오프셋은 시불변인 경우가 대부분이다. 여기서 x는 프레임의 가로축, y는 세로축을 의미한다.
정합부(220)는 수신동영상의 원동영상에 대한 게인과 오프셋을 추정하여, 추정된 게인과 오프셋 값이 상쇄되도록 수신동영상 또는 경계영역 화소를 보정함으로써 화질평가의 정확도를 향상시킨다.
도 5는 본 발명의 일 실시예에 따른 게인과 오프셋 추정을 위한 특징추출을위한 블록도이다.
게인과 오프셋을 정확하게 추정하기 위하여 동질한 영역의 화소 평균값을 이용할 수 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 동영상 송신장치의 경계영역 검출부(120)는 원동영상의 각 프레임 또는 필드의 외곽 일정 부분을 제거하는 외곽 제거부(121)와, 외곽 제거부(121)에 의해 외곽 일정 부분이 제거된 원동영상의 경계영역을 검출하는 경계 추출부(122)와, 경계영역 영상을 블록으로 분할하는 블록 분할부(123)와, 분할된 블록 중 동질영역(homogeneous)을 찾아 이러한 동질영역 블록의 평균 화소값을 계산하여 게인과 오프셋 추정을 위한 특징값을 출력하는 특징값 출력부(124)를 포함한다. 출력된 값 및 블록위치정보는 경계영역 화소데이터와 같이 부호화하여 수신측으로 전송되고, 수신측에서는 이를 사용하여 게인과 오프셋을 추정한다. 또한, '구배 영상(gradient image)'은 구배 연산자 등을 적용하여 구한 영상을 의미한다. 구배 영상(동영상)을 구하는 과정은 대한민국 특허 제0525467호에 상세하게 기재되어 있으므로 이에 대한 상세한 설명은 생략하기로 한다. 구배 영상에 문턱치 연산을 적용하면 경계영역 화소를 구할 수 있다.
외곽 제거부(121)에 의해 각 프레임으로부터 유효 면적이 설정되며, 경계 추출부(122)는 유효 면적 내에서 경계화소를 검출한다.
도 6b는 경계영역 영상을 블록으로 분할하고, 동질영역을 찾는 과정을 설명하기 위한 도면이다.
경계영역 영상이 블록으로 분할되며, 분할된 블록 중에서 경계영역 화소의 수가 적은 영역을 동질영역으로 설정하고, 이러한 블록의 화소 평균값을 계산하여 게인과 오프셋 추정용 특징을 계산하고 위치정보와 함께 수신측으로 전송한다.
일반적으로 게인과 오프셋은 동질영역을 사용하면 정확하게 추정될 수 있다. 일반적으로 동질영역에서는 경계영역을 이루는 화소의 수가 적게 나타난다. 동질영역을 찾기 위해 다양한 알고리즘의 적용이 가능하며, 일례로 구배연산자의 하나인 소벨 연산자(Sobel operator)를 적용한 후, 경계영역 화소가 최소인 영역을 선택할 수 있다. 블록분할은 도 6b와 같이 16×8 화소로 이루어질 수 있으며, 1~4번 블록 과 같은 동질영역으로 검출될 수 있다. 이러한 동질영역 내의 화소값들의 평균을 계산하고, 이 값을 게인과 오프셋을 추정하기 위한 특징(게인/오프셋 특징)으로 사용한다. 게인/오프셋 특징의 전송시 블록 위치 정보, 프레임 정보 등을 함께 포함하여 전송한다. 만일 프레임당 일정수의 게인/오프셋 특징을 추출하는 경우, 프레임 정보는 생략하여 데이터 량을 줄이는 것이 가능하다.
도 7은 수신측에서 게인과 오프셋을 추정하는 과정을 도시한 흐름도이다.
도 7을 참조하면, 수신측에서는 시공간상에서 정합 후(전영역 검색, Full Search), 게인 및 오프셋 추정용 특징(게인/오프셋 특징)을 사용하여 다음과 같이 게인과 오프셋을 추정할 수 있다. 게인과 오프셋 보정 후 다시 세부 시공간 정합을 수행한 후, 정합 경과가 전영역 검색시와 일치하면 정합 과정을 완료하고, 그렇지 않으면 일부 구간을 반복한다. 여러 번 반복하여도 정합결과가 일치하지 않으면 일정 수의 반복 후에 종료할 수 있다. 게인과 오프셋은 다음 식을 사용하여 추정할 수 있다.
yi = axi + b (i = 1, 2, ..., N)
xi는 원동영상으로부터 계산된 i번째 게인/오프셋 특징(gain/offset feature), yi는 xi에 대응하는 수신동영상으로부터 계산된 i번째 게인/오프셋 특징, a는 게인, b는 오프셋을 나타낸다. 예로 Least Square Estimation 방법을 사용하여 게인과 오프셋을 추정할 수 있다.
한 프레임 또는 필드에서 선택되는 게인 및 오프셋 추정용 특징의 수가 작은 경우, 매 프레임 단위로 게인과 오프셋을 수학식 7에 의해 추정하는 경우 추정치가 부정확할 수 있다. 이러한 문제를 해결하기 위하여 도 8과 같이 여러 개의 프레임(또는 필드) 단위로 게인과 오프셋을 추정할 수 있다.
이러한 과정을 반복하면 다수의 게인 및 오프셋을 얻을 수 있으며, 이들의 평균값을 취하여 전체 게인 및 오프셋으로 추정할 수 있다. 또한, 복수개의 게인 및 오프셋에 미디언 필터(median filter)를 적용하여 전체 게인 및 오프셋을 추정할 수도 있다. 게인 및 오프셋을 보정하는 자세한 과정은 국제표준 ITU-T Recommendation J.244 "Full Reference(FR) and Reduced Reference(RR) Calibration methods for video transmission systems with constant misalignment of spatial and temporal domains with constant gain and offset"(현재 승인절차 중)에 자세히 기술되어 있다.
이와 같이 전체 게인과 오프셋이 추정되면 수신동영상에 대하여 게인과 오프셋을 상쇄하는 보정을 하거나, 원동영상의 경계영역 화소에 대하여 게인과 오프셋만큼 보정하여 게인과 오프셋이 화질지수의 산출에 영향을 미치지 않도록 한다. 또한, 게인 및 오프셋 추정용 특징 대신 원동영상에서 추출한 경계영역 화소를 이용하여 동일한 과정으로 게인과 오프셋을 보정하는 것이 가능해진다. 일반적으로 게인과 오프셋, 공간 이동(Δx, Δy)은 시불변인 경우가 대부분이므로 초기에 한번 추정하여 사용할 수 있다.
도 9a는 경계영역 화소데이터에 사용할 수 있는 비트율이 낮은 경우 시공간 정합 과정에서 발생할 수 있는 문제점을 설명하기 위한 도면이다. 도 9a와 도 9b에서 상측의 프레임들은 원동영상의 프레임들이고, 하측의 프레임들은 수신동영상의 프레임들을 나타낸다.
일반적으로 감소기준법(Reduced-Reference)의 경우 화질평가에 사용하는 특징의 데이터양(side-channel bandwith)으로 1kbps, 10kbps, 64kbps, 128kbps, 256kbps, 512kbps 등이 고려되고 있다. 만일 경계영역 화소데이터 전송에 허용되는 비트율이 낮을 경우, 한 프레임당 선택되는 화소의 수가 적어 프레임 단위로 정합을 할 경우 시공간 정합에 있어 오류가 발생하기 쉽다. 이러한 경우 경계영역의 화소로 선택된 화소들이 해당 프레임의 화소 특성을 충분히 반영하지 못하게 되므로, 도 9a와 같이 수신동영상의 두번째 프레임이 원동영상의 세번째 프레임으로 잘못 정합되는 오류현상이 발생할 수 있다.
이러한 문제를 해결하기 위해 본 발명에서는 여러 개의 프레임을 그룹으로 하여 윈도우(window)를 설정하고, 이러한 윈도우 단위로 시간축 상의 정합을 수행한다. 즉, 수신동영상의 여러 개의 프레임으로 윈도우를 구성하고 이 윈도우에 포함된 모든 프레임을 하나의 군으로 취급하여 정합을 수행한다.
도 9b는 윈도우 단위로 이루어지는 시간축 상의 정합을 설명하기 위한 도면이다.
도 9b에서 현재 정합하고자 하는 수신동영상 프레임이 좌측에서 두 번째 프레임(이하, "정합대상 프레임")이라고 가정한다. 즉 수신동영상의 2번째 프레임에 해당하는 원동영상 프레임을 검색한다. 정합대상 프레임을 원동영상 프레임과 정합 하기 위해 정합대상 프레임 전후로 여러 개의 프레임을 하나의 그룹으로 취급하여 윈도우를 설정한다. 일례로, 도 9b에서는 정합대상 프레임의 전후로 하나씩의 프레임을 추가함으로써 윈도우를 설정하여 총 3개의 프레임이 하나의 윈도우를 구성하도록 하였다.
이와 같이 설정된 윈도우를 원동영상 시간축상 전후로 이동하여 원동영상에서 추출된 경계영역 화소와 이에 대응하는 수신동영상과 화소 차이가 최소가 되는 최적 시간축 이동값을 검색한다. 이후 최적 시간축 이동값만큼 윈도우를 이동시킨 후, 원동영상 경계영역 화소와 이에 대응되는 수신동영상의 경계영역 화소 사이에 평균자승오차를 계산한다. 이와 같은 과정을 전체 프레임에 대하여 계산하고, 전체 프레임의 평균자승오차를 평균하여 전체 경계영역 평균자승오차를 계산한다.
이와 같이 함으로써 경계영역 화소데이터 전송용 사이드 채널(side-channel)의 대역폭이 낮은 경우라도 보다 정확하게 정합을 수행할 수 있게 된다. 또한, 여기서 정합대상 프레임의 경계영역 평균자승오차 계산시, 정합대상 프레임에 해당하는 원동영상의 경계영역 화소와 이에 대응되는 수신동영상의 경계영역 화소 사만을 사용하여 정합대상 프레임의 경계영역 평균자승오차를 계산하는 대신, 윈도우에 포함된 모든 수신동영상 프레임에 해당하는 원동영상 경계영역 화소와 이에 대응되는 수신동영상의 경계영역 화소 사이의 자승오차를 계산하고 이들 윈도우 내의 총 경계영역 화소수로 나누어 윈도우 평균자승오차를 계산한 후 이를 정합대상 프레임의 평균자승오차로 사용하는 것이 가능하다.
Figure 112008026481069-pat00005
여기서 MSEwindow는 윈도우 평균자승오차, ESRC(i)는 윈도우 내에서 자승오차 계산에 사용되는 원동영상 경계영역 화소, EPVS(i)는 윈도우 내에서 자승오차 계산에 사용되는 원동영상 경계영역 화소에 대응하는 수신동영상 경계영역 화소, Nwin는 윈도우 내에서 자승오차 계산에 사용되는 원동영상 경계영역 화소수를 의미한다.
일반적으로 부호화과정 및 전송과정 중 수신동영상의 일부 프레임은 손실되어 원동영상에서 추출한 경계영역화소에 대응하는 화소가 수신동영상에 존재하지 않을 수 있다. 따라서 윈도우 평균자승오차를 계산할 때 이러한 문제를 고려하여 원동영상에서 추출한 경계영역 화소에 대응하는 수신동영상의 경계영역 화소가 존재할 때만 해당 화소를 평균자승오차 계산에 사용한다.
도 10a는 원동영상을 크게 압축하여 낮은 압축비트율로 전송하는 경우 수신동영상에 동일한 프레임이 반복되어 나타나는 문제점을 설명하기 위한 도면이다. 일반적으로 동영상 압축률이 높은 경우, 부호화기는 먼저 매초당 프레임수(FPS, Frame Per Second)를 줄인 후 부호화하는 경우가 있다. 이러한 경우, 수신동영상에서는 동일한 프레임이 반복하여 나타나게 된다. 도 10a 내지 도 10d의 상측의 프레임들은 원동영상의 프레임들(SRC, sources)이고, 하측의 프레임들은 수신동영상의 프레임들(PVS, Processed Video Sequences)을 나타낸다.
원동영상이 낮은 비트율로 전송하는 경우 부호화기에서는 초당 프레임 수를 감소시킨 후 부호화할 수 있으므로, 수신측에서 동일한 프레임이 주기적으로 반복된다. 예컨대, 원동영상과 경계영역 화소의 매초당 부호화되는 프레임 수는 30장이고, 매초당 부호화되는 프레임 수가 15장인 경우, 도 10a와 같이 수신동영상에서는 동일한 2개의 프레임이 반복되어 나타난다. 수신동영상에서 프레임이 주기적으로 반복되는 경우, 프레임 수를 줄여 부호화하였다는 사실을 알 수 있다. 이 경우 수신동영상에는 원동영상 B, D, F 및 H에 해당하는 프레임이 존재하지 않게 된다.
도 10a와 같이 서로 다른 프레임 수가 감소되어 부호화된 경우에는 이를 고려하여 시간축 정합을 수행하여야 한다. 즉, 정합부(220)는 수신동영상에서 동일한 프레임이 반복되어 나타날 경우 반복 주기에 부합하도록 경계영역의 화소와 정합을 수행한다. 예컨대, 도 10b와 같이 수신동영상 중 각 반복 단위의 최초 프레임에 대해서만 정합을 수행하고 반복되는 프레임(2, 4, 6, 8번째 프레임)에 대해서는 정합을 수행하지 않는다. 즉 반복되는 프레임에 대해서는 정합을 수행하지 않음으로써 화소간 오차가 크게 산출되는 현상을 방지할 수 있다. 즉 도 10b에서는 원동영상 2번째 프레임과 수신동영상 2번째 프레임(첫번째 프레임이 반복됨) 간의 자승오차를 계산하지 않는다. 이와 같은 방법으로 시간축상에서 정합을 수행하고 자승오차를 계산하는 과정에서도 반복되는 프레임에 대해서는 자승오차를 계산하지 않는다. 즉 도 10c와 같이 동일한 프레임이 반복되는 경우, 각 반복 단위의 최초 프레임에 대해서만 자승오차를 계산하는 또 다른 예를 보여준다. 윈도우 단위로 시간축 상의 정합을 수행하는 경우에도 동일한 방법이 적용될 수 있다. 도 10d와 같이 수신동영 상 4번째와 6번째 프레임은 정합에 사용하지 않는다. 그러나, 3, 5, 7번째 프레임간의 상대적인 시간축 거리는 유지하며 정합을 수행하여야 함은 물론이다.
도 11a는 전송에러로 인하여 프레임이 손실되는 경우의 문제점을 설명하기 위한 도면이다.
네트워크를 통해 압축동영상데이터가 전송되는 과정에서 에러가 발생할 경우 도 11a와 같이 프레임이 손실될 수 있다. 즉 원동영상 6번 프레임(F)이 손실되어 이 프레임은 수신동영상에 나타나지 않는다. 이러한 경우에는 도 11a와 같이 정합대상 프레임에 해당하는 프레임 전후로 여러 개의 프레임을 하나의 그룹으로 취급하여 윈도우 단위로 시간축 정합을 수행하면 원동영상의 6번째 프레임에 해당하는 프레임이 수신동영상에 존재하지 않아 정확한 프레임 위치를 찾을 수 없게 되거나 자승오차 계산시 오류가 발생하게 된다. 예컨대, 도 11a에서 원동영상의 3, 4, 5, 6, 7번째 프레임을 하나의 윈도우로 하여 원동영상의 시간축 프레임 상으로 이동할 경우 정확하게 정합되는 프레임이 존재하지 않는다.
도 11b는 프레임 손실을 고려하여 이루어지는 시간축 상의 정합을 설명하기 위한 도면이다.
도 11a와 같이 수신동영상에서 일부 프레임이 손실된 경우를 고려하여, 정합부(220)는 윈도우 내에서 수신동영상의 정합대상 프레임의 위치를 변경하면서 시간축 정합을 수행한다. 즉, 정합부(220)는 윈도우 내에서 정합대상 프레임의 위치가 최좌측에서부터 최우측까지 변경하면서 윈도우를 만들고, 수신동영상과의 화소 차이가 최소가 되는 시간축 이동을 추정한다.
예컨대, 수신동영상 5번째 프레임이 정합대상 프레임이고 5개의 프레임으로하나의 윈도우를 구성하는 경우, 도 11b와 같이 좌측부터 우측 방향으로 제1 윈도우(1번 프레임~5번 프레임, 정합대상 프레임 최우측에 위치), 제2 윈도우(2번 프레임~6번 프레임, 정합대상 프레임 우측에서 2번째 위치), 제3 윈도우(3번 프레임~7번 프레임, 정합대상 프레임 중앙에 위치), 제4 윈도우(4번 프레임~8번 프레임, 정합대상 프레임 좌측에서 2번째 위치), 제5 윈도우(5번 프레임~9번 프레임, 정합대상 프레임 최좌측에 위치)를 생성한다. 이때, 하나의 윈도우를 구성하는 프레임 개수가 n이면 n개의 윈도우가 생성된다. 이와 같이 생성된 n개의 윈도우 각각에 대하여 원동영상 시간축으로 이동하면서 최소의 평균자승오차를 갖는 시간축 이동을 찾고, 이와 같이 구한 n개의 평균자승오차 중 최소값에 해당하는 윈도우가 찾은 시간축 이동값을 선택한다. 도 11b의 경우, 수신동영상의 6번 프레임이 손실되었고 이 경우 1번 윈도우 내지 5번 윈도우를 각각 수신동영상과 매칭해보면 제1 윈도우의 경우에 최적의 정합이 이루어질 수 있음을 알 수 있다.
정합 성능을 향상시키기 위하여 다양한 크기의 윈도우를 사용하여 최적의 정합위치를 사용하는 것도 가능하다. 즉 크기가 5, 10, 30인 윈도우를 생성하고 각각의 윈도우를 사용하여 위에서 설명한 방법으로 정합하고(윈도우 내에 정합대상 프레임 위치 변경 포함), 이들 중에서 자승평균오차에 근거하여 최적의 원동영상 대비 시간축 이동값을 구할 수 있다. 즉 윈도우 크기와 윈도우 내의 정합대상 프레임의 위치를 변경하면서 자승평균오차가 최소인 윈도우를 찾고 이에 해당하는 원동영상 대비 시간축 이동값을 구한다. 이 경우 정합에 필요한 연산량은 크게 증가하나 좀더 정확한 정합을 이룰 수 있다. 또한 윈도우의 크기를 조정하면서 정합을 수행하면 좀 더 정확한 시간축 이동값을 구할 수 있다. 즉 도 20과 같이 다양한 크기의 윈도우를 사용하여 정합한 후 이들 결과 중 평균자승오차값이 최소로 하는 시간축 이동값을 선택한다.
일반적으로 낮은 비트율로 동영상을 압축하는 경우 매초당 프레임 수를 줄인 후 부호화한다. 또한 30fps(frames per second)인 동영상을 8fps로 부호화하는 경우 등과 같이 감소비율이 정수가 아닌 경우 (30/8=3.75) 원동영상과 수신동영상의 프레임이 정확하기 일치하지 않는 경우가 발생한다. 도 18은 이러한 예를 보여준다. 도 18a의 경우와 같이 부호화되는 프레임이 규칙적으로 나타나면 원도우를 사용한 정합방법에 문제가 발생하지 않는다. 그러나 도 18b 및 도 18c와 같이 부호화되는 프레임이 비규칙적이거나 시간축에서 약간의 이동이 발생하는 경우에 앞서 기술한 원도우를 이용한 정합기법을 사용하면 문제가 발생할 수 있다. 도 18b에서는 원동영상의 6번 프레임과 수신동영상의 6번 동영상이 잘못 짝지어졌으며, 도 18c에서는 원동영상의 4번 프레임과 수신동영상의 4번 동영상이 잘못 짝지어져 평균자승오차 계산 시 오류가 발생하게 된다. 즉 낮은 비트율로 동영상을 압축하는 경우 코텍에 의하여 부호화되는 프레임에 시간축으로 약간의 이동이 발생할 수 있다.
이러한 문제를 해결하기 위하여 본 발명에서는 윈도우를 사용하여 정합 시, 수신동영상 프레임에 대응하는 원동영상 프레임 전후의 프레임과 추가로 국부 정합을 수행하여 그 결과로 프레임 평균자승오차가 감소하면 상기 수신동영상 프레임에 대응하는 원동영상의 프레임은 프레임 평가자승오차가 최소인 프레임으로 결정한 다.
예로 도 19a에서는 수신동영상 6번 프레임에 짝지어진 원동영상 6번 프레임 (실선 화살표)의 전후 프레임인 원동영상 5번 프레임 (점선 화살표) 및 원동영상 7번 프레임(점섬 화살표)과 추가로 국부 정합을 수행하여 원동영상의 7번 프레임을 선택하게 할 수 있다. 마찬가지로 도 19c에서는 수신동영상 4번 프레임에 짝지어진 원동영상 4번 프레임 (실선 화살표)의 전후 프레임인 원동영상 3번 프레임 (점선 화살표) 및 원동영상 5번 프레임(점선 화살표)과 추가로 국부 정합을 수행하여 원동영상의 3번 프레임을 선택하게 할 수 있다.
한편, 원동영상이 비월주사(interlaced) 신호인 경우(도 14 참조), 코덱에 따라서 먼저 디인터레이싱(deinterlacing)을 수행한 후 부호화할 수 있으며, 이때 공간 정합에 있어 문제가 발생할 수 있다. 이 경우에는 정합부(220)가 경계영역 화소를 짝수 필드(even field)와 홀수 필드(odd field)로 분리하여 시공간상 정합을 수행할 수 있다. 이는 다음과 같은 과정으로 이루어질 수 있다.
첫째, 경계영역의 화소를 짝수 필드와 홀수 필드로 분리하여 각각 시간축 정합을 수행하여 짝수필드의 평균자승오차와 홀수필드의 평균자승오차의 평균을 계산하여 제1 평균자승오차를 산출한다. 짝수 필드 경계영역의 화소 및 홀수 필드 경계영역의 화소에 대한 정합방법은 앞서 기술한 모든 방법을 사용할 수 있다.
둘째, 경계영역의 화소를 짝수 필드와 홀수 필드로 구분하지 않고 시간축 정합을 수행하여 제2 평균자승오차를 산출한다. 이는 전체 경계영역의 화소를 이용하여 정합 수행 후 구한 평균자승오차를 의미한다.
셋째, 제1 평균자승오차와 제2 평균자승오차의 차이가 특정값 이상인 경우 제1 평균자승오차를 최대신호대잡음비의 산출에 이용한다. 차이가 특정값 이하이면 제2 평균자승오차를 사용하거나, 제1 평균자승오차와 제2 평균자승오차의 평균을 사용할 수 있다.
또한, 원동영상에서 경계영역 화소를 선택하여 전송하는 대신 도 15에서와 같이 경계영역 화소를 중심으로 저역통과필터(LPF)를 적용하여 구한 값을 전송할 수 있다. 여기서 저역통과필터는 3×5, 3×3, 5×5, 5×7 등과 같은 가우시안 저역통과필터(Gaussian low pass filter) 등을 사용할 수 있다. 수신측에서는 저역통과필터 출력값을 전송받아 정합 및 화질지수 계산에 사용한다. 저역통과필터 출력값을 사용하여 정합 및 화질지수를 계산하는 방법은 앞서 기술한 경계영역 화소를 이용한 정합 및 화질지수 계산과 동일한 방법이다. 단, 정합 및 화질지수 계산 이전에 수신동영상에 동일한 저역통과필터를 적용한다.
이와 같이, 경계영역 화소에 가우시안 저역통과필터(Gaussian LPF)를 적용하여 구한 값을 평균자승오차의 산출에 이용함으로써 디인터레이스트(deinterlaced) 등으로 인한 오류를 줄일 수 있다.
이상에서 시공간상의 정합은 주로 시간축 정합을 중심으로 기술하였으나, 공간상의 정합이 함께 필요한 경우 시공간상의 정합을 동시에 수행할 수 있다. 즉 가능한 공간이동 범위내에서 모든 경우에 대하여 위에서 기술한 방법으로 시간축 정합을 수행하고, 이들 가운데 최적의 시공간 이동값(Δx, Δy, Δt)을 구하여 정합을 수행할 수 있다. 예로 공간상으로 화소가 상하좌우로 한 픽셀이 이동할 수 있으 면, 다음 9가지 경우에 대하여 시간축 정합을 수행하여 9개의 화질지수를 계산하고 이 중에 최대값을 최종 화질지수로 출력한다.
(1) Δx = -1, Δy = -1
(2) Δx = 0, Δy = -1
(3) Δx = 1, Δy = -1
(4) Δx = -1, Δy = 0
(5) Δx = 0, Δy = 0
(6) Δx = 1, Δy = 0
(7) Δx = -1, Δy = 1
(8) Δx = 0, Δy = 1
(9) Δx = 1, Δy = 1
빠른 움직임이 있는 경우 시청자는 빠르게 움직이는 물체의 경계선에 둔감하므로, 이러한 특성을 반영하여 물체의 움직임 속도에 따라 경계영역 화소를 선택할 수도 있다. 즉, 도 16과 같이 각 프레임을 여러 개의 블록으로 나누고 각 구간별로 인접 프레임간의 차이를 계산한다(이전 프레임과의 차이, 이후 프레임과의 차이 등). 그리고, 경계영역 화소를 선택할 때 인접 프레임과의 차이가 특정값 이상인 블록에서는 경계영역 화소를 선택하지 않는다.
후처리부(240)는 화질 평가부(230)를 통해 산출된 1차 화질 지수를 조정하여 최종 화질 지수를 계산한다.
객체의 움직임이 빨라서 시간축 상의 프레임들 간에 차이가 크거나 카메라가 빠르게 움직이는 경우, 시청자는 화질의 열화를 잘 인식하지 못하는 경향이 있다. 이러한 경우를 고려하기 위하여 먼저 다음과 같이 프레임 차이를 구한다.
Figure 112008026481069-pat00006
여기서 I(t, x, y)는 동영상의 t번째 프레임의 (x, y) 위치의 화소값을 의미한다. 모든 프레임에 대한 프레임 차이를 구하여 이를 평균하여 전체 동영상의 프레임 차이 값(전체평균 프레임 차이값)을 계산한다. 이 값이 특정값 이상이면 화질 지수를 상향 조절하는 것도 가능하다. 즉 이러한 경우, 체감화질은 화질지수에 비하여 좋으므로 화질 지수 값을 상향 조절한다. 감소기준법에서는 원동영상의 전체평균 프레임 차이값을 계산한 후, 이를 부호화하여 수신측으로 전송할 수 있다. 수신측에서는 화질지수를 계산 후, 원동영상 전체평균 프레임 차이값에 근거하여 화질지수를 상향 조정한다. 또한, 물체들이 복잡하게 혼합되어 있거나, 공간주파수의 고주파 성분이 큰 경우 시청자는 화질의 열화를 쉽게 인식하기 어렵다. 이러한 경우 체감화질은 화질지수에 비하여 좋으므로 화질지수 값을 상향 조절한다. 이를 위해 먼저 다음과 같이 원동영상의 고주파 지수를 산출한다.
먼저 각 프레임을 고속푸리에변환(FFT)이 용이하도록 블록으로 분할하여(예컨대, 8×8, 32×16) 각 블록에 DFT(FFT)를 적용한다. 그리고 고주파에 해당하는 퓨리에 계수의 합을 구하여 해당 블록의 고주파 지수를 산출한다. 이러한 과정을 모든 블록에 적용하고 평균을 구하여 프레임 고주파 지수를 산출한다. 예로 2차원 푸리에 변환 후 중심값이 DC성분이라고 가정하면 도 17과 같이 원 외부의 영역(회색 부분)에 해당하는 계수의 평균을 구하여 고주파 지수를 계산할 수 있다.
다음으로 이러한 과정을 전체 프레임에 반복하여 각 프레임의 고주파 지수를 계산하고 이들의 평균을 구하여 원동영상 고주파 지수를 계산한다. 이 원동영상 고주파 지수를 경계영역 화소데이터와 함께 수신측으로 전송한다.
수신측에서는 먼저 경계영역 화소를 이용하여 화질지수를 계산하고 원동영상의 고주파 지수가 특정값 이상이면 화질지수를 상향 조정한다.
여기서, 원동영상 전체평균 프레임 차이와 원동영상 고주파 지수를 함께 고려하는 것도 가능하다. 즉 전체평균 프레임 차이가 특정값 1보다 크고 원동영상 고주파 지수가 특정값 2보다 큰 경우에만 화질지수를 상향 조정하는 것도 가능하다. 예컨대, 1차 화질 지수의 상향 조정은 프레임간 화소 차이 또는 고주파 성분값이 특정값을 초과하는 정도에 따라 가중치를 곱하는 방법이 사용되거나 실험에서 구한 최적의 값을 사용할 수 있다.
전체평균 프레임 차이값 또는 고주파지수에 따른 화질지수
Figure 112008026481069-pat00007
조정은 다음과 같이 함수를 사용하는 것이 가능하다. 예로 EPSNR을 화질지수로 사용하는 것을 가정하면
EPSNRadjusted = EPSNR + α
EPSNRadjusted = w×EPSNR + α
EPSNRadjusted = EPSNR + α(EPSNR)
EPSNRadjusted = w(EPSNR)×EPSNR + α
EPSNRadjusted = w(EPSNR)×EPSNR + α(EPSNR)
위 식에서 α가 양수이면 화질지수를 상향조정하게 되고 α가 음수이면 화질지수를 하향조정하게 된다. 또한 w가 1보다 크면 화질지수를 상향조정하게 되고 w가 1보다 작으면 화질지수를 하향조정하게 된다. 여기서 α와 w를 EPSNR의 함수로 사용하는 것도 가능하다. 즉 EPSNR 값에 따라 다른 α와 w값을 사용할 수 있다.
일반적으로 시청자는 수신동영상의 공간주파수의 고주파 성분이 원동영상에 비하여 현저하게 떨어지는 경우, 체감 화질이 특정값을 초과하지 않게 된다. 이러한 경우는 블러링(blurring)이 심하게 발생한 경우이다. 이러한 경우를 고려하여 후처리부(240)는 원동영상의 고주파 지수를 계산한 것과 동일한 방법으로 수신동영상의 고주파 지수를 계산한다. 그리고 다음과 같이 고주파 지수 비율을 계산한다.
Figure 112008026481069-pat00008
여기서 HFR은 고주파 지수 비율(High Frequency Ratio), HFSRC는 원동영상의 고주파 지수, HFPVS는 수신동영상의 고주파 지수를 의미한다.
원동영상의 공간주파수의 고주파 지수에 대한 수신동영상의 공간주파수의 고 주파 지수의 비율이 특정값 이하이면 최종 화질 지수가 특정한 값을 초과하지 못하도록 할 수 있다. 즉, 후처리부(240)는 최종 화질 지수에 최대값을 설정할 수 있다. 또한, 후처리부(240)는 고주파 지수 비율에 비례하여 화질 지수를 하향 조절할 수 있다. 만일 고주파 지수 비율이 1보다 크면, 이는 블록킹이 발생함을 의미한다. 이러한 경우 화질지수를 하향 조정할 수 있다. 예로, 최종 화질 지수가 특정한 값을 초과하지 못하도록 할 수 있다.
반면, 높은 압축률에서 수신동영상에 블록킹(blocking) 현상이 발생하면 체감품질이 급격히 저하한다. 이러한 경우 블록킹 지수를 계산하여 화질지수를 하향 조정할 수 있다. 부호화 특성상 블록킹 현상은 4컬럼(column) 또는 8컬럼 단위로 주기적으로 나타난다. 따라서 블록킹 지수는 프레임 내의 컬럼 차이를 계산하고 이들을 합산하여 전체 컬럼 차이를 구함으로써 산출할 수 있다. 일반적으로 코덱에서는 4×4 또는 8×8 블록 단위로 부호화하기 때문에 블록킹 지수도 이에 부합하도록 8 또는 4 컬럼을 주기로 합산하는 것이 바람직하다. 프레임 내의 컬럼 차이를 합산한 후 가장 큰 값과 작은 값의 비율로 블록킹 정도를 나타낼 수 있으며, 예컨대 최대값을 제외한 나머지 값들의 평균에 대한 최대값의 비율이 특정값을 초과할 경우 블록킹이 발생하였다고 추정하고, 초과하는 값에 비례하는 수치를 1차 화질 지수를 하향 조정한다.
구체적으로 블록킹 정도를 측정하는 방법을 설명하면 다음과 같다.
먼저 수신동영상의 t번째 프레임의 i번째 컬럼 차이를 다음과 같이 계산한다.
Figure 112008026481069-pat00009
여기서 CD(t, i)는 수신동영상의 t번째 프레임의 i번째 컬럼 차이를 나타낸다. 이와 같은 과정을 전체 프레임에 대하여 반복하고 전체 컬럼 차이를 다음과 같이 계산한다.
Figure 112008026481069-pat00010
여기서 NF 는 전체 프레임 수를 의미한다. 전체 컬럼 차이에서 4 또는 8 등의 모듈로(modulo)하여 합산한다. 만일 8mod를 사용하면 다음과 같이 계산되고 전부 8개의 값이 생성된다.
Figure 112008026481069-pat00011
만일 여기서 Mod(j) 한 개의 값이 다른 값에 비하여 월등히 큰 값을 가지면 블록킹 현상이 나타난 것으로 간주할 수 있다. 예로 다음과 같이 블록킹 지수를 계산할 수 있다.
Figure 112008026481069-pat00012
Figure 112008026481069-pat00013
또는
여기서 Modmax는 Mod(j)의 최대값, Modmin는 Mod(j)의 최소값을 의미하고 Modave_remaining는 Mod(j)의 최대값을 제외한 나머지 Mod(j) 값의 평균을 의미한다. 이와 같이 구한 블록킹 지수가 특정값 이상이면 체감화질이 크게 떨어진다(블록킹 발생). 이 경우 후처리부(240)는 1차 화질 지수를 하향 조정하여 최종 화질 지수를 산출할 수 있다. 1차 화질 지수의 하향 조정은 블록킹 정도에 따라 이루어지는 것이 바람직하며, 이를 위해 블록킹 정도를 위와 같이 블록킹 지수로 수치화하여 이 값이 특정값을 초과하면 1차 화질 지수에서 블록킹 지수에 비례하는 값을 삭감할 수 있다. 여기서 기존의 다른 블록킹 지수를 사용할 수 있음은 물론이다. 화질 지수의 하향 조정은 수학식 10과 유사하게 수행할 수 있다.
일반적으로 시청자는 수신동영상의 화질이 어느 정도 확보될 경우, 즉 EPSNR이 특정값 이상이면(이는 평균자승오차가 특정값 이하에 해당) 더 이상의 열화를 인지하지 않게 된다. 이러한 경향을 반영하기 위해 후처리부(240)는 1차 화질 지수가 특정값 이상인 경우 상기 특정값을 최종 화질 지수의 최대값으로 설정하는 것이 보다 합리적이다.
반대로, 시청자는 수신동영상의 화질이 어느 한도 이하로 열악하면, 즉 EPSNR이 특정값 이하이면(이는 평균자승오차가 특정값 이상에 해당)이면 더 이상의 화질 열화를 인지하지 못하게 된다. 이러한 경향을 반영하기 위해 후처리부(240)는 1차 화질 지수가 특정값 이하인 경우 상기 특정값을 최종 화질 지수의 최소값으로 설정하는 것이 보다 합리적이다.
후처리부(240)는 최종 화질 지수를 1차 화질 지수에 대한 부분적 선형함수(piecewise linear function)를 적용하여 보정할 수도 있다. 예컨대, 경계영역 최대신호대잡음비(ESPNR)가 10~45의 범위에 존재한다고 가정하고, 가로축을 1차 화질 지수로, 세로축을 최종 화질 지수로 잡는다. 이때, 아래 표 1과 같이 가로축의 구간별로 직선의 기울기를 달리하여 최종 화질 지수를 산출할 수 있다. 앞서 기술한 바와 같이 여기서 만일 경계영역 최대신호대잡음비가 45를 초과하면 45로 설정하고 10보다 작으면 10으로 설정할 수 있다.
정의역 치역 기울기
10~20 15~20 0.5
20~37 20~37 1
37~45 37~40 0.375
이는 수신동영상의 화질이 조악해질수록 시청자는 열화를 인지하는 정도가 줄어들고, 화질이 향상될수록 화질향상을 인지하는 정도가 줄어드는 경향을 반영한 것이다.
또한, 화질지수를 보정하는 방법으로 다음과 같은 방법을 사용하는 것이 가능하다.
먼저 선택된 모든 경계화소에 소벨(Sobel) 연산자를 가로축으로 적용하여 H(i,j,t)를 구하고 세로축으로 적용하여 V(i,j,t)를 구한다. 그리고 다음과 같이 R(i,j,t)와 HV(i,j,t)를 구한다. 여기서 i, j는 공간좌표 인덱스, t는 시간좌표 인덱스이다.
Figure 112008026481069-pat00014
여기서 rmin과 Δθ는 다른 값을 사용할 수 있음은 물론이다. 이와 같은 과정을 원동영상에서 구한 모든 경계화소에 적용하여 HVs(j)를 구한다(j는 경계화소 인덱스). 또한, 정합 후 수신동영상의 경계화소에 해당하는 모든 화소에 동일한 과정을 적용하여 HVh(j)를 구한다. 그 후 다음과 같이 블록킹 지수를 계산할 수 있다.
Figure 112008026481069-pat00015
for HVh(i) > HVs(i)
여기서 n은 전체 경계화소수이다.
또한, 블러링 지수의 또 다른 방법으로 다음 식을 사용할 수 있다.
Figure 112008026481069-pat00016
이와 같이 BLK1과 BLR1을 구한 후 화질지수를 다음과 같이 보정할 수 있다.
보정된 화질지수 = 화질지수 + w1 × BLK1 + w2 × BLR1
또한, 매초당 프레임 수를 낮추어 부호화하거나 전송에러로 인하여 정지 프레임이 발생하는 경우 체감품질이 저하하게 된다. 이러한 체감품질 저하를 반영하기 위하여 다음과 같이 전체 정지 프레임수와 최대 정지 프레임수를 계산한다.
Figure 112008026481069-pat00017
여기서, MSEfreezed _ frame _ considerd는 정지프레임을 고려한 전체평균자승오차, MSE는 전체평균자승오차, Ntotal _ frame는 전체 프레임 수, Ntotal _ freezed _ frame는 전체 정지프레임 수, K는 임의의 상수이다.
또한, 전체 정지프레임 수가 특정 문턱치를 초과하면 화질지수가 특정값을 초과하지 못하도록 하게 할 수 있다. 마찬가지로 최대 정지프레임 수가 특정 문턱치를 초과하면 화질지수가 특정값을 초과하지 못하도록 하게 할 수 있다.
도 12는 본 발명의 일 실시예에 따른 동영상 화질평가 방법의 흐름도이고, 도 13은 도 12 중 경계영역 검출 단계의 일례를 도시한 흐름도이다.
도 12를 참조하면, 본 발명의 일 실시예에 따른 동영상 화질평가 방법은 경계영역 검출단계(S10), 경계영역 화소 선택 단계(S20), 부호화 및 송신 단계(S30), 복호화 단계(S40), 정합 단계(S50), 경계영역 평균자승에러 산출 단계(S60), 경계 영역 최대신호잡음비 산출 단계(S70), 및 후처리 단계(S80)를 포함하여 이루어진다.
단계 S10은 송신하고자 하는 원동영상으로부터 경계영역을 검출하는 단계이다. 단계 S10은 원동영상의 각 프레임 또는 필드의 외곽 일정 부분을 제거하는 단계(S11)와, 외곽 일정 부분이 제거된 원동영상의 경계영역을 검출하는 단계(S12)와, 경계영역 영상을 블록으로 분할하는 단계(S13), 및 분할된 블록 중 동질영역의 평균화소값을 계산하여 게인 및 오프셋용 특징을 추출하는 단계(S14)를 포함할 수 있다.
단계 S20은 검출된 경계영역에서 주어진 비트율이 허용하는 만큼의 경계영역 화소를 선택하는 단계이다. 이때, 경계영역 화소 대신 경계영역 화소에 가우시안 저역통과필터를 적용한 후 구한 값을 사용할 수 있다. 게인 및 오프셋용 특징을 사용하면 이를 고려하여 선택되는 경계영역 화소의 수를 결정하여야 한다.
단계 S30은 경계영역 화소정보와 원동영상을 부호화하여 네트워크를 통하여 송신하는 단계이다. 게인 및 오프셋용 특징을 사용한다면 이를 부호화하여 전송함은 물론이다.
단계 S40은 네트워크를 통해 수신한 경계영역 화소데이터와 압축동영상데이터를 복호화하는 단계이다.
단계 S50은 수신동영상과 복호화된 경계영역 화소를 시공간상에서 정합하고 게인과 오프셋을 보정하는 단계이다. 단계 S50은 수신된 게인 및 오프셋용 특징을 이용하여 게인과 오프셋을 추정하고 보정하는 단계를 더 포함할 수 있다.
또한, 단계 S50은 수신동영상과 경계영역 화소를 시간축 상에서 정합시, 인접한 수신동영상의 복수개의 프레임을 하나의 그룹으로 설정한 윈도우(window) 단위로 수행할 수 있다.
또한, 단계 S50은 수신동영상의 윈도우를 원동영상에서 추출한 경계영역 화소의 시간축 프레임 상으로 이동하여 화소간 차이가 최소인 시간 이동값을 검색할 수 있다.
또한, 단계 S50은 수신동영상에서 동일한 프레임이 반복되어 나타나는 경우 각 반복 단위의 최소 프레임에 대해서만 정합을 수행할 수 있다.
또한, 단계 S50은 원동영상이 비월주사 신호인 경우, 경계영역 화소를 짝수 필드와 홀수 필드로 분리하여 시공간축상 정합을 수행할 수 있다.
또한, 단계 S50에서 원동영상의 경계영역 화소 대신에 경계영역 화소에 가우시안 저역통과필터를 적용한 후 구한 값을 전송받는 경우, 먼저 수신동영상에 동일한 저역통과필터를 적용한 후 정합을 수행할 수 있다.
단계 S60은 정합된 경계영역 화소와 수신동영상 간의 화소간 차이를 구하여 경계영역 평균자승에러를 산출하는 단계이고, 단계 S70은 평균자승에러를 이용하여 경계영역 최대신호잡음비를 산출하는 단계이다.
또한 원동영상의 시간축상 프레임간 화소값 차이 또는 공간주파수의 고주파 성분값이 특정값 이상인 경우 또는 이들 모두가 특정값 이상인 경우, 단계 S70에 의해 산출된 1차 화질 지수를 상향 조정하여 최종 화질 지수를 산출할 수 있다.
또한, 수신동영상의 블록킹 정도를 수치화한 블록킹 지수가 특정값을 초과하 는 경우, 단계 S70에 의해 산출된 1차 화질 지수를 하향 조정하여 최종 화질 지수를 산출할 수 있다.
또한, 단계 S70에 의해 산출된 1차 화질 지수가 제1 특정값 이상인 경우 제1 특정값을 최종 화질 지수의 최대값으로 설정하고, 제2 특정값 이하인 경우 제2 특정값을 최종 화질 지수의 최소값으로 설정할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 동영상 화질평가 시스템과 그 방법에 관한 것으로, 휴대폰, IPTV 단말기, 계측장비 등의 분야에 광범위하게 적용될 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 동영상 화질평가 시스템의 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 동영상 송신장치의 블록도,
도 3은 본 발명의 바람직한 실시예에 따른 동영상 수신장치의 블록도,
도 4a는 원동영상으로부터 경계영역을 검출하는 일례를 도시한 도면,
도 4b는 검출된 경계영역으로부터 경계영역 화소를 선택하는 일례를 도시한 도면,
도 4c는 경계영역 화소와 수신동영상을 시공간상에서 정합하는 일례를 도시한 도면,
도 5는 본 발명의 일 실시예에 따른 경계영역 검출부의 블록도,
도 6a는 원동영상의 각 프레임 또는 필드의 외곽 일정 부분을 제거하는 방법의 일례를 설명하기 위한 도면,
도 6b는 경계영역 영상을 블록으로 분할하고, 동질영역을 설정하는 과정을 설명하기 위한 도면,
도 7은 수신측에서 게인과 오프셋을 추정하는 과정을 도시한 흐름도,
도 8은 6개의 프레임(또는 필드) 단위로 게인과 오프셋을 추정하는 일례를 설명하기 위한 도면,
도 9a는 경계영역 화소데이터를 낮은 비트율로 전송하는 경우 시공간 정합 과정에서 발생할 수 있는 문제점을 설명하기 위한 도면,
도 9b는 윈도우 단위로 이루어지는 시간축 상의 정합을 설명하기 위한 도면,
도 10a는 동영상 데이터를 낮은 비트율로 전송하는 경우 수신동영상에 동일한 프레임이 반복되어 나타나는 문제점을 설명하기 위한 도면,
도 10b는 프레임 반복을 고려하여 이루어지는 시간축 상의 정합을 설명하기 위한 도면,
도 10c는 프레임 반복을 고려하여 이루어지는 시간축 상의 정합을 설명하기 위한 도면,
도 10d는 윈도우 단위로 프레임 반복을 고려하여 이루어지는 시간축 상의 정합을 설명하기 위한 도면,
도 11a는 전송에러로 인하여 프레임이 손실되는 경우의 문제점을 설명하기 위한 도면,
도 11b는 프레임 손실을 고려하여 이루어지는 시간축 상의 정합을 설명하기 위한 도면,
도 12는 본 발명의 일 실시예에 따른 동영상 화질평가 방법의 흐름도,
도 13은 도 12 중 경계영역 검출 단계의 일례를 도시한 흐름도,
도 14는 원동영상이 비월주사 신호인 경우의 정합을 설명하기 위한 도면,
도 15는 원동영상에서 경계영역 화소를 중심으로 저역통과필터를 적용하여 구한 값을 경계영역 화소 대신 사용하는 방법을 설명하기 위한 도면,
도 16은 프레임을 여러 개의 구간으로 나누고 구간별로 인접 프레임간의 차이를 구하는 방법을 설명하기 위한 도면,
도 17은 고주파 지수를 계산하는 일례를 설명하기 위한 도면,
도 18은 낮은 비트율로 동영상을 압축시 감소비율이 정수가 아닐 경우 윈도우를 사용한 정합 방법을 설명하기 위한 도면,
도 19는 윈도우를 사용하여 정합시, 수신동영상 프레임에 대응하는 원동영상 프레임 전후의 프레임과 추가로 국부 정합을 수행하는 방법을 설명하기 위한 도면,
도 20은 다양한 크기의 윈도우를 사용하여 정합한 후 이들 결과 중 평균자승오차값이 최소로 하는 시간축 이동값을 선택하는 방법을 설명하기 위한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
10 - 네트워크 100 - 동영상 송신장치
110 - 영상 입력부 120 - 경계영역 검출부
121 - 외곽 제거부 122 - 경계 추출부
123 - 블록 분할부 124 - 특징값 출력부
130 - 경계영역 화소 선택부 140 - 부호화부
150 - 통신부 200 - 동영상 수신장치
210 - 복호화부 220 - 정합부
230 - 화질평가부 240 - 후처리부

Claims (50)

  1. 동영상의 화질을 평가하기 위한 시스템으로서,
    송신하고자 하는 원동영상으로부터 경계영역을 검출하고 검출된 경계영역에서 주어진 비트율이 허용하는 만큼의 경계영역 화소를 선택한 후 상기 경계영역 화소를 저장하여 추후에 화질 측정에 사용하거나, 상기 경계영역 화소의 화소값과 위치정보를 부호화하여 부호화된 경계영역 화소데이터와 압축동영상데이터를 네트워크를 통하여 송신하는 동영상 송신장치; 및
    상기 네트워크를 통해 수신한 상기 경계영역 화소데이터와 압축동영상데이터를 복호화하고 시공간상에서 정합하고 게인(gain)과 오프셋(offset)을 보정한 후 화소간의 차이를 구하여 평균자승오차와 최대신호대잡음비를 산출함으로써 수신동영상의 화질평가를 수행하는 동영상 수신장치
    를 포함하는 것을 특징으로 하는 동영상 화질평가 시스템.
  2. 동영상 수신장치에서의 화질 평가가 가능하도록 하는 동영상 송신장치에 있어서, 상기 동영상 송신장치는
    상기 동영상 수신장치로 전송할 원동영상으로부터 경계영역을 검출하는 경계영역 검출부;
    검출된 경계영역에서 경계영역 화소를 선택하는 경계영역 화소 선택부;
    상기 원동영상과 경계영역 화소의 화소값 및 위치정보를 부호화하여 경계영 역 화소데이터를 출력하는 부호화부; 및
    상기 경계영역 화소데이터와 압축동영상데이터를 네트워크를 통하여 송신하는 통신부
    를 포함하는 것을 특징으로 하는 동영상 송신장치.
  3. 제2항에 있어서,
    상기 동영상 송신장치는 상기 원동영상의 공간주파수의 주파수 성분값을 계산하여 이를 부호화하여 송신하는 것을 특징으로 하는 동영상 송신장치.
  4. 제2항에 있어서,
    상기 동영상 송신장치는 상기 원동영상의 프레임 차이값을 계산하여 이를 부호화하여 송신하는 것을 특징으로 하는 동영상 송신장치.
  5. 제2항에 있어서,
    상기 경계영역 화소 선택부는 상기 원동영상에 구배 연산자를 적용하여 얻은 구배 동영상의 화소값을 기준으로 화소값이 큰 순서대로 이에 대응하는 원동영상 화소를 순차적으로 선택하거나, 상기 구배 동영상의 화소값이 문턱치 이상인 화소에 대응하는 상기 원동영상 화소들 중에서 무작위로 추출하는 것을 특징으로 하는 동영상 송신장치.
  6. 제2항에 있어서,
    상기 경계영역 화소 선택부는 이전 프레임에서 선택된 화소와 동일한 위치에 존재하는 화소는 제외하는 것을 특징으로 하는 동영상 송신장치.
  7. 제2항에 있어서, 상기 경계영역 검출부는
    상기 원동영상의 각 프레임 또는 필드의 외곽 일정 부분을 제거하는 외곽 제거부와, 상기 외곽 제거부에 의해 외곽 일정 부분이 제거된 원동영상의 경계영역을 검출하는 경계 추출부와, 경계영역 영상을 블록으로 분할하는 블록 분할부와, 분할된 블록 중 동질영역(homogeneous region)의 평균 화소값을 계산하여 게인 및 오프셋 추정용 특징을 추출하여 출력하는 특징값 출력부를 포함하는 것을 특징으로 하는 동영상 송신장치.
  8. 제2항에 있어서,
    상기 경계영역 화소 선택부는 상기 경계영역 화소를 중심으로 가우시안 저역통과필터(Gaussian Low Pass Filter)를 포함하는 저역통과필터를 적용하여 구한 값을 출력하는 것을 특징으로 하는 동영상 송신장치.
  9. 네트워크를 통하여 동영상 송신장치로부터 압축동영상 데이터와 경계영역 화소데이터를 수신하여 화질 평가를 수행하는 동영상 수신장치로서,
    상기 네트워크를 통해 수신한 상기 경계영역 화소데이터와 압축동영상데이터 을 복호화하는 복호화부;
    상기 복호화부에서 각각 복호화된 경계영역 화소와 수신동영상을 시공간상에서 정합하는 정합부; 및
    상기 경계영역 화소와 수신동영상의 화소간 차이를 구하여 최대신호대잡음비를 산출하는 화질평가부
    를 포함하는 것을 특징으로 하는 동영상 수신장치.
  10. 제9항에 있어서,
    상기 정합부는 상기 수신동영상에 대한 게인(gain)과 오프셋(offset)을 추정하여, 추정된 게인과 오프셋 값만큼 상기 수신동영상 또는 상기 경계영역 화소를 보정하는 것을 특징으로 하는 동영상 수신장치.
  11. 제10항에 있어서,
    상기 정합부는 게인 및 오프셋 추정용 특징을 사용하여 복수개의 영상을 단위로 복수개의 게인과 오프셋을 추정한 후 평균값을 취하여 전체 게인 및 오프셋으로 추정하거나, 상기 복수개의 게인과 오프셋에 미디언 필터(median filter)를 적용하여 전체 게인 및 오프셋을 추정하는 것을 특징으로 하는 동영상 수신장치.
  12. 제9항에 있어서,
    상기 정합부는 상기 수신동영상과 상기 경계영역 화소를 시간축 상에서 정합 시, 상기 수신동영상의 인접한 복수개의 프레임을 하나의 그룹으로 설정한 윈도우(window) 단위로 수행하는 것을 특징으로 하는 동영상 수신장치.
  13. 제12항에 있어서,
    상기 정합부는 상기 수신동영상의 윈도우를 상기 경계영역 화소의 시간축 프레임 상으로 이동하여 화소간 차이가 최소인 시간 이동값을 검색하는 것을 특징으로 하는 동영상 수신장치.
  14. 제12항에 있어서,
    상기 정합부는 상기 수신동영상에서 일부 프레임이 손실된 경우, 현재 정합하고자 하는 상기 수신동영상 프레임이 윈도우 내에 상이한 장소에 위치하도록 하여 복수개의 윈도우를 생성하고, 상기 복수개의 윈도우를 상기 경계영역 화소의 시간축 프레임 상으로 이동하여 화소간 차이가 최소인 윈도우와 시간 이동값을 검색하는 것을 특징으로 하는 동영상 수신장치.
  15. 제12항에 있어서,
    상기 정합부는 다양한 크기의 윈도우를 사용하여 정합한 후 윈도우 평균자승오차가 최소인 윈도우와 시간 이동값을 검색하는 것을 특징으로 하는 동영상 수신장치.
  16. 제12항에 있어서,
    상기 정합부는 윈도우 평균자승오차가 최소인 윈도우와 시간 이동값을 검색시, 상기 평균자승오차가 최소인 윈도우에 포함되어 있는 상기 수신동영상 프레임 전후의 프레임과 추가로 국부 정합을 수행하는 것을 특징으로 하는 동영상 수신장치.
  17. 제9항에 있어서,
    상기 정합부는 상기 수신동영상에서 동일한 프레임이 반복되어 나타날 경우 반복 주기에 부합하도록 상기 경계영역 화소와 정합을 수행하는 것을 특징으로 하는 동영상 수신장치.
  18. 제17항에 있어서,
    상기 정합부는 상기 수신동영상 중 각 반복 단위의 최초 프레임에 대해서만 정합을 수행하고 최초 프레임 이후 반복되는 프레임들은 정합 계산에 사용하지 않는 것을 특징으로 하는 동영상 수신장치.
  19. 제9항에 있어서,
    상기 정합부는 상기 수신 동영상이 비월주사(interlaced) 신호인 경우, 상기 경계영역 화소를 짝수 필드(even field)와 홀수 필드(odd field)로 분리하여 시공간축상 정합을 수행하는 것을 특징으로 하는 동영상 수신장치.
  20. 제9항에 있어서,
    상기 동영상 수신장치는 상기 화질평가부를 통해 산출된 1차 화질 지수를 조정하여 최종 화질 지수를 계산하는 후처리부를 더 포함하는 것을 특징으로 하는 동영상 수신장치.
  21. 제20항에 있어서,
    상기 후처리부는 프레임 차이가 특정값 이상인 경우 상기 1차 화질 지수를 상향 조정하여 상기 최종 화질 지수를 산출하는 것을 특징으로 하는 동영상 수신장치.
  22. 제20항에 있어서,
    상기 후처리부는 동영상 공간주파수의 고주파 성분값이 특정값 이상인 경우 상기 1차 화질 지수를 상향 조정하여 상기 최종 화질 지수를 산출하는 것을 특징으로 하는 동영상 수신장치.
  23. 제20항에 있어서,
    상기 후처리부는 상기 수신 동영상의 공간주파수의 고주파 성분값에 대한 상기 수신동영상의 공간주파수의 고주파 성분값의 비율이 특정값 이하이면 상기 최종 화질 지수의 최대값을 설정하는 것을 특징으로 하는 동영상 수신장치.
  24. 제20항에 있어서,
    상기 후처리부는 상기 수신동영상의 블록킹 정도를 수치화한 블록킹 지수가 특정값을 초과하는 경우 상기 1차 화질 지수를 하향 조정하여 상기 최종 화질 지수를 산출하는 것을 특징으로 하는 동영상 수신장치.
  25. 제20항에 있어서,
    상기 후처리부는 상기 1차 화질 지수가 특정값 이상인 경우 상기 특정값을 상기 최종 화질 지수의 최대값으로 설정하는 것을 특징으로 하는 동영상 수신장치.
  26. 제20항에 있어서,
    상기 후처리부는 상기 1차 화질 지수가 특정값 이하인 경우 상기 특정값을 상기 최종 화질 지수의 최소값으로 설정하는 것을 특징으로 하는 동영상 수신장치.
  27. 제20항에 있어서,
    상기 후처리부는 상기 최종 화질 지수를 상기 1차 화질 지수에 대한 부분적 선형함수(piecewise linear function)의 관계로 산출하는 것을 특징으로 하는 동영상 수신장치.
  28. 동영상의 화질을 평가하기 위한 방법으로서,
    (a) 송신하고자 하는 원동영상으로부터 경계영역을 검출하는 단계;
    (b) 검출된 경계영역에서 주어진 비트율이 허용하는 만큼의 경계영역 화소를 선택하는 단계;
    (c) 상기 경계영역 화소의 화소값 및 위치정보를 부호화하여 경계영역 화소데이터를 생성하고 원동영상을 부호화하여 압축동영상데이터를 생성하고, 상기 경계영역 화소데이터와 상기 압축동영상 데이터를 네트워크를 통하여 송신하는 단계;
    (d) 상기 네트워크를 통해 수신한 상기 경계영역 화소데이터와 상기 압축동영상데이터를 복호화하는 단계;
    (e) 복호화된 경계영역 화소와 수신동영상을 시공간상에서 정합하는 단계; 및
    (f) 정합된 경계영역 화소와 수신동영상 간의 화소간 차이를 구하여 최대신호대잡음비를 산출하는 단계
    를 포함하는 것을 특징으로 하는 동영상 화질평가 방법.
  29. 제28항에 있어서,
    상기 (c)단계는 상기 원동영상의 공간주파수의 고주파 성분값을 계산하여 이를 부호화하여 송신하는 것을 특징으로 하는 동영상 화질평가 방법.
  30. 제28항에 있어서,
    상기 (c)단계는 상기 원동영상의 프레임 차이값을 계산하여 부호화하여 송신하는 것을 특징으로 하는 동영상 화질평가 방법.
  31. 제28항에 있어서,
    상기 (b)단계는 상기 원동영상에 구배연산자를 적용하여 얻은 구배동영상의 화소값 기준으로 화소값이 큰 순서대로 이에 대응하는 원동영상 화소를 순차적으로 선택하거나, 상기 구배동영상의 화소값이 문턱치 이상인 화소에 대응하는 상기 원동영상 화소들 중에서 무작위로 추출하는 것을 특징으로 하는 동영상 화질평가 방법.
  32. 제28항에 있어서, 상기 (a)단계는
    (a1) 상기 원동영상의 각 프레임 또는 필드의 외곽 일정 부분을 제거하는 단계;
    (a2) 외곽 일정 부분이 제거된 원동영상의 경계영역을 검출하는 단계;
    (a3) 경계영역 영상을 블록으로 분할하는 단계; 및
    (a4) 분할된 블록 중 동질영역(homogeneous region)의 평균 화소값을 계산하여 게인(gain)과 오프셋(offset) 추정용 특징을 추출하는 단계
    를 포함하는 것을 특징으로 하는 동영상 화질평가 방법.
  33. 제32항에 있어서,
    상기 (e)단계는 상기 게인 및 오프셋 추정용 특징을 사용하여 복수개의 영상을 단위로 복수개의 게인과 오프셋을 추정한 후 평균값을 취하여 전체 게인 및 오프셋으로 추정하거나, 상기 복수개의 게인과 오프셋에 미디언 필터를 적용하여 전체 게인 및 오프셋을 추정하는 것을 특징으로 하는 동영상 화질평가 방법.
  34. 제28항에 있어서,
    상기 (e)단계는 상기 경계영역 화소와 수신동영상을 시간축 상에서 정합시, 상기 수신동영상의 인접한 복수개의 프레임을 하나의 그룹으로 설정한 윈도우(window) 단위로 정합을 수행하는 것을 특징으로 하는 동영상 화질평가 방법.
  35. 제28항에 있어서,
    상기 (e)단계는 상기 경계영역 화소와 수신동영상을 시간축에서 정합시, 상기 수신동영상의 인접한 복수개의 프레임을 하나의 그룹으로 설정한 윈도우 단위로 수행하되, 상기 수신동영상의 정합대상 프레임의 위치가 상기 윈도우 내에서 상이하도록 하여 복수의 윈도우를 생성하여 정합을 수행하는 것을 특징으로 하는 동영상 화질평가 방법.
  36. 제28항에 있어서,
    상기 (e)단계는 상기 수신동영상의 윈도우를 상기 경계영역 화소의 시간축 프레임 상으로 이동하여 화소간 차이가 최소인 시간 이동값을 검색하는 것을 특징으로 하는 동영상 화질평가 방법.
  37. 제34항 내지 제36항 중 어느 한 항에 있어서,
    상기 (e)단계는 다양한 크기의 윈도우를 사용하여 정합한 후 이들 가운데 윈도우 평균자승오차가 최소인 윈도우와 시간 이동값을 검색하는 것을 특징으로 하는 동영상 화질평가 방법.
  38. 제34항 내지 제36항 중 어느 한 항에 있어서,
    상기 (e)단계는 윈도우 평균자승오차가 최소인 윈도우와 시간 이동값을 검색시, 상기 평균자승오차가 최소인 윈도우에 포함되어 있는 상기 수신동영상 프레임에 상응하는 상기 원동영상 프레임의 전후 프레임과 추가로 국부 정합을 수행하는 것을 특징으로 하는 동영상 화질평가 방법.
  39. 제28항에 있어서,
    상기 (e)단계는 상기 수신동영상에서 동일한 프레임이 반복되어 나타나는 경우 각 반복 단위의 최초 프레임에 대해서만 정합을 수행하고 최초 프레임 이후 반복되는 프레임들은 정합 계산에 사용하지 않는 것을 특징으로 하는 동영상 화질평가 방법.
  40. 제28항에 있어서,
    상기 (e)단계는 상기 원동영상이 비월주사(interlaced) 신호인 경우, 상기 경계영역 화소를 짝수 필드(even field)와 홀수 필드(odd field)로 분리하여 시공간축상 정합을 수행하는 것을 특징으로 하는 동영상 화질평가 방법.
  41. 제28항에 있어서,
    상기 (b)단계는 상기 경계영역 화소를 중심으로 가우시안 저역통과필터(Gaussian Low Pass Filter)를 포함하는 저역통과필터를 적용하여 구한 값을 출력하는 것을 특징으로 하는 동영상 화질평가 방법.
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 전송대상 동영상으로부터 경계영역을 검출하는 경계영역 검출부, 검출된 경계영역에서 소정 비트율을 기초로 경계영역 화소를 선택하는 경계영역 화소 선택부 및 선택된 상기 경계영역 화소 및 상기 전송대상 동영상에 대해 부호화를 수행하는 부호화부를 포함하는 동영상 송신장치로부터 출력된 데이터를 수신하는 수신기에 있어서,
    수신된 상기 데이터에 대해 복화화를 수행하여 상기 전송대상 동영상 및 경계영역 화소를 출력하는 복호화부; 및
    상기 전송대상 동영상 및 경계영역 화소를 시공간 상에서 정합하고, 이로부터 화소 간의 차이를 산출하여 경계영역 피크신호대잡음비를 연산하는 화질 평가부를 포함하는 것을 특징으로 하는 동영상 수신장치.
KR1020080034291A 2008-04-14 2008-04-14 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법 KR100933284B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080034291A KR100933284B1 (ko) 2008-04-14 2008-04-14 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080034291A KR100933284B1 (ko) 2008-04-14 2008-04-14 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020090113653A Division KR101316699B1 (ko) 2009-11-24 2009-11-24 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법

Publications (2)

Publication Number Publication Date
KR20090108933A KR20090108933A (ko) 2009-10-19
KR100933284B1 true KR100933284B1 (ko) 2009-12-22

Family

ID=41552283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080034291A KR100933284B1 (ko) 2008-04-14 2008-04-14 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법

Country Status (1)

Country Link
KR (1) KR100933284B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101416265B1 (ko) 2013-02-28 2014-07-09 연세대학교 산학협력단 하이브리드 방식 기반 영상의 화질을 평가하기 위한 장치 및 그 방법
KR101361442B1 (ko) * 2013-12-31 2014-02-13 인하대학교 산학협력단 프레임별 고주파 정보 추출을 활용한 동영상 트랜스코딩 최적화 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970011105A (ko) * 1995-08-29 1997-03-27 배순훈 건조세탁기의 건조방법
JP2003319420A (ja) 2002-04-19 2003-11-07 Nippon Telegr & Teleph Corp <Ntt> 映像コンテンツ配信方法、装置、および映像コンテンツ配信プログラム
KR20040078311A (ko) * 2003-03-03 2004-09-10 에스케이 텔레콤주식회사 동영상 화질 평가장치 및 방법
KR20050105630A (ko) * 2004-04-30 2005-11-04 에스케이 텔레콤주식회사 동영상 화질 평가시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970011105A (ko) * 1995-08-29 1997-03-27 배순훈 건조세탁기의 건조방법
JP2003319420A (ja) 2002-04-19 2003-11-07 Nippon Telegr & Teleph Corp <Ntt> 映像コンテンツ配信方法、装置、および映像コンテンツ配信プログラム
KR20040078311A (ko) * 2003-03-03 2004-09-10 에스케이 텔레콤주식회사 동영상 화질 평가장치 및 방법
KR20050105630A (ko) * 2004-04-30 2005-11-04 에스케이 텔레콤주식회사 동영상 화질 평가시스템 및 방법

Also Published As

Publication number Publication date
KR20090108933A (ko) 2009-10-19

Similar Documents

Publication Publication Date Title
EP1814307B9 (en) Method for detecting the quality of the multimedia communication
US9672636B2 (en) Texture masking for video quality measurement
US20110169963A1 (en) Video alignment and calibration for video quality measurement
KR101316699B1 (ko) 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법
US20150256822A1 (en) Method and Apparatus for Assessing Video Freeze Distortion Degree
EP1659802A1 (en) Method and apparatus for compensating for motion vector errors in image data
US9769501B2 (en) Video quality assessment at a bitstream level
KR100933284B1 (ko) 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법
US10536703B2 (en) Method and apparatus for video quality assessment based on content complexity
EP2736261A1 (en) Method For Assessing The Quality Of A Video Stream
WO2010103112A1 (en) Method and apparatus for video quality measurement without reference
EP2954677B1 (en) Method and apparatus for context-based video quality assessment
US9804924B2 (en) Method and system for recovering an image error using data hiding
KR101471010B1 (ko) 동영상 화질평가 방법 및 시스템
KR101086275B1 (ko) 감소 기준법 기반의 블록 왜곡 측정 방법
Zerman et al. A parametric video quality model based on source and network characteristics
Farrugia et al. Objective video quality metrics for HDTV services: A survey
EP2798846B1 (en) Assessing packet loss visibility in video
KR101024384B1 (ko) 동영상 화질평가 방법 및 시스템
Lee et al. Video calibration for spatial-temporal registration with gain and offset adjustments
Makar et al. Selective freezing of impaired video frames using low-rate shift-invariant hint
WO2013141872A1 (en) Method and system to process a video frame using prior processing decisions
Series Objective perceptual video quality measurement techniques for standard definition digital broadcast television in the presence of a reduced bandwidth reference
KR20120105968A (ko) 비디오 압축 오류 검출 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131001

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151201

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee