KR101471010B1 - 동영상 화질평가 방법 및 시스템 - Google Patents

동영상 화질평가 방법 및 시스템 Download PDF

Info

Publication number
KR101471010B1
KR101471010B1 KR1020100084312A KR20100084312A KR101471010B1 KR 101471010 B1 KR101471010 B1 KR 101471010B1 KR 1020100084312 A KR1020100084312 A KR 1020100084312A KR 20100084312 A KR20100084312 A KR 20100084312A KR 101471010 B1 KR101471010 B1 KR 101471010B1
Authority
KR
South Korea
Prior art keywords
quality evaluation
matching
image
moving picture
pixel
Prior art date
Application number
KR1020100084312A
Other languages
English (en)
Other versions
KR20100102077A (ko
Inventor
이철희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020100084312A priority Critical patent/KR101471010B1/ko
Publication of KR20100102077A publication Critical patent/KR20100102077A/ko
Application granted granted Critical
Publication of KR101471010B1 publication Critical patent/KR101471010B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/58—Random or pseudo-random number generators
    • G06F7/588—Random number generators, i.e. based on natural stochastic processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

동영상 화질평가 방법 및 시스템이 개시된다. 본 발명에 따른 동영상 화질평가 방법은, 원동영상을 부호화하여 부호화된 동영상을 생성하는 단계; 상기 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성하는 단계; 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하는 단계; 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하는 단계; 및 상기 부호화된 동영상과 상기 정합용 특징 및 상기 화질평가용 특징을 부호화하여 네트워크를 통해 송신하는 단계를 포함하는 것을 특징으로 한다. 본 발명에 의하면 화질평가를 위한 원동영상과 전송된 동영상의 정합을 보다 신속하고 정확하게 수행할 수 있다.

Description

동영상 화질평가 방법 및 시스템{Method and system for video quality measurement}
본 발명은 동영상 화질평가 방법 및 시스템에 관한 것으로서, 보다 상세하게는 화질평가를 위한 원동영상과 전송된 동영상의 정합을 보다 신속하고 정확하게 수행할 수 있는 동영상 화질평가 방법 및 시스템에 관한 것이다.
동영상 코덱의 성능을 검증하고 새로운 압축 기법을 개발함에 있어 동영상에 대한 화질을 평가하는 것은 매우 중요하다. 또한 IPTV와 같이 통신망을 사용하여 멀티미디어 데이터가 전송될 때, 품질열화가 발생할 수 있으며 이를 모니터링하는 것은 중요한 문제로 부각되고 있다.
일반적으로 동영상에 대한 품질 평가는 동영상의 품질을 평가하는 평가자들에 의해 주관적으로 이루어진다. 이러한 평가방법은 인간의 지각력을 반영하는 것으로, 평가시 다수의 평가자가 요구되고 시간과 비용의 측면에 있어 비효율적이라는 문제점이 있다.
이러한 문제점을 해결하기 위해 본 출원인은 "동영상 화질평가장치 및 방법"을 출원한 바 있다(등록특허 제0525467호). 상기 특허는 소스 동영상 시퀀스의 영상과 평가대상 동영상 시퀀스 영상 사이의 외곽선 영역의 화소값 차이를 이용하여 동영상의 화질을 평가함으로써, 평가시간을 단축하고 실시간으로 평가를 수행할 수 있도록 하였다.
코덱에 의해 인코딩 및 디코딩되는 과정(encoding, decoding)과 전송 과정(transmission)에서 원동영상은 시공간적인 정렬이 어긋나는 경우가 발생할 수 있다(spatial and temporal shift). 특히 부호화 과정 및 전송 매체를 통해 동영상 데이터가 전송되는 과정에서 프레임의 x축 상의 이동(Δx)과 y축 상의 이동(Δy) 및 시간축 상의 이동(Δt)이 발생할 수 있다. 또한, 동일한 프레임이 반복되어 나타나거나 일부 프레임이 손실되는 경우가 나타날 수 있다. 특히, 낮은 비트율로 전송하는 경우 부호화기에서는 초당 프레임 수를 감소시킨 후 부호화할 수 있으므로, 수신측에서 동일한 프레임이 주기적으로 반복될 수 있다. 또한, 전송에러로 인하여 정지프레임이 발생할 수도 있다.
시공간 정합(registration)은 이와 같은 변형을 검출하여 그 변형이 최소화되는 위치에 영상을 정확히 일치시키는 것을 일컬으며 공간 정합(spatial registration) 뿐만 아니라 시간 축을 따라서도 정합(temporal registration)을 해야 할 필요가 있다. 특히 객관적인 화질평가에 있어서 화질평가 결과는 영상 정합의 여부와 정도에 따라 큰 차이를 보인다. 화질평가 수치는 처리된 영상과 원본 영상의 차이로부터 얻어지므로 두 영상 간의 정합은 필수적이라 하겠다.
본 발명이 이루고자 하는 기술적 과제는 화질평가를 위한 원동영상과 전송된 동영상의 정합을 보다 신속하고 정확하게 수행할 수 있는 동영상 화질평가 시스템 및 방법을 제공하는 데 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른, 동영상 수신장치에서의 화질평가가 가능하도록 하는 동영상 송신장치는, 상기 동영상 수신장치로 전송할 원동영상을 부호화하여 부호화된 동영상을 생성하는 제1 부호화부; 상기 제1 부호화부의 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성하는 복호화부; 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하는 정합용 특징추출부; 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하는 화질평가용 특징추출부; 및 상기 화질평가용 특징과 상기 정합용 특징을 부호화하는 제2 부호화부를 포함하는 것을 특징으로 한다.
여기서, 상기 정합용 특징추출부는, 상기 복호화된 동영상으로부터 경계영역을 검출하는 경계영역 검출부; 및 상기 검출된 경계영역의 화소의 화소값 및 위치정보를 상기 정합용 특징으로 추출하는 화소선택부를 포함할 수 있다.
또는, 상기 정합용 특징추출부는, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하는 난수 생성부; 및 상기 생성된 난수에 따라 선택되는 화소들의 화소값 및 난수발생용 시드값을 상기 정합용 특징으로 추출하는 화소 선택부를 포함할 수 있다.
또는, 상기 정합용 특징추출부는, 상기 복호화된 동영상의 각 프레임에서의 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출할 수 있다.
또는, 상기 정합용 특징추출부는, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하고, 상기 생성된 난수에 따라 선택되는 화소들의 화소값들의 합 또는 화소값의 제곱들의 합과 난수 발생용 시드값을 상기 정합용 특징으로 추출할 수 있다.
또는, 상기 정합용 특징추출부는, 상기 복호화된 동영상의 프레임 내에서 임의의 영역에 속한 화소들을 선택하고, 상기 선택된 화소들의 화소값들을 이용하여 상기 정합용 특징을 추출할 수 있다. 이때, 상기 선택된 화소들의 화소값의 평균, 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출할 수 있다.
또는, 상기 정합용 특징추출부는, 상기 복호화된 동영상의 인접한 프레임 간의 각 화소에서의 화소값의 차이를 이용하여 상기 정합용 특징을 추출할 수 있다. 이때, 상기 인접한 프레임 간의 각 화소에서의 화소값의 차이의 합을 상기 정합용 특징으로 추출할 수 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른, 동영상 화질평가 시스템은, 원동영상을 부호화하여 부호화된 동영상을 생성하며, 상기 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성한 후 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하여 부호화하고, 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하여 부호화하고, 상기 부호화된 화질평가용 특징과 상기 부호화된 정합용 특징을 네트워크를 통하여 송신하는 동영상 송신장치; 및 상기 동영상 송신장치로부터 상기 네트워크를 통해 수신한 동영상을 상기 정합용 특징을 이용하여 정합하고 상기 정합된 동영상에 대하여 상기 화질평가용 특징을 이용하여 화질평가를 수행하는 동영상 수신장치를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 동영상 화질평가 시스템은, 동영상 송신장치에서 원동영상을 부호화하여 부호화된 동영상을 생성하고 상기 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성한 후 상기 복호화된 동영상으로부터 화질평가를 위한 정합을 위해 추출된 정합용 특징으로 이용하여 네트워크를 통해 수신한 동영상을 정합하고 상기 정합된 동영상에 대하여 화질평가용 특징을 이용하여 화질평가를 수행하는 동영상 수신장치를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른, 동영상 화질평가 방법은, (a) 원동영상을 부호화하여 부호화된 동영상을 생성하는 단계; (b) 상기 (a) 단계에서의 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성하는 단계; (c) 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하는 단계; (d) 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하는 단계; 및 (e) 상기 부호화된 동영상과 상기 정합용 특징 및 상기 화질평가용 특징을 부호화하여 네트워크를 통해 송신하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 (c) 단계는, 상기 복호화된 동영상으로부터 경계영역을 검출하고, 상기 검출된 경계영역의 화소의 화소값 및 위치정보를 상기 정합용 특징으로 추출할 수 있다.
또는, 상기 (c) 단계는, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하고, 상기 생성된 난수에 따라 선택되는 화소들의 화소값 및 난수 발생용 시드값을 상기 정합용 특징으로 추출할 수 있다.
또는, 상기 (c) 단계는, 상기 복호화된 동영상의 각 프레임에서의 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출할 수 있다.
또는, 상기 (c) 단계는, 상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하고, 상기 생성된 난수에 따라 선택되는 화소들의 화소값들의 합 또는 화소값의 제곱들의 합과 난수 발생용 시드값을 상기 정합용 특징으로 추출할 수 있다.
또는, 상기 (c) 단계는, 상기 복호화된 동영상의 프레임 내에서 임의의 영역에 속한 화소들을 선택하고, 상기 선택된 화소들의 화소값들을 이용하여 상기 정합용 특징을 추출할 수 있다. 이때, 상기 선택된 화소들의 화소값의 평균, 화소값들의 합 또는 화소값의 제곱들의 합을 상기 정합용 특징으로 추출할 수 있다.
또는, 상기 (c) 단계는, 상기 복호화된 동영상의 인접한 프레임 간의 각 화소에서의 화소값의 차이를 이용하여 상기 정합용 특징을 추출할 수 있다. 이때. 상기 인접한 프레임 간의 각 화소에서의 화소값의 차이의 합을 상기 정합용 특징으로 추출할 수 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 동영상 화질평가 방법은, (a) 동영상 송신장치에서 원동영상을 부호화하여 부호화된 동영상을 생성하고 상기 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성한 후 상기 복호화된 동영상으로부터 화질평가를 위한 정합을 위해 추출된 정합용 특징을 이용하여 네트워크를 통해 수신한 동영상을 정합하는 단계; 및 (b) 상기 정합된 동영상에 대하여 화질평가용 특징을 이용하여 화질평가를 수행하는 단계를 포함하는 것을 특징으로 한다.
상기된 본 발명에 의하면, 화질평가를 위한 원동영상과 전송된 동영상의 정합을 보다 신속하고 정확하게 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 화질평가 시스템의 구성을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 동영상 송신장치의 구성을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 동영상 수신장치의 구성을 나타낸다.
도 4는 정합용 특징추출부(140)의 일 실시예를 나타낸 구성이다.
도 5a는 동영상으로부터 경계영역을 검출하는 일례를 도시한 도면이다.
도 5b는 검출된 경계영역으로부터 경계영역 화소를 선택하는 일례를 도시한 도면이다.
도 5c는 정합부(230)가 경계영역 화소를 이용하여 수신동영상을 시공간상에서 정합하는 일례를 도시한 도면이다.
도 6은 정합용 특징추출부(140)의 다른 일 실시예를 나타낸 구성이다.
도 7은 정합용 특징추출부(140)의 또 다른 실시예를 나타낸 구성이다.
도 8은 정합용 특징추출부(140)의 또 다른 실시예를 나타낸 구성이다.
도 9는 각 프레임에 특정 패턴을 가지는 블록이 정의되는 모습의 예를 나타낸다.
도 10은 정합용 특징추출부(140)의 또 다른 실시예를 나타낸 구성이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
일반적으로 시공간 정합에는 많은 연산을 필요로 하며, 원동영상을 부호화하게 되면 모든 화소값이 변환되어 시공간 상에서 정합 오류가 발생할 수 있다. 본 발명에서는 이러한 문제를 해결하기 위하여 송신측에서 압축동영상데이터(부호화된 동영상)를 복호화하고, 복호화된 동영상데이터로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출한 뒤 수신측에서 이 정합용 특징을 이용하여 시공간 정합을 수행한다.
도 1은 본 발명의 일 실시예에 따른 동영상 화질평가 시스템의 구성을 나타낸다. 본 실시예에 따른 동영상 화질평가 시스템은, 동영상을 송신하는 주체인 동영상 송신장치(100)와, 동영상 송신장치(100)가 송신하는 동영상을 소정의 네트워크(10)를 경유하여 수신하는 클라이언트인 동영상 수신장치(200)를 포함한다. 이때, 네트워크(10)는 무선 및 유선 통신망을 모두 포함한다. 또한, 동영상 수신장치(200)는 사용자의 이동통신 단말기가 될 수 있다. 이하에서는 송신하고자 하는 동영상을 '원동영상', 원동영상을 부호화한 것을 '압축동영상데이터', 수신장치에서 압축동영상데이터를 복호화한 것을 '수신동영상'이라 칭하기로 한다. 전송과정에서 압축동영상데이터에 에러가 발생할 수 있고, 이 경우 수신동영상은 전송에러로 인한 열화를 포함하게 된다. 또한, 본 발명에서는 프레임 단위를 가정하고 기술하고 있으나, 비월주사(interlaced) 신호인 경우에는 필드(field) 단위로 적용될 수 있다.
동영상 송신장치(100)는 원동영상을 부호화하여 압축동영상데이터를 생성하며, 부호화 방식에 상응하는 복호화 방식으로 상기 압축동영상데이터를 복호화하여 복호화된 동영상을 생성한 후 상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하고 부호화하여 정합특징데이터를 생성하고, 상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하고 부호화하여 화질평가데이터를 생성하고, 압축동영상데이터, 정합특징데이터, 및 화질평가데이터를 네트워크(10)를 통하여 송신한다. 이 때 정합용 특징의 시공간상의 위치와 화질평가용 특징의 시공간상의 위치에 대한 정보도 함께 전송되어야 함은 물론이다. 이는 프레임 또는 필드 인덱스를 사용하여 쉽게 구현할 수 있다. 예로 한 프레임 또는 필드에서 정합용 특징과 화질평가용 특징을 추출한 후 이들을 함께 부호화하여 전송하여 이 들이 동일 프레임 또는 필드에서 추출되었음을 수신측에 알릴 수 있다.
동영상 수신장치(200)는 네트워크(10)를 통해 수신한 압축동영상데이터, 화질평가데이터 및 정합특징데이터를 각각 복호화하고, 정합특징데이터를 복호화한 결과 얻어지는 정합용 특징을 이용하여 수신동영상을 시공간상에서 정합한 후, 화질평가데이터를 복호화한 결과 얻어지는 화질평가용 특징을 이용하여 수신동영상의 화질평가를 수행한다. 여기서 화질평가 방법은 등록특허 제0525467호에 기술한 바와 같이 경계영역 화소를 이용할 수 있다. 즉, 먼저 화질평가를 위해 경계영역에서 일정 수의 화소를 선택하고 이 화소값과 위치정보를 부호화하여 수신측으로 전송한다. 수신측에서는 이를 복호화하여 이 경계영역 화소에 대응하는 수신동영상 화소와의 자승오차의 합계를 구하고 이를 전체 경계영역 화소수로 나누어 화소당 평균자승오차를 구하고 이를 이용하여 화질지수를 계산할 수 있다.
도 2는 본 발명의 일 실시예에 따른 동영상 송신장치의 구성을 나타낸다.
도 2를 참조하면, 본 실시예에 따른 동영상 송신장치(100)는 원동영상(소스 비디오)을 입력하기 위한 영상입력부(110), 영상입력부(110)로부터 입력되는 원동영상을 부호화하여 압축동영상데이터를 출력하는 제1 부호화부(120), 제1 부호화부(120)의 부호화 방식에 상응하는 복호화 방식으로 압축동영상데이터를 복호화하는 복호화부(130), 복호화부(130)에서 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하는 정합용 특징추출부(140), 원동영상으로부터 화질평가에 이용될 화질평가용 특징을 추출하는 화질평가용 특징추출부(150), 정합용 특징추출부(140)로부터의 정합용 특징과 화질평가용 특징추출부(150)로부터의 화질평가용 특징을 각각 부호화하여 정합특징데이터와 화질평가데이터를 출력하는 제2 부호화부(160), 그리고 압축동영상데이터와 정합특징데이터와 화질평가데이터를 네트워크(10)를 통해 전송하는 통신부(170)를 포함하여 이루어진다. 여기서, 제2 부호화부(160)는 내부적으로 정합용 특징추출부(140)로부터의 정합용 특징을 부호화하는 부호화부와 화질평가용 특징추출부(150)로부터의 화질평가용 특징을 부호화하는 부호화부로 따로 구성할 수 있다.
영상입력부(110)는 외부 장치로부터 동영상을 입력받는 입력장치 혹은 영상이 미리 저장된 소정의 저장장치일 수 있다. 또한, 원동영상은 컨텐츠 제공업자에 의해 부호화되어 제공될 수도 있다.
화질평가에 이용되는 화질평가데이터와 정합에 이용되는 정합특징데이터의 전송에는 오류가 발생하지 말아야 하므로 특수한 부호화 기법을 사용하는 것도 가능하다. 또한, 부호화된 압축동영상데이터와 정합특징데이터 및 화질평가데이터에 동시에 오류가 발생하는 것은 피하는 것이 바람직하다. 따라서, 압축동영상데이터와 정합특징데이터 및 화질평가데이터는 다른 채널을 사용하여 전송하는 것이 바람직하다. 일례로, 압축동영상데이터와 정합특징데이터 및 화질평가데이터는 서로 다른 패킷을 사용하여 전송할 수 있고, 시간차를 두어 전송할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 동영상 수신장치의 구성을 나타낸다.
도 3을 참조하면, 본 실시예에 따른 동영상 수신장치(200)는 네트워크를 통해 수신된 압축동영상데이터를 복호화하는 제1 복호화부(210), 네트워크를 통해 수신된 정합특징데이터와 화질평가데이터를 각각 복호화하는 제2 복호화부(220), 제2 복호화부(220)에서 복호화된 정합용 특징을 이용하여 수신동영상을 시공간상에서 정합하는 정합부(230), 및 시공간상에서 정합된 수신동영상에 대하여 제2 복호화부(220)에서 복호화된 화질평가용 특징을 이용하여 화질평가를 수행하는 화질평가부(240)를 포함하여 이루어진다. 제2 복호화부(220)는 내부적으로 정합특징데이터를 복호화하는 복호화부와 화질평가데이터를 복호화하는 복호화부로 나뉘어져 구성될 수 있다.
일 실시예에서, 정합용 특징추출부(140)는 프레임 내의 다수 개의 화소들을 선택하고, 선택된 화소들의 화소값 및 위치 정보를 정합용 특징으로 추출할 수 있다. 이 경우, 정합부(230)에서 수행되는 시공간상에서의 정합은 다음과 같이 모델링할 수 있다.
[수학식 1]
O(t+Δt, x+Δx, y+Δy) = I(t, x, y)
I(t, x, y)는 원동영상의 t번째 프레임의 (x, y) 지점의 화소에서의 화소값, O(t, x, y)는 수신동영상의 t번째 프레임의 (x, y) 지점의 화소에서의 화소값, Δx는 공간좌표 x축 상의 이동, Δy는 공간좌표 y축 상의 이동, Δt는 시간축 상의 이동을 나타낸다. 여기서 x는 프레임의 가로축, y는 세로축을 의미한다. 시공간상에서의 정합은 Δx, Δy, Δt를 주어진 한도 안에서 변경하면서 다음과 같은 평균자승오차를 최소화하는 Δx, Δy, Δt 값들을 시공간상에서 정합 결과(x, y, t축으로의 이동값)로 구할 수 있다.
[수학식 2]
Figure 112010056137973-pat00001
여기서, N은 정합용 화소의 개수를, j는 선택된 각 화소의 인덱스를 나타낸다.
도 4는 정합용 특징추출부(140)의 일 실시예를 나타낸 구성이다. 본 실시예에 따른 정합용 특징추출부(140)는 복호화부(130)로부터의 동영상으로부터 경계영역을 검출하는 경계영역 검출부(410)와, 검출된 경계영역의 화소의 화소값 및 위치정보를 추출하는 경계영역 화소 선택부(420)를 포함하여 이루어진다.
본 실시예에 따른 정합용 특징추출부(140)는 프레임 내의 다수 개의 화소들의 화소값 및 위치 정보를 추출하는 형태이다. 또한, 화질평가용 특징추출부(150) 역시 원동영상의 경계영역으로부터 화질평가에 이용될 화소의 화소값 및 위치정보를 추출할 수 있는 점에서 본 실시예에 따른 정합용 특징추출부(140)와 동일한 구성 및 동작을 가질 수 있다. 다만, 화질평가용 특징추출부(150)가 화질평가에 이용될 화질평가용 특징을 선택하는 기법은 본 실시예 이외에도 다양한 기법이 적용될 수 있음은 물론이다.
도 5a는 동영상으로부터 경계영역을 검출하는 일례를 도시한 도면이다.
본 실시예에서는 경계영역을 검출하기 위해 동영상에 외곽선 검출 알고리즘(Edge Detection Algorithm)을 적용한다. 외곽선 검출 알고리즘으로는 기존에 제안된 알고리즘의 하나를 사용할 수 있으며, 일례로 구배 연산자(Gradient Operator)를 이용할 수 있다.
경계영역 검출부(410)는 수직 구배 연산자와 수평 구배 연산자를 이용하여 각각 수직 구배 영상과 수평 구배 영상을 생성한다. 그리고, 생성된 수직 구배 영상과 수평 구배 영상에 절대값 연산을 수행하여 수직 및 수평 구배 영상을 생성한다. 이러한 수직 및 수평 구배 영상에 문턱값 연산을 적용하여 화소값의 크기가 소정치 이상인 것을 추출함으로써 경계영역을 생성한다. 경계영역을 검출하여 경계영역 화소를 추출하는 방법은 대한민국 특허 제0525467호에 상세하게 기재되어 있으므로, 이에 대한 상세한 설명은 생략하기로 한다.
도 5b는 검출된 경계영역으로부터 일정 수의 화소를 선택하는 일례를 도시한 도면이다.
경계영역 화소 선택부(420)는 검출된 경계영역에서 경계영역 화소를 선택하되, 주어진 비트율이 허용하는 한도내에서 수행한다. 이는 정합용 특징 및 화질평가용 특징 모두에 해당한다. 경계영역의 화소를 선택하는 방법은 여러 가지가 가능하며, 일례로 프레임에 구배연산자를 적용하여 구배영상을 구하고 구배영상의 화소값 기준으로 화소값이 큰 순서대로 이에 대응하는 동영상 화소를 순차적으로 선택할 수 있다. 만일 프레임당 10개의 경계영역화소를 선택하는 경우, 먼저 프레임 구배영상의 화소값이 최상위인 10개의 화소를 검색하고 이들에 대응하는 동영상 화소들을 경계영역 화소로 선택한다. 다른 예로는 구배영상의 화소값이 문턱치 이상인 화소에 대응하는 동영상 화소중에서 임의로 추출하는 방법이 있다. 예컨대, 구배영상의 화소값의 크기를 기준으로 상위 10%에 해당하는 화소들에 대응하는 동영상 화소들 중에서 무작위로 선택할 수 있다. 또한, 이전 프레임에서 선택된 화소와 동일한 위치에 존재하는 화소는 선택에서 제외할 수도 있음은 물론이다. 일반적으로 경계영역 화소는 프레임당 가능한 일정 수를 유지하도록 선택할 수 있다. 구배영상을 구하는 방법과 경계영역 화소를 추출하는 방법은 대한민국 특허 제0525467호에 자세히 기술되어 있다.
도 5c는 정합부(230)가 경계영역 화소를 이용하여 수신동영상을 시공간상에서 정합하는 일례를 도시한 도면이다. 수신동영상의 한 프레임에 해당하는 복호화된 동영상 프레임을 찾기 위하여 정합용 특징을 이용하여 주어진 시간축 범위내에서 복호화된 동영상의 프레임을 검색한다. 이때 수신측에서 복호화된 동영상 프레임에 대한 정보는 정합특징데이터의 여러 개의 경계영역 화소만 존재하므로 프레임간의 차이는 복호화된 동영상 프레임 경계영역 화소에 대응하는 수신동영상 프레임 화소만을 사용하여 계산한다. 즉, 복호화된 동영상 p번째 프레임과 수신동영상 q번째 프레임의 평균자승오차는 다음과 같이 계산될 수 있다.
[수학식 3]
Figure 112010056137973-pat00002
여기서 EDEC _p(i)는 복호화된 동영상 p번째 프레임의 경계영역 화소이고, EPVS_q_DEC_p(i)는 q번째 프레임에서 복호화된 동영상 p번째 프레임의 경계영역 화소에 대응하는 화소이며, NDEC _p는 복호화된 동영상 p번째 프레임의 경계영역 화소수이다.
도 6은 정합용 특징추출부(140)의 다른 일 실시예를 나타낸 구성으로서, 본 실시예에 따른 정합용 특징추출부(140)는 프레임 내에서 랜덤하게 다수 개의 화소들을 선택하고, 선택된 화소들을 정합용 특징으로 추출한다. 이를 위하여 본 실시예에 따른 정합용 특징 추출부(140)는 복호화된 동영상데이터에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하는 난수 생성부(610)와, 생성된 난수에 따라 화소를 선택하고, 선택된 화소들의 화소값을 추출하는 화소 선택부(620)를 포함하여 이루어진다. 이 경우 동일한 난수 생성부를 수신측에 마련하고, 난수 발생용 시드(seed)값을 정합용 특징으로 동영상 송신장치(100)로부터 동영상 수신장치(200)로 전송할 수 있다. 동영상 수신장치(200)에서는 이 시드값으로 난수를 발생시켜 추출된 화소의 위치를 알 수 있다.
일 실시예에서, 특히 시간축 정합을 목적으로 하는 경우 정합용 특징추출부(140)는 각 프레임에서 화소값들의 합 또는 화소값의 제곱들의 합을 정합용 특징으로 추출할 수 있다. 즉, 복호화된 동영상의 각 프레임에 대하여 다음 수학식과 같이 화소값들의 합 sumx와 화소값의 제곱들의 합 sumxx를 계산한다.
[수학식 4]
Figure 112010056137973-pat00003
도 7은 이러한 실시예에 따른 정합용 특징추출부(140)의 구성으로서, 복호화된 동영상의 각 프레임에 대하여 화소값들의 합을 계산하는 화소합 계산부(710)와 화소값의 제곱들의 합을 계산하는 화소제곱합 계산부(720)를 포함하여 이루어진다. 본 실시예에서 정합용 특징추출부(140)는 화소합 계산부(710)와 화소제곱합 계산부(720) 중 어느 하나만을 구비할 수도 있다.
일반적으로 서로 다른 프레임의 경우 화소값들의 합 및 화소값의 제곱들의 합은 서로 다른 값을 가지게 된다. 따라서 sumx 또는 sumxx를 프레임 인덱스와 함께 수신측으로 전송하고, 수신측에서는 Δt를 주어진 한도 안에서 변경하면서 sumx 또는 sumxx가 일치하거나 그 차이가 최소가 되는 Δt 값을 시간상에서의 정합 결과로 구할 수 있다. 그 외에도 화소값 등을 이용하여 프레임의 특성을 나타내는 함수를 계산하고, 그 차이를 프레임마다 비교함으로써 시간축 상의 정합을 수행할 수 있다.
상기된 화소값들의 합 또는 화소값의 제곱들의 합은 복호화된 동영상의 각 프레임의 모든 화소들을 대상으로 계산될 수도 있고, 임의로 일정 수의 화소들을 선택한 뒤 선택된 화소들의 화소값들의 합 또는 화소값의 제곱들의 합을 구할 수도 있다. 이러한 실시예에 따른 정합용 특징추출부(140)는 도 8에 도시된 바와 같이, 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하는 난수 생성부(810)와 생성된 난수에 따라 선택되는 화소들에 대하여 화소값들의 합을 계산하는 화소합 계산부(820)와 화소값의 제곱들의 합을 계산하는 화소제곱합 계산부(820)를 포함하여 이루어진다. 본 실시예에서 역시 정합용 특징추출부(140)는 화소합 계산부(810)와 화소제곱합 계산부(820) 중 어느 하나만을 구비할 수도 있다. 이 경우 동일한 난수 생성부를 수신측에 마련하고, 난수 발생용 시드(seed)값을 정합용 특징으로 동영상 송신장치(100)로부터 동영상 수신장치(200)로 전송할 수 있다. 동영상 수신장치(200)에서는 이 시드값으로 난수를 발생시켜 추출된 화소의 위치를 알 수 있다.
일 실시예에서, 정합용 특징추출부(140)는 복호화된 동영상데이터의 프레임 내에서 임의의 영역에 속한 화소들을 선택하고, 선택된 화소들의 화소값들을 이용하여 정합용 특징을 추출할 수 있다. 예를 들어, 도 9에 도시된 바와 같이 각 프레임에 특정 패턴을 가지는 블록을 정의하고, 이 블록에 속한 화소들의 화소값의 평균, 화소값들의 합, 또는 화소값의 제곱들의 합 등을 계산하여 영역 정보와 함께 정합용 특징으로 사용할 수 있다.
일 실시예에서, 역시 시간축 정합을 목적으로 하는 경우 정합용 특징추출부(140)는 인접한 프레임 간의 각 화소에서의 화소값 차이를 계산하여 정합용 특징으로 추출할 수 있다. 예를 들어 j 번째 프레임에 대하여 다음 수학식과 같이 이전 프레임인 (j-1) 번째 프레임과의 화소값 차이의 합 FDj를 계산하여 정합용 특징으로 사용한다.
Figure 112010056137973-pat00004
여기서,
Figure 112010056137973-pat00005
는 j 번째 프레임에서의 화소값을,
Figure 112010056137973-pat00006
는 (j-1) 번째 프레임에서의 화소값을 나타낸다. 이러한 실시예에 따른 정합용 특징추출부(140)는 도 10에 도시된 바와 같이, 복호화부(130)로부터 입력되는 복호화된 동영상을 한 프레임만큼 지연시켜 출력하는 버퍼(1010)와, 복호화부(130)로부터 입력되는 복호화된 동영상의 프레임과 버퍼(1010)로부터의 동영상의 프레임에 대하여 화소값의 차이의 합을 계산하는 프레임 차이 계산부(1020)를 포함하여 이루어진다.
정합용 특징추출부(140)는 상술한 여러 실시예에 따른 정합용 특징추출부(140)의 구성들을 조합하여 구현될 수 있다. 예를 들어, 도 4에 도시된 구성과 도 7에 도시된 구성을 조합하여, 정합용 특징추출부(140)는 경계영역 화소의 화소값 및 위치정보와 함께 각 프레임의 화소값들의 합 또는 화소값의 제곱들의 합을 정합용 특징으로 추출할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (1)

  1. 동영상 수신장치에서의 화질평가가 가능하도록 하는 동영상 송신장치에 있어서,
    상기 동영상 수신장치로 전송할 원동영상을 부호화하여 부호화된 동영상을 생성하는 제1 부호화부;
    상기 제1 부호화부의 부호화 방식에 상응하는 복호화 방식으로 상기 부호화된 동영상을 복호화하여 복호화된 동영상을 생성하는 복호화부;
    상기 복호화된 동영상으로부터 화질평가를 위한 정합에 이용될 정합용 특징을 추출하는 정합용 특징추출부;
    상기 원동영상으로부터 화질평가에 이용될 화질평가용 특징-상기 화질평가용 특징은 상기 원동영상의 경계영역으로부터 추출된 화소의 화소값 및 위치정보를 포함함-을 추출하는 화질평가용 특징추출부; 및
    상기 화질평가용 특징과 상기 정합용 특징을 부호화하는 제2 부호화부를 포함하고,
    상기 정합용 특징추출부는,
    상기 복호화된 동영상에서 정의되는 화소 위치값들 범위 내에서 난수를 생성하는 난수 생성부; 및
    상기 생성된 난수에 따라 선택되는 화소들의 화소값 및 난수발생용 시드값을 상기 정합용 특징으로 추출하는 화소 선택부를 포함하는 것을 특징으로 하는 동영상 송신장치.
KR1020100084312A 2010-08-30 2010-08-30 동영상 화질평가 방법 및 시스템 KR101471010B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100084312A KR101471010B1 (ko) 2010-08-30 2010-08-30 동영상 화질평가 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100084312A KR101471010B1 (ko) 2010-08-30 2010-08-30 동영상 화질평가 방법 및 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020090017020A Division KR101024384B1 (ko) 2009-02-27 2009-02-27 동영상 화질평가 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20100102077A KR20100102077A (ko) 2010-09-20
KR101471010B1 true KR101471010B1 (ko) 2014-12-10

Family

ID=43007346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100084312A KR101471010B1 (ko) 2010-08-30 2010-08-30 동영상 화질평가 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101471010B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023230B (zh) * 2014-06-23 2016-04-13 北京理工大学 一种基于梯度关联性的无参考图像质量评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092522A (ja) * 1998-09-08 2000-03-31 Tektronix Inc 画像品質分析方法及び装置
JP2001045525A (ja) * 1999-07-30 2001-02-16 Kdd Corp 圧縮伝送画像の品質評価装置およびそれに用いる送信装置および受信装置
JP2003319420A (ja) * 2002-04-19 2003-11-07 Nippon Telegr & Teleph Corp <Ntt> 映像コンテンツ配信方法、装置、および映像コンテンツ配信プログラム
KR20050105630A (ko) * 2004-04-30 2005-11-04 에스케이 텔레콤주식회사 동영상 화질 평가시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092522A (ja) * 1998-09-08 2000-03-31 Tektronix Inc 画像品質分析方法及び装置
JP2001045525A (ja) * 1999-07-30 2001-02-16 Kdd Corp 圧縮伝送画像の品質評価装置およびそれに用いる送信装置および受信装置
JP2003319420A (ja) * 2002-04-19 2003-11-07 Nippon Telegr & Teleph Corp <Ntt> 映像コンテンツ配信方法、装置、および映像コンテンツ配信プログラム
KR20050105630A (ko) * 2004-04-30 2005-11-04 에스케이 텔레콤주식회사 동영상 화질 평가시스템 및 방법

Also Published As

Publication number Publication date
KR20100102077A (ko) 2010-09-20

Similar Documents

Publication Publication Date Title
RU2699388C1 (ru) Устройство и способ декодирования движущегося изображения, адаптированные к извлечению информации о движении
KR101505195B1 (ko) 직접 모드 부호화 및 복호화 방법
US9232217B2 (en) Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility
US10075710B2 (en) Video quality measurement
US8249358B2 (en) Image quality evaluation method, image quality evaluation system and image quality evaluation program
US20150319459A1 (en) Methods and apparatuses for coding and decoding depth map
RU2007106081A (ru) Способ и устройство для преобразования с повышением частоты кадров с помощью кодера (ea-fruc) для сжатия видеоизображения
CA2856634A1 (en) Texture masking for video quality measurement
KR100612691B1 (ko) 동영상 화질 평가시스템 및 방법
CN103988501A (zh) 考虑场景剪切伪像的视频质量评估
KR101716082B1 (ko) 영상의 화질을 평가하는 방법 및 장치
KR101540113B1 (ko) 실감 영상을 위한 영상 데이터를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP5950605B2 (ja) 画像処理システム、及び、画像処理方法
KR20140115262A (ko) 인터-이미지 예측 방법 및 디바이스, 및 대응하는 코딩 방법 및 장치
JP2015528247A (ja) ビットストリームレベルにおけるビデオ品質評価
KR20170042235A (ko) 화질에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치
KR101471010B1 (ko) 동영상 화질평가 방법 및 시스템
JP2015530807A (ja) ビデオ品質評価のためにコンテンツ複雑性を推定する方法および装置
KR101366244B1 (ko) 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치
KR101316699B1 (ko) 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법
KR101024384B1 (ko) 동영상 화질평가 방법 및 시스템
KR100933284B1 (ko) 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법
Jang et al. FDQM: Fast quality metric for depth maps without view synthesis
KR101373718B1 (ko) 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치
JP2009171023A (ja) 画質評価装置、画質評価方法、画質評価用プログラム、及び映像受信端末

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181224

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 6