KR100858999B1 - 영상품질 객관적 평가장치, 평가방법 및 프로그램 - Google Patents

영상품질 객관적 평가장치, 평가방법 및 프로그램 Download PDF

Info

Publication number
KR100858999B1
KR100858999B1 KR1020077007552A KR20077007552A KR100858999B1 KR 100858999 B1 KR100858999 B1 KR 100858999B1 KR 1020077007552 A KR1020077007552 A KR 1020077007552A KR 20077007552 A KR20077007552 A KR 20077007552A KR 100858999 B1 KR100858999 B1 KR 100858999B1
Authority
KR
South Korea
Prior art keywords
deterioration
amount
image
feature amount
deteriorated
Prior art date
Application number
KR1020077007552A
Other languages
English (en)
Other versions
KR20070061855A (ko
Inventor
준 오카모토
다카아키 구리타
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20070061855A publication Critical patent/KR20070061855A/ko
Application granted granted Critical
Publication of KR100858999B1 publication Critical patent/KR100858999B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Abstract

본 발명의 영상품질 객관적 평가장치는 평가대상이 되는 열화영상신호(PI) 및 상기 열화영상신호의 열화 전 신호인 기준영상신호(RI)에서 발생된 열화의 특징량인 시공간적 특징량(PC)을 상기 열화영상신호(PI)로부터 도출하는 시공간적 특징량 도출유닛(12)과, 사전에 구한 열화영상과 사용자 주관적 평가치 간의 관계에 따라 상기 시공간적 특징량(PC)을 가중치 연산하는 주관적 품질추정유닛(14)을 포함하고, 이에 의해 상기 열화영상신호(PI)의 주관적 품질(Y)을 추정한다. 따라서, 열화가 시공간적 방향으로 영상에 국소적으로 발생하더라도 영상의 주관적 품질을 추정할 수 있다.
영상품질 객관적 평가장치, 시공간적 특징량, 열화영상신호

Description

영상품질 객관적 평가장치, 평가방법 및 프로그램{Video Quality Objective Assessment Device, Assessment Method, And Program}
본 발명은 인간 관찰자가 영상을 보고 그 품질을 평가하는 임의적인 주관적 평가/품질 테스트를 수행하지 않고 영상신호 또는 영상파일의 물리적 특징량의 측정으로부터 인간 관찰자에 의해 인식되는 주관적 품질을 추정하는 영상품질 객관적 평가장치, 평가방법 및 평가 프로그램에 관한 것이다.
종래 영상 제공 서비스는 방송에서와 같이 전송시에 오류가 적은 전파 등의 매체를 사용하여 영상을 제공하고, 테이프와 같은 매체를 사용하여 영상을 제공한다. 이런 이유로, 기준영상과 열화영상을 비교함으로써 주관적인 평가와 동일한 정확도를 갖는 영상품질의 객관적 평가치를 도출하는 객관적 평가기술은 주로 부호화 왜곡(coding distortion)에 대해 적절한 평가치를 도출하기 위해 연구되어 왔다.
따라서, 종래 객관적인 평가기술로서, 부호화 왜곡으로 인한 열화가 공간적으로 그리고 시간적으로 비교적 일정한 사실에 기초한 "각 영상에 대한 보정계수", "SN" 또는 "소벨 필터(Sobel filter)에 기초한 열화량"을 사용하여 전체 프레임의 평균 열화 또는 시간 방향으로의 평균 열화를 도출함으로써 주관적인 평가와 동일한 정확도를 갖는 주관적 품질 추정 기술을 제안하였다(예컨대, 일본공개특허공보 No. 2004-80177 및 미국특허 제5,446,492호 및 제6,704,451호 참조).
또한, 준 오카모토(Jun Okamoto), 노리코 요시무라(Noriko Yoshimura), 및 아키라 타카하시(Akira Takahashi)의 "A Study on Application of Objective Video Quality Measurement", PROCEEDINGS OF THE 2002 COMMUNICATIONS SOCIETY CONFERENCE OF IEICE 및 준 오카모토와 타카키 구리타(Takaaki Kurita)의 "A Study on Objective Video Quality Measurement Method Considering Characteristics of Reference Video", IEICE Technical Report, Vol.103, No.289, CQ2003-52, 2003년 9월, pp.61-66에 개시된 기술에 따르면, 주관적 평가치가 목표로 한 정확도로 측정될 수 있다.
최근, 통신 네트워크를 이용한 영상 제공 서비스가 보편적이게 되었다. 이러한 통신 네트워크에서, 패킷 손실과 지연변동(delay fluctuation)이 종종 발생한다. 이러한 네트워크 품질 열화현상은 공간적으로(한 프레임 내에) 국소적 영상 열화 및 시간적으로 어느 정도 변하는 영상 열화를 초래한다. 이러한 영상열화현상은 영상품질에 크게 영향을 끼치고 과거에 발생하지 않았던 열화 현상이다. 이는 종래 평가기술이 고정확도로 비디오 품질을 평하기가 불가능하게 한다.
본 발명은 상기 과제를 해결하기 위해 이루어진 것으로 본 발명의 목적은 열화가 시공간 방향으로 영상에서 국소적으로 발생되더더라도 영상의 주관적 품질을 추정할 수 있는 영상품질 객관적 평가장치, 평가방법 및 프로그램을 제공하는 것이다.
본 발명은 열화영상신호로부터 평가대상으로서 상기 열화영상신호 및 상기 열화영상신호의 열화 전 신호로서 기준영상신호에서 발생된 열화의 특징량으로서 시공간적 특징량을 도출하는 시공간적 특징량 도출유닛과, 사전에 구한 열화영상과 사용자가 구한 주관적 평가치 간의 관계를 기초로 하여 상기 시공간적 특징량을 가중치 연산함으로써 상기 열화영상신호에 대한 주관적 품질을 추정하는 주관적 품질추정유닛을 구비한다.
발명의 효과
본 발명은 열화영상신호로부터 평가대상으로서 상기 열화영상신호 및 상기 열화영상신호의 열화 전 신호로서 기준영상신호에서 발생된 열화의 특징량으로서 시공간적 특징량을 도출하는 시공간적 특징량 도출유닛과, 사전에 구한 열화영상과 사용자가 구한 주관적 평가치 간의 관계를 기초로 하여 상기 시공간적 특징량을 가중치 연산함으로써 상기 열화영상신호에 대한 주관적 품질을 추정하는 주관적 품질추정유닛을 포함한다. 이는 예컨대 통신 네트워크상에 패킷 손실로 인한 열화가 시공간 방향으로 영상에서 국소적으로 발생하더라도 영상의 주관적 품질을 추정할 수 있게 한다. 종래 주관적 평가기술을 본 발명의 영상품질 객관적 평가장치로 대치함으로써 주관적 평가에 드는 많은 노동과 시간의 필요성이 제거된다.
또한, 본 발명에 따르면, 시공간적 특징량 도출유닛은 상기 열화영상신호의 평가대상 프레임에서 발생된 열화의 공간적 국소성을 고려하여 공간적 특징량을 도출하는 제 1 도출수단을 구비한다. 이는 열화의 공간적 국소성을 고려하여 품질평가를 수행하고 주관적 평가치의 추정 정확도를 향상시킬 수 있게 한다.
더욱이, 본 발명에 따르면, 시공간적 특징량 도출유닛은 상기 열화영상신호의 시간적 특징량을 도출하는 제 2 도출수단과, 상기 평가대상 프레임에서 발생된 열화의 공간적 국소성 및 상기 공간적 특징량과 상기 시간적 특징량을 사용하여 시간축상에서의 국소성을 고려하여 시공간적 특징량을 도출하는 제 3 도출수단을 구비한다. 이는 시간축상의 열화의 국소성을 고려하여 품질평가를 수행하고 주관적 평가치의 추정 정확도를 향상시킬 수 있게 한다.
도 1은 열화가 공간에서 국소적으로 발생되는 영상의 예를 도시한 도면이다.
도 2는 영상의 프레임 번호와 영상의 열화량 사이의 관계의 예를 도시한 그래프이다.
도 3은 본 발명의 제 1 실시예에 따른 영상품질 객관적 평가장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 제 1 실시예에 따른 영상품질 객관적 평가장치의 동작을 도시한 흐름도이다.
도 5는 본 발명의 제 1 실시예에 따라 공간내 국소적 영상열화를 고려한 공간적 특징량을 도출하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 제 1 실시예에 따른 각 블록에 대한 열화량 히스토그램을 도시한 그래프이다.
도 7은 본 발명의 제 1 실시예에 따라 시간축상에 국소적 영상열화를 캡쳐하는 방법을 설명한 그래프이다.
도 8은 본 발명의 제 1 실시예에 따라 시간축상에 국소적 영상열화를 고려한 시공간적 특징량을 도출하는 방법을 도시한 흐름도이다.
도 9는 본 발명의 제 1 실시예에 따른 시공간적 특징량의 도출에서 단위측정시간의 설정의 예를 도시한 그래프이다.
도 10은 본 발명의 제 1 실시예에 따른 시공간적 특징량의 도출에서 단위측정시간의 설정의 또 다른 예를 도시한 그래프이다.
도 11은 정상 평균 열화량, 국소적 영상열화의 열화 변동량 및 지속시간을 도시한 그래프이다.
도 12는 본 발명의 제 1 실시예에 따른 국소적 열화 식별 임계치에 대한 도출 함수를 도시한 그래프이다.
도 13은 본 발명의 제 1 실시예에 따른 열화강도 데이터베이스에서 테이블의 구성을 도시한 도면이다.
도 14는 본 발명의 제 1 실시예에 따른 열화강도를 합계하는 방법을 설명하는 도면이다.
도 15는 본 발명의 제 1 실시예에 따른 제 1 열화량 합산 테이블의 구성을 도시한 도면이다.
도 16은 본 발명의 제 1 실시예에 따른 제 2 열화량 합산 테이블의 구성을 도시한 도면이다.
도 17은 열화가 공간내 국소적으로 발생된 영상의 또 다른 예를 도시한 도면이다.
도 18은 본 발명의 제 2 실시예에 따라 공간내 국소적 영상열화를 고려한 공간적 특징량을 도출하는 방법을 도시한 흐름도이다.
도 19는 이동벡터를 설명하는 도면이다.
도 20은 본 발명의 제 2 실시예에 따라 국소적 영상열화의 이동속도에 대한 가중치 계수를 도시한 그래프이다.
도 21은 본 발명의 제 2 실시예에 따라 국소적 영상열화의 주의도에 대한 가중치 계수를 도시한 그래프이다.
[제 1 실시예]
패킷 손실과 지연변동 등의 통신 네트워크의 품질에 있어 열화로 인한 영상 열화는 공간에서 국소적으로 발생되거나 시간축상에서 국소적으로 발생되는 특징이 있다.
도 1은 열화가 공간에서 국소적으로 발생하는 영상의 예를 도시한 도면이다. 통신 네트워크에서 패킷 손실 또는 부호화 오류로 인해 영상열화가 영상의 이동영역상에 집중해서 국소적으로 발생하기 때문에, 공간적 국소성을 고려하는 것이 필요하다. 도 1에서 참조심볼 P1은 열화 발생부를 나타낸다.
따라서, 본 발명은 실제 열화된 영상과 주관적인 평가치 사이의 관계로부터 사전에 구한 가중치를 프레임 단위로 기준영상과 열화된 영상 간의 차이를 기초로 한 열화량 및 국소적 열화 발생 영역단위로 상기 기준영상과 상기 열화된 영상 간 의 차이를 기초로 한 열화량에 적용함으로써 공간내 국소적 영상열화에 대한 주관적인 평가치를 추정한다. 이는 주관적인 평가치의 추정 정확도를 향상시킨다.
도 2는 시간축상에 국소적으로 발생된 영상열화의 예 및 영상의 프레임 번호와 영상의 열화량 간의 관계의 예를 도시한 도면이다. 통신 네트워크에서 발생하는 패킷 손실 또는 부호화 오류는 프레임 누락으로 인해 급격히 발생되는 한 프레임 프리즈(frame freeze)와 같은 열화(도 2에서 J) 또는 다음 I(Intra) 프레임이 복호화될 때까지 계속되는 열화(도 2에서 K)와 같이 큰 국소적 영상열화를 초래한다.
시간축상의 국소적 영상 열화에 대해, 어떠한 국소적 열화도 발생하지 않는 경우 열화량과 국소적 열화가 발생하는 경우 열화량의 증가(열화 변동량) 및 지속시간에 미리 구한 주관적 평가특성을 고려한 가중치 연산을 적용하여 주관적인 평가치를 추정한다. 이는 주관적인 평가치의 추정 정확도를 향상시킨다.
도 3은 본 발명의 제 1 실시예에 따른 영상품질 객관적 평가장치의 구성을 도시한 블록도이다. 이 장치의 동작이 후술되어 있다. 도 3의 영상품질 객관적 평가장치는 평가대상 시스템(예컨대, 코덱(codec))(미도시)으로부터 출력된 평가대상 으로서 열화영상신호(PI)와 상기 열화영상신호(PI)의 열화 전에 미리 저장장치(미도시)에 등록되어 있는 신호로서 기준영상신호(RI)를 사용한다.
정렬유닛(11)은 기준영상신호(RI)가 프레임 디스플레이 간격 및 포맷과 일치하는 한편 시간 및 위치에서 열화영상신호(PI)와 일치하는 곳을 검색하고, 시간 및 위치에서 시공간적 특징량 도출유닛(12)에 일치하는 상태에 있는 상기 기준영상신호(RI)와 상기 열화영상신호(PI)를 출력한다.
시공간적 특징량 도출유닛(12)은 정렬유닛(11)에 의해 조절되고 필요에 따라 열화강도 데이터베이스(이하, 열화강도 DB라 함)(13)를 참조하는 상기 기준영상신호(RI)와 상기 열화영상신호(PI)를 이용하여 열화의 물리적 특징량인 시공간적 특징량(PC)을 도출하고, 상기 도출된 시공간적 특징량(PC)을 주관적 품질추정유닛(14)으로 전달한다. 시공간적 특징량 도출유닛(12)은 열화영상신호(PI)의 평가대상 프레임에서 발생되는 열화의 공간적 특징량을 도출하는 제 1 도출수단(121), 상기 열화영상신호(PI)의 평가대상 프레임에서 발생된 열화의 시간적 특징량을 도출하는 제 2 도출수단(122), 및 공간적 특징량과 시간적 특징량을 사용하여 시공간적 특징량(PC)을 도출하는 제 3 도출수단(123)을 포함한다.
주관적 품질추정유닛(14)은 열화영상에 대하여 사용자가 구한 주관적 평가치와 상기 열화영상의 시간적/공간적 특징량 간의 관계로부터 미리 구한 객관적 평가치 도출함수를 사용하여 시공간 특징량 도출유닛(12)로부터 수신된 시공간 특징량(PC)을 가중치 연산함으로써 객관적 평가치를 도출한다.
도 3의 각 유닛의 동작이 상세히 후술되어 있다. 도 4는 도 3의 영상품질 객관적 평가장치의 동작을 도시한 흐름도이다.
정렬유닛(11)은 열화영상신호(PI)의 프레임 디스플레이 간격 및 포맷이 기준영상신호(RI)의 프레임 디스플레이 간격 및 포맷과 일치시에 시간방향으로 프레임 단위로 상기 기준영상신호(RI)를 검색함으로써 상기 열화영상신호(PI)의 프레임과 동일한 프레임의 상기 기준영상신호(RI)를 검색하고, 상기 발견된 기준영상신호(RI)를 상하좌우로 이동함으로써 열화영상신호(PI)와 기준영상신호(RI)가 픽셀 단위로 가장 유사하게 되도록 상기 열화영상신호(PI)와 상기 기준영상신호(RI) 조정하여, 상기 조정된 기준영상신호(RI)와 상기 열화영상신호(PI)를 시공간적 특징량 도출유닛(12)으로 전달한다(도 4에서 단계 S1).
시공간적 특징량 도출유닛(12)은 정렬유닛(11)으로부터 수신된 기준영상신호(RI)와 열화영상신호(PI)에 대한 다음 처리를 수행함으로써 복수의 시공간적 특징량(PC)을 도출하여, 상기 주관적 품질추정유닛(14)으로 전달한다(단계 S2).
평가대상 프레임에서 발생하는 공간내 국소적 영상열화를 고려하여 공간적 특징량(DS)을 도출하는 방법이 먼저 상세히 기술된다. 도 5는 공간적 특징량(DS) 도출방법을 도시한 흐름도이다.
시공간적 특징량 도출유닛(12)의 제 1 도출수단(121)은 상기 정렬유닛(11)으로부터 수신된 기준영상신호(RI)와 열화영상신호(PI)로부터 평가대상 프레임을 분할함으로써 얻어진 각 블록에 대해 열화량(S)을 계산하고 저장한다(도 5에서 단계 S10). 열화량(S)은 예컨대 신호 대 잡음비 또는 미국표준협회(ANSI, American National Standards Institute)에 의해 정의된 평균 에지 에너지(Avergae Edge Energy)인 피크 신호 대 잡음비(PNSR, Peak Signal to Noise Ratio)와 같은 파라미터이다.
그런 후, 제 1 도출수단(121)이 전체 평가대상 프레임에 의해 각 블록에 대해 계산된 열화량(S)을 평균함으로써 얻은 값인 프레임 평균 열화량(Xave_all)과 열화강도가 강한 평가대상 프레임의 영역내에 있는 열화량(S)을 평균함으로써 얻은 값인 국소적 열화영역 평균 열화량(Xave_bad)을 계산하고 저장한다(단계 S11). 도 6은 각 블록에 대한 열화량(S)의 히스토그램을 도시한 그래프이다. 가로축은 열화량(S)을 세로축은 각각의 블록에서 상기 열화량(S)이 발생된 블록들을 누적함으로써 얻은 블록수를 나타낸다. 도 6에서, 영상열화는 우측으로 증가하는 것으로 가정하자. 국소적 열화영역 평균 열화량(Xave_bad)은 기설정된 열화강도범위(도 6에서 빗금친 부분)에 포함된 열화량(S)을 평균함으로써 얻은 값이다. 이 경우, 열화량이 큰 블록들의 총수의 10% 이상에 해당하는 블록수가 기설정된 열화강도 범위내에 있는 것으로 가정하자.
그런 후, 제 1 도출수단(121)이 주관적 평가실험에 의해 사전에 구한 계수 A 및 B를 사용하여 하기 식을 계산함으로써 평가대상 프레임에 있는 공간내 국소적 영상열화를 고려하여 공간적 특징량(DS)를 계산하고 저장한다(단계 S12).
DS = A·Xave_all + B·Xave_bad
여기서, A는 어떠한 국소적 영상열화도 공간내에 발생하지 않을 경우 주관적 평가특성에 의해 사전에 구한 계수이고, B는 국소적 영상 열화가 공간내에 발생한 경우 주관적 평가특성에 의해 사전에 구한 계수이다.
단지 부호화 열화만이 발생된 영상(어떠한 국소적 영상열화도 공간내에 발생되지 않은 영상)에 대하여 사용자의 주관적 평가특성 및 부호화 열화 이외에 패킷 손실 등으로 인한 국소적 열화가 발생된 영상에 대하여 사용자의 주관적 평가특성을 기초로 한 주관적 평가와 공간적 특징량(DS)을 더 잘 일치시키도록 최적치의 조합을 결정함으로써 계수 A 및 B를 도출하는 것으로 충분하다.
시공간적 특징량 도출유닛(12)은 시간 경과에 따라 각 프레임에 대한 상기 처리를 수행한다. 이 실시예는 프레임 평균 열화량(Xave_all)과 국소적 열화영역 평균 열화량(Xave_bad)을 사용하여 공간적 특징량(DS)을 계산하는 것에 유의하라. 이외에, 시공간적 특징량 도출유닛(12)은 다양한 종류의 평가대상 프레임의 열화량의 통계량을 사용할 수 있다. 예컨대, 도 6에 도시된 평가대상 프레임의 열화량 분포에서, 시공간적 특징량 도출유닛(12)은 발생빈도가 높은 각 열화량의 일부분의 면적 또는 그 내에 있는 블록들의 개수를 이용하여 공간적 특징량(DS)을 계산할 수 있거나, 열화량의 표준편차 또는 분산을 사용할 수 있다. 또한, 시공간적 특징량 도출유닛(12)은 프레임 평균 열화량(Xave_all)과 국소적 열화영역 평균 열화량(Xave_bad) 사이의 차이값을 이용할 수 있다. 대안으로, 시공간적 특징량 도출유닛(12)은 이들 통계량을 조합함으로써 공간적 특징량(DS)을 계산할 수 있다.
시간축상의 국소적 영상열화를 고려하여 시공간적 특징량(PC)을 도출하는 방법이 다음에 상세히 기술되어 있다. 시공간적 특징량(PC)을 도출할 때, 이 방법은 어떠한 국소적 영상열화도 시간축상에서 발생하지 않을 경우 영상열화의 영향과 시간축상에 국소적 영상열화의 영향을 별개로 평가하고 양자의 열화의 영향에 대해 고려한다. 즉, 도 7에 도시된 바와 같이, 상기 방법은 단위측정시간(ut)에서 평균 열화량(Q2)의 영향 및 단위측정시간(ut)에서 국소적 열화만의 영향을 계산하고, 양 열화의 영향을 고려하면서 시공간적 특징량(PC)를 도출한다. 단위측정시간(ut) 및 프레임은 단위측정시간(ut) = 한 프레임 간격으로 표시된 관계를 갖는 것을 주목하라. 도 7을 참조하면, 참조부호(Q1)는 국소적 열화량을 나타낸다.
도 8은 시공간적 특징량(PC)을 도출하는 방법을 도시한 흐름도이다. 무엇보다도, 시공간적 특징량 도출유닛(12)은 정렬유닛(11)으로부터 수신된 기준영상신호(RI)와 열화영상신호(PI)로부터 (각 프레임에 대해 또는 기설정된 측정간격으로) 각각의 단위측정시간(ut)에 대한 열화량(C)을 계산하고 저장한다(도 8에서 단계 S20).
제 2 도출수단(122)은 시간적 특징량을 도출한다. 이 시간적 특징량은 예컨대 프레임 레이트(frame rate), 프레임 스킵 카운트(frame skip count), ITU-T-1 RecP.910에 의해 정의된 TI 값, 또는 ANSI에 의해 정의된 특징량이다. 제 2 도출수단(122)에 의해 도출된 시간적 특징량은 열화량(C)으로서 사용될 수 있다. 게다가, 제 2 도출수단(122)은 또한, 열화량(C)으로서, 제 1 도출수단(121)에 의해 사전에 도출된 공간적 특징량(DS) 또는 상기 공간적 특징량(DS)을 도출하는데 사용되는 열화량(S)을 사용할 수 있다. 제 2 도출수단(122)은 또한, 열화량(C)으로서, 각 프레임에 대한 주관적 평가로서 사전에 변환/추정된 값을 사용할 수 있다.
단계(S20)에서의 처리의 결과로서, 시간 연속적인 방식으로 계산된 열화량(C)이 도출된다. 시공간적 특징량 도출유닛(12)의 제 3 도출수단(123)은 정상 평균 열화량(Dcons), 국소적 영상 열화의 열화도출량(d) 및 각 단위측정시간(ut)에 대한 열화량(C)로부터의 국소적 영상열화의 지속시간(t)을 계산하고 저장한다(도 8에서 단계 S21). 단위측정시간(ut)은 도 9에 도시된 바와 같이 중첩하지 않도록 설정될 수 있거나 도 10에 도시된 바와 같이 서로 중첩하도록 설정될 수 있음을 유의하라.
도 11은 정상 평균 열화량(Dcons), 국소적 영상열화의 열화변동량(d), 및 지속시간(d)를 도시한 것이다. 정상 평균 열화량(Dcons)은 단위측정시간(ut)에서 국소적 영상열화 발생주기를 제거함으로써 얻은 정상 주기내 열화량(C)의 평균치이고, 각 단위측정시간(ut)에 대해 계산된다. 단위측정시간(ut)내 어떤 중간점에서는 직전의 단위측정시간(ut)에서 계산된 정상 평균 열화량(Dcons)이 사용되는 것을 유의하라.
국소적 영상열화의 열화변동량(d)은 국소적 영상 열화량과 정상 평균 열화량(Dcons) 간의 차이 값이다. 이 실시예에서, 단위측정시간(ut)에서 정상 평균 열화량(Dcons)으로부터의 차이값이 국소적 열화 식별 임계치 이상인 경우, 국소적 영상 열화가 발생한 것으로 판단된다. 다른 값이 국소적 열화 식별 임계치 이상이 되는 제 1 열화량(C)이 국소적 영상 열화량으로서 설정되고, 상기 국소적 영상 열화량과 상기 정상 평균 열화량(Dcons) 간의 차이가 열화변동량(d)인 것으로 가정하라.
국소적 영상 열화의 지속시간(t)은, 국소적 영상 열화가 발생한 경우, 열화량(C)과 정상 평균 열화량(Dcons) 간의 차이값이 (d-Δv) 이상 및 (d+Δv) 이하의 범위내에 있는 동안의 시간이며, 여기서, Δv는 기설정된 허용가능한 변화범위이다. 국소적 영상 열화가 발생되는지 여부를 결정하기 위한 국소적 열화 식별 임계치로서, 현재 정상 평균 열화량(Dcons)에 해당하는 값은 도 12에 도시된 바와 같이 국소적 열화 식별 임계치 도출함수로부터 결정된다.
국소적 열화 식별 임계치 도출함수를 사전에 준비하기 위해, 정상 평균 열화 량(Dcons)을 변경하면서 상기 국소적 영상열화가 발생된 영상에 대하여 사용자의 주관적 평가특성을 검사함으로써 상기 국소적 열화 식별 임계치를 기초로 국소적 영상열화의 식별을 상기 사용자에 의해 주관적으로 수행된 국소적 영상 열화의 식별과 적절하게 대응시켜, 제 3 도출수단(123)이 상기 함수를 저장하게 하도록 국소적 열화 식별 임계치 도출함수를 결정하는 것으로 충분하다. 국소적 영상 열화가 때때로 단위측정시간(ut)내에 복수회 발생하기 때문에, 열화변동량(d)과 지속시간(t)의 조합이 얻어지고 국소적 영상 열화가 발생할 때마다 보유되는 것에 유의하라.
그런 후, 제 3 도출수단(123)이 단계(S21)에서 계산된 열화변동량(d)과 지속시간(t)을 기초로 열화강도 DB(13)를 참조로 사용자에 의한 주관적 평가시에 단위측정시간(ut)내에 상기 열화변동량(d)과 지속시간(t)의 영향을 고려하여 열화강도(D)를 얻고 저장한다(도 8에서 단계 S22). 도 13에 도시된 바와 같이, 열화강도DB(13)는 각각의 열화변동량(d)에 대해 사전에 지속시간 열화 강도 테이블(130)을 저장하며, 상기 테이블에는 지속시간(t)와 열화강도(D) 간의 관계를 나타내는 지속시간 열화 강도곡선이 등록되어 있다.
제 3 도출수단(123)은 열화강도(D)와 지속시간(t)의 조합을 열화강도 DB(13)를 참조로 하여 열화강도(D)로 변환시킨다. 열화변동량(d)과 지속시간(t)을 변경하면서 국소적 영상 열화가 발행된 영상에 대하여 상기 사용자의 주관적 평가특성을 검사함으로써 열화강도(D)와 사용자에 의한 주관적 평가를 적절하게 대응하도록 지속시간 열화강도곡선을 결정하는 것으로 충분하다. 제 3 도출수단(123)은 열화변동 량(d)과 지속시간(t)의 복수의 조합들이 단위측정시간(ut)내에 얻어지는 경우 각 조합에 대해 단계(S22)에서의 처리를 수행한다.
그런 후, 제 3 도출수단(123)은 각 단위측정시간(ut)에 대한 열화강도(D)를 합하고 상기 총 값을 저장한다(도 8에서 단계 S23). 열화강도(D)를 합하기 위해, 열화량(S22)에서 도출된 열화강도(D)를 간단히 합하는 것으로 충분하다. 그러나, 이 경우, 사용자의 주관적 특성과 일치하도록 다음의 사항들이 고려되어진다. 즉, 영상이 강한 국소적 열화와 약한 국소적 열화 모두를 포함하는 경우, 사용자에 의한 주관적 평가는 높은 열화강도를 갖는 국소적 열화에 의해 영향을 받는다. 게다가, 유사한 강도를 갖는 복수의 국소적 열화가 발생한 경우, 사용자에 의한 주관적 평가는 열화의 합산 값에 의해 영향을 받는다.
도 14에 도시된 바와 같이, 상기 사항들을 고려하여, 단위측정시간(ut)내에 발생된 복수의 국소적 열화의 열화강도(D1,D2,D3,…,DN-1,DN)가 내림차순으로 배열되고, 제 3 도출수단(123)은 도 15에 도시된 바와 같이 제 1 열화량 합산 테이블(124)을 참조함으로써 올림차순으로 상기 열화강도를 더한다. 제 1 열화량 합산 테이블(124)은 열화강도(Da 및 Db) 및 서로 대응하게 총 열화강도(Dsum)를 저장하고, 미리 제 3 도출수단(123)에 준비된다.
열화강도(D'1,D'2,D'3,…,D'N-1,D'N)를 도 14의 단계(201)에서 내림차순으로 열화강도(D1,D2,D3,…,DN-1,DN)를 재배열함으로써 얻은 열화강도라 하면, 제 1 덧셈연산으로, 단계(202)에 표시된 바와 같이, 최하위 열화강도(D'1)가 Da이고 다음 낮은 열화강도(D'2)가 Db인 열화강도(Da 및 Db)를 기초로 제 1 열화량 합산 테이 블(124)을 참조하여 열화강도(Da 및 Db)에 대응하는 총 열화강도(Dsum)를 획득한다(단계 203).
제 2 또는 연이은 덧셈연산으로 이전에 도출된 총 열화강도(Dsum)가 Da이고 더해지거나 처리되지 않은 열화강도의 최하위 열화강도가 Db인 제 1 열화량 합산 테이블(124)을 참조하여 열화강도(Da 및 Db)에 대응하는 총 열화강도(Dsum)를 획득한다(단계205). 제 3 도출수단(123)은 열화강도(D'N)까지 단계(204 및 205)의 처리를 반복한다. 제 3 도출수단(123)은 단위측정시간(ut)에서 열화강도의 총 값(Dpart)으로서 최종적으로 구한 총 열화강도(Dsum)를 저장한다.
제 1 열화량 합산 테이블(124)은 2개의 열화강도(Da 및 Db)를 변경하면서 국소적 영상열화가 발생된 영상에 대하여 사용자의 주관적 평가특성을 검사함으로써 총 열화강도(Dsum)와 사용자에 의한 주관적 평가를 적절하게 일치시키도록 결정된다. 제 1 열화량 합산 테이블(124)에 따라, 열화강도(Db)가 열화강도(Da)보다 더 큰 경우, 총 열화강도(Dsum)는 열화강도(Db)에 가깝다. 열화강도(Da 및 Db)가 서로 거의 동일한 경우, 총 열화량강도(Dsum)는 열화강도(Da 및 Db)의 합에 가깝다. 이는 열화강도(D)의 총 값을 사용자의 주관적 특성과 일치할 수 있게 한다.
제 3 도출수단(123)은 단위측정시간(ut) 및 정상 평균 열화량(Dcons)에서의 열화강도의 총 값(Dpart)을 기초로 도 16에 도시된 바와 같이 제 2 열화량 합산 테이블(125)을 참조로 시간축상에 국소적 영상 열화를 고려하여 시공간적 특징량(PC)을 획득하고 저장한다(도 8에서 단계 S24).
제 2 열화량 합산 테이블(125)은 서로 일치하게 열화강도의 총 값(Dpart), 정상 평균 열화량(Dcons), 및 시공간적 특징량(PC)을 저장하고, 사전에 제 3 도출수단(123)에 준비된다. 제 2 열화량 합산 테이블(125)은 총 값(Dpart)과 정상 평균 열화량(Dcons)을 변경하면서 국소적 영상 열화가 발생된 영상에 대하여 사용자의 주관적 평가특성을 검사하여 시공간적 특징량(PC)을 사용자의 주관적 평가와 적절하게 일치하도록 결정된다.
상기 동작으로, 시공간적 특징량 도출유닛(12)에 의한 처리가 완료된다. 단계(S20)에서 얻은 열화량(C)는 복수의 타입, 예컨대, 프레임 레이트 및 프레임 스킵 카운트를 포함하는 것을 유의하라. 시공간적 특징량 도출유닛(12)은 단계(S20)에서 복수의 열화량(C)을 획득하는 경우 각 타입의 열화량(C)에 대해 단계(S21 내지 S24)에서 처리를 수행한다. 따라서, 복수의 시공간적 특징량(PC)이 각 단위측정시간(ut)에 대해 얻어진다.
그런 후, 주관적 품질추정유닛(14)이 시공간적 특징량 도출유닛(12)으로부터 수신된 복수의 시공간적 특징량(PC)을 기초로 하기 식으로 표현된 가중치 연산을 수행함으로써 객관적 평가치를 계산한다(도 4에서 단계 S3).
Y = F(X1, X2, …, Xn)
여기서, Y는 객관적 평가치이고, X1, X2, …, Xn은 시공간적 특징량(PC)이며, F는 객관적 평가치 도출함수이다.
시공간적 특징량(PC)이 2개량(X1,X2)인 경우, 객관적 평가치 도출함수(F)는 예컨대 하기식으로 표현된다.
Y = F(X1,X2) = αX1 + βX2 + γ
여기서, X1은 예컨대 공간특징량(DS)이 열화량(C)으로서 사용되는 경우 단계(S21 내지 S24)에서의 처리에 의해 공간적 특징량(DS)으로부터 얻은 시공간적 특징량(PC)이며, X2는 예컨대 프레임 레이트가 열화량(C)로서 사용되는 경우 프레임 레이트로부터 얻은 시공간적 특징량(PC)이다.
상기 식에서, α, β, 및 γ는 기설정된 계수이다. 상기 계수 α, β, 및 γ를 도출하기 위해, 도출량을 변경하면서 국소적 영상열화가 발생되는 영상에 대하여 사용자의 주관적 평가특성을 검사함으로써 객관적 평가치(Y)를 사용자에 의한 주관적 평가와 적절하게 일치하도록 최적치의 조합을 결정하는 것으로 충분하다.
[제 2 실시예]
본 발명의 제 2 실시예가 후술되어 있다. 도 17은 국소적 열화가 공간에서 발생된 영상의 또 다른 예를 도시한 도면이다. 도 17은 카메라가 피사체로서 차량(170)의 이동을 추적하기 때문에 배경이 우에서 좌로 고속으로 움직이는 영상을 도시한 것이다. 공간내 국소적 영상 열화를 고려하자. 이 경우, 빨리 움직여서 눈이 따라갈 수 없는 부분에 국소적 영상열화(171)가 발생되더라도, 이 영상열화는 사용자에 의한 주관적 평가에 거의 영향을 끼치지 않는다. 즉, 사용자에 의한 주관적 평가는 영상의 이동속도에 따라 변한다. 게다가, 피사체영역에서 발생된 국소적 영상열화(172)는 배경지역에서 발생된 국소적 영상열화(171)보다 더 많이 사용자에 의한 주관적 평가에 영향을 끼친다. 즉, 영상에 대한 사용자의 주의도(주의정도)에 따라 사용자에 의한 주관적 평가가 변한다.
따라서, 이 실시예는 영상의 이동속도에 따른 주관적 평가에서의 변화를 고려하여 가중치 연산을 수행함으로써 주관적 평가치의 추정 정확도를 향상시킨다. 즉, 열화가 영상의 이동속도에 따라 쉽게 검출되거나 검출되지 못한다. 실시예는 또한 영상에 대하여 사용자의 주의도에 따른 변화를 고려하여 가중치 연산을 수행함으로써 주관적 평가치의 추정 정확도를 향상시킨다. 즉, 국소적 영상열화가 발생하는 영역은 피사체와 같이 주의가 요구되는 영역이다.
이 실시예의 영상품질 객관적 평가장치 및 절차방법의 구성은 제 1 실시예에서와 같은 구성이다. 따라서, 이 실시예는 도 3 및 도 4의 참조번호를 사용하여 기술되어 있다. 이 실시예는 도 4의 단계(S2)의 처리에서 시공간적 특징량 도출유닛(12)의 제 1 도출수단(121)을 사용하여 공간적 특징량(DS)을 도출하는 방법에서 제 1 실시예와는 다르다. 평가대상 프레임에서 발생되는 공간내 국소적 영상열화를 고려하여 공간 특징량(DS)을 도출하는 방법이 후술되어 있다. 도 18은 이 실시예에 따른 공간 특징량(DS)을 도출하는 방법을 도시한 흐름도이다.
시공간적 특징량 도출유닛(12)의 제 1 도출수단(121)은 정렬유닛(11)으로부터 수신된 기준영상신호(RI)로부터 평가대상 프레임을 분할함으로써 얻은 각 블록에 대한 이동벡터를 계산하고 저장한다(도 18에서 단계 S30). 도 19는 이동벡터를 설명하기 위한 도면이다. 이동벡터는 예컨대 프레임 사이의 8×8 픽셀 블록의 이동량(방향 및 거리)을 나타내는 벡터이다. 현재 프레임과 바로 전 프레임 사이의 최소 차이값을 나타내는 블록을 찾음으로써 블록의 이동량을 구하는 것으로 충분하 다. 예컨대, 도 19는 공(190)이 좌하단으로 움직이는 장면을 도시한 것이다. 이 경우, 바로 전 프레임(fN)의 블록(E)이 현재 프레임(fN+1)에 있는 E'으로 이동된다. 이 경우 이동벡터가 도 19에서 V로 표현된다. 제 1 도출수단(121)은 기준영상신호(R1)의 한 프레임에 대해 각 블록에 대한 이동벡터량을 계산하고 각 블록에 대한 방향과 길이(표준)를 계산한다.
그런 후, 제 1 도출수단은 단계(S30)에서 계산된 기준영상신호(RI)의 이동벡터 분포특성에 따라 각 블록에 대해 주의도를 도출하는 것이 필요한 각각의 평가대상 프레임에 대한 주의도 임계치를 도출한다(단계 S31). 동일한 이동벡터를 갖는 복수의 블록들을 포함하는 영역이 있고 기설정된 개수 또는 더 많은 블록들이 상기 영역에 속하는 경우, 제 1 도출수단(121)은 2종류의 영역, 즉, 동일한 이동벡터를 갖는 복수의 블록들이 있는 배경영역(주의도 2) 및 다른 이동벡터들을 갖는 블록들이 있는 피사체영역(주의도 1)으로 영역들을 분류하기 위한 임계치를 도출한다. 실시예는 2 이상의 주의도를 사용할 수 있음에 유의하라.
영상에 대한 사용자의 주의도가 결정되는 경우, 피사체의 이동에 따라 행해지는 카메라 작동을 고려하여 배경이 움직이는 경우 처럼 다음 2 경우가 고려될 수 있다.
첫번째 경우, 카메라가 피사체의 이동에 따라 상하좌우로 이동한다. 카메라가 상기 피사체의 이동에 따라 상하좌우로 이동하면, 배경은 카메라의 이동방향에 반대로 이동하게 된다. 따라서, 이동벡터가 방향 및 길이에 있어 동일한 복수의 블록들을 구비하는 영역이 있고 기설정된 개수 또는 더 많은 블록들이 상기 영역에 속하는 경우, 제 1 도출수단(121)이 배경영역으로서 상기 영역을 설정한다. 이 주의도 결정방법에 따르면, 피사체가 이동하지 않더라도 이러한 영역은 배경영역으로서 결정되는 것에 유의하라.
제 2 경우, 카메라가 피사체에 대하여 주밍동작(zooming operation)(확대 또는 축소동작)을 수행한다. 피사체가 확대되는 경우, 이동벡터들은 피사체의 위치로부터(예컨대, 영상의 중앙부로부터) 외주부로 모든 방향으로 반경방향으로 발생된다. 대조적으로, 피사체가 축소되는 경우, 이동벡터들은 외주부로부터 피사체의 위치로 발생된다. 게다가, 피사체가 확대 또는 축소되는 경우, 외주부의 배경영역에 있는 이동벡터들은 영상의 중앙부 부근에 있는 피사체의 이동벡터들보다 더 길다.
따라서, 이동벡터들이 각각의 방향으로 균일하게 분포되어 있고 상기 그 이동벡터들은 길이들이 임계치 이상인 복수의 블록들을 구비하는 영역이 있는 경우, 제 1 도출수단(121)은 이 영역을 배경영역으로서 설정한다. 제 1 도출수단(121)이 이 임계치로서 기설정된 상수값을 사용하나, 제 1 도출수단(121)은 하기의 방식으로 이동벡터 분포로부터 임계치를 구할 수 있다. 이동벡터 분포로부터 임계치를 구하는 경우, 제 1 도출수단(121)은 이동벡터의 길이를 나타내는 가로좌표와 이동벡터의 발생빈도(블록 카운트)를 나타내는 세로좌표를 갖는 이동벡터 히스토그램을 얻는다. 그런 후, 제 1 도출수단(121)은 히스토그램의 가로좌표상의 임의의 경계치를 결정하고, 상기 경계치보다 더 긴 이동벡터의 발생빈도를 얻는다. 발생빈도, 예컨대, 총 블록 개수의 80%이상에 도달하는 경우, 제 1 도출수단(121)은 임계치로서 이 경계치를 설정한다.
그리고 나서, 제 1 도출수단(121)은 기준영상신호(RI)와 열화영상신호(PI)로부터 평가대상 프레임을 분할함으로써 각 블록에 대한 열화량(S)을 계산하고, 상기 프레임내 각 위치에 상기 값을 저장한다(단계 S32). 상기 열화량(S)은 예컨대 신호 대 잡음비와 같은 PSNR 또는 ANSI에 의해 정의되는 평균 에지 에너지(Average Edge Energy)와 같은 파라미터이다.
마지막으로, 제 1 도출수단(121)은 단계(S30 내지 S32)에서 구한 결과를 사용하여 하기 식으로 표시된 바와 같이 평가대상 프레임에서 공간내 국소적 영상열화를 고려하여 공간 특징량(DS)을 계산하고 저장한다.
DS = (1/N) × Σ(F1i×F2i×Si)
여기서, N은 대상블록의 개수이고, F1i는 블록 i(i는 1 에서 N까지의 자연수)의 이동벡터의 방향 및 길이에 따른 가중치 벡터이며, F2i는 블록 i의 주의도에 따른 가중치 계수이고, Si는 블록 i의 열화량이다. 식(4)은 열화량(S)이 각 블록에 대한 가중치 계수(F1 및 F2)에 의해 가중치 연산되고, 전체 평가대상 프레임에 의한 각각의 블록들에 대해 얻은 결과들을 평균함으로써 얻은 값이 공간적 특징량(DS)으로서 설정되는 것을 나타낸다.
다음은 가중치 계수(F1 및 F2)를 도출하는 특별한 방법이다.
이 방법은 사전에 구해진 열화영상의 이동벡터의 길이와 가중치 계수(F1) 사이의 관계로부터 각 블록의 이동벡터의 길이에 대한 식(4)의 각 대상블록에 대한 가중치 계수(F1)를 (i가 증가할 때마다) 도출한다. 도 20에 도시된 바와 같이, 영 상이 어떠한 이동도 하지 않거나(이동벡터가 짧거나) 영상의 이동이 너무 빨라서 따라가지 못하는 경우(이동벡터가 긴 경우) 가중치 계수(F1)가 줄어들고, 영상의 이동속도가 중간인 경우 증가된다. 이 방법은 열화영상의 이동벡터의 길이와 특정 국소 열화를 다른 이동벡터 길이를 포함하는 영역에 추가함으로써 얻은 주관적 평가특성(공간 특정량(DS)의 평균치) 으로부터 가중치 계수(F1) 사이의 관계를 도출하는 것에 유의하라.
이 방법은 각 블록에 대한 이동벡터의 길이 및 방향으로부터 단계(S31)에서 도출된 임계치에 따라 주의도를 결정하고, 사전에 구한 주의도와 가중치 계수(F2) 사이의 관계로부터 식(4)의 각 대상블록에 대한 가중치 계수(F2)를 (i가 증가할 때마다) 도출한다. 도 21에 도시된 바와 같이, 가중치 계수(F2)는 고주의도 예컨대 피사체영역을 나타내는 영역에 대해 증가되고, 저주의도, 예컨대 배경영역을 나타내는 영역에 대해 감소한다. 주의도와 가중치 계수(F2) 사이의 관계로서, 이 방법은 주의도가 사전에 분류된(상기 방식으로 이동벡터를 사용하여 피사체의 이동과 일치하는 카메라 작동에 따라 분류된) 영상에 특정 국소적 열화를 더함으로써 얻은 주관적 평가특성(공간 특징량(DS)의 평균치)으로부터의 가중치 계수(F1)의 영향을 고려하여 최적의 관계를 도출한다.
단계(S33) 대신에 단계(30)에서 각 블록의 이동벡터로부터의 테이블의 형태로 가중치 계수(F1)를 사전에 구하고, 또한 단계(S31)에서 한 프레임내에 이동벡터들로부터 주의도를 식별하기 위한 임계치를 도출한 후 각 블록에 대한 테이블의 형태로 가중치 계수(F2)를 사전에 구하여, 단계(33)에서 식(4)의 계산시에 테이블을 참조함으로써 가중치 계수를 계산하는 것으로 충분하다.
이런 식으로, 공간 특징량(DS)의 도출이 완료된다. 시공간적 특징량 도출유닛(12)의 제 1 도출수단(121)은 시간의 경과에 따라 각 프레임에 대한 상기 처리를 수행한다. 공간 특징량(DS) 도출 처리를 제외한 단계(S2)에서의 처리와 단계(S1 및 S3)에서의 처리는 제 1 실시예에서와 동일하다.
이 실시예는 영상의 이동속도에 기인한 주관적 평가에서의 차이를 고려한 가중치 연산을 수행하고 영상에 대하여 사용자의 주의도에 기인한 주관적 평가에서의 차이를 고려하여 가중치 연산을 수행함으로써 주관적 평가치의 추정 정확도를 향상시킬 수 있다.
고정된 장소(배경이 고정되는 환경)에 제공되는 영상 통신 서비스에서, 단계(S31 및 S32)에서 피사체 부분만 처리를 수행하는 것으로 충분하기 때문에, 피사체 영역으로서 프레임내 차이가 있는 영역과 배경영역으로서 임의의 프레임간 차이없는 영역을 고려하는 한편 이동벡터 대신에 프레임간 차이를 구하여 간단한 계산을 수행하는 것이 고려될 수 있다.
[제 3 실시예]
본 발명의 제 3 실시예가 후술되어 있다. 이 실시예는 제 1 실시예에서 기술된 공간 특징량(DS)을 도출하는 방법과 제 2 실시예에서 기술된 공간 특징량(DS)를 도출하는 방법을 조합하도록 고안되어 있다.
즉, 시공간적 특징량 도출유닛(12)의 제 1 도출수단(121)이 이동벡터를 고려한 제 2 실시예에서의 단계(S30 내지 S32)를 기초로 각 블록에 대한 열화량을 계산 한다. 그런 후, 제 1 도출수단(121)은 전체 프레임내 평균 열화량과 고열화강도를 갖는 영역내 평균 열화량을 고려하여 상기 제 1 실시예에서의 단계(S11 및 S12)를 기초로 식(1)에 따른 공간 특징량(DS)을 계산한다. 이는 제 1 및 제 2 실시예에 따른 도출방법을 조합할 수 있게 한다.
제 1 내지 제 3 실시예에 따른 각각의 영상품질 객관적 평가장치는 CPU, 저장장치, 외부용 인터페이스 및 이들 하드웨어 자원을 제어하는 프로그램에 의해 실행될 수 있다. 이러한 컴퓨터가 본 발명의 영상품질 객관적 평가방법을 실행하게 하기 위한 영상품질의 객관적 평가 프로그램이 플랙시블 디스크(flexible disk), CD-ROM, DVD-ROM 또는 메모리 카드와 같은 기록매체에 기록되면서 제공된다. CPU는 저장장치에서 기록매체로부터 읽고 상기 프로그램에 따라 제 1 실시예 내지 제 3 실시예에 기술된 처리를 실행한다.
본 발명은 영상신호의 물리적 특징량의 측정으로부터 주관적인 품질을 추정하는 영상품질 객관적 평가에 적용될 수 있다.

Claims (14)

  1. 열화영상신호로부터 평가대상으로서 상기 열화영상신호 및 상기 열화영상신호의 열화 전 신호로서 기준영상신호에서 발생된 열화의 특징량으로서 시공간적 특징량을 도출하는 시공간적 특징량 도출유닛과, 사전에 구한 열화영상과 사용자가 구한 주관적 평가치 간의 관계를 기초로 하여 상기 시공간적 특징량을 가중치 연산함으로써 상기 열화영상신호에 대한 주관적 품질을 추정하는 주관적 품질추정유닛을 구비하고, 상기 시공간적 특징량 도출유닛은 상기 열화영상신호의 평가대상 프레임에서 발생된 열화의 공간적 국소성을 고려하여 공간적 특징량을 도출하는 제 1 도출수단과, 상기 열화영상신호의 평가대상 프레임내 발생된 열화의 시간적 특징량을 도출하기 위한 제 2 도출수단과, 상기 평가대상 프레임내에 발생된 열화의 공간적 국소성과 상기 공간적 특징량 및 상기 시간적 특징량을 사용한 시간축상의 국소성을 고려하여 상기 시공간적 특징량을 도출하기 위한 제 3 도출수단을 구비하는 것을 특징으로 하는 영상품질 객관적 평가장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 시공간적 특징량 도출유닛의 상기 제 1 도출수단은 상기 평가대상 프레임내 공간적 열화량 분포의 통계량 및 사전에 구한 상기 통계량과 사용자가 구한 주관적 평가치 간의 관계를 기초로 하여 상기 공간적 특징량을 구하는 것을 특징으로 하는 영상품질 객관적 평가장치.
  4. 제 3 항에 있어서,
    전체 평가대상 프레임에 의해 열화량을 평균함으로써 구해진 값으로서 프레임 평균 열화량, 기설정된 열화강도 범위내에 포함되는 열화가 발생된 상기 평가대상 프레임의 영역의 크기, 상기 영역에 속하는 열화량을 평균함으로써 구해진 값으로서 국소적 열화영역 평균 열화량, 및 상기 프레임 평균 열화량과 상기 국소적 열화영역 평균 열화량 사이의 차이값 중 하나 또는 임의의 조합이 상기 열화량 분포의 통계량으로서 사용되는 것을 특징으로 하는 영상품질 객관적 평가장치.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 시공간적 특징량 도출유닛의 상기 제 3 도출수단은 열화량으로서 각각의 시간적 특징량과 공간적 특징량을 설정하고, 시간축상의 국소적 열화량, 상기 시간축상에 어떠한 국소적 열화도 없는 평균 열화량, 및 사전에 구해진 열화량과 사용자가 구한 주관적 평가치 간의 관계를 기초로 각각의 공간적 특징량과 시간적 특징량에 대한 시공간적 특징량을 도출하는 것을 특징으로 하는 영상품질 객관적 평가장치.
  7. 제 6 항에 있어서,
    상기 시공간적 특징량 도출유닛의 상기 제 3 도출수단은 사전에 구한 열화량과 사용자가 구한 주관적 평가치 간의 관계를 기초로 국소적 열화 식별 임계치를 결정하고, 현재 시점에서의 열화량과 현재 시점까지의 평균 열화량 사이의 차이값이 적어도 국소적 열화 식별 임계치인 경우 상기 국소적 열화가 발생된 것으로 결정하는 것을 특징으로 하는 영상품질 객관적 평가장치.
  8. 제 7 항에 있어서,
    상기 국소적 열화의 변동량 및 사용자가 구한 주관적 평가에 따른 상기 평균 열화량에 대한 지속시간의 영향을 고려하여 결정되는 열화강도와 지속시간 간의 관계를 저장하는 열화강도 데이터베이스를 구비하고, 상기 시공간적 특징량 도출유닛의 상기 제 3 도출수단은 상기 열화강도 데이터베이스로부터의 상기 국소적 열화 및 상기 지속시간의 변동량에 따라 열화강도를 획득하는 것을 특징으로 하는 영상품질 객관적 평가장치.
  9. 제 8 항에 있어서,
    열화량과 주관적 평가치 사이의 관계를 기초로 하여 결정된 열화강도의 총 값을 저장하는 제 1 테이블과, 상기 열화량과 사용자가 구한 상기 주관적 평가치 간의 관계를 기초로 하여 결정된 열화강도의 총 값 및 시공간적 특징량 사이의 관계를 저장하는 제 2 테이블을 구비하고, 상기 시공간적 특징량 도출유닛의 상기 제 3 도출수단은 상기 제 1 테이블을 기초로 각각의 단위측정시간에 대한 상기 열화강도 데이터베이스로부터 획득된 열화강도를 합하고, 상기 제 2 테이블을 기초로 열화강도의 총 합으로부터 상기 시공간적 특징량을 도출하는 것을 특징으로 하는 영상품질 객관적 평가장치.
  10. 제 1 항에 있어서,
    상기 시공간적 특징량 도출유닛의 상기 제 1 도출수단은 프레임을 분할함으로써 얻은 각 블록에 대한 프레임간 차이값을 기초로 한 각 블록에 대해 기준영상신호에서의 영상의 이동을 검출하고, 각 블록에 대해, 상기 기준영상신호의 대응하는 블록에서 검출된 영상의 이동과 사전에 구한 열화영상의 이동 속도와 사용자가 구한 주관적 평가치 간의 관계를 기초로 상기 열화영상신호의 각 블록의 열화량을 가중치 연산함으로써 공간적 특징량을 구하는 것을 특징으로 하는 영상품질 객관적 평가장치.
  11. 제 1 항에 있어서,
    상기 시공간적 특징량 도출유닛의 상기 제 1 도출수단은 프레임을 분할함으로써 얻은 각 블록의 이동벡터를 기초로 하여 각 블록에 대한 기준영상신호에서의 영상의 이동을 검출하고, 상기 기준영상신호의 대응하는 블록에서 검출된 영상의 이동과 사전에 구한 열화영상의 이동속도와 사용자가 구한 주관적 평가치 간의 관계를 기초로 열화영상신호의 블록의 열화량을 가중치 연산함으로써 공간적 특징량을 구하는 것을 특징으로 하는 영상품질 객관적 평가장치.
  12. 제 1 항에 있어서,
    상기 시공간적 특징량 도출유닛의 상기 제 1 도출수단은 프레임을 분할함으로써 얻은 각 블록의 이동벡터를 기초로 하여 각 블록에 대한 기준영상신호에 대하여 사용자의 주의도(attention degree)를 도출하고, 상기 기준영상신호의 대응하는 블록으로부터 도출된 주의도 및 사전에 구한 열화영상에 대한 사용자의 주의도와 상기 열화된 영상에 대하여 사용자가 구한 주관적 평가치 간의 관계를 기초로 열화영상신호의 블록의 열화량을 가중치 연산함으로써 공간적 특징량을 구하는 것을 특징으로 하는 영상품질 객관적 평가장치.
  13. 열화영상신호로부터 평가대상으로서 상기 열화영상신호 및 상기 열화영상신호의 열화 전 신호로서 기준영상신호에서 발생된 열화의 특징량으로서 시공간적 특징량을 도출하는 시공간적 특징량 도출단계와, 사전에 구한 열화영상과 사용자가 구한 주관적 평가치 간의 관계를 기초로 하여 상기 시공간적 특징량을 가중치 연산함으로써 상기 열화영상신호에 대한 주관적 품질을 추정하는 주관적 품질추정단계를 포함하고, 상기 시공간적 특징량 도출단계는 상기 열화영상신호의 평가대상 프레임에서 발생된 열화의 공간적 국소성을 고려하여 공간적 특징량을 도출하는 제 1 도출단계와, 상기 열화영상신호의 평가대상 프레임내 발생된 열화의 시간적 특징량을 도출하는 제 2 도출단계와, 상기 평가대상 프레임내에 발생된 열화의 공간적 국소성과 상기 공간적 특징량 및 상기 시간적 특징량을 사용한 시간축상의 국소성을 고려하여 상기 시공간적 특징량을 도출하는 제 3 도출단계를 구비하는 것을 특징으로 하는 영상품질 객관적 평가방법.
  14. 열화영상신호로부터 평가대상으로서 상기 열화영상신호 및 상기 열화영상신호의 열화 전 신호로서 기준영상신호에서 발생된 열화의 특징량으로서 시공간적 특징량을 도출하는 시공간적 특징량 도출단계와, 사전에 구한 열화영상과 사용자가 구한 주관적 평가치 간의 관계를 기초로 하여 상기 시공간적 특징량을 가중치 연산함으로써 상기 열화영상신호에 대한 주관적 품질을 추정하는 주관적 품질추정단계를 포함하고, 상기 시공간적 특징량 도출단계는 상기 열화영상신호의 평가대상 프레임에서 발생된 열화의 공간적 국소성을 고려하여 공간적 특징량을 도출하는 제 1 도출단계와, 상기 열화영상신호의 평가대상 프레임내 발생된 열화의 시간적 특징량을 도출하는 제 2 도출단계와, 상기 평가대상 프레임내에 발생된 열화의 공간적 국소성과 상기 공간적 특징량 및 상기 시간적 특징량을 사용한 시간축상의 국소성을 고려하여 상기 시공간적 특징량을 도출하는 제 3 도출단계를 컴퓨터로 실행시키기 위한 프로그램을 기록한 기록매체.
KR1020077007552A 2004-10-18 2005-10-17 영상품질 객관적 평가장치, 평가방법 및 프로그램 KR100858999B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00303204 2004-10-18
JP2004303204 2004-10-18
JP2005201916 2005-07-11
JPJP-P-2005-00201916 2005-07-11

Publications (2)

Publication Number Publication Date
KR20070061855A KR20070061855A (ko) 2007-06-14
KR100858999B1 true KR100858999B1 (ko) 2008-09-18

Family

ID=36202916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077007552A KR100858999B1 (ko) 2004-10-18 2005-10-17 영상품질 객관적 평가장치, 평가방법 및 프로그램

Country Status (7)

Country Link
US (1) US8130274B2 (ko)
EP (1) EP1804519A4 (ko)
JP (1) JP4733049B2 (ko)
KR (1) KR100858999B1 (ko)
CN (1) CN101036399B (ko)
CA (1) CA2582531C (ko)
WO (1) WO2006043500A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899070B1 (ko) 2017-07-19 2018-09-14 국방과학연구소 랜덤신호에 대한 강건성 정량화를 통한 단독 영상 품질 평가 방법 및 장치

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811835B1 (ko) 2006-10-25 2008-03-10 주식회사 에스원 동영상 특징량 추출방법 및 이를 이용한 내용 기반 동영상검색방법
US7920758B2 (en) * 2006-11-22 2011-04-05 Tektronix, Inc. Measurement apparatus and method of measurement of video spatial scale, offset and cropping
KR100893609B1 (ko) 2007-06-05 2009-04-20 주식회사 케이티 인간 시각 특성을 이용한 영상 품질 측정 장치 및 방법
US20090097546A1 (en) * 2007-10-10 2009-04-16 Chang-Hyun Lee System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate
WO2009091530A1 (en) * 2008-01-18 2009-07-23 Thomson Licensing Method for assessing perceptual quality
JP2009260941A (ja) * 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、及びプログラム
JP2009260940A (ja) * 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
EP2114080A1 (en) * 2008-04-30 2009-11-04 Thomson Licensing Method for assessing the quality of a distorted version of a frame sequence
US8699818B2 (en) 2008-04-30 2014-04-15 Nec Corporation Method, system, and program for determining image quality based on pixel changes between image frames
CN101616315A (zh) * 2008-06-25 2009-12-30 华为技术有限公司 一种视频质量评价方法、装置和系统
CN101626506B (zh) * 2008-07-10 2011-06-01 华为技术有限公司 一种视频码流的质量评估方法、装置及系统
EP2383665B1 (en) 2009-01-23 2017-10-25 Nec Corporation Matching weighting information extracting device
US8422795B2 (en) 2009-02-12 2013-04-16 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
US8185334B2 (en) * 2009-03-05 2012-05-22 Tektronix, Inc. Methods and systems for filtering a digital signal
FR2947069A1 (fr) * 2009-06-19 2010-12-24 Thomson Licensing Procede de selection de versions d'un document parmi une pluralite de versions recues a la suite d'une recherche, et recepteur associe
JP5221459B2 (ja) * 2009-07-01 2013-06-26 日本電信電話株式会社 映像品質推定装置、システム、方法およびプログラム
CN101827280B (zh) * 2010-02-04 2012-03-21 深圳市同洲电子股份有限公司 视频输出质量的检测方法和装置
CN102223565B (zh) * 2010-04-15 2013-03-20 上海未来宽带技术股份有限公司 一种基于视频内容特征的流媒体视频质量评估方法
WO2011134110A1 (en) * 2010-04-30 2011-11-03 Thomson Licensing Method and apparatus for measuring video quality using at least one semi -supervised learning regressor for mean observer score prediction
HUE026522T2 (en) * 2010-12-10 2016-06-28 Deutsche Telekom Ag Procedure and equipment for objective evaluation of video quality based on continuous pack loss visibility estimation
CN102209257B (zh) * 2011-06-17 2013-11-20 宁波大学 一种立体图像质量客观评价方法
CN103609069B (zh) * 2011-06-21 2018-07-24 汤姆逊许可公司 用于评估媒体数据质量的用户终端设备、服务器设备、系统及方法
CN102271279B (zh) * 2011-07-22 2013-09-11 宁波大学 一种立体图像的最小可察觉变化步长的客观分析方法
EP2745518B1 (en) * 2011-09-26 2017-06-14 Telefonaktiebolaget LM Ericsson (publ) Estimating user-perceived quality of an encoded video stream
US9203708B2 (en) 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
FR2982449A1 (fr) * 2011-11-07 2013-05-10 France Telecom Procede d'evaluation d'au moins un defaut de qualite dans un signal de donnees, dispositif et programme d'ordinateurs associes
KR20140101745A (ko) * 2011-11-28 2014-08-20 톰슨 라이센싱 다수 아티팩트를 고려한 비디오 품질 측정
CN103379358B (zh) * 2012-04-23 2015-03-18 华为技术有限公司 评估多媒体质量的方法和装置
CN103634577B (zh) 2012-08-22 2014-12-31 华为技术有限公司 多媒体质量的监控方法和设备
CN103152599A (zh) * 2013-02-01 2013-06-12 浙江大学 基于有序回归的移动视频业务用户体验质量评估方法
US10346680B2 (en) * 2013-04-12 2019-07-09 Samsung Electronics Co., Ltd. Imaging apparatus and control method for determining a posture of an object
CN103281555B (zh) * 2013-04-24 2015-06-10 北京邮电大学 基于半参考评估的视频流业务QoE客观评估方法
CN104463339A (zh) * 2014-12-23 2015-03-25 合一网络技术(北京)有限公司 多媒体资源制作者的评估方法及其装置
US10674180B2 (en) * 2015-02-13 2020-06-02 Netflix, Inc. Techniques for identifying errors introduced during encoding
DE102016201987A1 (de) * 2015-02-16 2016-08-18 Robert Bosch Engineering and Business Solutions Ltd. Ein Verfahren zum Testen einer durch eine Displayeinrichtung angezeigten Grafik
CN105163106B (zh) * 2015-07-22 2017-04-12 天津科技大学 一种多重数据处理的视频质量评价系统
CN106341683A (zh) * 2016-08-24 2017-01-18 乐视控股（北京）有限公司 全景视频质量判断方法及系统
US10834406B2 (en) 2016-12-12 2020-11-10 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
CN109255389B (zh) * 2018-09-28 2022-03-25 中国科学院长春光学精密机械与物理研究所 一种装备评价方法、装置、设备及可读存储介质
KR102192017B1 (ko) * 2019-07-16 2020-12-16 연세대학교 산학협력단 인간의 시각 특성을 반영한 비디오의 화질 평가 장치 및 방법
CN113473117B (zh) * 2021-07-19 2022-09-02 上海交通大学 一种基于门控循环神经网络的无参考音视频质量评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01298890A (ja) * 1988-05-27 1989-12-01 Nippon Telegr & Teleph Corp <Ntt> 画像誤差評価方法
JPH0690468A (ja) * 1992-09-09 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> 伝送路バースト符号誤り評価装置
JP2004080177A (ja) * 2002-08-13 2004-03-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446492A (en) 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
JP3458600B2 (ja) 1996-05-10 2003-10-20 Ｋｄｄｉ株式会社 ディジタル画像品質評価装置
JP3458581B2 (ja) * 1996-01-11 2003-10-20 Ｋｄｄｉ株式会社 ディジタル画像品質評価装置
US6239834B1 (en) 1996-01-11 2001-05-29 Kokusai Denshin Denwa Co., Ltd. Apparatus for evaluating digital picture quality
DE69803830T2 (de) 1998-03-02 2002-09-12 Koninkl Kpn Nv Verfahren, Vorrichtung, ASIC und deren Benutzung zur objektiven Videoqualitätbewertung
US7010159B2 (en) * 2001-04-25 2006-03-07 Koninklijke Philips Electronics N.V. Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology
US6822675B2 (en) * 2001-07-03 2004-11-23 Koninklijke Philips Electronics N.V. Method of measuring digital video quality
CN1157059C (zh) * 2002-01-29 2004-07-07 北京工业大学 一种结合运动特征的视频质量评价方法
US7038710B2 (en) * 2002-07-17 2006-05-02 Koninklijke Philips Electronics, N.V. Method and apparatus for measuring the quality of video data
JP2004172753A (ja) * 2002-11-18 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> 映像・音声品質客観評価方法及び装置
EP1445958A1 (en) * 2003-02-05 2004-08-11 STMicroelectronics S.r.l. Quantization method and system, for instance for video MPEG applications, and computer program product therefor
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
GB0314162D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01298890A (ja) * 1988-05-27 1989-12-01 Nippon Telegr & Teleph Corp <Ntt> 画像誤差評価方法
JPH0690468A (ja) * 1992-09-09 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> 伝送路バースト符号誤り評価装置
JP2004080177A (ja) * 2002-08-13 2004-03-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899070B1 (ko) 2017-07-19 2018-09-14 국방과학연구소 랜덤신호에 대한 강건성 정량화를 통한 단독 영상 품질 평가 방법 및 장치

Also Published As

Publication number Publication date
JP4733049B2 (ja) 2011-07-27
US8130274B2 (en) 2012-03-06
KR20070061855A (ko) 2007-06-14
CN101036399A (zh) 2007-09-12
EP1804519A4 (en) 2010-01-06
JPWO2006043500A1 (ja) 2008-05-22
WO2006043500A1 (ja) 2006-04-27
US20080143837A1 (en) 2008-06-19
CA2582531A1 (en) 2006-04-27
EP1804519A1 (en) 2007-07-04
CN101036399B (zh) 2010-05-05
CA2582531C (en) 2013-03-12

Similar Documents

Publication Publication Date Title
KR100858999B1 (ko) 영상품질 객관적 평가장치, 평가방법 및 프로그램
RU2402885C2 (ru) Классификация контента для обработки мультимедийных данных
KR100977694B1 (ko) 비디오 코딩용 순간 품질 메트릭
JP5496914B2 (ja) 知覚上の品質を評価する方法
EP2786342B1 (en) Texture masking for video quality measurement
US20140301486A1 (en) Video quality assessment considering scene cut artifacts
US8611423B2 (en) Determination of optimal frame types in video encoding
US20150365662A1 (en) Method And Apparatus For Context-Based Video Quality Assessment
Ong et al. Perceptual quality metric for H. 264 low bit rate videos
JP2007043642A (ja) 映像品質評価装置、方法およびプログラム
WO2014121571A1 (en) Method and apparatus for context-based video quality assessment
Gurav et al. Full-reference video quality assessment using structural similarity (SSIM) index
KR100339368B1 (ko) 영상 신호의 잡음 크기 추정 방법 및 장치
Farrugia et al. Objective video quality metrics for HDTV services: A survey
Loh et al. New spatiotemporal method for assessing video quality
Yang et al. Research on Video Quality Assessment.
Rahman et al. Reduced-reference Video Quality Metric Using Spatio-temporal Activity Information
Yang et al. Temporal quality evaluation for enhancing compressed video
WO2013159275A1 (en) Perceived video quality estimation considering visual attention
Baliar et al. Efficiency Estimation of MPEG Encoder with Different Configurations of Inter-Frame Coding in Infocommunication Multimedia Systems
Zhao et al. MATHEMATICAL MODELS FOR QUALITY ANALYSIS OF MOBILE VIDEO.
Channappayya et al. Image and Video Quality Assessment
Abdul Rahman et al. Reduced-reference Video Quality Metric Using Spatio-temporal Activity Information.
Yang et al. Spatial-temporal video quality assessment based on two-level temporal pooling
Watson et al. Executive information systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120809

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130809

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140728

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160902

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170901

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180831

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 12