KR20130121913A - 프레임 손실 패턴에 기초하여 비디오 품질을 측정하기 위한 방법 및 장치 - Google Patents

프레임 손실 패턴에 기초하여 비디오 품질을 측정하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20130121913A
KR20130121913A KR1020137017105A KR20137017105A KR20130121913A KR 20130121913 A KR20130121913 A KR 20130121913A KR 1020137017105 A KR1020137017105 A KR 1020137017105A KR 20137017105 A KR20137017105 A KR 20137017105A KR 20130121913 A KR20130121913 A KR 20130121913A
Authority
KR
South Korea
Prior art keywords
frame loss
video
section
quality
group frame
Prior art date
Application number
KR1020137017105A
Other languages
English (en)
Other versions
KR101687182B1 (ko
Inventor
시아동 구
더빙 리우
쯔보 첸
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46171140&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20130121913(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130121913A publication Critical patent/KR20130121913A/ko
Application granted granted Critical
Publication of KR101687182B1 publication Critical patent/KR101687182B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H04N17/045—Self-contained testing apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/06—Diagnosis, testing or measuring for television systems or their details for recorders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 품질을 측정하는 방법 및 장치가 제공된다. 본 방법은 비디오의 각 프레임이 손실되었는지 또는 성공적으로 전송되었는지 여부를 나타내는 것에 의해 비디오의 프레임 손실 패턴을 생성하는 단계; 및 생성된 프레임 손실 패턴의 함수로서 비디오의 품질을 평가하는 단계를 포함한다.

Description

프레임 손실 패턴에 기초하여 비디오 품질을 측정하기 위한 방법 및 장치{METHOD AND APPARATUS FOR MEASURING QUALITY OF VIDEO BASED ON FRAME LOSS PATTERN}
본 발명은 프레임 손실 패턴에 기초하여 비디오의 품질을 측정하기 위한 방법 및 장치에 관한 것이다.
본 란은 아래에서 설명되고 및/또는 청구되는 본 발명의 여러 측면에 관한 것일 수 있는 이 기술 분야의 여러 측면을 독자들에게 소개하려는 것이다. 본 설명은 본 발명의 여러 측면을 더 잘 이해할 수 있게 하는 배경 정보를 독자들에게 제공하는 데 도움이 될 것으로 믿어진다. 따라서 이들 진술은 이런 관점에서 읽혀져야 하고 종래 기술의 인정으로 해석하여서는 안 되는 것으로 이해된다.
디지털 압축된 비디오의 전송에서 매우 중요한 손상의 소스는 에러를 받을 수 있는 채널을 통해 비디오 스트림을 전달하는 것으로부터 온다. 정보의 부분적인 손실이나 부분적인 손상은 프레임 내 국부적인 왜곡이 프레임에 걸쳐 공간적으로 및 시간적으로 전파될 수 있는 것으로 인해 유저의 인식된 품질에 지대한 영향을 미칠 수 있다. 이러한 프레임 손실의 시각적 영향은 손상된 스트림을 처리하는 능력에 따라 비디오 디코더들 간에 변할 수 있다. 일부 경우에, 디코더는 자기 스스로 일부 프레임을 누락시키도록 결정할 수 있다. 예를 들어, 디코더는 손상된 또는 분실된 정보를 가지는 프레임을 완전히 누락시키거나 무시하고, 그 다음 유효 디코딩 프레임이 이용가능할 때까지 이전의 비디오 프레임을 반복할 수 있다. 또한 인코더도 한 타깃 인코딩 비트 율이 너무 낮은 경우에 컨텐츠에서 움직임이 급격히 증가하는 동안 프레임을 누락할 수 있다. 상기한 모든 경우에, 프레임 손실이 비디오에 발생한다고 말할 수 있다.
많은 기존의 비디오 품질 모니터링 제품에서 매체의 전체 비디오 품질은 저키니스(jerkiness), 블록키니스(blockiness), 및 블러링(blurring)이라고 하는 3개의 주요 코딩 결함에 기초하여 분석될 수 있다. 블록키니스와 블러링은 각각 블록 경계에서의 불연속성과 고주파수 손실로 거동하는 2가지 주요 종류의 공간적 코딩 결함이다. 반면 저키니스는 가장 중요한 시간적 결함이다.
그룹 프레임 손실의 세트에 의해 야기되는 시간적 비디오 품질 저하는 저키니스라고 불리며, 여기서 그룹 프레임 손실은 비디오 시퀀스에서 하나 이상의 연속하는 프레임이 함께 손실된 것을 의미한다.
인식된 비디오 품질에서 (주기적인 및 비주기적인) 비디오 프레임 손실에 대한 인식 영향을 평가하는 것에 관한 연구가 일부 존재한다.
문헌(K. C. Yang, C. C. Guest, K.EI-Maleh and P. K. Das, "Perceptual Temporal Quality Metric for Compressed Video". IEEE Transaction on Multimedia, vol. 9, no. 7, Nov. 2007, pp. 1528 - 1535)(이하 종래 기술 1이라고 지칭됨)에서, 사람은 통상적으로 일관된 프레임 손실에 더 높은 내성을 가지고 있고 부정적인 영향은 저키니스의 측정으로 사용되는 프레임 손실의 일관성과 매우 관련되어 있다는 것이 지적되었다.
문헌(R. R. Pastrana-Vidal and J. C. Gicquel, "Automatic Quality Assessment of Video Fluidity Impairments Using a No-Reference Metric", the 2nd International Workshop on Video Processing and Quality Metric for Consumer Electronics, Scottsdale, USA 22-24, Jan. 2006)(이하 종래 기술 2라고 지칭됨)에서, 저키니스의 인식 영향과 그룹 프레임 손실의 길이와 발생 빈도 사이의 관계가 언급되었다.
본 발명의 발명자는 비디오의 프레임 손실 패턴이 전체 비디오 품질에 영향을 미칠 수 있는 저키니스의 인식 영향에 큰 영향을 미친다는 것을 발견하였다. "프레임 손실 패턴"이란 상이한 표현으로 전송하는 동안 연속적으로 전송되었는지 또는 손실되었는지 여부에 대해 비디오 시퀀스의 각 프레임의 상태를 시퀀스로 레코드하는 것에 의해 생성된 패턴을 의미한다.
그리하여 본 발명은 비디오 품질을 측정하는 방법 및 대응하는 장치를 제공하는 것에 의해 본 발견을 이용한다.
일 실시예에서, 비디오의 품질을 측정하는 방법이 제공된다. 본 방법은 비디오의 각 프레임이 손실되었는지 또는 성공적으로 전송되었는지 여부를 나타내는 것에 의해 비디오의 프레임 손실 패턴을 생성하는 단계; 및 생성된 프레임 손실 패턴의 함수로서 비디오의 품질을 평가하는 단계를 포함한다.
일 실시예에서, 비디오의 품질을 측정하는 장치가 제공된다. 본 장치는 입력 비디오를 수신하고 수신된 비디오의 프레임 손실 패턴을 생성하는 수단; 및 생성된 프레임 손실 패턴의 함수로서 비디오의 품질을 평가하는 수단을 포함한다.
본 발명의 유리한 실시예는 종속 청구항, 이하 상세한 설명 및 도면에 개시된다.
본 발명의 예시적인 실시예는 첨부 도면을 참조하여 기술된다.
도 1은 비디오의 프레임 손실 패턴의 여러 예를 도시한 예시적인 도면;
도 2는 본 발명의 일 실시예에 따른 프레임 손실 패턴에 기초하여 비디오의 품질을 측정하는 방법을 도시한 흐름도;
도 3은 프레임 손실 패턴이 2개의 서브 섹션으로 분할된 것을 도시한 예시적인 도면;
도 4는 비디오의 품질을 측정하는 방법의 프레임워크를 도시한 예시적인 도면;
도 5는 본 발명의 실시예에 따른 프레임 손실 패턴에 기초하여 비디오의 품질을 측정하는 장치를 도시한 블록도;
도 6은 비디오 품질의 주관적 테스트를 하도록 설계된 소프트웨어 툴의 인터페이스를 도시한 도면.
이하 설명에서 본 발명의 일 실시예의 여러 측면이 기술된다. 설명의 편의를 위하여, 특정 구성과 상세가 철저한 이해를 제공하기 위하여 제시된다. 그러나, 이 기술 분야에 통상의 지식을 가진 자에게는 본 발명이 본 명세서에 제시된 특정 상세 없이도 실시될 수 있다는 것이 명백할 것이다.
도 1은 비디오의 프레임 손실 패턴의 여러 예를 도시한 예시적인 도면이다. 전술된 바와 같이 프레임 손실 패턴은 상이한 표현으로 비디오의 각 프레임의 상태를 시퀀스로 레코드하는 것에 의해 생성된다. 예를 들어, 프레임 손실 패턴은 "1, 1, 1, 1, 0, 0, 1, 1, 1, 0, 1"과 같이 0 내지 1 시리즈로 표현될 수 있고, 여기서 "0"은 대응하는 프레임이 전송 동안 손실된 것을 나타내고, "1"은 프레임의 연속적인 전송을 나타낸다. 프레임 손실 패턴은 연속적인 프레임 전송 및 프레임 손실을 각각 나타내는 하이/로우 레벨을 가지는 다이어그램의 형태로 표시될 수도 있다. 도 1a는 비디오의 이러한 프레임 손실 패턴을 도시하며, 여기서 다이어그램의 각 로우 레벨(골)은 하나 이상의 연속하는 프레임 손실을 포함하는 그룹 프레임 손실을 의미하는 반면, 연속적으로 전송된 프레임은 다이어그램의 하이 레벨(산)로 표현된다. 도 1b는 2개의 상이한 프레임 손실 패턴, 즉 각 그룹 프레임 손실이 동일한 길이를 가지는 것인 10개의 그룹 프레임 손실로 각각 구성된 "패턴 1" 및 "패턴 2"를 도시한다. 비디오의 인식 저키니스에 영향을 미치는 하나의 요인(factor)으로 프레임 손실 패턴을 고려하지 않는 종래 기술 1 및 2의 조사 결과에 따라, 상기 2개의 "패턴 1"과 "패턴 2"에 의해 야기된 비디오 품질 저하는 매우 유사하여야 한다. 그러나, 본 발명의 발명자의 연구에 따르면 상기 경우에 완전히 상이한 결론에 도달하였다.
본 발명자의 발견에 따르면, 저키니스의 인식 영향은 프레임 손실 패턴에 의해 크게 영향을 받는다. 이하 경우 (1) 내지 (3)이 동일한 프레임 손실 비율 내에서 일례로 취해진다.
경우 (1): 하나의 프레임이 매 2개의 프레임에서 손실된다;
경우 (2): 4개의 연속하는 프레임이 매 8개의 프레임에서 손실된다;
경우 (3): 비디오 시퀀스의 마지막 절반이 완전히 손실된다.
상기 3개의 경우 모두에서 전체 프레임 손실 비율은 50%이다. 그러나, 그 인식 영향은 매우 다르다. 경우 1에서, 뷰어는 긴 기간 브라우징 후에 명확한 디더링과 심지어 토할 것 같은 것(feel sick)을 인식할 수 있는 반면, 경우 3에서 뷰어는 이런 종류의 현상을 인식하지 못하고 긴 기간 냉담함(freezing)을 볼 수 있다. 즉, 완전히 상이한 인식이 동일한 프레임 손실 율에서 상이한 프레임 손실 패턴에 의해 야기된다.
본 발명의 일 실시예에 따르면, 비디오의 품질을 측정하는 방법이 상기 발견에 기초하여 제공된다.
도 2는 본 발명의 일 실시예에 따라 프레임 손실 패턴에 기초하여 비디오의 품질을 측정하는 방법을 도시한 흐름도이다.
도 2에 도시된 바와 같이 본 방법은 다음 단계를 포함한다. 즉,
S201: 프레임 손실 패턴이 비디오 시퀀스의 각 프레임의 상태(손실되었는지 또는 연속적으로 전송되었는지)를 나타내는 것에 의해 생성된다;
S202: 제1 손실 프레임으로부터 비디오 시퀀스의 하나 이상의 연속하는 손실 프레임을 그룹 프레임 손실로 그룹화한다;
S203: 제1 그룹 프레임 손실로부터 프레임 손실 패턴을 하나 이상의 연속하는 그룹 프레임 손실을 가지는 복수의 섹션으로 분할하며, 여기서 섹션에 있는 각 그룹 프레임 손실은 그룹 프레임 손실과 이전의 그룹 프레임 손실 사이에 성공적으로 전송된 프레임의 수와 동일한 수 및 손실 프레임의 수와 동일한 수를 가진다;
S204: 그룹 프레임 손실의 각 섹션에 의해 생성된 품질 저하의 값을 계산한다;
S205: 모든 섹션의 값을 결합하는 것에 의해 비디오 시퀀스의 품질을 평가한다.
다음으로 상세한 설명이 첨부된 도면을 참조하여 제공된다.
본 발명의 실시예에 따른 방법에서, 제일 먼저 비디오 시퀀스의 프레임 손실 패턴이 생성된다. 이것은 적절한 방식에 의하여 비디오 시퀀스의 모든 프레임의 상태를 나타내는 것에 의해 달성될 수 있다. 이 기술 분야에 통상의 지식을 가진 자라면 프레임 손실은 알려진 방법에 의하여 검출될 수 있는 것으로 이해된다. 따라서 이 점에 대해서는 추가적인 상세가 제공되지 않는다.
다음으로, 비디오 시퀀스에서 모든 손실 프레임 중 제1 손실 프레임으로부터 시작하여, 하나 이상의 연속하는 손실 프레임이 그룹 프레임 손실이라고 언급되는 하나의 그룹으로 그룹화된다.
고려되는 프레임 손실 패턴을 시간 스탬프에 의해 주어진
Figure pct00001
라고 하고, 여기서 gdi 는 i번째 그룹 프레임 손실을 나타낸다. 이후 프레임 손실 패턴은 제1 그룹 프레임 손실로부터 복수의 서브 섹션으로 분할(또는 세그먼트화)된다. 각 서브 섹션은 하나 이상의 연속하는 그룹 프레임 손실을 포함하며, 각 그룹 프레임 손실은 비디오 시퀀스의 품질 저하에 유사한 인식 영향을 미친다.
유사한 인식 영향을 가지는 연속하는 그룹 프레임 손실을 분할하는 상기 목적을 위하여 본 방법에서는 비디오 시퀀스에서 각 그룹 프레임 손실은 2개의 파라미터
Figure pct00002
에 의해 식별될 수 있으며, 여기서 제1 파라미터
Figure pct00003
는 현재 그룹 프레임 손실과 이전 그룹 프레임 손실 사이에 성공적으로 전송된 프레임의 수이고, 제2 파라미터
Figure pct00004
는 현재 그룹 프레임 손실에서 손실된 프레임의 수이다.
Figure pct00005
와
Figure pct00006
의 값은 1 내지 10의 정수로 제한될 수 있다. 세그먼트화된 서브 섹션에서 모든 그룹 프레임 손실이 동일한 파라미터
Figure pct00007
와
Figure pct00008
를 구비하는 경우 이들은 비디오 시퀀스의 품질 저하에 유사한 인식 영향을 미칠 수 있다.
거리 함수
Figure pct00009
는 서브 섹션에서 2개의 그룹 프레임 손실들 사이에 인식 영향의 차이의 측정값으로 사용될 수 있다. 상기 거리 함수에서 함수 f(x, y)는 차후에 설명되는 비디오의 인식 품질 평가를 위해 사용된다.
프레임 손실 패턴은 거리 함수의 정의에 기초하여 서브 섹션으로 세그먼트화된다.
이하는 거리 함수의 의사 코드이다
세그먼트화 절차
Figure pct00010
상기 의사 코드에서,
Figure pct00011
는 상수이다. 이 절차는 프레임 손실 패턴(
Figure pct00012
)을 서브 섹션의 세트로 분할한다:
Figure pct00013
.
도 3은 상기 프레임 손실 패턴을 2개의 서브 섹션으로 분할하는 일례를 도시한다. 도 3에 도시된 바와 같이 하나의 서브 섹션 내 그룹 프레임 손실은 유사한 인식 영향을 가지는 것으로 고려되고, 2개의 인접한 서브 섹션은 여러 성공적으로 전송된 프레임으로 링크된다.
다음으로, 각 서브 섹션의 인식 평가가 수행된다.
동일한 서브 섹션 내 그룹 프레임 손실은 유사한 인식 평가를 가지는 것으로 고려되므로, 서브 섹션은 일반적으로 주기적인 프레임 손실로 취급될 수 있는 것으로 이해된다.
그리하여, 각 서브 섹션은 또한 2개의 파라미터
Figure pct00014
로 식별되고, 여기서 제1 파라미터
Figure pct00015
는 2개의 인접한 그룹 프레임 손실들 사이에 성공적으로 전송된 프레임의 평균 수이고, 제2 파라미터
Figure pct00016
는 서브 섹션에 있는 모든 그룹 프레임 손실의 손실된 프레임의 평균 수이다.
간단히 말하면,
Figure pct00017
와
Figure pct00018
의 서브 섹션의 특징값은 서브 섹션 내 모든 그룹 프레임 손실에 걸쳐
Figure pct00019
와
Figure pct00020
의 정확히 평균값이다.
서브 섹션의 인식 품질 저하는
Figure pct00021
와
Figure pct00022
의 특징 값으로 결정되는 것으로 가정된다.
Figure pct00023
으로 정의된다.
주관적인 검사에서
Figure pct00024
의 일부 이산 값에 대해 인식 품질 평가는 수동으로 표시될 수 있다. 이 목적을 위하여
Figure pct00025
를 가지는 이산 함수
Figure pct00026
를 정의한다.
일례로서, 함수
Figure pct00027
는 다음과 같이 정의될 수 있다:
Figure pct00028
여기서
Figure pct00029
는 임계값으로 상수이다.
Figure pct00030
는 서브 섹션에서 카메라의 움직임의 레벨의 측정값이다. 그리고
Figure pct00031
는 아래 테이블에 제공된다:
테이블 1
Figure pct00032
테이블 2
Figure pct00033
카메라의 움직임은 인식 평가에 영향을 미치는 다른 중요한 요인일 수 있으므로, 카메라의 움직임 레벨은 또한 예측될 필요가 있다.
카메라의 움직임은 알려진 방법으로 예측될 수 있다. 가장 중요한 전체 움직임 예측 모델 중 하나는 문헌(L. Y. Duan, J. Q. Wang et al, "Shot-Level Camera Motion Estimation based on a Parametric Model")(이하 종래 기술 3이라고 지칭됨)에 의해 기술된 8개의 파라미터 원근 움직임 모델이다.
종래 기술 3은 다음 수식을 개시한다:
Figure pct00034
여기서
Figure pct00035
는 전체 움직임 파라미터이고,
Figure pct00036
는 현재 프레임에서 i번째 픽셀의 공간 좌표를 나타내고,
Figure pct00037
는 이전 프레임에서 대응하는 픽셀의 좌표를 나타낸다. 움직임 모델 파라미터와 심볼 레벨 해석 사이의 관계가 수립된다:
Figure pct00038
종래 기술 3에 도입된 알고리즘은 본 발명의 실시예의 방법에서 8개의 파라미터 GME 모델을 추출하는데 적용된다. 카메라의 움직임의 레벨은 마지막으로 다음과 같이 정의된다:
Figure pct00039
여기서
Figure pct00040
는
Figure pct00041
에 대해 정의된다. 여기에는 또한 일반적인 트레이닝 문제인 비정수 변수에 함수
Figure pct00042
를 일반화하는 방법에 대한 문제가 존재한다. 그러므로, 트레이닝 기계(예를 들어, 이 기술 분야에 알려진 ANN(Artifical Neural Network))가
Figure pct00043
으로 트레이닝되는 동안
Figure pct00044
을 할당하는데 이 기계가 사용될 수 있다.
이제까지, 프레임 손실 패턴의 각 서브 섹션에 의해 생성된 인식 품질 저하의 값(
Figure pct00045
)이 획득된다.
마지막으로, 비디오 시퀀스의 품질은 프레임 손실 패턴의 모든 섹션의 값을 결합하는 것에 의해 평가될 수 있다.
이런 방법으로, 풀링(pooling) 전략이 이들 값을 비디오 시퀀스의 전체 품질 평가로 결합하는데 사용될 수 있다. 이러한 시간적인 품질의 풀링 전략은 블록키니스, 블러 등과 같은 공간 결함을 고려할 때의 풀링 전략과는 상당히 상이하다는 것이 주목되어야 한다. 사람의 시력 시스템(HVD: human vision system)의 특성으로 인해 사람들은 "미워하기는 쉽고, 용서하기는 어렵다(easy to hate, difficult to forgive)"이다. 더 높은 시간적 품질을 갖는 2개의 서브 섹션들 간에 성공적으로 전송된 프레임은 전체 시간적 품질을 고려할 때에는 통상적으로 무시될 수 있다.
전술된 세그먼트화 단계에서, 비디오 시퀀스는 주기적인 프레임 손실의 서브 섹션의 세트로 세그먼트화되고, 즉
Figure pct00046
이고, 매 2개의 인접한 서브 섹션은 일부 성공적으로 전송된 프레임(
Figure pct00047
), 즉
Figure pct00048
와
Figure pct00049
사이에 성공적으로 전송된 프레임으로 분리된다. 간략화를 위해
Figure pct00050
는 최소 품질 저하 값1을 가지는 특별한 유형의 주기적인 프레임 손실로 취급될 수 있다. 즉,
Figure pct00051
을 설정한다.
그리고 나서 모든 이들
Figure pct00052
이 세트
Figure pct00053
에 삽입되었다.
그리하여, 전체 품질 저하는
Figure pct00054
으로 정의되고,
여기서
Figure pct00055
는
Figure pct00056
의 요소에 대해 가중 함수이고, 이는
Figure pct00057
로 정의된다.
이 수식에서,
Figure pct00058
는
Figure pct00059
에서의 프레임의 수이고,
Figure pct00060
는
Figure pct00061
의 중심으로부터 마지막 프레임까지의 거리이고,
Figure pct00062
는 전술된 바와 같이
Figure pct00063
에 의해 도입된 인식 시간 저하이다.
Figure pct00064
는 사람의 "기억 & 망각" 특성을 기술하는 함수이다. 뷰어는 마지막 프레임에 대한 브라우징을 마친 때 전체 평가를 제공하는 것으로 가정된다. 마지막 프레임으로부터 더 먼 서브 섹션은 뷰어에 의해 잊어질 확률이 높다. 더 멀면 멀수록 잊어질 확률이 더 높아진다.
Figure pct00065
는 사람이 "미워하기는 쉽고 용서하기는 어렵다"는 시력 특성을 기술하는 함수이다. 사람은 왜곡 없이 서브 섹션의 대부분을 무시하며 상당한 왜곡을 가지는 서브 섹션에 대해 높은 영향을 얻을 수 있다.
도 4는 비디오 품질을 측정하는 방법의 프레임워크를 도시한 예시적인 흐름도이다. 프레임워크의 입력은 각 프레임의 손실/성공적인 수신을 나타내는 프레임 손실 패턴(또는 시간 스탬프)과 함께 수신된 비디오 시퀀스이다 프레임워크의 출력은 입력 비디오 시퀀스에 대해 비디오 품질(저키니스)의 레벨을 나타내는 값(J)이다.
도 4에 도시된 바와 같이 프레임워크의 메인 바디는 3개의 동작, 즉 (1) 입력 비디오의 프레임 손실 패턴의 세그먼트화; (2) 주기적인 프레임 손실로 고려되는 각 섹션에 대한 인식 평가; 및 (3) 풀링으로 구성된다.
세그먼트화 단계에서 입력 비디오 시퀀스의 프레임 손실 패턴이 전술된 바와 같이 섹션의 세트로 분할된다. 이들 섹션은 2종류로 분류될 수 있는데 하나의 종류(
Figure pct00066
)는 유사한 그룹 프레임 손실로 구성되고 세그먼트 내 주기적인 프레임 손실로 고려되고; 다른 종류(
Figure pct00067
)는 무 프레임 손실을 포함한다.
인식 평가 단계에서,
Figure pct00068
의 인식 평가는 상수(1)로 설정된다.
Figure pct00069
의 인식 평가는 전술된 수식 (1)에 기초하여 예측된다.
풀링 단계에서, 전체 저키니스 평가는 전술된 수식 (3)에 따라 모든 섹션의 인식 평가에 기초하여 예측된다.
본 발명의 다른 실시예는 프레임 손실 패턴에 기초하여 비디오 품질을 측정하는 장치를 제공한다.
도 5는 본 발명의 실시예에 따라 프레임 손실 패턴에 기초하여 비디오 품질을 측정하는 장치를 도시한 블록도이다.
도 5에 도시된 바와 같이, 장치(500)는 입력 비디오 시퀀스를 수신하고 수신된 비디오 시퀀스의 프레임 손실 패턴을 생성하는 프레임 손실 패턴 생성 유닛(501); 프레임 손실 패턴 생성 유닛(501)으로부터 프레임 손실 패턴을 수신하고 제1 손실 프레임으로부터 프레임 손실 패턴에 있는 하나 이상의 연속하는 손실 프레임을 그룹 프레임 손실로 그룹화하는 그룹화 유닛(502); 상기 그룹화 유닛(502)으로부터 그룹화된 프레임 손실 패턴을 수신하고 제1 그룹 프레임 손실로부터 프레임 손실 패턴을 하나 이상의 연속하는 그룹 프레임 손실을 가지는 복수의 섹션으로 분할하는 분할 유닛(503)으로서, 섹션에서 각 그룹 프레임 손실은 그룹 프레임 손실과 이전 그룹 프레임 손실 사이에 성공적으로 전송된 프레임의 수와 동일한 수 및 손실 프레임의 수와 동일한 수를 가지는 것인, 분할 유닛(503); 상기 분할 유닛(503)에 의해 출력된 그룹 프레임 손실의 각 섹션에 의해 생성된 품질 저하의 값을 계산하는 계산 유닛(504); 및 상기 계산 유닛(504)에 의해 출력된 모든 섹션의 값을 결합하고 이 값을 출력하는 것에 의해 비디오 시퀀스의 품질을 평가하는 평가 유닛(505)을 포함한다.
종래 기술 1 및 2와 비교해서 본 발명의 평가 정확도를 예측하는 실험이 행해졌다. 이 목적을 위하여 소프트웨어 툴이 비디오 품질의 주관적인 테스트를 하도록 설계되었다. 도 6은 주관적인 테스트를 하도록 설계된 소프트웨어 툴의 인터페이스를 도시한 도면이다. 입력 비디오 시퀀스는 우측 "YUV 시퀀스" 그룹 박스에서 선택될 수 있고, 프레임 손실 패턴은 우측 중앙 "프레임 손실 패턴"그룹 박스에서 선택될 수 있다. 프레임 손실 패턴에 의해 영향을 받는 비디오 시퀀스는 좌측 작은 윈도우에서 디스플레이된다.
뷰어는 다음과 같이 저키니스의 인식을 표시하도록 요청된다:
1. 인식된 품질 저하 없음;
2. 주의해서 체크하는 것에 의해 시간 축에서 일부 자연스럽지 않은 곳을 발견할 수 있으나 비디오를 즐기는데 영향을 주지는 않음;
3. 명확한 품질 저하, 통상적으로 만족감이 저하된다.
4. 품질 저하가 상당히 심하다.
5. 매우 불량, 비디오를 완전히 볼 수 없다.
주관적인 테스트에서, 10 CIF(352x288 픽셀의 비디오 해상도) 시퀀스가 선택되고 20 프레임 손실 패턴이 선택된다. 3명의 뷰어를 초빙하여 그 평균 값을 주관적인 스코어(
Figure pct00070
)로 고려하여 계산하였다. 표시된 스코어를 가진 모든 시퀀스는 데이터 세트(
Figure pct00071
)를 구성하였다.
파라미터 설정:
구현예에서 상수는 실험적으로 결정된다.
Figure pct00072
그리고 간략화를 위해, 뷰어가 300 프레임 윈도우 이전 프레임의 품질에 대해서는 망각한 것으로 가정하여 300 프레임 윈도우가 메모리 사이즈로 취해졌다. 그리고, 이 윈도우 내에서
Figure pct00073
를 설정하고
Figure pct00074
를 설정한다.
Figure pct00075
와
Figure pct00076
는 전술된 테이블 1 및 테이블 2에 의해 결정된다.
실험 결과:
본 발명의 평가 정확도는 본 발명에 따라 획득된 객관적인 평가 결과(
Figure pct00077
)를 주관적인 스코어(
Figure pct00078
)와 비교하는 것에 의해 예측된다. 피어슨 상관(Pearson Correlation)이 예측 정밀 측정을 위해 사용된다.
아래 테이블은 종래 기술 1 및 2에서 제안된 알고리즘과 본 발명의 피어슨 상관(예측 정밀도)을 도시한다.
Figure pct00079
본 발명의 바람직한 실시예에 적용된 본 발명의 기초적인 신규한 특징들이 도시되고 기술되고 설명되었으나, 기술된 장치와 방법에, 개시된 디바이스의 형태와 상세에, 및 그 동작에 여러 생략과 대체 및 변경이 본 발명의 사상을 벗어남이 없이 이 기술 분야에 통상의 지식을 가진 자에게는 이루어질 수 있는 것으로 이해된다. 동일한 결과를 달성하도록 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 요소들의 모든 조합은 본 발명의 범위 내에 있는 것으로 의도된다. 하나의 실시예로부터 다른 실시예로 요소를 대체하는 것 또한 완전히 의도되고 고려된다.
본 발명은 순전히 예로서 설명된 것이고 본 발명의 범위를 벗어남이 없이 상세에 변경이 이루어질 수 있는 것으로 이해된다. 상세한 설명과 (적절한 경우) 청구범위 및 도면에 개시된 각 특징은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 적절한 경우 특징은 하드웨어, 소프트웨어, 또는 이들 둘 모두의 조합으로 구현될 수 있다.

Claims (10)

  1. 비디오 품질을 측정하는 방법으로서,
    비디오에서 각 프레임이 손실되었는지 또는 성공적으로 전송되었는지 여부를 나타내는 것에 의해 상기 비디오의 프레임 손실 패턴을 생성하는 단계; 및
    상기 생성된 프레임 손실 패턴의 함수로서 상기 비디오의 품질을 평가하는 단계를 포함하는, 비디오 품질의 측정 방법.
  2. 제1항에 있어서, 상기 평가하는 단계는,
    제1 손실 프레임으로부터 상기 비디오의 하나 이상의 연속하는 손실 프레임을 그룹 프레임 손실로 그룹화하는 단계;
    제1 그룹 프레임 손실로부터, 상기 프레임 손실 패턴을 하나 이상의 연속하는 그룹 프레임 손실을 가지는 복수의 섹션으로 분할하는 단계로서, 섹션에서 각 그룹 프레임 손실은 상기 그룹 프레임 손실과 이전의 그룹 프레임 손실 사이에 성공적으로 전송된 프레임의 수와 동일한 수 및 손실된 프레임의 수와 동일한 수를 가지는 것인, 상기 분할하는 단계;
    그룹 프레임 손실의 각 섹션에 의해 생성된 품질 저하의 값을 계산하는 단계; 및
    모든 섹션의 값을 결합하는 것에 의해 상기 비디오의 품질을 평가하는 단계를 포함하는 것인 비디오 품질의 측정 방법.
  3. 제2항에 있어서, 상기 섹션 내 2개의 인접한 그룹 프레임 손실 사이에 성공적으로 전송된 프레임의 평균 수와 상기 섹션 내 모든 그룹 프레임 손실의 손실 프레임의 평균 수의 함수로서 그룹 프레임 손실의 섹션에 의해 생성된 품질 저하의 값을 계산하는 단계를 더 포함하는 비디오 품질의 측정 방법.
  4. 제2항 또는 제3항에 있어서, 상기 평가하는 단계는 가중된 풀링(weighted pooling)에 의해 모든 섹션의 값을 결합하는 단계를 포함하는 것인 비디오 품질의 측정 방법.
  5. 제4항에 있어서, 상기 가중된 풀링에서 하나의 섹션의 가중 계수는 상기 섹션에서의 프레임의 수, 상기 섹션의 중심에서 마지막 프레임까지의 거리, 및 상기 섹션에 의해 도입된 인식 시간 저하에 좌우되는 것인 비디오 품질의 측정 방법.
  6. 비디오 품질을 측정하는 장치로서,
    입력 비디오를 수신하고 수신된 비디오의 프레임 손실 패턴을 생성하는 수단; 및
    상기 생성된 프레임 손실 패턴의 함수로서 상기 비디오의 품질을 평가하는 수단을 포함하는 비디오 품질의 측정 장치.
  7. 제6항에 있어서, 상기 비디오의 품질을 평가하는 수단은,
    프레임 손실 패턴 생성 유닛(501)으로부터 상기 프레임 손실 패턴을 수신하고, 제1 손실 프레임으로부터 상기 프레임 손실 패턴 내 하나 이상의 연속하는 손실 프레임을 그룹 프레임 손실로 그룹화하는 그룹화 유닛;
    상기 그룹화 유닛으로부터 그룹화된 프레임 손실 패턴을 수신하고 제1 그룹 프레임 손실로부터 상기 프레임 손실 패턴을 하나 이상의 연속하는 그룹 프레임 손실을 가지는 복수의 섹션으로 분할하는 분할 유닛으로서, 섹션 내 각 그룹 프레임 손실은 상기 그룹 프레임 손실과 이전 그룹 프레임 손실 사이에 성공적으로 전송된 프레임의 수와 동일한 수 및 손실 프레임의 수와 동일한 수를 가지는 것인 상기 분할 유닛;
    상기 분할 유닛에 의해 출력된 그룹 프레임 손실의 각 섹션에 의해 생성된 품질 저하의 값을 계산하는 계산 유닛; 및
    상기 계산 유닛에 의해 출력된 모든 섹션의 값을 결합하고 상기 값을 출력하는 것에 의해 상기 비디오의 품질을 평가하는 평가 유닛을 포함하는 것인 비디오 품질의 측정 장치.
  8. 제7항에 있어서, 상기 계산 유닛은, 상기 섹션 내 2개의 인접한 그룹 프레임 손실들 사이에 성공적으로 전송된 프레임의 평균 수 및 상기 섹션 내 모든 그룹 프레임 손실의 손실 프레임의 평균 수의 함수로서, 그룹 프레임 손실의 섹션에 의해 생성된 품질 저하의 값을 계산하는 것인 비디오 품질의 측정 장치.
  9. 제7항 또는 제8항에 있어서, 상기 평가 유닛은 가중된 풀링에 의하여 모든 섹션의 값을 결합하는 것인 비디오 품질의 측정 장치.
  10. 제9항에 있어서, 상기 가중된 풀링에서 하나의 섹션의 가중 계수는 상기 섹션에서의 프레임의 수, 상기 섹션의 중심에서 마지막 프레임까지의 거리, 및 상기 섹션에 의해 도입된 인식 시간 저하에 좌우되는 것인 비디오 품질의 측정 장치.
KR1020137017105A 2010-11-30 2010-11-30 프레임 손실 패턴에 기초하여 비디오 품질을 측정하기 위한 방법 및 장치 KR101687182B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/001922 WO2012071680A1 (en) 2010-11-30 2010-11-30 Method and apparatus for measuring quality of video based on frame loss pattern

Publications (2)

Publication Number Publication Date
KR20130121913A true KR20130121913A (ko) 2013-11-06
KR101687182B1 KR101687182B1 (ko) 2016-12-16

Family

ID=46171140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137017105A KR101687182B1 (ko) 2010-11-30 2010-11-30 프레임 손실 패턴에 기초하여 비디오 품질을 측정하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US8970710B2 (ko)
EP (1) EP2647199B1 (ko)
JP (1) JP2014504471A (ko)
KR (1) KR101687182B1 (ko)
CN (1) CN103339951B (ko)
WO (1) WO2012071680A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3706411A1 (en) 2019-03-05 2020-09-09 Carrier Corporation Early video equipment failure detection system
CN110782660B (zh) * 2019-09-12 2021-09-10 腾讯科技（深圳）有限公司 车联网信息的检测方法、装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090126316A (ko) * 2007-04-03 2009-12-08 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 비디오 품질 평가 방법 및 시스템

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0012992D0 (en) * 2000-05-26 2000-07-19 British Telecomm Test method
US7607016B2 (en) * 2001-04-20 2009-10-20 Digimarc Corporation Including a metric in a digital watermark for media authentication
JP2003199128A (ja) * 2001-12-25 2003-07-11 Ando Electric Co Ltd 動画配信試験装置
US7933329B2 (en) * 2005-08-24 2011-04-26 Exfo Service Assurance Inc. System and method for monitoring video packets for quantifying video quality
US7661161B2 (en) 2006-01-27 2010-02-16 Amo Manufacturing Usa, Llc. Chair stabilizer for refractive surgery
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
US8296813B2 (en) 2006-06-22 2012-10-23 Sony Computer Entertainment Inc. Predictive frame dropping to enhance quality of service in streaming data
KR100853184B1 (ko) * 2006-10-24 2008-08-20 한국전자통신연구원 멀티캐스트 서비스 트래픽의 프레임 손실 측정 장치 및 그방법
US8839325B2 (en) * 2007-02-14 2014-09-16 At&T Intellectual Property I, L.P. System and method of managing video content quality
KR100787314B1 (ko) * 2007-02-22 2007-12-21 광주과학기술원 미디어내 동기화를 위한 적응형 미디어 재생 방법 및 장치
US8605779B2 (en) * 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
CA2668003C (en) 2007-08-22 2013-04-02 Nippon Telegraph And Telephone Corporation Video quality estimation device, video quality estimation method, frame type judgment method, and recording medium
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
JP5172440B2 (ja) 2008-01-08 2013-03-27 日本電信電話株式会社 映像品質推定装置、方法およびプログラム
JP5076932B2 (ja) * 2008-02-01 2012-11-21 富士通株式会社 フレームカウンタ補正装置及び対向装置
TWI374672B (en) * 2008-07-04 2012-10-11 Univ Nat Taiwan Seamless wireless video transmission for multimedia applications
WO2010009637A1 (zh) * 2008-07-21 2010-01-28 华为技术有限公司 一种视频质量评估方法、系统及装置
US20100091841A1 (en) * 2008-10-07 2010-04-15 Motorola, Inc. System and method of optimized bit extraction for scalable video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090126316A (ko) * 2007-04-03 2009-12-08 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 비디오 품질 평가 방법 및 시스템

Also Published As

Publication number Publication date
KR101687182B1 (ko) 2016-12-16
CN103339951B (zh) 2016-01-20
EP2647199A1 (en) 2013-10-09
EP2647199B1 (en) 2017-01-11
WO2012071680A1 (en) 2012-06-07
JP2014504471A (ja) 2014-02-20
US20130235214A1 (en) 2013-09-12
EP2647199A4 (en) 2014-05-07
CN103339951A (zh) 2013-10-02
US8970710B2 (en) 2015-03-03

Similar Documents

Publication Publication Date Title
JP5496914B2 (ja) 知覚上の品質を評価する方法
JP2018522448A (ja) 知覚的ビデオ品質を予測する技術
Ma et al. Reduced-reference video quality assessment of compressed video sequences
US20040028139A1 (en) Video encoding
JP2008504750A5 (ko)
US20100086063A1 (en) Quality metrics for coded video using just noticeable difference models
EP1525753A1 (en) A method and apparatus for measuring the quality of video data
CN103988500A (zh) 视频质量测量
CN108174208B (zh) 一种基于特征分类的高效视频编码方法
CN111988611A (zh) 量化偏移信息的确定方法、图像编码方法、装置及电子设备
CN109997360A (zh) 基于感知度量分类对视频进行编码和解码的方法和装置
US10129565B2 (en) Method for processing high dynamic range video in order to improve perceived visual quality of encoded content
KR20130121913A (ko) 프레임 손실 패턴에 기초하여 비디오 품질을 측정하기 위한 방법 및 장치
CN112437301A (zh) 一种面向视觉分析的码率控制方法、装置、存储介质及终端
Keimel et al. Improving the prediction accuracy of video quality metrics
Wang et al. Network-based model for video packet importance considering both compression artifacts and packet losses
Chen et al. AV1 video coding using texture analysis with convolutional neural networks
Keimel et al. Extending video quality metrics to the temporal dimension with 2D-PCR
Liu et al. Perceptual quality measurement of video frames affected by both packet losses and coding artifacts
KR101471010B1 (ko) 동영상 화질평가 방법 및 시스템
JP2016178641A (ja) フレーム損失パターンに基づいてビデオの品質を測定する方法および装置
CN107147889A (zh) Vr视频的编码方法和装置
KR101465148B1 (ko) 동영상을 부호화/복호화하기 위한 장치 및 그 방법
EP2798846B1 (en) Assessing packet loss visibility in video
KR20220154940A (ko) 스킵 프레임 선별 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant