KR20130107687A - 비디오 품질 측정 장치 및 그 방법 - Google Patents

비디오 품질 측정 장치 및 그 방법 Download PDF

Info

Publication number
KR20130107687A
KR20130107687A KR1020120029658A KR20120029658A KR20130107687A KR 20130107687 A KR20130107687 A KR 20130107687A KR 1020120029658 A KR1020120029658 A KR 1020120029658A KR 20120029658 A KR20120029658 A KR 20120029658A KR 20130107687 A KR20130107687 A KR 20130107687A
Authority
KR
South Korea
Prior art keywords
frame
structural similarity
index
damaged
slice
Prior art date
Application number
KR1020120029658A
Other languages
English (en)
Other versions
KR101327709B1 (ko
Inventor
홍원기
최태상
김도연
이재기
라우프 보우타바
이태호
권아름
진 샤오
서신석
Original Assignee
포항공과대학교 산학협력단
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단, 한국전자통신연구원 filed Critical 포항공과대학교 산학협력단
Priority to KR1020120029658A priority Critical patent/KR101327709B1/ko
Publication of KR20130107687A publication Critical patent/KR20130107687A/ko
Application granted granted Critical
Publication of KR101327709B1 publication Critical patent/KR101327709B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

사용자 인지에 기반한 비디오 품질의 측정 장치 및 방법이 개시된다. 비디오 품질 측정 장치는, 손상된 프레임에 대한 프레임 정보를 수집하여 손상된 프레임과 손상된 프레임의 원본 프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출하는 구조 유사도 추정부와, 구조 유사도 지표에 주관적 요소를 반영하는 가중치를 적용하여 비디오 결함 지표를 산출하는 사용자 인지 품질 추정부를 포함한다. 이를 통하여, 객관적인 화질 측정 지표인 구조 유사도 지표에 사용자의 인지에 따른 주관적 요소를 반영할 수 있다.

Description

비디오 품질 측정 장치 및 그 방법{APPARATUS FOR MONITORING VIDEO QUALITY AND METHOD THEREOF}
본 발명은 비디오 품질의 측정에 관한 것으로, 더욱 상세하게는 사용자 인지에 기반한 비디오 품질의 측정 장치 및 방법에 관한 것이다.
비디오 품질 측정 방법은 비디오 코덱의 성능 검증, 새로운 압축 코딩 기술의 개발 또는 전송품질평가 등에 필요한 핵심적인 기술로서 디지털 방송의 전송 품질 평가 및 캠코더, 비디오 플레이어, 디지털 카메라 등 관련 장비의 개발과 성능 평가에 활용되고 있다.
일반적으로 객관적인 화질의 측정 방법은 비디오 영상 원본의 사용 정도에 따라 Full-Reference(FR), Reduced-Reference(RR), No-Reference(NR)로 구별될 수 있다. FR은 비디오 품질의 정밀한 측정을 위하여 송신측의 완전한 비디오 원본과 수신측의 손상된 비디오 전체를 이용한다. RR은 송신측의 비디오 원본의 전부가 아니라 특정값으로 표현된 영상을 가지고 화질을 측정한다. NR은 비디오 원본 없이 수신측의 손상된 비디오만을 가지고 화질을 측정한다.
SSIM(Structural Similarity)은 두 이미지의 구조적 유사성을 비교하는 지표로 비디오의 객관적인 품질을 측정하는 지표로 활용되고 있고, PSNR(Peak Signal-to-Noise Ratio)과 MSE(Mean Squared Error)도 비디오의 객관적인 품질을 측정하는 지표로 널리 활용되고 있다.
또한, Video Quality Model(VQM)은 7개의 파라미터 값의 선형적인 결합으로 계산되고, 0에서 1사이의 값으로 결정되는 VQM값은 0에 가까울수록 좋은 화질을 나타낼 수 있다. 다만, VQM은 높은 계산의 복잡도로 인하여 실시간 비디오의 품질을 측정하는데 적합하지 않다.
또한, 객관적인 화질의 측정 방법은 주관적인 요소를 반영하지 못하므로 사용자가 인지하는 비디오 품질을 정확히 측정하는데 한계가 있는 실정이다.
Mean Opinion Score(MOS)는 비디오에 대한 사용자의 경험적 품질을 측정하는 지표로 활용된다. 사용자가 체감하여 느끼는 품질의 척도를 나타내는 QoE(Quality of Experience)를 이용하여 사용자가 체감하는 품질인 MOS를 정량화하여 나타낼 수 있다. 또한, MOS값을 추정하기 위한 다양한 방법들이 제안되어 왔으며, 특히, 다양한 네트워크 환경과 응용 환경에서 사용자의 설문을 통하여 MOS값을 얻을 수 있다. 하지만, MOS는 다수의 사용자에 대한 설문을 통하여 측정되므로 많은 비용과 시간이 소모되는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 객관적인 화질 측정 방법에 사용자가 인지하는 비디오의 품질을 반영할 수 있는 비디오 품질 측정 장치를 제공하는데 있다.
또한, 본 발명의 다른 목적은, 원본 프레임과 그에 대한 손상된 프레임의 구조적인 유사도의 계산에 있어서, 계산의 복잡도를 줄인 비디오 품질 측정 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 비디오 품질 측정 장치는, 손상된 프레임에 대한 프레임 정보를 수집하여 손상된 프레임과 손상된 프레임의 원본 프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출하는 구조 유사도 추정부와, 구조 유사도 지표에 주관적 요소를 반영하는 가중치를 적용하여 비디오 결함 지표를 산출하는 사용자 인지 품질 추정부 포함한다.
여기에서, 구조 유사도 추정부는, 프레임 정보를 이용하여 오류 연관 트리를 생성하며, 오류 연관 트리에 기반하여 손상된 프레임을 구성하는 손상된 슬라이스와 손상된 슬라이스가 참조하는 참조 슬라이스간의 구조적인 유사도를 이용하여 손상된 프레임과 손상된 프레임의 원본 프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출할 수 있다.
여기에서, 구조 유사도 추정부는, 프레임 식별자, 슬라이스 식별자, 프레임의 종류, 손상 정도, 손상 위치 중 적어도 하나를 포함하는 프레임 정보를 수집하여 손상된 슬라이스가 속하는 프레임의 종류에 기반하여 오류 연관 트리를 생성하는 성능 지표 수집부와, 오류 연관 트리를 기반으로 손상된 슬라이스가 참조하는 참조 슬라이스를 선별하여 구조 유사도 지표를 산출하는 구조 분석부를 포함할 수 있다.
여기에서, 주관적 요소는 영상의 휘도, 프레임의 복잡도, 장면의 전환이 비디오 품질에 미치는 영향을 반영할 수 있다.
여기에서, 상기 사용자 인지 품질 추정부는, 주관적 요소를 반영하기 위한 가중치를 산출하여 구조 유사도 지표에 적용하는 필터부와, 가중치를 적용한 구조 유사도 지표에 로지스틱 회귀 함수(logistic regression function)를 적용하여 손상의 형태를 반영하는 비디오 결함 지표를 산출하는 지표 변환부를 포함할 수 있다.
여기에서, 필터부는, 대상 프레임의 휘도가 사용자에 의해 인지되는 비디오 품질에 미치는 영향을 반영하는 루마 가중치를 산출하는 루마 조절 필터부와, 대상 프레임의 복잡도가 사용자에 의해 인지되는 비디오 품질에 미치는 영향을 반영하는 복잡도 가중치를 산출하는 프레임 복잡도 필터부 및 대상 프레임의 전환이 사용자에 의해 인지되는 비디오 품질에 미치는 영향을 반영하는 전환 가중치를 산출하는 장면 전환 필터부를 포함할 수 있다.
여기에서, 지표 변환부는, 구조 유사도 지표를 이용하여 손상이 발생한 비디오의 구간을 탐지하고, 구조 유사도 지표가 변화하는 형태에 기반하여 손상의 형태를 반영하는 비디오 결함 지표를 산출할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 비디오 품질 측정 방법은, 손상된 프레임에 대한 프레임 정보를 수집하고 프레임 정보를 이용하여 오류 연관 트리를 생성하는 단계와, 오류 연관 트리에 기반하여 손상된 프레임을 구성하는 손상된 슬라이스와 손상된 슬라이스가 참조하는 참조 슬라이스간의 구조적인 유사도를 이용하여 손상된 프레임과 손상된 프레임의 원본 프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출하는 단계와, 구조 유사도 지표에 주관적 요소를 반영한 가중치를 적용하여 비디오 결함 지표를 산출하는 사용자 인지 품질 추정 단계를 포함한다.
상기와 같은 본 발명에 따른 비디오 품질 측정 장치 및 방법에 따르면, 객관적인 화질 측정 지표인 구조 유사도 지표에 사용자의 인지에 따른 주관적 요소를 반영할 수 있다.
또한, 손상된 슬라이스와 그에 대한 참조 슬라이스간의 구조적인 유사도를 이용하여 원본 프레임과 그에 대한 손상된 프레임의 구조적인 유사도를 계산할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 품질 측정 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 오류 연관 트리를 나타내는 개념도이다.
도 3는 도 1에 도시된 구조 유사도 추정부와 사용자 인지 품질 추정부의 구성을 더욱 상세하게 도시하는 블록도이다.
도 4는 본 발명의 실시예에 따른 비디오 품질 측정 방법의 절차를 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 출원에서 사용되는 "프레임(frame)"이라는 용어는 영상(image), 픽쳐(picture) 등과 같은 동등한 의미를 갖는 다른 용어로 대체되어 사용될 수 있다. 또한, 동영상 또는 비디오는 일련의 픽쳐로 구성될 수 있으며, 각 픽쳐들은 슬라이스(Slice) 또는 블록(block)과 같은 소정의 영역으로 분할될 수 있다.
또한, 국제 표준화 기구 중 MPEG 표준에서는 화면내 부호화(intra coded frame: I프레임), 예측부호화(predictive coded frame: P프레임), 양방향 예측부호화(bi-directionally-predicitve coded frame: B프레임)의 세가지 형태의 예측 부호화 방식을 사용하고 있다.
이하에 기재된, I프레임은 다른 프레임의 참조없이 화면 내부의 이웃하는 픽셀값을 이용하여 부호화될 수 있다. P프레임은 과거의 I프레임이나 P프레임을 참조하여 부호화될 수 있다. 또한, B프레임은 과거의 I프레임과 P프레임 뿐만 아니라, 미래의 I프레임과 P프레임도 참조하여 예측을 수행할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 비디오 품질 측정 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 비디오 품질 측정 장치는 구조 유사도 추정부(100), 사용자 인지 품질 추정부(200), 주관적 화질 추정부(300)를 포함한다.
이하 본 발명의 설명에서 구조 유사도 추정부(100), 사용자 인지 품질 추정부(200) 및 주관적 화질 추정부(300)는 서로 독립된 부분으로서 개시되지만, 구조 유사도 추정부(100), 사용자 인지 품질 추정부(200) 및 주관적 화질 추정부(300)는 하나의 단일한 형태, 하나의 물리적인 장치 또는 하나의 모듈로 구현될 수 있다. 이뿐만 아니라, 구조 유사도 추정부(100), 사용자 인지 품질 추정부(200) 및 주관적 화질 추정부(300)는 각각 하나의 물리적인 장치 또는 집단이 아닌 복수의 물리적 장치 또는 집단으로 구현될 수 있다.
구조 유사도 추정부(100)는 손상된 프레임에 대한 프레임 정보를 수집하고 프레임 정보를 이용하여 오류 연관 트리를 생성할 수 있다. 또한, 구조 유사도 추정부(100)는 오류 연관 트리에 기반하여 손상된 프레임을 구성하는 손상된 슬라이스와 손상된 슬라이스가 참조하는 참조 슬라이스간의 구조적인 유사도를 이용하여 손상된 프레임과 손상된 프레임의 원본 프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출할 수 있다.
프레임 정보는 프레임 식별자, 슬라이스 식별자, 프레임의 종류, 프레임의 상태(손상 정도, 손상 위치)에 대한 정보를 포함하며, 구조 유사도 추정부(100)에 의해 수집될 수 있다.
오류 연관 트리는 손상된 슬라이스와 그에 대한 참조 슬라이스간의 연관 관계를 나타내는 것으로 손상된 슬라이스가 포함되는 프레임의 종류에 따라 생성될 수 있다. 여기서, 프레임의 종류는 I프레임, P프레임, B프레임으로 구별될 수 있으며, 프레임의 종류에 따라 프레임이 참조하는 참조 프레임이 결정될 수 있다.
따라서, 구조 유사도 추정부(100)는 오류 연관 트리를 기반으로 하여 손상된 슬라이스가 참조하는 참조 슬라이스를 선별할 수 있으며, 선별된 참조 슬라이스를 이용하여 구조 유사도 지표를 산출할 수 있다. 여기서, 구조 유사도 지표(또는 "SSIM(Structural Similarity) 추정값")는 손상된 프레임과 그에 대한 원본 프레임 사이의 유사한 정도를 나타내는 지표를 의미하는 것으로 0 부터 1의 값으로 표현될 수 있다. 또한, 구조 유사도 지표가 1에 가까울수록 손상된 프레임과 그에 대한 원본 프레임간에 유사도가 높음을 의미한다.
구조 유사도 추정부(100)에 의해 산출되는 손상된 프레임과 손상된 프레임의 원본 프레임간의 구조 유사도 지표는 비디오의 품질을 나타내는 객관적인 지표로 활용될 수 있다. 다만, 구조 유사도 지표는 사용자가 인지하는 비디오의 주관적인 품질을 반영하는 것에는 한계가 있으므로, 구조 유사도 지표에 주관적 요소를 반영시키는 것이 필요하다.
사용자 인지 품질 추정부(200)는 구조 유사도 지표에 주관적 요소를 반영하여 비디오 결함 지표를 산출한다. 비디오의 품질은 영상의 휘도(밝기), 프레임의 복잡도, 장면의 전환 등과 같은 주관적 요소에 의하여 영향을 받을 수 있다.
사용자 인지 품질 추정부(200)는 구조 유사도 지표에 주관적 요소를 반영하기 위하여 가중치를 산출하여 적용할 수 있다. 가중치는 대상 프레임의 휘도에 따른 영향, 복잡도에 따른 영향, 프레임의 전환에 따른 영향 등을 반영할 수 있다. 즉, 사용자 인지 품질 추정부(200)는 구조 유사도 지표에 가중치를 적용할 수 있다.
또한, 사용자 인지 품질 추정부(200)는 가중치가 적용된 구조 유사도 지표에 로지스틱 회귀 함수(logistic regression function)를 적용하여 비디오의 손상의 정도 및 손상의 형태에 대한 정보를 포함하는 비디오 결함 지표를 산출할 수 있다.
주관적 화질 추정부(300)는 비디오 결함 지표에 사용자 별로 지정될 수 있는 매개 변수를 이용하여 Mean Opinion Score(MOS)로 표현될 수 있는 주관적 화질 지표를 산출할 수 있다. 사용자 별로 지정될 수 있는 매개 변수는 사용자의 인내심, 서비스에 대한 기대도 등에 대한 정보를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 오류 연관 트리를 나타내는 개념도이다.
도 2를 참조하면, 동영상은 프레임의 연속으로 이루어지며, 프레임은 적어도 하나의 슬라이스로 구성될 수 있다. 각각의 프레임에 부여된 숫자는 연속된 프레임의 순서를 예시적으로 나타낸다. 예컨대, 62번째의 I프레임은 63번째의 P프레임보다 앞서는 프레임을 나타낸다.
또한, 방향성이 있는 연결선이 연결되는 각각의 노드는 슬라이스를 나타내는 것으로 프레임 식별자, 슬라이스 식별자, 프레임의 종류, 프레임의 상태에 대한 정보를 포함할 수 있다. 여기서, 검은색의 노드는 손상된 슬라이스를 나타내며, 방향성이 있는 연결선은 슬라이스간의 연관 관계(참조 관계)를 나타낼 수 있다.
프레임의 종류는 I프레임, P프레임, B프레임으로 나타낼 수 있으며, 프레임의 복원 또는 복호화를 위하여 참조하는 참조 프레임은 프레임의 종류에 따라 결정될 수 있다. 예컨대, I프레임(62)에 속하는 슬라이스(2)는 다른 프레임의 참조 없이 인접한 슬라이스들(1, 3)을 참조할 수 있다. P프레임(63)에 속하는 슬라이스는 P프레임(63)보다 과거의 프레임인 I프레임(62)을 활용하여 복원될 수 있다. 또한, B프레임(65)은 과거와 미래의 프레임인 P프레임(63), P프레임(66)을 참조 프레임으로 할 수 있다. 다만, B프레임의 경우 다른 프레임을 위한 참조 프레임이 되지 않을 수 있다.
따라서, 손상된 P프레임 또는 B프레임에 속하는 슬라이스들은 그들의 참조 슬라이스를 활용하여 복원되고, 손상된 I프레임에 속하는 슬라이스는 동일한 프레임의 인접한 슬라이스를 활용하여 복원될 수 있다.
도 3는 도 1에 도시된 구조 유사도 추정부와 사용자 인지 품질 추정부의 구성을 더욱 상세하게 도시하는 블록도이다.
도 3을 참조하면, 구조 유사도 추정부(100)는 성능 지표 수집부(110)와 구조 분석부(120)를 포함한다. 또한, 사용자 인지 품질 추정부(200)는 필터부(210)와 지표 변환부(220)를 포함한다.
성능 지표 수집부(110)는 프레임 정보를 수집하고, 이 정보를 기반으로 하여 오류 연관 트리를 생성하여 구조 분석부(120)로 전달할 수 있다. 특히, 본 발명의 실시예에 따른 성능 지표 수집부(110)는 모든 프레임 중에서 손상된 프레임에 대한 프레임 정보를 선별적으로 수집하고, 이를 이용하여 오류 연관 트리를 생성할 수 있다.
구조 분석부(120)는 오류 연관 트리에 기반하여 손상된 프레임과 그에 대한 원본 프레임간의 구조 유사도 지표를 산출할 수 있다. 즉, 구조 분석부(120)는 프레임의 종류에 기반하여 구조 유사도 지표를 산출할 수 있다.
비디오의 품질은 슬라이스의 재구성(slice reconstruction)과 오류의 전파(error propagation)에 영향을 받는다. 손상된 슬라이스는 참조 슬라이스를 활용하여 재구성되기 때문에, 손상된 슬라이스와 그에 대한 참조 슬라이스의 구조적인 유사도에 따라 복구된 프레임의 품질이 결정될 수 있다. 따라서, 구조 분석부(120)는 손상된 슬라이스와 참조 슬라이스간의 구조적인 유사도를 활용하여 손상된 프레임과 그에 대한 원본 프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 추정할 수 있다.
먼저, 원본의 I프레임과 그에 대한 손상된 프레임인 I'프레임간의 구조 유사도 지표는 다음의 수학식 1을 이용하여 계산할 수 있다.
Figure pat00001
수학식 1에 있어서,
eSSIM(I, I')는 원본의 I 프레임과 그에 대한 손상된 프레임인 I'프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 나타낸다. 여기서, eSSIM(I, I')=1 이면 I프레임에 손상이 없음을 나타낸다. Q3는 디코딩 알고리즘에서 재구성에 대한 에러를 반영하기 위한 상수로, 실험에 의해 1.55로 정해질 수 있다. Sn은 프레임을 구성하는 슬라이스의 개수를 나타내고, ms(missing slice)는 손상된 슬라이스의 개수를 나타낸다.
또한, SSIMms(I, Ir)는 손상된 I프레임에 속하는 손상된 I슬라이스와 그에 대한 참조 슬라이스인 Ir슬라이스간의 구조적인 유사도를 나타내고, eSSIM(Ir, Ir')은 원본의 참조 프레임인 Ir프레임과 그에 대한 손상된 참조 프레임인 Ir'프레임간의 구조적인 유사도를 나타낸다. 여기서, eSSIM(Ir, Ir')=1 이면, Ir프레임에 손상이 없음을 나타낸다.
따라서, 본 발명의 실시예에 따른 구조 분석부(120)는 손상된 I슬라이스와 그에 대한 참조 슬라이스인 Ir슬라이스간의 구조적인 유사도를 이용하여 원본의 I 프레임과 그에 대한 손상된 프레임인 I'프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출할 수 있다.
다음으로, 원본의 P프레임과 그에 대한 손상된 프레임인 P'프레임간의 구조 유사도 지표는 다음의 수학식 2를 이용하여 계산할 수 있다.
Figure pat00002
수학식 2에 있어서,
eSSIM(P, P')는 원본의 P 프레임과 그에 대한 손상된 프레임인 P'프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 나타낸다. 여기서, eSSIM(P, P')=1 이면 P프레임에 손상이 없음을 나타낸다. Q2는 디코딩 알고리즘에서 재구성에 대한 에러를 반영하기 위한 상수로, 실험에 의해 1.1로 정해질 수 있다. φ는 손상되지 않은 슬라이스의 개수를 나타내는 것으로, φ= Sn- ms로 구할 수 있다.
SSIMms(P, Pr)는 손상된 P프레임에 속하는 손상된 P슬라이스와 그에 대한 참조 슬라이스인 Pr슬라이스간의 구조적인 유사도를 나타내고, eSSIM(Pr, Pr')은 원본의 참조 프레임인 Pr프레임과 그에 대한 손상된 참조 프레임인 Pr'프레임간의 구조적인 유사도를 나타낸다. 여기서, eSSIM(Pr, Pr')=1 이면, Pr프레임에 손상이 없음을 나타낸다.
또한, [SSIM(P, Pr)]은 P프레임과 그에 대한 참조 프레임인 Pr 프레임이 장거리 의존(long-range dependent)관계에 있는 경우에 적용한다. 장거리 의존 관계는 참조 프레임이 소실되어 소실된 참조 프레임이 참조하는 프레임을 참조 프레임으로 하는 것을 의미한다. 예컨대, 도 2를 참조하면, 66번째의 P프레임(66)이 소실되어 69번째의 P프레임(69)이 63번째의 P프레임(63)을 참조하는 경우, 장거리 의존 관계에 있다고 할 수 있다. 즉, [SSIM(P, Pr)]은 P프레임과 그에 대한 참조 프레임인 Pr 프레임이 장거리 의존(long-range dependent) 관계에 있는 경우에 있어서, P프레임에 속하는 손상된 P슬라이스와 그에 대한 참조 슬라이스인 Pr슬라이스간의 구조적인 유사도를 나타낸다.
따라서, 본 발명의 실시예에 따른 구조 분석부(120)는 손상된 P슬라이스와 그에 대한 참조 프레임인 Pr슬라이스간의 구조적인 유사도를 이용하여 원본의 P 프레임과 그에 대한 손상된 프레임인 P'프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출할 수 있다.
다음으로, 원본의 B프레임과 그에 대한 손상된 프레임인 B'프레임간의 구조 유사도 지표는 다음의 수학식 3을 이용하여 계산할 수 있다.
Figure pat00003
수학식 3에 있어서,
eSSIM(B, B')는 원본의 B 프레임과 그에 대한 손상된 프레임인 B'프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 나타낸다. 여기서, eSSIM(B, B')=1 이면 B프레임에 손상이 없음을 나타낸다.
SSIMms(B, Br)는 손상된 B프레임에 속하는 손상된 B슬라이스와 그에 대한 참조 슬라이스인 Br슬라이스간의 구조적인 유사도를 나타내고, eSSIM(Br, Br')은 원본의 참조 프레임인 Br프레임과 그에 대한 손상된 참조 프레임인 Br'프레임간의 구조적인 유사도를 나타낸다. 여기서, eSSIM(Br, Br')=1 이면, Br프레임에 손상이 없음을 나타낸다. 또한, B프레임의 경우에는 과거뿐만 아니라 미래의 프레임을 참조할 수 있으며, Br1프레임(슬라이스)는 과거의 참조 프레임(슬라이스)이고 Br2프레임(슬라이스)는 미래의 참조 프레임(슬라이스)를 의미할 수 있다. 다만, B프레임이 하나의 참조 프레임만을 활용하는 경우에는 P프레임과 같이 수학식 2를 적용하여 원본의 B 프레임과 그에 대한 손상된 프레임인 B'프레임간 구조 유사도 지표를 산출할 수 있다.
따라서, 본 발명의 실시예에 따른 구조 분석부(120)는 손상된 B슬라이스와 그에 대한 참조 슬라이스인 Br슬라이스간의 구조적인 유사도를 이용하여 원본의 B 프레임과 그에 대한 손상된 프레임인 B'프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출할 수 있다.
또한, 도 3을 참조하면, 사용자 인지 품질 추정부(200)는 필터부(210)와 지표 변환부(220)를 포함한다.
필터부(210)는 사용자가 비디오의 품질을 인지하는데 있어서 영향을 미치는 주관적 요소를 반영하기 위한 가중치를 산출하여 구조 유사도 지표에 적용할 수 있다. 사용자는 영상의 휘도(luminance 또는 luma), 프레임의 복잡도, 장면의 전환 등과 같은 요소에 따라 비디오의 품질을 다르게 인지할 수 있다. 예컨대, 사용자(관람자)는 어두운 장면에서 사소한 비디오 품질의 저하를 인지하기 어려우며, 빠르게 전환되는 장면에서 사소한 비디오 품질의 저하를 인지하기 어렵다. 또한, 사용자는 복잡한 영상에서 사소한 비디오 품질의 저하를 인지하기 어려울 수 있다.
필터부(210)는 루마 조절 필터부(luma adjust filter)(211), 프레임 복잡도 필터부(frame complexity filter)(212), 장면 전환 필터부(scene change filter)(213)를 포함할 수 있다.
루마 조절 필터부(211)는 인간의 비디오 품질에 대한 인지는 대상의 휘도에 영향을 받는다는 사실에 근거한다. 즉, 밝은 장면에서의 비디오 품질의 저하가 어두운 장면에서의 비디오 품질의 저하보다 사용자에게 더 큰 영향을 미칠 수 있다. 구조 유사도 지표는 일련의 프레임들을 대상으로 산출될 수 있고, 루마 조절 필터부(211)는 영상의 휘도가 사용자에 의해 인지되는 비디오 품질에 미치는 영향을 반영하는 가중치를 구조 유사도 지표에 적용할 수 있다. 즉, 대상 프레임의 휘도가 사용자에 의해 인지되는 비디오 품질에 미치는 영향을 반영하는 가중치를 루마 가중치라고 할 수 있다.
루마 가중치는 다음의 수학식 4를 이용하여 계산할 수 있다.
Figure pat00004
수학식 4에 있어서,
x와 y는 비교할 두 개의 프레임을 나타내고,
Figure pat00005
는 x프레임의 휘도를
Figure pat00006
는 y프레임의 휘도를 나타낸다.
Figure pat00007
는 휘도에 따라 정해지는 루마 가중치이다.
x프레임과 y프레임의 휘도 중에서 어느 하나라도 50보다 큰 경우에 루마 가중치는 1로 정해진다. 또한, x프레임과 y프레임의 휘도가 모두 50보다 작고, x프레임과 y프레임의 휘도의 평균이 40보다 작은 경우에 루마 가중치는 0으로 정해질 수 있다. 또한, x프레임과 y프레임의 휘도가 모두 50보다 작고, x프레임과 y프레임의 휘도의 평균이 40보다 크고 50과 같거나 작은 경우에는 x프레임과 y프레임의 휘도의 평균에서 40을 뺀 값을 10으로 나눈값을 루마 가중치로 한다. 즉, 프레임의 휘도가 커질수록 루마 가중치의 값이 커짐을 알 수 있다. 루마 조절 필터부(211)에서 산출된 루마 가중치는 구조 분석부(120)로 전달될 수 있고, 루마 가중치를 전달받은 구조 분석부(120)는 구조 유사도 지표에 루마 가중치를 적용하여 출력할 수 있다.
프레임 복잡도 필터부(212)는 인간의 비디오 품질에 대한 인지는 대상의 복잡도에 영향을 받는다는 사실에 근거한다. 즉, 프레임의 복잡도에 따라 비디오 품질의 저하가 사용자에게 미치는 영향이 다를 수 있다.
프레임 복잡도 필터부(212)는 이러한 특성을 반영하기 위하여 복잡도 가중치를 산출하여 구조 유사도 지표에 적용함으로써 사용자가 실제 인지하는 비디오 품질을 반영하는 보다 정확한 구조 유사도 지표를 얻을 수 있도록 한다. 즉, 대상 프레임의 복잡도가 사용자에 의해 인지되는 비디오 품질에 미치는 영향을 반영하는 가중치를 복잡도 가중치라고 할 수 있다.
먼저, 프레임의 복잡도를 나타내는 지표(FC: Frame Complexity)를 산출하기 위한 방법으로 Mean Absolute Difference(MAD)가 사용될 수 있으나, 본 발명의 실시예에 따른 프레임 복잡도 필터부(212)는 MAD를 변형한 수학식 5를 이용하여 FC 를 계산할 수 있다.
Figure pat00008
수학식 5에 있어서,
R은 하나의 프레임 내의 샘플의 개수를 의미하고, 하나의 샘플은 m×n개의 픽셀(pixel)로 구성된다. 또한,
Figure pat00009
은 샘플 프레임 r내의 픽셀k의 휘도를 나타내고,
Figure pat00010
은 샘플 프레임 r내의 모든 픽셀의 휘도의 평균값을 나타낸다.
복잡도 가중치(
Figure pat00011
)는 다음의 수학식 6를 이용하여 구조 유사도 지표에 적용될 수 있다.
Figure pat00012
수학식 6에 있어서,
프레임의 복잡도를 나타내는 지표(FC)에 기반하여 복잡도 가중치(
Figure pat00013
)가 결정되고, 결정된 복잡도 가중치(
Figure pat00014
)는 구조 유사도 지표가 0.60보다 큰 경우에만 적용될 수 있다.
예컨대,
Figure pat00015
는 FC가 25보다 작거나 같은 경우에 1이 되고, FC가 30보다 크거나 같은 경우에는 0이 될 수 있다. 또한, FC가 25와 30사이에 있는 경우,
Figure pat00016
는 0과 1사이의 값을 가질 수 있다. 즉, 프레임의 복잡도가 낮을수록 복잡도 가중치의 값이 커질 수 있다.
장면 전환 필터부(213)는 인간의 비디오 품질에 대한 인지는 대상의 전환에 영향을 받는다는 사실에 근거한다. 즉, 인간은 장면이 바뀌는 순간의 비디오 품질의 저하를 잘 느끼지 못할 수 있으며, 장면 전환에 따른 이러한 효과는 1/3초 정도 지속되는 것으로 알려져 있다. 장면 전환에 대한 탐지는 연속되는 두 개의 프레임의 색상 변화를 통하여 이루어질 수 있다. 또한, 장면 전환에 대한 탐지를 위하여 블록(block)기반의 색상 히스토그램(Histogram)을 이용한 방법을 사용할 수 있다.
장면 전환에 대한 탐지를 위한 장면 전환 탐지 지표(SC: Scene Change)는 다음의 수학식 7을 이용하여 계산할 수 있다.
Figure pat00017
수학식 7에 있어서,
fi는 i번째 프레임을 나타내고, fi -1은 fi의 이전 프레임을 나타낼 수 있다. b는 프레임을 16개의 블록으로 나누었을 때 하나의 블록을 의미할 수 있으며, c는 R, G, B 컴포넌트 중 하나를 의미할 수 있다. 또한, k는 각각의 R, G, B 컴포넌트가 가질 수 있는 값을 의미하는 것으로 최대값을 LC로 할 수 있다. 여기서, LC는 각각의 R, G, B 컴포넌트의 최대값을 의미하며, mn은 프레임의 사이즈를 나타낼 수 있다.
또한, H는 히스토그램 함수를 나타내며, H(fi, c, b, k)-H(fi -1, c, b, k)은 각 c, b, k값에 대하여 연속되는 프레임간의 차이를 나타낼 수 있다. 예컨대, c=R, b=1, k=10인 경우, 연속되는 프레임에서 1번 블록 내의 픽셀 중에서 R값을 10으로 가지는 픽셀 수의 차이가 계산된다.
따라서, 하나의 프레임을 16개의 블록으로 분할한 후, 각 블록에 대하여 색상 히스토그램을 R, G, B 색상 요소에 대하여 생성할 수 있다. 이를 통하여 연속된 두 프레임에 속하는 각 블록들의 색상 히스토그램의 차이들의 합을 이용하여 장면 전환 탐지 지표(SC)를 산출할 수 있다.
전환 가중치(
Figure pat00018
)는 다음의 수학식 8을 이용하여 구조 유사도 지표에 적용될 수 있다.
Figure pat00019
수학식 8에 있어서,
장면 전환 탐지 지표(SC)에 기반하여 전환 가중치(
Figure pat00020
)가 결정되고, 결정된 전환 가중치(
Figure pat00021
)는 구조 유사도 지표에 가중치로 적용될 수 있다.
먼저, 조건A(condition A)는 프레임의 전환이 1/6초 이내에 발생하는 경우를 의미하고, 조건B(condition B)는 프레임의 전환이 1/6초 이후에 발생하는 경우를 의미한다.
예컨대, SC가 3.0보다 크거나 같고 조건A에 해당하는 경우
Figure pat00022
는 0이 되고, SC가 1.7보다 크거나 같고 3.0보다 작으며 조건B에 해당하는 경우에
Figure pat00023
는 0이 될 수 있으며, 그 외의 경우에 있어서
Figure pat00024
는 1이 될 수 있다.
지표 변환부(220)는 가중치가 적용된 구조 유사도 지표에 로지스틱 회귀 함수(logistic regression function)를 적용하여 비디오 결함 지표를 산출할 수 있다. 지표 변환부(220)는 구조 유사도 지표를 이용하여 손상이 발생한 비디오의 구간을 탐지하고, 구조 유사도 지표가 변화하는 형태에 기반하여 손상의 형태를 반영하는 비디오 결함 지표를 산출할 수 있다.
비디오 결함 지표는 디스토어션(Distortion), 프리징(Freezing), 디스칸터누어티 (Discontinuity), 스터터(Stutter), 글리치(Glitch)로 나타나는 손상의 형태를 반영할 수 있다.
구조 유사도 지표는 각 프레임 별로 산출될 수 있고, 비디오는 일련의 구조 유사도 지표를 가질 수 있다. 구조 유사도 지표가 1인 경우 손상이 없음을 나타내므로, 구조 유사도 지표가 연속된 1이 나오지 않는 구간을 끊어서 손상 이벤트를 분류할 수 있다. 여기서, 손상 이벤트는 손상이 발생한 비디오의 구간을 의미하는 것으로, 손상 이벤트의 형태는 구조 유사도 지표가 변화하는 형태에 기반하여 디스토어션, 프리징, 디스칸터누어티, 스터터, 글리치 등으로 분류될 수 있다.
디스토어션(Distortion)은 손상 이벤트 내의 프레임에 사용자가 인지 가능한 왜곡이 발생한 경우를 의미하고, 프리징(Freezing)은 동일한 프레임의 일련이 연속되는 것을 의미한다. 또한, 디스칸터누어티 (Discontinuity)는 원래는 연속으로 재생되지 않아야 할 프레임들이 연속되어 나타남을 의미하고, 스터터(Stutter)는 프리징이 일정한 시간(0.5초)이하로 발생하는 경우를 의미하며, 글리치(Glitch)는 디스토어션이 일정한 시간(0.5초)이하로 발생하는 경우를 의미할 수 있다.
도 4는 본 발명의 실시예에 따른 비디오 품질 측정 방법의 절차를 나타내는 흐름도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 비디오 품질 측정 방법은 오류 연관 트리를 생성하는 단계, 구조 유사도 지표를 산출하는 단계, 사용자 인지 품질 추정 단계를 포함한다.
본 발명의 실시예에 따른 비디오 품질 측정 방법은 하나의 물리적 장치 또는 집단이 아닌 복수의 물리적 장치 또는 집단으로 구현될 수 있으며, 본 발명의 실시예에 따른 비디오 품질 측정 방법에 포함된 각각의 단계는 하나의 물리적 장치,하나의 모듈 또는 소프트웨어에 의해 구현될 수 있다.
예컨대, 도 3을 참조하면, 오류 연관 트리를 생성하는 단계(S200)는 성능 지표 수집부(110)에 의해 수행될 수 있고, 구조 유사도 지표를 산출하는 단계(S300)는 구조 분석부(120)에 의해 수행될 수 있으며, 사용자 인지 품질 추정 단계(S500)는 사용자 인지 품질 추정부(200)에 의해 수행될 수 있다.
오류 연관 트리를 생성하는 단계(S200)는 손상된 프레임에 대한 프레임 정보를 수집하고(S100), 수집된 프레임 정보를 이용하여 오류 연관 트리를 생성할 수 있다. 여기서, 오류 연관 트리는 손상된 슬라이스와 그에 대한 참조 슬라이스 간의 연관 관계를 나타낼 수 있다. 즉, 오류 연관 트리는 프레임 식별자, 슬라이스 식별자, 프레임의 종류, 손상 정도, 손상 위치 중 적어도 하나를 포함하는 프레임 정보를 수집하여 손상된 슬라이스가 속하는 프레임의 종류에 기반하여 생성될 수 있다.
구조 유사도 지표를 산출하는 단계(S300)는 오류 연관 트리에 기반하여 손상된 프레임을 구성하는 손상된 슬라이스와 손상된 슬라이스가 참조하는 참조 슬라이스간의 구조 유사도를 이용하여 손상된 프레임과 손상된 프레임이 참조하는 참조 프레임간의 구조 유사도 지표를 산출할 수 있다.
사용자 인지 품질 추정 단계(S500)는 구조 유사도 지표에 주관적 요소를 반영하는 가중치를 적용(S400)하여 비디오 결함 지표를 산출할 수 있다.
따라서, 사용자 인지 품질 추정 단계는, 영상의 휘도, 프레임 복잡도, 장면의 전환에 대한 정보를 포함하는 주관적 요소를 반영하기 위한 가중치를 산출하여 구조 유사도 지표에 적용할 수 있다.
또한, 사용자 인지 품질 추정 단계는, 가중치를 적용한 구조 유사도 지표에 로지스틱 회귀 함수(logistic regression function)를 적용하여 손상의 형태를 반영하는 비디오 결함 지표를 산출할 수 있다. 즉, 구조 유사도 지표를 이용하여 손상이 발생한 비디오의 구간을 탐지하고, 구조 유사도 지표가 변화하는 형태에 기반하여 손상의 형태를 반영하는 비디오 결함 지표를 산출할 수 있다. 여기서, 손상의 형태는 디스토어션, 프리징, 디스칸터누어티, 스터터, 글리치로 나타낼 수 있다.
상술한 본 발명에 따른 비디오 품질 측정 장치 및 방법을 이용할 경우에는 손상된 슬라이스와 그에 대한 참조 슬라이스간의 구조적인 유사도를 활용하여 원본의 프레임과 그에 대한 손상된 프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출할 수 있다. 또한, 구조 유사도 지표에 주관적 요소를 반영하는 가중치를 적용함으로써, 사용자가 인지하는 비디오 품질을 측정할 수 있도록 한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 구조 유사도 추정부 110: 성능 지표 수집부
120: 구조 분석부
200: 사용자 인지 품질 추정부 210: 필터부
211: 루마 조절 필터부 212: 프레임 복잡도 필터부
213: 장면 전환 필터부 220: 지표 변환부
300: 주관적 화질 추정부

Claims (13)

  1. 손상된 프레임에 대한 프레임 정보를 수집하여 상기 손상된 프레임과 상기 손상된 프레임의 원본 프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출하는 구조 유사도 추정부; 및
    상기 구조 유사도 지표에 주관적 요소를 반영하는 가중치를 적용하여 비디오 결함 지표를 산출하는 사용자 인지 품질 추정부를 포함하는 비디오 품질 측정 장치.
  2. 청구항 1에 있어서, 상기 구조 유사도 추정부는,
    상기 프레임 정보를 이용하여 오류 연관 트리를 생성하며, 상기 오류 연관 트리에 기반하여 상기 손상된 프레임을 구성하는 손상된 슬라이스와 상기 손상된 슬라이스가 참조하는 참조 슬라이스간의 구조적인 유사도를 이용하여 상기 손상된 프레임과 상기 손상된 프레임의 원본 프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출하는 것을 특징으로 하는 비디오 품질 측정 장치.
  3. 청구항 1에 있어서, 상기 구조 유사도 추정부는,
    프레임 식별자, 슬라이스 식별자, 프레임의 종류, 손상 정도, 손상 위치 중 적어도 하나를 포함하는 상기 프레임 정보를 수집하여 상기 손상된 슬라이스가 속하는 상기 프레임의 종류에 기반하여 상기 오류 연관 트리를 생성하는 성능 지표 수집부; 및
    상기 오류 연관 트리를 기반으로 상기 손상된 슬라이스가 참조하는 참조 슬라이스를 선별하여 상기 구조 유사도 지표를 산출하는 구조 분석부를 포함하는 비디오 품질 측정 장치.
  4. 청구항 3에 있어서,
    상기 프레임의 종류는 I프레임, P프레임, B프레임을 포함하며,
    상기 오류 연관 트리는 상기 프레임의 종류에 따라 상기 손상된 슬라이스와 상기 참조 슬라이스간의 연관 관계를 나타내는 것을 특징으로 하는 비디오 품질 측정 장치.
  5. 청구항 1에 있어서,
    상기 주관적 요소는 영상의 휘도, 프레임의 복잡도, 장면의 전환이 비디오 품질에 미치는 영향을 반영하는 것을 특징으로 하는 비디오 품질 측정 장치.
  6. 청구항 1에 있어서, 상기 사용자 인지 품질 추정부는,
    상기 주관적 요소를 반영하기 위한 가중치를 산출하여 상기 구조 유사도 지표에 적용하는 필터부; 및
    상기 가중치를 적용한 상기 구조 유사도 지표에 로지스틱 회귀 함수(logistic regression function)를 적용하여 손상의 형태를 반영하는 비디오 결함 지표를 산출하는 지표 변환부를 포함하는 것을 특징으로 하는 비디오 품질 측정 장치.
  7. 청구항 6에 있어서, 상기 필터부는,
    대상 프레임의 휘도가 사용자에 의해 인지되는 비디오 품질에 미치는 영향을 반영하는 루마 가중치를 산출하는 루마 조절 필터;
    상기 대상 프레임의 복잡도가 상기 사용자에 의해 인지되는 비디오 품질에 미치는 영향을 반영하는 복잡도 가중치를 산출하는 프레임 복잡도 필터부; 및
    상기 대상 프레임의 전환이 상기 사용자에 의해 인지되는 비디오 품질에 미치는 영향을 반영하는 전환 가중치를 산출하는 장면 전환 필터부를 포함하는 것을 특징으로 하는 비디오 품질 측정 장치.
  8. 청구항 6에 있어서, 상기 지표 변환부는,
    상기 구조 유사도 지표를 이용하여 손상이 발생한 비디오의 구간을 탐지하고, 상기 구조 유사도 지표가 변화하는 형태에 기반하여 상기 손상의 형태를 반영하는 비디오 결함 지표를 산출하는 것을 특징으로 하는 비디오 품질 측정 장치.
  9. 청구항 6에 있어서, 상기 비디오 결함 지표는,
    디스토어션(Distortion), 프리징(Freezing), 디스칸터누어티 (Discontinuity), 스터터(Stutter), 글리치(Glitch)로 나타나는 상기 손상의 형태를 반영하는 것을 특징으로 하는 비디오 품질 측정 장치.
  10. 비디오 품질의 측정에 있어서,
    손상된 프레임에 대한 프레임 정보를 수집하고 상기 프레임 정보를 이용하여 오류 연관 트리를 생성하는 단계;
    상기 오류 연관 트리에 기반하여 상기 손상된 프레임을 구성하는 손상된 슬라이스와 상기 손상된 슬라이스가 참조하는 참조 슬라이스간의 구조적인 유사도를 이용하여 상기 손상된 프레임과 상기 손상된 프레임의 원본 프레임간의 구조적인 유사도를 나타내는 구조 유사도 지표를 산출하는 단계; 및
    상기 구조 유사도 지표에 주관적 요소를 반영한 가중치를 적용하여 비디오 결함 지표를 산출하는 사용자 인지 품질 추정 단계를 포함하는 비디오 품질 측정 방법.
  11. 청구항 10에 있어서, 상기 오류 연관 트리를 생성하는 단계는,
    프레임 식별자, 슬라이스 식별자, 프레임의 종류, 손상 정도, 손상 위치 중 적어도 하나를 포함하는 상기 프레임 정보를 수집하여 상기 손상된 슬라이스가 속하는 상기 프레임의 종류에 기반하여 상기 오류 연관 트리를 생성하는 것을 특징으로 하는 비디오 품질 측정 방법.
  12. 청구항 10에 있어서, 상기 사용자 인지 품질 추정 단계는,
    영상의 휘도, 프레임 복잡도, 장면의 전환에 대한 정보를 포함하는 주관적 요소를 반영하기 위한 가중치를 산출하여 상기 구조 유사도 지표에 적용하는 단계; 및
    상기 가중치를 적용한 상기 구조 유사도 지표에 로지스틱 회귀 함수(logistic regression function)를 적용하여 손상의 형태를 반영하는 비디오 결함 지표를 산출하는 단계를 포함하는 비디오 품질 측정 방법.
  13. 청구항 12에 있어서, 상기 비디오 결함 지표를 산출하는 단계는,
    상기 구조 유사도 지표를 이용하여 손상이 발생한 비디오의 구간을 탐지하고, 상기 구조 유사도 지표가 변화하는 형태에 기반하여 상기 손상의 형태를 반영하는 비디오 결함 지표를 산출하는 것을 특징으로 하는 비디오 품질 측정 방법.
KR1020120029658A 2012-03-23 2012-03-23 비디오 품질 측정 장치 및 그 방법 KR101327709B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120029658A KR101327709B1 (ko) 2012-03-23 2012-03-23 비디오 품질 측정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120029658A KR101327709B1 (ko) 2012-03-23 2012-03-23 비디오 품질 측정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130107687A true KR20130107687A (ko) 2013-10-02
KR101327709B1 KR101327709B1 (ko) 2013-11-11

Family

ID=49630940

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120029658A KR101327709B1 (ko) 2012-03-23 2012-03-23 비디오 품질 측정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101327709B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045711A (ko) * 2016-10-26 2018-05-04 에스케이텔레콤 주식회사 영상품질 측정장치 및 방법
KR20180045726A (ko) * 2016-10-26 2018-05-04 에스케이텔레콤 주식회사 영상품질 측정장치 및 방법
KR20180045719A (ko) * 2016-10-26 2018-05-04 에스케이텔레콤 주식회사 영상품질 측정장치 및 방법
KR20180045722A (ko) * 2016-10-26 2018-05-04 에스케이텔레콤 주식회사 영상품질 측정장치 및 방법
KR102352077B1 (ko) * 2020-08-31 2022-01-18 주식회사 핀그램 고속 동영상 부호화 방법 및 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101737006B1 (ko) 2017-01-25 2017-05-17 광운대학교 산학협력단 인지 품질 기반의 변환 부호화 고속화 방법 및 장치
US11205257B2 (en) 2018-11-29 2021-12-21 Electronics And Telecommunications Research Institute Method and apparatus for measuring video quality based on detection of change in perceptually sensitive region
KR102192017B1 (ko) * 2019-07-16 2020-12-16 연세대학교 산학협력단 인간의 시각 특성을 반영한 비디오의 화질 평가 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6876381B2 (en) * 2001-01-10 2005-04-05 Koninklijke Philips Electronics N.V. System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics
JP3733083B2 (ja) 2002-05-08 2006-01-11 日本放送協会 映像品質評価支援装置、及び映像品質評価支援プログラム
KR100798834B1 (ko) * 2003-08-22 2008-01-28 니뽄 덴신 덴와 가부시키가이샤 영상품질 평가장치, 영상품질 평가방법, 영상품질 평가프로그램을 기록한 기록매체
KR100893609B1 (ko) * 2007-06-05 2009-04-20 주식회사 케이티 인간 시각 특성을 이용한 영상 품질 측정 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045711A (ko) * 2016-10-26 2018-05-04 에스케이텔레콤 주식회사 영상품질 측정장치 및 방법
KR20180045726A (ko) * 2016-10-26 2018-05-04 에스케이텔레콤 주식회사 영상품질 측정장치 및 방법
KR20180045719A (ko) * 2016-10-26 2018-05-04 에스케이텔레콤 주식회사 영상품질 측정장치 및 방법
KR20180045722A (ko) * 2016-10-26 2018-05-04 에스케이텔레콤 주식회사 영상품질 측정장치 및 방법
KR102352077B1 (ko) * 2020-08-31 2022-01-18 주식회사 핀그램 고속 동영상 부호화 방법 및 시스템

Also Published As

Publication number Publication date
KR101327709B1 (ko) 2013-11-11

Similar Documents

Publication Publication Date Title
KR101327709B1 (ko) 비디오 품질 측정 장치 및 그 방법
US8488915B2 (en) Automatic video quality measurement system and method based on spatial-temporal coherence metrics
Ma et al. Reduced-reference video quality assessment of compressed video sequences
Engelke et al. Modelling saliency awareness for objective video quality assessment
KR101857842B1 (ko) 패킷 손실 가시도의 연속 추정에 기반한 객관적인 비디오 품질 평가 방법 및 장치
Søgaard et al. Applicability of existing objective metrics of perceptual quality for adaptive video streaming
EP2783512A1 (en) Video quality measurement
EP2413604B1 (en) Assessing the quality of a video signal during encoding or compressing of the video signal
Konuk et al. A spatiotemporal no-reference video quality assessment model
WO2010103112A1 (en) Method and apparatus for video quality measurement without reference
JP4514155B2 (ja) 映像品質評価装置、方法およびプログラム
Ma et al. Reduced reference video quality assessment based on spatial HVS mutual masking and temporal motion estimation
Alvarez et al. A flexible QoE framework for video streaming services
Vega et al. Accuracy of no-reference quality metrics in network-impaired video streams
Cerqueira et al. Video artifacts assessment for live mobile streaming applications
Vu et al. ViMSSIM: from image to video quality assessment
Shi et al. A user-perceived video quality assessment metric using inter-frame redundancy
KR100612667B1 (ko) 예측치 보정을 이용한 동영상 화질 평가장치 및 방법
Liu et al. Perceptual quality measurement of video frames affected by both packet losses and coding artifacts
WO2013078596A1 (en) Distortion/quality measurement
KR100964928B1 (ko) 비디오 프레임의 체감 품질 측정장치 및 측정방법
Kumar et al. Video quality assessment methods: A bird’s-eye view
EP2798846B1 (en) Assessing packet loss visibility in video
Ramancha Performance Analysis Of No-reference Video Quality Assessment Methods For Frame Freeze and Frame Drop Detection
Loh et al. New spatiotemporal method for assessing video quality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161027

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee