KR20140101745A - 다수 아티팩트를 고려한 비디오 품질 측정 - Google Patents

다수 아티팩트를 고려한 비디오 품질 측정 Download PDF

Info

Publication number
KR20140101745A
KR20140101745A KR1020147014285A KR20147014285A KR20140101745A KR 20140101745 A KR20140101745 A KR 20140101745A KR 1020147014285 A KR1020147014285 A KR 1020147014285A KR 20147014285 A KR20147014285 A KR 20147014285A KR 20140101745 A KR20140101745 A KR 20140101745A
Authority
KR
South Korea
Prior art keywords
distortion
sorted
distortion level
level
levels
Prior art date
Application number
KR1020147014285A
Other languages
English (en)
Inventor
데빙 리우
지보 첸
샤오동 구
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20140101745A publication Critical patent/KR20140101745A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

특정 구현예는 복수의 아티팩트 타입에 대하여 각각 객관적인 왜곡 레벨(d,)을 결정한다. 객관적인 왜곡 레벨은 정렬되어 상이한 타입의 아티팩트의 동일한 왜곡 레벨이 동일한 인지된 왜곡 레벨에 대응하도록 한다. 정렬된 왜곡 레벨(d,')은 소트되어 소트된 왜곡 레벨(d,")을 얻는다. 소트된 왜곡 레벨은 함께 전체 왜곡 레벨 또는 전체 품질 메트릭으로 풀링(pool)된다. 소트된 왜곡 레벨은 가중합을 이용하여 풀링될 수 있고, 소트된 왜곡 레벨이 클 수록 가중치가 커진다.

Description

다수 아티팩트를 고려한 비디오 품질 측정{VIDEO QUALITY MEASUREMENT CONSIDERING MULTIPLE ARTIFACTS}
본 발명은 비디오 품질 측정에 관한 것으로, 특히, 다수의 아티팩트(artifact)에 응답하여 전체 비디오 품질 메트릭을 결정하는 방법 및 장치에 관한 것이다.
비디오 품질 손실은 다양한 이벤트, 예를 들어, 손실 압축 및 송신 에러에 의해 유발될 수 있고 다양한 타입의 시각적 아티팩트로서 사람의 눈에 의해 인지될 수 있다. 예를 들어, 블록화(blockiness), 링잉(ringing), 블러리니스(blurriness)는 손실 압축에 의해 유발된 일반적인 아티팩트이다.
반면에, 비디오 품질이 송신 에러에 의해 저하되는 경우에는 상이한 타입의 아티팩트가 인지될 수 있다. 예를 들어, 패킷 손실이 전송층에서 검출되면, 디코더는 시각적 아티팩트의 강도를 감소시키기 위하여 에러 은폐(error concealment)를 적용할 수 있다. 아티팩트는 에러 은폐 후에 여전히 감지될 수 있고, 우리는 나머지 아티팩트를 채널 아티팩트라 한다. 다른 예에서, 기준 프레임이 전체적으로 손실되면, 디코더는 디코딩을 프리즈(freeze)할 수 있고 손실 프레임을 참조하지 않고 프레임이 정확하게 수신될 때까지 이전에 정확하게 디코딩된 픽쳐를 반복하여 시각적 정지를 유발한다. 우리는 이러한 시각적 정지를 프리징 아티팩트라 한다. 프리징 아티팩트는 또한 버퍼 언더플로우(underflow)에 의해 유발될 수 있다. 예를 들어, 네트워크 딜레이가 있으면, 프레임은 스케줄링된 디스플레이 시간에 아직 이용가능하지 않을 수 있고(즉, 버퍼 언더플로우) 프레임이 이용가능해질때까지 디스플레이가 정지한다.
개요
일반적인 형태에 따르면, 복수의 아티팩트 타입을 포함하는 픽쳐 데이터를 액세스한다. 정렬된 왜곡 레벨을 소트하여 소트된 왜곡 레벨을 얻는다. 정렬된 왜곡 레벨의 각각은 복수의 아티팩트 중의 각각에 대응하고 정렬된 왜곡 레벨의 특정 값은 각각의 인지된 왜곡 레벨에 대응한다. 소트된 왜곡 레벨에 응답하여 전체 왜곡 레벨을 결정한다. 소트된 왜곡 레벨이 클수록 전체 왜곡 레벨에 대한 영향이 크다.
다른 일반적인 형태에 따르면, 복수의 아티팩트 타입을 포함하는 픽쳐 데이터를 액세스한다. 복수의 아티팩트 타입에 대한 각각의 객관적인 왜곡 레벨을 결정한다. 객관적인 왜곡 레벨을 정렬하여 정렬된 왜곡 레벨을 얻고, 정렬된 왜곡 레벨의 각각은 복수의 아티팩트 타입의 각각에 대응하고 정렬된 왜곡 레벨의 특정 값은 각각의 인지된 왜곡 레벨에 대응한다. 정렬된 왜곡의 특정 값은 각각의 인지된 왜곡 레벨에 대응한다. 정렬된 왜곡 레벨을 소트하여 소트된 왜곡 레벨을 얻는다. 전체 왜곡 레벨은 소트된 왜곡 레벨의 가중합으로서 결정되고, 제1 소트된 왜곡 레벨이 제2 소트된 왜곡 레벨보다 크면, 제1 소트된 왜곡 레벨에 대한 제1 가중치는 제2 소트된 왜곡 레벨에 대한 제2 가중치보다 크다.
하나 이상의 구현예의 세부사항은 첨부된 도면 및 이하의 설명에 기재된다. 하나의 특정한 방식으로 설명하지만, 구현예는 다양한 방식으로 구성 또는 구현될 수 있음은 명백하다. 예를 들어, 구현예는 방법으로서 수행되거나, 장치, 예를 들어, 동작 세트를 수행하는 장치 또는 동작의 세트를 수행하는 명령을 저장하는 명령을 저장한 장치로서 구현되거나, 신호로 구현될 수 있다. 다른 형태 및 특징은 첨부된 도면 및 청구범위와 결합하여 고려된 다음의 상세한 설명으로부터 자명해질 것이다.
도 1은 본 원리의 실시예에 따른 다수의 아티팩트 타입에 응답하여 전체 비디오 왜곡 레벨을 생성하는 예를 나타내는 흐름도.
도 2는 3개의 아티팩트 타입에 대하여 객관적인 왜곡 레벨(objective distortion level)이 어떻게 주관적인 왜곡 레벨(subjective distortion level)에 대응하는 지를 나타내는 예를 나타내는 도면.
도 3은 본 원리의 실시예에 따라 비디오 품질 모니터의 예를 나타내는 블록도.
도 4는 하나 이상의 구현예에서 사용될 수 있는 비디오 프로세싱 시스템의 예를 나타내는 블록도.
다양한 타입의 시각적 아티팩트가 비디오에 존재할 때, 개별 타입의 아티팩트에 대한 아티팩트 강도, 즉, 아티팩트 레벨 또는 왜곡 레벨은 다양한 방법에 의해 측정될 수 있다.
아티팩트 강도는, 일반적으로 최고이지만 시간이 걸리는 주관적인 뷰잉 평가(subjective viewing test)에 의해 랭크될 수 있다. 본 출원에서, (예를 들어, 주관적인 뷰잉 평가를 통한) 수동으로 랭크된 아티팩트 강도 또는 왜곡 레벨은 인지된 왜곡 레벨 또는 주관적인 왜곡 레벨이라 한다.
아티팩트 강도는 또한 인지된 왜곡 레벨을 예측하는 것을 목표로 하는 다양한 알고리즘에 의해 추정될 수 있다. 예를 들어, 블록화, 링잉, 블러리니스 및 프리징 아티팩트를 측정하는 기존의 아티팩트 검출 방법이 왜곡 레벨을 제공하는데 사용될 수 있다. 본 출원에서, 알고리즘에 의해 추정된 왜곡 레벨은 왜곡 레벨, 추정된 왜곡 레벨 또는 객관적인 왜곡 레벨이라 한다.
본 원리는 다양한 아티팩트로부터의 왜곡 레벨에 응답하여 전체 왜곡 레벨 또는 전체 품질 메트릭을 추정한다. 수학적으로, 추정은 다음과 같이 기재될 수 있다.
Figure pct00001
m은 고려되는 아티팩트 타입의 수이고, di(i=1, ..., m)는 아티팩트 타입(i)에 대한 추정된 왜곡 레벨이고, D는 추정될 전체 왜곡 레벨이다. 일 실시예에서, 전체 왜곡 레벨(D)은 전체 품질 메트릭(Q)으로 환산될 수 있다.
도 1은 개별 아티팩트 타입의 왜곡 레벨에 기초하여 전체 왜곡 레벨을 결정하는 예시적인 방법(100)을 나타낸다. 단계(110)에서, 왜곡 레벨은 개별 아티팩트 타입에 대하여 각각 결정될 수 있다. 예를 들어, m개의 타입의 아티팩트가 고려되면, 왜곡 레벨(di)은 i번째 타입의 아티팩트에 대하여 결정될 수 있고, 여기서 i=1, ..., m이다.
단계(120)에서, 왜곡 레벨이 정렬된다. 왜곡 레벨 정렬 단계는, 상이한 타입의 아티팩트의 동일한 왜곡 레벨이 동일한 인지된 왜곡 레벨에 대응하도록 왜곡 레벨이 조절되는 것을 보장하는 것이다. 표기의 용이함을 위하여, di에 대한 조절된 왜곡 레벨은 di'으로 표기되고, di로부터 di'로의 맵핑 프로세스가 함수 hi()로 표기된다. 즉, 왜곡 레벨 정렬 프로세스는 수학적으로 di'=hi(di)로 표기될 수 있고, 여기서 i=1, ..., m이다.
단계(130)에서, 정렬된 왜곡 레벨(di',i=1, ..., m)이 예를 들어 내림차순 또는 올림 차순으로 소트될 수 있다. 소트되는 왜곡 레벨은 di"로 표기될 수 있고, 여기서, i=1, ..., m이다. 왜곡 레벨이 내림차순으로 소트되면, d1"≥...≥dm"이고, 오름차순으로 소트되면, d1"≤...≤dm"이다.
소트된 왜곡 레벨을 이용하여, 단계(140)에서 전체 왜곡 레벨 또는 품질 메트릭이 풀링(pooling) 전략을 통해 추정될 수 있다. 다음에서, 왜곡 레벨 정렬 단계(120) 및 전체 왜곡 레벨 결정 단계를 더 상세히 설명한다.
왜곡 레벨 정렬
도 2는 객관적인 왜곡 레벨(di) 및 주관적인 왜곡 레벨 간의 예시적인 관계를 나타낸다. 이 예에서, 왜곡 레벨은 (0, 1)의 범위 내에 있고, 여기서, 0은 왜곡 없음에 대응(즉, 최고 품질)하고 1은 가장 높은 왜곡 레벨(즉, 가장 나쁜 품질)에 대응한다. 다른 실시예에서, 왜곡 레벨은 다른 범위, 예를 들어 (1, 5) 또는 (1, 100)로 스케일링 또는 시프트될 수 있다.
도 2에서, 수평축은 객관적인 왜곡 레벨을 나타내고, 수직축은 주관적인 왜곡 레벨을 나타낸다. 라인(210, 220, 230)은 각각 3개의 타입의 아티팩트에 대응한다. 라인(240)에 의해 표시된 객관적인 왜곡 레벨에서는, 모든 3개의 아티팩트 타입이 동일한 객관적인 왜곡 레벨에서 측정되지만, 상이한 주관적인 왜곡 레벨에 대응한다. 따라서, 추정되는 왜곡 레벨(d1, d2, d3)의 값은 주관적으로 비교가능하지 않고 상이한 아티팩트 타입의 주관적인 왜곡 레벨을 비교하는데 사용될 수 없다. 예를 들어, d1>d2일때, 제1 아티팩트 타입의 인지된 성가심(annoyance)이 제2 아티팩트 타입의 인지된 성가심보다 반드시 강한 것이 아닐 수 있다. 다른 예에서, d1=d2일 때, 제1 및 제2 아티팩트 타입의 인지된 성가심이 동일하지 않을 수 있다.
왜곡 레벨 정렬의 목적은 왜곡 레벨을 비슷하게 만드는 것이다. 즉, 왜곡 레벨을 조절하여 상이한 아티팩트 타입의 동일한 왜곡 레벨이 동일한 주관적인 왜곡 레벨에 대응시키는 것이다. 상술한 바와 같이, i번째 타입의 아티팩트에 대한 정렬 프로세스는 수학적으로 di'=hi(di)로 표기될 수 있다.
함수 hi()를 도출하기 위하여, 커브 피팅 방법(curve fitting method)이 사용될 수 있다. 일 실시예에서, 함수 hi()는 3차 다항식 함수로서 정의될 수 있다.
Figure pct00002
여기에서, β1,i, β2,i, β3,i 및 β4,i는 주관적인 데이터세트로 훈련될 수 있는 모델 파라미터이다.
다른 실시예에서, 함수 hi()는 다른 차수의 다항식 함수로 정의되거나 지수함수 또는 로그 함수일 수 있다.
전체 왜곡 레벨 결정
정렬 및 소트 단계 후, 인지된 아티팩트 강도는 그 대응하는 아티팩트 타입에 관계없이 di"의 값에 의해 제어된다. 예를 들어, 비디오(V1 및 V2)가 2개의 타입의 아티팩트, 즉, 압축 아티팩트 및 채널 아티팩트에 의해 영향을 받는 것으로 가정하고, 다음의 2개의 예시적인 시나리오를 고려한다.
1. 비디오(V1)에서, 정렬 단계 후에 압축 아티팩트가 d1'에서 측정되고, 채널 아티팩트가 d2'(d1'>d2', 즉 압축 아티팩트가 채널 아티팩트보다 강함)에서 측정된다.
2. 비디오(V2)에서, 채널 아티팩트는 d1'에서 측정되고 압축 아티팩트는 d2'이다. 즉, 비디오(V2)에서의 채널 아티팩트는 비디오(V1) 내의 압축 아티팩트와 동일한 왜곡 레벨에 있고, 비디오(V2)에서의 압축 아티팩트는 비디오(V1) 내의 채널 아티팩트와 동일한 왜곡 레벨에 있다.
예를 들어, 내람차순으로 소트한 후에, 양 비디오(V1 및 V2)에 대하여 d1"=d1' 및 d2"=d2'이다. 전체 왜곡 레벨은 소트된 왜곡 레벨(di")에 기초하여 추정되므로, 개별 아티팩트 타입에 대한 왜곡 레벨이 다르더라도, 전체 왜곡 레벨은 양 V1 및 V2에 대하여 동일하다.
따라서, 정렬 및 소트 단계 후, 전체 왜곡 레벨은 대응하는 아티팩트 타입을 고려하지 않고 소트된 객관적인 왜곡 레벨로부터 예측될 수 있다. 결과적으로, 다수의 아티팩트 타입의 왜곡 레벨을 결합하는 문제가 간략화될 수 있다.
수학적으로, 다수의 소트된 왜곡 레벨을 하나의 전체 왜곡 레벨로 풀링(pool)하는 문제는 다음와 같이 표기될 수 있다.
Figure pct00003
함수 g()를 나타내는데 선형 또는 비선형 함수가 사용될 수 있고, 다양한 훈련 방법이 함수 g()에 대한 모델 파라미터를 얻는데 사용될 수 있다. 일 실시예에서, 다음의 가중합이 사용된다.
Figure pct00004
여기서,
Figure pct00005
는 함수 g()에 대한 모델 파라미터이고 훈련 프로세스(training process)에 의해 결정될 수 있다. 다른 실시예에서, 다른 방법, 예를 들어, 학습 머신, SVM(support vector machine) 또는 ANN(artificial neural network)가 사용될 수 있다.
우리의 실험으로부터, 인간의 눈은 통상 가장 강한 아티팩트에 더 주의를 기울이고 주로 가장 강한 아티팩트에 기초하여 비디오의 품질 또는 왜곡 레벨을 평가한다는 것이 관찰된다. 또한, 아티팩트가 약할 수록 사람의 인지에 대한 영향은 줄어든다는 것이 관찰된다. 따라서, di">dj"이면, 모델 파라미터(
Figure pct00006
)이다.
일 실시예에서, d1"은 가장 강한 아티팩트를 나타내고, 결과적으로,
Figure pct00007
는
Figure pct00008
보다 크다. 계산 속도를 올리기 위하여, 우리는 식(1)을 다음으로 근사화할 수 있다.
Figure pct00009
다른 실시예에서, 우리는 처음의 몇 개의 가장 강한 아티팩트만을 고려하는 것으로 선택할 수 있다.
정렬 및 소트 단계에서 설명하는 바와 같이, 모델 파라미터(예를 들어,
Figure pct00010
및
Figure pct00011
)를 얻기 위하여 훈련 프로세스가 필요할 수 있다. 다음에서, 압축 아티팩트, 채널 아티팩트 및 프리징 아티팩트를 3개의 예시적인 아티팩트 타입으로서 이용하여, 훈련 프로세스를 설명한다.
먼저, 상이한 아티팩트를 갖는 비디오가 생성되고 훈련 데이터세트가
1. 코딩 아티팩트에 의해서만 영향을 받는 비디오;
2. 채널 아티팩트에 의해서만 영향을 받는 비디오;
3. 프리징 아티팩트에 의해서만 영향을 받는 비디오; 및
4. 3개의 모든 아티팩트 타입에 의해 영향을 받는 비디오
를 포함시킴으로써 생성될 수 있다.
이 훈련 데이터세트는 정렬 및 풀링 단계에 의해 사용되고, 여기서, 처음 3개의 타입의 비디오는 정렬 단계에 의해 사용되고 제4 타입의 비디오는 풀링 단계에 의해 사용된다. 훈련 데이터세트는 고려되는 모든 타입의 아티팩트 타입을 포함해야 한다.
두번째로, 훈련 데이터세트에 대하여 주관적인 뷰잉 테스트가 수행되어 개별적인 비디오에 대한 주관적인 왜곡 레벨을 제공할 수 있다. 주관적인 왜곡 레벨은
Figure pct00012
로 표기될 수 있고, N은 훈련 데이터세트 내의 비디오의 수이다.
정렬 단계에 대한 파라미터를 얻기 위하여, 개별적인 비디오에 대한 객관적인 왜곡 레벨(dj,j=1, ..., N)은 예를 들어 코딩 아티팩트, 채널 아티팩트 및 프리징 아티팩트에 대한 검출 방식을 이용하여 얻을 수 있다. 주관적인 왜곡 레벨 및 객관적인 왜곡 레벨을 얻은 후에, 커브 피팅 방법, 예를 들어, LMSE(least mean square error) 피팅 방법이 모델 파라미터(β1,i, β2,i, β3,i 및 β4,i)를 결정하는데 사용될 수 있다.
풀링 단계에 대한 파라미터를 얻기 위하여, 예를 들어 식(1)을 이용하여 제4 타입의 비디오(즉, 3개의 모든 아티팩트 타입을 포함하는 비디오)에 대한 소트된 왜곡 레벨(di")을 얻을 수 있다. 주관적인 왜곡 레벨 및 대응하는 소트된 왜곡 레벨(di")을 이용하여 모델 파라미터(
Figure pct00013
)가 산출될 수 있다. 예를 들어, ITU-T P.NBAMS 데이터세트 중의 하나를 이용하여, 샘플 비디오가 압축 아티팩트 및 프리징 아티팩트를 포함하면, 함수 g()는 다음과 같이 훈련된다.
Figure pct00014
전체 왜곡 레벨은 전체 품질 메트릭으로 환산될 수 있다. 일반적으로, 왜곡 레벨이 높을 수록 품질 메트릭은 낮아야 한다.
본 왜곡 레벨 추정 방법의 하나의 이점은 왜곡 세트와 독립적이라는 것이다. 즉, 상이한 타입의 아티팩트가 고려될 때 동일한 추정 단계가 사용될 수 있다. 예를 들어, 모델 파라미터가 압축 아티팩트, 채널 아티팩트 및 프리징 아티팩트에 기초하여 결정될 수 있을 경우, 다른 아티팩트 세트(예를 들어, 블록화, 링잉, 블러리니스)가 고려되면, 풀링 단계에 대한 동일한 모델 파라미터가 이용될 수 있다.
도 3은 예시적인 비디오 품질 모니터(300)의 블록도이다. 장치(300)의 입력은 비트스트림을 포함하는 전송 스트림을 포함할 수 있다. 입력은 비트스트림을 포함하는 다른 포맷일 수 있다. 입력은 또한 에러 은폐와 함께 또는 에러 은폐 없이 디코딩될 수 있다.
아티팩트 검출기(310)는 비트스트림 레벨에서(즉, 비디오가 재구성되지 않는다) 또는 픽셀 레벨에서(즉, 비디오가 재구성된다) 개별 아티팩트에 대한 객관적인 왜곡 레벨을 추정한다. 왜곡 레벨 생성기(320)는 예를 들어 방법(100)을 이용하여 전체 왜곡 레벨을 추정한다. 품질 예측기(330)는 전체 왜곡 레벨을 품질 스코어에 맵핑한다.
도 4를 참조하면, 상술한 특징 및 원리가 적용될 수 있는 비디오 송신 시스템 또는 장치(400)가 도시된다. 프로세서(405)는 비디오를 프로세싱하고 인코더(410)는 비디오를 인코딩한다. 인코더로부터 생성된 비트스트림은 배분 네트워크(420)를 통해 디코더(430)로 송신된다. 비디오 품질 모니터가 상이한 스테이지에 사용될 수 있다.
일 실시예에서, 비디오 품질 모니터(440)는 콘텐츠 생성기에 의해 사용될 수 있다. 예를 들어, 추정된 비디오 품질은 인코더에 의해 모드 결정 또는 비트 레이트 할당 등의 인코딩 파라미터를 결정하는데 사용될 수 있다. 다른 예에서, 비디오가 인코딩된 후, 콘텐츠 생성기는 비디오 품질 모니터를 이용하여 인코딩된 비디오의 품질을 모니터한다. 품질 메트릭이 미리 정의된 품질 파라미터를 충족하지 못하면, 콘텐츠 생성기는 비디오를 재인코딩하여 비디오 품질을 개선하도록 선택할 수 있다. 콘텐츠 생성기는 또한 품질에 기초하여 인코딩된 비디오를 랭크하고 따라서 콘텐츠를 차지(charge)한다.
다른 실시예에서, 비디오 품질 모니터(450)는 콘텐츠 배분기에 의해 사용될 수 있다. 비디오 품질 모니터는 배분 네트워크에 배치될 수 있다. 비디오 품질 모니터는 품질 메트릭을 산출하여 콘텐츠 배분기에 보고한다. 비디오 품질 모니터로부터의 피드백에 기초하여, 콘텐츠 배분기는 대역폭 할당 및 액세스 제어를 조절함으로써 자신의 서비스를 개선할 수 있다.
콘텐츠 배분기는 또한 피드백을 콘텐츠 생성기로 전송하여 인코딩을 조절할 수 있다. 고품질 인코딩 비디오가 통상 더 많은 대역폭을 필요로 하고 송신 보호를 위해 더 적은 대역폭을 남겨 두기 때문에, 인코더에서 인코딩 품질을 개선하는 것이 반드시 디코더측에서 품질을 개선하는 것은 아니다. 따라서, 디코더에서 최적의 품질에 도달하기 위하여 인코딩 비트레이트 및 채널 보호를 위한 대역폭 간의 밸런스를 고려해야 한다.
다른 실시예에서, 비디오 품질 모니터(460)는 사용자 장치에 의해 사용될 수 있다. 예를 들어, 사용자 장치가 인터넷에서 비디오를 검색하면, 검색 결과는 많은 비디오 또는 요청된 비디오 콘텐츠에 대응하는 비디오로의 많은 링크를 반환할 수 있다. 검색 결과 내의 비디오는 상이한 품질 레벨을 가질 수 있다. 비디오 품질 모니터는 이들 비디오에 대한 품질 메트릭을 산출하고 어떤 비디오가 저장될지에 대한 선택을 결정할 수 있다. 다른 예에서, 사용자는 몇 개의 에러 은폐 기술에 액세스할 수 있다. 비디오 품질 모니터는 상이한 에러 은폐 기술에 대한 품질 메트릭을 산출하고 산출된 품질 메트릭에 기초하여 사용될 은폐 기술을 자동으로 선택할 수 있다.
여기에 기재된 구현예는 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현예로 설명하지만(예를 들어, 방법으로서만 설명하지만), 기재된 특징의 구현은 또한 다른 형태(예를 들어, 장치 또는 프로그램)로 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 방법은 예를 들어 장치, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래머블 로직 장치를 포함하는 일반적으로 프로세싱 장치라 하는 프로세서로 구현될 수 있다. 프로세서는 또한 예를 들어 컴퓨터, 셀 폰, 포터블/개인 휴대 단말기(PDA), 및 엔드 사용자 간의 정보 전달이 가능한 다른 장치 등의 통신 장치를 포함한다.
여기에 기재된 다양한 프로세스 및 특징의 구현예는 다양한 상이한 장비 또는 애플리케이션, 예를 들어, 데이터 인코딩과 연관된 장비 및 애플리케이션으로 구현될 수 있다. 이러한 장비의 예는 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트프로세서, 인코더로 입력을 제공하는 프리프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋탑 박스, 랩탑, 퍼스널 컴퓨터, 셀폰, PDA, 게임 콘솔 및 다른 통신 장치를 포함한다. 장비는 모바일일 수 있고 심지어 이동체에 장착될 수 있음은 명백하다.
추가적으로, 방법은 프로세서에 의해 수행되는 명령에 의해 구현될 수 있고, 이러한 명령(및/또는 구현예에 의해 생성되는 데이터 값)은 예를 들어 집적 회로, 소프트웨어 캐리어, 또는 예를 들어 하드 디스크, 콤팩트 디스켓(CD), 광 디스크(예를 들어, DVD (digital versatile disc 또는 digital video disc), 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM) 등의 다른 저장 장치 등의 프로세서 판독가능 매체 상에 저장될 수 있다. 명령은 프로세서 판독가능 매체 상에서 유형으로(tangibly) 구현되는 애플리케이션 프로그램을 형성할 수 있다. 명령은 예를 들어 하드웨어, 펌웨어, 소프트웨어 또는 그 조합일 수 있다. 명령은 예를 들어 오퍼레이팅 시스템, 개별 애플리케이션 또는 그 조합으로 갖추어진다. 그러므로, 프로세서는 프로세스를 수행하는 장치 및 프로세스를 수행하는 명령을 갖는 프로세서 판독가능 매체(저장 장치 등)을 포함하는 장치로서 특징화될 수 있다. 또한, 프로세서 판독가능 매체는 명령에 더하여 또는 대신에 구현예에 의해 생성된 데이터 값을 저장할 수 있다.
당업자에게 자명한 바와 같이, 구현예는 예를 들어 저장되거나 송신될 수 있는 정보를 절달하도록 포맷화된 다양한 신호를 생성할 수 있다. 정보는 예를 들어 방법을 수행하는 명령 또는 기재된 구현예 중의 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기재된 실시예의 신택스를 기입 또는 판독하는 룰을 데이터로서 전달하도록 포맷화되거나 기재된 실시예에 의해 기입된 실제 신택스 값을 데이터로서 전달하도록 포맷화될 수 있다. 이러한 신호는 예를 들어 (예를 들어, 스펙트럼의 무선 주파수 부분을 이용하여) 전자파로서 또는 베이스밴드 신호로서 포맷화될 수 있다. 포맷화는 예를 들어 데이터 스트림을 인코딩하는 것과 캐리어를 인코딩된 데이터 스트림으로 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는 예를 들어 아날로그 또는 디지털 정보일 수 있다. 신호는 다양한 상이한 유선 또는 무선 링크를 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.
다수의 구현예가 기재되었다. 그럼에도 불구하고 다양한 변형이 가능함을 이해할 것이다. 예를 들어, 상이한 구현예의 엘리먼트가 결합, 보충, 수정 또는 제거되어 다른 구현예를 생산할 수 있다. 추가적으로, 당업자는 다른 구조 및 프로세스가 개시된 것을 대체할 수 있고 결과적인 구현예는 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행하여 개시된 구현예와 적어도 실질적으로 동일한 결과를 달성할 수 있다. 따라서, 이들 및 다른 구현예는 이 애플리케이션에 의해 고려된다.

Claims (18)

  1. 복수의 아티팩트 타입을 포함하는 픽쳐 데이터를 액세스하는 단계;
    정렬된 왜곡 레벨들을 소트(sort)하여 소트된 왜곡 레벨들을 얻는 단계(130) - 상기 정렬된 왜곡 레벨들의 각각은 상기 복수의 아티팩트 타입 중의 각각의 하나에 대응하고 상기 정렬된 왜곡 레벨들의 특정 값은 각각의 인지된 왜곡 레벨에 대응함 -; 및
    상기 소트된 왜곡 레벨들에 응답하여 전체 왜곡 레벨을 결정하는 단계(140) - 소트된 왜곡 레벨이 클수록 상기 전체 왜곡 레벨에 대한 영향이 큼 -
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 전체 왜곡 레벨은 상기 소트된 왜곡 레벨들의 서브세트에 응답하여 결정되는 방법.
  3. 제1항에 있어서, 상기 전체 왜곡 레벨은 상기 소트된 왜곡 레벨들의 가중합에 응답하여 결정되는 방법.
  4. 제3항에 있어서, 제1 소트된 왜곡 레벨이 제2 소트된 왜곡 레벨보다 크면, 상기 제1 소트된 왜곡 레벨에 대한 제1 가중치는 상기 제2 소트된 왜곡 레벨에 대한 제2 가중치보다 큰 방법.
  5. 제1항에 있어서, 상기 전체 왜곡 레벨에 응답하여 품질 메트릭을 결정하는 단계를 더 포함하는 방법.
  6. 제1항에 있어서,
    상기 복수의 아티팩트 타입에 대한 각각의 객관적인 왜곡 레벨들(objective distortion levels)을 결정하는 단계(110); 및
    상기 객관적인 왜곡 레벨들을 정렬하여 상기 정렬된 왜곡 레벨들을 얻는 단계(120)
    를 더 포함하는 방법.
  7. 제6항에 있어서, 상기 복수의 아티팩트 타입에 대한 각각의 객관적인 왜곡 레벨들은 비트스트림 레벨에서 결정되는 방법.
  8. 제6항에 있어서, 상기 객관적인 왜곡 레벨들을 정렬하는 단계는 다항식 함수로서 수행되는 방법.
  9. 제1항에 있어서, 상기 복수의 아티팩트 타입은 압축 아티팩트, 채널 아티팩트, 프리징(freezing) 아티팩트, 블록화(blockiness), 링잉(ringing), 및 블러리니스(blurriness) 중의 적어도 하나를 포함하는 방법.
  10. 정렬된 왜곡 레벨들을 소트하여 소트된 왜곡 레벨들을 얻고 상기 소트된 왜곡 레벨들에 응답하여 전체 왜곡 레벨을 결정하는 왜곡 레벨 생성기(320)를 포함하고, 상기 정렬된 왜곡 레벨들 각각은 복수의 아티팩트 타입 중의 각각의 하나에 대응하고, 상기 정렬된 왜곡 레벨들의 특정 값은 각각의 인지된 왜곡 레벨에 대응하고, 소트된 왜곡 레벨이 클수록 상기 전체 왜곡 레벨에 대한 영향이 큰 장치.
  11. 제10항에 있어서, 상기 왜곡 레벨 생성기(320)는 상기 소트된 왜곡 레벨들의 서브세트에 응답하여 상기 왜곡 레벨을 결정하는 장치.
  12. 제10항에 있어서, 상기 왜곡 레벨 생성기(320)는 상기 소트된 왜곡 레벨들의 가중합에 응답하여 상기 전체 왜곡 레벨을 결정하는 장치.
  13. 제12항에 있어서, 제1 소트된 왜곡 레벨이 제2 소트된 왜곡 레벨보다 크면, 상기 제1 소트된 왜곡 레벨에 대한 제1 가중치는 상기 제2 소트된 왜곡 레벨에 대한 제2 가중치보다 큰 장치.
  14. 제10항에 있어서, 상기 전체 왜곡 레벨에 응답하여 품질 메트릭을 결정하는 품질 예측기(330)를 더 포함하는 장치.
  15. 제10항에 있어서, 상기 복수의 아티팩트 타입에 대한 각각의 객관적인 왜곡 레벨들을 결정하는 아티팩트 검출기(310)를 더 포함하고, 상기 왜곡 레벨 생성기(320)는 상기 객관적인 왜곡 레벨들을 정렬하여 상기 정렬된 왜곡 레벨들을 얻는 장치.
  16. 제15항에 있어서, 상기 아티팩트 검출기(310)는 비트스트림 레벨에서 상기 복수의 아티팩트 타입에 대한 각각의 객관적인 왜곡 레벨들을 결정하는 장치.
  17. 제10항에 있어서, 상기 복수의 아티팩트 타입은 압축 아티팩트, 채널 아티팩트, 프리징 아티팩트, 블록화, 링잉, 및 블러리니스 중의 적어도 하나를 포함하는 장치.
  18. 하나 이상의 프로세서가,
    복수의 아티팩트 타입을 포함하는 픽쳐 데이터를 액세스하는 단계;
    정렬된 왜곡 레벨들을 소트하여 소트된 왜곡 레벨들을 얻는 단계(130) - 상기 정렬된 왜곡 레벨들 각각은 상기 복수의 아티팩트 타입 중의 각각의 하나에 대응하고 상기 정렬된 왜곡 레벨들의 특정 값은 각각의 인지된 왜곡 레벨에 대응함 -; 및
    상기 소트된 왜곡 레벨들에 응답하여 전체 왜곡 레벨을 결정하는 단계(140) - 소트된 왜곡 레벨이 클수록 상기 전체 왜곡 레벨에 대한 영향이 큼 -
    를 집합적으로 수행하도록 하는 명령어들을 저장한 프로세서 판독가능 매체.
KR1020147014285A 2011-11-28 2011-11-28 다수 아티팩트를 고려한 비디오 품질 측정 KR20140101745A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/083020 WO2013078582A1 (en) 2011-11-28 2011-11-28 Video quality measurement considering multiple artifacts

Publications (1)

Publication Number Publication Date
KR20140101745A true KR20140101745A (ko) 2014-08-20

Family

ID=48534579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147014285A KR20140101745A (ko) 2011-11-28 2011-11-28 다수 아티팩트를 고려한 비디오 품질 측정

Country Status (9)

Country Link
US (1) US9924167B2 (ko)
EP (1) EP2786567A4 (ko)
JP (1) JP2015502097A (ko)
KR (1) KR20140101745A (ko)
CN (1) CN103959783A (ko)
AU (1) AU2011382231A1 (ko)
BR (1) BR112014012798A8 (ko)
HK (1) HK1202740A1 (ko)
WO (1) WO2013078582A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140098899A1 (en) * 2012-10-05 2014-04-10 Cheetah Technologies, L.P. Systems and processes for estimating and determining causes of video artifacts and video source delivery issues in a packet-based video broadcast system
US11836597B2 (en) * 2018-08-09 2023-12-05 Nvidia Corporation Detecting visual artifacts in image sequences using a neural network model
CN113597765A (zh) * 2019-03-18 2021-11-02 谷歌有限责任公司 用于编码伪像的帧叠层

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493023B1 (en) 1999-03-12 2002-12-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for evaluating the visual quality of processed digital video sequences
US6798919B2 (en) * 2000-12-12 2004-09-28 Koninklijke Philips Electronics, N.V. System and method for providing a scalable dynamic objective metric for automatic video quality evaluation
US6876381B2 (en) 2001-01-10 2005-04-05 Koninklijke Philips Electronics N.V. System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics
US7010159B2 (en) * 2001-04-25 2006-03-07 Koninklijke Philips Electronics N.V. Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology
US6687294B2 (en) 2001-04-27 2004-02-03 Koninklijke Philips Electronics N.V. Distortion quantizer model for video encoding
WO2003030073A1 (en) 2001-10-03 2003-04-10 Retinalyze Danmark A/S Quality measure
US7038710B2 (en) 2002-07-17 2006-05-02 Koninklijke Philips Electronics, N.V. Method and apparatus for measuring the quality of video data
WO2005055618A1 (en) 2003-12-02 2005-06-16 Agency For Science, Technology And Research Method and system for video quality measurements
WO2006043500A1 (ja) * 2004-10-18 2006-04-27 Nippon Telegraph And Telephone Corporation 映像品質客観評価装置、評価方法およびプログラム
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
US9025673B2 (en) 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
WO2007130389A2 (en) 2006-05-01 2007-11-15 Georgia Tech Research Corporation Automatic video quality measurement system and method based on spatial-temporal coherence metrics
BRPI0718951A2 (pt) * 2006-12-28 2013-12-17 Thomson Licensing Método e aparelho para análise automática de artefatos visuais e redução de artefatos
US20100061446A1 (en) * 2007-01-04 2010-03-11 Hands David S Video signal encoding
WO2008106994A1 (en) 2007-03-07 2008-09-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for determining a video quality measure for block coded images
US8027264B2 (en) 2007-06-01 2011-09-27 Alcatel Lucent Method and apparatus for measuring subjective assessment of digital video impairment
CN102132574B (zh) * 2008-08-22 2014-04-02 杜比实验室特许公司 内容识别和质量监测
WO2010103112A1 (en) * 2009-03-13 2010-09-16 Thomson Licensing Method and apparatus for video quality measurement without reference
CN104094312B (zh) * 2011-12-09 2017-07-11 英特尔公司 对基于测得的知觉质量特性的视频处理算法的控制

Also Published As

Publication number Publication date
BR112014012798A2 (pt) 2017-06-13
US20140321558A1 (en) 2014-10-30
JP2015502097A (ja) 2015-01-19
CN103959783A (zh) 2014-07-30
HK1202740A1 (en) 2015-10-02
AU2011382231A1 (en) 2014-06-05
BR112014012798A8 (pt) 2017-06-20
EP2786567A4 (en) 2015-11-04
WO2013078582A1 (en) 2013-06-06
EP2786567A1 (en) 2014-10-08
US9924167B2 (en) 2018-03-20

Similar Documents

Publication Publication Date Title
KR101641994B1 (ko) 비디오 인코딩 압축 품질을 획득하는 방법 및 장치
US9672636B2 (en) Texture masking for video quality measurement
US10038898B2 (en) Estimating quality of a video signal
US20140286441A1 (en) Video quality measurement
WO2017140230A1 (zh) 目标码率调整方法及装置
US20100053335A1 (en) System and method for measuring image quality of moving pictures
CN106856570A (zh) 一种转码方法及装置
US9280813B2 (en) Blur measurement
KR20140101745A (ko) 다수 아티팩트를 고려한 비디오 품질 측정
CN103428523A (zh) 评估视频质量的方法和装置
US9723301B2 (en) Method and apparatus for context-based video quality assessment
CN109219960B (zh) 视频编码质量平滑度的优化方法、装置、设备及存储介质
EP2954677B1 (en) Method and apparatus for context-based video quality assessment
US20170374432A1 (en) System and method for adaptive video streaming with quality equivalent segmentation and delivery
KR101067317B1 (ko) 영상 전송 장치 및 영상 전송 방법
US9894351B2 (en) Assessing packet loss visibility in video
KR100772753B1 (ko) 화질열화 방지 비디오 디코더
CN104685537A (zh) 用于视频质量测量的纹理掩蔽

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application