KR101834031B1 - 비디오 신호의 인코딩 및 전송 동안에 비디오 신호의 품질 평가 방법 및 장치 - Google Patents

비디오 신호의 인코딩 및 전송 동안에 비디오 신호의 품질 평가 방법 및 장치 Download PDF

Info

Publication number
KR101834031B1
KR101834031B1 KR1020137017414A KR20137017414A KR101834031B1 KR 101834031 B1 KR101834031 B1 KR 101834031B1 KR 1020137017414 A KR1020137017414 A KR 1020137017414A KR 20137017414 A KR20137017414 A KR 20137017414A KR 101834031 B1 KR101834031 B1 KR 101834031B1
Authority
KR
South Korea
Prior art keywords
frame
loss
quality
packets
video
Prior art date
Application number
KR1020137017414A
Other languages
English (en)
Other versions
KR20140027080A (ko
Inventor
알렉산더 라케
마리-네쥬 가르시아
피터 리스트
사바스 아르기로포울로스
버나드 페이튼
Original Assignee
도이체 텔레콤 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도이체 텔레콤 악티엔 게젤샤프트 filed Critical 도이체 텔레콤 악티엔 게젤샤프트
Publication of KR20140027080A publication Critical patent/KR20140027080A/ko
Application granted granted Critical
Publication of KR101834031B1 publication Critical patent/KR101834031B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0001—Diagnosis, testing or measuring; Detecting, analysis or monitoring not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0001—Diagnosis, testing or measuring; Detecting, analysis or monitoring not otherwise provided for
    • H04N2201/0003—Method used

Abstract

전송된 비디오 신호의 품질을 수신기 측에서 평가하기 위한 방법 및 장치에 있어서, 상기 방법은 a) 수신된 입력 비디오 비트 스트림을 디코딩하고 비디오 비트 스트림 분석기에 제공하기에 앞서 수신된 입력 비디오 비트스트림을 캡쳐하는 단계; b) 측정 시간 윈도우 동안, 상기 비트 스트림 분석기에 의해 캡쳐된 입력 비디오 비트 스트림의 패킷 헤더들로부터 하나 이상의 특징들을 추출하는 단계; c) 하나 이상의 특징들로부터, 그리고 슬라이싱 구성과 같은 미디어 스트림에 대하여 알려진 메타 정보로부터 패킷 손실에 따른 신호 감쇠의 크기를 나타내는 단일 파라미터(xwpSEQ)를 결정하는 단계; d) 결정된 파라미터를 품질 추정 모듈에 제공하는 단계; 및 e) 품질 추정 모듈에 의하여, 비디오 해상도 정보 및 채택된 비디오 코덱에 기반하여 그리고 패킷 손실에 따른 신호 감쇠의 크기를 나타내는 단일 파라미터(xwpSEQ)에 기반하여 패킷 손실에 따른 품질 척도(Qtrans)를 산출하는 단계를 포함한다.

Description

비디오 신호의 인코딩 및 전송 동안에 비디오 신호의 품질 평가 방법 및 장치{METHOD AND APPARATUS FOR ASSESSING THE QUALITY OF A VIDEO SIGNAL DURING ENCODING AND TRANSMISSION OF THE VIDEO SIGNAL}
본 발명은 비디오 신호의 인코딩, 전송 및 디코딩 후에 발생하는 비디오 신호의 품질을 평가하기 위한 방법 및 장치에 관한 것이다. 본 발명은 전송 동안에 패킷 손실에 의해 비디오 신호가 손상된 경우에 감지된 비디오 신호의 품질의 평가 및 모델링에 특히 주목한다.
수많은 비디오 분포 서비스들 중에, 인터넷 프로토콜 기반으로 사용되는, 예를 들어 인터넷 프로토콜 텔레비전(internet protocol TV)는 점점 더 중요해 지고, 아날로그나 비-패킷 기반의 전송 방법들을 점점 더 많이 대체한다. 컨텐츠 제공자와 고객 모두에게 그 서비스의 품질을 높은 수준으로 유지하는 것은 방송 제공자의 중요한 책임이다. 그것들이 수반되는 대규모의 비디오 분포 네트워크들, 예를 들어 인터넷 프로토콜 텔레비전 서비스들에서 완전히 자동화된 품질 모니터링 프로브(monitoring probes)들만이 이 요건을 이행할 수 있다.
비 간섭성 스트리밍 비디오(IPTV, VoD) 또는 정적 비디오(DVD) 같은 비디오 서비스들의 사용자의 높은 정도(high degree)의 만족을 달성하기 위하여, 기술적인 성능 지표들 외에 그러한 모니터링 프로브들은 주어진 모니터링 간격 동안 서비스들의 사용자들이 감지하는 비디오 품질의 추정치들을 제공하는 것도 요한다.
이러한 목적을 위해, 해당 유저에 의해 감지되는 것과 같이 비디오 품질의 중요한 추정치를 제공하고, 그에 따라 해당 사용자의 기술적 모델들인 기술적 비디오 품질 모델들이 개발된다. 예를 들어, 그러한 모델들은 사용자 측에서 수신된 비디오과 원래의, 비-감쇠(non-degraded) 비디오 사이에 유사 정도(degree of similarity)를 산출할 수 있다. 덧붙여서, 보다 정교한 해결책을 나타내는 인지 시각 시스템(Human Visual System, HVS)은 기술적인 시스템을 사용하여 모델링될 수 있다. 결국, 그러한 모델은 사용자들에 의해 주어진 평가들과 대응하는 품질 추정치들을 제공할 것인데, 해당 품질 평가는 대규모 주관적 품질 테스트들의 결과들에 기술적 모델들을 트레이닝하는 것에 의하여 달성된다.
비디오 품질 모델들 및 그에 따른 측정 시스템들은 일반적으로 다음과 같이 분류된다.
품질 모델 타입들(Quality model types)
ㆍ 전 기준법 (Full Reference, FR): 기준 신호를 요한다.
ㆍ 감소 기준법 (Reduced-Reference, RR): 원시 신호(source signal)로부터 추출된 부분 정보를 요한다.
ㆍ 무 기준법 (No-Reference, NR): 기준 신호가 없을 것을 요한다.
입력 파라미터 타입들
ㆍ 신호/미디어 기반: 디코딩된 이미지(화소-정보)를 요한다.
ㆍ 파라미터 기반: 비트스트림-레벨 정보를 요한다. 정보의 범위는 단지 패킷 헤더들의 파싱(parsing)을 요하는 패킷 헤더 정보에서 비트스트림의 풀 디코딩 일부에 까지 이를 수 있다.
적용 타입(Type of application)
네트워크 설계(Network Planning): 가능한 최적의 구현을 찾기 위하여 설계 단계의 서비스 구현 이전에 모델 또는 측정 시스템이 사용된다.
서비스 모니터링: 서비스 동작 동안 모델이 사용된다.
비디오 품질 모델들의 타입에 관련된 정보는 참조([1], [2] 또는 [3])에서 발견될 수 있다.
인터넷 프로토콜 텔레비전(IPTV)의 문맥에서, 비디오 압축 및 비디오 패킷 손실에 의하여 주된 왜곡들(distortions)이 야기된다. 비디오 패킷 손실의 경우에 감지된 비디오 품질에 영향을 미치는 요소들은 다음 항목이다.
a) 유실된 패킷들의 양
b) 패킷 손실 분포―패킷 손실 분포는 예를 들어, 주어진 손실 버스트 내의 유실된 패킷들의 평균적인 수, 및 그러한 버스트들의 분포에 관하여 나타날 수 있다―.
c) 픽쳐 그룹 구조, 픽쳐 그룹 구조는
i) 픽쳐 그룹-길이, 즉, 이전 또는 추가 프레임들이 디코딩 되는 것을 요하지 않는 프레임들―이른바 '키 프레임들' 또는 "I-프레임들"―사이의 거리. 하나의 픽쳐 그룹은 단일한 I-프레임 및 비디오 시퀀스의 다음 I-프레임에 이르기 까지의 모든 프레임들을 포함한다.
ii) (P-) 및 양 방향성 (B-) 프레임들로 예측되는 각각의 픽쳐 그룹 내의 B- 및 P-프레임들의 수와 분배.
iii) 픽쳐 그룹 "타입": 개방-픽쳐 그룹 또는 폐-픽쳐 그룹―개방 픽쳐 그룹일 때, 단일한 픽쳐 그룹에 속하는 프레임들은 다음의 또는 이전의 픽쳐 그룹으로부터의 기준 프레임들을 사용하여 인코딩될 수 있다. 폐 픽쳐 그룹일 때, 현재 픽쳐 그룹의 프레임들을 인코딩에는 현재 픽쳐 그룹으로부터의 기준 프레임들만이 기준으로서 사용될 수 있다―.
을 포함한다.
d) 패킷 손실에 의해 손상된 프레임의 프레임 타입―손실이 I-프레임 또는 P-프레임 내에 발생하면, 손실은 계층적(hierarchical) B-프레임 코딩의 경우를 제외하고는 전파되지 않는다. 계층적 코딩에서, 몇몇 B-프레임들은 다른 B-프레임들을 위한 기준 프레임들로서 사용될 수도 있다. 그에 따라 기준 B-프레임 내의 손실은 의존적 B-프레임들로 전파된다―.
e) 프레임 당 패킷들의 수. 이 수는 비트 전송속도 및 비디오의 시공간적 복잡성에 의존한다. 프레임 전송에는 보다 높은 비트 전송속도, 많은 패킷들을 요한다. 비디오의 시공간적 복잡성은 프레임들 중에서도 패킷들의 분포에 영향을 미친다. 기본적으로, (정보를 캡쳐하기 위하여 공간적으로/내부에 예측된 매크로블록(macroblock)을 요한다면) I-프레임들 또는 P- 및 B-프레임들에는 보다 높은 비디오의 시공간적 복잡성, 많은 패킷들을 요하고, P- 및 B-프레임들을 전송에 보다 높은 비디오의 시공간적 복잡성, 많은 패킷들을 요한다. 결국, 프레임당 패킷들의 보다 높은 수, 보다 낮은 대응하는 픽셀들의 양이 패킷 내에 포함된다. 특정 손실 개연성을 고려하여, 프레임이 포함하는 많은 패킷들은, 보다 높은 것이 이 프레임 내에 패킷 손실을 가질 개연성일 것이고, 만약 이 프레임이 기준 프레임이라면 손실이 전파할 개연성이 보다 높을 것이다.
f) 패킷 손실 은닉, 즉 손실을 은닉하기 위해 디코더 내에 구현된 방법. 패킷 손실 은닉은 크게 슬라이싱이나 프리징에 관하여 분류될 수 있다. 슬라이스는 단독으로 디코딩 될 수 있는 비디오 프레임의 영역으로서 정의된다. 그에 따라, 슬라이스가 패킷 손실에 의해 영향을 받으면 ― 디코더는 이 영역을 (공간적으로 또는 시간적으로) 인접하는 정확하게 수신된 영역들로부터의 데이터로 채운다. 슬라이싱은 디코더가 동기점(synchronization-points)으로 사용할 슬라이스 헤더들을 도입하는 인코더에 의해 구현될 것을 요한다. 패킷 손실 및 프리징 타입 손실 은닉의 경우, 마지막으로 수신된 비디오 프레임은 다음의 손상되지 않은 I-프레임 또는 영향을 미친 프레임이 예측되는 또 다른 손상되지 않은 기준 프레임이 도달할 때까지 일반적으로 반복된다. 방송 서비스들에서, 프리징은 오류 프레임들을 생략하는 것을 포함한다. 비방송 서비스들에서, 유실된 패킷들은 지연된 수신 상태 후에도 재송신 및 실행될 수 있다. 이것은 재버퍼링(re-buffering)으로 간주될 수 있고, 손실 정보는 생략되지 않는다. 후자의 경우는 본 발명에서 고려되지 않음에 주목한다.
g) 슬라이싱이 패킷 손실 은닉으로 사용되는 경우, 프레임 당 슬라이스들의 수(도 2에 도시). 프레임 당 슬라이스들의 수는 인코더 단계에서 선택된다. 패킷 손실의 경우 및 슬라이싱이 패킷 손실 은닉에 사용되면, 이 수는 손실의 공간적 범위에 영향을 미치는데, 슬라이스 내에 패킷 손실이 발생하면, 손실은 다음 슬라이스까지, 즉 디코더가 다음의 유효한 슬라이스 헤더에 기반하여 재동기할 수 있을 때까지 전파된다. 그 결과, 프레임 당 슬라이스들의 수의 증가는 손실의 공간적 범위를 줄인다. 그러나, 이것은 또한 슬라이스 헤더들의 수를 증가시키고, 그에 따라 주어진 전체 비트 전송속도에서 인코딩 효율을 감소시킨다. 이것은 코딩 효율 및 패킷 손실에 대한 로버스트(robustness) 사이에 트레이드 오프(trade-off)가 존재하는 것을 나타낸다.
h) 인코더에 채택된 비트율 제어 타입, 즉, 가변 비트 전송속도 코딩 대한 상수. 특히, 인코더에 채택된 비트율 제어(상수 또는 가변 비트 전송속도 코딩) 타입은 컨텐츠의 시공간적 복잡성과 함께 시공간적 정보를 바이트들 안으로 매핑(mapping)하거나 다른 측면에서, 주어진 시공간적 영역에 요구되는 패킷들의 수에 크게 영향을 미친다. 본 발명은 상수 및 가변 비트 전송속도 코딩의 경우 모두를 대상으로 하지만, 큰 가변 비트 전송속도 코딩의 경우들에서 헤더 정보에 기반하는 손실 이벤트들의 시공간적 범위 추정의 감소된 유효성으로 인하여, 본 발명에서 기술된 기술적 사용자 모델에 의해 제공되는 품질 예측들은 실제 감지(perception)에 보다 적게 가까울 것임에 주목한다.
품질 평가 방법들은 일반적으로 비디오 신호의 코딩(압축, Qcod)에 관한 품질, 및 전송(Qtrans)동안 패킷 손실에 따른 품질의 분리된 평가를 제공한다. 품질 평가 방법들은 일반적으로 압축 품질 및 전송 품질에 관한 평가를 결합하기 위해 두 가지 처리 방법들(approaches) 중 하나를 사용한다. 수학식(1 및 2)는 서로 다른 두 가지 처리 방법들을 나타내는데, 각각의 수치 범위는 본 발명의 예시적인 실시예들을 나타낸다.
[수학식 1]
Figure 112013059801685-pct00001
[수학식 2]
Figure 112013059801685-pct00002
여기서, Q0는 기본 품질이나, 기본 품질의 성능을 나타낸다. 여기서 기본 품질은 인코딩, 전송 및 디코딩 이전에 비디오의 감지된 품질에 관한 것이다.
문헌에서, 일반적으로 패킷 손실에 따른 품질(Qtrans)은 [4]에 서와 같이 비트 전송속도 및 패킷 손실율로부터 평가되는데, 패킷 손실 분포를 고려하기 위하여, [5]에서와 같이 버스트(burst) 밀도 및 버스트 지속 기간 또는 [6]에서와 같이 연속으로 유실된 패킷들의 수와 같은 비디오 시퀀스 내의 손실의 분배를 나타내는 파라미터들이 또한 고려된다. 대안적으로, [7]에서와 같이 주어진 시간 주기 내의 패킷 손실 이벤트 빈도(즉 주어진 시간 주기 내의 패킷 손실 이벤트의 수)가 제안된다. 그러한 파라미터들은 네트워크 설계의 경우 도움이 되지만, 서비스 모니터링의 경우에는 불충분할 것이다. 예컨대, 파라미터들은 손실에 의해 히트된 프레임 내의 패킷들의 총 수 및 손실 패킷들의 수를 고려하지 않기 때문에, 파라미터들은 히트 프레임이 손상된 비율을 캡쳐하지 않는다. 따라서 파라미터들은 손실의 실제 공간적 범위를 알지 못한다. 덧붙여서, 파라미터들은 손실에 의한 히트 프레임의 프레임 타입을 고려하지 않고, 그에 따라 시간적 전파 및 손실의 지속 기간도 알지 못한다.
[8]에는 손실의 시간적 지속 기간을 나타내는 파라미터가 제안되는데, 그러나 이 파라미터는 패킷 손실 은닉과 같은 프리징만을 포함한다. 슬라이싱이 적용된 경우에 손실에 의해 영향을 받은 프레임 내의 부분을 평가하기 위하여 [10]에 주의를 끄는(interesting) 제안이 이루어 진다. 여기서, 제안된 방법은 본 발명에서 제안된 것과 같은 품질 예측으로 적용되지 않고, 본 발명이 다루는 여러 가지 부수적인 경우들 중 하나만을 포함한다. [9]에서, 해당 방법은 [10]과는 비슷하지만 문맥상 다소 서로 다른 방법을 사용하도록 제안된다. 해당 방법은 프레임 당 손실의 공간적 범위 및 프레임 타입을 나타내고 그러한 파라미터들에 기반하여 프레임의 품질을 산출하는 파라미터들을 사용한다. 그러나 프레임 타이밍 및 손실 전파는 손실이 감소된 왜곡을 나타내는 단일한 파라미터의 측면에서는 분명히 고려되지 않는다. 그럼에도 불구하고, 지각적으로 타당한 사용자 모델은 손실의 기술 및 지각적 감쇠의 양에 관한 품질 영향 사이의 정량(quantitative) 매핑을 사용하도록 요한다. 본 발명의 모델에서, 공간적 범위와 손실 지속 기간의 결합이 감지된 품질에 영향을 미친다고 추정된다. 그 결과, 본 발명은 공간적 범위 및 손실의 지속기간을 정확하고 분명하게 나타내는 파라미터 및 주어진 측정 윈도우를 처리하기 위해 비디오 시퀀스의 품질에 이 파라미터를 매핑하는(maps) 모델을 정의한다.
본 발명의 방법은 패킷 손실 은닉으로서 슬라이싱 또는 프리징이 적용된 경우에 전송 효율(Qtrans)을 특징짓는 용어의 품질 평가에 주목한다. 본 발명의 방법은 비디오 스트림들의 압축(Qcod)에 관한 품질 평가를 위한 서로 다른 방법들로 결합될 수 있다. 슬라이싱의 경우에 Qtrans를 결정하는 방법을 적용할 때 수반되는 해당 단계들이 도 8에 나타난 플로우 차트를 사용하여 나타난다.
본 발명의 방법은 경량(light-weight) 파라미터들을 사용한 파라미터 기반의 비디오 품질 모델인데, 그에 따라 예컨대 셋톱 박스들(set-top boxes) 또는 홈 게이트웨이(home gateways)들 같은 최종 사용자(end-user) 장치들에 구현될 수 있는 서비스 모니터링에 적합한 기술적 해결책을 제공한다. 도 1에 나타난 것과 같이, 모델은 비트 스트림으로부터 추출된 파라미터들을 입력으로 받는다. 원칙적으로, 본 발명의 방법이 내장된 측정 시스템은 네트워크의 서로 다른 위치에 설치될 수 있다. 그러나, 사용자 장치 가까이에 프로브(probe)가 위치되는데, 사용자 측면에서 보다 실제 품질을 나타내는 것은 예측된 품질이다. 파라미터들은 페이로드(payload)에의 접근을 요하지 않고, 그에 따라 비트 스트림의 부분적인 또는 풀 디코딩 어느 것이든 요하지 않는다. 그 결과, 본 발명에 의한 방법은 암호화된 스트림들의 품질 예측에서 사용될 수 있는데, 네트워크 내에 측정 위치에서 페이로드에의 접근이 없도록 할 수 있다. 패킷 헤더들의 경량 파싱은 모델에 보내질 파라미터들에 접근하기에 충분하다. 만약 비 암호화된 데이터와 같이 강한(deeper) 파싱이 허용되면, 파라미터들은 부분적인 또는 풀 디코딩에 기반하는 비트 스트림으로부터 추출된 부가적인 파라미터들과 별개로 또는 함께 사용될 수도 있다는 점에 주목한다. 본 발명의 방법은 전송 과정의 파라미터들을 상세히 고려한다. "배경 기술" 부분에는 구성 요소들의 목록이 열거되는데, 그러한 구성 요소들은 패킷 손실의 경우에 판독된 비디오 품질에 영향을 미친다. 그 구성 요소들은 패킷 손실에 따른 품질 영향을 나타내는데도 적합하고, 그에 따라 파라미터 기반의 비디오 품질 모델의 파라미터의 입력에 사용될 수 있다. 그러나, 파라미터들의 대응하는 목록은 길어서, 그러한 모델의 유연성을 감소시키고, 파라미터들은 인코더 세팅, 패킷 손실 분포 또는 픽쳐 그룹 구조가 변경될 때마다 조정될 것이기 때문에, 파라미터들은 잘못된 품질 예측들을 발생시키는 위험을 증가시킨다.
본 발명에는, 대안적인 파라미터가 도입되는데, 그 파라미터는 품질 모델에 사용될 입력 파라미터들의 수를 크게(significantly) 줄인다. 이 단일 파라미터는 일반적으로 사용되는 파라미터들 각각에 기반하는 것보다 손실의 공간적 범위 및 지속 기간의 보다 포괄적인(generic) 기술을 구현하는 것이 가능하다.
패킷 손실들을 도입하는 링크를 통하여 전송된 비디오 신호 시퀀스의 품질을 수신기 측에서 평가하는 방법 및 장치를 제공하고, 슬라이싱 또는 프리징이 패킷 손실 은닉(수학식(1 또는 2)의 Qtrans)으로 적용되는 경우를 대비하는 것이 본 발명의 목적이다. 본 발명은 단일한 파라미터를 사용하는데, 파라미터는 감쇠의 크기를 캡쳐하고, 파라미터는 품질에 매핑된다(mapped to). 본 발명의 목적은 청구항들의 특징들로 달성된다.
본 발명의 첫번째 측면에 따르면, 본 발명은 전송된 비디오 신호 시퀀스의 품질을 수신기 측에서 평가하는 방법을 제공하는데, 상기 방법은
a) 수신된 입력 비디오 비트 스트림을 디코딩하고 비디오 비트 스트림 분석기에 제공하기에 앞서, 상기 수신된 입력 비디오 비트 스트림을 캡쳐하는 단계,
b) 측정 시간 윈도우(measurement time window) 동안, 상기 비트 스트림 분석기에 의해 캡쳐된 입력 비디오 비트 스트림의 패킷 헤더들로부터 하나 이상의 특징들을 추출하는 단계,
c) 상기 하나 이상의 특징들로부터, 그리고 선택적으로 슬라이싱 구성과 같은 미디어 스트림에 대하여 알려진 메타-정보로부터 패킷-손실에 따른 신호 감쇠의 크기를 나타내는 단일 파라미터(xwpSEQ)를 결정하는 단계,
d) 결정된 파라미터를 품질 추정 모듈에 제공하는 단계 및
e) 상기 품질 추정 모듈에 의하여, 비디오 해상도 정보 및 채택된 비디오 코덱에 기반하여 그리고 패킷 손실에 따른 신호 감쇠의 크기를 나타내는 단일 파라미터(xwpSEQ)에 기반하여 패킷 손실에 따른 품질 척도(Qtrans)를 산출하는 단계를 포함한다.
단계 c)에서 결정된 단일 파라미터(xwpSEQ)는, 손실의 공간적 범위 및 지속 기간을 나타낸다. 바람직하게는, 단일 파리미터(xwpSEQ)는 측정 윈도우 내의 픽쳐 그룹들(Group of Pictures, GOPs)의 수(N) 및 영향을 미친 픽쳐 그룹(k) 내에 발생하는 손실들의 시공간 범위(spatio-temporal extent, xl_k)에 기반한다.
픽쳐 그룹(k) 내에 발생하는 상기 손실들의 상기 시공간 범위(xl_k)는 손실 이벤트(xl_i)에 따른 히트 프레임 내의 손상된 화소들의 비율, 픽쳐 그룹의 시작(t_i)에 관한 손실 위치, 및 픽쳐 그룹의 길이(T_k)에 기반하여 산출된다.
상기 히트 프레임 내의 손상된 화소들의 비율(xl_i)은 현재 히트 프레임 내의 패킷 손실 이벤트(i)에 대한 유실된 비디오 패킷들의 수를 현재 히트 프레임 내의 유실된되고 정확하게 수신된 패킷들의 수로 나누는 것에 기반하여 산출된다.
상기 히트 프레임 내의 손상된 화소들의 비율(xl_i)은 현재 히트 프레임 내의 상기 손실 이벤트(i)에 따른 유실된 비디오 바이트들의 수를 현재 히트 프레임 내의 유실된되고 정확하게 수신된 바이트들의 수로 나누는 것에 기반하여 산출될 수도 있다.
다른 실시예에 따르면, 상기 히트 프레임 내의 손상된 화소들의 비율(xl_i)은 현재 프레임을 포함하는 패킷들의 수, 손실 이벤트(i)에서 유실된 현재 히트 프레임 내의 유실된 비디오 패킷들의 수, 프레임 당 슬라이스들의 수, 및 슬라이스 당 패킷들의 추정 수(estimated number)에 기반하여 산출된다.
또한, 상기 히트 프레임 내의 손상된 화소들의 상기 비율(xl_i)은 현재 프레임을 포함하는 패킷들의 총 바이트 크기, 현재 히트 프레임 내의 손실 이벤트(i)로 인해 유실된 비디오 바이트들의 수, 및 슬라이스 당 패킷들 또는 바이트들의 추정 수에 기반하여 산출되는 것이 바람직하다.
대안적으로, 상기 히트 프레임 내의 손상된 화소들의 비율(xl_i)은 현재 프레임을 포함하는 패킷들의 수, 결합된 손실 이벤트 (ij)에 속하는 비디오 패킷들의 수, 손실 이벤트(ij) 동안 발견되는 현재 히트 프레임 내의 비디오 패킷들의 수, 프레임 당 슬라이스들의 수 및 슬라이스 당 패킷들의 추정 수에 기반하여 산출된다.
또한 본 방법은 대안으로서 상기 히트 프레임 내의 손상된 화소들의 비율(xl_i)은 연속으로 유실된 비디오 전송 스트림 패킷들의 수, 프레임 당 슬라이스들의 수 및 손실에 의해 히트된 프레임 내의 손실 전파(loss propagation)을 반영하는 보정항(correction term)에 기반하여 산출되는 것을 포함한다.
계속된 부가적인 실시예에서, 상기 히트 프레임 내의 손상된 화소들의 상기 비율(xl_i)은 연속으로 유실된 비디오 전송 스트림의 비디오 바이트들의 수 및 현재 히트 프레임 내에 포함된 비디오 바이트들의 총 수에 기반하여 산출된다.
대안적으로, 상기 히트 프레임 내의 손상된 화소들의 상기 비율(xl_i)은 결합된 손실 이벤트(ij)에 속하는 비디오 전송 스트림 패킷들의 수, 결합된 손실 이벤트(i,j)의 손실 부분 사이에 발견되는 비디오 전송 스트림 패킷들의 수, 프레임 당 슬라이스들의 수, 및 손실에 의해 히트된 프레임 내의 손실 전파을 반영하는 보정항에 기반하여 산출된다.
대안적인 실시예는 프레임 당 단일한 슬라이스가 사용되는 경우를 처리한다(handles). 여기서, 손실 이벤트(i)의 시공간적 범위에 대한 손실 이벤트(i)의 기여도(contribution)(xl_i)는 바람직하게는 최초의 유실된 패킷과 프레임의 마지막 사이의 공간적 영역(area)과 같이 산출된다.
단계 (c)의 방법은 전체 파라미터에 대한 각각의 손실 이벤트(i)의 시공간적 범위에 대한 손실 이벤트(i)의 기여도(xl_i)가 보정되는 것에 의해 비디오 시퀀스의 시공간적 복잡성을 나타내는 보정 인자를 부가적으로 고려한다. 상기 보정 인자는 바람직하게는 픽쳐 그룹당 산출된 비디오의 시간적 복잡성에 의존한다. 대안적으로, 상기 보정 인자는 손실 이벤트(i)에 의해 히트된 픽쳐 그룹 내에 프레임의 시간적 위치에 의존한다. 뿐만 아니라, 상기 보정 인자는 손실 이벤트(i)에 의해 히트된 픽쳐 그룹 내의 프레임의 시간적 위치 및 픽쳐 그룹당 산출된 비디오의 시간적 복잡성에 의존할 수 있다.
본 발명에서, 단계 (e)는 픽쳐 그룹들의 수에 손실 이벤트들을 부가적으로 고려한다.
뿐만 아니라 각각의 프레임 내에서 패킷 손실에 의해 영향을 받은 영역의 추정된 위치를 캡쳐하는 변수는 손실 이벤트당 저장되고, 상기 변수는 손실 이벤트(i)의 시공간적 범위에 대한 손실 이벤트(i)의 기여도(xl_i)를 보정하거나 단계 (c)에 따른 전체 파라미터에 대한 시퀀스의 주어진 시간적 위치의 기여도를 보정하는데 사용되는 것이 바람직하다.
본 발명의 바람직한 실시예에 따르면, 프리징(freezing)이 패킷 손실 은닉 타입으로 사용되는 경우, 단계 (c)에 따른 파라미터는 본 발명에 따른 방법들 중 임의의 방법에 따라서 계산되는, 시퀀스 내의 프리징들의 총 가중 시간적 지속 기간을 의미한다.
본 발명의 두 번째 측면에 따르면, 본 발명은 전송된 비디오 신호 시퀀스의 품질을 수신기 측에서 평가하기 위한 장치를 제공하는데, 본 발명에 따른 장치는
디코딩에 앞서 수신된 입력 비디오 비트 스트림을 캡쳐하고, 측정 시간 윈도우 동안, 캡쳐된 입력 비디오 비트 스트림의 패킷 헤더들로부터 하나 이상의 특징들을 추출하도록 구성된 비디오 비트 스트림 분석기;
상기 하나 이상의 특징들로부터, 그리고 선택적으로 슬라이싱 구성과 같은 미디어 스트림에 대하여 알려진 메타-정보로부터 패킷 손실에 따른 신호 감쇠의 크기를 나타내는 단일 파라미터(xwpSEQ)를 결정하기 위한 수단들;
상기 결정된 파라미터를 수신하도록 구성된 품질 추정 모듈―상기 품질 추정 모듈은 비디오 해상도 정보 및 채택된 비디오 코덱에 기반하여 그리고 패킷 손실에 따른 신호 감쇠의 크기를 나타내는 단일 파라미터(xwpSEQ)에 기반하여 패킷 손실에 따른 품질 척도(Qtrans)를 산출하도록 구성됨―;
을 포함한다.
위 언급된 본 발명의 첫 번째 측면의 바람직한 실시예들은 또한 본 발명의 두 번째 측면의 바람직한 실시예들이다.
도 1은 압축 및 전송 왜곡에 관한 품질 평가의 일반적인 프레임워크(framework)의 구성도를 나타낸다. 특히, 도 1은 압축(Qcod)인 경우 판독된 비디오 품질 및 서비스 모니터링인 경우 전송(Qtrans) 감쇠들을 평가하기 위한 일반적인 프레임워크를 나타낸다. 손실 패킷들의 수, 프레임 타입, 등과 같은 파라미터들은 비트 스트림으로부터 추출되고 xwpSEQ 파라미터를 계산 및 패킷 손실 Qtrans에 따른 품질 영향을 예측하는데 사용된다.
도 2는 패킷 손실 및 패킷 손실 은닉으로서 슬라이싱의 경우 프레임 당 슬라이스들의 수에 관련된(of) 영향을 나타낸다. 특히, 프레임 당 3 개의 슬라이스들(중간 픽쳐)의 경우 및 매크로 블록-열(Macroblock-row) 당 1 슬라이스의 경우에, 도 2는 주어진 프레임 내의 다음 슬라이스까지 손실이 어떻게 전파하는지를 나타낸다.매크로 블록은 16×16크기의 화소들 블록이다. 서로 다른 영역들은 얼마나 많은 패킷들이 프레임을 구성하는지 및 프레임에 얼마나 많은 슬라이스들이 사용되는지에 의존적으로 영향을 받는다.
도 3은 비디오 스트림의 인코딩된 차수에 대하여(vs.) 디스틀레이 차수를 비교한다
도 4는 xwpSEQ 파라미터의 계산을 나타낸다. 도 4는 측정 윈도우 내의 비디오 프레임들 및 픽쳐 그룹(k) 내의 손실들을 나타낸다.
도 5는 패킷 손실에 의해 손상된 주어진 픽쳐 그룹 내의 움직임의 타입에 의존하는 서로 다른 다양한 손실 전파를 나타낸다. 도 5는 (a) 손실 약화 또는 확장을 고려함이 없이 ,(b) 손실 약화를 고려한, 및 (c)손실 확장을 고려한 에러 전파의 예시를 나타낸다.
도 6은 연이은 유실된 패킷들(nlp_i = 2) 및, 단일 슬라이스를 전송하기 위해 요구되는 네 가지 패킷들에 대한 슬라이스 단편화의 경우에 손실 이벤트(i)의 시공간적 범위(xl_i)가 어떻게 계산될 수 있는지를 나타낸다. 상부의 픽쳐에 대하여, 프레임에 대한 모든 슬라이스들은 그것들이 구성되는 패킷들면에서 다른 것과 따로 하나로 묘사됨에 주목한다. 뿐만 아니라, 목적들의 설명을 위해 전체 프레임에 대하여 슬라이스 당 패킷들의 동일한 수를 가지는 최적화된 상황이 추정됨에 주목한다.
도 7은 TS-경우에 대하여 xl_i, 손실 이벤트(i)의 시공간적 범위의 계산을 상세히 나타낸다. 유실된 영역은 프레임에 결쳐서 임의적인(arbitrary) 위치에 놓일 수 있다. 여기서, 유실된 부분은 전체 프레임 크기에 관한 비율로서 나타난다. 손실 위치는 손실의 시작 위치면에서 나타난다.
도 8은 흐름도의 방법들에 의하여 본 발명의 주요 단계들을 요약한다. 흐름도는 슬라이싱이 패킷 손실 은닉으로써 사용된 경우에 Qtrans를 결정하는 예시에 대한 방법을 나타낸다. 회색으로 채운 블록들은 본 발명의 기본형(basic mode)을 함께 형성시킨다는 점에 주목한다. 흰색 블록들은 선택적 부가 단계들을 반영한다.
본 발명이 도면들 및 전술한 설명에서 상세히 묘사되고 기술되는 동안, 그러한 묘사 및 기술은 실례(illustrative) 또는 실시예(exemplary)로 고려될 것이고 한정하지 않는다. 첨부된 청구항들의 범위 내에서 일반적인 기술들에 의한 변형들 및 보정들이 이루어질 수 있음이 이해될 것이다. 특히, 본 발명은 상술된 및 후술되는 다른 실시예들로부터의 특징들의 임의의 결합을 포함하는 부가적인 실시예들을 포함한다.
뿐만 아니라, 청구항 내의 용어 "포함하는"은 다른 구성 요소들 또는 단계들을 배제하지 않고, 부정 관사(indefinite article) "a" 또는 "an"은 다수를 배제하지 않는다. 용어들 "필수적으로(essentially)", "약(about)", "대략(approximately)" 및 한정사(attribute) 또는 값(value)과 관련된 유사 용어는 특히 한정사 또는 값을 각각 정확히 정의하기도 한다. 청구항들 내의 임의의 참조 기호들 은 본 발명의 범위를 제한하는 것으로 이해되지 않을 것이다.
1. 슬라이싱(Slicing)
1.1 픽쳐 그룹(k) 및 시퀀스(xwpSEQ) 당 손실-감쇠의 시공간적 범위(xl_k)(Spatial-temporal extent of loss-degradation per GOP and per sequence)
본 발명은 첫 번째로 슬라이싱에 관하여 기술된다. 프리징의 방법은 후에 슬라이싱 방법의 부수적인 경우로서 나타난다.
손실의 공간적 범위 및 지속 기간은 히트 프레임들 내의 연속적으로 유실된 패킷들의 수, 히트 프레임들 내의 패킷들의 수, 프레임 당 슬라이스들의 수, 및 히트 프레임들의 프레임 타입으로부터 계산된다.
그에 따라, Qtrans는 수학식(3)에서와 같이 기술될 수 있다.
다음의 모든 산출들은 디코더 입력 레벨에서의 비트 스트림 상에서 수행되고, 그에 따라 프레임들은 표시된 순(display-order)이 아닌, 인코딩된 순(encoded-order)을 따른다(도 3에 도시)
[수학식 3]
Figure 112013059801685-pct00003
여기서, f 는 예컨대 로그 함수(logarithmic function).
및
[수학식 4]
Figure 112013059801685-pct00004
여기서
N 은 측정 윈도우 내의 픽쳐 그룹들의 수
xl_k 는 픽쳐 그룹(k)에 발생하는 손실들의 시공간적 범위
및
[수학식 5]
Figure 112013059801685-pct00005
여기서
i 는 새로운 손실 이벤트 인덱스(index of new loss event)(즉, 손실 전파로부터의 결과가 아님). 손실 이벤트이 B-프레임 내에 발생하면(무 기준 B-프레임 계층적 코딩의 경우), 손실은 전파되지 않고, 그에 따라 xl_k의 계산에서 손실 이벤트은 무시된다.
t_i 는 새로운 손실 이벤트이 발생하는 프레임(픽쳐 그룹의 시작에 관한) 율.
T_k 는 일반적으로 프레임들의 수의 측면에서 표현되는 픽쳐 그룹(k)의 지속 기간 또는 길이.
xl_i 는 손실 이벤트(i)로 인한 히트 프레임 내의 손상된 화소들의 비율
xl_ii는 손실 이벤트(i)으로부터의 기여도로, xl_iw는 임의의 이전 손실 이벤트들(w<i)로부터의 기여도로 둔다. 원칙적으로 단일한 픽쳐 그룹(k) 내의 다수의 손실 이벤트들을 위한
Figure 112017091899086-pct00006
이 1 보다 크게 되기 때문에, 수학식(5)의 합계는 단계적인 방법으로 수학식(5a)으로 산출될 수 있다.
[수학식 5a]
Figure 112013059801685-pct00007
xl_ki는 픽쳐 그룹(k) 내의 현재 손실 이벤트(i)까지 축적된 상대 공간 부분이다.
대안적인 실시예 및 픽쳐 그룹 길이를 크게 달리하는경우에, 픽쳐 그룹 각각의 지속기간은 수학식(5a)을 산출하는 수학식(4)에서 분명히 고려될 수 있다.
[수학식 5a2]
Figure 112013059801685-pct00008
여기서, Tk 는 예를 들어, 프레임들의 수로 나타날 수 있는 시퀀스의 전체 지속 기간이다.
본 발명의 다른 실시예는 계층적 B-프레임들이 사용된 경우에 유효하다. 이 경우에, B-프레임 앞과 뒤 각각의 B-프레임들 모두에 손실이 영향을 미치는 동안, 기준 B-프레임 내의 손실 이벤트은 다음의 손상되지 않은 P-프레임이 도달할 때까지 전파하는 것으로 추정될 수 있다. 그 결과, 손실 이벤트(i)의 시공간적 범위에 대한 손실 이벤트(i)의 기여도(xl_i) 각각은 벡터(xl_k) 중에서 수집되는데, 각각의 입력(entry)은 손실 이벤트 각각의 공간적 범위를 특징짓고, 각각의 지속 기간들은 벡터(t_k) 내에 수집된다.
[수학식 5b]
Figure 112013059801685-pct00009
및
[수학식 5b2]
Figure 112013059801685-pct00010
Tp_i는 손실에 의한 다음 기준 손상 B-프레임의 픽쳐 그룹(K) 내의 프레임 위치이다.여기서, 전송 차수 내의 프레임 인덱싱(frame-indexing)이 추정된다.
그 다음, 수학식(5 또는 5a)에 따른 xl_k의 산출은 벡터들(xl_k 및 t_k)의 스칼라 곱을 포함한다.
[수학식 5c]
Figure 112013059801685-pct00011
또는 위에서 제공된 바와 같은 동일한 논증(argumentation)에 따라서, 최대 모든 프레임이 영향을 미치도록 손실 또는 그와 같은 방법의 그것의 전파에 의해 이미 영향을 미친 프레임 내의 새로운 손실 이벤트(i)에 따른 공간적인 새로운 오류를 제한하는데(limiting), 예를 들어 수학식(5a)을 본다.
1.1.1 손실 이벤트(i)의 시공간적 범위에 대한 손실 이벤트(i)의 기여도(xl_i)의 결정
1.1.1.1 패킷 당 단일 슬라이스
손상된 화소들의 평가된 비율(xl_i)을 결정하기 위한 채용된 패킷화 설계에 의존하는 서로 다른 방법들이 존재한다.
예를 들어 파라미터 xl_i는 다음과 같이 계산될 수 있다
[수학식 6]
Figure 112013059801685-pct00012
여기서
nlp_i 는 현재 히트 프레임 내의 패킷 손실 이벤트(i)에 대한 비디오 패킷들의 수.
np 는 현재 히트 프레임 내의 (유실된 + 정확히 수신된)패킷들의 수
xl_i 는 손실 이벤트(i)에서 유실된 패킷들에 대응하는 현재 히트 프레임 내의 손상된 화소들의 평가된 비율.
이 실시예는 정확히 단일한 슬라이스(즉 H.264 비디오 코덱의 경우에 단일 네트워크 추상 계층 유닛(one Network Abstraction Layer Unit,NALU))를 포함하는 단일 IP-패킷과 같은 방법으로 패킷화된 경우를 나타낸다. 이 경우에, 일반적으로 슬라이스들은 네트워크 MTU-바이트들의 크기(MTU-size in bytes)에 대응하도록 선택된다. 결과적으로, 패킷 손실은 슬라이스 손실에 대응하고, nlp 패킷들의 손실은 nlp슬라이스들의 손실에 대응한다. 이 경우에, 손실은 유실된 패킷들의 수를 프레임이 구성되는 패킷들의 수로 나누는 것과 같이 계산된다. 프레임이 구성되는 패킷들의 수는 유실된 패킷들의 수와 수신된 패킷들의 수의 합에 대응하는 것이 명백하다.
대안적인 실시예에 따르면, [10]에 기술된 바와 같이, 기준 프레임 내의 유실된 부분은 유실된 바이트들의 추정 수를 주어진 프레임에 요구되는 바이트들의 추정 수로 나누는 것과 같이 평가될 수 있다.
[수학식 6a]
Figure 112013059801685-pct00013
여기서
blp_i 는 현재 히트 프레임 내의 손실 이벤트(i)에 따른 유실된 비디오의 바이트들의 수이다.
bp 는 현재 히트 프레임 내의 (유실된+정확히 수신된)바이트들의 수이다.
xl_i 는 손실 이벤트(i)이 있는 바이트들에 대응하는 현재 히트 프레임 내의 손상된 화소들의 평가된 비율이다.
1.1.1.2 전송 스트림들이 없는, 프레임 당 슬라이스들의 고정된 수(Fixed number of slices per frame, no Transport Streams)
다음으로, 슬라이스들이 화소들의 고정된 양을 포함하는 방법으로 패킷화된 경우가 고려될 것이다. 이는 MTU-크기에 매핑될 것이 강제되지 않는 슬라이스들을 사용한(with) 예를 들어, IP/UDP/RTP 기반의 전송의 경우이다. 현재 프레임을 손상시키는 주어진 손실 이벤트(i)에서 nlp_i 패킷들은 연속으로 유실된다고 추정된다. 크기(패킷) = min(MTU,slice)로 나타나는 패킷들의 산출로 다른 패킷화가 예상되기 때문에, 두 가지 경우들이 구별될 수 있다. a) 패킷 크기가 슬라이스 크기 보다 큰 경우, b) 패킷 크기가 슬라이스 크기와 같거나 보다 작은 경우. a)의 경우에, 패킷 각각에는 슬라이스들의 수(정수, integer number)가 포함되고, 슬라이스 단편화(fragmentation)는 수행되지 않을 것으로 추정될 수 있다. 이 a)의 경우는 개념적으로 패킷 당 단일 슬라이스가 존재하는 이전의 기술(descriptions)들과 매우 유사하다. 유사하게, 단일한 패킷에 슬라이스들의 수(정수)가 포함되는 본 경우 a)에서, 손실 이벤트(i)으로 유실된 화소들의 상대 양은 패킷들(nlpi)의 상대 수를 전체 프레임이 구성되는 패킷들의 수로 나눈 수에 대응한다. 수학식(6 및 6a)을 본다.
슬라이스 단편화를 사용한 b) 경우에, 수학식(6)은 다음과 같이 고쳐 쓸 것을 요한다.
[수학식 6b]
Figure 112017091899086-pct00061
여기서
np 는 현재 프레임을 포함하는 패킷들의 수이다.
nlp_i 는 이전과 같은, 손실 이벤트(i)으로 유실된 현재 히트 프레임 내의 유실된 비디오 패킷들의 수이다.
nsc 는 프레임 당 슬라이스들의 수이다.
np/nsc 는 슬라이스 당 패킷들 또는 바이트들의 추정 수이다.
이 경우는 도 6에 나타난다. 해당 도식적인 도면은 슬라이스 구조 적용례에 관한 손실의 위치의 함수(function)로서 연이은 유실된 nlp_i 패킷들에 대한 손실 이벤트에 의해 영향을 미친 공간적 영역의 비율을 나타낸다. 본 특허의 수학식(6b), 및 유사한 다른 식들은 평균적인 행동(average behaviour)을 산출하는 것에 의하여 도출될 수 있다.
이 경우의 대안적인 실시예에서, 패킷들의 수들을 선택하는 것 대신에, 이전의 경우에서와 같이, 이들 패킷들에 포함된 바이트들의 각각의 수들이 사용될 수 있는데, 수학식(6 및 6a)을 본다.
[수학식 6c]
Figure 112013059801685-pct00014
여기서
bp 는 현재 프레임을 포함하는 패킷들의 총 바이트 크기이다.
blp 는 현재 히트 프레임 내 손실 이벤트에 따른 유실된 비디오 바이트들의 수이다.
np/nsc 슬라이스 당 패킷들 또는 바이트들의 추정 수이다.
프레임 당 단일한 슬라이스만이 사용되면, 그 프레임 내의 손실 이벤트의 정확한 위치가 알려질 수 있다. 이 경우에, xl_i는 첫 번째 유실된 패킷과 프레임의 마지막 사이의 공간적 영역에 대응한다.
[수학식 6d]
Figure 112013059801685-pct00015
여기서 sap_i는 손실에 의해 영향을 미친 표면이고 sf는 전체 프레임 표면이다.
본 특허에서 미리 설명된 것처럼 패킷 크기들 및/또는 페이로드 크기들에 기반하는 sap_i 및 sf을 산출하는 것은 당업자에게 명백하다.
두 개의 후속 손실 이벤트들(i 및 j)의 첫 번째 손실 패킷들(p_i 및 p_j)이 간격(gap_l_ij ≥ np/nsc)으로 분리될 때만, 패킷들의 수는 슬라이스에 요구되는 추정 수보다 크거나 같음이 주목될 것인데, 두 개의 손실 이벤트들은 후속으로서 고려된다. 그렇지 않으면, 여기서 두 개의 손실 이벤트들은 그 사이에서 발견되는 패킷들(nfp_ij)의 수에 의해 특징 지어지는 단일한 결한 손실 이벤트(i,j)의 일부로서 취급된다. 이 경우, (6b)는
[수학식 6e]
Figure 112013059801685-pct00016
여기서
np 는 현재 프레임을 포함하는 패킷들의 수이다.
nlp_ij 는 결합된 손실 이벤트(ij)에 속하는 비디오 패킷들의 수인데, 그것은 모든 손실 패킷들 뿐만 아니라 (현재 히트 프레임 내의)두 개의 패킷 손실 이벤트들(i 및 j) 사이에 포함된 간격 내에 발견된 패킷들이다.
nfp_ij 는 손실 이벤트(ij)동안 발견되는 현재 히트 프레임 내의 비디오 패킷들의 수이다. 여기서, 결합된 손실 이벤트은 손실 패킷에 1을 대응시키고, 발견된 패킷에 0을 대응시킨 1...0.0..1 방식(form)으로 이루어진다. 그에 따라 손실 이벤트은 손실, 그 사이에서 발견되는 nfp_ij 패킷들과 함께 시작되고 종료된다.
nsc 는 프레임 당 슬라이스들의 수이다.
np/nsc 는 슬라이스 당 패킷들 또는 바이트들의 추정 수이다.
수학식(6e)은 비디오 프레임의 손실 및 발견된 부분들 각각의 바이트 크기 측면에서도 나타날 수 있음이 명백하다.
1.1.1.3 전송 스트림들과 함께, 프레임 당 슬라이스들의 고정된 수(Fixed number of slices per frame, with Transport Streams)
전송 스트림(Transport-Stream, TS) 패킷들을 포함하는 패킷화의 경우에, 비디오 패킷들은 비디오 페이로드를 가지는 전송 스트림 패킷들에 대응된다. 이 경우에, 일반적으로 슬라이스 각각은 비디오 프레임 각각의 고정된 공간적 영역에 대응한다. 여기서, 또한(too), 1 에서 몇몇의 패킷들은 주어진 프레임에 대하여 비디오의 공간적 또는 시간적 복잡성에 의존하는 슬라이스 각각을 전송하도록 요구될 수 있다.
"배경 기술" 섹션의("Background of the invention" section) g)위치에 언급된 것처럼, 슬라이스 내에 손실 이벤트이 존재하면, 화소 부분으로부터의 모든 화소-부분은 다음 슬라이스가 손상될 때까지 손실 패킷들에 대응된다.
이 경우, 연이은 유실된 nlp_i 패킷들의 손실 이벤트(i)이 존재할 때, 평균적인 반 슬라이스(half-a-slice)는 손상된 화소들의 비율이 히트 프레임 내의 손실 이벤트(i) 내의 패킷들의 수에 대응하는 외에 유실된다. 이것은 수학식(6)을 수학식(7)으로 보정하는 것에 의하여 반영될 수 있다.
[수학식 7]
Figure 112013059801685-pct00017
여기서
nlp_i 는 연속으로 유실된 비디오 TS-손실의 수이다.
nsc 프레임 당 슬라이스들의 수이다.
1/(2*nsc) 는 그에 따른 손실에 의한 슬라이스 손상 내의 손실 전파를 반영하는 보정항이다.
도 7에는 상황이 나타나는데, nlp_i 패킷 손실의 주어진 손실 이벤트에 의하여 영향을 미친 공간적 영역이 손실 이벤트이 프레임 상에 어떻게 위치되는지의 함수 및 슬라이스들의 일련의 예시에 관하여 나타난다. 여기서, 공간적 비율들은 프레임이 구성되는 패킷들의 총 수에 관하여 나타나는데, 그 결과 전체 프레임은 1의 비율(proportion of 1)로 대응된다. 평균적으로 영향을 미친 부분을 산출할 때 수학식(7)은 프레임 시작에 관한 손실 이벤트의 시작 위치 위의 나타난 곡선을 가산하는 것을 따른다. 주어진 예시는 손실 패킷들 내에 포함된 공간적 영역이 단일 슬라이스 보다 작은 경우가 선택되지만, 그것이 단일 슬라이스 보다 큰 경우에도 같은 관계들이 적용됨을 쉽게 알 수 있다.
대안적인 실시예에서, 패킷들의 수들보다는 패킷 바이트 크기가 사용될 수 있다.
[수학식 7a]
Figure 112013059801685-pct00018
여기서
blp_i 는 연이은 유실된 TS-패킷들 내의 비디오 바이트들의 수이다.
bp 는 현재 히트 프레임 내에 포함된 비디오 바이트들의 총 수이다.
다른 패킷화 경우들에서와 같이, 두 손실 이벤트들(i 및 j)의 시작 지점들은 단일 슬라이스의 바이트들 또는 서로 떨어진 TS-패킷들의 수보다 적을 수 있다. 이 경우에, 본 발명은 두 손실 이벤트들을 두 개의 일련의 손실 패킷들(nlp_i 및 nlp_j 또는 각각 blp_i 및 blp_j) 사이에서 발견되는 패킷들의 수(nfp) 또는 크기(bfp)를 포함하는 하나의 단일 손실 이벤트으로서 고려하도록 제안한다. 이 경우, 전술한 비교가능한(comparable) 실시예에서와 같이, 두 손실이 계속되는runs 사이에 발견되는 nfp_i 패킷들은 수학식(7b)에 의해 기술되는 것처럼 프레임 각각의 손상된 화소들의 비율을 감소시킬 것이다.
[수학식 7b]
Figure 112013059801685-pct00019
이전에 정의한 것에 덧붙여서 nlp_ij 는 결합된 손실 이벤트(ij)에 속하는 비디오 TS-패킷들의 수인데, 그 사이(여기서 두 손실 이벤트(i,j) 사이의 하나의 간격만으로 추정한다)에 발견되는 패킷들을 포함한다.
nfp_ij 는 결합된 손실 이벤트(i,j)의 손실 부분 사이의 발견된 TS-패킷들의 수이다.
nsc 는 프레임 당 슬라이스들의 수이다.
1/(2*nsc) 는 그에 따른 손실에 의해 손상된 슬라이스 내의 손실 전파를 반영하는 보정항이다.
프레임에 속하는 패킷들의 시퀀스 상에 손실 이벤트(i)의 위치가 고려될 때, 단지 몇몇의, 즉, 예를 들어 프레임 당 하나의, 두 개의, 또는 세 개의 슬라이스들이 사용되는 특정의 경우에, xl_i의 산출은 보다 정확할 수 있다. 이것은 프레임 당 하나의 슬라이스의 경우에 특히 중요한데, 그 프레임 내의 유실된 패킷에 따른 모든 화소 정보는 감쇠로서 고려될 수 있다. 그러한 경우, 수학식(7)은 수학식(7c)이 된다.
[수학식 7c]
Figure 112013059801685-pct00020
여기서
ndp_i 는 프레임 내의 첫 번째 유실된 패킷으로부터 프레임 마지막 까지의 패킷들의 수이다.
일반적으로 전송 스트림의 경우, 손실 이벤트(i)에 대한 유실된 비디오 패킷들의 수가 프레임에 속하는 패킷들의 추정된 수를 초과하거나, 영향을 미친 부분(추정된 대로, 예를 들어, 유실된 바이트들의 추정된(extimated) 수로부터)이 프레임의 부분을 초과하고, 그에 따라 손실 이벤트이 다음 프레임으로 확장되면, 다음 프레임의 영향을 미친 부분이 각각 고려될 필요가 있다. 영향을 미친 (다음)프레임 상에서 예를 들어 수학식(7, 7a, 7b 또는 7c)을 사용하여 그러한 산출이 이루어 진다.
프레임 내의 손실의 위치를 분명히 고려하는 다른 측면이 섹션(1.3.2)에 기술된다.
1.2 품질 모델
이제, 본 발명에 따른 위 모든 경우들에 대한 예를 들면,
[수학식 8]
Figure 112013059801685-pct00021
수학식(8)에서, 계수(a 및 b)의 값은 비디오 해상도(resolution) 및 채용된 비디오 코덱에 의존한다. 주어진 해상도 및 비디오 코덱에 대한, 한 벌의 계수만을 사용하는 모델은 다양한 비트 전송속도들, 비디오 컨텐츠 타입들(시공간적 복잡성의 측면에서), 픽쳐 그룹 구조의 선택들, 패킷 손실률과 분포 및 프레임 당 슬라이스들의 수를 포함한다.
계수들은 바람직하게는 목표 값(target values)과 같은 감지 시험들의 순위를 사용한 최소 자승 오차(least-square error) 곡면 조정 절차(curve fitting procedure)에 포함됨을 주목한다. 예를 들어 x264 인코더 구현에 대응하는 H.264 비디오 코덱을 사용한 HD 해상도(1920×1080 화소들)에 대하여 a = 7.79 및 b = 0.002를 가진다.
1.3 모델 개선(refinements)
1.3.1 에러 전파 동안 손실에 영향을 미친 부분의 행동(Behaviour of the loss-affected area during error propagation)
픽쳐 그룹(k) 내에 시간(t_i)에 기준 P- 또는 I-프레임 상에 단일 패킷 손실이 발생하면, 에러는 다음 I-프레임까지 전파된다. 다음 I-프레임까지 시간(t_i)에 최초로 손상된 프레임 및 의존적 프레임들 내의 손상된 화소들의 수는 어느 정도 일정하게 고려된다. 다른 측면에서, 전파하는 동안(도 5에 도시) 손실의 공간적 범위는 일정하게 고려된다. 대부분의 경우들에서 이러한 추정은 정확하지 않다. 실제로, 비디오에는 이동이 존재하기 때문에, 그리고 인코딩 과정의 본질에 따라, 손실의 공간적 범위는 하나의 의존적 프레임으로부터 다른 의존적 프레임까지 변한다(도 5(b) 및 (c)에 도시). 이 공간적 범위의 확장(도 5(c)) 또는 감소(도 5(b))는 이동의 양적 복잡성 및 시간적 복잡성에 의존한다. 이동이 무질서하면, 예를 들어 이미지의 서로 다른 부분들이 서로 다른 방향들로 이동하면, 손실은 전체 프레임에 걸쳐서 전파되지만, 손상된 대상(object)의 이동이 변함이 없고 빠르면, 손상된 대상은 다음 I-프레임(도 5b) 전에 픽쳐으로부터 사라질 수 있다. 수학식들(9a, 9a2 및 9b)에 나타난 봐와 같이, 이러한 측면은 보정 인자 a1,k 를 수학식(4) 및 관계된 모든 수학식들의 xl_k에 삽입및/또는 보정 인자 a2,i 를 수학식(5) 및 관계된 모든 수학식들에 삽입함으로써 조절될 수 있다.
[수학식 9a]
Figure 112013059801685-pct00022
또는 수학식(5a)에 관한
[수학식 9a2]
Figure 112013059801685-pct00023
여기서,
[수학식 9b]
Figure 112013059801685-pct00024
보정 인자 a1,k는 비디오(tcomp)의 시간적 복잡성에 의존한다. 시간적 복잡성은픽쳐 그룹(k) 당 계산된다.
보정 인자 a2,i는 손실 이벤트(xl_i) 당 적용되고 손실에 의한 히트 프레임의 시간적 위치, 즉 t_i 및 비디오(tcomp)의 시간적 복잡성에 의존한다.
[수학식 10a]
Figure 112013059801685-pct00025
[수학식 10b]
Figure 112013059801685-pct00026
여기서
tcomp 는 픽쳐 그룹의 시간적 복잡성, 예를 들어 I, P- 및 B-프레임들의 프레임 크기(sizez) 함수, 및
t_i 는 새로운 손실 이벤트이 발생하는 픽쳐 그룹 내의 프레임 위치
그에 따라
a1 는 tcomp의 함수
a2 는 t_i와 T 및 tcomp의 t_i와 T 사이의 프레임 위치 함수.
보정 인자들 a1 및 a2는 이전 단계에서(오프-라인) 손실 이벤트 각각 및 광범위의 비디오 컨텐츠들에 대하여 수학식(6)―또는 xl_i를 산출할 수 있는 위에서 제공된 임의의 다른 수학식들―을 사용하여 계산된 xl_i 값들 및 실제 손상된 화소들의 수를 비교하는 것에 의하여 통계적으로 얻을 수 있다. 실제 손상된 화소들의 수는 예를 들어 패킷 손실을 가진 인코딩된 비디오과 패킷 손실이 없는 인코딩된 비디오을 프레임별로(frame-by-frame) 비교함으로써 산출된다. 이 수는 손실 이벤트에 대하여 t_i, tcomp 및 xl_i값들을 포함하도록 저장된다. 그에 따라 다양한 tcomp에 대하여 실제 손상된 화소들 및 xl_i의 수와 당업자에게 알려진 발견적 방법들을 사용하여 도출될 것을 요하는 t_i값들 간에 매핑한다. 그에 따라 각각의 t_i 및 tcomp 값들에 대하여 얼마나 많은 xl_i이 약화되거나 확장되어야 하는지 알 수 있다.
에러의 가시성(visibility)은 컨텐츠의 시공간적 복잡성에 의존함에 주목한다. 예를 들어, 낮은 시간적 복잡성 컨텐츠에 대한 및 슬라이싱이 패킷 손실 은닉의 일부로써 사용된 경우에, 이러한 손실 은닉은 매우 잘 동작할 수 있고, 손실이 감소된 에러는 가시적이지 않을 수 있다. 또한 에러는 많은 양의 정보를 가진 공간적 영역들에 발생할 때 비 가시적일 수 있다. 그 결과, 대안적인 실시예에서 인자들(a1,k 및 a2,i)은 비디오 시퀀스의 시간적 및 공간적 복잡성들에 기반하여 산출될 에러들의 가시성을 나타낼 수도 있다. 이 경우에, 수학식(9a 및 9a2)이 사용될 수 있고, 보정 인자 a1,k는 비디오의 시공간적 복잡성(stcomp)에 의존한다. 시공간적 복잡성은 픽쳐 그룹(k) 당 계산되고, 수학식(10a)은 수학식(10a2)이 된다.
[수학식 10a2]
Figure 112013059801685-pct00027
여기서
stcomp 는 픽쳐 그룹의 시공간적 복잡성, 예를 들어 I-, P- 및 B-프레임들에 대한 프레임 크기들의 함수이다.
계층적 B-프레임 코딩이 채용될 때, 당업자는 수학식(9a-10a2)에 의해 표현되는 특징들을 약간 다른 일시적으로 통합된 손실과 결합할 수 있는데, 예를 들어, 수학식들(5b2, 및 5c)을 본다.
1.3.2 손실 이벤트에 의해 영향을 미친 공간적 영역
위에 도입된 것처럼 동일하게 가중한 인자들을 사용하여, 손실 이벤트(i)에 의해 야기된 프레임 내의 감쇠 위치는 분명히 고려될 수 있다. 이것은 서로 다른 이유로 중요할 수 있다.
Ⅰ) 독자의 주의는 주로 중간 프레임에 집중될 것이다. 이러한 효과는 가시적인 에러들의 발생에 의해 감소되는데, 이러한 효과가 독자들의 주의를 끌 것이다. 그러나, 프레임의 특정 에러들에 발생하는 가시적인 에러들은 프레임의 다른 영역들 내의 에러들보다 품질에 보다 강한 영향을 낳을 수 있다. 이러한 측면은 잘 알려진, 이 특허에서 본 발명은 이러한 효과들이 어떻게 xl_k 및 xwpSEQ의 산출에 포함될 수 있는지, 상술한 인자들 a1 또는 a2을 적절한 방법으로 사용하는 것, 후술되는 바와 같은 공간적 위치 표시를 사용하는 것에 있다.
Ⅱ) 단일 픽쳐 그룹 내의 유사한 공간적 위치들에서 다수의 손실 이벤트들이 발생할 때, 영향을 미친 공간적 영역은 이러한 손실 이벤트들로부터의 각각의 기여도들의 누적(accumulation)에 대응하지 않을 것이다. 그 대신, 영향이 결합되고, 결과적으로 픽쳐 그룹(k)의 xl_k 결과는 모든 손실 이벤트들이 서로 다른 영역들에 영향을 미칠 때보다 낮을 것이다. 그 상황에서 이러한 효과들은 시간적 복잡성과 상호 작용하기 때문에, 그 상황에서 움직임들을 포함하는 감쇠 위치가 주변을 이동할 때, 그 효과는 보다 적게 나타나는데, 부가적인 컨텐츠 의존이 존재한다. 이러한 모든 측면들은 위에서 도입된 가중 인자 a2를 적절하게 선택함으로써 다룰 수 있다.
Ⅲ) 다수의 픽쳐 그룹들이 유사한 공간적 위치들에 감쇠를 나타낼 때, 그대로, 예를 들어, 프레임 당 하나의 슬라이스를 포함하는 비디오 전송의 경우(통계에 따르면, 낮은 부분이 항상 보다 많은 영향을 받는다), 결과로 생긴 감쇠는 서로 다른 픽쳐 그룹들이 서로 다른 공간적 영역들에서 감쇠된 경우와 다를 것이 추정될 수 있다. 예를 들어, 시각적 주의는 손실이 재 발생하는 영역들에 집중될 것인데, 그에 따라 이 경우에 품질 영향은 매우 많이 중요해질 것이다. 이러한 효과는 예를 들어, 가중 인자 a1의 적절한 선택으로 모델링될 수 있다.
이러한 모든 경우들(Ⅰ-Ⅲ)에 대하여, 프레임(j) 내의 손실 이벤트(i)에 의해 야기된 감쇠의 공간적 위치 및 서로 다른 픽쳐 그룹들에 대한 누적된 공간적 위치를 기록하는 것을 요한다. 본 특허의 이전 부분들에서 서술된것과 같은 동일한 고찰에 기반하여, 해당 위치는 프레임 내의 수직 위치면에서 프레임(j)의 시작에 손실 이벤트(i)의 거리, 프레임의 전체 크기(또는 공간적 범위)에 관한 손실 영역의 전체 크기, 그에 따른 손실에 의해 영향을 받지 않은 프레임 마지막 영역의 크기를 사용함으로써 추적될 수 있다.
본 발명의 하나의 실시예에서, 프레임 및 픽쳐 그룹 내의 손실들에 따른 감쇠 위치의 기록을 위해 다음의 방법이 선택된다.
상술한 바와 같이 xl_i를 손실 이벤트(i)에 의해 영향을 미친 영역의 공간적 범위라고 둔다. 부가적으로 상술한 바와 같이 패킷 크기 또는 패킷 수 정보로부터 추출된 다음의 비율을 도입한다.
xfoundB_i 는 프레임(j) 시작의 상대적인 공간적 영역인데, 공간적 영역은 손실 이벤트(i)에 의해 영향을 미치지 않는다. xfoundB_i는 0일 수 있음을 주목한다.
xfoundE_i 는 프레임(j) 마지막의 상대적인 공간적 영역인데, 공간적 영역은 손실 이벤트(i)에 의해 영향을 미치지 않는다. xfoundE_i는 0일 수 있음을 주목한다.
sll_i 는 각각의 열에 손실 이벤트(i)의 부분들을 포함하는 프레임의 부분 각각을 확장할지의 여부(whether) 및 요망되는지에 관한 정보를 포함하는 열벡터이다. 이러한 목적을 위하여, 프레임(j)은 큰 수평 열들로 M등분 되는데, M은 벡터 sll_i의 차원수(dimensionality)에 대응한다.
이제, 본 발명의 하나의 실시예에서, 벡터 sll_i의 항들은 다음과 같이 산출될 수 있다.
sB_i 는 프레임의 시작에서, M 열들에 대한 선추출법(line-sampling)의 면에서, 및 전체 프레임 크기에 관하여 표현된 손실에 의해 영향이 미치지 않은 비율이다.
sE_i 는 프레임의 마지막에서, M 열들에 대한 선추출법의 면에서, 및 전체 프레임 크기에 관하여 표현된 손실에 의해 영향이 미치지 않은 비율이다.
부가적으로
[수학식 10c]
Figure 112013059801685-pct00028
[수학식 10d]
Figure 112013059801685-pct00029
그 다음, sll_i는
[수학식 10e]
Figure 112013059801685-pct00030
수학식(10e)의 보다 간단한 표현은
[수학식 10f]
Figure 112013059801685-pct00031
c1 은 적절하게 선택된 상수이다.
이제, 계수들 (a1 및 a2)는 이러한 벡터들(sll_i)의 함수와 같이 산출될 수 있다.
[수학식 10g]
Figure 112013059801685-pct00032
[수학식 10h]
Figure 112013059801685-pct00033
여기서, 수학식(10h)은 예를 들어, 주어진 픽쳐 그룹(k)에 대한 모든 sll_i의 합계를 수반할 수 있다. 그 다음, sll_i에 의해 기술된 M 빈(bin)들 내의 값들의 분포는 주어진 픽쳐 그룹 손상에 영향을 미치는 서로 다른 손실 이벤트들(i)이 영역들에 유사 또는 비유사한지 여부의 척도일 수 있다. 그 다음, 낮은 분산 값, 보다 많은 손실들이 특정 영역에 집중되는데, 발생들 각각의 낮은 가중을 나타낸다.
수학식(10f)에 대하여, 주어진 픽쳐 그룹(k)에 대한 적산된 sll_ik는 픽쳐 그룹들에 걸쳐서 누적될 수 있는데, 서로 다른 영향을 미친 픽쳐 그룹들에 대하여 서로 다른 또는 유사한 영역들이 영향을 미쳤는지 여부의 척도를 제공한다. 그에 따라, 픽쳐 그룹들의 기여도는 보다 높게 또는 보다 낮게 가중될 수 있다.
당업자는 이러한 방법들을 움직임이 포함된 상황에서 부가적으로 기여도들을 가중하거나 상술한 바와 같이 적절한 가중에 의해 다루어질 수 있는 임의의 다른 측면들과 결합할 수 있을 것이다.
1.3.3 영향을 미친 픽쳐 그룹들의 수에 따른 영향
모델 예측을 개선하는 부가적인 방법은 입력 파라미터로서 손실 이벤트들을 포함하는 픽쳐 그룹들의 수를 삽입하는 것이다. 실제로, 수학식(4)에서 나타난 것처럼, 모델은 아직 다수의 보다 짧고 작은(공간적 범위면에서) 손실 이벤트들로부터 큰 공간적 범위를 가진 단일한 긴 손실 이벤트의 품질 영향을 구별짓지 않는다. 다수의 작은 손실 이벤트들은 단일한 큰 손실 이벤트보다 품질을 보다 많이 감쇠시키지만, 이 차이는 그것들의 손실 이벤트들의 공간적 범위에 의존한다고 추정한다. 그 결과, 수학식(11)에 나타난 것과 같이 수학식(4)에 보정 인자(β)를 삽입한다.
[수학식 11]
Figure 112013059801685-pct00034
Figure 112013059801685-pct00035
여기서
Ngl 은 측정 윈도우 내에 손실 이벤트들을 포함하는 픽쳐 그룹들의 수
xl_k 는 픽쳐 그룹(k) 내에 발생하는 손실들의 시공간적 범위(수학식(5 및 9)와 관련된 모든 수학식을 본다)
수학식(5a)에 주어진 것처럼 서로 다른 길이의 픽쳐 그룹들을 포함하는 수학식(4)의 형태로 결합될 수도 있다. 수학식(11a)을 나타내면 다음과 같다.
[수학식 11a]
Figure 112013059801685-pct00036
α에 유사한, β_k는 동일한 판독된 품질을 얻은 한 벌의 비디오 시퀀스들의 xwpSEQ 값들을 비교하는 것에 의하여 그리고 각각의 xwpSEQ 및 판독된 품질 값들(Ngl 및 xl_k) 파라미터들을 저장하는 것에 의하여 이전 단계에서 통계적으로 얻을 수 있다. 본 발명은 인간 주체들의 감지 과정의 기술적 모델로 고려될 수 있기 때문에, 판독된 품질은 이전의 주체적인(subjective) 행동(conducting) 시험들(tests)로써 얻음에 주목한다. β값은 수학식(11)을 사용하여 계산된 xwpSEQ와 판독된 품질 사이의 최적의 매핑을 얻기 위해 조절된다.
2. 프리징(Freezing)
지금까지(so far) 기술된 본 방법은 슬라이싱이 패킷 손실 은닉 타입으로서 사용된다고 추정한다. 그러나 측정 윈도우의 픽쳐 그룹들이 동일한 길이를 가지면 프리징이 패킷 손실 은닉 타입으로서 사용되는 경우에도 xwpSEQ 파라미터는 유효하다. 실제로, "배경 기술" 섹션의 f)위치에 언급된 것처럼, 프리징의 경우에, 프레임이 패킷 손실에 의해 손상되면, 마지막 손상되지 않은 프레임은 다음 I-프레임까지 프리징된다. xwpSEQ에 기술된 손실의 공간적 범위는 이 파라미터에 포함되는 손실의 시간적 측면과 달리, 포함되지 않는다.
이것은 수학식(5)의 ∑(xl_i)를 1로 둠으로써, 반영될 수 있는데, (및 수학식(5a)에 반영한다), 수학식(12)에 이어진다.
[수학식 12]
Figure 112013059801685-pct00037
수학식(12)에서, xl_k는 픽쳐 그룹(k)의 지속 기간에 관한 픽쳐 그룹 내의 손실의 지속 기간을 나타낸다.
수학식(12)을 수학식(4 또는 5a) 또는 임의의 관련된 수학식들과 결합하여 사용할 때, 픽쳐 그룹들의 길이가 동일한 경우 및 픽쳐 그룹들의 길이가 다른 경우가 고려될 수 있다. 또한, 컨텐츠의 시공간적 복잡성면에서 프리징에 관련된 파라미터의 보정들은 이전 섹션들에 서술된 것과 같이 슬라이싱 감쇠의 경우로서 구현될 수 있다.
참조들의 목록
[1] A. Takahashi,D. Hands, and V.Barriac, "Standardization Activities in the ITU for a QoE Assessment of IPTV," in IEEE Communication Magazine, 2008
[2] S. Winkler and P. Mohandas, "The Evolution of Video Quality Measurement: From PSNR to Hybrid Metrix," in IEEE Trans. Broadcasting, 2008
[3] A. Raake, M.N Garcia, S.Moeller, j. Berger, F.Kling, P.List, J.Johann, and C.Heidemann, "T-V-MODEL: Parameter-based prediction of IPTV quality," in Proc. of ICASSP, 2008
[4] O. Verscheheure, P. Frossard, and M. Hamdi "User-Oriented QoS Analysis in MPEG-2 Video Delivery", in Real-Time Imaging 5, 305-314(1999)
[5] F.You, W.Zhang, J. Xiao, "Packet Loss Pattern and Parametic Video Quality Model for IPTV", in Proc. of Eigth IEEE/ACIS International Conference on Computer and Information Science, pp. 824-828, 2009
[6] M.-N. Garcia and A. Raake,"Parametric Packet-Layer Video Quality Model For IPTV", in Proc of Tenth International Conference on Information Science, Signal Processing and their Applications(ISSPA) 2010
[7] K. Yamagishi and T. Hayashi, "Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services," IEEE ICC 2008, CQ04-3,pp. 110-114, Beijing, China, 2008
[8] Q. Huynh-Thu, Quan, and B. Pernot,"Method and apparatus for generation of a video quality parameter", Patent EP2 112 835 A1
[9] A. Clark,"Method and system for viewer quality estimation of packet video streams", US 2009/0041114 A1, WO2009/012302
[10] P.Frossard, O. Verscheure," Joint Sourc/FEC Rate Selection for Quality-optimal MPEG-2 Video Delivery. IEEE Trans. Image Proc.. Vol.10, No.12, Dec.2001

Claims (21)

  1. 전송된 비디오 신호 시퀀스의 품질을 수신기 측에서 평가하기 위한 방법에 있어서,
    a) 수신된 입력 비디오 비트 스트림을 디코딩하고 비디오 비트 스트림 분석기에 제공하기에 앞서, 상기 수신된 입력 비디오 비트 스트림을 캡쳐하는 단계;
    b) 측정 시간 윈도우(measurement time window) 동안, 패킷 페이로드(payload)를 분석하거나 디코딩 하지 않고, 상기 비트 스트림 분석기에 의해 캡쳐된 패킷 헤더들로부터 하나 이상의 특징들을 추출하는 단계;
    c) 상기 하나 이상의 특징들로부터, 패킷 손실에 따른 신호 감쇠의 시공간적 범위의 평가를 나타내는 단일 파라미터(xwpSEQ)를 계산하는 단계ㅡ여기서 상기 단일 파라미터(xwpSEQ)는 측정 윈도우 내의 픽쳐 그룹들의 수(N) 및 패킷 손실에 의해 영향을 받은 픽쳐 그룹들(k) 내에 발생하는 손실들의 시공간적 범위(xl_k)에 기반하는데, 관계식
    Figure 112017091899086-pct00046
    을 이용함, 여기서 픽쳐 그룹(k) 내에 발생하는 손실들의 상기 시공간적 범위(xl_k)는 손실 이벤트(i)로 인한 히트 프레임 내의 손상된 화소들의 비율(xl_i), 픽쳐 그룹의 시작에 관한 손실 위치(t_i) 및 픽쳐 그룹(k)의 길이(T_k)에 기반하여 산출되는데, 관계식
    Figure 112017091899086-pct00047
    (i=1, 2, ...)을 이용함, 여기서 상기 계산은 부가적으로 픽쳐 그룹(k)의 시간적 복잡성 또는 시공간적 복잡성을 나타내는 보정 인자(a1,k)를 고려하는데, 상기 보정 인자에 의해 파라미터(xwpSEQ)에 대한 픽쳐 그룹(k) 내의 손실들(xl_k)의 기여도가 보정되고, 관계식
    Figure 112017091899086-pct00048
    또는
    Figure 112017091899086-pct00049
    을 이용함ㅡ;
    d) 결정된 파라미터를 품질 추정 모듈에 제공하는 단계; 및
    e) 상기 품질 추정 모듈에 의하여, 비디오 해상도 정보 및 채택된 비디오 코덱에 기반하여 그리고 패킷 손실에 따른 신호 감쇠의 시공간적 범위의 추정치(estimates)를 나타내는 단일 파라미터(xwpSEQ)에만 기반하여 패킷 손실에 따른 품질 척도(Qtrans)를 산출하는 단계를 포함하는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  2. 제1항에 있어서,
    단계 c)에서 결정된 상기 단일 파라미터(xwpSEQ)는 또한 슬라이싱 구성 및 패킷 손실 은닉 같은 미디어 스트림에 대한 메타-정보로부터 계산되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 히트 프레임 내의 손상된 화소들의 비율(xl_i)은 현재 히트 프레임 내의 패킷 손실 이벤트(i)에 대한 유실된 영상 패킷들의 수(nlp_i)를 현재 히트 프레임 내의 유실된 패킷들 및 정확하게 수신된 패킷들의 수(np)로 나누는 것에 기반하여 관계식
    Figure 112017091899086-pct00050
    을 이용하여 산출되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 히트 프레임 내의 손상된 화소들의 비율(xl_i)은 현재 히트 프레임 내의 손실 이벤트(i)에 따른 유실된 비디오 바이트들의 수(blp_i)를 현재 히트 프레임 내의 유실된 바이트들 및 정확하게 수신된 바이트들의 수(bp)로 나누는 것에 기반하여 관계식
    Figure 112017091899086-pct00051
    을 이용하여 산출되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 히트 프레임 내의 손상된 화소들의 비율(xl_i)은 현재 프레임을 포함하는 패킷들의 수(np), 손실 이벤트(i)에서 유실된 현재 히트 프레임 내의 유실된 비디오 패킷들의 수(nlp_i), 프레임 당 슬라이스들의 수(nsc), 및 슬라이스 당 패킷들의 추정 수(estimated number, np/nsc)에 기반하여 기반하여 관계식
    Figure 112017091899086-pct00052
    을 이용하여 산출되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  6. 제1항 또는 제2항에 있어서,
    상기 히트 프레임 내의 손상된 화소들의 상기 비율(xl_i)은 현재 프레임을 포함하는 패킷들의 총 바이트 크기(bp), 현재 히트 프레임 내의 손실 이벤트(i)로 인해 유실된 비디오 바이트들의 수(blp_i), 및 슬라이스 당 패킷들 또는 바이트들의 추정 수(np/nsc)에 기반하여 관계식
    Figure 112017091899086-pct00053
    을 이용하여 산출되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  7. 제1항 또는 제2항에 있어서,
    상기 히트 프레임 내의 손상된 화소들의 비율(xl_i)은 현재 프레임을 포함하는 패킷들의 수(np), 결합된 손실 이벤트 (ij)에 속하는 비디오 패킷들의 수(nlp_ij), 손실 이벤트(ij) 동안 발견되는 현재 히트 프레임 내의 비디오 패킷들의 수(nfp_ij), 프레임 당 슬라이스들의 수(nsc) 및 슬라이스 당 패킷들의 추정 수(np/nsc)에 기반하여 관계식
    Figure 112017091899086-pct00054
    을 이용하여 산출되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  8. 제1항 또는 제2항에 있어서,
    상기 히트 프레임 내의 손상된 화소들의 상기 비율(xl_i)은 연속으로 유실된 비디오 전송 스트림 패킷들의 수(nlp_i), 현재 히트 프레임 내의 유실된 패킷들 및 정확하게 수신된 패킷들의 수(np), 프레임 당 슬라이스들의 수(nsc) 및 손실에 의해 히트된 프레임 내의 손실 전파를 반영하는 보정항(1/(2*nsc))에 기반하여 관계식
    Figure 112017091899086-pct00055
    을 이용하여 산출되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  9. 제1항 또는 제2항에 있어서,
    상기 히트 프레임 내의 손상된 화소들의 상기 비율(xl_i)은 연속으로 유실된 비디오 전송 스트림의 비디오 바이트들의 수(blp_i) 및 현재 히트 프레임 내에 포함된 비디오 바이트들의 총 수(bp), 프레임 당 슬라이스들의 수(nsc), 및 손실에 의해 손상된 프레임 내의 손실 전파를 반영하는 보정항(1/(2*nsc)) 기반하여 관계식
    Figure 112017091899086-pct00056
    을 이용하여 산출되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  10. 제1항 또는 제2항에 있어서,
    상기 히트 프레임 내의 손상된 화소들의 상기 비율(xl_i)은 결합된 손실 이벤트(i,j)에 속하는 비디오 전송 스트림 패킷들의 수(nlp_ij), 현재 히트 프레임 내의 유실된 패킷들 및 정확하게 수신된 패킷들의 수(np), 결합된 손실 이벤트(i,j)의 손실 부분(loss part) 사이에 발견되는 비디오 전송 스트림 패킷들의 수(nfp_ij), 프레임 당 슬라이스들의 수(nsc), 및 손실에 의해 히트된 프레임 내의 손실 전파을 반영하는 보정항(1/(2*nsc))에 기반하여 관계식
    Figure 112017091899086-pct00057
    을 이용하여 산출되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  11. 제1항 또는 제2항에 있어서,
    프레임 당 하나의 슬라이스가 사용되는 경우 손실 이벤트(i)의 xl_i는 최초의 유실된 패킷과 프레임의 마지막 사이의 공간적 영역(area)으로서 산출되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  12. 제1항에 있어서,
    단계 c)는 비디오 시퀀스 픽쳐 그룹(k)의 시공간적 복잡성을 나타내는 보정 인자(a2,i)를 부가적으로 고려하고, 상기 보정 인자에 의해 파라미터(xl_k)에 대한 픽쳐 그룹(k) 내의 프레임(t_i)에 위치되는 각각의 손실 이벤트(i)의 xl_i가 관계식
    Figure 112017091899086-pct00058
    을 이용하여 보정되며, 상기 T_k는 픽쳐 그룹(k)의 길이인
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  13. 제1항에 있어서,
    단계 e)는 손실 이벤트들을 갖는 픽쳐 그룹의 수(Ngl)를 관계식들
    Figure 112017091899086-pct00059
    을 이용하여 부가적으로 고려하는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  14. 제1항에 있어서,
    각각의 프레임 내에서 패킷 손실에 의해 영향을 받은 영역의 추정된 위치를 캡쳐하는 변수는 손실 이벤트당 저장되고, 상기 변수는 단계 c)에 따라서 손실 이벤트(i)의 xl_i를 보정하는데 사용되는
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  15. 제1항에 있어서,
    프리징(freezing)은 패킷 손실 은닉 타입으로서 사용되고, 단계 c)에 따른 파라미터는 관계식
    Figure 112017115114915-pct00060
    를 이용하여 산출되는 시퀀스 내의 프리징 이벤트들의 총 가중 시간적 지속 기간을 나타내고,
    상기 t_i는 픽쳐 그룹의 시작에 관한 손실 위치, T_k는 픽쳐 그룹(k)의 길이인
    전송된 비디오 신호 시퀀스의 품질 평가 방법.
  16. 전송된 비디오 신호 시퀀스의 품질을 수신기 측에서 평가하기 위한 장치에 있어서,
    디코딩에 앞서 수신된 입력 비디오 비트 스트림을 캡쳐하고, 측정 시간 윈도우 동안, 패킷 페이로드를 분석하거나 디코딩하지 않고, 캡쳐된 입력 비디오 비트 스트림의 패킷 헤더들로부터 하나 이상의 특징들을 추출하도록 구성된 비디오 비트 스트림 분석기;
    상기 하나 이상의 특징들로부터, 패킷 손실에 따른 신호 감쇠의 시공간적 범위의 평가를 나타내는 단일 파라미터(xwpSEQ)를 계산하는 수단ㅡ여기서 상기 단일 파라미터(xwpSEQ)는 측정 윈도우 내의 픽쳐 그룹들의 수(N) 및 패킷 손실에 의해 영향을 받은 픽쳐 그룹들(k) 내에 발생하는 손실들의 시공간적 범위(xl_k)에 기반하는데, 관계식
    Figure 112017091899086-pct00062
    을 이용함, 여기서 픽쳐 그룹(k) 내에 발생하는 손실들의 상기 시공간적 범위(xl_k)는 손실 이벤트(i)로 인한 히트 프레임 내의 손상된 화소들의 비율(xl_i), 픽쳐 그룹의 시작에 관한 손실 위치(t_i) 및 픽쳐 그룹(k)의 길이(T_k)에 기반하여 산출되는데, 관계식
    Figure 112017091899086-pct00063
    (i=1, 2, ...)을 이용함, 여기서 상기 계산은 부가적으로 픽쳐 그룹(k)의 시간적 복잡성 또는 시공간적 복잡성을 나타내는 보정 인자(a1,k)를 고려하는데, 상기 보정 인자에 의해 파라미터(xwpSEQ)에 대한 픽쳐 그룹(k) 내의 손실들(xl_k)의 기여도가 보정되고, 관계식
    Figure 112017091899086-pct00064
    또는
    Figure 112017091899086-pct00065
    을 이용함ㅡ;
    상기 결정된 파라미터를 수신하도록 구성된 품질 추정 모듈―상기 품질 추정 모듈은 비디오 해상도 정보 및 채택된 비디오 코덱에 기반하여 그리고 패킷 손실에 따른 신호 감쇠의 시공간적 범위의 추정치를 나타내는 단일 파라미터(xwpSEQ)에만 기반하여 패킷 손실에 따른 품질 척도(Qtrans)를 산출하도록 구성됨―
    을 포함하는 전송된 비디오 신호 시퀀스의 품질 평가 장치.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020137017414A 2010-12-10 2011-09-02 비디오 신호의 인코딩 및 전송 동안에 비디오 신호의 품질 평가 방법 및 장치 KR101834031B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10194578.0 2010-12-10
EP10194578 2010-12-10
PCT/EP2011/065188 WO2012076202A1 (en) 2010-12-10 2011-09-02 Method and apparatus for assessing the quality of a video signal during encoding and transmission of the video signal

Publications (2)

Publication Number Publication Date
KR20140027080A KR20140027080A (ko) 2014-03-06
KR101834031B1 true KR101834031B1 (ko) 2018-03-02

Family

ID=44719873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137017414A KR101834031B1 (ko) 2010-12-10 2011-09-02 비디오 신호의 인코딩 및 전송 동안에 비디오 신호의 품질 평가 방법 및 장치

Country Status (12)

Country Link
US (1) US9232216B2 (ko)
EP (1) EP2649807B1 (ko)
JP (1) JP5964852B2 (ko)
KR (1) KR101834031B1 (ko)
CN (1) CN103270765B (ko)
BR (1) BR112013014366B1 (ko)
DK (1) DK2649807T3 (ko)
ES (1) ES2675806T3 (ko)
HR (1) HRP20181099T1 (ko)
HU (1) HUE039252T2 (ko)
PL (1) PL2649807T3 (ko)
WO (1) WO2012076202A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9203708B2 (en) * 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
US9172952B2 (en) * 2012-06-25 2015-10-27 Cisco Technology, Inc. Method and system for analyzing video stream accuracy in a network environment
PL2701397T3 (pl) * 2012-08-20 2015-03-31 Deutsche Telekom Ag Zależny od treści model jakości wideo dla usług strumieniowania wideo
CN103634594B (zh) * 2012-08-21 2015-04-29 华为技术有限公司 一种获得视频编码压缩质量的方法及装置
US11159804B1 (en) * 2012-09-13 2021-10-26 Arris Enterprises Llc QoE feedback based intelligent video transport stream tuning
US9137505B2 (en) * 2013-02-06 2015-09-15 C&C Technic Taiwan Co., Ltd. Long-range VGA image transmission system providing automatic image adjustment
KR101563923B1 (ko) 2014-02-12 2015-10-28 연세대학교 산학협력단 온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치
CN111918060B (zh) 2016-08-23 2023-11-17 华为技术有限公司 一种实现视频质量评估的方法、装置和系统
CN111432275B (zh) 2016-10-08 2023-11-17 华为技术有限公司 评估视频质量的方法和设备
US10541933B2 (en) * 2016-11-10 2020-01-21 Disney Enterprises, Inc. Systems and methods for aligning frames of a digital video content in IP domain
CN107318014B (zh) * 2017-07-25 2018-11-16 西安电子科技大学 基于视觉显著区域和时空特性的视频质量评估方法
CN109561300B (zh) * 2018-12-27 2021-03-12 中国联合网络通信集团有限公司 业务质量检测方法及装置
KR102211556B1 (ko) 2019-10-22 2021-02-03 전남대학교산학협력단 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2106153A1 (en) 2008-03-28 2009-09-30 Deutsche Telekom AG Audio-visual quality estimation

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082566B2 (en) * 2001-11-09 2006-07-25 Kabushiki Kaisha Toshiba Signal quality evaluation method, information recording/reproducing system, and recording compensation method
JP4327674B2 (ja) * 2004-07-21 2009-09-09 日本電信電話株式会社 映像品質管理方法および映像品質管理システム
EP1727375A1 (en) * 2005-05-27 2006-11-29 Psytechnics Limited Assessment of perceived quality of a packetized video stream
US7933329B2 (en) * 2005-08-24 2011-04-26 Exfo Service Assurance Inc. System and method for monitoring video packets for quantifying video quality
US9544602B2 (en) * 2005-12-30 2017-01-10 Sharp Laboratories Of America, Inc. Wireless video transmission system
US20070201388A1 (en) * 2006-01-31 2007-08-30 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
US7965650B2 (en) * 2006-05-18 2011-06-21 Cisco Technology, Inc. Method and system for quality monitoring of media over internet protocol (MOIP)
JP4787210B2 (ja) * 2007-05-30 2011-10-05 日本電信電話株式会社 映像品質推定方法、装置、およびプログラム
US20090046595A1 (en) 2007-07-16 2009-02-19 Alan Clark Method and system for content estimation of packet video streams
CA2668003C (en) * 2007-08-22 2013-04-02 Nippon Telegraph And Telephone Corporation Video quality estimation device, video quality estimation method, frame type judgment method, and recording medium
JP5172440B2 (ja) 2008-01-08 2013-03-27 日本電信電話株式会社 映像品質推定装置、方法およびプログラム
WO2009091530A1 (en) * 2008-01-18 2009-07-23 Thomson Licensing Method for assessing perceptual quality
EP2112835A1 (en) 2008-04-24 2009-10-28 Psytechnics Ltd Method and apparatus for generation of a video quality parameter
JP4802209B2 (ja) 2008-05-09 2011-10-26 日本電信電話株式会社 映像品質推定方法、装置およびプログラム
JP4861371B2 (ja) 2008-06-27 2012-01-25 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
US20100110199A1 (en) * 2008-11-03 2010-05-06 Stefan Winkler Measuring Video Quality Using Partial Decoding
EP2347599B1 (en) 2008-11-04 2015-02-25 Telefonaktiebolaget L M Ericsson (publ) Method and system for determining a quality value of a video stream
US8537699B2 (en) * 2009-06-16 2013-09-17 Qualcomm Incorporated Managing video adaptation algorithms
BR112012008605B1 (pt) * 2009-10-22 2021-09-08 Nippon Telegraph And Telephone Corporation Aparelho e método de estimação de qualidade de vídeo
US20110249127A1 (en) * 2010-04-07 2011-10-13 Cisco Technology, Inc. Estimating Video Quality Corruption in Lossy Networks
ES2575869T3 (es) * 2010-07-30 2016-07-01 Deutsche Telekom Ag Método y aparato para sincronizar temporalmente el flujo de bits de entrada de un descodificador de vídeo con la secuencia de vídeo procesada descodificada por el descodificador de vídeo
EP2413535B1 (en) 2010-07-30 2012-09-19 Deutsche Telekom AG Method for estimating the type of the group of picture structure of a plurality of video frames in a video stream

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2106153A1 (en) 2008-03-28 2009-09-30 Deutsche Telekom AG Audio-visual quality estimation

Also Published As

Publication number Publication date
CN103270765B (zh) 2016-08-10
PL2649807T3 (pl) 2018-09-28
JP2014500677A (ja) 2014-01-09
WO2012076202A1 (en) 2012-06-14
US9232216B2 (en) 2016-01-05
CN103270765A (zh) 2013-08-28
EP2649807A1 (en) 2013-10-16
BR112013014366A2 (pt) 2017-08-01
HRP20181099T1 (hr) 2018-09-07
DK2649807T3 (en) 2018-06-18
US20130265445A1 (en) 2013-10-10
ES2675806T3 (es) 2018-07-12
EP2649807B1 (en) 2018-04-25
BR112013014366B1 (pt) 2022-07-12
JP5964852B2 (ja) 2016-08-03
HUE039252T2 (hu) 2018-12-28
KR20140027080A (ko) 2014-03-06

Similar Documents

Publication Publication Date Title
KR101834031B1 (ko) 비디오 신호의 인코딩 및 전송 동안에 비디오 신호의 품질 평가 방법 및 장치
KR101414435B1 (ko) 비디오 스트림 품질 평가 방법 및 장치
US8531531B2 (en) Audio-visual quality estimation
US9232217B2 (en) Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility
US9374282B2 (en) Method of and system for measuring quality of audio and video bit stream transmissions over a transmission chain
US10075710B2 (en) Video quality measurement
KR102059222B1 (ko) 비디오 스트리밍 서비스를 위한 컨텐트-의존 비디오 품질 모델
EP2413604B1 (en) Assessing the quality of a video signal during encoding or compressing of the video signal
CN103988501A (zh) 考虑场景剪切伪像的视频质量评估
JP5911563B2 (ja) ビットストリームレベルで動画品質を推定する方法及び装置
Feitor et al. Objective quality prediction model for lost frames in 3D video over TS
Yamada et al. Accurate video-quality estimation without video decoding
KR101083063B1 (ko) 비디오 체감 품질을 측정하는 방법 및 장치
Song et al. No-reference video quality assessment model for distortion caused by packet loss in the real-time mobile video services

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant