KR101568628B1 - 통신 네트워크에서 성능을 모니터링하기 위한 장치 및 방법 - Google Patents

통신 네트워크에서 성능을 모니터링하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR101568628B1
KR101568628B1 KR1020147016747A KR20147016747A KR101568628B1 KR 101568628 B1 KR101568628 B1 KR 101568628B1 KR 1020147016747 A KR1020147016747 A KR 1020147016747A KR 20147016747 A KR20147016747 A KR 20147016747A KR 101568628 B1 KR101568628 B1 KR 101568628B1
Authority
KR
South Korea
Prior art keywords
media stream
kpis
kpi
media
functional dependency
Prior art date
Application number
KR1020147016747A
Other languages
English (en)
Other versions
KR20140096380A (ko
Inventor
시다스 한두루칸데
시몬 페도르
Original Assignee
텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) filed Critical 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘)
Publication of KR20140096380A publication Critical patent/KR20140096380A/ko
Application granted granted Critical
Publication of KR101568628B1 publication Critical patent/KR101568628B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

미디어 스트림을 사용자 장비 디바이스들에 전달하기 위하여 사용되는 미디어 스트리밍 서비스의 성능을 모니터링하는 방법은, 모니터링되는 제1 미디어 스트림의 인코딩 특성을 결정하는 단계(201)를 포함한다. 제 1 미디어 스트림에 대하여 제1 S-KPI(System Service Key Performance Indicator)와 하나 이상의 R-KPI(Resource Service Key Performance Indicator) 간에 함수 종속성 모델(functional dependency model)이 확립된다(단계(203)). 확립된 함수 종속성 모델은 제1 미디어 스트림과 동일한 인코딩 특성을 가진 제2 미디어 스트림을 모니터링하기 위해 사용된다(단계(205)).

Description

통신 네트워크에서 성능을 모니터링하기 위한 장치 및 방법{APPARATUS AND METHOD FOR MONITORING PERFORMANCE IN A COMMUNICATIONS NETWORK}
본 발명은 통신 네트워크에서의 성능, 예컨대, 통신 네트워크에서의 (예를 들어 비디오 스트리밍과 같은) 미디어 스트리밍에 관한 서비스 성능을 모니터링하는 장치와 방법에 관한 것이다.
전기통신 및 ISP(internet service provider) 네트워크들을 사용하여 사용자들에게 전달되는 비디오 스트리밍 서비스들의 유형은 매우 다양하다. 예를 들어, 사용자가 이전에 녹화된 비디오들을 브라우징 및 스트리밍할 수 있게 하는 VoD(video-on demand), 사용자가 (예컨대 스포츠 이벤트와 같은 이벤트와 관련된) 생중계의 비디오를 볼 수 있게 하는 생방송 스트리밍(live streaming), 및 사용자가 녹화된 TV를 볼 수 있게 하는 타임-시프팅된(time-shifted) TV가 포함된다. 네트워크 내의 다양한 이슈들과 문제점들로 인하여 비디오 스트리밍 서비스 손상(impairment)이 발생할 수 있다. 사용자 및 전기통신 네트워크 운영자(operator) 또는 인터넷 서비스 제공자 둘 모두의 관점에서 보았을 때, 어떠한 이슈들도 관찰되고 바로잡힐 수 있도록(rectified), 최종 사용자(end user)에게 전달되는 서비스 품질을 모니터링하는 것이 중요하다.
비디오 스트리밍 서비스는 다양한 기법들(techniques)을 사용하여 제공될 수 있다. IPTV(Internet Protocol Television) 서비스는 IMS(IP multimedia subsystem), 또는 비-IMS 기반 시스템(non-IMS based system)에 기초하여 실현된다. IMS는 3세대 모바일 네트워크들 및 LTE(Long Term Evolution)와 같은 차세대 네트워크들(next generation networks) 내의 패킷 기반의 코어 네트워크들을 통해 멀티미디어 서비스들을 제어하고 제공하도록 만들어진 구조적 서브시스템(architectural subsystem)으로서 3GPP 계획(initiative)에 의해 도입되었다. 그러므로 IPTV는 다양한 프로토콜들의 조합을 사용하는 상이한 기법들 상에 구현된다. 게다가, 디지털 TV 도메인에서 하이브리드(Hybrid) IPTV가 부상하고 있고(emerging), 그것은 인터넷으로의 액세스를 사용하여 전통적인 IPTV 및 WebTV 둘 모두를 지원하는 STB들(set-top-boxes)을 가진다고 알려져 있다.
통신 서비스들(예컨대, 유튜브 컨텐츠(YouTube content)에의 "비트-파이프 제공자들(bit-pipe providers)") 및 (자기 자신의 비디오 헤드-엔드로부터의 IPTV와 같은) 높은 수준의 최종 사용자 서비스들(high-level end user services)을 제공하는 운영자들은 최종 사용자가 수신하는 QoS(Quality of Service)를 모니터링하는 것에 관심이 있다. 이러한 모니터링에 기초하여, 운영자는 서비스 전달의 품질을 계측(gauge)할 수 있다.
그러나, 비디오 스트리밍 서비스 성능을 모니터링하기 위하여 상기 기술된 맥락에서, 비디오 스트리밍 서비스들의 전체 스펙트럼을 커버하도록 상이한 모니터링 솔루션들을 고안하는 것은 운영자들에게 벅찬 일이다.
오늘날 이용가능한 솔루션들은 대부분 특정 서비스를 타겟으로 하는 모놀리식(monolithic) 포인트 솔루션들이고, 그것들은 일반적으로 네트워크 내의 상이한 포인트들에서의 트래픽에 관한 정보를 제공하는 네트워크 프로브들(probes)에 기초한다.
알려진 솔루션들은 소위 QoSS(Quality of System Service) 척도(measure)를 사용하여 표현되는 서비스 품질을 예측하는 것으로 구성된다. QoSS는 네트워크 레벨 KPI들(key performance indicators)의 측정으로부터 도출된다. KPI는 특정한 특성에 대한 성능 척도이고 측정 가능한 대상(objective)이다. KPI들은 숫자 값들로 표현되고 일반적으로 이러한 값들은 범위들(ranges), 상한(upper limits), 하한(lower limits) 또는 백분율로 표현된다.
KPI들은 소위 R-KPI들(Resource Service KPIs) 및 S-KPI들(System Service KPIs)로 나뉠 수 있다.
R-KPI들은 링크, 베어러, 노드 등과 같은 주어진 네트워크 자원에 대한 네트워크 레벨 KPI들이다. 이것들은 예컨대, 패킷 손실, 지터(jitter), 패킷 지연, 패킷 재요청의 양(amount of packet reorder) 등과 같은 네트워크 자원들에 관련된 성능 측정들을 포함한다. 이러한 KPI들은 객관적인 측정들이다.
S-KPI들은 특정한 시스템 서비스, 예컨대 IPTV와 같은 서비스의 특성들을 표현하는 특정 KPI들의 집합이고, 끊어짐(choppiness)의 주파수, 프레임 정지들(frame freezes)의 주파수, 액세스 시간 등과 같은 이벤트들에 기초한다. S-KPI들에 관한 더 이상의 세부사항은 WO2008/121062A1에서 찾을 수 있다.
S-KPI들은 최종 사용자 서비스를 직접적으로 특징짓는 높은 레벨의 키 성능 지표들(higher level key performance indicators)이다.
각 S-KPI는 서비스 성능의 오직 한 측면만 측정한다. 전체적인 서비스 성능은 동일한 서비스의 여러 S-KPI들(예컨대, 10개까지)을 조합하는 소위 QoSS(Quality of System service) 메트릭(metric)을 사용하여 표현될 수 있다.
기존의 QoSS 모니터링 솔루션들에서 발견되는 단점들의 일부가 이하 논의된다.
일부 솔루션들은 최종 사용자 디바이스들에 의해 제공되는 단말 리포트들(terminal reports)에 전적으로 기초한다. 이러한 접근은 운영자가 최종 사용자 디바이스들로부터 단말 리포트들을 수신할 수 있다는 가정에 기초한다. 일반적으로 대부분의 단말 장비 디바이스들이 단말 리포트들을 수집하거나 전송할 수 없기 때문에 이것은 유효하고 신뢰할 수 있는 가정이 아니다.
또 다른 알려진 솔루션은 QoSS에 관한 서비스 품질을 R-KPI 값들에 수동 맵핑하는 것을 수반하는 인간 중심(human centric) 솔루션이다. 여기에서 인간들은 설계 시간 동안 상이한 R-KPI들 값들을 사용자에 의해 인지되는 예상된 서비스 품질에 맵핑한다. 이러한 접근에서, R-KPI들의 QoSS로의 수동 맵핑은 시간이 매우 많이 걸리고 에러에 약하며 융통성이 없다. 그것은 시스템에서의 변화들(예컨대, 네트워크 토폴로지(topology) 및 기법 변화들)과 새로운 디바이스들에 적응할 수 없다는 점에서 융통성이 없다. 그 결과 이러한 방법들은 동적인 네트워크(dynamic network)에서 실행가능하지 않다.
상기 기술된 솔루션들의 부가적인 단점은 상이한 유형의 어플리케이션 각각, 또는 모니터링되는 상이한 미디어 스트림 각각에 대하여 S-KPI들과 R-KPI들 간의 관계가 확립되어야만 한다는 것이다. 이와 같이, 기존의 솔루션들은 상이한 비디오 스트리밍 서비스들에 대하여 상이한 모니터링 솔루션들을 필요로 하고, 예를 들어 최종 사용자 디바이스들로부터의 단말 리포트들의 수신에 종종 의존하는 단점을 가진다.
본 발명의 목적은 상기 언급된 단점들 중 적어도 하나 이상을 배제하거나 감소시키기 위한 방법 및 장치를 제공하는 것이다.
본 발명의 제1 측면에 따르면, 사용자 장비 디바이스들에 미디어 스트림을 전달하는 데 사용되는 미디어 스트리밍 서비스의 성능을 모니터링하기 위한 방법이 제공된다. 그 방법은 모니터링되는 제1 미디어 스트림의 인코딩 특성을 결정하는 단계를 포함한다. 제1 미디어 스트림에 대하여 제1 S-KPI(System Service Key Performance Indicator) 및 하나 이상의 R-KPI들(Resource Service Key Performance Indicators) 사이에 함수 종속성 모델(functional dependency model)이 확립된다. 확립된 함수 종속성 모델은, 제1 미디어 스트림과 동일한 인코딩 특성을 가진 제2 미디어 스트림을 모니터링하는 데 사용된다.
상기 기술된 실시예의 장점은 S-KPI들과 복수의 R-KPI들 사이의 함수 종속성 모델이, 모든 유형의 상이한 미디어 스트리밍 서비스 각각에 대하여 확립될 필요가 없다는 것이다. 대신, 특정한 인코딩 특성을 가진 미디어 스트림에 대하여 확립된 함수 종속성 모델이, 제1 미디어 스트림과 동일한 인코딩 특성을 가진 제2 미디어 스트림을 모니터링하는 데 사용된다.
본 발명의 또 다른 측면에 따르면, 미디어 스트림들을 통신 네트워크를 경유하여 사용자 장비 디바이스들에 전달하는 데 사용되는 미디어 스트리밍 서비스의 특성을 모니터링하기 위하여 통신 네트워크에서 사용하기 위한 모니터링 디바이스가 제공된다. 모니터링 디바이스는 모니터링되는 제1 미디어 스트림의 인코딩 특성을 결정하도록 적응된 감지 모듈, 및 제1 미디어 스트림에 대하여 제1 S-KPI(System Service Key Performance Indicator) 및 하나 이상의 R-KPI들(Resource Service Key Performance Indicators) 간의 함수 종속성 모델을 확립하도록 적응된 프로세싱 모듈을 포함한다. 프로세싱 모듈은 제1 미디어 스트림과 동일한 인코딩 특성을 가진 제2 미디어 스트림을 모니터링하기 위해, 확립된 함수 종속성 모델을 사용하도록 더 적응된다.
본 발명의 또 다른 측면에 따르면, 첨부된 청구항들에서 정의되는 바와 같은 통신 네트워크가 제공된다.
본 발명의 더 나은 이해를 위하여, 그리고 그것이 어떻게 효과를 실행할 수 있는지 더욱 분명하게 보여주기 위하여, 이하의 도면들이 오직 예시로서만 참조될 것이다.
도 1은 전형적인 통신 네트워크의 예를 도시함.
도 2는 본 발명의 실시예에 의해 수행된 단계들을 설명하는 흐름도.
도 3은 본 발명의 실시예에 사용될 수 있는 방법에 의해 수행되는 단계들을 도시함.
도 4는 본 발명의 일 실시예에서 개인 서비스 사용자(individual service user)를 위하여 시간 상호 관련된(time-correlated) S-KPI들 및 R-KPI들을 저장하는 표를 도시함.
도 5는 본 발명의 또 다른 실시예에 의해 수행되는 단계들을 도시하는 흐름도.
도 6은 상이한 인코딩 특성들을 가진 미디어 스트림들에 대한 R-KPI 및 S-KPI 간의 선형 수학적 관계(linear mathematical relationship)의 예를 도시함.
도 7은 인코딩 비트 레이트와 같은 인코딩 특성이, S-KPI 대 R-KPI들 곡선의 기울기(slope of the S-KPI versus R-KPIs curve)인 기울기 파라미터에 미치는 영향을 도시함.
도 8은 본 발명의 추가적인 실시예에 의해 수행되는 단계들을 도시하는 흐름도.
도 9는 본 발명의 실시예에 따른 모니터링 디바이스.
도 10은 본 발명의 실시예가 적응형 코덱(adaptive CODEC)을 가진 어플리케이션에 어떻게 사용될 수 있는지를 도시함.
본 발명의 실시예들은 비디오 스트리밍의 성능 모니터링과 관련하여 이하 기술될 것이다. 그러나, 본 발명은 VoIP(Voice over Internet Protocol), IPTV(Internet Protocol Television), VoD(Video on Demand), MMTel(Multimedia Telephony Service)과 같은 어플리케이션들을 포함지만 그에 한정되지는 않는 소정의 형식의 미디어 스트리밍 서비스의 성능 모니터링을 포괄하도록 의도된다.
본 발명의 실시예들은 다수의 상이한 유형들의 미디어 스트리밍 서비스와 그것들의 종류들(flavours) 및 상이한 최종 사용자 디바이스들(end user devices)(즉, 사용자 장비 디바이스들(user equipment devices))에 사용될 수 있는 성능 모니터링의 포괄적인 솔루션을 제공한다. 본 실시예들이 홈 게이트웨이들(home gateways)과 같은 네트워크 에지 디바이스들(network edge devices)을 포함하는 통신 네트워크의 임의의 노드(node)에서 효율적으로 사용될 수 있다는 점이 주목된다. 최종 사용자에 근접하게 그와 같은 노드들에 실시예들을 위치시키는 능력은 최종 사용자에 의해 경험되는 다양한 문제점들의 더 나은 이해를 확립하도록 하고, 따라서 운영자가 사용자 측으로부터의 서비스들의 실제 품질을 잘 이해하도록 한다.
도 1은 다양한 사용자 장비(UE) 디바이스들(랩탑(4); 전화(2, 3); PC(5); PDA(1) 등) 간의 신호들을 라우팅하는 다양한 네트워크 노드들을 가진 통신 네트워크를 도시한다. 네트워크 요소들(network elements)(6내지 10)은 모바일 링크들, 위성 링크들(satellite links), 마이크로웨이브 링크들, 광섬유 링크들(fiber optic links), 구리 선 링크들(copper wire links) 등을 포함하는 통신 링크들을 통해 통신한다. 노드들 중 하나는 다양한 통신 링크들의 성능을 모니터링하는 모니터링 디바이스(6)를 포함한다.
본 명세서에서 나중에 더 상세하게 기술될 바와 같이, 본 발명의 실시예들은 S-KPI들(System Service Key Performance Indicators) 및 관련된 R-KPI들(Resource Service Key Performance Indicators)을 사용하여 사용자 장비 디바이스들(2, 3, 4, 5)과 같은 최종 사용자 디바이스들로의 미디어 스트리밍 서비스의 성능을 모니터링한다. S-KPI들 및 R-KPI들 간의 함수 종속성 모델들은 종종 시스템 거동(system behavior)을 모델링하는 데 사용되며, 예를 들어 최종 사용자 디바이스가 실제 S-KPI 데이터를 제공하는 단말 리포트들을 제공하지 못하는 어플리케이션에서 사용된다.
본 발명의 실시예들은 사용자 장비 디바이스들에 미디어 스트림들을 전달하기 위해 사용되는 미디어 스트리밍 서비스들의 성능을 모니터링할 때 그러한 함수 종속성 모델들의 구축을 최적화하는 것에 관한 것이다.
이하를 포함하는 CODEC들의 상이한 클래스들에 대하여 본 발명의 실시예들이 응용가능하다는 점이 주목된다:
1) 미디어 인코딩 파라미터들이 (예를 들어, 네트워크 상태들 및 수신 클라이언트와 같은 다른 엔티티들에 적응하기 위해, 또는 미디어/컨텐츠의 본질에 의존하여) 미디어의 송신 동안 적응 또는 변화하지 않게 하는 미디어 CODEC들의 비-적응형 클래스(non-adaptive class)(MPEG2를 포함).
2) (비트-레이트, 프레임-레이트와 같은) 미디어 인코딩 파라미터들이 (예를 들어 이용가능한 대역폭과 같은 네트워크 상태들 또는 수신하는 클라이언트와 같은 다른 엔티티들에 적응하기 위해, 또는 미디어/컨텐츠의 본질에 의존하여) 미디어의 송신 동안 적응되고 변화하게 하는 미디어 CODEC들의 적응형 클래스.
본 발명의 실시예들은 미디어 인코딩 파라미터들을 송신 동안 변하지 않게 하는 비-적응형 CODEC들이 사용되는 어플리케이션에 관하여 먼저 기술될 것이다. 그러나, 본 명세서에서 적응형 CODEC들이 사용되는 어플리케이션들에 다양한 실시예들이 어떻게 사용되는지도 나중에 기술될 것이다.
도 2와 관련하여, 본 발명의 실시예에 따르면, 사용자 장비 디바이스들에 미디어 스트림들을 전달하는 데 사용되는 미디어 스트리밍 서비스의 성능을 모니터링하기 위한 방법은, 모니터링되는 제1 미디어 스트림의 인코딩 특성을 결정하는 단계(201)를 포함한다.
단계(203)에서, 제1 미디어 스트림에 대하여, 제1 S-KPI(System Service Key Performance Indicator) 및 하나 이상의 R-KPI들(Resource Service Key Performance Indicators) 간의 함수 의존성 모델(f)이 확립된다. 하나 이상의 R-KPI들은 사용자 장비 디바이스들에 제1 미디어 스트림을 전달하는 데 사용되는 통신 네트워크에 있는 리소스들(예를 들어, 베어러들(bearers), 링크들, 노드들 등)과 관련된다.
확립된 함수 의존성 모델(f)은, 단계(205)에서 제1 미디어 스트림과 동일한 인코딩 특성을 가진 제2 미디어 스트림의 성능을 모니터링하기 위해 사용된다.
말하자면, 사용자 장비 디바이스들에 전달될 수 있는 모든 유형의 상이한 미디어 스트림에 대하여 각 S-KPI와 복수의 R-KPI들 간에 함수 종속성 모델을 확립해야만 하는 대신, 본 발명의 실시예들은, 동일한 인코딩 특성을 가진 또 다른 미디어 스트림을 모니터링할 때 특정 인코딩 특성을 가진 미디어 스트림의 모델을 재사용함으로써 함수 종속성 모델을 최적화하는 이점을 가진다.
일 실시예에 따르면, 상이한 미디어 스트림들의 인코딩 특성들은 복수의 구분되는 레벨들 L로 분류되어(categorised), 특정한 인코딩 레벨 Ln을 가진 미디어 스트림에 대하여 확립된 함수 종속성 모델이, 동일한 인코딩 레벨 Ln을 가진 또 다른 미디어 스트림을 모니터링할 때 사용되게 한다.
따라서 여러 R-KPI들로부터의 S-KPI의 함수 종속성은 비디오 컨텐츠가 아니라, 미디어 스트림의 인코딩 파라미터들에 의해 결정된다. 관심이 가는 가능한 파라미터들은, 미디어 스트림을 인코딩하는 데 사용되는 코덱의 유형(예를 들어, 비디오 코덱의 유형), 미디어 스트림의 평균 비트 레이트, 미디어 스트림의 최대 비트 레이트, 미디어 스트림이 가변 비트 레이트의 미디어 스트림인지 일정한 비트 레이트의 미디어 스트림인지 여부의 지표(indication), 미디어 스트림의 프레임 레이트 등을 포함하지만, 이들로 제한되지 않는다. 그러므로, 제안된 실시예들은, 동일한 특성들 또는 파라미터들로 인코딩된 두 개의 상이한 비디오의 품질을 모니터링하기 위해 동일한 함수 종속성 모델을 사용할 수 있다.
미디어 스트림의 인코딩 특성은 여러 방식으로, 모니터링 디바이스 또는 노드에 의해 알려질 수 있다. 예를 들어, 인코딩 특성들은 미디어 스트림의 소스로부터 수신된 정보로부터, 예컨대 비디오 스트리밍 헤드-엔드(head-end)로부터 수신한 정보로부터 결정될 수 있다. 또한 인코딩 특성들은 미디어 스트림의 헤더 부분(header portion), 예컨대, 스트리밍된 비디오 파일의 비디오 헤더로부터 획득될 수도 있다. 인코딩 특성들에 관한 정보를 스트리밍된 파일로부터 추출하고 모니터링 디바이스 또는 노드로 전송하는 프로빙 메커니즘(probing mechanism)이 네트워크에 제공될 수 있다. 인코딩 특성들의 세부사항들을 획득하기 위하여 이러한 기법들 중 임의의 하나가 별개로 또는 조합되어 사용될 수 있다.
상기 언급된 바와 같이, 본 발명의 실시예들은, S-KPI들 및 R-KPI들 간의 함수 종속성 모델들이, 최종 사용자들에게 제공되는 미디어 서비스들의 성능을 모니터링하기 위해 사용되는 어플리케이션들에 사용될 수 있다.
그러한 어플리케이션의 예는, 본 출원인에 의한 앞선 출원 PCT/EP2010/067715에 기술되어 있다. 최종 사용자에게 제공되는 임의의 유형의 서비스를 모니터링하기 위한 포괄적인 솔루션이 PCT/EP2010/067715에 기술되어 있다. 그 솔루션은 소위 기준 QoSS(measure Quality of system Service)를 사용하여 표현된 서비스 품질을 네트워크 레벨 R-KPI들(예를 들어 패킷 손실, 지터(jitter) 등)의 측정으로부터 추정하는 것으로 구성된다. 서비스의 품질을 모니터링하기 위하여, 시스템은 복수의 R-KPI들을 수집하고 미리-구축된(pre-built) (수식(mathematical formula)의 형식 또는 다른 형식일 수 있는 S-KPI들 및 R-KPI들 간의 "맵핑"의 형식인) 함수 종속성 모델을 적용하여 QoSS의 값을 계산한다. QoSS는 여러 S-KPI들(예컨대 "끊어짐(choppiness)" 이벤트들의 주파수 또는 "프레임 정지(frame freeze)" 이벤트들의 주파수 등)의 조합일 수 있다.
PCT/EP2010/067715에 기술된 어플리케이션은 R-KPI들로부터 서비스 성능을 측정하기 위하여 적용되는 모델을 자동적으로 구축하기 위한 방법을 기술한다.
그 방법은 베어러들, 링크들, 노드들 등으로부터의 R-KPI들의 측정들을 수집하는 것을 수반한다. 그것은 또한 서비스 사용자들의 대표적인 샘플로부터 S-KPI들의 파라미터들을 수집한다. 그 후 데이터 마이닝 기법들(Data Mining techniques)을 사용하여 수 개의 R-KPI의 각각의 S-KPI의 함수 종속성을 자동적으로 계산한다.
시스템은 리소스 서비스 성능(R-KPI들에 의해 측정됨) 및 서비스 성능 파라미터들(S-KPI들) 간의 함수 관계(functional relationship)에 기초하여 서비스 사용자들(단말 리포트들을 전송할 수 있음)의 대표적인 샘플을 클러스터들(clusters)로 분할한다. 그 후 클러스터 각각에 대하여, 클러스터 구성원들의 대표인 R-KPI들 및 S-KPI들 간의 포괄적인 관계를 계산한다. 그것은 운영자가, 단말 리포트들을 전송할 수 없는 단말들을 "가장 가까운" 클러스터에 할당하고 앞서 획득한 함수와 R-KPI들 측정들을 사용하여 이러한 단말에 대한 S-KPI 값들을 예측할 수 있도록 한다. 그 결과 운영자가 서비스 성능 파라미터들을 전송할 수 없거나 전송하지 않는 단말들에서 실행되는 서비스들의 성능을 평가할 수 있다.
그러므로 그 방법은 서비스 사용자들이 두 가지 유형의 사용자들, 즉, 단말 리포트를 전송할 수 있는 디바이스를 가진 사용자들 및 단말 리포트를 전송할 수 없는 디바이스를 가진 사용자들로 구분될 수 있다는 것을 가정한다. R-KPI들과 S-KPI들 간의 관계를 나타내는 모델을 구축하기 위하여, 단말 리포트에서 수집된 S-KPI들이 사용된다. 다음으로 이 모델은 단말 리포트를 전송할 수 없는 디바이스들을 가진 사용자들에게 전달되는 서비스들에 대한 S-KPI들 (및 그에 따라 QoSS)을 추정하는 데 적용된다.
그러므로 상기에는 두 가지 주요 단계(main phase): 준비 단계(preparation phase) 및 모니터링 단계(monitoring phase)가 있다. 준비 단계 동안, 시스템은 단말 리포트를 전송할 수 있는 디바이스들에 대한, 각 S-KPI 및 수 개의 R-KPI들 간의 함수 종속성 모델을 구축한다. 게다가, 시스템은 유사한 함수 표현을 획득하는 디바이스들의 클러스터들을 형성할 것이다. 단계의 마지막에서, 남아있는 디바이스들(즉, 단말 리포트를 전송할 수 없는 디바이스들)의 사용자들은 "가장 가까운" 클러스터에 할당될 것이다. "가장 가까운" 클러스터는 여러 파라미터들(예컨대 지리적 근접성(geographical proximity), 네트워크 토폴로지(network topology) 근접성, 최종 사용자 디바이스 성능 등)을 기초로 하여 결정될 수 있다. 모니터링 단계에서는, 시스템이 사용자에 의해 사용되는(consumed) 비디오 서비스들의 품질을 모니터링한다. 그것은 R-KPI 파라미터를 수집하고, 준비 단계에서 구축된 함수 종속성을 적용하여 S-KPI 값들을 추정한다.
도 3을 참조하면, 각 S-KPI 및 하나 이상의 R-KPI들 간에 함수 종속성 모델이 어떻게 구축되는지에 관련하여 더욱 세부적인 사항들이 제공될 것이다. 함수 종속성 모델을 구축하는 다른 방법들은 본 발명의 실시예들에 의해 포함된다는 의도임에 주의한다. 모니터링되는 비디오 스트리밍 서비스들은 네트워크 리소스들을 사용하고, 따라서 (R-KPI들에 의해 측정되는) 네트워크 리소스들의 성능이 S-KPI들의 값에 영향을 미친다. R-KPI들 및 S-KPI들의 값은 상호 상관적(cross-correlated)이고, 모니터링 서버가 이러한 상호 상관 관계(cross-correlation)를 확립하기 위하여 (기계 학습(machine learning) 및 데이터 마이닝 알고리즘들에 기초하는) 자동 방법들을 사용하며, 도 3은 이 함수를 계산하기 위한 방법의 예를 도시한다.
도 3에 도시된 방법은 S-KPI들을 리포트하는 모든 사용자 디바이스에 대하여 수행된다. 첫 번째로, 단계(301)에서 하나의(single) 사용자 디바이스에 의해 생성된 S-KPI들의 서브셋(subset)이 선택된다. 이러한 파라미터들은 상응하는 사용자 디바이스에서 실행되는 수많은 비디오 스트리밍 서비스들에 상응할 것이다.
그 다음으로, 단계(303)에서 각각의 서비스 사용자에 대하여 독립적으로, S-KPI들의 값이 수집된 R-KPI들과 시간-상호 관련된다(time-correlated). 그러므로, 그것들은 도 4에 도시된 표에 저장될 수 있다. 시간 파라미터는 R-KPI들 및 S-KPI를 수집하는 것의 타임스탬프(timestamp)의 근사치에 상응한다. 네트워크와 관련된 파라미터들인, R-KPI1부터 R-KPIJ까지의 하나 이상의 측정된 R-KPI 값이 있다.
가독성(readability)의 용이함을 위하여, 이하의 기술은 하나의 특정한 인코딩 파라미터가 수반되었을 때(다시 말해, 하나가 변화되고 나머지는 고정되었을 때)의 S-KPI의 추정에 관한 것이며, 더 구체적으로는 비트 레이트가 변화하고 있는 예를 사용하여 실시예가 기술된다는 점이 주목된다. 그러나, 본 발명은 여러 개의 인코딩 파라미터들(예를 들어, 비트 레이트, 프레임 레이트 등)이 변화하고 있는 더 일반적인 실시예들을 커버하도록 의도됨을 주목하기를 바란다.
도 4에 도시된 표에서, 값 S-KPIi ,L(A)는 특정 레벨 L을 가진 인코딩 특성(예를 들어 특정 비트 레이트)을 가지며 한 명의 사용자 A에 의해 사용되는 비디오 스트리밍 서비스의 성능의 특정한 측면 "i"(예를 들어 끊어짐)를 표현한다.
일 실시예에서 여러 S-KPI들(예컨대, 끊어짐, 프레임 정지 등)이 동일한 비디오 스트리밍 서비스에 상응하고, 각각은 동일한 사용자 A에 대하여 고유한 인덱스 "i"로 표현된다. 또한 비디오 인코딩 특성은 상기 논의된 바와 같이 제한된 개수의 레벨을 가질 수 있어서 각 레벨은 고유한 값 L로 표현된다.
다음으로, 단계(305)에서, 기계 학습 및 데이터 마이닝 방법들을 사용하여 모든 S-KPI에 대하여 자동적으로 수학적 함수가 확립된다. 주어진 CODEC 및 주어진 유형의 인코딩 파라미터 L에 대하여 그 함수는 다음과 같은 포맷을 가질 것이다:
[수학 식 1]
S-KPIi .L(A) = f(L, R-KPI1, R-KPI2, R-KPI3, ...)
이 식을 획득하기 위한 가능한 방법들로는 선형 회귀(linear regression), 폴리노미얼 피팅(polynomial fitting), 서포트 벡터 회귀(support vector regression) 등이 있다. 이 방법들은 종래 기술에서 잘 알려져 있고 여기에서 상세히 논의되지 않을 것이다. 식을 획득하기 위하여 사용된 방법은, 고려된 S-KPI의 값에 영향을 주는 R-KPI들만 추출하여, S-KPI 및 사용된 R-KPI들이 상호연관된 변수들이게 한다. 서비스의 S-KPI를 계산하는 식에 그것의 R-KPI 파라미터들이 존재할 것이므로, 그 결과 시스템은 서비스에 영향을 주는 네트워크 리소스 KPI들이 어떤 것인지 자동적으로 감지할 수 있다. 획득된 함수는 추가적인 분석을 위하여 로컬 데이터베이스에 저장될 수 있다.
상기 예시에서, 용이한 이해를 위하여, 모델은 식 (1)과 유사한 모델을 사용하여 단 하나의 파라미터가 변하는 단순화된 예시로 기술되었고, 비트 레이트, 인코딩 파라미터들 L 중 어느 하나가 알려지고 패킷 손실이 알려진 경우, 비트 레이트가 알려지면 주어진 비디오 스트림에 대하여 끊어짐의 S-KPI를 추정하는 것이 가능하다.
그러나, 실제로 (비트 레이트와 같은) 상이한 인코딩 파라미터들을 가진 상이한 비디오 스트림들이 많이 있다는 것이 인지될 것이다. 상이한 비디오 포맷들의 각각의 비트레이트와 같은 각각의 인코딩 파라미터에 대한 모델을 구축하는 것은 시간 및 리소스 소모가 큰 일이다.
본 발명의 실시예들은 모든 유형의 비디오와 같은 모든 유형의 미디어에 대한 모델을 구축할 필요가 없다는 점에서 PCT/EP2010/067715에 기술된 기법 이상의 이점을 제공한다. 대신, 인코딩 특성 (또는 인코딩 특성들)이 R-KPI들 및 S-KPI들 간의 관계에 미치는 영향은, 전체 함수 종속성 모델에서 확립될 필요가 있는 개별 함수 종속성 모델들의 개수를 감소시키는 데 사용된다. 이것은 R-KPI들 및 S-KPI들 간의 관계에 영향을 미치는 것은, 비디오 스트림의 컨텐츠 그 자체가 아니라 비디오 스트림의 인코딩 특성들(예를 들어 평균 비트 레이트 또는 프레임 레이트)이라는 사실에 의해 가능하다.
그러므로 본 발명의 실시예들은, R-KPI 측정들을 기초로 비디오 스트리밍 서비스 성능을 모니터링하는 데 사용될 수 있는 함수 종속성 모델을 구축하는 새로운 방법을 제공한다. 모든 비디오 스트림에 대하여 모델이 생성되지 않아도 되고, 동일한 (비트 레이트, 프레임 레이트 등과 같은) 인코딩 특성들을 가진 두 개 이상의 상이한 비디오 스트림들에 대하여 동일한 모델이 사용될 수 있기 때문에, 제안된 솔루션은 모델을 구축하는 데 필요한 노력을 감소시킨다. 그러므로 여러 R-KPI들에 대한 각각의 S-KPI의 함수 종속성을 구축하는 데 필요한 노력이 감소된다.
비디오 특성들 파라미터들이 상대적으로 적은 개수의 가능한 값들을 가질 수 있으므로, 수 개의 R-KPI의 각각의 S-KPI의 함수 종속성을 구축하는 데 필요한 노력은, 모든 비디오에 대하여 상응하는 종속성 모델이 구축되는 시나리오에 비하여 무시할 만하다.
더욱이, 본 발명의 또 다른 실시예에 따르면, 상이한 인코딩 특성들을 가진 미디어 스트림들에 대한 S-KPI 및 R-KPI들 간에 선형 종속성과 같은 특정한 수학적 관계가 있으면, 본 방법은 하나 이상의 S-KPI들(예컨대 끊어짐)에 대하여 더 최적화 될 수 있다. 이러한 선형 종속성은 예를 들면 상이한 인코딩 특성들을 가진 적어도 첫 번째 및 두 번째 비디오들로부터 획득될 수 있고, 그 후 다른 값들의 인코딩 특성들을 가진 비디오들에 대해서 외삽(extrapolated)될 수 있다. 일 실시예에 따르면, 비디오들의 세트는 선형 종속성과 같은 함수 종속성을 결정하기 위해 사용된다.
이러한 최적화 기법의 추가의 상세가 도 5에 도시되어 있다. 단계(501)에서 제1 미디어 스트림에 대하여 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델(f)이 확립된다. 단계(503)에서는, 적어도, 제1 미디어 스트림과 상이한 인코딩 특성(예를 들어 상이한 비트 레이트)을 가진 제2 미디어 스트림 (또는 미디어 스트림들의 세트에 있는 추가의 미디어 스트림들)에 대하여, 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델(f)이 확립된다.
단계(505)에서, 함수 종속성 모델들 간의 수학적 관계(g)를 결정하기 위하여, 제1 미디어 스트림 및 적어도 제2 미디어 스트림에 대한 함수 종속성 모델들이 비교된다. 예를 들면, 이하 논의되는 바와 같이, 함수 g가 결정되고, 이는 주어진 S-KPI 대 R-KPI 곡선의 기울기 파라미터를 찾는 데 사용될 수 있다.
그 후 단계(507)에서, 제1 및 적어도 제2 미디어 스트림들과 상이한 인코딩 특성을 가진 제3 미디어 스트림에 대하여, (S-KPI 및 하나 이상의 R-KPI들 곡선의 기울기와 같은) 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델을 외삽하기 위하여 수학적 관계 (g)가 사용된다.
그러한 실시예에 따르면, 상이한 인코딩 특성들을 가진 비디오들을 오직 두 개만 모니터링함으로써 (예를 들면, 선형 관계와 같은) 수학적 관계를 확립하고, 다른 인코딩 특성들을 가진 비디오들에 대해서 수학적 관계를 외삽하는 것이 가능하다. 그러므로, S-KPI 및 R-KPI들 간의 모델을 구축하기 위한 노력이 한층 더 감소된다.
그러한 시나리오를 설명하는 예로서, 비디오 스트림의 품질을 나타내는 S-KPI 파라미터들 중 하나는 끊어짐으로 불리고 그것의 값은 최종 사용자 클라이언트에 의해 시간 단위 당 감지되는 끊어짐 이벤트들의 개수에 상응한다. 끊어짐 S-KPI의 값을 주로 헤드-엔드 및 비디오 스트림 클라이언트 간의 엔드-투-엔드(end-to-end) 링크의 패킷 손실 R-KPI의 값에 의존한다. 발명자들에 의한 실험들은 도 6에 도시된 바와 같이, 패킷 손실 R-KPI의 값과 끊어짐 S-KPI 간에 선형 관계(예를 들어 주어진 비트 레이트에 대한 MPEG2 CODEC에 대하여)가 있다는 것을 보여주고, 이 관계는 선형 회귀를 사용하여 자동적으로 획득될 수 있다. 비트 레이트가 식 f에 주는 영향은 함수 g에 의해 주어진다. 이 예에서, MPEG2 CODEC에 대하여, 획득된 선형 모델의 기울기 파라미터 (그라디언트) m(즉, 패킷 손실 곡선에 대한 S-KPI의 기울기 파라미터)은 도 7에 도시된 바와 같이 비디오 스트림의 비트 레이트 인코딩 파라미터에 선형적으로 의존한다.
이 예에서, g 함수의 표현은 다음과 같다:
[수학 식 2]
m = g(L1) = 0.021*L1+15.445
그러므로, CODEC의 특정 클래스에 대하여, 기울기 파라미터, 및 비디오 인코딩 파라미터들(예를 들어, 프레임 레이트, 비트 레이트 등)의 임의의 레벨에 대한 끊어짐 S-KPI와 패킷 손실 R-KPI의 값 간의 선형 관계를 다음의 최적화된 방식으로 확립하는 것이 가능하다.
준비 단계 동안, 시스템은 상이한 인코딩 파라미터들에 의해 특징지어진 두 개 이상의 스트리밍 서비스에 상응하는 S-KPI 및 R-KPI 값들을 모니터링한다. 이러한 측정으로부터, 비디오의 인코딩 파라미터의 각각의 값에 대하여 고유한, S-KPI 및 R-KPI 간의 관계를 나타내는 선형 함수를 확립하는 것이 가능하다. 실패 없는 경우(failure free case)에서는 패킷 손실이 없고, 끊어짐 S-KPI 또한 제로이기 때문에 이러한 선형 함수들의 각각은 좌표계의 원점을 지날 것이다. 더욱이, 이러한 함수들의 기울기 계수 m의 값들은, 그것들이 상응하는 비디오의 인코딩 특성들(즉, 비트 레이트)에 선형적으로 의존한다. 그러므로, 그러한 기울기 계수들 중 적어도 두 개의 값이 R-KPI 및 S-KPI들의 측정들로부터 확립되면, 비디오의 인코딩 파라미터로부터 기울기 계수 m의 의존성을 나타내는 선형 함수를 결정하는 것이 가능하다. 다음 섹션에서 기술되는 바와 같이, 이러한 선형 함수는 R-KPI들을 기반으로 S-KPI 값들을 모니터링하기 위해 모니터링 단계에서 사용될 수 있다.
단순화된 예에서, (상기 기술된 CODEC들의 클래스에 속하는) MPEG2와 같은 주어진 CODEC에 대하여, (프레임 레이트와 같은) 다른 인코딩 파라미터들이 고정될 때, 두 개의 상응하는 비디오 스트림을 사용하여 기울기 파라미터 m을 경험적으로(empirically) 결정하는 것이 가능하다. m의 값이 알려지면, 외삽법을 사용하여, 상기 기술된 수학 식 1 및 수학 식 2에 보여진 것들과 유사한 모델들을 사용하여 끊어짐과 같은 특정한 S-KPI가 찾아질 수 있다.
비록 실시예들이 (예를 들어 도 6, 7 및 수학 식 2에서) 선형 관계들을 사용하여 기술되었지만, 실시예들은 비선형 관계들을 포함하는, 임의의 수학적 관계에 대하여 사용될 수 있다는 점이 주목된다.
미디어 스트리밍 서비스의 품질을 모니터링하기 위한 또 다른 실시예가 R-KPI 측정들로부터 어떻게 S-KPI들의 값을 추정하는지를 보여주는 도 8에 도시된다. 제1 단계(801)에서 시스템은 예를 들면 상기 기술된 바와 같은 모니터링된 비디오의 인코딩 특성들 또는 파라미터들을 감지한다. 단계(803)에서 (함수 종속성 모델 g를 획득하기 위해서) 시스템이 최적화 방법을 수행하고 있는지 여부를 결정한다. 단계(803)에서 시스템이 최적화 방법을 수행하지 않고 있다고 결정되면, (앞서 최적화를 수행함으로써 획득한) 함수 g를 비디오 인코딩 특성들에 적용한다(단계(805)). 그러면, 단계(801)에서 결정된 인코딩 특성 모델에 상응하는 이러한 함수 종속성 모델은 단계(807)에서 S-KPI 값인 S-KPIi ,L을 출력하기 위해 함수 종속성 모델 g로서 사용된다.
단계(803)에서 시스템이 최적화 방법을 수행하고 있다고 결정되면, 그것은 (예컨대 두 개 이상의 비디오를 포함하는 비디오들의 집합을 사용하여) 단계(809)에서 함수 g를 결정하고, 그 후 S-KPI 대 R-KPI들의 기울기 파라미터인 m을 찾기 위하여 특정한 비디오 인코딩 특성에 대한 함수 g를 적용한다(단계(811)). 그러면, 이 함수 f는 단계(807)에서, 측정된 R-KPI들에 기초하여 S-KPIi ,L 파라미터들의 값을 추정하는 데 사용된다. 달리 말하자면, m이 알려지면, 함수 f는 측정된 R-KPI들로부터 S-KPIi ,L을 계산하는 데 사용될 수 있다. 함수 g는 모니터링된 비디오의 인코딩 파라미터들의 값에 대한 계수 m을 찾는 데 사용된다.
그러므로, 상기로부터, 최적화 기법이 사용되고 있으면, 실시예는 처음으로 함수 g를 결정하고, m 값을 찾기 위하여 함수 g를 사용한다는 것을 알 수 있다. 그렇다면 이는 S-KPI 값이 결정되는 것을 가능하게 한다. 최적화 기법이 사용되고 있지 않으면, 실시예는 함수 g가 사전에 이미 구축되었다고 가정할 수 있고, 그러면 이러한 앞서 결정된 함수 g를 사용할 수 있다.
비디오 스트리밍 서비스의 전반적인 성능을 평가하기 위해서, 전반적인 QoSS 측정을 획득하기 위해 앞서 기술된 바와 같이 여러 S-KPIi ,L 파라미터들이 조합된다(단계(813)).
도 9는 본 발명의 실시예에 따른 모니터링 디바이스(901)를 도시한다. 모니터링 디바이스(901)는 통신 네트워크를 경유하여 사용자 장비 디바이스들에 미디어 스트림들을 전달하기 위해 사용되는 미디어 스트리밍 서비스의 성능을 모니터링하기 위하여 통신 네트워크에서 사용될 수 있다. 모니터링 디바이스는 모니터링되는 제1 미디어 스트림의 인코딩 특성을 결정하도록 적응된(adapted) 감지 모듈(903)을 포함한다. 프로세싱 모듈(905)은 제1 미디어 스트림에 대하여 제1 S-KPI(System Service Key Performance Indicator) 및 하나 이상의 R-KPI(Resource Service Key Performance Indicators) 간의 함수 종속성 모델을 확립하도록 적응된다. 프로세싱 모듈(905)은 제1 미디어 스트림과 동일한 인코딩 특성을 가진 제2 미디어 스트림을 모니터링하기 위하여, 확립된 함수 종속성 모델을 사용하도록 더 적응된다.
또 다른 실시예에 따르면, 프로세싱 모듈(905)은 함수 종속성 모델들을 구축하는 데 사용되는 미디어 스트림들의 세트에 대하여, 제1 S-KPI(System Service Key Performance Indicator) 및 하나 이상의 R-KPI(Resource Service Key Performance Indicators) 간의 함수 종속성 모델을 확립하도록 적응된다. 프로세싱 모듈(905)은 새로운 미디어 스트림들을 모니터링하기 위하여, 확립된 함수 종속성 모델들을 사용하도록 더 적응된다.
상기 실시예들은 미디어 인코딩 파라미터들이 네트워크 (및 수신 클라이언트와 같은 다른 엔티티들) 상태들에 적응하기 위해서 미디어의 송신 동안 적응 및 변화되거나, 미디어/컨텐츠의 본질에 따라 변화하지 않는 비-적응적인 CODEC들 및 프로토콜들의 맥락에서 어떻게 S-KPI 추정이 수행될 수 있는지를 기술하였다.
그러나, 실시예들은 미디어 인코딩 파라미터들이 네트워크 (및 수신 클라이언트와 같은 다른 엔티티들) 상태들에 적응하기 위해서 미디어의 송신 동안 적응 및 변화되거나 미디어/컨텐츠의 본질에 따라 변화되는 적응적인 CODEC들 및 프로토콜들의 맥락에서 S-KPI들을 추정하는 데 사용될 수 있다.
도 10을 참조하면, (헤드-엔드 쪽(1005)에 있는) 인코더 또는 (클라이언트 쪽(1007)에 있는) 디코더 내에서의 적응형 CODEC들 및 프로토콜들은, 예를 들면 특정 송신 동안 네트워크(1003)에서의 변화들에 적응하기 위하여, (비트 레이트, 프레임 레이트 등과 같은) 그들의 인코딩 파라미터들을 변화시킬 수 있다. 이러한 변화들은 인코더 및 디코더에서 상태 변화들(state changes)로 간주될 수 있다.
그러한 적응형 CODEC들을 다루기 위해 제공되는 익스텐션들(extensions) 및 단계들은 다음과 같다.
1) 수학적 모델들(함수 종속성 모델들)이 인코더/디코더(1005/1007)의 각각의 상태 및 각 상태의 연관된 인코딩 파라미터들을 고려하며 구축된다. 달리 말하자면, 인코더/디코더의 상태는 수학적 모델들의 사실상 부가적인 파라미터이다.
2) 추정 단계 동안, 미디어 스트리밍의 서비스를 모니터링하기 위해 제공된 모니터링 시스템(1009)은, 예를 들어, 인코더(1005) 및/또는 디코더(1007)의 상태 변화들에 관하여 알게 된다. 이것은 도 10에 도시된 바와 같이, 예를 들어 IPTV 헤드-엔드(인코더)에 의해 이루어질 수 있다. 그것이 알려지면, 수학적 모델(함수 종속성 모델)에 입력으로 사용되고, 그 결과 S-KPI들은 정확한 모델들을 사용하여 적절하게 추정될 수 있다.
상기 기술된 실시예들은, 비디오 스트리밍 서비스의 성능에 영향을 주는 네트워크 리소스들이 무엇인지 결정하는 반자동적인 방법을 제공하는 이점을 가진다. 그 방법은 포괄적이고, 네트워크 아키텍쳐에 관계없으며 다양한 유형의 네트워크(이동식(mobile), 고정식(fixed), 위성 등)에 적용될 수 있다.
더 나아가, 네트워크 운영자는 최종 사용자 서비스들에 의해 사용되는 네트워크 리소스 KPI들을 미리 정의하지 않아도 된다.
본 발명의 실시예들은 리포트들을 서비스 성능 파라미터들과 함께 전송할 수 없는 최종 사용자 디바이스들에 관한 서비스 성능의 모니터링을 가능하게 한다.
또한 본 발명의 실시예들은 단말 리포트들에 기초하는 서비스 모니터링 방법들에 비하여 트래픽 로드를 감소시킨다.
본 발명의 실시예들은 모델을 구축하는 데 사용된 비디오와 동일한 비디오 인코딩 특성들을 가진 비디오와 같은 미디어 스트림들을 모니터링하기 위하여 모델을 재사용하기 때문에, 각 S-KPI 및 R-KPI들 간의 함수 종속성 모델을 구축하는 데 필요한 노력이 감소될 수 있다. 그러므로 그 모델은 비디오 컨텐츠에 무관하다.
필요한 경우, 상기 기술된 방법들은 (예를 들어 끊어짐과 같은) S-KPI 및 여러 R-KPI들 간의 함수 종속성 모델을 구축하기 위해 사용된 알고리즘을 최적화할 수도 있는데, 이는 그 모델이 선형적이고, 더욱이 기울기 계수가 비디오의 인코딩 특성들에 선형적으로 의존하기 때문이다. 그러므로, 상이한 특성들로 인코딩된 둘 이상의 비디오들(예를 들어 비디오들의 세트)에 기초하는 인코딩 특성들로부터 기울기 계수의 선형 의존성을 추정하고 임의의 비디오에 대하여 이 결과를 외삽하기에 충분하다.
본 발명의 실시예들은, RTP와 같은 스트리밍 프로토콜들이 비디오 컨텐츠와 같은 컨텐츠를 전달하는 데 사용되는 통신 네트워크들에서의 품질 보장을 목적으로 최종 사용자 디바이스들에 대하여 미디어 스트리밍 서비스들(예를 들어 IPTV, VoD, VoIP)이 모니터링되는 것을 허용한다.
발명자들은 실험들로부터 여러 R-KPI들에 대한 S-KPI 값의 함수 종속성이 비디오 컨텐츠에 의존하는 것이 아니라 비디오의 인코딩 특성들에 의존한다는 것을 증명했다. 그러므로, 준비 단계에서 구축되는 모델이 모든 개별 비디오에 대하여 구축되어야 하는 것이 아니라, 대신 이미 생성된 모델이, 그 모델을 생성하기 위해 사용된 비디오와 동일한 인코딩 특성들을 가진 비디오의 품질의 모니터링에 대하여 적용되도록 재사용될 수 있다. 뿐만 아니라, 제안된 실시예들은 외삽법에 기초한 S-KPI 모니터링을 용이하게 하는 솔루션을 기술하는데, 여기에서 네트워크 성능의 주어진 상태(예를 들어, 패킷 손실)에 대하여 (끊어짐과 같은) 소정의 S-KPI들이 (비디오의 비트 레이트와 같은) 어떠한 비디오 특성들에 대해 선형적으로 변화한다.
상기 기술된 본 발명의 실시예들은, 성능 모니터링이 필요한 비디오의 (스트림 비트 레이트, 스트림 프레임 레이트, 사용되는 코덱과 같은) 특성들에 대해 알게 되고, 동일한 인코딩 특성들을 가진 비디오 스트림에 기초하여 구축된 함수 종속성을 적용한다. 그러한 시나리오에서 비디오 스트림 품질 모니터링 시스템은 모든 개별 비디오에 대하여 함수 종속성을 구축해야 하는 것이 아니라, 오직 상이한 레벨들의 비디오 스트림 특성 값들에 대하여만 구축해야 한다.
일부 실시예에서 함수 종속성 모델은 비디오 스트리밍 컨텐츠를 인코딩하기 위해 사용된 인코딩 파라미터들의 상이한 레벨들 L에 대하여 구축되었다. 그러나, 함수 종속성 모델이 인코딩 특성들 또는 파라미터들의 L 값들을 입력 속성(input attribute)으로 가진 함수 g로서 표현될 수 있는 것이 가능하다. 그러므로, 어떠한 경우들에서는 인코딩 레벨들 L의 상이한 값들을 가진 함수 f의 여러 인스턴스들로부터 함수 g에 대한 수식을 획득하는 것이 가능하다. 이를 위하여, 선형 회귀, 폴리노미얼 피팅, 서포트 벡터 회귀 등이 사용될 수 있다. 함수 g가 획득되면, 그것은 인코딩 레벨들 L의 남은 값들에 대한 함수 f를 찾는 데 사용될 수 있다.
상기 언급된 실시예들은 본 발명을 제한하기보다는 설명하는 것이고, 당해 기술 분야에서 통상의 지식을 가진 자들은 첨부된 청구항들의 범위로부터 벗어나지 않고 많은 대안적인 실시예들을 설계할 수 있음을 주목해야 한다. "포함하는"이라는 단어는 청구항에 표기되어 있는 것들 외의 요소들 또는 단계들의 존재를 배제하지 않고, "a" 또는 "an"이 복수를 배제하지 않으며, 하나의 프로세서 또는 다른 유닛이 청구항들에 기재된 여러 유닛들의 기능들을 실행할 수 있다. 청구항들에 있는 임의의 참조 부호들은 그들의 범위를 제한하는 것으로 해석되어서는 안 된다.

Claims (19)

  1. 사용자 장비 디바이스들에 미디어 스트림들을 전달하기 위해 사용되는 미디어 스트리밍 서비스의 성능을 모니터링하는 방법으로서,
    모니터링되는 제1 미디어 스트림의 인코딩 특성을 결정하는 단계;
    상기 제1 미디어 스트림에 대하여 제1 S-KPI(System Service Key Performance Indicator) 및 하나 이상의 R-KPI들(Resource Service Key Performance Indicators) 간의 함수 종속성 모델(functional dependency model)을 확립하는 단계; 및
    상기 제1 미디어 스트림과 동일한 인코딩 특성을 가진 제2 미디어 스트림을 모니터링하기 위하여, 확립된 상기 함수 종속성 모델을 사용하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 함수 종속성 모델을 확립하는 단계는
    각각 상이한 인코딩 특성을 가진 복수의 상이한 미디어 스트림들의 각각에 대하여 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델을 확립하는 단계를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 함수 종속성 모델을 확립하는 단계는
    적어도 제2 미디어 스트림에 대하여 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델을 확립하는 단계 - 상기 적어도 제2 미디어 스트림은 상기 제1 미디어 스트림과는 다른 인코딩 특성을 가짐 -; 및
    상기 제1 및 제2 미디어 스트림과 다른 인코딩 특성을 가진 제3 미디어 스트림에 대하여 상기 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델을 외삽하기 위해서 상기 제1 미디어 스트림 및 상기 적어도 제2 미디어 스트림에 대한 상기 함수 종속성 모델들 간의 수학적 관계를 사용하는 단계
    를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 함수 종속성 모델을 확립하는 단계는
    적어도 제2 미디어 스트림에 대하여 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델을 확립하는 단계 - 상기 적어도 제2 미디어 스트림은 상기 제1 미디어 스트림과는 다른 인코딩 특성을 가짐 -;
    상기 제1 미디어 스트림에 대하여 확립된 상기 함수 종속성 모델을 상기 적어도 제2 미디어 스트림에 대하여 확립된 상기 함수 종속성 모델과 비교하는 단계;
    상기 함수 종속성 모델들 간의 수학적 관계를 결정하는 단계; 및
    상기 제1 및 제2 미디어 스트림과는 다른 인코딩 특성을 가진 제3 미디어 스트림에 대하여 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델을 외삽하기 위해서 상기 수학적 관계를 사용하는 단계
    를 포함하는, 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 수학적 관계는 선형 관계, 지수 관계 또는 포물선 관계인, 방법.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 미디어 스트림의 인코딩 특성은 상기 미디어 스트림의 소스로부터 수신된 정보로부터 결정되는, 방법.
  7. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 미디어 스트림의 인코딩 특성은 상기 미디어 스트림의 헤더 부분으로부터 결정되는, 방법.
  8. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 인코딩 특성은
    상기 미디어 스트림의 비트 레이트;
    상기 미디어 스트림의 평균 비트 레이트;
    상기 미디어 스트림의 최대 비트 레이트;
    상기 미디어 스트림이 가변 비트 레이트의 미디어 스트림인지 일정 비트 레이트의 미디어 스트림인지에 관한 지표(indication);
    상기 미디어 스트림의 프레임 레이트;
    상기 미디어 스트림을 인코딩하기 위해서 사용된 코덱의 유형의 지표
    중 임의의 하나 이상을 포함하는, 방법.
  9. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상이한 미디어 스트림들의 상기 인코딩 특성들은 복수의 뚜렷이 구별되는 레벨들로 분류되어, 특정한 인코딩 레벨을 가진 미디어 스트림에 대하여 확립된 함수 종속성 모델이 동일한 인코딩 레벨을 가진 또 다른 미디어 스트림을 모니터링할 때 사용되는, 방법.
  10. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 함수 종속성 모델은 상기 미디어 스트림들을 인코딩하기 위해 사용되는 인코더의 상태의 변화들을 고려하도록 되어있고, 함수 종속성 모델은 상기 인코더의 각각의 상태에 대하여 확립되는, 방법.
  11. 제1항 내지 제4항 중 어느 한 항에 있어서,
    네트워크 리소스들로부터 R-KPI들을 수집하는 단계;
    상기 미디어 스트리밍 서비스를 사용하는 리포팅 사용자 장비 디바이스들(reporting user equipment devices)의 대표적인 샘플로부터 S-KPI들을 수집하는 단계;
    수집된 R-KPI들 및 S-KPI들의 값들 간의 관계를 결정하는 단계;
    상기 R-KPI들 및 상기 S-KPI들 간의 관계에 기초하여 상기 대표적인 샘플로부터 상기 사용자 장비 디바이스들을 클러스터링하는 단계;
    클러스터들에 비-리포팅(non-reporting) 사용자 장비 디바이스들을 할당하는 단계;
    네트워크 리소스들로부터 R-KPI들을 수집하는 단계; 및
    상기 관계, 및 상기 관계가 결정된 후에 수집된 상기 R-KPI들에 기초하여 S-KPI 값들을 추정하는 단계
    를 더 포함하는, 방법.
  12. 통신 네트워크를 경유하여 사용자 장비 디바이스들에 비디오 스트림을 전달하는 데 사용되는 미디어 스트리밍 서비스의 성능을 모니터링하기 위하여 상기 통신 네트워크에서 사용하기 위한 모니터링 디바이스로서,
    모니터링되는 제1 미디어 스트림의 인코딩 특성을 결정하도록 되어 있는 감지 모듈; 및
    상기 제1 미디어 스트림에 대하여 제1 S-KPI(System Service Key Performance Indicator) 및 하나 이상의 R-KPI들(Resource Service Key Performance Indicators) 간의 함수 종속성 모델을 확립하도록 되어 있는 프로세싱 모듈
    을 포함하고,
    상기 프로세싱 모듈은 또한 상기 제1 미디어 스트림과 동일한 인코딩 특성을 가진 제2 미디어 스트림을 모니터링하기 위해, 확립된 상기 함수 종속성 모델을 사용하도록 되어 있는, 모니터링 디바이스.
  13. 제12항에 있어서,
    상기 프로세싱 모듈은 또한 각각 상이한 인코딩 특성을 가진 복수의 상이한 미디어 스트림 각각에 대하여 상기 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델을 확립하도록 되어 있는, 모니터링 디바이스.
  14. 제12항에 있어서,
    상기 프로세싱 모듈은 또한
    상기 제1 미디어 스트림과는 다른 인코딩 특성을 가진 적어도 제2 미디어 스트림에 대하여 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델을 확립하고;
    상기 제1 및 제2 미디어 스트림들과는 다른 인코딩 특성을 가진 제3 미디어 스트림에 대하여 상기 제1 S-KPI 및 하나 이상의 R-KPI들 간의 상기 함수 종속성 모델을 외삽하기 위해서 상기 제1 미디어 스트림 및 상기 적어도 제2 미디어 스트림에 대해 상기 함수 종속성 모델들 간의 수학적 관계를 사용하도록
    되어 있는, 모니터링 디바이스.
  15. 제12항에 있어서,
    상기 프로세싱 모듈은 또한
    상기 제1 미디어 스트림과는 다른 인코딩 특성을 가진 적어도 제2 미디어 스트림에 대하여 상기 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델을 확립하고,
    상기 제1 미디어 스트림에 대하여 확립된 상기 함수 종속성 모델을 상기 제2 미디어 스트림에 대하여 확립된 상기 함수 종속성 모델과 비교하고,
    상기 함수 종속성 모델들 간의 수학적 관계를 결정하고,
    상기 제1 및 제2 미디어 스트림들과는 다른 인코딩 특성을 가진 제3 미디어 스트림에 대하여 상기 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델을 외삽하기 위하여 상기 수학적 관계를 사용하도록
    되어 있는, 모니터링 디바이스.
  16. 제12항 내지 제15항 중 어느 한 항에 있어서,
    상기 감지 모듈은 미디어 스트림의 상기 인코딩 특성을 상기 미디어 스트림의 소스로부터 수신된 정보로부터, 또는 상기 미디어 스트림의 헤더 부분으로부터 감지하도록 되어있는, 모니터링 디바이스.
  17. 제12항 내지 제15항 중 어느 한 항에 있어서,
    상기 모니터링 디바이스가 네트워크 에지 디바이스(network edge device)의 일부를 형성하는, 모니터링 디바이스.
  18. 통신 네트워크를 경유하여 사용자 장비 디바이스들에 미디어 스트림들을 제공하도록 되어있는 미디어 스트리밍 서비스를 포함하는 통신 네트워크로서,
    모니터링 디바이스를 포함하고, 상기 모니터링 디바이스는
    모니터링되는 제1 미디어 스트림의 인코딩 특성을 결정하도록 되어 있는 감지 모듈;
    상기 제1 미디어 스트림에 대하여 제1 S-KPI(System Service Key Performance Indicator) 및 하나 이상의 R-KPI들(Resource Service Key Performance Indicators) 간의 함수 종속성 모델을 확립하도록 되어 있는 프로세싱 모듈
    을 포함하고,
    상기 프로세싱 모듈은 또한 상기 제1 미디어 스트림과 동일한 인코딩 특성을 가진 제2 미디어 스트림을 모니터링하기 위해서, 확립된 상기 함수 종속성 모델을 사용하도록 되어 있는, 통신 네트워크.
  19. 제18항에 있어서,
    상기 프로세싱 모듈은 또한 각각이 상이한 인코딩 특성을 가진 복수의 상이한 미디어 스트림들의 각각에 대하여 상기 제1 S-KPI 및 하나 이상의 R-KPI들 간의 함수 종속성 모델을 확립하도록 되어 있는, 통신 네트워크.
KR1020147016747A 2011-12-22 2011-12-22 통신 네트워크에서 성능을 모니터링하기 위한 장치 및 방법 KR101568628B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2011/073853 WO2013091715A1 (en) 2011-12-22 2011-12-22 Apparatus and method for monitoring performance in a communications network

Publications (2)

Publication Number Publication Date
KR20140096380A KR20140096380A (ko) 2014-08-05
KR101568628B1 true KR101568628B1 (ko) 2015-11-11

Family

ID=45478293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147016747A KR101568628B1 (ko) 2011-12-22 2011-12-22 통신 네트워크에서 성능을 모니터링하기 위한 장치 및 방법

Country Status (6)

Country Link
US (1) US20150163271A1 (ko)
EP (1) EP2745466B1 (ko)
KR (1) KR101568628B1 (ko)
IN (1) IN2014DN03470A (ko)
RU (1) RU2589474C2 (ko)
WO (1) WO2013091715A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026509A1 (en) * 2014-08-18 2016-02-25 Telefonaktiebolaget L M Ericsson (Publ) Technique for handling rules for operating a self-organizing network
US10306490B2 (en) * 2016-01-20 2019-05-28 Netscout Systems Texas, Llc Multi KPI correlation in wireless protocols
US11153443B2 (en) 2017-02-22 2021-10-19 Netscout Systems, Inc System and method for calculating SIP KPIs for a time window
WO2018211315A1 (en) * 2017-05-19 2018-11-22 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for monitoring large streams of data and identifying and visualizing attributes
US10638340B2 (en) 2017-08-15 2020-04-28 At&T Intellectual Property I, L.P. Base station wireless channel sounding
US10432330B2 (en) 2017-08-15 2019-10-01 At&T Intellectual Property I, L.P. Base station wireless channel sounding
US10834689B2 (en) 2017-08-15 2020-11-10 At&T Intellectual Property I, L.P. Base station wireless channel sounding
US11343124B2 (en) 2017-08-15 2022-05-24 At&T Intellectual Property I, L.P. Base station wireless channel sounding
US10091662B1 (en) 2017-10-13 2018-10-02 At&T Intellectual Property I, L.P. Customer premises equipment deployment in beamformed wireless communication systems
US11032721B2 (en) 2017-10-13 2021-06-08 At&T Intellectual Property I, L.P. Minimization of drive tests in beamformed wireless communication systems
US10931542B2 (en) * 2018-08-10 2021-02-23 Futurewei Technologies, Inc. Network embedded real time service level objective validation
US11082265B2 (en) 2019-07-31 2021-08-03 At&T Intellectual Property I, L.P. Time synchronization of mobile channel sounding system
US10708122B1 (en) * 2019-10-30 2020-07-07 T-Mobile Usa, Inc. Network fault detection and quality of service improvement systems and methods

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080298448A1 (en) * 2007-06-01 2008-12-04 Bilgehan Erman Method and apparatus for measuring subjective assessment of digital video impairment

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912216B1 (en) * 1999-09-30 2005-06-28 Verizon Laboratories Inc. Method and system for estimating performance metrics in a packet-switched communication network
FI109393B (fi) * 2000-07-14 2002-07-15 Nokia Corp Menetelmä mediavirran enkoodaamiseksi skaalautuvasti, skaalautuva enkooderi ja päätelaite
US7212498B2 (en) * 2001-05-30 2007-05-01 Intel Corporation Measurement of quality of service
JP4852228B2 (ja) * 2001-09-26 2012-01-11 インタラクト デヴァイシーズ インコーポレイテッド メディア信号を通信するためのシステム及び方法
US7099879B2 (en) * 2001-12-21 2006-08-29 Hewlett-Packard Development Company, L.P. Real-time monitoring of service performance through the use of relational database calculation clusters
US7802002B2 (en) * 2002-08-23 2010-09-21 Hewlett-Packard Development Company, L.P. Media data streaming considering performance characteristics of the streaming path
US7430179B2 (en) * 2003-06-28 2008-09-30 Geopacket Corporation Quality determination for packetized information
US7983160B2 (en) * 2004-09-08 2011-07-19 Sony Corporation Method and apparatus for transmitting a coded video signal
WO2006057586A1 (en) * 2004-11-26 2006-06-01 Telefonaktiebolaget Lm Ericsson (Publ) Performance analysis of a circuit switched mobile telecommunications network
US20080037532A1 (en) * 2005-08-20 2008-02-14 Sykes Edward A Managing service levels on a shared network
US7639630B2 (en) * 2005-11-07 2009-12-29 Accenture Global Services Gmbh Network performance management
DE602005007620D1 (de) * 2005-12-14 2008-07-31 Ntt Docomo Inc Vorrichtung und Verfahren zur Bestimmung der Übertragungspolitik für mehrere und verschiedenartige Anwendungen
US8929870B2 (en) * 2006-02-27 2015-01-06 Qualcomm Incorporated Methods, apparatus, and system for venue-cast
US8010589B2 (en) * 2007-02-20 2011-08-30 Xerox Corporation Semi-automatic system with an iterative learning method for uncovering the leading indicators in business processes
ES2370919T3 (es) * 2007-03-29 2011-12-23 Telefonaktiebolaget Lm Ericsson (Publ) Método y aparato para la evaluación de servicios en redes de comunicación.
US8582647B2 (en) * 2007-04-23 2013-11-12 Qualcomm Incorporated Methods and systems for quality controlled encoding
US8468056B1 (en) * 2010-04-21 2013-06-18 Google Inc. Ad skip feature for characterizing advertisement effectiveness
US8966555B2 (en) * 2010-09-15 2015-02-24 At&T Intellectual Property I, L.P. Method and system for performance monitoring of network terminal devices
US9037743B2 (en) * 2010-10-28 2015-05-19 Avvasi Inc. Methods and apparatus for providing a presentation quality signal
WO2012168373A1 (en) * 2011-06-07 2012-12-13 Openwave Mobility, Inc Method and apparatus for optimizing media streams
US9392295B2 (en) * 2011-07-20 2016-07-12 Broadcom Corporation Adaptable media processing architectures
WO2013029215A1 (en) * 2011-08-26 2013-03-07 Huawei Technologies Co., Ltd. Method and apparatus for modeling a service delivered over a communication network
US8719440B2 (en) * 2011-09-14 2014-05-06 Mobitv, Inc. Intelligent device media stream caching
US9203708B2 (en) * 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
PL2701397T3 (pl) * 2012-08-20 2015-03-31 Deutsche Telekom Ag Zależny od treści model jakości wideo dla usług strumieniowania wideo

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080298448A1 (en) * 2007-06-01 2008-12-04 Bilgehan Erman Method and apparatus for measuring subjective assessment of digital video impairment

Also Published As

Publication number Publication date
IN2014DN03470A (ko) 2015-06-05
US20150163271A1 (en) 2015-06-11
EP2745466B1 (en) 2023-11-29
WO2013091715A1 (en) 2013-06-27
RU2014129560A (ru) 2016-02-10
RU2589474C2 (ru) 2016-07-10
EP2745466A1 (en) 2014-06-25
KR20140096380A (ko) 2014-08-05

Similar Documents

Publication Publication Date Title
KR101568628B1 (ko) 통신 네트워크에서 성능을 모니터링하기 위한 장치 및 방법
Serral-Gracià et al. An overview of quality of experience measurement challenges for video applications in IP networks
KR101450494B1 (ko) 통신 네트워크에서의 서비스 성능
EP2244426B1 (en) A method and system for evaluating users quality of experience and network device
Batteram et al. Delivering quality of experience in multimedia networks
EP2571195A1 (en) Method for calculating perception of the user experience of the quality of monitored integrated telecommunications operator services
US20110149775A1 (en) System and method for interworking between media quality assessment at terminal device and qos control in transport network
EP2761879A1 (en) A method to measure quality of experience of a video service
EP2741439B1 (en) Network failure detecting method and monitoring center
Nam et al. Youslow: What influences user abandonment behavior for internet video?
Khorsandroo et al. A generic quantitative relationship between quality of experience and packet loss in video streaming services
Szilágyi et al. Network side lightweight and scalable YouTube QoE estimation
JP2008294784A (ja) ストリーム通信品質測定方法、ストリーム通信品質測定システム並びに受信端末およびルータ
Sagatov et al. Influence of distortions of key frames on video transfer in wireless networks
KR101108888B1 (ko) Ｉｐｔｖ 가입자단 품질 측정 장치 및 방법
Msakni et al. Provisioning QoE over converged networks: Issues and challenges
Goran et al. Real time assuring QoE in the lowest OSI/ISO layers during delivering of IPTV services
Goran et al. An example of mapping the degradation of network parameters with video QoE parameters in case of IPTV service
CN113475052B (zh) 对音频数据和/或视频数据进行编码的方法和装置
Lozano et al. Adaptive qoe measurement on videostreaming ip services
Mu et al. Multimodal QoE evaluation in P2P-based IPTV systems
Zhang et al. Packet-layer model for quality assessment of encrypted video in IPTV services
Shao et al. A Multimedia Terminal Supporting Adaptation for QoS Control
Timmerer et al. End-to-End Management of Heterogeneous Environments Enabling Quality of Experience
Serral-Gracià et al. Metrics and QoE assessment in P2PTV applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181023

Year of fee payment: 4