KR20140098248A - 비디오 스트림 내의 아티팩트를 최소화하는 방법, 비디오 스트림의 속성을 변경하는 시스템 및 컴퓨터 판독가능 매체 - Google Patents

비디오 스트림 내의 아티팩트를 최소화하는 방법, 비디오 스트림의 속성을 변경하는 시스템 및 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR20140098248A
KR20140098248A KR1020147018795A KR20147018795A KR20140098248A KR 20140098248 A KR20140098248 A KR 20140098248A KR 1020147018795 A KR1020147018795 A KR 1020147018795A KR 20147018795 A KR20147018795 A KR 20147018795A KR 20140098248 A KR20140098248 A KR 20140098248A
Authority
KR
South Korea
Prior art keywords
video stream
video
attributes
artifacts
network
Prior art date
Application number
KR1020147018795A
Other languages
English (en)
Inventor
진규 키우
레지스 제이. 크리논
티모시 마크 무어
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140098248A publication Critical patent/KR20140098248A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시양상은 네트워킹된 컴퓨터들 사이에서 전송되는 비디오 스트림의 품질 개선에 관한 것이다. 한 실시예에 따르면, 네트워크 조건에 기초하여 비디오 스트림의 속성을 동적으로 변경하는 방법이 제공된다. 이와 관련하여, 방법은 비디오 스트림이 전송되고 있을 때 존재하는 네트워크 조건을 설명하는 서비스 품질 데이터를 수집하는 단계를 포함한다. 그 다음, 비디오 스트림 내의 예측 아티팩트의 양은 수집된 데이터를 사용하여 계산된다. 트리거링 이벤트의 식별에 응답하여, 방법은 네트워크 조건을 고려하여 비디오 스트림의 속성을 변경한다.

Description

비디오 스트림 내의 아티팩트를 최소화하는 방법, 비디오 스트림의 속성을 변경하는 시스템 및 컴퓨터 판독가능 매체{DYNAMIC MODIFICATION OF VIDEO PROPERTIES}
본 발명은 네트워킹된 컴퓨터들 사이에서 전송되는 비디오 스트림의 품질 개선에 관한 것이다.
인터넷과 같은 컴퓨터 네트워크는 사람들이 정보를 얻는 방식에 혁명을 일으켰다. 예를 들어, 현대의 컴퓨터 네트워크는 컴퓨터 네트워크로의 액세스 권한이 있는 사람들 사이에서 정보를 전송하기 위한 이메일 통신의 사용을 지원한다. 점점 더, 실시간 컴포넌트를 갖는 네트워크를 통해 데이터의 교환을 가능하게 하는 시스템이 개발되고 있다. 예를 들어, 비디오 스트림은 네트워크 조건이 정보가 사용자에게 제시되는 방법에 영향을 줄 수 있도록 통신가능하게 접속된 컴퓨터들 사이에서 전송될 수 있다.
본 분야에 숙련된 기술자들 및 기타 사람들은 데이터가 컴퓨터 네트워크를 통해 패킷으로 전송된다는 것을 인식할 것이다. 불행히도, 패킷 손실은 컴퓨터 네트워크를 통해 전송되는 하나 이상의 패킷이 그 수신지에 도달하지 못할 때 발생한다. 패킷 손실은 초과 이용된 네트워크, 신호 저하, 결함이 있는 하드웨어에 의해 훼손된 패킷 등을 포함한(이에 제한되지 않음) 여러 요인에 의해 야기될 수 있다. 패킷 손실이 발생할 때, 성능 문제가 사용자에게 두드러질 수 있다. 예를 들어, 비디오 스트림과 관련하여, 패킷 손실은 비디오 프레임의 시퀀스에서 눈에 띄는 "아티팩트(artifact)" 또는 왜곡을 초래할 수 있다.
비디오 스트림 내의 아티팩트 및 기타 왜곡의 양은 전체 영상 품질에 가장 강한 영향을 미치는 요인 중의 하나이다. 그러나, 기존 시스템이 갖는 한 가지 결함은 비디오 스트림 내의 예측 아티팩트의 양을 객관적으로 측정할 수 없다는 것이다. 개발자들은 양질의 비디오 서비스를 전달하는데 필요한 다양한 상반관계(tradeoff)에 관해 정보에 근거한 결정을 하기 위해 아티팩트를 객관적으로 측정함으로써 얻어진 정보를 사용하였을 것이다. 더구나, 본 분야에 숙련된 기술자들 및 기타 사람들은 패킷 손실이 발생할 때, 다양한 오류 복구 기술이 비디오 스트림의 저하를 방지하기 위해 구현될 수 있다는 것을 인식할 것이다. 그러나, 이들 오류 복구 기술은 네트워크 자원의 소모 및 비디오 품질에의 영향과 관련하여 그 자체의 상반관계를 갖는다. 비디오 스트림의 속성에 대한 변경이 이루어질 때, 이들 변경이 비디오 서비스의 품질에 얼마나 영향을 미칠 것인지를 객관적으로 측정할 수 있는 것이 유리할 수 있을 것이다. 이와 관련하여, 특히 오류 복구가 실행되어야 하는지 판정하기 위해, 오류 복구 기술이 비디오 스트림의 품질에 얼마나 영향을 줄 것인지를 객관적으로 측정하는 것이 또한 유리할 수 있을 것이다.
기존 시스템이 갖는 다른 결함은 비디오 스트림 내의 아티팩트의 양을 객관적으로 측정해서, 관측된 데이터에 기초하여 인코딩 프로세스를 동적으로 변경할 수 없다는 것이다. 예를 들어, 비디오 스트림의 전송 동안에, 패킷 손실률 또는 기타 네트워크 조건이 변할 수 있다. 그러나, 기존의 시스템으로는, 비디오 스트림 내의 프레임을 압축하는 인코더가 네트워크 조건을 고려하여 비디오 스트림의 속성을 변경하는 방법을 식별하지 못할 수 있다.
본 발명의 실시양상은 네트워킹된 컴퓨터들 사이에서 전송되는 비디오 스트림의 품질 개선에 관한 것이다. 한 실시예에 따르면, 네트워크 조건에 기초하여 비디오 스트림의 속성을 동적으로 변경하는 방법이 제공된다. 이와 관련하여, 방법은 비디오 스트림이 전송되고 있을 때 존재하는 네트워크 조건을 설명하는 서비스 품질 데이터를 수집하는 단계를 포함한다. 그 다음, 비디오 스트림 내의 예측 아티팩트의 양은 수집된 데이터를 사용하여 계산된다.
본 발명의 실시예들에 따라, 트리거링 이벤트의 식별에 응답하여, 방법은 네트워크 조건을 더욱 정확하게 고려하여 비디오 스트림의 속성을 변경할 수 있다.
본 발명의 상기 실시양상 및 이에 수반되는 다수의 장점은 첨부 도면과 함께 다음의 상세한 설명을 참조하면 더욱 잘 이해되므로 더욱 쉽게 인지될 것이다.
도 1은 본 발명의 한 실시예에 따라 비디오 스트림을 전송하기 위해 사용될 수 있는 컴포넌트를 나타내기에 적합한 네트워킹 환경을 도시한 도면.
도 2의 (a) 및 (b)는 도 1에 도시된 네트워킹 환경을 통해 전송하기 위한 비디오 스트림의 인코딩을 나타내기에 적합한 예시적인 프레임 시퀀스를 도시한 도면.
도 3은 소정의 네트워크 조건이 주어진 비디오 품질을 설명하는 차트의 블록도.
도 4a 및 4b는 소정의 네트워크 조건이 주어진 비디오 품질을 설명하는 차트의 블록도.
도 5는 소정의 네트워크 조건이 주어진 비디오 품질을 설명하는 차트의 블록도.
도 6은 소정의 네트워크 조건이 주어진 비디오 품질을 설명하는 차트의 블록도.
도 7은 본 발명의 실시양상을 구현하기에 적합한 특성을 유지하는 다른 네트워킹 환경을 도시한 도면.
도 8은 한 실시예에 따른 네트워킹된 장치들 사이의 비디오 스트림의 전송을 나타내는 도 7에 도시된 네트워킹 환경의 도면.
도 9는 본 발명의 다른 실시예에 따라 비디오 스트림의 속성을 변경하는 예시적인 루틴을 도시한 흐름도.
이 요약은 아래의 상세한 설명에서 더욱 설명되는 개념들 중의 선택된 개념을 단순화된 형태로 소개하기 위해 제공된다. 이 요약은 청구된 주제의 중요한 특징을 식별하고자 하는 것도 아니고, 청구된 주제의 범위를 결정하는데 보조적으로 사용되고자 하는 것도 아니다.
본 발명의 실시양상은 네트워킹된 컴퓨터들 사이에서 전송되는 비디오 스트림의 품질 개선에 관한 것이다. 한 실시예에 따르면, 네트워크 조건에 기초하여 비디오 스트림의 속성을 동적으로 변경하는 방법이 제공된다. 이와 관련하여, 방법은 비디오 스트림이 전송되고 있을 때 존재하는 네트워크 조건을 설명하는 서비스 품질 데이터를 수집하는 단계를 포함한다. 그 다음, 비디오 스트림 내의 예측 아티팩트의 양은 수집된 데이터를 사용하여 계산된다. 트리거링 이벤트의 식별에 응답하여, 방법은 네트워크 조건을 더욱 정확하게 고려하여 비디오 스트림의 속성을 변경할 수 있다.
본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어와 관련하여 설명될 수 있다. 일반적으로 설명하면, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 위젯(widgets), 개체, 컴포넌트, 데이터 구조 등을 포함한다.
본 발명은 관측된 네트워크 조건에 기초하여 비디오 스트림의 속성을 변경하는 시스템 및 방법과 관련하여 주로 설명될 것이지만, 본 분야에 숙련된 기술자들 및 기타 사람들은 본 발명이 다른 상황에서도 적용될 수 있다는 것을 알 수 있을 것이다. 여하튼, 다음 설명은 본 발명의 실시양상이 구현될 수 있는 시스템의 일반적인 개요를 먼저 제공한다. 그 다음, 관측된 네트워크 조건에 기초하여 비디오 스트림의 속성을 동적으로 변경하는 예시적인 루틴이 설명된다. 여기에서 제공된 예는 개시된 바로 그 형태로 본 발명을 총망라하거나 제한하고자 하는 것이 아니다. 이와 유사하게, 여기에서 설명된 임의의 단계는 동일한 결과를 달성하기 위해 그외 다른 단계 또는 단계들의 조합과 교체가능할 수 있다. 따라서, 아래에 설명된 본 발명의 실시예는 사실상 예시적인 것으로 해석되어야지 제한적인 것으로 해석되어서는 안 된다.
이제, 도 1을 참조하여, 네트워킹 환경(100)에서 비디오 스트림을 통신하기 위해 사용된 컴포넌트들 사이의 상호작용이 설명될 것이다. 도 1에 도시된 바와 같이, 네트워킹 환경(100)은 피어 투 피어 네트워크 접속으로 통신가능하게 접속되는 송신 컴퓨터(102) 및 수신 컴퓨터(104)를 포함한다. 이와 관련하여, 송신 컴퓨터(102) 및 수신 컴퓨터(104)는 네트워크(106)를 통해 데이터를 통신한다. 도 7 및 8과 관련하여 아래에서 더욱 상세하게 설명되는 바와 같이, 송신 컴퓨터(102)는 사용자와 관련된 네트워크 종점일 수 있다. 대안적으로, 송신 컴퓨터(102)는 비디오 스트림을 수신 컴퓨터(104)에 릴레이함으로써 네트워킹 환경(100)에서 노드로서 쓰일 수 있다. 본 분야에 숙련된 기술자들 및 기타 사람들은 네트워크(106)가 LAN(local area network), 일반적으로 인터넷 또는 월드 와이드 웹("WWW")으로서 공지된 글로벌 네트워크와 같은 WAN(wide area network), 셀룰러 네트워크, IEEE 802.11, 블루투스 무선 네트워크 등으로 구현될 수 있다는 것을 인식할 것이다.
도 1에 도시된 실시예에서, 비디오 스트림은 입력 장치(108)를 사용하여 애플리케이션 계층(105)으로부터 송신 컴퓨터(102) 내로 입력된다. 입력 장치(108)는 이미지의 스트림을 캡처할 수 있는 임의의 장치일 수 있는데, 이 장치는 비디오 카메라, 디지털 카메라, 셀룰러 전화 등을 포함하는데 반드시 이에 제한되는 것은 아니다. 비디오 스트림이 송신 컴퓨터(104) 내로 입력될 때, 인코더/디코더(110)는 비디오 스트림의 프레임을 압축하기 위해 사용된다. 본 분야에 숙련된 기술자들 및 기타 사람들은 인코더/디코더(110)가 프레임 시퀀스 내의 이미지 데이터의 중복도를 감소시키는 방식으로 압축을 실행한다는 것을 인식할 것이다. 비디오 스트림이 통상적으로 단지 점차 서로 다른 프레임의 시퀀스를 포함하기 때문에, 중요한 압축은 다른 프레임과의 차이에 기초하여 최소한 몇 개의 프레임을 인코딩함으로써 실현된다. 아래에서 더욱 상세하게 설명되는 바와 같이, 비디오 스트림 내의 프레임은 "I-프레임", "P-프레임", "SP-프레임" 및 "B-프레임"으로서 인코딩될 수 있지만, 그외 다른 프레임 유형(예를 들어, 단방향 B- 프레임 등)이 점점 더 이용된다. 그러나, 오류가 패킷 손실 또는 기타 비디오 저하를 일으킬 때, 비디오 스트림을 압축된 프레임으로 인코딩하는 것은 오류를 영구화할 수 있고, 이로 인해 아티팩트가 다수의 프레임에 걸쳐 지속하게 할 수 있다.
일단 인코더/디코더(110)가 프레임 시퀀스 내의 이미지 데이터의 중복도를 감소시킴으로써 비디오 스트림을 압축하면, 네트워크 장치(112) 및 관련된 매체 전송 계층(113) 컴포넌트(도시 생략)는 비디오 스트림을 전송하기 위해 사용될 수 있다. 이와 관련하여, 비디오 데이터의 프레임은 실시간 전송 프로토콜(real-time transport protocol: "RTP")에 의해 지시된 표준에 따라 패킷화되고 전송될 수 있다. 본 분야에 숙련된 기술자들 및 기타 사람들은 RTP가 실시간 데이터의 전송을 위해 사용될 수 있는 하나의 예시적인 인터넷 표준 프로토콜이라는 것을 인식할 것이다. 여하튼, 비디오 스트림이 수신될 때, 수신 컴퓨터(104) 상의 인코더/디코더(110)는 스트림이 디코딩되어 렌더링 장치(114) 상에서 사용자에게 제시되게 한다. 이와 관련하여, 렌더링 장치(114)는 이미지 데이터를 제시할 수 있는 임의의 장치일 수 있는데, 이 장치는 컴퓨터 디스플레이(예를 들어, CRT 또는 LCD 화면), 텔레비전, 모니터, 프린터 등을 포함하는데 이에 제한되는 것은 아니다.
제어 계층(116)은 비디오 스트림의 전송을 지원하는 애플리케이션과 같은 실시간 속성을 갖는 애플리케이션에 서비스 품질 지원을 제공한다. 이와 관련하여, 품질 제어기(118)는 패킷 손실률, 왕복 시간 등을 포함하는(이에 제한되지는 않음) 비디오 스트림과 관련된 통계를 수집함으로써 서비스 품질 피드백을 제공한다. 단지 예시적으로, 품질 제어기(118)에 의해 수집된 데이터는 오류 복구가 실행될 때 재전송될 패킷을 식별하기 위해 오류 복구 컴포넌트(120)에 의해 사용될 수 있다. 이와 관련하여, 실시간 전송 프로토콜에 부가되는 데이터는 비디오 스트림을 교환하고 있는 사용자들 사이에서 주기적으로 전송될 수 있다. 제어 계층(116)의 컴포넌트는 수집된 서비스 품질 정보에 기초하여 비디오 스트림의 속성을 변경하기 위해 사용될 수 있다. 본 분야에 숙련된 기술자들 및 기타 사람들은 특정 컴포넌트 및 프로토콜이 도 1과 관련하여 설명되었지만, 본 발명의 실시양상이 상이한 컴포넌트 및/또는 프로토콜을 사용하여 구현될 수 있으므로, 이들 특정 예는 예시적인 것으로 해석되어야 한다는 것을 인식할 것이다. 예를 들어, 도 1과 관련하여 제공된 설명은 네트워킹된 컴퓨터들 사이에서 비디오 스트림을 전송하기 위해 RTP를 사용하고, 제어 정보를 제공하기 위해 RTCP를 사용하지만, 청구된 주제의 범위를 벗어나지 않고서 그외 다른 프로콜이 이용될 수 있다.
이제, 도 2의 (a) 및 (b)를 참조하여, 비디오 스트림 내의 예시적인 프레임 시퀀스(200)가 설명될 것이다. 도 1과 관련하여 앞에서 설명된 바와 같이, 인코더는 이미지 데이터의 중복도를 감소시키는 방식으로 비디오 스트림 내의 프레임을 압축하기 위해 사용될 수 있다. 이와 관련하여, 도 2의 (a)는 I-프레임(202-204), SP-프레임(206-208), P-프레임(210-216) 및 B-프레임(218-228)으로 구성되는 프레임 시퀀스(200)를 도시한 것이다. I-프레임(202-204)은 I-프레임이 다른 프레임 유형을 참조하지 않고 완전한 이미지를 제시하기 위해 사용될 수 있다는 점에서 독립적이다. 도 2의 (a)에 도시된 바와 같이, I-프레임(202-204)은 직접적으로 또는 간접적으로, SP-프레임(206-208), P-프레임(210-216) 및 B-프레임(218-228)을 위한 예측 참조로서 쓰인다. 이와 관련하여, SP-프레임(206-208)은 프레임이 가장 가까운 이전의 I-프레임 또는 다른 SP-프레임을 참조하여 인코딩된다는 점에서 예측가능하다. 이와 유사하게, P-프레임(210-216)은 또한 이들 프레임이 가장 가까운 이전의 I-프레임 또는 SP-프레임일 수 있는 더 이전의 프레임을 참조한다는 점에서 예측가능하다. 도 2에 더욱 도시된 바와 같이, B-프레임(218-228)은 이미지 데이터가 이전 및 이후의 프레임 둘 다를 참조하여 인코딩된다는 점에서 양방향 예측으로서 공지된 기술을 사용하여 인코딩된다.
각 프레임 내의 데이터 양은 도 2의 (a)에 시각적으로 도시되는데, I-프레임(202-204)은 가장 많은 양의 데이터를 포함하고, SP-프레임(206-208), P-프레임(210-216) 및 B-프레임(218-228)은 각각 연속적으로 더 많은 양의 압축을 제공한다. 여기에서 사용된 바와 같이, "압축 모드"라는 용어는 특정 프레임 유형(예를 들어, I-프레임, SP-프레임, P-프레임, B-프레임 등)이 네트워크 접속을 통해 전송하기 위해 인코딩될 때의 인코더의 상태를 나타내는 것이다. 본 분야에 숙련된 기술자들 및 기타 사람들은 인코더가 상이한 프레임 유형을 만들기 위해 상이한 압축 모드를 지원하도록 구성될 수 있다는 것을 인식할 것이다. 프레임 시퀀스(200)를 다양한 프레임 유형으로 인코딩하는 것은 전송되는 데이터의 양을 감소시키지만, 이미지 데이터의 압축이 오류를 영구화할 수 있다. 이와 관련하여, I-프레임(202)은 패킷 집합으로 통신가능하게 접속된 컴퓨터들 사이에서 전송될 수 있다. 그러나, I-프레임(202) 내의 임의의 패킷이 전송 중에 손실되면, I-프레임(202)은 오류에 의해 영향을 받은 유일한 프레임이 아니다. 그 대신, 오류는 I-프레임(202)을 직접적으로 또는 간접적으로 참조하는 다른 프레임에 계속 존재할 수 있다. 예를 들어, 도 2의 (b)의 타임라인(250)에 도시된 바와 같이, I-프레임(202)이 이벤트(252)에서 오류를 겪을 때, 오류는 후속 I-프레임(204)이 수신될 때의 이벤트(254)까지 계속 존재한다. 이 경우에, 이벤트(252와 254) 사이에 수신된 프레임은 통상적으로 아티팩트의 형태로 품질 저하를 경험한다.
위에서 제공된 설명과 유사하게, SP-프레임과 관련된 패킷이 손실될 때, 오류는 다른 프레임에 계속 존재할 수 있다. 예를 들어, 타임라인(250)에 도시된 바와 같이, SP-프레임(206)이 이벤트(256)에서 패킷 손실을 경험할 때, 오류는 다음 I-프레임(204)이 수신될 때의 이벤트(254)까지 계속 존재한다. 종속성은 I-프레임보다 SP-프레임에 관해 더욱 작기 때문에, 패킷 손실의 충격도 또한 덜하다. P-프레임이 패킷 손실을 경험할 때, 패킷 손실을 경험한 P-프레임을 참조하는 B-프레임 및 다른 P-프레임만이 오류에 의해 영향받는다. 마지막으로, B-프레임 내의 오류는 B-프레임이 다른 프레임 유형에 의해 참조되지 않기 때문에 지속적으로 존재하지 않는다.
도 2의 (a) 및 (b)와 관련하여 위에서 설명된 바와 같이, 비디오 스트림의 인코딩은 프레임들 사이의 종속성이 존재하므로 아티팩트가 지속적으로 존재하게 할 수 있다. 이와 관련하여, 수학식 1은 오류 복구가 실행되고 있지 않을 때 예측 아티팩트를 계산하기 위해 사용될 수 있는 일반적인 통계적 가정에 기초한 하나의 수학적 모델을 포함한다. 이와 관련하여, 수학식 1은 비디오 스트림이 도 2의 (a)-(b)와 관련하여 상기 설명된 4개의 프레임 유형으로 구성될 때 예측 아티팩트를 계산하는 식을 제공한다. 이와 관련하여, "예측 아티팩트"라는 용어는 일반적으로 패킷 손실에 의해 영향받은 화상 그룹(group of pictures) 내의 프레임의 수를 나타내는 것이다. 아래에 더욱 상세하게 설명되는 바와 같이, 수학식 1의 식을 사용한 예측 아티팩트의 계산은 본 발명의 실시양상이 비디오 스트림의 속성을 변경하는 방법 및 변경 여부를 결정하기 위해 사용될 수 있다.
[수학식 1]
예측 아티팩트=
Figure pat00001
여기에서:
NB = 하나의 화상 그룹 내의 B-프레임의 수;
NGOP = 하나의 화상 그룹 내의 프레임의 수;
NP G = 연속적인 I-I, I-SP, SP-SP 또는 SP-I 프레임들 사이의 P-프레임의 수;
NSP = 하나의 화상 그룹 내의 SP-프레임의 수;
PB = B-프레임 손실 확률;
PI = I-프레임 손실 확률;
PP = P-프레임 손실 확률; 및
PSP = SP-프레임 손실 확률.
수학식 1과 유사하게, 수학식 2는 예측 아티팩트를 계산하기 위해 사용될 수 있는 수학적 모델을 포함한다. 그러나, 이 경우에, 수학식 2에서 묘사된 수학적 모델은 오류 복구가 실행되고 있을 때 적용된다. 예를 들어, 오류 복구는 비디오 스트림을 전송하고 있는 컴퓨터가 전송 중에 훼손되는 비디오 프레임의 패킷을 재전송하도록 구성될 때 실행될 수 있다. 이와 관련하여, 수학식 1은 비디오 스트림이 도 2의 (a)-(b)와 관련하여 상기 설명된 4개의 프레임 유형으로 구성될 때 컴퓨터들 사이에서 처음에 전송되는 주요 비디오 스트림 내의 예측 아티팩트를 계산하는 식을 제공한다. 수학식 1과 함께 제공된 설명과 유사하게, 수학식 2는 본 발명의 실시양상이 비디오 스트림의 속성을 변경하는 방법 및 변경 여부를 결정하기 위해 사용될 수 있다. 그러나, 수학식 2는 오류 복구가 실행되고 있을 때 적용된다.
[수학식 2]
예측 아티팩트=
Figure pat00002
여기에서:
PI = I-프레임 손실 확률;
PSP = SP-프레임 손실 확률;
PP = P-프레임 손실 확률;
PB = B-프레임 손실 확률; 및
RTT = 왕복 시간.
본 분야에 숙련된 기술자들 및 기타 사람들은 수학식 1 및 2와 관련하여 위에서 제공된 수학적 모델이 예시적이고 비제한적인 것으로 해석되어야 한다는 것을 인식할 것이다. 예를 들어, 이들 수학적 모델은 비디오 스트림이 I-프레임, P-프레임, SP-프레임 및 B-프레임으로 구성된 것으로 가정한다. 그러나, 앞에서 설명된 바와 같이, 비디오 스트림은 상기 설명된 것보다 더 적거나 많은 프레임 유형 및/또는 상기 설명된 것과 다른 프레임 유형 집합으로 구성될 수 있다. 이들 경우에, 위에서 제공된 수학적 모델의 변화는 비디오 스트림 내의 예측 아티팩트를 계산하기 위해 사용될 수 있다. 더구나, 수학식 1 및 2는 예측 아티팩트의 양을 계산하는 것과 관련하여 설명된다. 비디오 스트림으로부터의 "아티팩트 퍼센트"는 예측 아티팩트를 화상 그룹(Group of Pictures: "GOP") 내의 프레임 수로 나눔으로써 상기 설명된 수학적 모델을 사용하여 계산될 수 있다.
이제, 도 3-6을 참조하여, 다양한 네트워크 조건이 주어진 비디오 스트림 내의 예측 아티팩트의 양을 설명하는 분포가 설명될 것이다. 도시된 실시예에서, 도 3-6에 도시된 분포는 비디오 스트림의 속성이 네트워크 조건을 더욱 정확하게 반영하여 변경될 수 있는 경우를 식별하기 위해 이용될 수 있다. 도 3에 도시된 바와 같이, x축은 패킷 손실률에 대응하고, y축은 컴퓨터들 사이에서 처음에 전송되는 주요 비디오 스트림 내의 화상 그룹("GOP")에 대한 예측 아티팩트 퍼센트에 대응한다. 이와 관련하여, 도 3은 오류 복구가 실행되고 있지 않을 때 상이한 패킷 손실률에서 화상 그룹에 대한 예측 아티팩트 퍼센트의 양을 나타내는 분포(302)를 도시한 것이다. 이와 유사하게, 분포(304)는 오류 복구가 실행되고 있을 때 상이한 패킷 손실률에서의 예측 아티팩트의 양을 나타낸다.
도 3이 나타내는 바와 같이, 아티팩트 퍼센트는 패킷 손실률이 증가함에 따라 분포(302 및 304)의 둘 다에서 증가한다. 더구나, 오류 복구가 실행되고 있지 않을 때, 예측 아티팩트 퍼센트는 오류 복구가 실행되고 있는 경우에 비해 모든 패킷 손실률에 대해 상당히 크다. 앞에서 설명된 바와 같이, 패킷 손실률은 심지어 동일한 네트워크 세션 동안에도 다양한 네트워크 조건으로 인해 변할 수 있다. 이와 관련하여, 품질 제어기(118)(도 1)는 패킷 손실률을 포함하는 네트워크 세션과 관련된 통계치를 수집함으로써 서비스 품질 피드백을 제공한다. 패킷 손실률이 품질 제어기(118)로부터 액세스될 때, 분포(302 및 304)는 비디오 스트림의 예측 아티팩트를 식별하기 위해 사용될 수 있다.
한 실시예에 따르면, 분포(302-304)와 관련된 예측 아티팩트의 범위는 비디오 스트림의 속성을 설정하기 위해 사용될 수 있다. 예를 들어, 오류 복구가 실행되고 있고, 분포(304)에서 표시된 아티팩트 퍼센트가 10 퍼센트 미만으로 식별될 때, 비디오 스트림은 제1 속성 집합에 따라 전송될 수 있다. 아티팩트 퍼센트의 범위가 주어지고 변경될 가능성이 있는 비디오 스트림의 속성은 프레임 유형의 분포(예를 들어, I-프레임, SP-프레임, P-프레임, B-프레임의 퍼센트 및 빈도), 프레임 속도, 프레임 및 패킷의 크기, 순방향 오류 정정("FEC")이 각 프레임 유형에 대해 적용되는 한도를 포함한 채널 부호화 내의 중복도 적용 등을 포함할 수 있는데 이에 제한되는 것은 아니다. 이와 관련하여, 비디오 스트림 내의 예측 아티팩트를 객관적으로 측정함으로써, 비디오 스트림이 어떻게 전송되어야 하는지에 관해 더욱 정보에 근거한 결정이 이루어질 수 있다. 예를 들어, 예측 아티팩트의 양이 증가할 때, 비디오 스트림의 속성은 더 높은 퍼센트의 B-프레임을 포함하도록 변경될 수 있고, 이로 인해 더 높은 패킷 손실률에서 비디오 품질을 개선할 수 있다. 더구나, 분포(304)에서 표시된 아티팩트 퍼센트가 상이한 범위에 대응하는 것으로 식별되면, 비디오 스트림은 다른 비디오 속성 집합에 따라 전송될 수 있다.
도 4a는 상이한 프레임 및 패킷 손실률에서 예측 아티팩트 퍼센트의 양을 나타내는 분포(402, 404, 406 및 408)를 도시한 것이다. 도 4a에 도시된 바와 같이, x축은 초 당 15와 30 사이의 프레임 속도에 대응하고, y축은 상이한 프레임 속도에서의 예측 아티팩트 퍼센트에 대응한다. 더욱 구체적으로, 분포(402)는 네트워크 세션이 5 퍼센트의 패킷 손실률을 경험하고 있고, 오류 복구가 실행되고 있지 않을 때, 초 당 15와 30 사이의 예측 아티팩트 퍼센트의 양을 나타낸다. 분포(404)는 네트워크 세션이 1 퍼센트의 패킷 손실률을 경험하고 있고, 오류 복구가 실행되고 있지 않을 때, 초 당 15와 30 사이의 예측 아티팩트 퍼센트의 양을 나타낸다. 분포(406)는 네트워크 세션이 5 퍼센트의 패킷 손실률을 경험하고 있고, 오류 복구가 실행되고 있을 때, 초 당 15와 30 사이의 주요 비디오 스트림 내의 예측 아티팩트 퍼센트의 양을 나타낸다. 분포(408)는 네트워크 세션이 1 퍼센트의 패킷 손실률을 경험하고 있고, 오류 복구가 실행되고 있을 때, 초 당 15와 30 사이의 예측 아티팩트 퍼센트의 양을 나타낸다. 도 4a에 시각적으로 도시된 상이한 시나리오에 대한 예측 아티팩트의 정확한 값은 도 4b에 나타낸 표에 숫자로 표시된다. 도 4a 및 4b가 나타낸 바와 같이, 프레임 속도의 증가는 비디오 스트림이 다양한 프레임 유형으로 인코딩될 때 실제로 예측 아티팩트 퍼센트를 증가시키고 비디오 품질을 저하시킬 수 있다.
한 실시예에 따르면, 분포(402-408)를 사용하여 얻은 예측 아티팩트의 범위는 비디오 스트림의 속성을 맞추기 위해 설정될 수 있다. 예를 들어, 몇몇 경우에, 콘텐트 제공자는 비디오 스트림에 대한 소정의 서비스 품질을 보증한다. 분포(402-408)에 표시된 정보에 기초하여, 상이한 프레임 속도, 패킷 손실률 및 기타 네트워크 속성에서의 예측 아티펙트 퍼센트가 식별될 수 있다. 예측 아티팩트 퍼센트를 식별함으로써, 프레임 속도는 서비스 품질 보증이 충족되도록 조정될 수 있다. 이와 관련하여, 프레임 속도는 대응하는 아티팩트 감소를 일으키기 위해 감소될 수 있다.
도 5는 네트워크가 1 퍼센트의 패킷 손실률을 경험하고 있을 때 상이한 화상 그룹("GOP") 값에서의 예측 아티팩트 퍼센트의 양을 나타내는 분포(502 및 504)를 도시한 것이다. 본 분야에 숙련된 기술자들 및 기타 사람들은 GOP가 제1 독립 프레임(예를 들어, I-프레임)에서 시작하고 다음 독립 프레임에서 끝나는 프레임 시퀀스를 나타낸다는 것을 인식할 것이다. 도 5에 도시된 바와 같이, x축은 비디오 스트림 내의 GOP 값에 대응하고, y축은 다양한 GOP 값에서의 예측 아티팩트 퍼센트에 대응한다. 이와 관련하여, 분포(502)는 오류 복구가 실행되고 있지 않을 때 상이한 GOP 값에 대한 예측 아티팩트 퍼센트의 양을 나타낸다. 이와 유사하게, 분포(504)는 컴퓨터들 사이에서 처음에 전송되는 주요 비디오 스트림에 대해 오류 복구가 실행되고 있을 때 예측 아티팩트 퍼센트의 양을 나타낸다. 분포(502)가 나타낸 바와 같이, 더 높은 GOP 값은 오류 복구가 실행되고 있지 않을 때 대응하는 아티팩트 증가 및 비디오 품질 감소를 야기한다. 이와 반대로, 오류 복구가 실행되고 있을 때, 더 큰 GOP 값은 보다 적은 아티팩트 및 더 양호한 비디오 품질을 초래한다. 위에서 제공된 설명과 유사하게, 분포(502-504)로부터 얻은 예측 아티팩트의 범위는 비디오 스트림에 대한 속성을 설정하기 위해 사용될 수 있다. 이와 관련하여, 오류 복구가 실행되고 있지 않을 때, 프레임 시퀀스는 I-프레임의 발생을 증가시킴으로써 더 낮은 GOP 값이 인코딩될 수 있다. 이와 반대로, 오류 복구가 실행되고 있을 때, 프레임 시퀀스는 더 적은 I-프레임 및 더 높은 GOP 값이 인코딩될 수 있다.
도 6은 오류 복구가 실행되고 있을 때 상이한 왕복 시간("RTT")에서의 예측 아티팩트 퍼센트의 양을 나타내는 분포(602)를 도시한 것이다. 본 분야에 숙련된 기술자들 및 기타 사람들은 왕복 시간이, 네트워크 통신이 송신 장치에서 수신 장치로 그리고 이와 반대로 이동하는데 필요한 시간을 나타낸다는 것을 인식할 것이다. 오류 복구가 비디오 스트림 내의 패킷이 수신되지 않았다는 것을 나타내는 메시지를 송신함으로써 실행될 수 있기 때문에, 오류 복구의 효과는 손실된 패킷을 얻는데 필요한 왕복 시간에 달려 있다. 더구나, 본 분야에 숙련된 기술자들 및 기타 사람들은 통신가능하게 접속된 컴퓨터들 사이의 RTT가 재전송될 수 있는 패킷 및 이와 관련된 비디오 프레임의 수에 영향을 미친다는 것을 인식할 것이다. 도 6에 도시된 바와 같이, 통신가능하게 접속된 컴퓨터들 사이의 RTT는 x축에 표시된다. y축은 네트워크가 5 퍼센트의 패킷 손실을 경험하고 있을 때 다양한 왕복 시간에서의 예측 아티팩트 퍼센트에 대응한다. 이와 관련하여, 분포(602)는 오류 복구가 실행되고 있을 때 RTT가 증가함에 따라 예측 아티팩트의 양이 증가하는 것을 나타낸다. 더구나, 분포(602)는 소정의 임계 레벨 위에서, 예측 아티팩트가 임계 레벨 아래에서보다 더 빠른 속도로 증가하는 것을 나타낸다. 위에서 제공된 설명과 유사하게, 분포(602)로부터 얻은 예측 아티팩트의 범위는 비디오 스트림의 속성을 설정하기 위해 사용될 수 있다. 예를 들어, 네트워크가 5% 패킷 손실을 경험하고, 왕복 시간이 200 밀리 초(0.2 초)보다 크다고 식별될 때, 동일한 패킷이 여러 번 보내질 수 있게 함으로써 채널 부호화 내의 중복도를 늘리는 순방향 오류 정정은 아티팩트를 감소시키기 위해 구현될 수 있다. 이와 관련하여, 채널 부호화 내의 중복도의 상이한 강도는 비디오 스트림 내의 각 프레임 유형에 대해 적용되고 변경될 수 있다. 더구나, 프레임 유형의 분포 및 기타 비디오 속성은 또한 분포(602)로부터 식별된 예측 아티팩트 퍼센트의 임계치에 기초하여 변경될 수 있다.
도 3-6과 관련하여 제공된 예는 예시적이고 비제한적인 것으로 해석되어야 한다. 이와 관련하여, 도 3-6은 다양한 네트워크 조건이 주어진 비디오 스트림 내의 예측 아티팩트의 퍼센트를 설명하는 분포를 도시한 것이다. 예시적인 네트워크 조건이 제공되었지만, 본 발명의 실시양상은 청구된 주제의 범위를 벗어나지 않고 다른 상황에서 비디오 스트림의 속성을 변경하기 위해 사용될 수 있다.
점차, 비디오 스트림은 다수의 네트워크 링크를 통해 전송된다. 예를 들어, 다지점(multi-point) 제어 유닛은 다수의 사용자 사이의 영상 회의를 지원하는 장치이다. 아와 관련하여, 도 7은 다지점 제어 유닛(701), 송신 장치(702) 및 수신 장치(704-708)를 포함하는 다수의 영상 회의 종점을 포함하는 네트워킹 환경(700)을 도시한 것이다. 더구나, 네트워킹 환경(700)은 다지점 제어 유닛(701)과 수신 장치(704-708) 사이의 다수의 다운스트림 네트워크 접속(712-716)뿐만 아니라, 송신 장치(702)와 다지점 제어 유닛(701) 사이의 피어 투 피어 네트워크 접속(710)을 포함한다. 일반적으로 설명하면, 다지점 제어 유닛(701)은 영상 회의에 참여할 장치들의 능력에 대한 정보를 수집한다. 수집된 정보에 기초하여, 네트워크 종점들 사이의 비디오 스트림의 속성이 설정될 수 있다.
이제, 도 8과 관련하여, 도 7에 도시된 다지점 제어 유닛(701), 송신 장치(702) 및 수신 장치(704-708)의 컴포넌트가 더욱 상세하게 설명될 것이다. 도 1과 관련하여 위에서 제공된 설명과 유사하게, 송신 장치(702) 및 수신 장치(704-708)는 인코더/디코더(802), 오류 복구 컴포넌트(804), 채널 품질 제어기(806) 및 로컬 품질 제어기(808)를 포함한다. 이 예시적인 실시예에서, 다지점 제어 유닛(701)은 전환기(switcher)(810), 속도 매칭기(rate matcher)(812), 채널 품질 제어기(814) 및 영상 회의 제어기(816)를 포함한다.
이 예시적인 실시예에서, 송신 장치(702) 상의 인코더/디코더(802)에 의해 인코딩된 비디오 스트림은 전환기(810)에 전송된다. 수신시에, 전환기(810)는 인코딩된 비디오 스트림을 각각의 속도 매칭기(812)에 발송한다. 비디오 스트림을 수신할 각 장치에 대해, 하나의 속도 매칭기(812)는 인코딩된 비디오 스트림 상에 알고리즘을 적용하여, 상이한 대역폭에서 데이터를 통신하는 장치들 상에서 동일한 콘텐트가 재생될 수 있게 한다. 일단 속도 매칭기(812)가 속도 매칭 알고리즘을 적용했으면, 비디오 스트림은 수신 장치(704-708)에 전송되고, 이 수신 장치(704-708)에서 비디오 스트림은 사용자에게 표시하기 위해 디코딩될 수 있다.
불행히도, 기존의 시스템은 네트워킹 환경(700)에서 최악의 접속을 유지하는 장치를 수용하기 위해 비디오 스트림의 속성을 최저 수준의 공통 특징으로 설정할 수 있다. 더구나, 다지점 제어 유닛(701)을 사용한 비디오 스트림의 전송은 많은 수의 종점에 맞춰 크기를 조정할 수 없다. 예를 들어, 송신 장치(702)가 비디오 스트림을 다지점 제어 유닛(701)에 전송할 때, 데이터는 각각 다운스트림 네트워크 접속(712-716)을 통해 각각의 수신 장치(704-708)로 전송될 수 있다. 패킷 손실이 다운스트림 네트워크 접속(712-716)에서 발생할 때, 오류 복구가 실행되고 있는 경우에, 손실을 패킷을 재전송하라는 요청이 다시 송신 장치(702)에 전송될 수 있다. 그러나, 송신 장치(702)가 모든 수신 장치(704-708)에 대한 오류 복구를 지원하고 있기 때문에, 송신 장치(702)는 요청들에 압도될 수 있다. 더욱 일반적으로, 영상 회의에 참여하는 종점의 수가 증가함에 따라, 실행하는 오류 복구의 부정적인 결과도 또한 증가한다. 그러므로, 비디오 품질을 객관적으로 측정하고, 네트워크 조건을 고려하여 비디오 스트림의 속성을 설정하는 것은 영상 회의를 관리하는 다지점 제어 유닛과 관련하여 특히 적절하다. 그러나, 본 발명의 실시양상이 다지점 제어 유닛과 관련하여 구현되는 것으로 설명될 수 있지만, 본 분야에 숙련된 기술자들 및 기타 사람들은 본 발명의 실시양상이 다른 상황에서 적용될 수 있다는 것을 인식할 것이다.
다지점 제어 유닛(701) 상의 채널 품질 제어기(814)는 송신 장치(702) 및 수신 장치(704-708) 상의 채널 품질 제어기(806)와 통신한다. 이와 관련하여, 채널 품질 제어기(814)는 각자의 통신 채널들의 각각에 관한 대역폭, RTT 및 패킷 손실을 모니터한다. 영상 회의 제어기(816)는 각각의 채널 품질 제어기(806)로부터 데이터를 얻고, 하나 이상의 비디오 스트림의 속성을 설정할 수 있다. 이와 관련하여, 영상 회의 제어기(816)는 송신 장치(702) 상에서 비디오 스트림을 인코딩하는 속성을 설정하기 위해 속도 매칭기(812) 및 로컬 품질 제어기(808)와 통신할 수 있다. 이들 속성은 프레임 및 데이터 전송률, GOP 값, 프레임 유형의 분포, 오류 복구, 채널 부호화 내의 중복도, 프레임 및/또는 패킷 크기 등을 포함할 수 있는데 이에 제한되는 것은 아니다.
본 발명의 실시양상은 비디오 데이터가 송신 장치와 수신 장치 사이에서 전송되는 속성을 맞추는 영상 회의 제어기(816)로 구현될 수 있다. 한 실시예에 따르면, 비디오 스트림의 속성은 관측된 네트워크 조건에 기초하여 동적으로 변경된다. 예를 들어, 영상 회의 제어기(816)는 관측된 네트워크 조건을 설명하는 데이터를 각자의 채널 품질 제어기들(806)의 각각으로부터 얻을 수 있다. 그 다음, 비디오 스트림 내의 아티팩트의 감소가 달성될 수 있는지 판정하기 위한 계산이 실행될 수 있다. 예를 들어, 도 3-6과 관련하여 설명된 정보를 사용하여, 상이한 비디오 속성 집합이 비디오 스트림 내의 아티팩트 양을 감소시킬 지의 여부에 관한 판정이 이루어질 수 있다. 이와 관련하여, 영상 회의 제어기(816)는 하나 이상의 비디오 스트림의 속성을 설정하기 위해 속도 매칭기(812) 및 로컬 품질 제어기(808)와 통신할 수 있다.
한 실시예에 따르면, 영상 회의 제어기(816)는 송신 장치(702)로부터 전송되는 비디오 스트림의 속성을 동적으로 변경하기 위해 속도 매칭기(812)와 통신한다. 이것을 위해, 다운스트림 네트워크 접속(712-714)을 통해 네트워크 조건을 설명하는 데이터가 다지점 제어 유닛(701) 상에서 수집된다. 그 다음, 송신 장치(702) 상의 비디오 스트림을 인코딩하기 위한 최적화된 비디오 속성 집합이 식별된다. 예를 들어, 상기 설명된 수학적 모델을 사용하여, 다운스트림 네트워크 접속을 통해 관측된 네트워크 조건을 고려한 최적 비디오 속성 집합이 식별된다. 그 다음, 본 발명의 실시양상은 네트워크 접속(710)을 통해 전송하기 위해 최적 비디오 속성 집합에 따라 비디오 스트림이 송신 장치(702) 상에서 인코딩되게 한다. 이와 관련하여, 영상 회의 제어기(816)는 송신 장치(702) 상에서 비디오 스트림을 인코딩하는 속성을 설정하기 위해 속도 매칭기(812) 및 로컬 품질 제어기(808)와 통신할 수 있다.
다른 실시예에 따르면, 영상 회의 제어기(816)는 다지점 제어 유닛(701)으로부터 전송되는 하나 이상의 비디오 스트림의 속성을 동적으로 변경하기 위해 속도 매칭기(812)와 통신한다. 이와 관련하여, 최소한 하나의 다운스트림 네트워크 접속을 통해 네트워크 조건을 설명하는 데이터가 얻어진다. 예를 들어, 위에서 설명된 수학적 모델을 사용하여, 다운스트림 네트워크 접속을 통해 관측된 네트워크 조건을 고려한 최적 비디오 속성 집합이 식별된다. 그 다음, 본 발명의 실시양상은 적절한 다운스트림 네트워크 접속을 통해 전송하기 위해 최적 비디오 속성 집합에 따라 비디오 스트림이 다지점 제어 유닛(701) 상에서 트랜스코딩(transcoding)되게 한다. 이것을 위해, 영상 회의 제어기(816)는 다지점 제어 유닛(701) 상에서 비디오 스트림을 트랜스코딩하는 속성을 설정하기 위해 속도 매칭기(812)와 통신할 수 있다.
또 다른 실시예에서, 본 발명의 실시양상은 비디오 품질을 개선하기 위해 송신 및 수신 장치(702-708)로부터 얻은 데이터를 수집한다. 예를 들어, 본 분야에 숙련된 기술자들 및 기타 사람들은 채널 부호화 내의 중복도가 비디오 스트림을 전송할 때 구현될 수 있다는 것을 인식할 것이다. 한편, 채널 부호화 내의 중복도는 순방향 오류 정정과 같은 기술이 실행될 수 있게 함으로써 비디오 스트림의 전송을 위한 강건성을 증가시킨다. 다른 한편, 채널 부호화 내의 중복도는 데이터를 중복되게 전송하기 위해 추가 네트워크 자원이 소모되기 때문에 비디오 품질에 나쁜 영향을 미칠 수 있는 단점과 관련된다. 단지 예시적으로, 본 발명의 실시양상은 송신 장치(702)가 채널 부호화 내의 중복도를 구현할 지의 여부 및 구현 방법을 결정하기 위해 송신 및 수신 장치(702-708)로부터 얻은 정보를 수집할 수 있다. 예를 들어, 데이터를 수신 장치(704-708)에 전송할 때 관측된 패킷 손실률은 다지점 제어 유닛(701) 상에서 수집될 수 있다. 그 다음, 비디오 스트림 내의 데이터 중복 전송에 관한 상반관계가 주어지면 채널 부호화 내의 중복도가 구현될 것인 지의 여부를 결정하기 위한 계산이 실행된다. 이 예에서, 본 발명의 실시양상은 관측된 네트워크 조건 및 네트워크의 구성이 주어지면 채널 부호화 내의 중복도가 비디오 품질을 개선할 수 있을지의 여부를 판정하기 위해 사용될 수 있다.
이제, 도 9와 관련하여, 동적 변경 루틴(900)을 예시한 흐름도가 설명될 것이다. 일반적으로 설명하면, 본 발명은 비디오 스트림의 품질을 개선하기 위해 수많은 상황에서 사용될 수 있다. 한 실시예에서, 본 발명은 비디오 스트림을 전송하기 위한 디폴트 속성을 설정하기 위해 오프 라인 상황에서 적용된다. 다른 실시예에서, 본 발명은 관측된 네트워크 조건을 고려하여 비디오 스트림의 속성을 동적으로 변경하기 위해 온라인 상황에서 적용된다. 도 9에 도시된 루틴(900)이 온라인 및 오프라인 둘 다와 관련하여 적용되는 것으로 설명되지만, 본 분야에 숙련된 기술자들은 이것이 예시적인 것이라는 것을 인식할 것이다.
블록(902)에서, 비디오 데이터의 전송은 디폴트 속성을 사용하여 시작된다. 앞에서 설명된 바와 같이, 본 발명의 실시양상은 인터넷을 위해 개발된 프로토콜을 이용하는 WAN 및 LAN, 무선 네트워크(예를 들어, 셀룰러 네트워크, IEEE 802.11, 블루투스 네트워크) 등을 포함하는 상이한 유형의 네트워크에서 구현될 수 있다. 더구나, 비디오 스트림은 상이한 구성을 유지하는 네트워크들과 장치들 사이에서 전송될 수 있다. 예를 들어, 앞에서 설명된 바와 같이, 송신 장치는 단지 피어 투 피어 네트워크 접속을 통해 비디오 스트림을 전송할 수 있다. 대안적으로, 도 7 및 8과 관련하여 상기 설명된 예에서, 비디오 스트림은 영상 회의를 관리하는 제어 유닛을 사용하여 전송될 수 있다. 이 예에서, 비디오 스트림은 피어 투 피어 접속 및 하나 이상의 다운스트림 네트워크 접속을 통해 전송된다.
본 분야에 숙련된 기술자들 및 기타 사람들은 네트워크의 능력이 비디오 스트림의 전송 방법에 영향을 준다는 것을 인식할 것이다. 예를 들어, 무선 네트워크에서, 데이터가 전송될 수 있는 속도는 통상적으로 유선 네트워크에서의 속도보다 못하다. 본 발명의 실시양상은 네트워크의 능력이 주어지면 비디오 스트림을 전송하는 디폴트 속성을 설정하기 위해 오프라인 상황에서 적용될 수 있다. 이와 관련하여, 비디오 스트림 내의 아티팩트를 최소화하는 최적 속성 집합은 마주칠 수 있는 네트워크 및/또는 구성의 각 유형에 대해 식별될 수 있다. 예를 들어, 도 3-6에 도시된 분포는 네트워크의 능력 및 예상 네트워크 조건이 주어지면 아티팩트를 최소화할 비디오 스트림을 전송하는 속성들의 조합을 식별하기 위해 사용될 수 있다.
일단 비디오 스트림의 전송이 시작되면, 블록(904)에서, 네트워크 조건이 관측되고, 네트워크 조건을 설명하는 통계치가 수집된다. 앞에서 설명된 바와 같이, 비디오 스트림의 전송에 관련된 장치상의 품질 제어기는 통계치 집합의 형태로 서비스 품질 피드백을 제공할 수 있다. 이들 통계치는 패킷 손실률, 왕복 시간, 이용가능하고 소모된 대역폭, 또는 네트워크 변수를 설명하는 임의의 기타 데이터를 포함할 수 있다. 한 실시예에 따르면, RTCP 프로토콜에 따라 전송된 데이터는 네트워크 조건을 설명하는 통계치를 모으기 위해 이용된다. 그러나, 제어 데이터는 청구된 주제의 범위를 벗어나지 않고서 그외 다른 프로토콜을 사용하여 얻어질 수 있다.
도 9에 도시된 바와 같이, 블록(906)에서, 비디오 스트림 내의 예측 아티팩트의 양이 계산된다. 수학식 1 및 2와 관련하여 위에서 설명된 바와 같이, 수학적 모델은 비디오 스트림 내의 예측 아티팩트의 양을 계산하기 위해 사용될 수 있다. 블록(904)에서 일단 네트워크 조건을 설명하는 통계치가 수집되었으면, 비디오 스트림 내의 예측 아티팩트의 양이 계산될 수 있다. 더구나, 도 3-6에 도시된 분포와 같은 다양한 분포는 네트워크 조건을 설명하는 통계치를 사용하여 생성될 수 있다.
도 9에 도시된 바와 같이, 판정 블록(908)에서, 트리거링 이벤트가 발생했는 지에 관한 판정이 이루어진다. 한 실시예에서, 트리거링 이벤트가 정의되는데, 이 트리거링 이벤트는 본 발명의 실시양상으로 하여금 관측된 네트워크 조건에 기초하여 비디오 스트림의 속성을 변경하게 할 것이다. 예를 들어, 본 발명에 의해 정의된 하나의 트리거링 이벤트는 미리 정의된 임계치를 가로지르는 예측 아티팩트이다. 이와 관련하여, 예측 아티팩트가 미리 정의된 임계치를 가로질러 증가/감소하는 경우에, 비디오 스트림의 속성은 비디오 품질의 변화를 고려하여 변경될 수 있다. 정의될 수 있는 다른 트리거링 이벤트는 패킷 손실률, 이용가능 대역폭, 영상 회의의 참가자 수 등의 변화를 포함하는데 이에 제한되는 것은 아니다. 트리거링 이벤트의 특정 예가 제공되었지만, 다른 유형의 트리거링 이벤트가 정의될 수 있기 때문에, 이들 예는 예시적이고 비제한적으로 해석되어야 한다. 여하튼, 트리거링 이벤트가 식별되면, 루틴(900)은 블록(910)으로 진행된다. 블록(908)에서 트리거링 이벤트가 식별되지 않으면, 루틴(900)은 다시 블록(904)으로 진행되고, 블록(904 내지 908)은 트리거링 이벤트가 식별될 때까지 반복된다.
블록(910)에서, 비디오 스트림의 속성은 관측된 네트워크 조건을 고려하여 변경된다. (블록(902)에서) 상기 설명된 오프라인 상황과 유사하게, 도 3-6에 도시된 분포는 최소 아티팩트 양을 생기게 할 속성 집합을 식별하기 위해 사용될 수 있다. 그러나, 이 경우에, 예상 네트워크 조건은 비디오 스트림의 품질 식별에 이용되지 않는다. 그 대신에, "온라인"으로 관측된 실제 네트워크 조건은 계산을 실행하여, 비디오 스트림 내의 아티팩트 양을 최소화할 속성 집합을 식별하기 위해 이용된다. 앞에서 설명된 바와 같이, 본 발명의 실시양상에 의해 변경될 수 있는 비디오 스트림의 속성은 화상 그룹("GOP") 값, 프레임 유형의 분포, 순방향 오류 정정을 포함할 수 있는 채널 부호화 내의 중복도, 오류 복구, 프레임 및 패킷 크기, 프레임 속도 등을 포함할 수 있는데 이에 제한되는 것은 아니다. 이와 관련하여, 루틴(900)은 블록(910)에서 비디오 스트림의 속성을 변경하기 위해 영상 회의 제어기, 속도 매칭기, 채널 품질 제어기 등과 같은 기타 소프트웨어 모듈과 통신할 수 있다. 그 다음, 루틴은 블록(912)으로 진행되어 종료된다.
예시적인 실시예가 도시되고 설명되었지만, 본 발명의 정신 및 범위를 벗어나지 않고 다양한 변경이 이루어질 수 있다는 것을 알 수 있을 것이다.
100: 네트워킹 환경 102: 송신 컴퓨터
104: 수신 컴퓨터 105: 애플리케이션 계층
106: 네트워크 113: 매체 전송 계층
116: 제어 계층 118: 품질 제어기
120: 오류 복구 컴포넌트

Claims (13)

  1. 송신 장치 및 복수의 수신 장치들을 포함하는 네트워킹 환경에서, 비디오 스트림 내의 아티팩트(artifact)를 최소화하는 방법으로서,
    상기 비디오 스트림을 전송하기 위한 디폴트 속성들을 설정하는 단계와,
    상기 디폴트 속성들에 기초하여 상기 비디오 스트림의 전송을 시작하는 단계와,
    상기 비디오 스트림이 상기 복수의 수신 장치들로 전송되고 있는 동안에 존재하는 네트워크 조건들에 대한 데이터를 수집하는 단계와,
    상기 비디오 스트림 내의 예측 아티팩트(predicted artifact)의 양을 계산하는 단계와,
    상기 예측 아티팩트를 최소화하기 위해 상기 비디오 스트림의 상기 디폴트 속성들을 변경하는 단계
    를 포함하며,
    상기 디폴트 속성들을 변경하는 단계는,
    상기 송신 장치 및 상기 복수의 수신 장치들로부터 서비스 품질(quality of service) 정보를 획득하고,
    상기 서비스 품질 정보를 종합(aggregate)하고,
    상기 종합한 서비스 품질 정보에 기초하여, 상기 비디오 스트림의 상기 복수의 수신 장치들로 전송되는 데이터 내에서 관측된 패킷 손실률(packet loss rate) 및 네트워크 구성에 적어도 기초하여 상기 비디오 스트림에 대한 채널 부호화(channel coding)의 중복도(redundancy)를 구현할지 여부를 판정하는 것
    에 의해 이루어지는,
    비디오 스트림 내의 아티팩트의 최소화 방법.
  2. 제1항에 있어서,
    상기 비디오 스트림을 전송하기 위한 디폴트 속성들을 설정하는 단계는 예상 네트워크 조건들이 주어지면 상기 비디오 스트림 내의 예측 아티팩트를 최소화할 화상 그룹 값, 프레임 속도, 및 프레임 유형들의 분포를 식별하는 단계를 포함하는,
    비디오 스트림 내의 아티팩트의 최소화 방법.
  3. 제1항에 있어서,
    상기 비디오 스트림 내의 프레임들은 실시간 전송 프로토콜을 사용하여 통신되고,
    상기 네트워크 조건들을 설명하는 데이터는 실시간 제어 프로토콜에 따라 통신되는,
    비디오 스트림 내의 아티팩트의 최소화 방법.
  4. 제1항에 있어서,
    상기 비디오 스트림의 디폴트 속성들을 변경하는 단계는, 상기 패킷 손실률의 임계치 증가가 식별되는 경우에 상기 비디오 스트림에 대한 채널 부호화 내의 중복도에 상이한 강도를 적용하는 단계를 더 포함하는,
    비디오 스트림 내의 아티팩트의 최소화 방법.
  5. 제1항에 있어서,
    상기 비디오 스트림의 디폴트 속성들을 변경하는 단계는
    오류 복구가 실행되고 있는지 판정하는 단계와,
    오류 복구가 실행되고 있으면, 대응하는 아티팩트 감소를 달성하기 위해 화상 그룹 값을 증가시키는 단계
    를 포함하는,
    비디오 스트림 내의 아티팩트의 최소화 방법.
  6. 제5항에 있어서,
    오류 복구가 실행되고 있지 않으면, 대응하는 아티팩트 감소를 달성하기 위해 상기 화상 그룹 값을 감소시키는 단계를 더 포함하는,
    비디오 스트림 내의 아티팩트의 최소화 방법.
  7. 네트워크 조건들에 기초하여 비디오 스트림의 속성들을 변경하는 시스템에 있어서,
    비디오 스트림을 인코딩하고 인코딩된 비디오 스트림을 업스트림 네트워크 접속을 통해 송신하는 적어도 하나의 소프트웨어 컴포넌트를 포함하는 송신 장치와,
    복수의 수신 장치 - 각각의 수신 장치는 다운스트림 네트워크 접속을 통해 수신된 비디오 스트림을 수신하고 디코딩하는 적어도 하나의 소프트웨어 컴포넌트를 포함함 - 와,
    상기 비디오 스트림을 전송하기 위한 디폴트 속성들을 설정하고, 상기 비디오 스트림이 상기 업스트림 및 다운 스트림 네트워크 접속들을 통해 전송되고 있을 때 존재하는 네트워크 조건들에 대한 데이터를 수집하며, 상기 비디오 스트림 내의 예측 아티팩트의 양을 계산하고, 상기 예측 아티팩트를 최소화하기 위해 상기 디폴트 속성들을 변경하는 하나 이상의 소프트웨어 컴포넌트를 갖는 제어 유닛 장치
    를 포함하며,
    상기 예측 아티팩트를 최소화하기 위한 상기 디폴트 속성들의 변경은,
    상기 송신 장치 및 상기 복수의 수신 장치들로부터 서비스 품질 정보를 획득하고,
    상기 서비스 품질 정보를 종합하고,
    상기 종합한 서비스 품질 정보에 기초하여, 상기 비디오 스트림의 상기 복수의 수신 장치들로 전송되는 데이터 내에서 관측된 패킷 손실률 및 네트워크 구성에 적어도 기초하여 상기 비디오 스트림에 대한 채널 부호화의 중복도를 구현할지 여부를 판정하는 것
    에 의해 이루어지는,
    비디오 스트림의 속성 변경 시스템.
  8. 제7항에 있어서,
    상기 제어 유닛 장치는 또한
    상기 송신 장치 상에서 상기 비디오 스트림을 인코딩하기 위한 최적화된 비디오 속성 집합 - 상기 최적화된 비디오 속성 집합은 상기 다운스트림 네트워크 접속들을 통해 관측된 네트워크 조건들을 고려함 - 을 식별하기 위해 수학적 모델을 사용하도록 구성되며;
    상기 업스트림 네트워크 접속을 통해 전송하기 위해 상기 최적화된 비디오 속성 집합에 따라 상기 비디오 스트림이 상기 송신 장치 상에서 인코딩되게 하도록 구성되는
    비디오 스트림의 속성 변경 시스템.
  9. 제7항에 있어서,
    상기 제어 유닛 장치는 또한
    다운스트림 네트워크 접속을 통해 상기 네트워크 조건들을 설명하는 데이터를 획득하도록 구성되고,
    상기 제어 유닛 장치 상에서 상기 비디오 스트림을 트랜스코딩(transcoding)하기 위한 최적화된 비디오 속성 집합 - 상기 최적화된 비디오 속성 집합은 상기 다운스트림 네트워크 접속을 통해 관측된 네트워크 조건들을 고려함 - 을 식별하기 위해 수학적 모델을 사용하도록 구성되며,
    상기 다운스트림 네트워크 접속을 통해 전송하기 위해 상기 최적화된 비디오 속성 집합에 따라 상기 비디오 스트림이 트랜스코딩되게 하도록 구성되는
    비디오 스트림의 속성 변경 시스템.
  10. 비디오 스트림의 속성들을 동적으로 변경하는 방법으로서,
    송신 장치에서 복수의 수신 장치들로 전송되는 비디오 스트림에 대한 서비스 품질 데이터를 수집하는 단계와,
    상기 서비스 품질 데이터를 사용하여 상기 비디오 스트림 내의 예측 아티팩트를 계산하는 단계와,
    트리거링 이벤트(triggering event)의 식별에 응답하여, 상기 예측 아티팩트를 최소화하도록 상기 비디오 스트림의 속성들을 변경하는 단계
    를 포함하며,
    상기 예측 아티팩트를 최소화하도록 상기 비디오 스트림의 속성들을 변경하는 단계는,
    상기 서비스 품질 정보를 종합하고,
    상기 종합한 서비스 품질 정보에 기초하여, 상기 비디오 스트림의 상기 복수의 수신 장치들로 전송되는 데이터 내에서 관측된 패킷 손실률 및 네트워크 구성에 적어도 기초하여 상기 비디오 스트림에 대한 채널 부호화의 중복도를 구현할지 여부를 판정하는 것
    에 의해 이루어지는,
    비디오 스트림의 속성 변경 방법.
  11. 제10항에 있어서,
    상기 예측 아티팩트를 계산하는 단계는 오류 복구가 실행되고 있는지 판정하는 단계와,
    오류 복구가 실행되고 있으면, 상기 비디오 스트림의 속성들을 변경하는 것은 대응하는 아티팩트 감소를 달성하기 위해 화상 그룹 값을 증가시키는 단계와;
    오류 복구가 실행되고 있지 않으면, 상기 비디오 스트림의 속성들을 변경하는 것은 대응하는 아티팩트 감소를 달성하기 위해 화상 그룹 값을 감소시키는 단계를 포함하는
    비디오 스트림의 속성 변경 방법.
  12. 제10항에 있어서,
    상기 비디오 스트림 내의 프레임들은 다수의 상이한 프레임 유형들로 압축되고,
    상기 비디오 스트림의 속성들을 변경하는 단계는
    상기 비디오 스트림 내의 각 프레임 유형을 압축하기 위해 인코더에 의해 사용된 압축 모드를 식별하는 단계와,
    상기 비디오 스트림 내의 각 프레임 유형을 인코딩하기 위한 최적화된 비디오 속성 집합을 식별하기 위해 수학적 모델을 사용하는 단계
    를 포함하는,
    비디오 스트림의 속성 변경 방법.
  13. 제10항에 있어서,
    상기 비디오 스트림의 속성들을 변경하는 단계는 프레임 유형에 의존하는 채널 부호화 내의 중복도의 상이한 강도를 적용하는 단계를 더 포함하는,
    비디오 스트림의 속성 변경 방법.
KR1020147018795A 2006-10-31 2007-09-05 비디오 스트림 내의 아티팩트를 최소화하는 방법, 비디오 스트림의 속성을 변경하는 시스템 및 컴퓨터 판독가능 매체 KR20140098248A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/591,297 2006-10-31
US11/591,297 US20080115185A1 (en) 2006-10-31 2006-10-31 Dynamic modification of video properties
PCT/US2007/077661 WO2008054926A1 (en) 2006-10-31 2007-09-05 Dynamic modification of video properties

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020097008348A Division KR20090084826A (ko) 2006-10-31 2007-09-05 비디오 스트림 내의 아티팩트를 최소화하는 방법, 비디오 스트림의 속성을 변경하는 시스템 및 컴퓨터 판독가능 매체

Publications (1)

Publication Number Publication Date
KR20140098248A true KR20140098248A (ko) 2014-08-07

Family

ID=39344597

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147018795A KR20140098248A (ko) 2006-10-31 2007-09-05 비디오 스트림 내의 아티팩트를 최소화하는 방법, 비디오 스트림의 속성을 변경하는 시스템 및 컴퓨터 판독가능 매체
KR1020097008348A KR20090084826A (ko) 2006-10-31 2007-09-05 비디오 스트림 내의 아티팩트를 최소화하는 방법, 비디오 스트림의 속성을 변경하는 시스템 및 컴퓨터 판독가능 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020097008348A KR20090084826A (ko) 2006-10-31 2007-09-05 비디오 스트림 내의 아티팩트를 최소화하는 방법, 비디오 스트림의 속성을 변경하는 시스템 및 컴퓨터 판독가능 매체

Country Status (8)

Country Link
US (1) US20080115185A1 (ko)
EP (1) EP2106662A4 (ko)
KR (2) KR20140098248A (ko)
CN (1) CN101529901B (ko)
AU (1) AU2007313931B2 (ko)
BR (1) BRPI0716147A2 (ko)
RU (1) RU2497304C2 (ko)
WO (1) WO2008054926A1 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US7969997B1 (en) * 2005-11-04 2011-06-28 The Board Of Trustees Of The Leland Stanford Junior University Video communications in a peer-to-peer network
CN101583532B (zh) * 2006-11-13 2012-06-13 雷神萨科斯公司 用于轻型移动式机器人的通用履带
US8605779B2 (en) * 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
CN101394568B (zh) * 2007-09-20 2011-06-15 华为技术有限公司 视频数据的更新方法及其装置和系统
US20090164576A1 (en) * 2007-12-21 2009-06-25 Jeonghun Noh Methods and systems for peer-to-peer systems
US8612620B2 (en) * 2008-04-11 2013-12-17 Mobitv, Inc. Client capability adjustment
US20110075570A1 (en) * 2008-05-30 2011-03-31 Kazunori Ozawa Server apparatus, communication method and program
US20090303309A1 (en) * 2008-06-04 2009-12-10 Pantech Co., Ltd. Mobile terminal and method for transmitting video data in video telephony system
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8798150B2 (en) * 2008-12-05 2014-08-05 Motorola Mobility Llc Bi-directional video compression for real-time video streams during transport in a packet switched network
CN102257808A (zh) * 2008-12-16 2011-11-23 惠普开发有限公司 控制视频数据中的伪影
US8929443B2 (en) * 2009-01-09 2015-01-06 Microsoft Corporation Recovering from dropped frames in real-time transmission of video over IP networks
US9015242B2 (en) * 2009-09-06 2015-04-21 Tangome, Inc. Communicating with a user device
US8621098B2 (en) * 2009-12-10 2013-12-31 At&T Intellectual Property I, L.P. Method and apparatus for providing media content using a mobile device
JP5553663B2 (ja) * 2010-03-31 2014-07-16 日立コンシューマエレクトロニクス株式会社 映像送信装置、映像受信装置、映像伝送システム
US9374290B2 (en) * 2010-12-13 2016-06-21 Verizon Patent And Licensing Inc. System and method for providing TCP performance testing
JP5884076B2 (ja) * 2010-12-22 2016-03-15 パナソニックＩｐマネジメント株式会社 無線伝送端末及び無線伝送方法、それに用いる符号化装置及び符号化方法、並びにコンピュータ・プログラム
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
EP2724530A4 (en) * 2011-06-24 2015-02-25 Thomson Licensing METHOD AND DEVICE FOR ASSESSING DEGRADATION IN A PACKET-CODED VIDEO AS A RESULT OF PACKAGE DEFECTS
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
EP2733903B1 (en) * 2012-11-20 2017-02-15 Alcatel Lucent Method for transmitting a video stream
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US10033658B2 (en) * 2013-06-20 2018-07-24 Samsung Electronics Co., Ltd. Method and apparatus for rate adaptation in motion picture experts group media transport
US9104241B2 (en) 2013-07-17 2015-08-11 Tangome, Inc. Performing multiple functions by a mobile device during a video conference
US9544534B2 (en) * 2013-09-24 2017-01-10 Motorola Solutions, Inc. Apparatus for and method of identifying video streams transmitted over a shared network link, and for identifying and time-offsetting intra-frames generated substantially simultaneously in such streams
US20150117516A1 (en) * 2013-10-30 2015-04-30 Vered Bar Bracha Dynamic video encoding based on channel quality
US9432623B2 (en) * 2014-09-24 2016-08-30 Ricoh Company, Ltd. Communication terminal, display control method, and recording medium
CN104320669A (zh) * 2014-10-24 2015-01-28 北京有恒斯康通信技术有限公司 视频传输方法及装置
US9773261B2 (en) * 2015-06-19 2017-09-26 Google Inc. Interactive content rendering application for low-bandwidth communication environments
KR101957672B1 (ko) * 2018-10-17 2019-03-13 (주)아이제이일렉트론 감시카메라 전원제어장치 및 방법
CN117811967A (zh) * 2019-09-09 2024-04-02 苹果公司 用于分组丢失管理的设备及方法
US11824737B2 (en) 2019-09-09 2023-11-21 Apple Inc. Per-packet type packet loss management

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0867003A2 (en) * 1995-12-12 1998-09-30 The Board of Trustees for the University of Illinois Method of and system for transmitting and/or retrieving real-time video and audio information over performance-limited transmission systems
US6621934B1 (en) * 1996-12-17 2003-09-16 Thomson Licensing S.A. Memory efficient compression apparatus in an image processing system
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6317795B1 (en) * 1997-07-22 2001-11-13 International Business Machines Corporation Dynamic modification of multimedia content
US6148005A (en) * 1997-10-09 2000-11-14 Lucent Technologies Inc Layered video multicast transmission system with retransmission-based error recovery
US6421387B1 (en) * 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US6473875B1 (en) * 1999-03-03 2002-10-29 Intel Corporation Error correction for network delivery of video streams using packet resequencing
US6996097B1 (en) * 1999-05-21 2006-02-07 Microsoft Corporation Receiver-driven layered error correction multicast over heterogeneous packet networks
US6658618B1 (en) * 1999-09-02 2003-12-02 Polycom, Inc. Error recovery method for video compression coding using multiple reference buffers and a message channel
TW444506B (en) * 1999-09-16 2001-07-01 Ind Tech Res Inst Real-time video transmission method on wireless communication networks
US6728924B1 (en) * 1999-10-21 2004-04-27 Lucent Technologies Inc. Packet loss control method for real-time multimedia communications
KR100833222B1 (ko) * 2000-03-29 2008-05-28 삼성전자주식회사 멀티미디어 송수신 장치 및 방법
US20060130104A1 (en) * 2000-06-28 2006-06-15 Madhukar Budagavi Network video method
JP3699910B2 (ja) * 2000-10-31 2005-09-28 株式会社東芝 データ伝送装置、データ伝送方法及びプログラム
KR100425676B1 (ko) * 2001-03-15 2004-04-03 엘지전자 주식회사 비디오 전송 시스템의 에러 복구 방법
US7639739B2 (en) * 2001-11-02 2009-12-29 The Regents Of The University Of California Technique to enable efficient adaptive streaming and transcoding of video and other signals
CN1210962C (zh) * 2002-06-19 2005-07-13 华为技术有限公司 视讯图像传输的主动防错方法
US7606314B2 (en) * 2002-08-29 2009-10-20 Raritan America, Inc. Method and apparatus for caching, compressing and transmitting video signals
JP4475235B2 (ja) * 2004-01-28 2010-06-09 日本電気株式会社 コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム
US20050234927A1 (en) * 2004-04-01 2005-10-20 Oracle International Corporation Efficient Transfer of Data Between a Database Server and a Database Client
US7848428B2 (en) * 2004-06-17 2010-12-07 Broadcom Corporation System and method for reducing visible artifacts in video coding using multiple reference pictures
US20060007943A1 (en) * 2004-07-07 2006-01-12 Fellman Ronald D Method and system for providing site independent real-time multimedia transport over packet-switched networks
US20060015799A1 (en) * 2004-07-13 2006-01-19 Sung Chih-Ta S Proxy-based error tracking for real-time video transmission in mobile environments
US8356327B2 (en) * 2004-10-30 2013-01-15 Sharp Laboratories Of America, Inc. Wireless video transmission system
US8139642B2 (en) * 2005-08-29 2012-03-20 Stmicroelectronics S.R.L. Method for encoding signals, related systems and program product therefor
US20070234385A1 (en) * 2006-03-31 2007-10-04 Rajendra Bopardikar Cross-layer video quality manager

Also Published As

Publication number Publication date
WO2008054926A1 (en) 2008-05-08
RU2009116472A (ru) 2010-11-10
US20080115185A1 (en) 2008-05-15
RU2497304C2 (ru) 2013-10-27
AU2007313931A1 (en) 2008-05-08
EP2106662A4 (en) 2010-08-04
CN101529901A (zh) 2009-09-09
AU2007313931B2 (en) 2011-03-17
BRPI0716147A2 (pt) 2013-09-17
KR20090084826A (ko) 2009-08-05
EP2106662A1 (en) 2009-10-07
CN101529901B (zh) 2011-02-23

Similar Documents

Publication Publication Date Title
AU2007313931B2 (en) Dynamic modification of video properties
JP5277177B2 (ja) ビデオテレフォニー品質評価方法及び装置
US7957307B2 (en) Reducing effects of packet loss in video transmissions
Turletti et al. Videoconferencing on the Internet
JP5356652B2 (ja) 分類されたメディア経験の質
US7873727B2 (en) System and method for evaluating streaming multimedia quality
Yang et al. End-to-end TCP-friendly streaming protocol and bit allocation for scalable video over wireless Internet
US10944973B2 (en) Estimation of video quality of experience on media servers
US9723329B2 (en) Method and system for determining a quality value of a video stream
CN113473185B (zh) 基于视频流关键帧突发特性的可用带宽探测方法及装置
JP2005033556A (ja) データ送信装置、データ送信方法、データ受信装置、データ受信方法
Babich et al. Video quality estimation in wireless IP networks: Algorithms and applications
Bassey et al. Mitigating the effect of packet losses on real-time video streaming using psnr as video quality assessment metric
Spielvogel et al. Collaborative Quality-of-Service based video conferencing
Zhang et al. Adaptive Video Streaming Algorithm Based on QoE over Wireless Networks
Bashir et al. A light weight dynamic rate control scheme for video transmission over IP network
KR100808982B1 (ko) 클래스화된 미디어 경험 품질
JP5525005B2 (ja) 分類されたメディア経験の質
Salem et al. TOSCANE: TOwards SCalable audiovisual communication networks
Alkafije The Effect of Band's Size on the Temporary Qualities for Transferring Video Pictures Wirelessly

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
N231 Notification of change of applicant
J301 Trial decision

Free format text: TRIAL NUMBER: 2015101003577; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150624

Effective date: 20160721

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150624

Effective date: 20160721