KR101734835B1 - 재전송 결정을 위한 장치 및 방법 - Google Patents

재전송 결정을 위한 장치 및 방법 Download PDF

Info

Publication number
KR101734835B1
KR101734835B1 KR1020127022427A KR20127022427A KR101734835B1 KR 101734835 B1 KR101734835 B1 KR 101734835B1 KR 1020127022427 A KR1020127022427 A KR 1020127022427A KR 20127022427 A KR20127022427 A KR 20127022427A KR 101734835 B1 KR101734835 B1 KR 101734835B1
Authority
KR
South Korea
Prior art keywords
network
data
delete delete
layer
packet
Prior art date
Application number
KR1020127022427A
Other languages
English (en)
Other versions
KR20120117907A (ko
Inventor
시우핑 루
이샨 우다이 만드레카
람쿠마르 페루마남
항 리우
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20120117907A publication Critical patent/KR20120117907A/ko
Application granted granted Critical
Publication of KR101734835B1 publication Critical patent/KR101734835B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1829—Arrangements specially adapted for the receiver end
    • H04L1/1835—Buffer management
    • H04L1/1838—Buffer management for semi-reliable protocols, e.g. for less sensitive applications such as streaming video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/1607—Details of the supervisory signal
    • H04L1/1671—Details of the supervisory signal the supervisory signal being transmitted together with control information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1874—Buffer management
    • H04L1/1877—Buffer management for semi-reliable protocols, e.g. for less sensitive applications like streaming video

Abstract

계층 헤더를 파싱하고 전송될 패킷에 우선 순위를 할당하는 것을 포함하는 장치와 방법이 개시된다. 전송기의 네트워크 모니터(270, 405)가 할당된 우선 순위 및 예컨대, 패킷 유실률과 같은 네트워크 통계 또는 상태에 기반하여 어떤 패킷을 재전송할 것인지 결정하기 위한 재선송 결정기(275)와 네트워크 인터페이스(250) 사이에서 연결된다. 네트워크 모니터(271)는 수신기에서 유실된 패킷의 누적 총 수와 같은 현재 네트워크 통계를 수집하고 그러한 통계를 전송기(200)에 제공하기 위해 제공될 수 있다. 방법은 할당된 우선 순위에 따라 전송될 데이터를 버퍼링하는 단계, 버퍼(235)로부터 수신된 데이터를 데이터그램 프로토콜(240, 245)을 통해 전송하는 단계, 데이터의 재전송에 대한 요청을 수신(405)하는 단계, 요청된 데이터가 버퍼에 있는지 결정(415)하는 단계 및 데이터의 단-대-단 승인과 오류 복구를 지원하는 프로토콜을 통해 요청된 데이터를 재전송하는 단계를 더 포함한다.

Description

재전송 결정을 위한 장치 및 방법{A METHOD AND APPARATUS FOR RETRANSMISSION DECISION MAKING}
본 출원은 이하 동시계류중인, 공동 소유된, 미국 특허 출원: (1) 제 XXX호, 명칭: 무선 네트워크에서의 신뢰성 있는 실시간 스트리밍을 위한 효율적인 응용-계층 자동 반복 요청 재전송 체계(AN EFFICIENT APPLICATION-LAYER AUTOMATIC REPEAT REQUEST(ARQ) RETRANSMISSION SCHEME FOR RELIABLE REAL-TIME STREAMING IN WIRELESS NETWORKS), 2009년 10월 7일 출원된 국제특허출원(출원번호 No. PCT/US09/005499, 톰슨 문서 번호 PU090136) 및 (2) 제 XXX 호, 명칭: 신뢰성 있는 데이터 통신을 위한 네트워크 추상화-계층 파싱을 위한 장치 및 방법(A METHOD AND APPARATUS FOR PARSING A NETWORK ABSTRACTION-LAYER FOR RELIABLE DATA COMMUNICATION), XXX 출원된 국제특허출원(출원번호 No. XXX, 톰슨 문서 번호 PU090157)에 관련된 것이다.
본 출원은 일반적으로는 디지털 데이터 네트워크에 관련된 것이고, 특히, 신뢰성 있는 디지털 데이터 전송을 위한 네트워크 모니터 및 데이터 재전송 결정기(retransmission decision maker)에 관한 것이다.
다중캐스트 또는 방송 응용에서는, 데이터는 전형적으로 서버로부터 복수의 수신기로 유선 및/또는 무선 네트워크를 통해 전송된다. 여기서 사용되는 다중캐스트 시스템은 서버가 같은 데이터를 복수의 수신기들로 동시에 전송하는 시스템으로, 여기서 수신기들은 수신기 전체집합 이하의 모든 수신기들의 부분집합을 형성한다. 방송 시스템은 서버가 같은 데이터를 모든 수신기로 동시에 전송하는 시스템이다. 즉, 다중캐스트 시스템은 정의에 의하여 방송 시스템을 포함할 수 있다.
데이터는 보통 전송을 위해 패킷 및/또는 프레임으로 포맷된다. 즉, 패킷 및/또는 프레임은 데이터 포맷 체계(scheme)이다. 여기서 사용된 대로 데이터는 패킷 및/또는 프레임을 포함하는 임의의 전송에 편리한 포맷으로 포맷될 수 있다. "패킷"은, 따라서, 여기서 당업자에게 알려진 임의의 데이터 포맷 체계를 정의하기 위해 사용된다.
무선 네트워크에서의 비디오 전송 또는 배급은 디지털 데이터 네트워크의 하나의 응용의 예시의 방법으로 여기서 사용되었다. 무선 데이터 네트워크에서 비디오 전송은 정상적으로 간섭(interference), 채널 페이딩, 충돌(collision) 등과 같은 채널 에러 상태에 의해 야기된 패킷 유실을 수반한다. 이러한 채널 에러 상태가 일어날 때, 프로토콜 스택의 무선 링크 계층은 고정된 기간 내에서 패킷을 고정된 회수만큼 재전송하도록 시도할 수 있다. 이러한 재전송이 성공적이지 않다면, 패킷은 무선 링크 계층에 의해 누락된다. 인터넷 프로토콜(Internet Protocol, IP) 네트워크에 기반한 비디오 전송은 전형적으로 비디오 패킷을 신뢰성 있는(reliable) 전송 제어 프로토콜(Transmission Control Protocol, TCP) 트랜스포트 프로토콜 또는 덜 신뢰성 있는 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP) 트랜스포트 프로토콜을 이용하는 실시간 전송 프로토콜(Real-time transport protocol, RTP) 프로토콜을 사용하여 목적지(때로는 여기서 클라이언트로 지칭되는 수신기)로 전달한다. 덜 신뢰성 있는 UDP 프로토콜이 사용될 때, 예컨대, 프로토콜은 순서가 틀린 패킷을 검출하거나 유실된 패킷을 복구하는 수단을 제공하지 않으며 응용 프로그램에 패킷 전달 에러를 복구할 책임을 남긴다. 이에 반하여, TCP 프로토콜이 사용될 때, 단-대-단(end-to-end) 승인이 제공되어 프로토콜은 미디어 (오디오, 비디오, 멀티미디어, ...) 패킷(데이터)을 엄밀하게 애플리케이션에 의해 다루어지는 순서에 맞추어 송출 및/또는 복구한다. 패킷 에러가 감지될 때, TCP는 데이터 플로우 제어를 위해 슬라이딩 창 기제(sliding window mechanism)를 제공하고 패킷 전송율(transmission rate)을 감소시킨다. TCP는 유실된 패킷이 복구될 때까지 재전송하기를 계속한다.
비디오 전송은 실시간에 일어나는 응용의 일례이고 데이터의 수신과 렌더링과 결부된 사용자 시청 경험을 가진다. 패킷이 그 제한 내에 전달 또는 복구되어야 하는 레이턴시 또는 시간적 제약이 최종 사용자의 시청 경험에 영향을 주어서는 안된다. 따라서, 패킷 에러는 제한된 시간 내에 복구되어야 하며, 그렇지 않으면 데이터는 시청 불가능할 수 있다. 현재 TCP는 시간 제약에 기반한 패킷 복구의 제어를 제공하지 않는다. 따라서, TCP를 트랜스포트 프로토콜로 무선 네트워크에 대해 사용하는 것은, 열악한 사용자 시청 환경으로 귀결될 수 있다. 그에 더하여, TCP는 모든 전송된 데이터 패킷에 대한 긍정적 승인을 요구한다. (데이터 수신기로부터 데이터 전송기(송신자)로의) TCP 업링크 승인은 (전송기(송신자)로부터 수신기로의) 다운링크 데이터 트래픽과 무선 대역폭을 놓고 경쟁한다. 만일 다운링크와 업링크 전송 사이에 충돌이 발생하면, 충돌은 더욱 처리량(throughput) 감소를 야기할 수 있다.
2009년 10월 7일 출원된 PCT 출원 US/09/005,499는 유실된 데이터 패킷을 복구하고 예컨대, (비디오와 같은) 실시간 스트리밍 데이터 응용을 돕기 위한 신뢰성 있는 미디어 프로토콜을 구현하기 위한 모듈에서 전송될 데이터가 버퍼링되거나 캐쉬되는 효율적인 응용-계층 자동 반복 요청 재전송 방법을 개시한다. 짧게 (상기 PCT 출원 US/09/005,499의 도 5로부터 유도된) 도 1을 참조하면, 실시간 프로토콜 패킷화(packetization) 모듈(120)은 실시간 서버(100)에서, 예컨대, 비디오 디지털 데이터 입력(105)을 수신하기 위해 제공된다. 스트리밍 응용을 제공하는 실시간 프로토콜(RTP) 패킷화 모듈(120)은 예컨대, 소켓과 유사한 응용 프로그래밍 인터페이스(application programming interface, API) 또는 인터페이스(115)를 통해 신뢰성 있는 미디어 프로토콜 모듈(130)로 연결된다. 신뢰성 있는 미디어 프로토콜 모듈(130)은 캐쉬 또는 버퍼 크기, 패킷 복구를 기다리는 최대 시간 등과 같은 설정(configuration) 데이터 파라미터(125)를 받아들인다. 이러한 파라미터는, 많은 알려진 응용 중 예컨대, 전화, 오디오, 비디오 또는 멀티미디어와 같은 예컨대, 디지털 응용에 의해 결정된다. 국지적(local) 버퍼 또는 캐쉬 메모리(135)는 초기에 전송된 패킷이 재전송될 필요가 있는지 또는 폐기될 것인지 결정될 수 있을 때까지 패킷을 일시적으로 저장한다. 서버(100)는 UDP/IP 전송기(transmitter) 인터페이스(140) 또는 TCP/IP 전송기/수신기(receiver) 인터페이스(145)중 하나 및 예컨대 이더넷/802.11 인터페이스(150)와 같은 디지털 데이터 네트워크 인터페이스에 의해 디지털 데이터를 전송한다. 초기 실시간 전송은 예컨대, 재전송 ACK/NACK 제어(155) 또는 미리 결정된 시간초과(time out)의 수신을 기다리는 캐쉬/버퍼(135)에 일시적으로 저장된 실시간 패킷을 사용하여 네트워크(110)로의 초기 전송(160)을 통해 일어날 수 있다.
이전의 PCT 출원 US/09/005,449에 개시된 것과 같은 실시간 데이터 전송 시스템에 기반한 이러한 신뢰성 있는 미디어 프로토콜에 더 신뢰성을 더하는 효율적인 장치와 방법을 가지는 것은 유익할 것이다. 본 발명은 이러한 및/또는 다른 쟁점들을 다룬다.
본 발명의 일 측면에 부합하여, 방법이 개시된다. 일 실시예에 따라, 방법은 네트워크 트랜스포트 통계를 수집하기 위해 디지털 데이터 네트워크를 모니터링하는 단계와, 수집된 네트워크 트랜스포트 통계에 기반하여 디지털 데이터 패킷을 수신기로 재전송할 것인가의 여부를 결정하는 단계를 포함한다.
본 발명의 다른 일 측면과 부합하여, 장치가 개시된다. 일 실시예에 따라, 디지털 데이터 전송기와 같은, 장치는, 네트워크 트랜스포트 통계를 수집하는 디지털 데이터 네트워크 모니터와, 수집된 네트워크 트랜스포트 통계와 할당된 디지털 데이터 패킷 우선 순위에 기반하여 디지털 데이터 패킷을 수신기로 재전송할 것인가의 여부를 결정하는 재전송 결정기를 포함한다.
본 발명의 또 다른 일 측면과 부합하여, 장치가 개시된다. 일 실시예에 따라, 디지털 데이터 전송기와 같은, 장치는, 네트워크 모니터와 같은, 네트워크 트랜스포트 통계를 수집하기 위한 수단과, 재전송 결정기와 같은, 수집된 네트워크 트랜스포트 통계와 할당된 디지털 데이터 패킷 우선 순위에 기반하여 디지털 데이터 패킷을 수신기로 재전송할 것인가의 여부를 결정하는 수단을 포함한다.
본 발명의 다른 일 측면과 부합하여, 장치가 개시된다. 일 실시예에 따라, 디지털 데이터 수신기와 같은, 장치는, 수신기 장치의 관점으로부터 네트워크 전송 통계를 수집하는 네트워크 모니터와, 상기 수집된 네트워크 통계를 포함하는 제어 채널 메시지를 출력하는 네트워크 인터페이스를 포함한다.
본 발명의 또 다른 일 측면과 부합하여, 장치가 개시된다. 일 실시예에 따라, 디지털 데이터 수신기와 같은, 장치는, 네트워크 모니터와 같은, 수신기 장치의 관점으로부터 네트워크 통계를 수집하기 위한 수단과, 네트워크 인터페이스와 같은, 상기 수집된 네트워크 통계를 포함하는 제어 채널 메시지를 출력하는 수단을 포함한다.
본 발명의 전술한 그리고 다른 특징과 이점은, 그리고 그들을 얻는 방법은, 첨부된 도면과 연관하여 취해진 본 발명의 실시예의 이하 기술을 참조하여 더 명확해지고 발명은 더 잘 이해될 것이다.
도 1은 신뢰성 있는 미디어 프로토콜 모듈과 전술한 관련된 PCT 출원 US/09/005,499의 도 5로부터 유도된 재전송 결정을 기다리는 예컨대 실시간 패킷을 저장하기 위한 국지적 캐쉬 또는 버퍼를 구비한 서버의 개략적 블록도;
도 2a는 현재의 네트워크 통계 데이터를 위해 네트워크 인터페이스를 모니터링하고 신뢰성 있는 미디어 프로토콜(RMP) 모듈에 입력을 제공하기 위한 본 발명에 따라 네트워크 추상화-계층(Network abstraction-layer, NAL) 헤더 파서(header parser), 네트워크 모니터 및 재전송 결정기를 도시하는 본 발명의 원리에 부합하는 서버의 개략적 블록도;
도 2b는 본 발명의 원리와 부합하여 도 2a의 서버에 전송할 수신기 네트워크에 특정한 통계 데이터를 수집하기 위한 네트워크 모니터를 가지는 결부된 클라이언트의 개략적 블록도;
도 3a는 본 발명의 원리와 부합하여 확장가능한 비디오 코딩(scalable video coding, SVC) 인코더, 네트워크 모니터 및 재전송 결정기로부터 입력을 수신하기 위한 NAL 헤더 파서를 가지는 스트리밍 서버의 단순화된 블록 개략도로서, 도 3a는 스트리밍 서버로부터 디지털 데이터를 수신하기 위한 스트리밍 수신기를 더 도시한 도면;
도 3b는 국지적 MP4 파일 리더(file reader)로부터 입력을 수신하는 NAL 헤더 파서를 도시하는 도3a의 스트리밍 서버의 블록 개략도;
도 3c는 네트워크로부터 패킷해제기(de-packetizer)를 통해 입력을 수신하는 도 3a의 NAL 헤더 파서를 도시한 도면;
도 4는 송신기가 도 2a 또는 도 3의 전송기, 서버 또는 스트리밍 서버일 수 있는 본 발명의 원리와 부합하는 추상화-계층 헤더 파싱과 네트워크 모니터링을 위한 송신기 측에서의 작동을 도시하는 흐름도로서, 해당 도 4는 수신기가 도 2b의 클라이언트 또는 도 3의 스트리밍 수신기일 수 있는 데이터 수신기 및 결부된 네트워크 모니터링 작동을 더 도시한 도면;
도 5는 본 발명의 원리와 부합하는 파싱을 위한 확장가능한 비디오 코더(SVC) 네트워크 추상화-계층(NAL) 확장 헤더의 예시적인 데이터 컨텐츠 표현 포맷을 도시한 도면;
도 6은 본 발명의 측면과 부합하여 이를 통해 우선 순위 데이터가 전송될 수 있고 그로부터 네트워크 통계가 계산될 수 있는 실시간 프로토콜(RTP) 헤더의 예시적인 포맷을 도시한 도면;
도 7은 본 발명의 측면과 부합하여 그로부터 네트워크 모니터링 통계가 유도될 수 있는 연속성 카운터(continuity counter, CC) 필드를 포함하는 예컨대 MPEG-2와 같은 MPEG 트랜스포트 스트림(transport stream, TS) 헤더의 예시적인 포맷을 도시한 도면;
도 8은 본 발명의 측면과 부합하여 그로부터 네트워크 모니터링 통계가 유도될 수 있는 전송 요청과 단-대-단 패킷 유실률을 포함하는 메시지의 예시적인 포맷을 도시한 도면;
도 9는 본 발명의 측면과 부합하여 그로부터 네트워크 모니터링 통계가 유도될 수 있는 ARQ 요청(NACK) 패킷의 첫 번째 예시적인 포맷을 도시한 도면;
도 10은 본 발명의 측면과 부합하여 그에 의하여 네트워크 모니터링 통계가 전송되고 유도될 수 있는 RMP ARQ 요청(NACK) 패킷의 두 번째 예시적인 포맷을 도시한 도면.
본 발명은 도 2a 및 도 2b에 따른 향상된 신뢰성 있는 미디어 프로토콜 모듈을 위한 모듈을 위한 실시간 (예컨대, 실시간 프로토콜 또는 RTP) 패킷화에 대한 입력으로서 그리고 모니터되는 네트워크 상태, 예컨대, 패킷 유실률에 기반하여 선택적으로 데이터를 재전송하는 데에 파서 우선 순위 출력을 이용할 수 있는 전송기/수신기(200)(도 2a)의 네트워크 모니터와 재전송 결정기에 대한 입력으로서 추상화-계층 헤더를 파싱하기 위한 방법과 장치를 전송기 또는 송신기에서 지향한다. 일 실시예에 따라, 네트워크 추상화-계층, 예컨대, MPEG-4 확장가능한 비디오 인코더(scalable video encoder, SVC)와 같은 실시간 비디오 인코더의 H.264/AVC 네트워크 추상화-계층(NAL)은 디지털 데이터 우선 순위를 결정하기 위해 파싱될 수 있는 필드를 제공하는 헤더를 포함한다. 예컨대, NAL은 네트워크 친화적이며 예컨대 비디오 전화, 비디오 대화 응용 및 메모리 내의 다운로드된 무비의 저장, 방송 또는 다중캐스트 응용 또는 스트리밍 응용 또는 다른 비대화(non-conversational) 응용과 같은 비대화 응용을 표현할 수 있다. NAL은, 예컨대, 하나 또는 그 이상의 바이트를 가지는 패킷의 형식으로 복수의 추상화-계층 유닛을 표현하도록 정의될 수 있다. 각 NAL 유닛의 최초의 바이트는 유닛의 데이터의 타입을 식별하는 헤더 바이트일 수 있는 반면 남은 바이트들은 NAL 헤더에 의해 식별된 타입의 페이로드(payload) 데이터를 포함한다.
일 실시예에 따르면, 추상화-계층 헤더 파서는 복수의 필드 중 하나로부터 데이터를 획득하기 위해 확장가능한 비디오 인코더 추상화-계층 헤더를 파싱하는 것을 포함한다. 본 실시의 측면에 따르면, 추상화-계층 헤더 파서는 예컨대, MPEG-4 파일 리더의 출력 디지털 비디오 데이터에 대해 작동하거나 패킷해제기에서 수신한 대로 네트워크로부터 디지털 데이터를 수용할 수 있다. 예컨대, 추상화-계층 헤더 파서는 계층 표현(layer representation)의 계층간 코딩 의존성 수준을 표현하는 DID 필드를 파싱할 수 있다. QID 필드는 중간 그레인 확장성(medium grain scalability, MGS) 계층 표현의 품질 수준을 표현한다. TID 필드는 계층 표현의 시간적 수준을 표현한다. 추상화-계층 헤더의 파싱의 일 결과는, 이러한 필드를 포함하며, 이하 페이로드 데이터가 결부된 계층을 식별하는 것이다. 추상화-계층 헤더의 파싱의 일 결과는, 이러한 필드를 포함하며, 이하 페이로드 데이터가 결부된 계층을 식별하는 것이다. 페이로드 데이터 타입의 식별에 대응하여, 각 식별된 계층에 대해 서로 다른 우선 순위를 할당할 수 있다. 예컨대, 기반 계층(base layer)은 수신기에서의 완전한 디코딩에 절대적으로 필수적이기 때문에 기반 계층은 버퍼 또는 캐쉬 메모리로부터의 재전송에 대해 높은 우선 순위를 받을 수 있다. 페이로드 데이터 타입의 식별에 대응하여, 파서는 이하 데이터에 대한 각 식별된 계층에 대해 서로 다른 우선 순위를 할당할 수 있다. 예컨대, 기반 계층 데이터는 수신기에서의 완전한 디코딩에 절대적으로 필수적이기 때문에 기반 계층은 버퍼 또는 캐쉬 메모리로부터의 재전송에 대해 높은 우선 순위를 받을 수 있다. 향상 계층(enhancement layer) 데이터는 상위 계층의 디코딩에 필수적이기 때문에 향상 계층은 중간 우선 순위를 할당받을 수 있다. 반면, 페이로드 데이터의 상위 향상 계층은 낮은 우선 순위를 할당받을 수 있다. 예컨대, 높은, 중간, 낮은과 같은 우선 순위를 일단 할당받으면, 우선 순위 정보는, 재전송이 트랜스포트 계층에서 요청되었다면, "페이로드 타입"(payload type, PT) 또는 실시간 프로토콜(RTP) 헤더의 유사한 필드에서, 또는 IP 헤더의 서비스 타입(type of service, TOS) 필드에서 표현될 수 있다. 서비스 타입 필드는 예컨대, 디퍼런셜 서비스(differential service, DS) 필드로 당업자에게 알려질 수 있다. 최초의 두 비트는 명시적 혼잡 표시(explicit congestion bit, ECN) 비트로 알려져 있으며, DS 필드 바이트의 다음 여섯 비트는 디퍼런셜 서비스 코드 포인트(differential service code point, DSCP) 비트로 알려져 있다. 서비스의 타입이 여기서 서비스 데이터의 타입을 제공하기 위한 이러한 그리고 다른 포맷을 참조하기 위해 일반적으로 사용된다. 신뢰성 있는 미디어 프로토콜 모듈에 의해 행해진 실시간 패킷 재전송 결정은 따라서 일 실시예에 따른 추상화-계층 헤더 파서와 방법을 채용하도록 수정될 때 계층을 인식하게 될 수 있다.
또 다른 실시예에서, 데이터 네트워크 인터페이스를 통해서 데이터 네트워크 품질을 모니터링하고, 재전송 결정기에 대한 입력을 위해 예컨대, 패킷 유실률, 이용 가능한 대역폭, 라운드-트립 지연과 같은 현재 네트워크 데이터 통계를 수집하기 위해 네트워크 모니터가 제공될 수 있다. 재전송 결정기는, 차례로, 재전송 결정이 네트워크 모니터에서 수집된 데이터 네트워크 통계 데이터에 따라 현재 네트워크 상태에 기반하고 모니터링된 네트워크 상태와 패킷의 우선 순위에 기반하여 선택적으로 패킷을 재전송할 것을 결정할 수 있도록 신뢰성 있는 미디어 프로토콜(RMP) 모듈에 입력을 제공할 수 있다.
이에 따라, 디지털 전송 방법은 계층 표현 데이터를 획득하기 위해 디지털 데이터 패킷의 추상화-계층 헤더를 파싱하는 단계와, 파싱에 대응하는 표현 계층을 위한 디지털 데이터 패킷에 우선 순위를 할당하는 단계를 포함한다. 계층 표현 데이터 획득 단계는 계층간 코딩 의존성 수준의 결정 단계, 그레인 확장성의 품질 수준의 결정 단계와, 계층 표현의 시간적 수준의 결정 단계 중 하나 또는 전부를 포함한다. 이에 더해, 방법은 실시간 트랜스포트 패킷 헤더의 페이로드 타입 필드로 또는 인터넷 프로토콜 패킷 헤더의 서비스 타입 필드로 우선 순위 수준을 표현하는 것 중 하나의 단계를 더 포함할 수 있다. 위에서 기술된 바와 같이, 추상화-계층 헤더 파서에 대한 입력은 패킷해제기로부터 네트워크 데이터를 수신하기 위해 수신되거나 MPEG 파일 리더와 결부된 것과 같은 국지적 서버 메모리로부터 수신될 수 있다.
이에 더하여, 또 다른 실시에서, 디지털 데이터 전송기는 디지털 데이터 패킷으로부터 계층 표현 데이터를 획득하고 이 계층 표현 데이터에 우선 순위를 할당하기 위해 추상화-계층 헤더 파서와, 네트워크 트랜스포트 통계를 수집하기 위해 디지털 데이터 모니터, 및 할당된 디지털 데이터 패킷 우선 순위와 수집된 네트워크 트랜스포트 통계에 기반하여 디지털 데이터 패킷을 재전송할 것인지 결정하기 위해 재전송 결정기를 포함할 수 있다. 위에서 설명된 바와 같이, 이러한 더 나아간 실시에서 추상화-계층 헤더 파서는 디지털 비디오 데이터 패킷 응용을 위한 네트워크 추상화-계층 헤더 파서일 수 있다.
보다 구체적으로, 도 2 내지 도 10을 참조하여, 서버의 추상화-계층 헤더 파서, 데이터 모니터와 서버의 재전송 결정기 및 수신기의 네트워크 모니터가 여기서 더 기술되는 대로 전송 제어 채널(255)을 통해 유실되었다고 보고된 패킷을 재전송할 것인가의 여부를 결정하는데에 있어서 RMP 모듈(235)의 고신뢰성 동작을 제공한다. 무선 네트워크에서의 비디오 전송 또는 배급은 전형적으로 실시간 트랜스포트 프로토콜 (RTP), UDP 상의 동영상 전문가 그룹 2 트랜스포트 스트림(MEPG2TS)을 사용한다. 실시간 비디오는 하나의 소스로부터 하나의 목적지(단일캐스트 모드)로 배급되거나 하나의 소스로부터 복수의 목적지(다중캐스트 모드)로 배급될 수 있다. 무선 네트워크에서 채널 상태가 변화하기 때문에, 패킷 전송은, 채널 상태가 양호하지 않을 때, 링크 계층 에러 복구가 성공적이지 않다면 패킷 누락이 결과적으로 일어난다. 이러한 상황에서, 최종 사용자에게 불량한 시청 품질을 결과적으로 일어나게 하는 패킷 시퀀스의 갭(gap)이 있다. 본 발명은 신뢰성 있는 실시간 스트리밍 응용을 돕기 위한 패킷 유실의 복구를 위해, 추상화-계층 헤더 파싱 기능을 여기서 신뢰성 있는 미디어 프로토콜(RMP) 이라고 불리는, 효율적인 응용 계층 기반 재전송 체계에 대해 제공한다. 본 발명은 또한 도 2a의 서버/전송기(200)에서 패킷 재전송 결정을 향상시키기 위해 전송기에서 그리고 수신기 측에서 네트워크 모니터링 능력을 제공한다. 따라서, 네트워크 모니터(271)가 도 2b의 수신기/클라이언트(201)에서 제공된다.
도 2a와 도 2b를 참조하여, 본 발명의 신뢰성 있는 미디어 프로토콜(RMP) 방법에서, RTP 패킷화(220)와 신뢰성 있는 미디어 프로토콜(RMP) 모듈(230)이 본 발명의 원리에 따라 NAL 헤더 파서(210)의 삽입에 의해 보조된다. 이에 더하여, 네트워크 인터페이스(250)로 인터페이스하는 네트워크 모니터(270)가 현재 네트워크 통계를 수집하고, 재전송 결정기(275)를 통해, RMP 모듈(230)의 신뢰성을 향상시킨다. NAL 헤더 파서(210), 네트워크 모니터(270)와 재전송 결정기(275)는 이하 더 설명되는 바와 같이 도 2a가 도 1과는 다르다는 점을 도시하기 위해 도 2a에서 강조되었다.
초기에, RMP 모듈(230)은 초기 전송 채널(260)을 사용하여 네트워크(110)로 패킷을 전송하기 위해 UDP(240)을 사용하여 네트워크 인터페이스(250)를 통해 정규(regular) 단일캐스트와 다중캐스트 데이터 또는 패킷을 전송한다. 데이터는 RTP 패킷화(220)를 통해 NAL 헤더 파서(210)에 의해 할당된 우선 순위를 갖추고 초기에 국지적 캐쉬(235)에 저장된다. 이와 별도로, 추가적인 신뢰성 있는 TCP 기반 제어 채널(245)이 도 2a의 소스(전송기, 송신기)(200)와 도 2b의 목적지(수신기, 싱크, 클라이언트)(201) 사이에 수립된다. TCP/IP(245)는 네트워크(110)로 재전송 ACK/NACK 제어 채널(255)을 거쳐 유실된 패킷의 네트워크 인터페이스(250)를 통한 재전송을 요청하고 유실된 패킷을 수신한다. 이 기제가 적절히 작동하기 위해서, 전송기(송신기, 서버)(200)는 그것의 수신기/클라이언트로 송출된 가장 최근 패킷의 캐쉬(235)를 관리한다. 하나 또는 그 이상의 수신기/클라이언트(201)는 전송기/서버(200)로부터 데이터 패킷을 수신하고 RTP(도 6) 또는 MPEG 트랜스포트 스트림(TS) 헤더(도 7) 내에 나타난 시퀀스 번호 필드를 사용하여 수신된 데이터 패킷 내의 시퀀스 갭을 감지할 수 있다. 만일 수신기(210)가 시퀀스 갭을 감지하면, 수신기(201)는 누락된 데이터 패킷의 선택적 재전송에 대한 요청을 TCP 기반 제어 채널(255)에 송출한다. 전송기/서버(200)가 하나 또는 그 이상의 자신의 수신기/클라이언트(201)로부터 재전송 요청을 수신할 때, 전송기/서버는 자신의 국지적 캐쉬(235)에서 가장 최근의 패킷을 찾는다. 만일 요청된 패킷들이 국지적 캐쉬(235) 내에서 발견되면, 송신기/서버(200)는 단일캐스트로 그 패킷의 사본을 수신기(201)를 향해 TCP 기반 제어 채널(255) 상에서 네트워크(110)를 통해 재전송한다. 만일 요청된 패킷이 국지적 캐쉬/버퍼(235)에서 발견되지 않았다면, 송신기(200)는 나머지 재전송 요청에의 대응을 계속한다. 수신기/클라이언트(201)는 데이터와 제어 채널 양방으로부터 수신된 데이터 패킷 모두를 유지하는 전달 큐(버퍼/캐쉬)(236)를 관리한다. 수신기/클라이언트(201)는 또한 이 큐 안에서 재전송된 패킷을 정확한 시퀀스(위치)로 재배열하고 정확한 시간에 적절한 순서로 응용, 예컨대, 디스클레이(206)를 위한 비디오 플레이어 애플리케이션(221)을 향해 패킷을 전달한다.
수신기/클라이언트(201)(도 2b)는 영원히 기다리기보다는 패킷 지연과 지연 지터가 애플리케이션의 한도 내에서 유지될 수 있도록 임의의 재전송을 기다리는 설정 가능한 시간 창을 관리한다. 이에 더하여, 수신기/클라이언트(201)는 제어 채널(255)을 통한 전송기/서버(200)로의 전송에 대해 수신기/클라이언트(201)의 관점으로부터 네트워크 통계를 수집하기 위한 네트워크 모니터(271)를 일 실시예에 따라 제공받는다. 네트워크 모니터(271)는 여기서 더 기술되는 바와 같이 향상된 재전송 결정을 위해 본 발명의 원리에 따라 전송기/서버(200)로 네트워크 통계를 수집하고 제공하기 위한 네트워크 모니터(271)와 네트워크 인터페이스(251) 사이의 협력을 도시하기 위해 도 2b에 강조되어 도시된다.
도 2b의 수신기/클라이언트(201)는 유실된 패킷에 대한 재전송 응답의 일부가 시간에 맞추어 수신되지 않았다면, 예컨대, 비디오 플레이어(221)나 디스플레이(206) 같은 애플리케이션으로 전달 큐로부터 수신한 패킷의 나머지를 넘겨준다. 만일 재전송된 패킷의 일부가 용인가능한 복구 시간 창을 넘겨 수신되었다면 이는 수신기에 의하여 폐기된다. 비디오 응용은 일부 데이터 패킷 유실을 비디오 디코딩에서의 에러 은닉 기술을 사용하여 견딜 수 있음에 주의하라.
다시 도 2a를 참조하여, 본 발명의 신뢰성 있는 미디어 프로토콜(RMP) 체계는 네트워크 모니터(270, 271)의 도움을 받은 우선 순위화와 향상된 재전송 결정을 위한 파서(210)의 도움을 통해 실시간 응용/RTP/MPEG TS와 UDP/TCP/IP 사이에서 RMP 모듈(230, 231)을 통해 작동한다. 서버/전송기(200)에서, 추상화-계층 헤더 파서, 예컨대, 네트워크 추상화-계층(NAL) 헤더 파서는 국지적으로 제공된 또는 네트워크로 제공된 디지털 비디오 데이터(205) 상에서 작동한다. NAL 헤더 파서(210)는 우선 순위와 실시간 프로토콜(RTP) 패킷화(220)를 위한 데이터를 출력한다. 이에 더하여, 네트워크 모니터(270)는 현 네트워크(110) 통계를 복구하고 RMP 모듈(230)을 돕기 위해 재전송 결정기(275)로 제어 데이터를 출력한다. 예컨대, 중간 우선 순위를 할당받은 향상 계층 대 높은 우선 순위를 할당받은 기반 계층의 예에 더하여, 주어진 임계치 아래의 네트워크 모니터(270)에 의해 감지된 이용가능한 대역폭에 직면하여 RMP 모듈(230)은 높은 우선 순위 기반 계층 데이터를 재전송하고 중간 우선 순위 향상 계층 데이터를 전송하기 않을 것이다. 예컨대, 재전송 결정기(275)는, 캐쉬/버퍼 메모리(235)에 유지된 모든 패킷을 전송하기보다는, 패킷 유실률 또는 다른 네트워크 상태와 같은 네트워크 모니터가 수집한 통계와 NAL 헤더 파서(210)에 의해 할당된 우선 순위에 기반하여, 메모리(235)에 유지된 패킷의 일정 부분을 재전송을 위하여 선택할 수 있다. 따라서 파서(210)에서 데이터에 우선 순위를 할당하는 것과 재전송 결정기(275)에 따라 재전송을 결정하는 것의 조합은 이하에서 도 4에 관한 논의와 연관되어 더 기술되는 것처럼 고도로 신뢰성 있는 미디어 프로토콜(RMP) 모듈(230)을 제공한다.
다시 도 2a를 참조하여, 전형적인 네트워크 인터페이스(250)가 네트워크(110) 및 서버/전송기(200)에서의 RMP 모듈(230) 사이에서 도시된다. 네트워크 인터페이스 모듈의 예는 컴퓨터 네트워크(110)에 연결하는 이더넷 카드, IEEE 802.11/WiFi 카드가 있다.
도 2b는 클라이언트 장비(201)의 예시적인 구현의 개략도이다. 클라이언트는 비디오 플레이어/스트리밍 응용 모듈(221), 디스플레이(206), 버퍼(캐쉬 메모리)(236), 신뢰성 있는 미디어 프로토콜(RMP) 모듈(231), UDP/IP 모듈(241), TCP/IP 모듈(246)과 네트워크 인터페이스(251)를 포함할 수 있다. 네트워크 인터페이스(251)는, 예컨대, 이더넷 인터페이스 또는 IEEE 802.11 인터페이스 또는 다른 알려진 네트워크 인터페이스일 수 있다. 네트워크 인터페이스는 모든 진입하는 메시지를 수신한다. 메시지는 서로 다른 소켓/주소에 도착한다. 네트워크 모니터(271)는 현 네트워크 통계를 수신기/클라이언트(201) 관점에서 네트워크 인터페이스(251)로부터 수집하고 적절한 제어 메시지를 수집된 통계를 보고하면서 채널(255) 상에서 출력한다. 네트워크 인터페이스(251)는 따라서 네트워크(110)로부터 수신된 메시지를 어디로 포워드할 것인지 결정하고 네트워크 모니터(271)로부터의 통계 데이터와 TCP/IP 모듈(246)로부터의 메시지를 출력할 수 있다. 새로 진입하는 데이터 패킷은 네트워크 인터페이스 모듈(251)에 의해 UDP/IP 인터페이스로 포워드된다. 데이터 패킷의 재전송에 대한 요청과 재전송된 데이터 패킷은 RMP 모듈(231)에 의해 TCP/IP 모듈(246)로 포워드된다. RMP 모듈(231)은 수신된 데이터 패킷 중 손상된 것이 있는지 결정하고 패킷 복구를 조정하기 위해 UDP/IP와 TCP/IP 양 쪽을 이용한다. RMP 모듈(231)은 재전송 요청을 어떤 손상된 데이터 패킷에 대해서도 생성한다. RMP 모듈(231)은 그 후 재전송 요청을 네트워크(110)를 통한 전송을 위해 TCP/IP 모듈(246)로 포워드한다. 네트워크 인터페이스(251)에서, 네트워크 모니터(271)에 의해 수집된 어떤 네트워크 통계 데이터도 네트워크(110)를 통한 전송을 위한 재전송 요청에 포함된다. RMP 모듈(231)은 또한 수신된 패킷을 재정렬을 위해 국지적 버퍼(236)에 저장한다. 일단 재전송된 패킷이 TCP 제어 채널로부터 TCP/IP 모듈(246)을 통해 수신되면, RMP 모듈(231)은 패킷을 정확한 순서로 배열한다. RMP(231)는 시퀀스 번호대로 정렬된 큐를 관리하고 패킷을 이 버퍼 영역/큐로 삽입하고 이를 재배열한다. 복구 창이 마감될 때, RMP 모듈(231)은 패킷을 예컨대, 플레이어/스트리밍 응용 모듈(221)로 디스플레이(206)를 위해 전달한다. RMP 모듈(231)은 데이터 전달과 응용과의 통합을 위해 소켓-유사 응용 프로토콜 인터페이스(application protocol interface, API)(216)를 제공한다. 어떤 패킷은 복구 창의 시간종료(time out)에 의해 복구되지 않을 수 있음에 유의하라.
복구 창의 마감 후 도달하는 데이터 패킷은 도 4처럼 폐기된다. 응용에 따라서, 예컨대, 비디오에 대해서는, 스트리밍/플레이어 응용 모듈(221)이 데이터를 패킷 해제 및/또는 디코드하고 데이터를 디스플레이/스피커(206)로 넘긴다. 진입하는 패킷은 RMP "버퍼 영역"에 저장되고 응용이 패킷을 요구할 때 언제든지, 예컨대, 렌더링(디스플레이)(206)을 위한 응용으로 넘겨질 것이다. "설정"으로 표시된 상자(226)는 RMP 모듈(231)에 대한 "설정 인터페이스"이다. RMP 모듈은 초기화 시에 캐쉬 크기, 패킷 복구를 기다릴 최대 시간 등의 파라미터를 정하기 위해 설정될 수 있다.
수신기/클라이언트(201)에서 도 2b에 따라, 네트워크 모니터(271)는 인터페이스(251)을 통해 수신기/클라이언트(201) 관점으로부터 네트워크 모니터(271)에서 현재 네트워크 통계를 수집할 수 있고 디지털 데이터 네트워크(110)를 통해 연결된 서버로 제어 채널(255)을 통해 클라이언트/수신기(201)의 네트워크 경험을 출력할 수 있다. 전송기/서버(200)에서 네트워크(110)를 통해 수신하면, 그러한 수집된 네트워크 통계는 위에서 논의한 바와 같이 네트워크(110)의 전송기/서버의 관점으로부터 네트워크 모니터(270)가 수집한 통계를 보완하기 위해 네트워크 모니터(270)로 인터페이스(250)를 통해 출력된다. 디지털 데이터 네트워크(110)는 위성 네트워크, 지상 기반 무선 네트워크, 광섬유 네트워크, 동축 케이블 네트워크, 트위스티드 페어 네트워크, 랜, 광역 네트워크, 그리고 다른 알려진 디지털 데이터 네트워크를 포함하나 그에 한정되지 않은 어떤 디지털 데이터 네트워크일 수 있다. 전형적인 네트워크 인터페이스(251)가 네트워크(110)와 클라이언트/수신기(210)에 있는 RMP 모듈(230) 사이에 도시되었다. 네트워크 인터페이스 모듈의 예는 이더넷 카드, IEEE 820.11/WiFi 카드 및 컴퓨터 네트워크에 접속하는 그와 유사한 것을 포함한다.
도 3을 논의하기 전에, 도면에서 유사한 참조 번호는 유사한 요소를 표시한다는 점에 유의하라. 이에 더하여, 네트워크(110)의 참조 번호(110)의 첫 번째 숫자 1과 같은 참조 번호의 첫 번째 숫자는 요소가 처음 등장하는 도면의 번호를 나타낸다. 따라서, 예컨대, 도 2에 처음 등장하는 RMP 모듈(230)은 도 1의 신뢰성 있는 미디어 프로토콜(RMP) 모듈(130)과 유사하나, 이하 모두 도 1에 등장하지 않는 NAL 헤더 파서(210)와 네트워크 모니터(270) 및 재전송 결정기(275)의 도입 때문에, 도 1의 신뢰성 있는 미디어 프로토콜(RMP) 모듈(130)과 다른 모듈이다. 또한, 도 2b의 클라이언트/수신기(201)의 네트워크 모니터(271)는, 본 발명의 원리에 부합하여, 도 2a의 RMP 모듈(230)과 재전송 결정기(275)의 동작을 향상시킨다. 파서(210), 네트워크 모니터 (270, 271) 및 재전송 결정기(275)의 이점 일부는 위에서 기술되었으나 이하 도 3 및 도 4의 논의와 연관되어 더 기술된다.
도 3은 네트워크(110)를 통해 연결된 하나 또는 그 이상의 스트리밍 수신기로의 전송에 관하여 스트리밍 서버/전송기의 NAL 추상화-계층 헤더 파서(210), 네트워크 모니터(270) 및 재전송 결정기(275)의 직접적인 표현을 제공한다. 도 3a를 참조하면, 스트리밍 서버에 위치하거나 그로부터 원격으로 위치할 수 있는 확장성 있는 비디오 코더(SVC) 인코더(300)가 도시된다. 확장성 있는 비디오 코더(SVC)는 여기서 더 기술되는 대로 시간적 또는 프레임율 확장성, 공간적 또는 화상 크기 확장성 (비디오는, 예컨대, 복수의 해상도와 화면비율로 코드된다) 및 신호대 잡음비(SNR) 또는 품질/충실도 확장성을 제공한다. NAL 헤더 파서 (210)는 도 4와 연결되어 더 기술되는 대로 유사한 기능을 가지는 H.264 준수 AVC 네트워크 추상화-계층(NAL) 헤더 파서일 수 있거나 다른 추상화-계층 헤더 파서일 수 있다. 예컨대, 도 3b를 참조하여, NAL 헤더 파서(210)는 국지적 메모리 저장, 예컨대 MP-4 파일 리더(302)로부터 입력을 수신할 수 있다. 예시적인 스트리밍 서버 실시는 IP 텔레비전 채널 또는 영화 서비스를 제공하기 위한 스트리밍 서버일 수 있다. 대안적인 실시인 도 3c에서, 네트워크(110)로부터 예컨대, 스트리밍 비디오를 수신하고 수신된 패킷을 NAL 헤더 파서(210)로 출력하기 위한 패킷 해제기(304)가 도시된다. 도 3c의 스트리밍 서버의 예시적인 비디오 응용은 도시된 스트리밍 서버가 하나의 비디오 통신 터미널에서 다른 터미널로의 네트워크 경로 내의 한 서버인 비디오 전화일 수 있다.
도 3a, 도 3b, 도 3c 각각에서, NAL 헤더 파서(210)는 패킷화기(310)를 통해 국지적 캐쉬(235)에 패킷/프레임 우선 순위를 제공할 수 있다. 초기 전송에 대해서, 파서(210)는 파서 데이터와 우선 순위를 패킷화기(310)로 출력한다. 경로(312)에 따라, 사본이 국지적 캐쉬(235)에 위치되고 경로(314)에 따라, 패킷화기가 스트리밍 수신기의 패킷해제기(320)로 패킷 데이터를 송출한다. 네트워크 모니터(270)는 패킷해제기(320)로 네트워크(110)를 통해 경로(316)를 따른 재전송을 위하여 국지적 캐쉬(235)에 저장된 패킷/프레임을 재전송할 것인가 여부의 선택적인 결정을 위해 네트워크 트랜스포트 상태 데이터를 재전송 결정기(275)로 제공한다. 경로(316)는 트랜스포트 상태 및 파서가 할당한 우선 순위에 따라서 선택된 패킷을 재전송하는데 사용된다.
이제, 도 4를 참조하여, 송신기 또는 전송기/서버 측 동작과 수신기/클라이언트/터미널 측 동작 양쪽을 도시하는 묘사된 순서도를 참조하여 본 발명에 따른 추상화-계층 헤더 파서, 네트워크 모니터 및 재전송 결정기의 기능적 작동이 더 기술된다. 블록(400)에서, 도 3의 서버/전송기는 데이터, 예컨대, 국지적 파일, 도 3b에 따라, 파일 리더(302)로부터 데이터를 획득하거나 네트워크 인터페이스, 예컨대, 네트워크(110)와 도 3c의 패킷해제기(304) 로부터 데이터를 수신한다. 수신된 데이터는 도 2a와 도 3의 추상화-계층 헤더 파서(210)를 표현하는 블록(410)에 제공된다.
짧게 도 5를 참조하여, 파싱될 필드를 제공하는 전형적인 추상화-계층 헤더, 예컨대, SVC NAL 확장 헤더가 도시된다. 예컨대, 추상화-계층 헤더 파서(410)는 계층 표현의 계층간 코딩 의존도 또는 공간/해상도 확장성의 수준을 표현하는 두번째 바이트 (BYTE 1)의 위치 1-3에 나타나서 도시된 DID 필드를 파싱할 수 있다. 예컨대, 두번째 바이트 (BYTE 1)의 위치 4-7에 있는 QID 필드는 그 뒤에 나타나 중간 그레인 확장성 (MGS) 계층 표현의 품질 수준을 표현할 수 있다. 예컨대, 세 번째 바이트 (BYTE 2)의 위치 0-2에 있는 TID 필드는 계층 표현의 시간적 수준을 표현할 수 있다. 이러한 필드를 포함하는 추상화-계층 헤더의 파싱된 결과는 이하 페이로드 데이터가 결부된 계층을 식별한다. 페이로드 데이터 타입의 식별에 응답하여, 도 4의 파서 블록(410)에 있는 파서는 이하 데이터에 대해 각 식별된 계층에 대해 서로 다른 우선 순위 예컨대, 낮은, 중간, 높은 우선 순위를 할당할 수 있다. 대안적인 실시에서는 세 가지 수준을 초과하는 우선 순위가 채택될 수 있다. 예컨대, 기반 계층은 수신기에서 완전한 디코딩을 위해 절대적으로 필수적이기 때문에 기반 계층은 버퍼 또는 캐쉬 메모리로부터의 재전송에 대해 높은 우선 순위를 받을 수 있다. 향상 계층 데이터는 더 상위 계층의 디코딩에 필수적이기 때문에 향상 계층은 중간 우선 순위를 할당받을 수 있다. 디지털 데이터의 SVC 인코드된 스트림은 기반 계층과 하나의 향상 계층을 포함할 수 있다. 반면, 두 번째 또는 그 이상의 향상 계층이 더 높은 화질 경험을 위하여 제공될 수 있고, 따라서 더 상위 향상 계층이 결부된 페이로드 데이터에 대해 캐쉬(235) 내에서 낮은 우선 순위를 할당받을 수 있다.
간략화된 예를 제공하기 위해, SVC 인코드된 비디오 데이터가 비디오 스트리밍을 위해 416 × 240 해상도와 600kbps의 비트레이트의 기반 계층과 더 높은 832 × 480 해상도와 이에 따른 초당 1.2 메가비트의 비트레이트의 향상 계층 하나를 가진다면, 파서(410)는 기반 계층 NAL 유닛을 그 DID 필드에 기반하여 식별하고 기반 계층에 더 높은 우선 순위를 할당할 수 있다. 반면, 향상 계층은 더 낮은 우선 순위를 (더 높은 해상도를 제공하기 위해) 할당받을 수 있다. 이 예에서 기반 계층은 향상 계층보다 더 높은 우선 순위를 할당받는다. 출력 우선 순위 수준은 도 6에서 9-15 위치에 도시된 RTP 헤더의 페이로드 타입(PT) 필드에서 식별될 수 있다. 일단, 예컨대 낮은, 중간, 높은, 우선 순위가 할당되면, 우선 순위 정보는, 만일 재전송이 트랜스포트 계층에서 요구되었다면 실시간 프로토콜(RTP) 헤더의 유사한 필드에서, 또는 IP 헤더의 서비스 타입(TOS) 필드에서 또한 표현될 수 있다. 초기에, 패킷이 "패킷을 송출"(450)을 통해 네트워크(110)를 통해 수신기를 향해 전송되면서 사본이 블록(420)에서 국지적 캐쉬/버퍼 메모리(430)에 버퍼링된다. 패킷은 네트워크에서 유실되거나 수신될 수 있다. 국지적 캐쉬(430) 내의 패킷은 네트워크 상태와 패킷이 수신되었는가 여부에 관해 결정을 기다린다.
만일 패킷이 수신되고 네트워크 상태가 양호한 것으로 나타나면, 패킷은 수신되고(460) 수신기는 (465)에서 기대한 패킷이 유실되었는지(예) 또는 유실되지 않았는지(아니오) 결정한다. 만일 유실되었으면(예), (485)에서 재전송 요청이 송출되고, 수신기의 복구 타이머가 도 2b의 제어 채널(255)을 통해 송신기/전송기/서버(200)로 되돌려 설정된다. 만일 유실되지 않았다면, (490)에서, 수신된 패킷이 적절한 순서로 수신 버퍼에, 예컨대, 수신기/클라이언트(201)에 있는 디스플레이 기능(206)을 위해 위치된다.
만일 재전송 요청이 (485)를 통해 송출되면, 네트워크 모니터 기능(405)이 활성화되고 수신된 재전송 요청이 이어서 처리된다. 여기에서 더 기술되는 바와 같이, 주어진 시간에서 단-대-단 패킷 유실률은 네트워크 모니터(271)에서 수신기 측으로부터의 현재 네트워크(110) 상태로서 결정될 수 있다. 현재 네트워크 상태, 예컨대, 단-대-단 패킷 유실률은 재전송 요청과 함께 (405)의 출력으로 재전송 결정기(415)로 제공된다.
네트워크 모니터(405)의 예시적 응용은 송신기/서버가 유선 네트워크(110), 예컨대, 셋톱박스(케이블 또는 위성) 또는 홈 게이트웨이 상에 있으며 수신기가 무선 억세스 포인트 AP와 결부된 모바일 장비나 개인용 컴퓨터인 상황일 수 있다. 중간 노드/무선 억세스 포인트(AP/라우터)는 네트워크와 무선 채널 상태를 송신기에 보고할 수 있다. 신뢰성 있는 미디어 프로토콜(RMP) 모듈(230)에 의해 본 발명의 원리에 부합하여 이루어진 실시간 패킷 재전송 결정은 따라서 일 실시에 따른 추상화-계층 헤더 파서와 방법을 포함하도록 수정될 때 계층을 인식할 수 있다.
재전송 결정기(415)는 예컨대, 현재 단-대-단 전송 유실률이 높은지, 즉 RMP 모듈(230)의 메모리 내에 설정된 임계치 수준을 초과하는지를 질의한다. 만일 답이 예라면, (445)에서 더 낮은 우선 순위 패킷이 누락되고, 더 높은 우선 순위 패킷 만이 캐쉬/버퍼(430)으로부터 복구되어 재전송된다. 패킷 유실률 외의 다른 트랜스포트 상태의 척도는 이용 가능한 대역폭 (예컨대, 단-대-단 경로에서 가장 낮은 이용 가능한 대역폭)과 라운드-트립 지연(더 긴 라운드-트립 지연은 재전송을 위해 캐쉬/버퍼(235)에 유지된 패킷의 시간초과를 요구할 수 있다)일 수 있다. 이들 각각은, 이용 가능한 대역폭을 포함하여, 패킷 재전송 결정을 위해 메모리에 설정된 결부된 임계치 수준과 비교될 수 있다. 파싱(410)에 의해 설정된 패킷 우선 순위와 마찬가지로 하나 또는 그 이상이 재전송 결정을 내리는 데 채용될 수 있다. 만일 답이 아니오라면, (435)에서, 모든 요청된 패킷이 캐쉬/버퍼(430)으로부터 "패킷을 송출"(450)과 네트워크(110)를 통해 재전송된다.
수신되면, 재전송된 패킷은 (460)에서 수신되어 재전송된 패킷으로 (470)에서 인식된다. 실시간 시청 경험을 가정할 때, 수신 시간이 (475)에서 검사된다. 재전송이 늦었는가? 라는 질문이 질의된다. 만일 재전송된 패킷이 너무 늦게 수신되면, 즉, 프로그램 시청 경험이 이미 다음 프레임으로 넘어갔다면, 재전송 패킷은 (480)에서 누락된다. 반면, 만일 재전송 패킷이 늦지 않았다면, (즉, 답이 아니오라면) 재전송 패킷은 (490)에서 수신 버퍼에 디스플레이를 위해 순서대로 위치된다.
본 발명의 RMP 방법은 유연한 소프트웨어 라이브러리, 하드웨어, 펌웨어, 임의의 컴퓨터 또는 프로세서, 응용 특정 집적 회로(application specific integrated circuit, ASIC), 축소 인스트럭션 셋 컴퓨터(reduced instruction set computer, RISC), 현장 프로그램 가능 게이트 어레이(field programmable gate array, FPGA) 또는 이들의 조합으로 구현될 수 있다. 본 발명의 RMP 방법은 스트리밍 서버와 플레이어 응용과의 쉬운 통합을 위해 소켓-유사 사용자-공간 API와 내재한 트랜스포트 수단을 사용한다. 본 발명의 RMP 방법은 그가 지원하는 스트리밍 응용에 대해 투명하다. UDP 데이터 채널과 TCP 제어 채널은 내부적으로 관리된다. 본 발명의 RMP 방법은 FEC와 하이브리드 ARQ 같은 다른 에러 복구 체계를 지원하도록 확장가능하다.
본 발명의 네트워크 모니터 기능(405)이 이제 도 6, 도 7 및 도 8을 더 참조하여 기술된다. 네트워크 모니터(271)가 예컨대, 시퀀스 갭을 제 1행의 위치 6-1의 시퀀스 번호로부터 감지할 수 있는 가능한 하나의 접근방법이 도 6에 도시되었다. 다른 접근방법은 도 7에 도시된 대로 하나의 바이트의 MPEG-2 트랜스포트 스트림 헤더의 연속성 카운터(CC) 필드를 이용하는 것이다.
도 2b의 수신기/클라이언트(210)의 네트워크 모니터(271)에 의해 수집된 통계를 도 2a의 서버/전송기(200)로 송출하기 위한 메시지의 예시적인 포맷이 도 8에 도시된다. 메시지 포맷은 RTP 제어 프로토콜(RTCP) 수신기 보고(RR) 메시지와 유사할 수 있다. 특히, "유실된 부분" 필드를, 예컨대, 제 4행의 위치 0-7에서 제공할 수 있다. 같은 채널에서 수신된 유실된 패킷의 이전에 수신된 누적 수와 비교될 수 있는 유실된 패킷의 누적 수와 같은 다른 관련된 데이터가 제공될 수 있다. 그 차이는 성공적인 메시지의 성공적인 수신 사이의 시간에 의해 정의되는 간격 내의 유실된 패킷 수를 제공한다.
도 9는 수신기/클라이언트(210)로부터 수신한 재전송 요청을 통한 네트워크 패킷 유실을 획득하는 송신기/서버/전송기를 위한 포맷을 제공한다. 도 4의 네트워크 모니터 기능(405)은 필드 "시작 패킷의 기반 시퀀스 #" 와 "종료 패킷에 대한 오프셋" 필드로부터 유실된 패킷의 수를 계산한다. 유사하게, 도 10의 RMP ARQ 요청 (NACK) 패킷은, 저장되고 순차적으로 수신되는 기반 시퀀스 번호와 비교될 수 있는 기반 시퀀스 번호를 제공한다. 도시된 기반 시퀀스 번호와 비트맵은 수신기가 재전송되도록 요청하는 패킷의 시퀀스를 나태낸다. 네트워크 트랜스포트 상태를 결정하는 또 다른 접근방법은 더 하위 계층, 예컨대, 네트워크/MAC/PHY 수준 전송 통계를 채널 상태와 이용가능한 대역폭을 추산하기 위해 모니터하는 것이다.
위에서 기술된 본 발명의 RMP 체계에서, 데이터 채널(255) 상에서 송출된 패킷에 대해서는 어떤 변경도 가해지지 않는다. 따라서, 역 호환성이 유지된다. 또한 본 발명의 RMP 체계는 오직 유실된 미디어 패킷만이 오버헤드가 낮은 제어 채널에서 요청되고 재전송되므로 대역폭을 효율적으로 사용한다. 유실된 패킷 요청은 NACK(부정적 승인)으로 작용하며 또한 송신기에 피드백을 제공한다. 유실된 패킷이 복구 시간 창 내에서 복수 회 재전송될 수 있으므로 이는 크게 다른 채널 상태 하에서 고 신뢰성을 제공할 수 있다. 또한 본 발명의 RMP 체계는 응용의 레이턴시 제한을 재전송에 대한 최대 대기 시간(즉, 복구 창)을 가짐으로써 강제하고 따라서 주어진 시간 제한 범위 내에서 최선 노력 전달 모델 상에서 동작한다.
위 실시예가 비디오 전송을 사용하여 설명되었음에 주의하라. 본 발명은 또한 오디오, 예컨대 전화와, 다른 실시간 멀티미디어 스트리밍 응용에도 응용될 수 있다.
본 발명의 위 체계가 무선 네트워크에 관하여 기술되었음에도 불구하고, 본 체계는 패킷 유실을 수반하는 어떤 종류의 네트워크에서도 사용될 수 있다.
본 발명이 다양한 형식의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 그들의 조합의 형태로 구현될 수 있음이 이해되어야 한다. 바람직하게는, 본 발명은 하드웨어와 소프트웨어의 조합으로 구현된다. 이에 더하여, 소프트웨어는 바람직하게는 프로그램 저장 장치에 유형적으로 체화된 응용 프로그램으로서 구현된다. 응용 프로그램은 임의의 적합한 아키텍처를 포함하는 기계에 업로드되어 그에 의해 실행될 수 있다. 바람직하게는, 기계는 하나 또는 그 이상의 중앙 처리 장치(CPU), 램(RAM), 입/출력(I/O) 인터페이스와 같은 하드웨어를 가지는 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 또한 운영체제와 마이크로인스트럭션 코드를 포함한다. 여기서 기술된 다양한 절차와 기능은 운영체제를 통해 실행될 수 있는 마이크로인스트럭션 코드의 일부이거나 응용 프로그램의 (또는 그들의 조합의) 일부일 수 있다. 이에 더하여, 추가적인 데이터 저장 장비와 인쇄 장비 같은 다양한 다른 주변 장치가 컴퓨터 플랫폼에 연결될 수 있다.
첨부된 도면에 도시된 구성 시스템 요소와 방법의 단계의 일부가 바람직하게는 소프트웨어로 구현되기 때문에, 시스템 구성요소 (또는 절차의 단계) 사이의 실제 연결이 본 발명이 프로그램되는 방식에 따라 다를 수 있음이 더 이해되어야 한다. 여기 주어진 교시를 받아, 당업자는 본 발명의 이러한 그리고 유사한 구현 또는 설정을 생각할 수 있을 것이다.

Claims (23)

  1. 디지털 비디오 데이터의 소스로부터 인코딩된 비디오 데이터를 수신하는 단계로서, 상기 인코딩된 비디오 데이터는 확장 가능하게 인코딩되고 비디오 컨텐츠를 운반하며, 상기 인코딩된 비디오 데이터는 네트워크 추상화-계층(Network astraction-layer, NAL) 확장 헤더, 상기 비디오 컨텐츠에 대한 제1 계층 및 상기 비디오 컨텐츠에 대한 제2 계층을 포함하고, 상기 제1 계층은 상기 인코딩된 비디오 데이터로부터 상기 비디오 컨텐츠를 기본 품질로 추출하기 위하여 이용되는 제1 비디오 데이터를 포함하고, 상기 제2 계층은 상기 인코딩된 비디오 데이터로부터 상기 비디오 컨텐츠를 향상된 품질로 추출하기 위해 상기 제1 비디오 데이터와 함께 이용되는 제2 비디오 데이터를 포함하는 것인, 단계;
    상기 제1 및 제2 비디오 데이터를 식별하기 위해 상기 NAL 확장 헤더를 파싱(parsing)하는 단계;
    재전송을 위해 상기 제1 비디오 데이터에 상기 제2 비디오 데이터에 비해 더 높은 우선 순위를 할당하는 단계;
    버퍼 메모리에서 상기 제1 및 제2 비디오 데이터를 상기 할당된 우선순위로 캐싱(caching)하는 단계;
    상기 인코딩된 비디오 데이터를 디지털 데이터 네트워크의 제1 데이터 채널을 통해 수신기에 처음 전송하는 단계로서, 상기 디지털 데이터 네트워크는 제2 데이터 채널을 더 포함하고, 상기 제1 데이터 채널은 제1 전송 프로토콜을 이용하고 전송기로부터 상기 수신기로의 단방향 데이터 통신을 제공하며, 상기 제2 데이터 채널은 제2 전송 프로토콜을 이용하고 상기 전송기와 상기 수신기 사이에 양방향 데이터 통신을 제공하고, 상기 제1 프로토콜은 상기 제2 프로토콜보다 덜 신뢰할 수 있는 것인, 단계;
    상기 전송기 관점에서 상기 디지털 데이터 네트워크의 통계상 제1 네트워크 데이터를 수집하기 위하여 상기 디지털 데이터 네트워크를 모니터링하는 단계로서, 상기 제1 네트워크 데이터는 제1 네트워크 전송 조건을 포함하고, 상기 제1 네트워크 전송 조건은 제1 단-대-단(end-to-end) 패킷 유실율, 상기 디지털 데이터 네트워크의 제1 이용 가능 대역폭, 및 제1 라운드-트립 지연(round-trip delay) 중 적어도 하나를 포함하는 것인, 단계;
    상기 수신기로부터 상기 제2 데이터 채널을 통해 전송된 재전송 요청을 수신하는 단계로서, 상기 재전송 요청은 상기 수신기 관점에서 상기 디지털 데이터 네트워크의 통계상 제2 네트워크 데이터를 포함하고, 상기 제2 네트워크 데이터는 상기 수신기에서 결정된 상기 디지털 데이터 네트워크의 제2 네트워크 전송 조건을 가리키고, 상기 제2 네트워크 전송 조건은 제2 단-대-단 패킷 유실율, 상기 디지털 데이터 네트워크의 제2 이용 가능 대역폭, 및 제2 라운드-트립 지연 중 적어도 하나를 포함하는 것인, 단계;
    상기 제1 네트워크 데이터를 상기 제2 네트워크 데이터로 보완하는 단계; 및
    상기 재전송 요청에 대응하여 상기 버퍼 메모리로부터 상기 제1 및 제2 비디오 데이터 중 적어도 하나를 복구할지 여부 및 상기 복구된 비디오 데이터를 상기 보완된 제1 네트워크 데이터를 고려해서 상기 할당된 우선 순위에 따라 상기 제2 데이터 채널을 통해 상기 수신기로 전송할지 여부를 결정하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 디지털 비디오 데이터 소스는 MP4 파일 리더(file reader) 및 패킷해제기(de-packetizer) 중 하나를 포함하는 방법.
  3. 제1항에 있어서,
    상기 제1 전송 프로토콜은 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP)를 포함하고 상기 제2 전송 프로토콜은 전송 제어 프로토콜(Transmission Control Protocol, TCP)를 포함하는 방법.
  4. 제1항에있어서,
    상기 디지털 데이터 네트워크는 위성 네트워크, 지상 기반 무선 네트워크, 광섬유 네트워크, 동축 케이블 네트워크 중 적어도 하나를 포함하는 방법.
  5. 제3항에 있어서,
    상기 디지털 데이터 네트워크는 위성 네트워크, 지상 기반 무선 네트워크, 광섬유 네트워크, 동축 케이블 네트워크 중 적어도 하나를 포함하는 방법.
  6. 제1항에 있어서,
    상기 네트워크 추상화-계층(NAL) 확장 헤더는 H.264/AVC 네트워크 추상화-계층의 NAL 확장 헤더를 포함하는 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
KR1020127022427A 2010-01-28 2010-01-28 재전송 결정을 위한 장치 및 방법 KR101734835B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2010/000228 WO2011093836A1 (en) 2010-01-28 2010-01-28 A method and apparatus for retransmission decision making

Publications (2)

Publication Number Publication Date
KR20120117907A KR20120117907A (ko) 2012-10-24
KR101734835B1 true KR101734835B1 (ko) 2017-05-19

Family

ID=42938588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127022427A KR101734835B1 (ko) 2010-01-28 2010-01-28 재전송 결정을 위한 장치 및 방법

Country Status (6)

Country Link
US (2) US20120300663A1 (ko)
EP (1) EP2529502A1 (ko)
JP (1) JP6067378B2 (ko)
KR (1) KR101734835B1 (ko)
CN (1) CN103109485A (ko)
WO (1) WO2011093836A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101744355B1 (ko) * 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US9391878B2 (en) * 2012-01-25 2016-07-12 Cisco Technology, Inc. Reliable packet delivery with overlay network (RPDON)
US9577791B2 (en) 2012-12-05 2017-02-21 Intel Corporation Notification by network element of packet drops
US9680610B2 (en) * 2012-12-13 2017-06-13 Thomson Licensing Method and apparatus for error control in 3D video transmissoin
US8989017B2 (en) * 2012-12-14 2015-03-24 Intel Corporation Network congestion management by packet circulation
US9774869B2 (en) * 2013-03-25 2017-09-26 Blackberry Limited Resilient signal encoding
US9641834B2 (en) 2013-03-29 2017-05-02 Qualcomm Incorporated RTP payload format designs
JPWO2015060191A1 (ja) * 2013-10-21 2017-03-09 京セラ株式会社 基地局及びプロセッサ
US20150195326A1 (en) * 2014-01-03 2015-07-09 Qualcomm Incorporated Detecting whether header compression is being used for a first stream based upon a delay disparity between the first stream and a second stream
CN105208442B (zh) * 2014-06-27 2018-06-26 贝壳网际（北京）安全技术有限公司 一种视频播放应用程序的视频播放方法及装置
JP6021120B2 (ja) * 2014-09-29 2016-11-09 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ データをストリーム処理する方法、並びに、そのコンピュータ・システム及びコンピュータ・システム用プログラム
US10033489B1 (en) * 2014-12-22 2018-07-24 Amazon Technologies, Inc. Managing communications based on network conditions
US9197696B1 (en) * 2015-01-19 2015-11-24 Vuclip Offline content distribution networks
US10135577B2 (en) * 2015-03-02 2018-11-20 Lg Electronics Inc. Scalable service in a wireless communication system
US10735142B2 (en) * 2015-05-29 2020-08-04 Goodrich Corporation Multi-system data transfer protocol
JP2017040768A (ja) * 2015-08-19 2017-02-23 ヤマハ株式会社 コンテンツ送信装置
CN106788911A (zh) * 2015-11-25 2017-05-31 华为技术有限公司 一种报文重传的方法和装置
US10841203B2 (en) 2015-12-11 2020-11-17 Qualcomm Incorporated Coordination of multiple routes for a single IP connection
CN108781139A (zh) * 2016-02-26 2018-11-09 网络洞察力知识产权公司 分组网络中的数据重传
US20170288816A1 (en) * 2016-03-30 2017-10-05 Le Holdings (Beijing) Co., Ltd. Method and system for compensating hls slice loss
CN106067847B (zh) * 2016-05-25 2019-10-22 腾讯科技（深圳）有限公司 一种语音数据传输方法及装置
US10154317B2 (en) 2016-07-05 2018-12-11 BoxCast, LLC System, method, and protocol for transmission of video and audio data
WO2018019825A1 (en) * 2016-07-25 2018-02-01 Koninklijke Philips N.V. Robust data transmittal
US10425667B2 (en) * 2016-10-03 2019-09-24 Cisco Technology, Inc. Network layer transport of video characteristics for use by network function in a service function chain
US10841621B2 (en) * 2017-03-01 2020-11-17 Wyse Technology L.L.C. Fault recovery of video bitstream in remote sessions
WO2018212613A1 (en) * 2017-05-17 2018-11-22 Samsung Electronics Co., Ltd. Tcp proxy device-assisted communication method and apparatus in wireless communication
CN111052650A (zh) * 2017-08-31 2020-04-21 诺基亚技术有限公司 用于操作网络实体的方法、网络实体、用于操作用户设备的方法以及用户设备
US11824785B2 (en) * 2018-05-04 2023-11-21 Citrix Systems, Inc. Systems and methods for remote computing session display based upon user input event prioritization
US11036525B2 (en) * 2018-05-04 2021-06-15 Citrix Systems, Inc. Computer system providing hierarchical display remoting optimized with user and system hints and related methods
US10691528B1 (en) * 2019-07-23 2020-06-23 Core Scientific, Inc. Automatic repair of computing devices in a data center
KR20210123835A (ko) * 2020-04-06 2021-10-14 삼성전자주식회사 네트워크의 상태에 기반한 패킷의 재전송을 수행하는 전자 장치 및 전자 장치의 동작 방법
US11943153B2 (en) * 2021-06-28 2024-03-26 Dish Wireless L.L.C. Using buffered audio to overcome lapses in telephony signal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001084732A1 (en) * 2000-04-27 2001-11-08 North Carolina State University Methods and systems for dynamic hybrid packet loss recovery for video transmission over lossy packet-based network
US20090178087A1 (en) * 2008-01-03 2009-07-09 Microsoft Corporation Intelligent retransmission of data stream segments

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0391314A (ja) 1989-09-04 1991-04-16 Fuji Electric Co Ltd フリップフロップ回路
JPH07221789A (ja) 1994-01-27 1995-08-18 Hitachi Ltd 連続データ伝送方法および連続データ伝送システム
US5822524A (en) 1995-07-21 1998-10-13 Infovalue Computing, Inc. System for just-in-time retrieval of multimedia files over computer networks by transmitting data packets at transmission rate determined by frame size
US5764307A (en) 1995-07-24 1998-06-09 Motorola, Inc. Method and apparatus for spatially adaptive filtering for video encoding
JPH09191314A (ja) * 1996-01-10 1997-07-22 Mitsubishi Electric Corp 連続データ伝送方法および連続データ伝送装置
JP3193947B2 (ja) 1997-01-08 2001-07-30 株式会社ディジタル・ビジョン・ラボラトリーズ データ送信システム及びデータ送信方法
US5918002A (en) 1997-03-14 1999-06-29 Microsoft Corporation Selective retransmission for efficient and reliable streaming of multimedia packets in a computer network
JP2000036837A (ja) 1998-07-21 2000-02-02 Matsushita Electric Ind Co Ltd Ａｒｑ画像通信方法
US6782277B1 (en) 1999-09-30 2004-08-24 Qualcomm Incorporated Wireless communication system with base station beam sweeping
US7389356B2 (en) 1999-12-15 2008-06-17 Microsoft Corporation Generalized differentiation methods and arrangements for adaptive multimedia communications
JP3637835B2 (ja) 2000-03-22 2005-04-13 松下電器産業株式会社 ネットワーク伝送装置
JP2002084338A (ja) 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd データ送信装置、データ受信装置、およびデータ通信システム
JP2002141964A (ja) * 2000-08-24 2002-05-17 Matsushita Electric Ind Co Ltd 送受信方法およびその装置
JP2002084239A (ja) 2000-09-06 2002-03-22 Nippon Telegr & Teleph Corp <Ntt> メディア情報配信システムおよびメディア情報配信方法
US7307963B2 (en) 2001-08-03 2007-12-11 At&T Corp. Architecture and method for using IEEE 802.11-like wireless LAN system to emulate private land mobile radio system (PLMRS) radio service
US7218610B2 (en) * 2001-09-27 2007-05-15 Eg Technology, Inc. Communication system and techniques for transmission from source to destination
US20050021821A1 (en) 2001-11-30 2005-01-27 Turnbull Rory Stewart Data transmission
JP3757857B2 (ja) 2001-12-12 2006-03-22 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US20030206549A1 (en) 2002-05-03 2003-11-06 Mody Sachin Satish Method and apparatus for multicast delivery of information
KR100876765B1 (ko) 2002-05-10 2009-01-07 삼성전자주식회사 이동 통신 시스템에서 데이터 재전송 장치 및 방법
AU2003237486A1 (en) 2002-06-11 2003-12-22 Thomson Licensing S.A. Multimedia server with simple adaptation to dynamic network loss conditions
JP2004038575A (ja) 2002-07-03 2004-02-05 Sony Corp データ送受信システム及びデータ送受信方法、情報提供装置及び情報提供方法、並びにデータ受信装置及びデータ受信方法
JP2004056393A (ja) 2002-07-18 2004-02-19 Fujitsu Ltd 再生データの保存結果の修復システム
EP1552658A2 (en) 2002-07-18 2005-07-13 Koninklijke Philips Electronics N.V. Adaptive dropping of prioritized transmission packets
CN100492960C (zh) 2002-09-24 2009-05-27 艾利森电话股份有限公司 用于容错数据传输的方法和装置
JP2006510248A (ja) 2002-12-11 2006-03-23 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 映像コンテンツを利用して、コンテンツ関連リンクをネットワークベースリソースに提供するためのテキストキーワードまたはフレーズを取得する方法およびシステム
US20040240415A1 (en) 2003-06-02 2004-12-02 Richard Lane Base station-centric method for managing bandwidth and QoS in error-prone system
US8437284B2 (en) * 2003-07-29 2013-05-07 Citrix Systems, Inc. Systems and methods for additional retransmissions of dropped packets
JP4328602B2 (ja) 2003-11-20 2009-09-09 富士通株式会社 パケットエラー訂正装置及び方法
US7643480B2 (en) * 2004-01-22 2010-01-05 Hain-Ching Liu Method and system for reliably and efficiently transporting data over a network
KR100639650B1 (ko) 2004-06-15 2006-10-30 주식회사 케이티프리텔 Ｖｏｄ 스트리밍 서비스 시스템 및 방법
JP2006013911A (ja) 2004-06-25 2006-01-12 Nippon Telegr & Teleph Corp <Ntt> ストリームデータ転送方法、装置、プログラム、および記録媒体
US7522528B2 (en) 2004-11-18 2009-04-21 Qvidium Technologies, Inc. Low-latency automatic repeat request packet recovery mechanism for media streams
US20090252219A1 (en) 2004-12-15 2009-10-08 Koninklijke Philips Electronics, N.V. Method and system for the transmission of digital video over a wireless network
JP2006203649A (ja) 2005-01-21 2006-08-03 Matsushita Electric Ind Co Ltd 映像伝送装置及びシステム
EP1699158A1 (en) 2005-03-02 2006-09-06 Evolium S.A.S. A method for selection of the appropriate HARQ retransmission scheme for data transmission, a base station and a program therefor
EP1884063A1 (en) 2005-05-24 2008-02-06 Nokia Corporation Method and apparatuses for hierarchical transmission/reception in digital broadcast
US20100158133A1 (en) 2005-10-12 2010-06-24 Peng Yin Method and Apparatus for Using High-Level Syntax in Scalable Video Encoding and Decoding
KR100724825B1 (ko) * 2005-11-17 2007-06-04 삼성전자주식회사 스케일러블 비디오 코딩에서 다차원 스케일러빌리티에 따른 조건적 접근제어를 위한 스케일러블 비디오 비트스트림 암복호화 방법 및 암복호화 시스템
CN102036071B (zh) * 2005-12-08 2014-04-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
US8462627B2 (en) 2005-12-30 2013-06-11 Altec Lansing Australia Pty Ltd Media data transfer in a network environment
CN101018109B (zh) 2006-02-09 2010-06-23 中兴通讯股份有限公司 一种自动重传请求的移动性管理方法
KR101162378B1 (ko) 2006-03-08 2012-07-04 삼성전자주식회사 이동 통신 시스템에서 복합 자동 재전송 요구의 순서재정렬 동작을 수행하는 방법 및 장치
EP1855410A3 (en) 2006-05-08 2013-02-13 Samsung Electronics Co., Ltd. Retransmission apparatus and method for high-speed data processing
KR20070109313A (ko) 2006-05-10 2007-11-15 삼성전자주식회사 고속 데이터 처리를 위한 효율적인 재전송 요청 장치 및방법
CN101087184A (zh) 2006-06-01 2007-12-12 创新音速有限公司 无线通讯系统提升数据传输效率的方法及其相关装置
WO2008024282A2 (en) 2006-08-21 2008-02-28 Interdigital Technology Corporation Method and apparatus for controlling arq and harq transmissions and retranmissions in a wireless communication system
KR100855347B1 (ko) 2006-12-05 2008-09-04 에스케이 텔레콤주식회사 유디피 제어 기반의 메시지 전송 시스템 및 방법
US8411572B2 (en) 2006-12-13 2013-04-02 Viasat, Inc. ACM and fixed coding and modulation of hierarchical layers
HUE051543T2 (hu) 2006-12-18 2021-03-01 Optis Wireless Technology Llc Link layer control protokoll implementálása
JP5455648B2 (ja) * 2007-01-09 2014-03-26 ヴィドヨ，インコーポレーテッド ビデオ通信システムに於けるエラー耐性の向上したシステム及びその方法
US9344362B2 (en) * 2007-01-12 2016-05-17 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, QOS control algorithm and apparatus for IPV6 label switching using the format
WO2008100350A1 (en) 2007-02-15 2008-08-21 Agentek, Inc. Mobile data object transmission over wireless communication networks using udp and two level protocol
KR101345944B1 (ko) 2007-03-02 2013-12-27 삼성전자주식회사 무선 통신 시스템에서 패킷 재전송을 요청하는 장치 및방법
CA2679951A1 (en) * 2007-03-12 2008-09-18 Citrix Systems, Inc. Systems and methods for dynamic bandwidth control by proxy
JP5084362B2 (ja) 2007-06-18 2012-11-28 キヤノン株式会社 データ送信装置、及びデータ送受信システム
KR101015888B1 (ko) 2007-09-11 2011-02-23 한국전자통신연구원 스케일러블비디오 코딩에서 우선순위를 할당하기 위해 비디오 패킷의 왜곡값을 계산하는 장치 및 방법
US7867406B2 (en) 2007-12-26 2011-01-11 Hitachi Global Storage Technologies Netherlands, B.V. Patterned magnetic media having an exchange bridge structure connecting islands
TW200931869A (en) 2007-12-31 2009-07-16 Interdigital Patent Holdings Method and apparatus for handling interactions between measurement gap, automated repeat request, discontinuous reception and discontinuous transmission in wireless communications
CN101262321A (zh) 2008-02-03 2008-09-10 杭州华三通信技术有限公司 媒体数据处理方法、编码设备及媒体平台
CN101262604A (zh) 2008-04-23 2008-09-10 哈尔滨工程大学 一种感兴趣区优先传输的可伸缩视频编码方法
US20110090921A1 (en) 2008-07-01 2011-04-21 Shemimon Manalikudy Anthru Network abstraction layer (nal)-aware multiplexer
WO2010049585A1 (en) 2008-10-30 2010-05-06 Nokia Corporation Method and apparatus for interleaving a data block
US8391356B1 (en) * 2009-02-18 2013-03-05 Sprint Communications Company L.P. Scalable video coding priority marking
KR20120082416A (ko) 2009-10-07 2012-07-23 톰슨 라이센싱 네트워크에서 신뢰성 있는 실시간 데이터 스트리밍을 위한 효율적인 애플리케이션 계층의 자동 반복 요청 재송신 방법
US8274882B2 (en) * 2009-12-08 2012-09-25 At&T Intellectual Property I, Lp Bulk data transport in a network
KR101644215B1 (ko) 2010-01-28 2016-08-09 톰슨 라이센싱 신뢰성 있는 데이터 통신을 위한 네트워크 추상화 계층을 파싱하는 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001084732A1 (en) * 2000-04-27 2001-11-08 North Carolina State University Methods and systems for dynamic hybrid packet loss recovery for video transmission over lossy packet-based network
US20090178087A1 (en) * 2008-01-03 2009-07-09 Microsoft Corporation Intelligent retransmission of data stream segments

Also Published As

Publication number Publication date
CN103109485A (zh) 2013-05-15
EP2529502A1 (en) 2012-12-05
JP2013518511A (ja) 2013-05-20
US9306708B2 (en) 2016-04-05
JP6067378B2 (ja) 2017-01-25
WO2011093836A1 (en) 2011-08-04
US20120300663A1 (en) 2012-11-29
KR20120117907A (ko) 2012-10-24
US20150200750A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
KR101734835B1 (ko) 재전송 결정을 위한 장치 및 방법
KR101644215B1 (ko) 신뢰성 있는 데이터 통신을 위한 네트워크 추상화 계층을 파싱하는 방법 및 장치
KR100941562B1 (ko) 미디어 스트리밍 분배 시스템, 패킷 분석 장치, 네트워크 중계 장치, 미디어 분배 장치, 중계 장치 및 미디어 스트림 분배 시스템
US8175036B2 (en) Multimedia wireless distribution systems and methods
JP3757857B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US20110044338A1 (en) Throughput in a lan by managing tcp acks
US20170034589A1 (en) Adaptive profile switching system and method for media streaming over ip networks
KR20120082416A (ko) 네트워크에서 신뢰성 있는 실시간 데이터 스트리밍을 위한 효율적인 애플리케이션 계층의 자동 반복 요청 재송신 방법
US9781488B2 (en) Controlled adaptive rate switching system and method for media streaming over IP networks
JP5117512B2 (ja) 再送回数を動的に適合させる方法及び装置
Sanson et al. PR-SCTP for real time H. 264/AVC video streaming
WO2010054551A1 (zh) 视频流传输的方法、装置和系统
CN106100803A (zh) 用于作出重发决定的方法和装置
EP1947859A1 (en) Video transmission method and system
Monteiro et al. Rate adaptation for wireless video streaming based on error statistics
Zhai et al. Elements of a Video Communication System

Legal Events

Date Code Title Description
A201 Request for examination
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant