KR20100085070A - 패킷화 방법 및 장치, 컴퓨터 판독 가능한 기록 매체, 패킷화 해제 방법 및 장치 - Google Patents

패킷화 방법 및 장치, 컴퓨터 판독 가능한 기록 매체, 패킷화 해제 방법 및 장치 Download PDF

Info

Publication number
KR20100085070A
KR20100085070A KR1020107009036A KR20107009036A KR20100085070A KR 20100085070 A KR20100085070 A KR 20100085070A KR 1020107009036 A KR1020107009036 A KR 1020107009036A KR 20107009036 A KR20107009036 A KR 20107009036A KR 20100085070 A KR20100085070 A KR 20100085070A
Authority
KR
South Korea
Prior art keywords
transport
decoding order
packet
session
transport packet
Prior art date
Application number
KR1020107009036A
Other languages
English (en)
Inventor
예-쿠이 왕
미스카 한누크셀라
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20100085070A publication Critical patent/KR20100085070A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

수신기가 상이한 실시간 전송 프로토콜(RTP) 세션에서 전송되는 네트워크 추상화 계층(NAL) 유닛의 디코딩 순서를 복원할 수 있는 시스템 및 방법이 제공된다. 각 패킷의 애플리케이션 데이터 유닛(ADU)에 대한 디코딩 순서의 표시가 PACSI NAL 유닛의 패킷 구조에 포함되는데, 이 때 PACSI NAL 유닛은 (가령, 수신기가 NAL 유닛을 전송하는 상이한 RTP 세션에 가입된 경우)단일-타임 통합 패킷 유형 A(STAP-A) 패킷이고 PACSI NAL 유닛은 통합 패킷의 처음 NAL 유닛이다. 수신기가 베이스 계층 RTP 세션에만 가입된 경우, CL-DON 표시는 무시될 수 있다.

Description

패킷화 방법 및 장치, 컴퓨터 판독 가능한 기록 매체, 패킷화 해제 방법 및 장치{CODED APPLICATION DATA UNTIL ORDER RECOVERY IN LAYERED MULTICAST}
본 발명은 전반적으로 계층화된 미디어를 네트워크를 통해 전송하는 것에 관련된다. 더 구체적으로, 본 발명은 계층화된 멀티캐스트 전송 프로세스의 디코딩 순서 정보의 효율적인 복원에 관한 것이다.
이 단락은 청구범위에 인용되는 본 발명에 대한 배경 또는 상황을 제공하도록 의도된다. 여기서의 설명은 추구될 수 있는 개념을 포함할 수 있지만, 반드시 이전에 고려되거나 추구된 것은 아니다. 그러므로, 특별한 언급이 없는 한 이 단락에서 설명되는 것은 본 출원의 상세한 설명과 청구범위에 대한 종래 기술이 아니며 이 단락에 포함시킴으로써 종래 기술로 인정되는 것이 아니다.
멀티미디어 애플리케이션은 로컬 재생, 스트리밍 또는 온-디맨드, 대화 및 브로드캐스트/멀티캐스트 서비스와 같은 서비스를 포함한다. 멀티미디어 애플리케이션에 포함되는 기술은 특히 미디어 코딩, 저장 및 전송을 포함한다. 상이한 표준이 상이한 기술에 대해 지정되어 왔다. 대역폭 수요가 변동하는 비디오 통신 시스템에서는 계층화 코딩의 사용이 특히 유리하다. 예를 들어, 이 특징은 세션 수명 동안에 접속 속도의 변경에 대처할 수 있는 비디오-가동형 이동 전화에서 특히 유리할 수 있다. 이러한 변경은, 예를 들어, 무선 근거리망(WLAN)으로부터 제 3 세대(3G) 네트워크로의 대체 또는 3G 네트워크로부터 이동 통신용 글로벌 시스템(GSM) 네트워크로의 대체로 인해 필요할 수 있다. 계층화 코딩에서, 베이스 계층은 가장 느린 링크를 통해서도 전송 가능하도록 선택된다. 증가된 비디오 품질은 비디오의 추가 "향상" 계층을 부가함으로써 가능하게 되는데, 이는 보다 고속의 액세스 기술을 통해 전송된다.
비디오 표준화와 관련되는 가장 최근의 작업은 계층화 코딩 개념을 사용하는 ITU-T 권장사항 H.264의 확장이다. 이 작업은 공통적으로 "스케일 가능한 비디오 코딩" 또는 SVC로 알려져 있다. SVC 표준의 최근 드래프트는 JVT-X201, 2007년 6월-7월 스위스 제네바에서의 제24회 JVT 회의 "Joint Draft 11 of SVC Amendment"에 설명되어 있으며, http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVT-X201.zip으로부터 이용 가능하고, 그 전체를 본 명세서에서 참조한다.
계층화 코딩 구성(layered coding arrangements)에서는 계층의 계급화(hierarchy)를 공통적으로 관찰할 수 있다. 어떤 주어진 상위 계층(higher layer)에 있어서, 통상적으로 그 상위 계층이 의존하는 적어도 하나의 하위 계층이 존재한다. 하위 계층으로부터의 데이터가 손실되면, 상위 계층의 데이터가 훨씬 덜 중요하게 되며 어떤 환경에서는 완전히 소용없게 된다. 그러므로, 계층 또는 소정 계층에 속하는 패킷을 폐기할 필요가 있는 경우, 상위 계층 또는 상위 계층에 속하는 패킷을 먼저 폐기하거나, 최소한 하위 계층 또는 하위 계층에 속하는 패킷을 폐기하기 전에 이러한 폐기를 수행하는 것이 타당하다.
이 계층화 코딩 개념은 멀티뷰 비디오 코딩(MVC)에도 확장될 수 있는데, 여기서 각 뷰는 계층으로서 고려될 수 있으며 각 뷰는 다수의 스케일 가능한 계층에 의해 표현될 수 있다. 멀티뷰 비디오 코딩에서, 비디오 시퀀스는 상이한 카메라로부터 출력되고 각각 하나의 뷰에 대응하며 하나의 비트스트림으로 인코딩된다. 디코딩 이후, 소정 뷰를 디스플레이하기 위해, 그 뷰에 속하는 디코딩된 그림이 디스플레이된다. MVC의 최근 드래프트는 JVT-X209, 2007년 6월-7월 스위스 제네바에서의 "Joint Draft 4.0 on Multiview Video Coding"에 설명되어 있으며, http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVT-X201.zip으로부터 이용 가능하고, 그 전체를 본 명세서에서 참조한다.
계층화 멀티캐스트는 스케일 가능한 코딩된 비트스트림, 가령, SVC 또는 MVC 비트스트림에 대한 전송 기술이다. 인터넷 프로토콜(IP) 네트워크를 통한 미디어 전송에 대한 공통적으로 사용되는 기술은 실시간 전송 프로토콜(RTP)로 알려져 있다. RTP를 사용하는 계층화 멀티캐스트에서, 스케일 가능한 비트스트림의 계층의 계층 또는 서브세트는 고유의 RTP 세션에서 전송되는데, 여기서 각 RTP 세션은 멀티캐스트 그룹에 속한다. 수신기는 소정 계층의 비트스트림을 수신하기 위해 원하는 RTP 세션 또는 멀티캐스트 그룹에 합류하거나 가입할 수 있다. 종래 RTP 및 계층화 멀티캐스트는, 가령, H. schulzrinne, S.Casner, S., R. Frederick 및 V. Jacobson의 2003년 7월 RFC 3550, IETF STD 64, "RTP: A Transport Protocol for Real-Time Application"에 설명되어 있으며, http://www.ietf.org/rfc/rfc3550.txt로부터 이용 가능하고, S. McCanne, V.Jacobson 및M.Vetterli의 1996년 8월 캘리포니아 스탠포드의 "Receiver-driven layred multicast" pp.117-130에 설명되어 있다.
H.264/AVC RTP 페이로드 포맷은 RFC 3984에서 정해지는데, http://www.ietf.org/rfc/rfc3984.txt로부터 이용 가능하다. RFC 3984는 3개의 패킷화 모드, 하나의 네트워크 추상화 계층(NAL) 유닛 패킷화 모드; 인터리빙된 패킷화 모드; 및 인터리빙된 패킷화 모드를 규정한다. 인터리빙된 패킷화 모드에서, 한 패킷에 포함되는 각 NAL은 디코딩 순서 번호(DON)-관련 필드와 관련되어 NAL 유닛 디코딩 순서가 유도될 수 있다. 이와 달리, 하나의 NAL 유닛 패킷화 모드 또는 인터리빙되지 않은 패킷화 모드가 사용될 때 DON-관련 필드는 이용 가능하지 않다. SVC RTP 페이로드 포맷의 최근 드래프트는 http://www.ietf.org/internet-drafts/draft-ietf-avt-rtp-svc-0.2.txt로부터 이용 가능하다. 최근의 드래프트에서, 페이로드 콘텐츠 스케일 가능성 정보(PACSI) NAL유닛이 지정되어 다른 유형의 정보들 중에서 RTP 패킷에 포함되는 NAL유닛에 대한 스케일 가능성 정보를 포함한다.
계층화 멀티캐스트에서, 하나 이상의 RTP 세션에 속하는 수신기는 상이한 RTP 세션으로부터 수신된 NAL 유닛의 디코딩 순서를 디코더로 전달하기 전에 복원한다. 그러나, 상이한 RTP 세션들 사이의 세션 개시 변동, 하나 이상의 RTP 세션 내의 RFC 3984에서 지정된 인터리빙된 패킷화 모드의 사용 및 출력 또는 디스플레이 순서와 상이한 NAL 유닛 디코딩 순서로 인해 NAL 유닛 디코딩 순서 복원이 복잡해진다.
SVC RTP 페이로드 포맷의 최근 드래프트는 크로스-계층 DON(CL-DON)으로 지칭되는 전체 SVC 비트스트림을 통한 DON이 모든 RTP 세션에 대한 인터리빙된 패킷화 모드의 사용을 요구함으로써 각 NAL 유닛에 대해 유도될 수 있다. 또한, 최근 드래프트는 DON-관련 필드가 CL-DON에 기초하여 유도될 것을 추가로 요구한다. 그러나, 몇몇의 현재 존재하는 RFC 3984-유형 수신기는 내부에 구현되는 인터리빙된 패킷화 모드를 갖지 않는다. 그러므로, 이들 수신기는 계층화 멀티캐스트에 합류하고 서비스를 수신할 수 없다.
다양한 실시예는 패킷 구조에 포함될 각 패킷의 애플리케이션 데이터 유닛(ADU)에 대한 디코딩 순서의 표시를 제공한다. 예를 들어, PACSI NAL 유닛이 단일-타임 통합 패킷 유형 A(STAP-A) 패킷(여기서 STAP-A 패킷은 RFC 3984에서 지정된다)에 포함될 때 CL-DON 필드가 PACSI NAL 유닛에 포함된다. STAP-A 패킷의 사용은 인터리빙되지 않은 패킷화 모드가 특정 RTP 세션을 위해 사용되고 있음을 표시한다. 수신기가 인터리빙되지 않은 패킷화 모드를 사용하여 단일 RTP 세션에만 가입된 경우, CL-DON 표시는 무시될 수 있다. 그러나, 수신기가 인터리빙되지 않은 패킷화 모드를 사용하는 적어도 하나의 RTP 세션을 포함하는 다수의 RTP 세션에 합류한 경우, 인터리빙되지 않은 패킷화 모드를 사용하는 RTP 세션의 각 RTP 패킷에 대한 CL-DON 표시는 (인터리빙된 패킷화 모드를 사용하는) 다른 RTP 세션의 패킷의 DON 필드와 함께 사용될 수 있어서, 모든 RTP 세션에서 전송되는 NAL 유닛의 디코딩 순서를 결정하고 NAL 유닛이 디코딩 순서에 올바르게 재배열한다. 그러므로, SVC RTP 페이로드 포맷 및 다양한 실시예에 따라 구현되는 수신기는 베이스 계층 RTP 세션이 인터리빙된 패킷화 모드를 사용하지 않더라도 상이한 RTP 세션에서 전송되는 NAL 유닛의 디코딩 순서를 복원할 수 있으며, 베이스 계층 RTP 세션에만 가입된 RFC 3984 수신기는 PACSI NAL 유닛을 무시할 수 있다.
본 발명의 이들 및 다른 장점 및 특징들은 그 동작 구성 및 방식과 함께 첨부된 도면을 함조하는 다음의 상세한 설명으로부터 명백해질 것이며, 도면에서 동일한 요소는 여러 도면을 통해 동일한 번호를 갖는다.
도 1은 다양한 실시예에 따른 PCSINAL 유닛 구조의 표현을 도시하고 있다.
도 2는 다양한 실시예에 따라 실행되는 프로세스를 설명하는 흐름도를 도시하고 있다.
도 3은 다양한 실시예에 따라 사용하기 위한 멀티미디어 통신 시스템을 도시하고 있다.
도 4는 본 발명의 구현에서 사용될 수 있는 이동 전화의 투시도이다.
도 5는 도 4의 이동 전화의 전화 회로의 개략적인 표현이다.
다양한 실시예는 인터리빙된 패킷화 모드 구현 없는 기존 RFC 3984 수신기가 계층화 멀티캐스트에 합류하고 베이스 계층에 의해 제공되는 서비스를 수신할 수 있게 하는 시스템 및 방법을 제공한다. 더 구체적으로, CL-DON 필드가 PACSI NAL 유닛 헤더에 포함될 수 있다. 따라서, 다양한 실시예는 RTP 패킷, 가령, STAP-A 패킷에 포함되는 NAL 유닛에 대한 CL-DON 정보의 제공을 실행하는데, 이는 인터리빙되지 않은 패킷화 모드에서 사용될 수 있으며, STAP-A는 동일한 NAL 유닛 타임을 갖는 NAL 유닛을 통합한다. 그러므로, SVC RTP 페이로드 포맷 및 다양한 실시예에 따라 구현되는 수신기는 베이스 계층 RTP 세션이 인터리빙된 패킷화 모드를 사용하지 않을 때에도 상이한 RTP 세션에서 전송되는 NAL 유닛의 디코딩 순서를 복원할 수 있으며, 베이스 계층 RTP 세션에만 가입된 RFC 3984 수신기는 PACSI NAL 유닛을 무시할 수 있다.
전술한 바와 같이, CL-DON은 크로스-계층 디코딩 순서 번호를 지칭하는데, 이는, 가령, SVC RTP 페이로드 구조의 필드 또는 SVC 비트스트림을 전송하기 위한 모든 RTP 세션에서 전송되는 모든 NAL 유닛에 걸친 NAL 유닛 디코딩 순서를 표시하는 유도된 변수를 포함할 수 있다. 본 명세서에서 설명되는 다양한 실시예는 RTP를 사용하는 SVC 기술의 관점에서 제공된다는 것을 유의해야 한다. 그러나, 다양한 실시예의 시스템 및 방법은 계층화 멀티캐스트가 사용되면 임의의 적합한 전송 프로토콜을 사용하여 임의의 계층화 또는 스케일 가능한 코덱에 적용될 수 있다. 또한, 계층화 멀티캐스트 대신에, 다양한 실시예의 시스템 및 방법은 스케일 가능한 미디어 비트스트림의 계층이 개별적인 채널 또는 패킷 스트림을 통해 전송되는 임의의 전송 메커니즘에 적용될 수 있다는 것을 유의해야 한다.
계층화 멀티캐스트에서와 같이, 상이한 SVC 비트스트림 계층이 하나 이상의 RTP 세션에서 전송되는 것으로 결정되면, 인터리빙된 패킷화 모드를 사용하는 RTP 세션의 모든 NAL 유닛의 DON 값은 CL-DON 값을 표시하도록 요구된다. 또한, 상이한 SVC 비트스트림 계층이 하나 이상의 RTP 세션에서 전송되고 적어도 하나의 STAP-A 패킷이 RTP 세션 중 하나에 제공되면, 소정 조건이 적용된다.
첫째, PACSI NAL 유닛이 각 STAP-A 패킷에 제공된다. 또한, CL-DON 필드가 각 STAP-A 패킷에 포함되는 PACSI NAL 유닛에 제공된다. 또한, 각 STAP-A 패킷의 NAL 유닛에 대한 DON 값은 CL-DON 값을 표시하며 다음과 같이 유도될 것이다. PACSI NAL 유닛의 CL-DON 필드는 전송 순서의 STAP-A의 제 1 NAL 유닛에 대한 DON의 값을 지정한다. STAP-A에 나타나는 순서대로의 각 연속적인 NAL 유닛에 대해 DON의 값은 % 65536(STAP-A+1의 이전 NAL 유닛의 DON의 값)에 동일한데, 여기서 "%"는 모듈로(modulo) 연산을 지칭한다.
전술한 바와 같이, PACSI NAL 유닛으로 지칭되는 NAL 유닛 유형은 다양한 실시예에 따라 실행된다. PACSI NAL 유닛이 존재하는 경우에 이는 통합 패킷의 제 1 NAL 유닛이며 다른 유형의 패킷에 존재하지 않는다. PACSI NAL 유닛은 통합 패킷의 페이로드의 모든 잔여 NAL 유닛에 대해 공통적인 스케일 가능성 정보 및 기타 특성을 표시한다. 또한, PACSI NAL 유닛은 CL-DON 필드를 포함할 수 있으며 0 또는 다수의 보충 향상 정보(SEI) NAL 유닛을 포함할 수 있다. 그러므로, PACSI NAL 유닛은 미디어 인식 네트워크 요소(MANE)가 PACSI NAL 유닛을 포함하는 통합 패킷을 전송/처리/폐기할지를 판단하기 쉽게 한다. 예를 들어, 송신기는 PACSI NAL 유닛을 생성할 수 있지만 수신기는 이들을 무시할 수 있다. 이와 달리, 수신기는 PACSI NAL 유닛을 효율적인 통합 패킷 프로세싱을 가능하게 하는 힌트로서 사용할 수 있다. PACSI NAL 유닛에 대한 NAL 유닛 유형은 SVC 표준 및 RFC 3984에서 지정되지 않은 값들 중에서 선택될 수 있다는 것을 유의해야 한다.
통합 패킷의 첫 번째 통합 유닛이 PACSI NAL 유닛을 포함하는 경우, 적어도 하나의 추가 통합 유닛이 동일한 패킷에 존재해야 한다. 통합 패킷의 RTP 헤더 및 페이로드 헤더 필드는 통합 패킷의 나머지 NAL 유닛에 따라 설정된다. PACSI NAL 유닛이 멀티-타임 통합 패킷(MTAP)에 포함되는 경우, PACSI NAL 유닛에 대한 DON은 PACSI NAL 유닛이 통합 패킷의 나머지 NAL 유닛 중에서 디코딩 순서의 제 1 NAL 유닛과 동일한 DON을 갖는다고 표시하도록 설정된다.
도 1은 PACSI NAL 유닛의 구조의 표현을 도시하고 있다. 처음 4개의 옥텟 0,1,2 및 3은 종래 4 바이트 SVC NAL 유닛 헤더를 포함하는 처음 4개의 옥텟과 동일하다. 이들에 이어서 2개의 항상 존재하는 옥텟, 2개의 선택적 옥텟 및 0 또는 다수의 SEI NAL 유닛이 존재하며, 각각은 (이들 2개의 옥텟을 제외하지만 SEI NAL 유닛의 NAL 유닛 유형 옥텟을 포함하는) 바이트의 다음 NAL 유닛의 크기를 표시하는 (네트워크 바이트 순서의) 16-비트의 부호 없는 크기 필드가 선행한다. 도 1은, 예를 들어, 2개의 SEI NAL 유닛을 포함하는 PACSI NAL 유닛 구조를 도시하고 있다.
CL-DON 필드는 선택적이며, PACSI NAL 유닛을 포함하는 통합 패킷이 STAP-A 패킷일 경우에 존재한다. 존재할 경우, CL-DON 필드는 전송 순서에서 STAP-A의 처음 NAL 유닛에 대한 CL-DON을 표시한다. CL-DON 필드는 PACSI NAL 유닛을 포함하는 통합 패킷이 STAP-A가 아닌 경우에는 제공될 필요가 없다는 것을 다시 한번 유의해야 한다. 도 1에 도시된 PACSI NAL 유닛의 다른 필드의 값은 최근 SVC RTP 페이로드 포맷 드래프트에 따라 설정된다.
단일 NAL 유닛 패킷화 모드, 인터리빙되지 않은 패킷화 모드 및 인터리빙된 패킷화 모드에 대해 RFC 3984에서 정해진 공통 패킷화 규칙 외에도 소정 패킷화 규칙이 다양한 실시예의 인코딩 및/또는 디코딩 측면에 따라 컴파일된다.
SVC 비트스트림의 계층이 하나 이상의 RTP 세션에서 전송되면, 인터리빙된 패킷화 모드는 RTP 세션 모두에 대해 사용되어야 한다. 그러나, RTP 세션이 인터리빙된 패킷화 모드를 사용하지 않는 경우, 인터리빙된 패킷화 모드가 사용되는데, 즉, STAP-A 패킷이 사용되며, 임의의 다른 유형의 패킷은 사용되지 않는다. 또한, 각 STAP-A는 PACSI NAL 유닛 및 CL-DON 필드를 포함하는데, 이는 PACSI NAL 유닛에 제공된다. 그러므로, H.264/AVC 호환 가능한(전체) 베이스 계층을 전송하는 세션에 대한 인터리빙되지 않은 패킷화 모드의 사용이 허용될 수 있어서, 내부에서 구현되는 인터리빙된 패킷화 모드를 갖지 않는 RFC 3984 수신기가 (전체) 베이스 계층 세션에 가입할 수 있다.
다른 실시예에서, RTP 세션이 인터리빙된 패킷화 모드를 사용하지 않을 때마다 인터리빙되지 않은 패킷화 모드가 사용된다. 그러나, 임의의 패킷 유형, 즉, STAP-A, 프래그먼트 유닛 유형 A(FU-A) 또는 단일 NAL 유닛 패킷이 허용가능하다. FU-A 또는 단일 NAL 유닛 패킷이 CL-DON 필드를 포함하지 않으므로, FU-A 또는 단일 NAL 유닛 패킷에 포함되는 NAL 유닛에 대한 CL-DON의 값은, 가령, 전송 순서의 선행 NAL 유닛에 대한 CL-DON 값을 (모듈로 65536 가산 단위로) 1씩 증가시킴으로써 전송 순서의 선행 NAL 유닛에 대해 유도되는 CL-DON 값으로부터 카운트된다. 다른 실시예에서, STAP-A는 CL-DON 필드를 포함하도록 요구되지 않는다. 대신, STAP-A의 PACSI NAL 유닛(존재하는 경우)에 이어지는 처음 NAL 유닛에 대한 CL-DON 값은 CL-DON 값은 FU-A에 대한 CL-DON 또는 전술한 단일 NAL 유닛 패킷으로서 유도된다.
또한, VCL NAL이 아닌 유닛은 관련 VCL NAL 유닛과 동일한 세션에서 전송될 수 있다. 이 특성을 실행하기 위해, 스케일 가능한 네TM팅 SEI 메시지에 포함되며 하나 이상의 세션에 적용 가능한 SEI 메시지가 다수의 스케일 가능한 네스팅 SEI 메시지에 분리되어 포함될 수 있다. 따라서, CL-DON 값은 이들 SEI 메시지 모두가 개별적인 스케일 가능한 네스팅 SEI 메시지에 존재하고 최신 드래프트 SVC 표준에서 통상적으로 정해진 대응 액세스 유닛의 시작부분에 포함되는 경우에 얻게될 값을 표시한다.
RFC 3984에서 정해진 공통의 패킷화 해제(de-packetization) 규칙 외의 패킷화 해제 프로세스가 다양한 실시예의 인코딩 및/또는 디코딩 측면에 따라 컴파일된다. 단일 RTP 세션에 있어서, (소정 변화를 갖는) RFC 3984에서 정해진 공통 패킷화 해제 프로세스가 일반적으로 적용 가능하다. 스케일 가능한 비트스트림을 전송하는 하나 이상의 RTP 세션을 수신하기 위해, 패킷화 해제 프로세스의 적합한 구현의 예를 후술하는데, 가령, 다수의 RTP 세션에서 전송되는 NAL 유닛에 대한 패킷화 해제 프로세스를 설명한다. 단일 RTP 세션 시나리오와 관련하여, 다수의 RTP 세션에 대한 패킷화 해제는 전송 순서로부터 NAL 유닛 디코딩 순서로 NAL 유닛을 재뱌열하는데, 여기서 "RTP 세션"은 NAL 유닛이 패킷화 해제되는 RTP 세션을 지칭한다.
수신기는 수신기 버퍼를 포함하는데, 이는 상이한 세션 개시 타임, 전송 지연 지터를 보상하고 NAL 유닛을 전송 순서로부터 NAL 유닛 디코딩 순서로 재뱌열하는 데 사용된다. 수신기 동작은 RTP 세션 모두가 동시에 개시되고 전송 지연 지터가 없다는 가정하게 기술된다는 것을 유의해야 한다. 그러나, 수신기는 상이한 세션 개시 타임과 전송 지연 지터 모두가 존재하는 경우의 시나리오를 수용할 수도 있다. 예를 들어, 수신기는 세션 개시 변동 버퍼링, 전송 지연 지터 버퍼링 및 세션 다중화 해제 버퍼링을 위한 별도의 버퍼를 보존하거나 모든 전술한 목적을 위한 수신기 버퍼를 사용할 수 있다. 또한, 수신기는, 가령, 디코딩 및 플레이백을 시작하기 전에 수행되는 추가 초기 버퍼링에 의해 버퍼링 동작에 세션 개시 변동 및 전송 지연 지터를 고려할 수 있다.
전술한 바와 같이, 하나 이상의 RTP 세션이 SVC 비트스트림을 전송하기 위해 사용되는 경우, CL-DON 값이 각 NAL 유닛에 대해 유도될 수 있다. RTP 세션이 인터리빙된 패킷화 모드를 사용하는지에 무관하게, 각 RTP 세션에 대한 개별적인 디인터리빙 프로세스 없이 NAL 유닛 디코딩 순서 복원 프로세스를 가능하게 한다. 세션 개시 변동 버퍼 및 전송 지연 지터 버퍼를 제외하고, 수신기 버퍼는 세션 다중화 해제 버퍼로서 지칭될 수 있다. 세션 다중화 버퍼의 크기는, 바이트 수의 관점에서, 디코딩이 다른 RTP 세션의 모두에서 전송되는 SVC 계층의 제공을 요구하는 SVC 계층을 전송하는 (디인터리빙 버퍼와 관련되는) RTP 세션의 spropdeint-buf-req 미디어 유형 파라미터의 값과 동일하거나 더 크게 설정될 수 있다. 이러한 RTP 세션은 가장 높은 RTP 세션으로서 지칭될 수 있다. 송신된 스트림의 특성을 갖는 수신기를 제공할 수 있는 파라미터는 "sprop" 파라미터로 지칭된다는 것을 유의해야 한다.
수신기에는 2개의 버퍼링 상태, 가령, "초기 버퍼링" 및 "플레잉 중 버퍼링"이 존재한다는 것을 유의해야 한다. 초기 버퍼링은 RTP 세션이 초기화될 때 발생할 수 있다. 초기 버퍼링 후, 디코딩 및 플레이백이 시작되며, 플레잉 중 버퍼링 모드가 사용될 수 있다. 버퍼링 상태와 무관하게, 수신기는 세션 다중화 해제 버퍼에서 수신 순서로 인입 NAL 유닛을 저장할 수 있다. 다시 말해, 통합 패킷의 NAL 유닛은 세션 다중화 버퍼에 개별적으로 저장되는데, DON의 값(즉, 이 경우에는 CL-DON)은 각 NAL 유닛에 대해 계산되고 저장된다. 그러나, CL-DON은 DON과는 상이한 값을 갖도록 설정될 수 있다는 것을 유의해야 한다. 예를 들어, 3개의 계층이 존재하는 경우, 각각은 단지 하나의 NAL 유닛을 포함한다. 이 경우에, 3개의 NAL 유닛에 대한 CL-DON 값은 {0,1,2}} 또는 {3,10,18},...,일 수 있으며, 순서가 올바른 한 임의의 2개의 NAL 유닛 사이의 간격은 유연할 수 있다.
본 명세서에서 수신기의 동작도 설명되는데, 초기 버퍼링동작이 다음 조건이 이행될 때까지 지속된다. N개 이상의 VCL NAL 유닛이 세션 다중화 해제 버퍼에 존재하는데, 상수 N은 1씩 증가되는 가장 높은 RTP 세션의 OPTIONAL sprop-interleaving-depth 미디어 유형 파라미터의 값을 지칭한다. 가장 높은 RTP 세셋세션의 sprop-max-don-diff가 존재하는 경우, don_diff(m,n)은 가장 높은 RTP 세션의 sprop-max-don-diff의 값보다 큰데, 여기서 n은 수신된 NAL 유닛 중에서 가장 큰 AbsDON(아래에서 정의됨) 값을 갖는 NAL유닛에 대응하며 m은 수신된 NAL 유닛 중에서 AbsDON의 최소 값을 갖는 NAL유닛에 대응한다. 최초 버퍼링은 가장 높은 RTP 세션의 sprop-init-buf-time 미디어 유형 파라미터의 값과 같거나 더 큰 기간동안 지속된다.
don_diff는 다음과 같이 정의되는 함수라는 것을 유의하자.
DON(i)를 NAL 유닛 I의 디코딩 순서 번호라고 하자.
Figure pct00001
또한, 세션 다중화 해제 버퍼(de-session-multiplexing buffer)로부터 제거될 NAL 유닛은 다음과 같이 결정된다. 세션 다중화 해제 버퍼가 적어도 N개의 VCL NAL 유닛을 포함하는 경우, NAL 유닛은 세션 다중화 해제 버퍼로부터 제거되어 버퍼가 N-1개의 VCL NAL 유닛을 포함할 때까지 아래로 지정된 순서의 디코더로 전달된다. 가장 높은 RTP 세션의 sprop-max-don-diff가 존재하는 경우, don_diff(m,n)가 가장 높은 RTP 세션의 sprop-max-don-diff보다 큰 NAL 유닛 m 모두가 세션 다중화 해제 버퍼로부터 제거되고 아래에 정해진 순서의 디코더로 전달된다. 여기서, n은 세션 다중화 해제 버퍼의 NAL 유닛 중에서 AbsDON의 가장 큰 값을 갖는 NAL 유닛에 대응한다.
NAL 유닛이 디코더로 전달되는 순서는 다음과 같이 정해진다. PDON을 RTP 세션의 시작부분에서 0으로 초기화되는 변수라 하면, DON의 값과 관련되는 각 NAL 유닛에 대해 DON 거리가 계산된다. NAL 유닛의 DON의 값이 PDON의 값보다 큰 경우, DON 거리는 DON-PDON과 동일하다. 그렇지 않은 경우, DON 거리는 65535 - PDON + DON + 1과 동일하다. NAL 유닛은 DON 거리의 오름차순의 디코더에 전송된다. 여러 NAL 유닛이 동일한 값의 DON 거리를 공유하는 경우, 이들은 임의의 순서의 디코더로 전달될 수 있다. 원하는 수의 NAL 유닛이 디코더로 전달되었으면, PDON의 값은 디코더로 전달된 최종 NAL 유닛에 대한 DON 값으로 설정된다.
또한, 페이로드 포맷 파라미터가 사용되어 선택적인 페이로드 포맷의 특징 및 비트스트림의 소정 특징을 선택하는 데에 사용될 수 있다. 이들 파라미터는 본 명세서에서 SVC 코덱에 대한 미디어-유형 등록의 일부로서 정해질 수 있다. 이들 파라미터의 RFC4566에서 정해진 세션 기술 프로토콜(SDP) 표준으로의 맵핑은 SDP를 사용하는 애플리케이션을 위해서도 제공된다. 그러나, SDP를 사용하지 않는 제어 프로토콜과 관련하여 사용하기 위해 균등한 파라미터가 정의될 수 있다는 것을 유의해야 한다.
전술한 미디어 유형 파라미터 또는 관련된 것들은 다음과 같이 정의된다. 패킷화 모드는 RTP 패킷 스트림이 특성 또는 수신기 구현의 기능을 시그날링하는 파라미터를 지칭한다. 단지 하나의 구성 포인트만이 표시되므로, 하나 이상의 패킷화 모드를 지원하는 기능이 선언되는 경우, 다수의 구성 포인트(RTP 페이로드 유형)가 사용되어야 한다는 것을 유의해야 한다.
패킷화-모드의 값이 0이거나 패킷화-모드가 존재하지 않는 경우, RFC 3984에서 정의된 바와 같은 단일 NAL 모드가 사용되어야 한다. 이 모드는 (RFC 3984에서 기술되는 바와 같은) ITU-T 권장사항 H.241[H.241]을 사용하는 표준에서 사용된다는 것을 유의해야 한다. 패킷화 모드의 값이 1과 동일한 경우, RFC 3984에서 정의되는 바와 같이, 인터리빙되지 않은 모드가 사용되어야 한다. 패킷화-모드의 값이 2와 동일한 경우, RFC 3984에서 정의된 바와 같은 인터리빙된 모드가 사용되어야 한다. 또한, 패킷화 모드의 값은 0 내지 2의 범위의 정수이어야 한다는 것을 유의해야 한다.
sprop-interleaving-depth는 현재 RTP 세션이 어떤 다른 RTP 세션에 의존하지 않고 패킷화-모드가 존재하지 않을 때 제공되어야 하는 파라미터이다. 또한, sprop-interleaving-depth 파라미터는 패킷화-모드의 값이 0 또는 1과 동일한 경우에 제공되어서는 안된다. 이 파라미터는 현재 RTP 세션이 어떤 다른 RTP 세션 또는 패킷화 모드의 값이 2와 동일할 때 제공되어야 한다. 또한, sprop-interleaving-depth 파라미터는 NAL 유닛 스트림의 특성을 시그날링한다. 이는 전송 순서의 NAL 유닛의 임의의 VCL NAL 유닛에 선행하는 VCL 유닛의 최대 번호를 지정하고 디코딩 순서의 VCL NAL 유닛을 따른다. 결과적으로, 이는 수신기가 NAL 유닛 디코딩 순서 복원에 대한 버퍼 크기가 (VCL NAL 유닛의 관점에서) 적어도 sprop-interleaving-depth+1의 값일 때 NAL 유닛 디코딩 순서를 재구성할 수 있는 것을 보장한다. 여기서, NAL 유닛 스트림은 현재 RTP 세션에서 전송되는 NAL 유닛 모두와 존재하는 경우에 현재 RTP 세션이 의존하는 다른 RTP 세션에서 전송되는 NAL 유닛 모두로 구성되는 NAL 유닛 스트림을 지칭한다. 또한, sprop-interleaving-depth의 값은 0 내지 32176의 범위의 정수이어야 한다.
sprop-deint-buf-req는 현재 RTP 세션이 어떤 다른 RTP 세션에 의존하지 않고 패킷와 모드가 제공되지 않거나 패킷화-모드의 값이 0 또는 1과 동일할 때 제공되어서는 안 되는 파라미터이다. 이 파라미터는 현재 RTP 세션이 어떤 다른 RTP 세션에 의존하거나 패킷화-모드의 값이 2와 동일할 때 제공되어야 한다. 또한, sprop-deint-buf-req는 NAL 유닛 스트림에 대한 디인터리빙 버퍼의 요구되는 크기를 시그날링한다. sprop-denit-buf-req는 (전술한 바와 같은) 이러한 디인터리빙 버퍼에서 요구되는 (바이트 단위의) 최대 버퍼 사용보다 크거나 같아야 한다. 디인터리빙 버퍼 크기가 적어도 바이트 관점에서의 sprop-deint-buf-req의 값일 때 수신기가 NAL 유닛 디코딩 순서로의 인터리빙된 NAL 유닛으로의 디인터리빙을 수행할 수 있는 것이 보장된다. 여기서, NAL 유닛 스트림은 현재 RTP 세션에서 전송되는 NAL 유닛 모두와 존재하는 경우에 현재 RTP 세션이 의존하는 다른 RTP 세션에서 전송되는 NAL 유닛 모두로 구성되는 NAL 유닛을 지칭한다. sprop-deint-buf-req의 값은 0 내지 4294967295 범위의 정수이어야 한다. sprop-deint-buf-req 파라미터는 디인터리빙 버퍼의 요구되는 크기만을 표시한다는 것을 유의해야 한다. 네트워크 지터가 발생할 때, 적합한 크기의 지터 버퍼도 제공된다. 스케일 가능한 비트스트림이 하나 이상의 RTP 세션에서 전송되고 세션이 상이한 시간에 개시될 때, 세션 개시 변동 또한 적합한 크기의 버퍼에 의해 보상된다.
sprop-init-buf-time은 NAL 유닛 스트림의 특성을 시그날링하는 데에 사용될 수 있는 파라미터이다. 여기서, NAL 유닛 스트림은 현재 RTP 세션에서 전송되는 NAL 유닛 모두와 존재하는 경우에 현재 RTP 세션이 의존하는 다른 RTP 세션에서 전송되는 NAL 유닛 모두로 구성되는 NAL 유닛 스트림을 지칭한다. 이 파라미터는 전송 순서로부터 NAL 유닛 디코딩 순서를 복원하기 시작하기 전에 수신기에 대한 초기 버퍼링 타임을 시그날링한다. 신뢰 가능하고 순간적인 전송을 가정하면, 이 파라미터는 전송 및 디코딩을 위한 동일한 타임라인의 최대값(NAL 유닛의 전송 시간 - NAL 유닛의 디코딩 시간)이며, 첫 번째 패킷이 도달하면 디코딩을 시작한다. sprop-init-buf-time의 값을 지정하는 예는 다음과 같다.
NAL 유닛 스트림은 다음의 인터리빙된 순서로 송신되는데, 여기서 값은 디코딩 시간에 대응하고 전송 순서는 좌측으로부터 우측이다.
Figure pct00002
NAL 유닛의 안정된 전송 레이트를 가정하면, 전송 시간은
Figure pct00003
전송 시간 열방향으로부터 디코딩 시간을 감산하면 다음 시리즈를 얻는다.
Figure pct00004
따라서, NAL 유닛 전송 시간의 간격의 관점에서 이 예의 sprop-init-buf-time의 값은 1이다.
sprop-init-buf-time 파라미터는 90-kHz 클록의 움직임(clock ticks)에 음이 아닌 10진(base) 정수 표현으로서 코딩된다. 파라미터가 없는 경우는 초기 버퍼링 시간 값이 정의되지 않는다. 그렇지 않은 경우, sprop-init-buf-time의 값은 0 내지 4294967295의 범위의 정수이어야 한다. 시그날링된 sprop-init-buf-time외에도, 수신기는 믹서, 트랜슬레이터, 게이트웨이, 프록시, 트래픽-셰이퍼 및 기타 네트워크 요소에 의해 야기되는 지연 지터에 대한 버퍼링을 포함하는 전송 지연 지터 버퍼링을 고려해야 한다. 수신기가 고려해야 하는 또 다른 측면은 버퍼링 변동을 포함하는 스케일 가능한 비트스트림이 하나 이상의 세션에서 전송될 때의 세션 개시 변동이다.
sprop-max-don-diff 파라미터는 NAL 유닛 스트림의 특성을 시그날링하기 위해 사용될 수 있다. 그러나, 송신기 또는 수신기 또는 코덱 특성을 시그날링하는 데에 사용되는 것이 아니다. sprop-max-don-diff 파라미터는 0 내지 32767 범위의 정수이다. sprop-max-don-diff가 존재하지 않는 경우, 파라미터의 값은 지정되지 않는다. 여기서 다시, NAL 유닛 스트림은 현재 RTP 세션에서 전송되는 NAL 유닛 모두와 존재하는 경우에 현재 RTP 세션이 의존하는 다른 RTP 세션에서 전송되는 NAL 유닛 모두로 구성되는 NAL 유닛 스트림을 지칭한다.
sprop-max-don-diff 파라미터는 다음과 같이 계산된다. sprop-max-don-diff = max{AbsDON(i) - AbsDON(j)}, for any I and any j>i. i 및 j는 전송 순서의 NAL 유닛의 지수를 표시하며 Abs DON은 65535 후에 0으로 되돌아오지(wrap around) 않는 NAL 유닛의 디코딩 순서 번호를 지칭한다는 것을 유의해야 한다. 다시 말해, AbsDON은 다음과 같이 계산된다. m 및 n을 전송 순서에서 연속하는 NAL 유닛이라 하자. (지수가 0인) 전송 순서의 가장 처음 NAL에 대해 AbsDON(0) = DON(0)이다. 다른 NAL 유닛에 대해, AbsDON은 다음과 같이 계산된다.
Figure pct00005
여기서, DON(i)는 전송 순서에 지수 1을 갖는 NAL 유닛의 디코딩 순서 번호이다.
수신기는 수신기 버퍼의 어느 NAL 유닛이 디코더로 전달될 수 있는지를 트리거링하기 위해 sprop-max-don-diff를 사용할 수 있다는 것을 유의해야 한다.
도 2는 스케일 가능한 코딩된 비트스트림을 송신/인코딩하고 수신/디코딩하기 위한 전송 패킷으로 미디어 스트림을 패킷화하고 패킷화 해제하는 방법을 실행하는 다양한 실시예에 따라 수행되는 프로세스를 도시하는 흐름도이다. 단계(200)에서, 애플리케이션 데이터 유닛에 대한 디코딩 순서의 표시가 각 패킷의 패킷 구조에 포함된다. 즉, 전술한 바와 같이, 예를 들어, PACSI NAL 유닛이 STAP-A 패킷에 포함될 때 CL-DON 필드가 PACSI NAL 유닛에 포함된다. 수신기가 인터리빙되지 않는 패킷화 모드를 사용하는 단일 RTP 세션만에 가입된 경우, CL-DON 표시는 인터리빙되지 않은 패킷화 모드와 함께 사용되는 처음 패킷화 해제 프로세스에 의해 단계(210)에서 무시될 수 있다. 처음 패킷화 해제 프로세스는, 예를 들어, STAP-A에 포함된 각 ADU를 식별하고 STAP-A로부터 이들을 디캡슐화하며 ADU를 전송 순서에서의 디코딩을 위해 전달한다. 그러나, 수신기가 다수의 RTP 세션에 가입되고 합류한 경우, 인터리빙되지 않은 패킷화 모드를 사용하는 RTP 세션의 각 RTP 패킷에 대한 CL-DON 표시는 다른 RTP 세션의 패킷의 DON 필드와 함께 사용되어 모든 RTP 세션에서 전송되는 NAL 유닛의 디코딩 순서를 결정하고 NAL 유닛을 알맞게 재뱌열한다.
도 3은 본 발명과 함께 사용하는 일반적인 멀티미디어 통신 시스템을 도시하고 있다. 도 3에 도시된 바와 같이, 데이터 소스(300)는 아날로그, 압축되지 않은 디지털 또는 압축된 디지털 포맷 또는 이들 포맷의 임의의 조합으로 소스 신호를 제공한다. 인코더(310)는 소스 신호를 코딩된 미디어 비트스트림으로 인코딩된다. 인코더(310)는 오디오 및 비디오와 같은 하나 이상의 미디어 유형을 인코딩할 수 있거나, 하나 이상의 인코더(310)는 소스 신호의 상이한 미디어 유형을 코딩하도록 요구될 수 있다. 또한, 인코더(310)는 그래픽 및 텍스트와 같은 합성적으로 생성된 입력을 받거나 합성 미디어의 코딩된 비트스트림을 생성할 수 있다. 이하에서는 설명을 간단히 하기 위해 하나의 미디어 유형의 코딩된 미디어 비트스트림의 프로세싱만을 고려한다. 그러나, 통상적으로 실시간 브로드캐스트 서비스는 여러 스트림(통상적으로 적어도 하나의 오디오, 비디오 및 텍스트 자막 스트림)을 포함한다는 것을 유의해야 한다. 또한, 시스템은 많은 인코더를 포함할 수 있지만, 이하에서는 일반성을 잃지 않고 설명을 간단히 하기 위해 단 하나의 인코더만을 고려한다는 것을 유의해야 한다.
본 명세서에 포함된 텍스트와 예들이 인코딩 프로세스를 구체적으로 기재하고 있지만 당업자는 동일한 개념 및 원리가 대응하는 디코딩 프로세스 및 그 역에도 적용된다는 것을 쉽게 이해할 것이다.
코딩된 미디어 비트스트림이 스토리지(320)로 전송된다. 스토리지(320)는 코딩된 미디어 비트스트림을 저장하는 임의의 유형의 대용량 메모리를 포함할 수 있다. 스토리지(320)의 코딩된 미디어 비트스트림의 포맷은 기본적인 자기-포함된(self-contained) 비트스트림 포맷일 수 있거나, 하나 이상의 코딩된 미디어 비트스트림이 보유자 파일로 캡슐화될 수 있다. 일부 시스템은 "라이브"로 동작하는데, 즉, 스토리지를 생략하고 코딩된 미디어 비트스트림을 인코더(310)로부터 송신기(330)로 직접 전송한다. 코딩된 미디어 비트스트림은 그 후 필요에 따라 서버로도 지칭되는 송신기(330)로 전송된다. 전송에서 사용되는 포맷은 기본적인 자기-포함 비트스트림 포맷, 패킷 스트림 포맷일 수 있거나 하나 이상의 코딩된 미디어 비트스트림이 보유자 파일로 캡슐화될 수 있다. 인코더(310), 스토리지(320) 및 송신기(330)는 동일한 물리적 장치에 존재할 수 있거나 별도의 장치에 포함될 수 있다. 인코더(310) 및 송신기(330)는 라이브 실시간 콘텐츠로 동작할 수 있지만, 콘텐츠 인코더(310) 및/또는 송신기(330)의 작은 시간 주기 동안헤 버퍼링되어 프로세싱 지연, 전송 지연 및 코딩된 미디어 비트레이트의 변동을 완만하게 한다.
송신기(330)는 통신 프로토콜 스택을 사용하여 코딩된 미디어 비트스트림을 송신한다. 이 스택은 실시간 전송 프로토콜(RTP), 사용자 데이터그램 프로토콜(UDP) 및 인터넷 프로토콜(IP)을 포함할 수 있지만 이에 한정되는 것은 아니다. 통신 프로토콜 스택이 패킷-발신인 경우, 송신기(330)는 코딩된 미디어 비트스트림을 패킷으로 캡슐화한다. 예를 들어, RTP가 사용되는 경우, 송신기(330)는 코딩된 미디어 비트스트림을 RTP 페이로드 포맷에 따라 RTP 패킷으로 캡슐화한다. 통상적으로, 각 미디어 유형은 전용 RTP 페이로드 포맷을 갖는다. 다시, 시스템은 하나 이상의 송신기(330)를 포함할 수 있지만 설명을 간단히 하기 위해 이하의 설명에서는 단지 하나의 송신기(130)만을 고려한다는 것을 유의해야 한다.
송신기(330)는 통신 네트워크를 통해 게이트웨이(340)로 접속될 수도 아닐 수도 있다. 게이트웨이(340)는 상이한 유형의 기능을 수행할 수 있는데, 한 통신 프로토콜 스택에 따라 패킷 스트림을 다른 통신 프로토콜 스택으로 이동시키는 것과, 데이터 스트림의 병합 및 분리(forking), 유행하는 다운링크 네트워크 조건에 따라 전송된 스트림의 비트 레이트를 제어하는 것과 같은 다운링크 및/또는 수신기 기능에 따른 데이터 스트림의 조작을 수행할 수 있다. 게이트웨이(340)의 예는 멀티포인트 회의 제어 유닛(MCU), 회선 교환 및 패킷 교환 비디오 전화 사이의 게이트웨이, 셀룰러 서버를 통한 푸쉬-투-토크(PoC), 디지털 비디오 브로드캐스팅-핸드홀드 시스템의 IP 인켑슐레이터 또는 가정용 무선 네트워크로 지역적으로 브로드캐스트를 전송하는 셋톱 박스를 포함한다. RTP가 사용되는 경우, 게이트웨이(340)는 흔히 RTP 믹서이며 RTP 접속의 종단점으로서 기능할 수 있다.
시스템은, 통상적으로 전송된 신호를 수신하고 복조하며 코딩된 미디어 비트스트림으로 캡슐화 해제하는 하나 이상의 수신기(350)를 포함한다. 코딩된 미디어 비트스트림은 통상적으로 디코더(360)에 의해 추가 처리되는데, 그 출력은 하나 이상의 압축되지 않은 미디어 스트림이다. 최종적으로, 렌더러(renderer, 370)가, 예를 들어, 라우드스피커 또는 디스플레이를 사용하여 압축되지 않은 미디어 스트림을 재생할 수 있다. 수신기(350), 디코더(360) 및 렌더러(370)가 동일한 물리적 장치에 존재할 수 있거나 별도의 장치에 포함될 수 있다.
디코딩될 비트스트림은 가상적으로 임의의 유형의 네트워크 내에 위치되는 원격 장치로부터 수신될 수 있다는 것을 유의해야 한다. 또한, 비트스트림은 로컬 하드웨어 또는 소프트웨어로부터 수신될 수 있다.
비트레이터의 관점에서의 스케일 가능성, 디코딩 복잡도 및 그림 크기가 이종 및 에러 취약 환경에 대해 바람직한 특성이다. 이 특성은 비트 레이트에 대한 제한, 디스플레이 해상도, 네트워크 스루풋 및 수신 장치에서의 연산 전력과 같은 제한을 카운트한다.
본 발명의 통신 장치는 다양한 전송 기술을 사용하여 통신할 수 있는데, CDMA(Code Division Multiple Access), GSM(Global System for Mobile Communications), UMTS(Universal Mobile Telecommunication System), TDMA(Time Division Multiple Access), FDMA(Frequency Division Multiple Access), TCP/IP(Transmission Control Protocol/Internet Protocol), SMS(Short Messaging Service), MMS(Multimedia Messaging Service), 이메일, IMS(Instant Messaging Service), 블루투스, IEEE 802.11 등을 포함한다. 통신 장치는 다양한 미디어를 사용하여 통신할 수 있는데, 라디오, 적외선, 레이저, 케이블 접속 등을 포함한다.
도 4 및 도 5는 본 발명이 구현될 수 있는 하나의 대표적 이동 장치(12)를 도시하고 있다. 그러나, 본 발명의 특정 유형의 이동 장치(12) 또는 다른 전자 장치에 한정되도록 의도된 것이 아니라는 것을 이해해야 한다. 도 4 및 도 5에 도시된 특징의 일부 또는 전부가 도 1에 도시된 장치의 일부 또는 전부에 포함될 수 있다.
도 4 및 도 5의 이동 장치(12)는 하우징(30), 액정 디스플레이 형태의 디스플레이(32), 키패드(34), 마이크로폰(36), 이어-피스(38), 배터리(40), 적외선 포트(42), 안테나(44), 본 발명의 실시예에 따른 UICC 형태의 스마트 카드(46), 카드 판독기(48), 라디오 인터페이스 회로(52), 코덱 회로(54), 제어기(56) 및 메모리(58)를 포함한다. 개별적인 회로 및 소자는 모두 기술 분야, 가령, 이동 전화의 Nokia 분야에 잘 알려진 유형이다.

Claims (42)

  1. 미디어 스트림을 전송 패킷으로 패킷화하는 방법으로서,
    애플리케이션 데이터 유닛이 복수의 전송 세션에서 전송될지를 판단하는 단계와,
    상기 애플리케이션 데이터 유닛이 상기 복수의 전송 세션에서 전송될 것으로 판단되면, 제 1 디코딩 순서 표시를 제 1 전송 세션 전송 패킷에 포함시키고, 제 2 디코딩 순서 표시를 제 2 전송 세션 전송 패킷에 포함시키는 단계를 포함하되,
    상기 제 1 디코딩 순서 표시 및 상기 제 2 디코딩 순서 표시는 상기 미디어 스트림의 상기 애플리케이션 데이터 유닛의 디코딩 순서를 표시하는 적어도 하나의 값을 포함하고,
    상기 제 1 디코딩 순서 표시는 상기 제 2 전송 세션 전송 패킷을 포함하는 제 2 전송 세션이 없을 때 불필요한 것으로 표시되는
    패킷화 방법.
  2. 제 1 항에 있어서,
    상기 미디어 스트림은 스케일 가능한 비디오 비트스트림인
    패킷화 방법.
  3. 제 1 항에 있어서,
    상기 전송 패킷은 실시간 전송 프로토콜에 따라 형성되는
    패킷화 방법.
  4. 제 1 항에 있어서,
    상기 디코딩 순서 표시는 상기 적어도 하나의 전송 패킷의 페이로드 콘텐츠 스케일 가능성 정보 네트워크 추상화(abstraction) 계층 유닛에 포함되는
    패킷화 방법.
  5. 제 4 항에 있어서,
    상기 페이로드 콘텐츠 스케일 가능성 정보 네트워크 추상화 계층 유닛은 상기 적어도 하나의 전송 패킷의 상기 제 1 네트워크 추상화 계층이며,
    상기 적어도 하나의 전송 패킷은 통합 패킷(aggregation packet)을 포함하는
    패킷화 방법.
  6. 제 1 항에 있어서,
    상기 애플리케이션 데이터 유닛은 적어도 부분적으로 네트워크 추상화 계층 유닛으로 구성되는
    패킷화 방법.
  7. 제 1 항에 있어서,
    상기 미디어 스트림은 상기 복수의 전송 세션의 단일 전송 세션 중 하나에 가입되는 수신기에 의해 수신되며,
    상기 수신기는 상기 디코딩 순서 표시를 무시하는
    패킷화 방법.
  8. 제 1 항에 있어서,
    상기 복수의 전송 세션 각각은 인터리빙되지 않은 패킷화 모드와 인터리빙된 패킷화 모드 중 하나를 이용하는
    패킷화 방법.
  9. 제 1 항의 프로세스를 수행하도록 구성되는 컴퓨터 코드를 포함하는
    컴퓨터 판독 가능한 기록 매체.
  10. 프로세서와,
    상기 프로세서에 통신 가능하게 접속되는 메모리 유닛을 포함하되,
    상기 메모리 유닛은
    애플리케이션 데이터 유닛이 복수의 전송 세션에서 전송될지를 판단하도록 구성되는 컴퓨터 코드와,
    상기 애플리케이션 데이터 유닛이 상기 복수의 전송 세션에서 전송될 것으로 판단되면, 미디어스트림을 패킷화하기 위해, 제 1 디코딩 순서 표시를 제 1 전송 세션 전송 패킷에 포함시키고, 제 2 디코딩 순서 표시를 제 2 전송 세션 전송 패킷에 포함시키도록 구성되는 컴퓨터 코드를 포함하되,
    상기 제 1 디코딩 순서 표시 및 상기 제 2 디코딩 순서 표시는 상기 미디어 스트림에서 전송되는 상기 애플리케이션 데이터 유닛의 디코딩 순서를 표시하는 적어도 하나의 값을 포함하고,
    상기 제 1 디코딩 순서 표시는 상기 제 2 전송 세션 전송 패킷을 포함하는 제 2 전송 세션이 없을 때 불필요한 것으로 표시되는
    장치.
  11. 제 10 항에 있어서,
    상기 미디어 스트림은 스케일 가능한 비디오 비트스트림인
    장치.
  12. 제 10 항에 있어서,
    상기 메모리 유닛은 실시간 전송 프로토콜에 따라 상기 전송 패킷을 형성하도록 구성되는 컴퓨터 코드를 더 포함하는
    장치.
  13. 제 10 항에 있어서,
    상기 메모리 유닛은 상기 적어도 하나의 전송 패킷의 페이로드 콘텐츠 스케일 가능성 정보 네트워크 추상화 계층 유닛에 상기 디코딩 순서 표시를 포함시키도록 구성되는
    장치.
  14. 제 13 항에 있어서,
    상기 페이로드 콘텐츠 스케일 가능성 정보 네트워크 추상화 계층 유닛은 상기 적어도 하나의 전송 패킷의 상기 제 1 네트워크 추상화 계층 유닛이며,
    상기 적어도 하나의 전송 패킷은 통합 패킷을 포함하는
    장치.
  15. 제 10 항에 있어서,
    상기 애플리케이션 데이터 유닛은 적어도 부분적으로 네트워크 추상화 계층 유닛으로 구성되는
    장치.
  16. 제 10 항에 있어서,
    상기 미디어 스트림은 상기 복수의 전송 세션의 단일 전송 세션 중 하나에 가입되는 수신기에 의해 수신되며,
    상기 수신기는 상기 디코딩 순서 표시를 무시하는
    장치.
  17. 제 10 항에 있어서,
    상기 복수의 전송 세션 각각은 인터리빙되지 않은 패킷화 모드와 인터리빙된 패킷화 모드 중 하나를 이용하는
    장치.
  18. 애플리케이션 데이터 유닛이 복수의 전송 세션에서 전송될지를 판단하는 수단과,
    상기 애플리케이션 데이터 유닛이 상기 복수의 전송 세션에서 전송될 것으로 판단되면, 미디어 스트림을 패킷화하기 위해, 제 1 디코딩 순서 표시를 제 1 전송 세션 전송 패킷에 포함시키고, 제 2 디코딩 순서 표시를 제 2 전송 세션 전송 패킷에 포함시키는 수단을 포함하되,
    상기 디코딩 순서 표시는 상기 미디어 스트림에서 전송되는 상기 애플리케이션 데이터 유닛의 디코딩 순서를 표시하는 적어도 하나의 값을 포함하고,
    상기 제 1 디코딩 순서 표시는 상기 제 2 전송 세션 전송 패킷을 포함하는 제 2 전송 세션이 없을 때 불필요한 것으로 표시되는
    장치.
  19. 제 18 항에 있어서,
    상기 미디어 스트림은 스케일 가능한 비디오 비트스트림인
    장치.
  20. 전송 패킷을 미디어 스트림으로 패킷화 해제하는 방법으로서,
    제 1 디코딩 순서 표시를 포함하는 제 1 전송 세션 전송 패킷 및 제 2 디코딩 순서 표시를 포함하는 제 2 전송 세션 전송 패킷을 수신하는 단계와,
    상기 제 1 전송 세션 전송 패킷의 상기 애플리케이션 데이터 유닛이 상기 제 2 전송 세션 전송 패킷을 포함하는 제 2 전송 세션 없이 전송되었다고 판단되면, 제 1 패킷화 해제 프로세스를 통해 상기 디코딩 순서 표시를 무시하는 단계와,
    상기 제 1 전송 패킷의 상기 애플리케이션 데이터 유닛이 상기 제 2 전송 세션 전송 패킷을 포함하는 상기 제 2 전송 세션을 가지고 전송되었다고 판단되면, 제 2 패킷화 해제 프로세스의 상기 디코딩 순서 표시를 사용하여 상기 미디어 스트림에서 전송되는 상기 애플리케이션 데이터 유닛의 디코딩 순서를 더 판단하는 단계를 포함하는
    패킷화 해제 방법.
  21. 제 20 항에 있어서,
    상기 미디어 스트림은 스케일 가능한 비디오 비트스트림인
    패킷화 해제 방법.
  22. 제 20 항에 있어서,
    상기 전송 패킷은 실시간 전송 프로토콜에 따라 형성되는
    패킷화 해제 방법.
  23. 제 20 항에 있어서,
    상기 디코딩 순서 표시는 상기 적어도 하나의 전송 패킷의 페이로드 콘텐츠 스케일 가능성 정보 네트워크 추상화 계층 유닛에 포함되는
    패킷화 해제 방법.
  24. 제 23 항에 있어서,
    상기 페이로드 콘텐츠 스케일 가능성 정보 네트워크 추상화 계층 유닛은 상기 적어도 하나의 전송 패킷의 상기 제 1 네트워크 추상화 계층 유닛이며,
    상기 적어도 하나의 전송 패킷은 통합 패킷을 포함하는
    패킷화 해제 방법.
  25. 제 20 항에 있어서,
    상기 애플리케이션 데이터 유닛은 적어도 부분적으로 네트워크 추상화 계층 유닛으로 구성되는
    패킷화 해제 방법.
  26. 제 20 항에 있어서,
    상기 미디어 스트림은 상기 복수의 전송 세션의 단일 전송 세션 중 하나에 가입되는 수신기에 의해 수신되며,
    상기 수신기는 상기 디코딩 순서 표시를 무시하는
    패킷화 해제 방법.
  27. 제 20 항에 있어서,
    상기 복수의 전송 세션은 인터리빙되지 않은 패킷화 모드와 인터리빙된 패킷화 모드 중 하나를 사용하는
    패킷화 해제 방법.
  28. 제 27 항에 있어서,
    상기 제 1 패킷화 해제 프로세스는 인터리빙되지 않은 패킷화 모드와 함께 사용되는 패킷화 해제 프로세스를 포함하는
    패킷화 해제 방법.

  29. 제 27 항에 있어서,
    상기 제 2 패킷화 해제 프로세스는 상기 인터리빙된 패킷화 모드와 함께 사용되는 패킷화 해제 프로세스를 포함하는
    패킷화 해제 방법.
  30. 제 20 항의 프로세스를 수행하도록 구성되는 컴퓨터 코드를 포함하는
    컴퓨터 판독 가능한 기록 매체.
  31. 프로세서와,
    상기 프로세서에 통신 가능하게 접속되는 메모리 유닛을 포함하되,
    상기 메모리 유닛은
    제 1 디코딩 순서 표시를 포함하는 제 1 전송 세션 전송 패킷 및 제 2 디코딩 순서 표시를 포함하는 제 2 전송 세션 전송 패킷을 수신하도록 구성되는 컴퓨터 코드와,
    상기 제 1 전송 세션 전송 패킷의 상기 애플리케이션 데이터 유닛이 상기 제 2 전송 세션 전송 패킷을 포함하는 제 2 전송 세션 없이 전송된 것으로 판단되면, 제 1 패킷화 해제 프로세스를 통해 상기 디코딩 순서 표시를 무시하도록 구성되는 컴퓨터 코드와,
    상기 제 1 전송 패킷의 상기 애플리케이션 데이터 유닛이 상기 제 2 전송 세션 전송 패킷을 포함하는 상기 제 2 전송 세션을 가지고 전송되었다고 판단되면, 제 2 패킷화 해제 프로세스의 상기 디코딩 순서 표시를 사용하여 상기 미디어 스트림에서 전송되는 상기 애플리케이션 데이터 유닛의 디코딩 순서를 더 판단하도록 구성되는 컴퓨터 코드를 포함하는
    장치.
  32. 제 31 항에 있어서,
    상기 미디어 스트림은 스케일 가능한 비디오 비트스트림인
    장치.
  33. 제 31 항에 있어서,
    상기 메모리 유닛은 실시간 전송 프로토콜에 따라 상기 전송 패킷을 형성하도록 구성되는 컴퓨터 코드를 더 포함하는
    장치.

  34. 제 31 항에 있어서,
    상기 메모리 유닛은 상기 적어도 하나의 전송 패킷의 페이로드 콘텐츠 스케일 가능성 정보 네트워크 추상화 계층에 상기 디코딩 순서 표시를 포함시키도록 구성되는 컴퓨터 코드를 더 포함하는
    장치.
  35. 제 34 항에 있어서,
    상기 페이로드 콘텐츠 스케일 가능성 정보 네트워크 추상화 계층 유닛은 상기 적어도 하나의 전송 패킷의 상기 제 1 네트워크 추상화 계층 유닛이며,
    상기 적어도 하나의 전송 패킷은 통합 패킷을 포함하는
    장치.
  36. 제 31 항에 있어서,
    상기 애플리케이션 데이터 유닛은 적어도 부분적으로 네트워크 추상화 계층 유닛으로 구성되는
    장치.

  37. 제 31 항에 있어서,
    상기 미디어 스트림은 상기 복수의 전송 세션의 단일의 전송 세션 중 하나에 가입되는 수신기에 의해 수신되며,
    상기 수신기는 상기 디코딩 순서 표시를 무시하는
    장치.
  38. 제 31 항에 있어서,
    상기 복수의 전송 세션은 인터리빙된 패킷화 모드와 인터리빙되지 않은 패킷화 모드 중 하나를 이용하는
    장치.
  39. 제 38 항에 있어서,
    상기 제 1 패킷화 해제 프로세스는 상기 인터리빙되지 않은 패킷화 모드와 함께 사용되는 패킷화 해제 프로세스를 포함하는
    장치.

  40. 제 38 항에 있어서,
    상기 제 2 패킷화 해제 프로세스는 상기 인터리빙된 패킷화 모드와 함께 사아ㅛㅇ되는 패킷화 해제 프로세스를 포함하는
    장치.
  41. 제 1 디코딩 순서 표시를 포함하는 제 1 전송 세션 전송 패킷 및 제 2 디코딩 순서 표시를 포함하는 제 2 전송 세션 전송 패킷을 수신하는 수단과,
    상기 제 1 전송 세션 전송 패킷의 상기 애플리케이션 데이터 유닛이 상기 제 2 전송 세션 전송 패킷을 포함하는 제 2 전송 세션 없이 전송되었다고 판단되면, 제 1 패킷화 해제 프로세스를 통한 상기 디코딩 순서 표시를 무시하는 수단과,
    상기 제 1 전송 패킷의 상기 애플리케이션 데이터 유닛이 상기 제 2 전송 세션 전송 패킷을 포함하는 상기 제 2 전송 세션을 가지고 전송되었다고 판단되면, 제 2 패킷화 해제 프로세스의 상기 디코딩 순서 표시를 사용하여 상기 미디어 스트림에서 전송되는 상기 애플리케이션 데이터 유닛의 디코딩 순서를 더 판단하는 수단을 포함하는
    장치.

  42. 제 41 항에 있어서,
    상기 미디어 스트림은 스케일 가능한 비디오 비트스트림인
    장치.
KR1020107009036A 2007-09-24 2008-09-23 패킷화 방법 및 장치, 컴퓨터 판독 가능한 기록 매체, 패킷화 해제 방법 및 장치 KR20100085070A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US97477707P 2007-09-24 2007-09-24
US60/974,777 2007-09-24

Publications (1)

Publication Number Publication Date
KR20100085070A true KR20100085070A (ko) 2010-07-28

Family

ID=40472918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107009036A KR20100085070A (ko) 2007-09-24 2008-09-23 패킷화 방법 및 장치, 컴퓨터 판독 가능한 기록 매체, 패킷화 해제 방법 및 장치

Country Status (8)

Country Link
US (1) US8352625B2 (ko)
EP (1) EP2206314B1 (ko)
JP (1) JP2011503919A (ko)
KR (1) KR20100085070A (ko)
CN (1) CN101809967A (ko)
MX (1) MX2010003186A (ko)
WO (1) WO2009040723A2 (ko)
ZA (1) ZA201002835B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101001024B1 (ko) * 2007-12-18 2010-12-14 한국전자통신연구원 비디오 멀티캐스팅 서비스에서 정보 보안 유지 방법 및장치
KR20100071688A (ko) * 2008-12-19 2010-06-29 한국전자통신연구원 스케일러블 비디오 코딩 기반의 포괄적 비디오 접근을 위한스트리밍 서비스 장치 및 방법
CA2711311C (en) * 2009-08-10 2016-08-23 Seawell Networks Inc. Methods and systems for scalable video chunking
KR20120078718A (ko) * 2009-09-14 2012-07-10 톰슨 라이센싱 스트림의 기본적인 패킷들의 선택에 의한 ｍｐｅｇ?２ ｔｓ 다중화된 멀티미디어 스트림의 분배방법
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9319350B2 (en) * 2011-04-21 2016-04-19 Hewlett Packard Enterprise Development Lp Virtual address for virtual port
JPWO2012153450A1 (ja) * 2011-05-11 2014-07-31 パナソニック株式会社 動画像送信装置および動画像送信方法
US9723305B2 (en) * 2013-03-29 2017-08-01 Qualcomm Incorporated RTP payload format designs
US9350781B2 (en) * 2013-05-31 2016-05-24 Qualcomm Incorporated Single network abstraction layer unit packets with decoding order number for video coding
WO2015088292A1 (en) * 2013-12-15 2015-06-18 Lg Electronics Inc. Broadcast transmission device and operating method thereof, and broadcast reception device and operating method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389010B1 (en) * 1995-10-05 2002-05-14 Intermec Ip Corp. Hierarchical data collection network supporting packetized voice communications among wireless terminals and telephones
US6934756B2 (en) * 2000-11-01 2005-08-23 International Business Machines Corporation Conversational networking via transport, coding and control conversational protocols
EP1603339A1 (en) * 2004-06-01 2005-12-07 STMicroelectronics S.r.l. Method and system for communicating video data in a packet-switched network, related network and computer program product therefor
US7751324B2 (en) 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
US8522293B2 (en) * 2004-12-15 2013-08-27 Time Warner Cable Enterprises Llc Method and apparatus for high bandwidth data transmission in content-based networks
CA2603883A1 (en) * 2005-04-07 2006-10-12 Nokia Corporation Buffering in streaming delivery

Also Published As

Publication number Publication date
ZA201002835B (en) 2011-10-26
MX2010003186A (es) 2010-04-30
WO2009040723A3 (en) 2010-01-21
EP2206314A2 (en) 2010-07-14
JP2011503919A (ja) 2011-01-27
WO2009040723A2 (en) 2009-04-02
US8352625B2 (en) 2013-01-08
US20090083434A1 (en) 2009-03-26
CN101809967A (zh) 2010-08-18
EP2206314B1 (en) 2016-07-27

Similar Documents

Publication Publication Date Title
Wenger et al. RTP payload format for H. 264 video
Wang et al. RTP payload format for H. 264 video
US8352625B2 (en) Coded application data unit order recovery in layered multicast
AU2007204168B2 (en) Backward-compatible aggregation of pictures in scalable video coding
EP2119187B1 (en) Backward-compatible characterization of aggregated media data units
US8831039B2 (en) Time-interleaved simulcast for tune-in reduction
US9807431B2 (en) Generic indication of adaptation paths for scalable multimedia
US20070183494A1 (en) Buffering of decoded reference pictures
US20180035176A1 (en) Retrieving and accessing segment chunks for media streaming
JP2018521538A (ja) ウェブソケットサブプロトコルを使用したメディアデータの転送
US20080267287A1 (en) System and method for implementing fast tune-in with intra-coded redundant pictures
US20100183033A1 (en) Method and apparatus for encapsulation of scalable media
Wenger et al. RFC 3984: RTP payload format for H. 264 video
Wang et al. RFC 6184: RTP Payload Format for H. 264 Video
Ott et al. RTP Payload Format for ITU-T Rec. H. 263 Video
Ott et al. RFC 4629: RTP Payload Format for ITU-T Rec. H. 263 Video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application