KR20050099999A - 화상 부호화 방법 - Google Patents

화상 부호화 방법 Download PDF

Info

Publication number
KR20050099999A
KR20050099999A KR1020057015125A KR20057015125A KR20050099999A KR 20050099999 A KR20050099999 A KR 20050099999A KR 1020057015125 A KR1020057015125 A KR 1020057015125A KR 20057015125 A KR20057015125 A KR 20057015125A KR 20050099999 A KR20050099999 A KR 20050099999A
Authority
KR
South Korea
Prior art keywords
multimedia data
transmission
transmission unit
order
pictures
Prior art date
Application number
KR1020057015125A
Other languages
English (en)
Other versions
KR100711635B1 (ko
Inventor
미스카 한눅셀라
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20050099999A publication Critical patent/KR20050099999A/ko
Application granted granted Critical
Publication of KR100711635B1 publication Critical patent/KR100711635B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Communication Control (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 멀티미디어 정보를 버퍼링하기 위한 방법에 관한 것으로, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는 매개변수가 정의된다. 본 발명은 또한 시스템, 송신기기, 수신기기, 컴퓨터 프로그램 생성물, 신호 및 모듈에 관한 것이다.

Description

화상 부호화 방법{Picture coding method}
본 발명은 멀티미디어 정보를 버퍼링하기 위한 방법에 관한 것이다. 또한 본 발명은 멀티미디어 데이터를 포함하는 전송 단위들로서 수신되는 부호화된 화상스트림을 복호기에서 복호화하기 위한 방법에 관한 것이다. 추가로 본 발명은 시스템, 송신기기, 수신기기, 컴퓨터 프로그램 생성물, 신호, 및 모듈에 관한 것이다.
공표된 비디오 부호화 표준들로는 ITU-T H.261, ITU-T H.263, ISO/IEC, MPEG-1, ISO/ICE MPEG-2 및 ISO/IEC MPEG-4 파트 2 등을 들 수 있다. 이러한 표준들은 여기서는 기존의 비디오 부호화 표준들이라고 한다.
비디오 통신 시스템들
비디오 통신 시스템들은 대화형 및 비대화형 시스템들로 나뉠 수 있다. 대화형 시스템들은 화상회의 및 화상전화(video telephony)를 포함한다. 이러한 시스템들의 예들로는 ITU-T 권고안들인 H.320, H.323 및 H.324가 있고, 이것들은 ISDN, IP 및 PSTN 네트워크들에서 동작하는 화상회의/전화 시스템을 각각 명기한다. 대화형 시스템들은 사용자의 경험을 향상시키기 위해 종단간 지연(end-to-end delay)(오디오-비디오 캡쳐로부터 원단(far-end) 오디오-비디오 프레젠테이션까지)을 최소화하는 것을 목적으로 한다는 것이 특징이다.
비대화형 시스템들로는, 디지털 다기능 디스크들(DVD들) 또는 재생(playback)기기, 디지털 TV의 대용량 메모리에 저장된 비디오 파일들과 같은 저장된 콘텐츠, 및 스트리밍의 재생(playback)을 포함한다. 이러한 기술영역들에서 가장 중요한 표준들의 짤막한 개관이 아래에 주어진다.
오늘날 디지털 비디오 소비자 전자제품들의 주요 표준은 MPEG-2이고, 이것은 비디오압축, 오디오압축, 저장, 및 전송을 위한 명세사항들을 포함한다. 부호화된 비디오의 저장 및 전송은 기초 스트림(elementary stream)의 개념에 기초한다. 기초스트림은 신호원(예컨대, 비디오)으로부터의 부호화된 데이터와 신호정보의 동기화, 식별 및 특성묘사(characterization)에 필요한 보조데이터로 구성된다. 기초스트림은 일정길이 또는 가변길이 패킷들로 패킷화되어 패킷화된 기초스트림(PES)을 형성한다. 각 PES패킷은 헤더와 이것을 뒤따르며 페이로드라 불리는 스트림데이터로 구성된다. 여러 기초스트림들로부터의 PES패킷들은 결합되어 프로그램 스트림(PS) 또는 전송 스트림(TS) 중의 어느 하나를 형성한다. PS는 저장 및 재생형 응용들과 같은 무시할만한 전송오류들을 가지는 응용들을 겨냥한다. TS는 전송오류들에 민감한 응용들을 겨냥한다. 그러나, TS는 네트워크 처리율이 일정하게 되도록 보장된다고 가정한다.
ITU-T 및 ISO/IEC의 조인트 비디오 팀(JVT)은 ITU-T 권고 H.264 및 ISO/IEC 국제표준 14496-10(MPEG-4 Part 10)과 동일한 표준텍스트를 포함하는 표준안을 발표하였다. 이 표준안은 이 출원서에서 JVT 부호화표준이라고 하고 이 표준안에 따른 코덱(codec)은 JVT코덱이라고 한다.
코덱 명세사항 자체는 비디오 부호화 층(VCL) 및 네트워크 추상 층(NAL) 간을 개념적으로 구별한다. VCL은 변환, 양자화, 움직임추적/보상, 및 루프필터와 같은 것들인 코덱의 신호처리 기능성을 포함한다. 그것은, 오늘날의 비디오 코덱들의 대부분의 일반 개념인, 동보상을 이용한 화상 간 예측 및 잔여 신호의 변환부호화를 이용하는 매크로블록 기반 코덱을 따른다. VCL의 출력은 슬라이스들이고, 그 비트 스트링은 정수 개 매크로블록들의 매크로블록 데이터, 및 슬라이스 헤더의 정보(슬라이스 내의 제1매크로블록의 공간주소, 초기양자화매개변수, 및 그 유사정보를 담고 있음)를 담고 있다. 슬라이스들의 매크로블록들은, 이른바 플렉시블 매크로블록 오더링 신텍스를 이용하여 다른 매크로블록 할당이 지정되지 않는다면, 그 순서가 주사 순서이다. 화상 내 예측은 슬라이스 내에서만 이용된다.
NAL은 VCL의 슬라이스 출력을 네트워크 추상 층 단위들(NALU들)로 캡슐화하며, 이 NALU들은 패킷 네트워크를 통한 전송 또는 패킷지향 다중화 환경들에서의 사용에 적합하다. JVT의 부록(Annex) B는 이러한 NALU들을 바이트 스트림 지향 네트워크들을 통해 송신하기 위한 캡슐화 프로세스를 정의한다.
H.263의 선택사항적 참조화상 선택모드와, MPEG-4 Part 2의 NEWPRED 코딩 툴은 각 화상세그먼트당, 예컨대, H.263의 각 슬라이스당 동보상용 참조프레임의 선택을 가능케 한다. 게다가, H.263의 선택사항적인 강화형(enhanced) 참조화상 선택모드와, JVT 부호화표준은 각 매크로블록을 위한 참조프레임의 선택을 개별적으로 가능하게 한다.
참조화상 선택은 많은 유형들의 범위성 체계들(scalability schemes)을 가능케 한다. 도 1은 시간 범위성 체계의 일 예를 보여주며, 여기서 시간 범위성 체계는 재귀형 시간 범위성이라고 한다. 이 예의 체계는 3개의 일정한 프레임율들을 이용하여 복호화될 수 있다. 도 2는 화상들의 시퀀스가 인터리브된 방식의 2 이상의 독립적으로 부호화된 스레드(thread)들로 분할되는 비디오 용장성 부호화라고 하는 체계를 묘사한다. 이러한 및 모든 후속 도면들에서의 화살표들은 동보상의 방향을 나타내고 프레임들 아래의 값들은 프레임들의 상대적 포획(capturing) 및 표시 시간을 나타낸다.
전송 순서
기존의 비디오 부호화 표준들에서, 화상들의 복호화순서는 B 화상들을 제외하고는 표시순서와 동일하다. 기존의 B 화상의 블록은, 표시순서에서 하나의 참조화상은 시간적으로 앞에 있고 다른 참조화상은 시간적으로 뒤에 있는 2개의 참조화상들로부터 양방향으로 시간적으로 예측될 수 있다. 복호화순서의 최종 참조화상만이 표시순서에서 B 화상 뒤에 있을 수 있다(예외: 시간적으로 후속하는 참조 프레임의 필드화상들 둘 다가 복호화순서에서 B 화상을 앞설 수 있는 H.263의 비월주사 부호화). 기존의 B 화상은 시간적 예측을 위한 참조화상으로서 사용될 수 없고, 그러므로, 기존의 B 화상은 어떠한 다른 화상들의 복호화에 영향을 주지 않고 배치될 수 있다.
JVT 부호화표준은 종전의 표준들에 비해 다음의 신규한 기술적 특징들을 구비한다:
- 화상들의 복호화순서는 표시순서로부터 분리된다. 화상번호는 복호화순서를 나타내고 화상순서 카운트(count)는 표시순서를 나타낸다.
- B 화상의 블록을 위한 참조화상들은 표시순서상 B 화상의 전 또는 후에 있을 수 있다. 결과적으로, B 화상은 양방향(bi-directional) 화상이라기보다는 이중예측(bi-predictive)화상이 된다.
- 참조화상들로서 이용되지 않는 화상들은 명시적으로 마킹된다. 임의 유형(인트라, 인터, B 등)의 화상은 참조화상 또는 비참조화상 중의 어느 것이나 될 수 있다. (따라서, B 화상은 다른 화상들의 시간적 예측을 위한 참조화상으로서 이용될 수 있다).
- 화상은 다른 부호화 유형을 이용하여 부호화되는 슬라이스를 담고 있을 수 있다. 달리 말하면, 부호화된 화상은 예를 들면 인트라부호화된 슬라이스 및 B-부호화된 슬라이스로 구성될 수 있다.
복호화순서로부터 표시순서의 분리는 압축효율 및 오류복원의 관점에서 유익할 수 있다.
압축효율을 개선할 잠재성이 있는 예측구조의 예는 도 3에 나타나 있다. 상자들은 화상들을 나타내며, 상자들 내의 대문자들은 부호화유형들을 나타내며, 상자들 내의 숫자들은 JVT 부호화표준에 따른 화상번호들이고, 화살표들은 예측 의존성들을 나타낸다. 화상 B17은 화상들(B18)의 참조화상임에 주의한다. 압축효율은 기존의 부호화에 비해 개선될 가능성이 있는데, 그 이유는 PBBP 또는 PBBBP 부호화된 화상패턴들을 이용하는 기존의 부호화에 비해 화상들(B18)을 위한 참조화상들이 시간적으로 더 가깝게 있기 때문이다. 압축효율은 기존의 PBP 부호화된 화상패턴에 비해 개선될 가능성이 있는데, 그 이유는 일부 참조화상들이 양방향으로 예측되기 때문이다.
도 4는 오류복원성을 개선하는데 이용될 수 있는 인트라 화상 연기(postponement) 방법의 일 예를 나타낸다. 기존에는, 예를 들면 장면 절단(cut) 후 또는 만료된 인트라 화상 리프레시 기간 후 인트라 화상이 즉시 부호화된다. 인트라 화상 연기 방법에서는, 인트라 화상을 부호화할 필요가 생긴 직후 인트라 화상이 부호화되지 않고, 대신 시간적으로 후속하는 화상이 인트라 화상으로서 선택된다. 부호화된 인트라 화상과 기존의 인트라 화상 위치 사이의 각 화상은 시간적으로 후속하는 다음 화상으로부터 예측된다. 도 4가 보인 바와 같이, 인트라 화상 연기 방법은 2개의 독립적인 화상 간 예측 체인들을 발생하는 반면, 기존의 부호화 알고리즘들은 단일의 화상 간 체인을 생성한다. 2체인 접근법은 기존의 1체인 접근법보다 소거오류들(erasure errors)에 대해 더 강하다는 것은 직관적으로 명백하다. 하나의 체인이 패킷 손실을 당하는 경우, 다른 체인은 여전히 제대로 수신될 수 있다. 기존의 부호화에서, 패킷 손실은 항상 프레임 간 예측 체인의 나머지에 오류가 전파(propagation)되게 한다.
기존에 디지털 비디오에 관련되어 있던 2 유형들의 순서 및 타이밍 정보는 복호화 및 프레젠테이션 순서이다. 관련된 기술의 더 면밀한 검토가 아래에서 주어진다.
복호화 타임 스탬프(DTS)는 부호화된 데이터 단위가 복호화될 것이라고 가정되는 기준클럭에 대한 시간을 나타낸다. DTS가 부호화되고 전송된다면, 그것은 2가지 목적에 소용된다. 첫째, 화상들의 복호화순서가 화상들의 출력순서와 다르다면, DTS는 복호화순서를 명시적으로 나타낸다. 둘째, DTS는 임의 순간에 수신율이 전송률과 가깝다는 것을 전제로 하여 어떤 전치 복호기(predecoder) 버퍼링 동작을 보장한다. 종단 간 대기시간이 가변하는 네트워크들에서, 제2의 DTS 사용은 역할이 없거나 거의 없다. 대신, 수신된 데이터는 비압축 화상들을 위한 후치(post) 복호기 버퍼에 여유가 있다는 것을 전제로 하여 가능한 한 빨리 복호화된다.
DTS의 수송은 사용 중인 통신시스템 및 비디오 부호화 표준에 달려 있다. MPEG-2 시스템들에서, DTS는 선택사항적으로는 PES패킷의 헤더에 있는 하나의 항목으로서 송신될 수 있다. JVT 부호화 표준에서, DTS는 선택사항적으로는 SEI(Supplemental Enhancement Information)의 일부로서 수송될 수 있고, 선택사항적 HRD(Hypothetical Reference Decoder)의 동작 시에 사용될 수 있다. ISO 기본매체 파일포맷(Base Media File Format)에서, DTS는 자신 소유의 박스 유형, 복호화 시간 대 샘플 박스 전용이다. RTP기반 스트리밍 시스템들과 같은 많은 시스템들에서, DTS는 조금도 수송되지 않는데, 그것은 복호화순서가 송신순서와 동일할 것이라고 추측되고 정확한 복호화 시간은 중요한 역할을 하지 않기 때문이다.
H.263 선택사항적 부록 U 및 부록 W.6.12는 복호화순서에서 이전의 참조화상에 비해 1만큼 증가된 화상번호를 지정한다. JVT 부호화 표준에서, 프레임번호 부호화 요소는 H.263의 화상번호와 유사하게 지정된다. JVT 부호화 표준은 즉석 복호기 리프레시(instantaneous decoder refresh; IDR) 화상이라 불리는 특정 유형의 인트라 화상을 지정한다. 복호화순서에서 IDR 화상보다 빠른 화상들을 참조하는 후속 화상은 없다. IDR 화상은 종종 장면전환에 대한 응답으로서 부호화된다. JVT 부호화 표준에서, 도 5a 및 도 5b에서 나타낸 바와 같이 IDR 화상의 손실이 있는 경우에 오류복원력을 개선하기 위해 프레임번호는 IDR 화상에서 0으로 재설정(reset)된다. 그러나, JVT 부호화 표준의 장면정보 SEI 메시지는 장면전환들을 검출하기 위해 사용될 수도 있다.
H.263 화상번호는 참조화상들의 복호화순서를 복원하기 위해 사용될 수 있다. 마찬가지로, JVT 프레임번호는 복호화순서에서 IDR 화상(포함) 및 다음 IDR 화상(배제) 간의 프레임들의 복호화순서를 복원하는데 사용될 수 있다. 그러나, 상보적인 참조필드쌍들(다른 패리티의 필드들로서 부호화된 연속 화상들)이 동일한 프레임번호를 공유하기 때문에, 그것들의 복호화순서는 프레임번호들로부터 재구성될 수 없다.
비참조 화상의 H.263 화상번호 또는 JVT 프레임번호는 복호화순서에서 이전의 참조 화상의 화상 또는 프레임번호에 1을 더한 것과 동일하게 되도록 지정된다. 수개의 비참조 화상들이 복호화순서에서 연속한다면, 그것들은 동일한 화상 또는 프레임번호를 공유한다. 또한 비참조 화상의 화상 또는 프레임번호는 복호화 순서에서 다음의 참조 화상의 화상 또는 프레임번호와 동일하다. 연속하는 비참조 화상들의 복호화순서는 H.263의 시간참조(Temporal Reference; TR) 복호화 요소 또는 JVT 부호화 표준의 화상순서카운트(Picture Order Count; POC) 개념을 이용하여 복원될 수 있다.
프레젠테이션 타임스탬프(presentation timestamp; PTS)는 화상이 표시된다고 가정할 때의 기준클록에 대한 시간을 나타낸다. 프레젠테이션 타임스탬프는 디스플레이 타임스탬프, 출력 타임스탬프, 및 복합 타임스탬프라고도 불린다.
PTS의 수송은 사용되는 통신시스템 및 비디오 부호화 표준에 달려 있다. MPEG-2 시스템들에서, PTS는 선택사항적으로는 PES 패킷 헤더에서의 하나의 항목으로서 송신될 수 있다. JVT 부호화 표준에서, PTS는 선택사항적으로는 SEI(Supplemental Enhancement Information; SEI)의 일부로서 수송될 수 있다. ISO 기본매체 파일포맷에서, PTS는 프레젠테이션 타임스탬프가 대응하는 복호화 타임스탬프에 관련하여 부호화되는 자신 소유의 박스 유형인 조성시간 대 샘플 박스 전용이다. RTP에서, RTP 패킷 헤더의 RTP 타임스탬프는 PTS에 대응한다.
기존의 비디오 부호화 표준들은 많은 측면에서 PTS와 유사한 시간참조(TR) 부호화 요소를 특징으로 한다. MPEG-2 비디오와 같은 기존 부호화 표준들의 일부에서, TR은 화상 군(Groups of Pictures; GOP)의 시작부에서 영으로 리셋된다. JVT 부호화 표준에서, 비디오 부호화 층에는 시간의 개념이 없다. 화상순서카운트(POC)는 각 프레임 및 필드에 대해 지정되고, 예를 들면 B 슬라이스들의 직접 시간 예측시 TR과 유사하게 사용된다. POC는 IDR 화상에서 0으로 재설정된다.
버퍼링
스트리밍 클라이언트들은 전형적으로 비교적 큰 양의 데이터를 저장할 수 있는 수신기 버퍼를 가진다. 초기에는, 스트리밍 세션이 성립될 때, 클라이언트는 스트림의 재생을 즉시 시작하지는 않고, 들어오는 데이터를 몇 초간 버퍼링한다. 이 버퍼링은 연속 재생(playback)을 유지하는데 도움이 되는데, 그것은 전송 지연 또는 네트워크 처리율 저하가 이따금씩 증가되는 경우 클라이언트는 버퍼링된 데이터를 복호화하고 재생할 수 있기 때문이다. 이와는 달리, 초기 버퍼링이 없다면, 클라이언트는 표시를 정지시키며 복호화를 중단시키고 들어오는 데이터를 기다려야만 한다. 버퍼링은 임의의 프로토콜 수준에서의 자동 또는 선택적 재전송에도 필요하다. 화상의 임의 부분이 손실된다면, 재전송 메커니즘이 손실된 데이터를 재송신하기 위해 사용될 수 있다. 재전송된 데이터가 그것에 계획된 복호화 또는 재생 시간 전에 수신된다면, 손실은 완전히 복구된다.
부호화된 화상들은 복호화된 시퀀스의 주관적 품질에서의 그것들의 중요도에 따라 순위가 매겨질 수 있다. 예를 들어, 기존의 B 화상들과 같은 비참조 화상들은 그것들이 없어도 임의의 다른 화상들의 복호화에는 영향이 없기 때문에 주관적으로 가장 덜 중요하다. 주관적인 랭킹은 데이터 파티션 또는 슬라이스 그룹 기반으로 행해질 수 있다. 주관적으로 가장 중요한 부호화된 슬라이스들 및 데이터 파티션들은 그것들의 부호화 순위가 나타내는 것보다 빨리 송신될 수 있는 반면, 주관적으로 가장 덜 중요한 부호화된 슬라이스들 및 데이터 파티션들은 그것들의 부호화 순위가 나타내는 것보다 늦게 송신될 수 있다. 결과적으로, 가장 중요한 슬라이스 및데이터 파티션들의 임의의 재전송된 부분들은 가장 덜 중요한 슬라이스들 및 데이터 파티션들에 비해 그것들에 계획된 복호화 또는 재생 시간 전에 수신될 것이다.
전치복호기 버퍼링
전치복호기(predecoder) 버퍼링은 부호화된 데이터를 그것이 복호화되기 전에 버퍼링하는 것을 말한다. 초기 버퍼링은 스트리밍 세션 개시 시의 전치 복호기 버퍼링을 말한다. 초기 버퍼링은 아래에 설명되는 2가지 이유 때문에 기존에 행해지고 있다.
대화형 패킷교환 멀티미디어 시스템들에서, 예컨대, IP기반 화상회의 시스템들에서, 다른 유형들의 미디어는 통상 별도의 패킷들로 운반된다. 더구나, 패킷들은 대체로 일정한 전송지연을 보장할 수 없는 최선노력(best-effort) 네트워크의 상단에서 운반되나, 지연은 패킷에서 패킷으로 변화할 수 있다. 결과적으로, 동일한 프레젠테이션(플레이백) 타임스탬프를 가진 패킷들은 동일시간에 수신되지 않을 수 있고, 두 패킷들의 수신간격은 그것들의 프레젠테이션 간격(시간의 점에서)과는 동일하지 않을 것이다. 따라서, 다른 매체 유형들 간에 재생 동기화를 유지하고 올바른 재생속도를 유지하기 위해서는, 멀티미디어 단말기는 대체로 지연변동을 평탄하게 하기 위해 수신된 데이터를 단기간(예컨대, 1/2초 미만으로) 버퍼링한다. 여기서, 이 유형의 버퍼 구성요소는 지연 지터 버퍼라고 한다. 버퍼링은 미디어 데이터 복호화 전 및/또는 후에 일어날 수 있다.
지연 지터 버퍼링은 스트리밍 시스템들에도 적용된다. 스트리밍이 비대화형 응용이라는 점 때문에, 요구되는 지연 지터 버퍼는 대화형 응용들에서보다 상당히 크게 된다. 스트리밍 플레이어가 서버에의 연결을 수립하고 멀티미디어 스트림의 다운로드를 요구할 때, 서버는 요망된 스트림을 전송하기 시작한다. 플레이어는 스트림의 재생을 즉시 시작하지 않고, 보통은 들어오는 데이터를 어느 일정한 기간 동안 버퍼링한다. 여기서, 이 버퍼링은 초기 버퍼링이라고 한다. 초기 버퍼링은 대화형 응용들에서 지연 지터 버퍼링에 의해 제공되는 것과 유사한 방식으로 전송 지연 변동들을 평탄하게 하는 능력을 제공한다. 더욱이, 그것은 손실된 프로토콜 데이터 단위들(PDU들)의 링크, 전송, 및/또는 응용층 재전송들의 사용을 가능케 할 것이다. 재전송된 PDU들이 계획된 시기에 복호화되고 재생되게 제때에 수신되는 한 플레이어는 버퍼링된 데이터를 복호화하고 재생할 수 있다.
스트리밍 클라이언트들에서의 초기 버퍼링은 대화형 시스템들에서 달성될 수 없는 또 다른 이점을 제공한다. 즉, 그것은 서버로부터 전송된 미디어의 데이터 전송속도(data rate)가 가변할 수 있게 한다. 달리 말하면, 수신기 버퍼가 오버플로 또는 언더플로되지 않는 한 미디어 패킷들은 일시적으로 그것들의 재생 속도보다 빠르거나 느리게 전송될 수 있다. 데이터 전송속도에서의 변동은 두 개의 신호원들로부터 비롯될 것이다.
첫째, 비디오와 같은 일부 매체 유형들에서 성취가능한 압축효율은 신호원 데이터의 컨텐츠들에 달려 있다. 결과적으로, 안정한 품질이 소망된다면, 결과적인 압축된 비트스트림의 비트율은 가변한다. 전형적으로, 안정한 오디오-시각 품질은 주관적으로는 변화하는 품질보다 더 만족스럽다. 따라서, 초기 버퍼링은 화상회의 시스템과 같이 초기 버퍼링 없는 시스템과 비교하여 더 만족스러운 오디오-시각 품질이 달성될 수 있게 한다.
둘째, 통상 고정 IP 네트워크들에서의 패킷 손실들은 버스트 형태로 일어난다고 알려져 있다. 버스트형 오류들 및 높은 피크 비트 및 패킷 전송속도들을 피하기 위해, 잘 설계된 스트리밍 서버들은 패킷들의 전송을 주의 깊게 계획한다. 패킷들은 그것들이 수신단에서 재생되는 속도로 정확히 송신될 수는 없으나, 서버들은 전송된 패킷들 간에 안정된 간격을 달성하려고 시도할 수 있다. 예를 들면, 서버는 우세한 네트워크 상태들에 따라 패킷 전송의 속도를 조절하며, 네트워크가 혼잡하게 될 때 패킷 전송 속도를 줄이고 네트워크 상태들이 허락한다면 전송 속도를 증가시킬 수 있다.
멀티미디어 스트림들의 전송
멀티미디어 스트리밍 시스템은 스트리밍 서버 및 이 서버에 네트워크를 통해 액세스하는 다수의 플레이어들로 구성된다. 네트워크는 전형적으로 패킷지향이고 보장된 서비스 품질을 위한 수단을 거의 또는 전혀 제공하지 않는다. 플레이어들은 미리 저장된 또는 라이브 멀티미디어 콘텐츠를 서버로부터 패치하고 콘텐츠를 다운로드하면서 그것을 실시간으로 재생한다. 통신의 유형은 점-대-점 또는 멀티캐스트일 수 있다. 점-대-점 스트리밍에서, 서버는 각 플레이어에 별도의 연결을 제공한다. 멀티캐스트 스트리밍에서, 서버는 단일 데이터 스트림을 다수의 플레이어들에게 송신하고, 네트워크 요소들은 필요할 때에만 스트림을 복사한다.
플레이어가 서버에 대한 연결을 수립하고 멀티미디어 스트림을 요구한 때에, 서버는 요망된 스트림을 송신하기 시작한다. 플레이어는 스트림 재생을 즉시 시작하지 않고, 보통은 들어오는 데이터를 수 초간 버퍼링한다.
여기서, 이 버퍼링은 초기 버퍼링이라고 한다. 초기 버퍼링은 중단없는(pauseless) 재생을 유지하는데 도움을 주는데, 그것은, 전송 지연 또는 네트워크 처리율 강하가 이따금씩 증가하는 경우, 플레이어는 버퍼링된 데이터를 복호화 및 재생할 수 있기 때문이다.
비제한적 전송 지연을 피하기 위해, 스트리밍 시스템들에서 신뢰할만한 전송 프로토콜들을 편애하는 것은 드문 일이다. 대신, 시스템들은 한편으로는 더 안정한 전송 지연을 상속하나 다른 한편으로는 데이터 손상 또는 손실을 당하는 UDP와 같은 신뢰할 수 없는 전송 프로토콜들을 선호한다.
RTP와 RTCP 프로토콜들은 UDP의 상단에서 실시간 통신들을 제어하기 위해 이용될 수 있다. RTP는 전송 패킷들의 손실을 검출하는 수단, 수신단에서 패킷들을 올바른 순서로 재조립하는 수단, 및 샘플링 타임스탬프를 각 패킷에 관련시키는 수단을 제공한다. RTCP는 패킷들의 얼마나 큰 부분이 정확히 수신되었는지에 관한 정보를 운반하고, 그러므로, 그것은 흐름 제어에 이용될 수 있다.
기존의 비디오 부호화 표준들에서, 복호화순서는 출력순서와 결부된다. 달리 말하면, I 및 P 화상들의 복호화순서는 그것들의 출력순서와 동일하고, B 화상의 복호화순서는 출력순서에서 B 화상의 후자의 참조화상의 복호화순서를 곧바로 따라간다. 결과적으로, 알려진 출력순서에 기초하여 복호화순서를 복원하는 것이 가능하다. 출력순서는 대체로 기초 비디오 비트스트림의 시간참조(TR) 필드로써 또 RTP 헤더와 같은 시스템 다중화 층으로써 운반된다.
일부 RTP 페이로드 명세사양들은 부호화된 데이터의 전송이 복호화순서를 벗어나는 것을 허용한다. 무질서의 정도는 대체로 많은 관련 명세사양들에서 유사하게 정의하는 하나의 값을 특징으로 한다. 예를 들면, MPEG-4 기초스트림들의 초안(draft) RTP 페이로드 포맷에서, maxDisplacement 매개변수는 다음과 같이 명기되어 있다:
액세스단위(AU, 부호화된 화상에 해당)의 시간에서의 최대 변위는 패턴에서 AU의 타임스탬프 및 아직 나타나지 않은 가장 앞선 타임스탬프 사이의 최대 차이이다. 달리 말하면, 인터리브된 AU들의 시퀀스를 고려할 때,
임의의 i 및 임의의 j>i에 대해, 최대 변위 = max{TS(i) - TS(j)},
여기서 i와 i는 인터리빙 패턴에서 AU의 인덱스를 나타내고 TS는 AU의 타임스탬프를 나타낸다.
본 발명에서는 이 방법에 약간의 문제가 있고 버퍼에 너무 큰 값을 제공한다는 것을 알아차렸다.
도 1은 재귀형 시간적 범위성 체계의 일 예를 보여주며,
도 2는 화상들의 시퀀스가 인터리브된 방식의 둘 이상의 독립적으로 부호화된 스레드들로 분할되는 비디오 용장성 부호화라고 하는 체계를 묘사하며,
도 3은 압축효율을 개선하는 잠재성을 가진 예측 구조의 일 예를 나타내며,
도 4는 오류 복원성을 개선하는데 사용될 수 있는 인트라 화상 연기 방법의 일 예를 나타내며,
도 5는 본 발명에 따른 시스템의 유익한 실시예를 묘사하며,
도 6은 본 발명에 따른 부호기의 유익한 실시예를 묘사하고,
도 7은 본 발명에 따른 복호기의 유익한 실시예를 묘사한다.
최대 변위의 정의가 버퍼링 요건들을 전체적으로 명기하는데(버퍼 공간 및 초기 버퍼링 지속기간의 관점에서) 실패한 체계의 일 예가 뒤따른다. 시퀀스는 15개 AU들로 슬라이스되고, 이러한 15개 AU에서 복호화 및 출력 순서에서의 마지막 AU가 먼저 전송되고 모든 다른 AU들은 복호화 및 출력 순서로 전송된다. 따라서, AU들의 전송된 시퀀스는 다음과 같다:
14 0 1 2 3 4 5 6 7 8 9 10 11 12 13 29 15 16 17 18 19 ...
이 시퀀스의 최대 변위는 AU(14 + k*15)에 대해 14이다(k의 모든 음수 아닌 정수값들의 경우).
그러나, 이 시퀀스는 하나의 AU만을 위한 버퍼 공간 및 초기 버퍼링을 요구한다.
H.264를 위한 RTP 페이로드 포맷 초안(draft-ietf-avt-rtp-h264-01.txt)에서, 매개변수 num-reorder-VCL-NAL-units은 다음과 같이 명기된다: 이 매개변수는 NAL단위 스트림의 속성들 또는 송신기 또는 수신기 이행 능력들을 신호통지하는데 사용될 수 있다. 매개변수는 NAL단위 스트림에서 NAL단위 복호화순서가 임의의 VCL NAL단위를 앞서고 RTP 시퀀스번호 순서에서 또는 VCL NAL단위를 담고 있는 집합(aggregation) 패킷의 조성순서에서 VCL NAL단위를 뒤따르는 VCL NAL들의 최대 양을 지정한다. 이 매개변수가 존재하지 않는다면, 0과 동일한 num-reorder-VCL-NAL-units이 포함되어야 할 것이다. num-reorder-VCL-NAL-units의 값은 0부터 32767까지를 포함하는 범위에서의 임의의 정수라야 한다.
H.264 표준에 따르면, VCL NAL단위들은 그러한 NAL단위들이 1 내지 5와 동일한 nal_unit_type을 가진다고 명기되어 있다. 그 표준에서 다음의 NAL단위 유형 1~5가 정의되어 있다:
1 비-IDR 화상의 부호화된 슬라이스
2 부호화된 슬라이스 데이터 파티션 A
3 부호화된 슬라이스 데이터 파티션 B
4 부호화된 슬라이스 데이터 파티션 C
5 IDR 화상의 부호화된 슬라이스
num-reorder-VCL-NAL-units 매개변수는 위에서 최대변위 매개변수에 관해 나타난 문제와 유사한 문제를 야기한다. 즉, 이 매개변수에 기초하여 버퍼링 공간 및 초기 버퍼링 시간 요건들을 결정하는 것은 불가능하다.
본 발명은 수신 버퍼의 크기를 복호기에 신호로 통지하는 것을 가능하게 한다.
다음에서, 독립 GOP는 복호화순서에서 하나의 IDR 화상(포함)부터 다음 IDR 화상(배제)까지의 화상들로 구성된다.
본 발명에서, 요구된 버퍼링의 최대 양을 신호통지하는 매개변수는 종래기술의 시스템들보다 정확히 정의된다. 다음의 설명에서 본 발명은 부호기-복호기 기반 시스템을 이용하여 설명되지만, 본 발명은 비디오신호들이 저장되는 시스템들에 구현될 수도 있다는 것은 명백하다. 저장된 비디오신호들은 부호화 전에 저장된 비부호화된 신호들, 부호화 후에 저장된 부호화된 신호들, 또는 부호화 및 복호화 처리 후에 저장된 복호화된 신호들일 수 있다. 예를 들면, 부호기는 비트스트림들을 전송순서로 생성한다. 파일 시스템은 예컨대 복호화순서로 캡슐화되고 파일로서 저장된 오디오 및/또는 비디오 비트스트림들을 수신한다. 파일은 스트리밍 서버가 NAL 단위들을 읽고 그것들을 RTP 패킷들로 캡슐화할 수 있는 데이터베이스에 저장될 수 있다.
게다가, 다음의 설명에서 본 발명은 부호기-복호기 기반 시스템을 이용하여 설명되지만, 부호기가 부호화된 데이터를 스트리밍 서버와 같은 다른 구성요소에 제1순서로 출력 및 송신하고 다른 구성요소가 부호화된 데이터를 제1순서에서부터 다른 순서로 다시 정리하며 다른 순서를 위해 요구된 버퍼 크기를 정의하고 다시 정리된 형태의 부호화된 데이터를 복호기에 보내는 시스템들에서 구현될 수도 있다는 것은 명백하다.
본 발명의 제1양태에 따르면, 멀티미디어 정보를 버퍼링하기 위한 방법에 있어서, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는 매개변수가 정의되는, 멀티미디어 정보 버퍼링 방법이 제공된다.
본 발명의 제2양태에 따르면, 부호화된 화상 스트림이 멀티미디어 데이터를 포함하는 전송단위들로서 수신되며 전송단위들의 버퍼링이 수행되는 복호기에서 부호화된 화상 스트림을 복호화하기 위한 방법에 있어서, 복호화처리에 대해 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는 매개변수로서 버퍼링 요건들이 나타내어지는, 방법이 제공된다.
본 발명의 제3양태에 따르면, 화상들을 부호화하기 위한 부호기를 포함하는 시스템에 있어서, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내게 정의되는 매개변수가 준비된, 시스템이 제공된다.
본 발명의 제4양태에 따르면, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내게 정의되는 매개변수가 준비된, 송신기기가 제공된다.
본 발명의 제5양태에 따르면, 부호화된 화상 스트림을 멀티미디어 데이터를 포함하는 전송단위들로서 수신하기 위한 수신기기에 있어서, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는데 이용되도록 매개변수가 준비된, 수신기기가 제공된다.
본 발명의 제6양태에 따르면, 부호화된 화상들을 버퍼링하기 위한 기계로 실행가능한 단계들을 포함하는 컴퓨터 프로그램 생성물로서, 상기 컴퓨터 프로그램 생성물은, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는 매개변수를 정의하기 위한 기계로 실행가능한 단계들을 더 포함하는 컴퓨터 프로그램 생성물이 제공된다.
본 발명의 제7양태에 따르면, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는 매개변수를 포함하는 신호가 제공된다.
본 발명의 제8양태에 따르면, 부호화된 화상스트림을 멀티미디어 데이터를 포함하는 전송단위들로서 수신하기 위한 모듈에 있어서, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는데 이용되도록 매개변수가 준비된, 모듈이 제공된다.
본 발명의 예의 실시예에서, 멀티미디어 데이터를 포함하는 전송단위는 VCL NAL단위이다.
본 발명은 부호화 시스템들의 버퍼링효율을 개선한다. 본 발명을 이용함으로써 실제로 요구되는 적당한 버퍼링 량을 이용하는 것이 가능하다. 그러므로, 부호화 기기의 부호화 버퍼와 복호화 기기의 전치복호화 버퍼에 필요한 것보다 많은 메모리를 할당할 필요가 없다. 또한, 전치 복호화 버퍼 오브플로가 회피될 수 있다.
다음으로 본 발명이 도 5의 시스템, 도 6의 부호기(1) 및 도 7의 복호기(2)를 참조하여 더 상세히 설명될 것이다. 부호화하려는 화상들은 예를 들면 비디오 신호원(3), 예컨대, 카메라, 비디오 레코더 등으로부터의 비디오 스트림의 화상들일 수 있다. 비디오 스트림의 화상들(프레임들)은 슬라이스들과 같은 작은 부분들로 분할될 수 있다. 슬라이스들은 블록들로 추가로 분할될 수 있다. 부호기(1)에서 비디오 스트림은 전송채널(4)을 통해 또는 저장매체(미도시)에 전송될 정보를 줄이기 위해 부호화된다. 비디오 스트림의 화상들은 부호기(1)에 입력된다. 부호기는 부호화하려는 화상들의 일부를 일시적으로 저장하기 위한 부호화 버퍼(1.1, 도 6)를 가진다. 부호기(1)는 또한 메모리(1.3)와 본 발명에 따른 부호화 태스크들이 적용될 수 있는 프로세서(1.2)를 구비한다. 메모리(1.3)와 프로세서(1.2)는 송신기(6)와 공유될 수 있거나 또는 송신기(6)는 송신기(6)의 다른 기능들을 위한 다른 프로세서 및/또는 메모리(미도시)를 가질 수 있다. 부호기(1)는 움직임추정 및/또는 일부 다른 태스크들을 수행하여 비디오 스트림을 압축한다. 움직임 추정 시, 부호화하려는 화상(현재 화상)과 이전의 및/또는 후자의 화상 사이의 유사성이 검색된다. 유사성이 발견된다면 비교되는 화상 또는 그것의 일부는 부호화하려는 화상을 위한 참조화상으로서 이용될 수 있다. JVT에서 화상의 표시순서와 복호화순서는 반드시 동일하지는 않고, 참조화상은 그것이 참조화상으로서 이용되는 한 버퍼(예컨대, 부호화 버퍼(1.1))에 저장되어야만 한다. 또한 부호기(1)는 화상들의 표시순서에 관한 정보를 전송 스트림에 삽입한다.
부호화 처리로부터 부호화된 화상들은 필요하다면 부호화된 화상 버퍼(5.2)로 이동된다. 부호화된 화상들은 부호기(1)로부터 전송채널(4)을 통해 복호기(2)로 송신된다. 복호기(2)에서 부호화된 화상들은 가능한 한 많이 부호화된 화상들에 상응하는 압축해제된 화상들을 형성하도록 복호화된다.
또한 복호기(2)는 메모리(2.3)와 본 발명에 따른 복호화 태스크들이 적용될 수 있는 프로세서(2.2)를 구비한다. 메모리(2.3)와 프로세서(2.2)는 수신기(8)와 공유될 수 있거나 또는 수신기(8)는 수신기(8)의 다른 기능들을 위한 다른 프로세서 및/또는 메모리(미도시)를 가질 수 있다.
부호화
이제 부호화-복호화 처리를 더 상세히 검토한다. 비디오 신호원(3)으로부터의 화상들은 부호기(1)에 들어가고 유익하게는 부호화 버퍼(1.1)에 저장된다. 부호화처리는 제1화상이 부호기에 들어간 후에 곧바로 시작되는 것이 필수적이진 않지만, 어느 정도의 화상들이 부호화 버퍼(1.1)에서 이용가능하게 된 후에는 곧바로 시작되는 것이 필수적이다. 그때에 부호기(1)는 화상들로부터 참조프레임들로서 사용하려는 적당한 후보들의 찾기를 시도한다. 그 후 부호기(1)는 부호화를 수행하여 부호화된 화상들을 형성한다. 부호화된 화상들은 예를 들면 예측된 화상들(P), 양방향 예측 화상들(B), 및/또는 인트라 부호화된 화상들(I)일 수 있다. 인트라 부호화된 화상들은 어떠한 다른 화상들 없이도 복호화될 수 있으나, 다른 유형의 화상들은 그것들이 복호화될 수 있기 전에 적어도 하나의 참조화상을 필요로 한다. 위에서 언급된 화상 유형들 중 어느 화상들이나 참조화상으로서 사용될 수 있다.
부호기는 유익하게는 2개의 타임스탬프들, 즉 복호화 타임스탬프(DTS) 출력 타임스탬프(OTS)를 화상들에 부착한다. 복호기는 이 타임스탬프들을 이용하여 올바른 복호화시간 및 화상들을 출력(표시)할 시간을 결정할 수 있다. 그러나, 그러한 타임스탬프들은 복호기에 반드시 전송되어야 하는 것은 아니거나 또는 복호기는 타임스탬프들을 이용하지는 않는다.
NAL단위들은 다른 종류의 패킷들로 배달될 수 있다. 이 유익한 실시예에서 다른 패킷포맷들은 단순 패킷들 및 집합 패킷들을 포함한다. 집합 패킷들은 단일시간 집합 패킷들 및 다중시간 집합 패킷들로 추가로 분할될 수 있다.
RTP 패킷들의 페이로드 포맷은 필요에 따르는 다수의 다른 페이로드 구조들로서 정의된다. 그러나, 수신된 RTP 패킷이 담고 있는 구조가 무엇인지는 페이로드의 제1바이트로부터 명백하다. 이 바이트는 항상 NAL단위 헤더로서 구성될 것이다. NAL단위 유형필드는 어떤 구조가 존재하는 지를 나타낸다. 가능한 구조들로는 단일 NAL단위 패킷, 집합 패킷 및 프래그먼트화 단위가 있다. 단일 NAL단위 패킷은 페이로드 속에 단일 NAL단위만을 담고 있다. NAL 헤더유형 필드는 원래의 NAL단위 유형과 동일할 것이다. 즉, 1부터 23까지를 포함하는 범위에 있을 것이다. 집합 패킷 유형은 다수의 NAL단위들을 단일 RTP 페이로드로 모으는데 이용된다. 이 패킷은 4가지 버전인 Single-Time Aggregation Packet type A (STAP-A), Single-Time Aggregation Packet Type B (STAP-B), 16 비트 오프셋을 가진 Multi-time Aggregation Packet (MTAP16), 및 24 비트 오프셋을 가진 Multi-time Aggregation Packet (MTAP24)로 존재한다. STAP-A, STAP-B, MTAP16 및 MTAP24에 할당된 NAL단위 유형번호들은 각각 24, 25, 26 및 27이다. 프래그먼트화 단위는 단일 NAL단위를 다수의 RTP 패킷들로 단편화하는데 이용된다. 그것은 NAL단위 유형번호들인 28 및 29로써 식별되는 2가지 버전들로 존재한다.
RTP 패킷 전송을 위해 정의된 다음 3가지 경우의 패킷화 모드들이 있다:
- 단일 NAL단위 모드
- 비인터리브 모드, 및
- 인터리브 모드
단일 NAL단위 모드는 ITU-T 권고 H.241과 부합하는 대화형 시스템들을 목표로 한다. 비인터리브 모드에서 NAL 단위들은 NAL단위 복호화 순서로 송신된다. 인트리브 모드는 매우 낮은 종단 간 대기시간을 요구하지 않는 시스템들을 목표로 한다. 인터리브 모드는 NAL 단위 복호화 순서를 벗어나는 NAL 단위들의 전송을 가능하게 한다.
사용 시의 패킷화 모드는 선택사항적인 패킷화 모드 MIME 매개변수들의 값에 의해 또는 외부 수단에 의해 신호통지될 것이다. 사용되는 패킷화 모드는 NAL단위 유형들이 RTP 페이로드들에서 허용되는지를 결정한다.
인터리브 패킷화 모드에서, NAL단위들의 전송순서는 NAL단위들의 복호화 순서와는 달라질 수 있다. 복호화 순서 번호(Decoding order number; DON)는 페이로드 구조에서의 필드 또는 NAL단위 복호화순서를 나타내는 파생변수이다.
전송 및 복호화 순서의 결합은 다음과 같은 선택사항적인 인터리빙 깊이 MIME 매개변수들에 의해 제어된다. 선택사항적인 인터리빙 깊이 MIME 매개변수의 값이 0이고 그것들의 복호화 순서를 벗어난 NAL단위들의 전송은 외부 수단에 의해 허용되지 않을 때, NAL단위들의 전송순서는 NAL단위 복호화순서를 따른다. 선택사항적인 인터리빙 깊이 MIME 매개변수의 값이 0보다 크거나 NAL 단위들의 복호화순서를 벗어나는 NAL 단위들의 전송이 외부 수단에 의해 허용되는 경우,
- MTAP16(Multi-Time Aggregation Packet 16)과 MTAP24(Multi-Time Aggregation Packet 24)에서의 NAL단위들의 순서는 NAL단위 복호화순서로 되는 것이 요구되지 않고,
- STAP-B(Single-Time Aggregation Packets B), MTAP들 및 2개의 연속 패킷들에서의 프래그먼트화 단위들(FU)의 캡슐해제에 의해 구성된 NAL단위들의 순서가 NAL단위 복호화 순서가 되는 것이 요구되지 않는다.
단일 NAL단위 패킷, STAP-A, 및 FU-A를 위한 RTP 페이로드 구조들은 DON을 포함하지 않는다. STAP-B와 FU-B 구조들은 DON을 포함하고, MTAP들의 구조는 DON의 유도를 가능하게 한다.
송신기가 패킷당 하나의 NAL단위를 캡슐화하고 패킷들을 그것들의 복호화 순서를 벗어나서 송신하기 원한다면, STAP-B 패킷 유형이 이용될 수 있다.
단일 NAL단위 패킷화 모드에서, NAL단위들의 전송순서는 그것들의 NAL단위 복호화순서와 동일하다. 비인터리브 패킷화 모드에서, 단일 NAL단위 패킷들 및 STAP-A들, 및 FU-A들의 NAL단위들의 전송순서는 그것들의 NAL단위 복호화순서와 동일하다. STAP 내의 NAL단위들은 NAL단위 복호화순서로 나타난다.
H.264는 복호화순서가 표시순서와 다르게 되는 것을 허용한다는 점 때문에, RTP 타임스탬프들의 값들은 RTP 시퀀스 번호들의 함수로서 단조 비감소성(monotonically non-decreasing)이 되지 않을 것이다.
전송순서에서 제1 NAL단위의 DON값은 임의의 값으로 설정될 수 있다. DON의 값들은 0 내지 65535를 포함하는 범위에 있다. 최대값에 도달한 후, DON의 값은 0으로 넘어간다.
이 명세서에 따른 비디오 시퀀스는 NALU 스트림의 다른 부분들과는 독립적으로 복호화될 수 있는 NALU스트림의 어떠한 부분도 될 수 있다.
강력한 패킷 스케쥴링의 일 예는 다음과 같다.
다음 예의 그림들에서, 시간은 좌에서 우로 가며, I는 IDR 화상을 나타내며, R은 참조화상을 나타내며, N은 비참조화상을 나타내고, 숫자는 복호화순서에서 이전 IDR 화상에 비례하는 상대 출력시간을 나타낸다. 화상들의 시퀀스 아래의 값들은 스케일된(scaled) 시스템 클록 타임스탬프들을 나타내고, 그것들은 이 예에서 임의로 초기화된다. 각각의 I, R 및 N 화상은, 부호화, 전송 및 복호화에 시간이 들지 않는다면, 이전의 처리단계에 비교하여 동일한 시간선에 매핑된다.
다중 비디오 시퀀스들의 화상들의 부분집합은 아래에서 출력순서로 묘사된다.
이러한 화상들의 부호화 (및 복호화) 순서는 다음과 같이 좌에서 우이다:
화상을 위한 복호화순서 번호(DON)는 복호화순서에서 이전 화상을 위한 DON의 값에 1을 더한 것과 동일하다.
단순화를 위해, 다음을 가정한다:
- 시퀀스들의 프레임율은 일정하며,
- 각 화상은 하나의 슬라이스에만 존재하며,
- 각 슬라이스는 단일NAL 단위 패킷으로 캡슐화되며,
- 화상들은 복호화순서로 전송되고,
- 화상들은 일정한 간격(1/프레임율과 동일)으로 전송된다.
따라서, 화상들은 복호화순서로 수신된다:
전송(또는 수신순서)으로부터 정확한 복호화순서를 복원하는데 버퍼링이 필요하지 않기 때문에, num-reorder-VCL-NAL-units 매개변수는 0으로 설정된다.
복호기는 아래에 묘사된 것처럼 복호화순서로부터 출력순서로 화상들을 편성하기 위해 그것의 복호화된 화상의 버퍼에서 초기에 하나의 화상간격만큼 버퍼링해야 한다:
복호화된 화상의 버퍼에서 요구된 초기 버퍼링의 양은 버퍼링 기간의 SEI 메시지로 또는 H.264 비디오 유용성 정보의 num_reorder_frames 신텍스 요소의 값으로 신호통지될 수 있다. num_reorder_frames은 시퀀스에서 복호화순서에서는 임의의 프레임, 상보필드쌍, 또는 쌍이 아닌 필드에 앞서고 출력순서에서는 그것에 뒤따르는 프레임들, 상보필드쌍들, 또는 쌍이 아닌 필드들의 최대수를 나타낸다.
단순화를 위해, num_reorder_frames은 복호화된 화상의 버퍼에서 초기버퍼를 나타내는데 이용된다. 이 예에서, num_reorder_frames은 1과 같다.
IDR 화상(100)이 전송 중에 손실된다면, 그리고 시스템클록의 값이 62일 때 재전송요구가 발행된다면, 재전송된 IDR 화상(100)을 수신하는데(시스템클록이 타임스탬프 63에 도달하기까지) 한 화상의 시간간격이 존재한다.
그래서 IDR 화상들이 그것들의 복호화 위치보다 2 프레임 간격 앞서 송신된다고, 즉, 화상들은 다음의 순서로 송신된다고 가정한다:
변수 id1이 종래기술에 따라 지정된다고 하자(draft-ietf-avt-rtp-h264-01.txt에 개시됨). 즉, 그것은 NAL단위 스트림의 임의의 VCL NAL단위에 대해 NAL단위 복호화순서에서는 앞서고 RTP 시퀀스 번호순서에서 또는 VCL NAL단위를 담고 있는 집합 패킷의 조성순서에서는 그 VCL NAL단위를 뒤따르는 VCL NAL단위들의 최대 양을 지정한다고 하자. 변수 id2는 본 발명에 따라 지정된다고 하자. 즉, 그것은 NAL단위 스트림의 임의의 VCL NAL단위에 대해 NAL단위 복호화 순서에서는 그 VCL NAL단위를 뒤따르는 VCL NAL단위들의 최대 양을 지정한다고 하자.
이 예에서, id1의 값은 2이고 id2의 값은 1이다. 섹션 2에서 이미 보인 바와 같이, id1의 값은 수신순서로부터 복호화순서로 패킷들을 다시 정리하기 위해 초기 버퍼링에 요구된 시간 또는 버퍼링 공간에 비례하지는 않는다. 이 예에서, 하나의 화상간격과 동일한 초기 버퍼링 시간이 아래에 도시된 바와 같이 복호화순서를 복원하기 위해 요구된다(그림은 수신기 버퍼링 처리의 출력을 나타낸다). 이 예는 또한 초기 버퍼링 시간의 값과 버퍼링 공간이 본 발명에 따라 결정될 수 있음을 증명한다.
다시, 하나의 화상간격의 초기 버퍼링 지연은 아래에 묘사된 바와 같이 화상들을 복호화순서로부터 출력순서로 편성하는데 필요하다:
IDR 화상들이 가능한 응용, 전송, 또는 링크층 재전송을 포함하여 송신 중에 겪게 되는 최대 지연은 num_reorder_frames + id2와 동일하다는 것을 알 수 있다. 따라서, IDR 화상들의 오류복원성은 재전송을 지원하는 시스템들로 개선된다.
수신기는 각 화상에 관련된 DON의 값에 기초한 복호화순서로 화상들을 편성할 수 있다.
전송
부호화된 화상들의 전송 및/또는 저장( 그리고 선택사항적인 가상 복호화)은제1의 부호화된 화상이 준비된 후 즉시 시작될 수 있다. 이 화상은, 부호화순서 및 출력순서가 동일하지 않을 것이기 때문에, 복호기 출력순서로 첫 번째 것일 필요는 없다.
비디오 스트림의 제1화상이 부호화될 때 전송은 시작될 수 있다. 부호화된 화상들은 선택사항적으로는 부호화된 화상의 버퍼(1.2)에 저장된다. 전송은 나중의 단계에서, 예를 들면, 비디오 스트림의 어느 일정한 부분이 부호화된 후에 시작될 수도 있다.
복호기(2)는 예를 들면 화상순서카운트들의 순서매김을 이용함으로써 복호화된 화상들을 정확한 순서로 출력할 수도 있다.
패킷해제
패킷해제 처리는 종속적으로 구현된다. 그래서, 다음의 설명은 적당한 구현예의 비제한적인 예이다. 다른 체계들이 사용될 수도 있다. 설명된 알고리즘들에 관한 최적화도 가능할 수 있다.
이러한 패킷해제 규칙들 이면의 일반적인 개념은 전송순서로부터 NAL단위 운반 순서로 NAL 단위들을 재정렬(reorder)하는 것이다.
복호화
다음으로, 수신기(8)의 동작이 설명될 것이다. 수신기(8)는 한 화상에 속한 모든 패킷들을 수집하며, 그것들을 합당한 순서로 되게 한다. 순서의 엄격함은 채용되는 프로파일에 달려 있다. 수신된 패킷들은 수신버퍼(9.1)(전치복호화 버퍼)에 저장된다. 수신기(8)는 무엇이든 쓸모없는 것을 버리고, 나머지를 복호기(2)에 전한다. 집합 패킷들은 그것들의 페이로드를 NALU들을 운반하는 개별 RTP 패킷들에 언로드함으로써 다루어진다. 그러한 NALU들은, 그것들이 집합 패킷에 배치된 순서에서, 그것들이 별도의 RTP 패킷들로 수신된 것처럼 처리된다.
이후로는, N을 패킷 스트림의 임의의 VCL NAL단위에 대해 NAL단위 전송순서에서는 앞서고 복호화순서에서는 그 VCL NAL단위를 뒤따르는 VCL NAL단위들의 최대 양을 지정하는 선택사항적 num_reorder-VCL-NAL-units 매개변수(인터리빙 깊이 매개변수)의 값이라 하자. 매개변수가 존재하지 않는다면, 0 값의 수가 암시된다.
비디오 프레임 전송 세션이 초기화될 때, 수신기(8)는 수신 버퍼(9.1)를 위한 메모리를 적어도 N개의 VCL NAL단위들을 저장하기 위해 할당한다. 그 후 수신기는 비디오 스트림을 수신하기 시작하고 수신된 VCL NAL단위들을 수신 버퍼에 저장한다. 초기 버퍼링은 다음 조건까지 지속된다:
- 적어도 N개의 VCL NAL단위들이 수신 버퍼(9.1)에 저장되기까지, 또는
- max-don-diff MIME 매개변수가 존재한다면, n은 수신된 NAL단위들 중 AbsDON의 최대값을 갖는 NAL단위에 대응하고 m은 수신된 NAL단위들 중 AbsDON의 최소값을 갖는 NAL단위에 대응하는 함수 don_diff(m,n)의 값이 max-don-diff의 값보다 클 때까지, 또는
- 선택사항적인 init-buf-time MIME 매개변수의 값 이상의 지속기간 동안 초기버퍼링이 지속되기까지,
함수 don_diff(m,n)은 다음과 같이 지정된다:
If DON(m) == DON(n), don_diff(Mm,n) = 0
If(DON(m) < DON(n) and DON(n) - DON(m) < 32768),
don_diff(m,n) = DON(n) - DON(m)
If(DON(m) > DON(n) and DON(m) - DON(n) >= 32768),
don_diff(m,n) = 65536 - DON(m) + DON(n)
If(DON(m) < DON(n) and DON(n) - DON(m) >= 32768),
don_diff(m,n) = -(DON(m) + 65536 - DON(m))
If(DON(m) > DON(n) and DON(m) - DON(n) < 32768),
don_diff(m,n) = -(DON(m) - DON(n))
여기서 DON(i)는 전송순서에서 인덱스 i를 갖는 NAL단위의 복호화순서 번호이다.
don_diff(m,n)의 양의 값은 전송순서 인덱스 n을 갖는 NAL단위가 복호화순서에서는 전송순서 인덱스 m을 갖는 NAL단위를 뒤따른다는 것을 나타낸다.
AbsDON은 65535 뒤의 0으로 넘어가지 않는 NAL 단위의 복호화순서 번호를 나타낸다. 달리 말하면, AbsDON은 다음과 같이 계산된다:
m과 n이 전송순서에서 연속적인 NAL단위들이라고 하자. 전송순서에서 가장 앞선 제1의 NAL단위(이것의 인덱스는 0)의 경우, AbsDON(0) = DON(0)이다. 다른 NAL단위들의 경우, AbsDON은 다음과 같이 계산된다:
If DON(m) == DON(n), AbsDON(m) = AbsDON(n).
If (DON(m) < DON(n) and DON(n) - DON(m) < 32768),
AbsDON(n) = AbsDON(m) + DON(n) - DON(m)
If (DON(m) > DON(n) and DON(m) - DON(n) >= 32768),
AbsDON(n) = AbsDON(m) + 65536 - DON(m) + DON(n)
If (DON(m) < DON(n) and DON(n) - DON(m) >= 32768),
AbsDON(n) = AbsDON(m) - (DON(m) + 65536 - DON(n))
If (DON(m) > DON(n) and DON(m) - DON(n) < 32768),
AbsDON(n) = AbsDON(m) - (DON(m) - DON(n))
여기서 DON(i)는 전송순서에서 인덱스 i를 갖는 NAL단위의 복호화순서 번호이다.
수신 버퍼(9.1)가 적어도 N개의 VCL NAL단위들을 담고 있는 경우, NAL단위들은 수신버퍼(9.1)로부터 하나씩 제거되고 복호기(2)로 전해진다. NAL단위들은 그것들이 저장된 순서와 동일한 순서로 수신버퍼(9.1)로부터 제거될 필요는 없고, 아래에 설명된 바와 같이, NAL단위들의 DON에 따라 제거되는 것이 필요하다.
패킷들의 복호기(2)로의 운반은 버퍼가 N개 미만의 VCL NAL단위들, 즉, N-1개의 VCL NAL단위들을 담기까지 계속된다.
수신버퍼로부터 제거될 NAL단위들은 다음과 같이 결정된다:
- 수신버퍼가 적어도 N개의 VCL NAL단위들을 담고 있다면, NAL단위들은 버퍼가 N-1개의 VCL NAL단위들을 담기까지 수신버퍼로부터 제거되고 아래에서 지정된 순서로 복호기에 전해진다.
- max-don-diff가 존재한다면, don_diff(m,n)이 max-don-diff보다 큰 모든 NAL단위들은 아래에 지정된 순서로 수신버퍼로부터 제거되고 복호기에 전해진다. 여기서, n은 수신된 NAL단위들 중 AbsDON의 최대값을 갖는 NAL단위에 대응한다.
- 변수 ts가 NAL단위 스트림의 제1 패킷이 수신되었을 때 0으로 초기화된 시스템타이머의 값으로 설정된다. 수신시간(tr)이 ts - tr > init-buf-time이란 조건을 만족하는 NAL단위를 수신버퍼가 담고 있다면, 수신시간(tr)이 위의 지정된 조건을 만족하는 NAL단위를 수신버퍼가 담고 있지 않을 때까지 NAL단위들은 아래에서 지정된 순서로 복호기에 전해진다( 그리고 수신버퍼로부터 제거된다).
NAL단위들이 복호기에 전해지는 순서는 다음과 같이 지정된다.
PDON을 RTP 세션의 개시 시에 0으로 초기화되는 변수라 하자. DON의 값에 관련된 각 NAL단위에 대해, DON 거리는 다음과 같이 계산된다. NAL단위의 DON의 값이 PDON의 값보다 크다면, DON 거리는 DON - PDON과 동일하다. 그렇지 않다면, DON 거리는 65535 - PDON + DON + 1과 동일하다.
NAL단위들은 DON 거리의 오름차순으로 복호기에 전달된다. 수개의 NAL단위들이 동일 값의 DON 거리를 공유한다면, 그것들은 임의의 순서로 복호기에 전해질 수 있다. 소망의 수의 NAL단위들이 복호기에 전해진 경우, PDON의 값은 복호기에 전해진 마지막 NAL단위를 위한 DON의 값으로 설정된다.
DPB 2.1은 다수의 화상들을 저장하기 위한 기억장소들을 담고 있다. 그러한 기억장소들은 명세서에서 프레임저장소들이라고도 부른다. 복호기(2)는 수신된 화상들을 올바른 순서로 복호화한다.
본 발명은 많은 종류의 시스템들 및 기기들에 적용될 수 있다. 보호기(1)를 구비한 송신기기(6)는 유익하게는 부호화된 화상들을 전송채널(4)에 송신하기 위한 송신기(7)를 구비하기도 한다. 수신기기(8)는 부호화된 화상들을 수신하기 위한 수신기(9), 복호기(2), 및 복호화된 화상들이 표시될 수 있는 디스플레이(10)를 구비한다. 전송채널은, 예를 들면, 지상통신선 통신채널 및/또는 무선통신채널일 수 있다. 송신기기와 수신기기는 본 발명에 따른 비디오 스트림의 부호화/복호화 처리를 제어하기 위한 필요한 단계들을 수행할 수 있는 하나 이상의 프로세서들(1.2, 2.2)을 구비하기도 한다. 그러므로, 본 발명에 따른 방법은 주로 이 프로세서들의 기계로 실행가능한 단계들로서 구현될 수 있다. 화상들의 버퍼링은 기기들의 메모리(1.3, 2.3)에서 구현될 수 있다. 부호기의 프로그램 코드(1.4)는 메모리(1.3)에 저장될 수 있다. 각자, 복호기의 프로그램 코드(2.4)는 메모리(2.3)에 저장될 수 있다.

Claims (15)

  1. 멀티미디어 정보를 버퍼링하기 위한 방법에 있어서, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는 매개변수가 정의되는, 방법.
  2. 제1항에 있어서, 상기 멀티미디어 데이터는 부호화된 화상의 슬라이스를 포함하는, 방법.
  3. 제1항에 있어서, 멀티미디어 데이터를 포함하는 상기 전송단위는 VCL NAL단위인, 방법.
  4. 부호화된 화상 스트림이 멀티미디어 데이터를 포함하는 전송단위들로서 수신되며 전송단위들의 버퍼링이 수행되는 복호기에서 부호화된 화상 스트림을 복호화하기 위한 방법에 있어서, 복호화처리에 대해 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는 매개변수로서 버퍼링 요건들이 표시되는, 방법.
  5. 화상들을 부호화하기 위한 부호기를 포함하는 시스템에 있어서, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내게 정의되는 매개변수가 준비된, 시스템.
  6. 제5항에 있어서, 상기 시스템은 부호화된 화상을 복호화하기 위한 복호기 및 복호화된 화상들을 버퍼링하기 위한 메모리를 포함하고, 상기 매개변수는 복호화된 화상들을 버퍼링하기 위한 메모리로부터 예약하려는 요구된 양의 기억장소들을 결정하는데 이용되도록 준비된, 시스템.
  7. 제5항에 있어서, 상기 멀티미디어 데이터는 부호화된 화상의 슬라이스를 포함하는 시스템.
  8. 제5항에 있어서, 멀티미디어 데이터를 포함하는 상기 전송단위는 VCL NAL단위인, 시스템.
  9. 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내게 정의되는 매개변수가 준비된, 송신기기.
  10. 부호화된 화상 스트림을 슬라이스 데이터를 포함하는 전송단위들로서 수신하기 위한 수신기기에 있어서, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는데 이용되는 매개변수가 준비된, 수신기기.
  11. 제10항에 있어서, 상기 수신기기는 메모리, 및 상기 매개변수를 검사하고 상기 매개변수에 따라 상기 메모리로부터 버퍼링을 위한 기억장소들을 예약하기 위한 디파이너(definer)를 포함하는, 수신기기.
  12. 제11항에 있어서, 상기 수신기기는 수신된 부호화된 화상 스트림으로부터 화상들을 복호화하기 위한 복호기, 및 부호화된 화상들을 버퍼링하기 위해 예약된 기억장소들을 이용하기 위한 수단을 포함하는, 수신기기.
  13. 부호화된 화상들을 버퍼링하기 위한 기계로 실행가능한 단계들을 포함하는 컴퓨터 프로그램 생성물로서, 상기 컴퓨터 프로그램 생성물은, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는 매개변수를 정의하기 위한 기계로 실행가능한 단계들을 더 포함하는 컴퓨터 프로그램 생성물.
  14. 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는 매개변수를 포함하는 신호.
  15. 부호화된 화상스트림을 멀티미디어 데이터를 포함하는 전송단위들로서 수신하기 위한 모듈에 있어서, 패킷 스트림에서 전송단위 전송순서에서는 멀티미디어 데이터를 포함하는 임의의 전송단위에 앞서고 복호화순서에서는 멀티미디어 데이터를 포함하는 전송단위를 뒤따르는 멀티미디어 데이터를 포함하는 전송단위들의 최대 양을 나타내는데 이용되는 매개변수가 준비된, 모듈.
KR20057015125A 2003-02-18 2004-02-17 화상 부호화 방법 KR100711635B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US44869303P 2003-02-18 2003-02-18
US60/448,693 2003-02-18
US48315903P 2003-06-27 2003-06-27
US60/483,159 2003-06-27
PCT/FI2004/050016 WO2004075555A1 (en) 2003-02-18 2004-02-17 Picture coding method

Publications (2)

Publication Number Publication Date
KR20050099999A true KR20050099999A (ko) 2005-10-17
KR100711635B1 KR100711635B1 (ko) 2007-04-25

Family

ID=32912304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20057015125A KR100711635B1 (ko) 2003-02-18 2004-02-17 화상 부호화 방법

Country Status (14)

Country Link
US (1) US8670486B2 (ko)
EP (1) EP1595405B1 (ko)
JP (2) JP5068947B2 (ko)
KR (1) KR100711635B1 (ko)
CN (1) CN1751518B (ko)
AU (1) AU2004214313B2 (ko)
BR (1) BRPI0407527B1 (ko)
CA (1) CA2515354C (ko)
HK (1) HK1088159A1 (ko)
MX (1) MXPA05008404A (ko)
MY (1) MY135449A (ko)
RU (1) RU2375839C2 (ko)
TW (1) TWI268700B (ko)
WO (1) WO2004075555A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100849495B1 (ko) * 2006-12-04 2008-07-31 한국전자통신연구원 Ｒｔｐ 패킷화 모드별 비트율 생성 방법

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100568964C (zh) 2003-02-18 2009-12-09 诺基亚有限公司 图像解码方法
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US7296205B2 (en) 2004-02-18 2007-11-13 Nokia Corporation Data repair
US8018850B2 (en) * 2004-02-23 2011-09-13 Sharp Laboratories Of America, Inc. Wireless video transmission system
KR100643270B1 (ko) * 2004-04-02 2006-11-10 삼성전자주식회사 비디오 스트림을 재생하는 클라이언트 및 재생 방법
US7542435B2 (en) * 2004-05-12 2009-06-02 Nokia Corporation Buffer level signaling for rate adaptation in multimedia streaming
KR20050113501A (ko) * 2004-05-29 2005-12-02 삼성전자주식회사 에이치 264 비디오 디코더를 위한 구문 분석기
US9124907B2 (en) 2004-10-04 2015-09-01 Nokia Technologies Oy Picture buffering method
US20060080436A1 (en) * 2004-10-07 2006-04-13 Nokia Corporation System and method for multimedia streaming using interleaved packetization
EP1672865A1 (en) * 2004-12-20 2006-06-21 Alcatel Network unit for exchanging a signal with priority, fragmentation and/or aggregation information
CA2603883A1 (en) * 2005-04-07 2006-10-12 Nokia Corporation Buffering in streaming delivery
US7747921B2 (en) 2005-08-05 2010-06-29 Sony Corporation Systems and methods for transmitting data over lossy networks
CN102036071B (zh) 2005-12-08 2014-04-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
WO2007072252A2 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. Creation of 'trick-play' streams for plaintext, partially, or fully encrypted video streams
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
JP4658860B2 (ja) * 2006-05-30 2011-03-23 Ｏｋｉセミコンダクタ株式会社 画像データ転送回路
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
KR100776680B1 (ko) * 2006-11-09 2007-11-19 한국전자통신연구원 Ｓｖｃ 비디오 압축 비트스트림에 대한 패킷타입 분류방법과 이를 이용한 ｒｔｐ 패킷화 장치 및 그 방법
WO2008086423A2 (en) 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
CA2675955C (en) 2007-01-18 2013-07-23 Nokia Corporation Carriage of sei messages in rtp payload format
KR100897525B1 (ko) * 2007-01-19 2009-05-15 한국전자통신연구원 Ｓｖｃ 비디오의 ｒｔｐ 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 ｒｔｐ 패킷화 시스템
GB0705329D0 (en) 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
WO2009078641A2 (en) * 2007-12-18 2009-06-25 Electronics And Telecommunications Research Institute Method and apparatus for preserving security in video multicasting service
KR101001024B1 (ko) 2007-12-18 2010-12-14 한국전자통신연구원 비디오 멀티캐스팅 서비스에서 정보 보안 유지 방법 및장치
DE602007012916D1 (de) * 2007-12-20 2011-04-14 Koninkl Kpn Nv System und Verfahren zum Konfigurieren eines TV-Signals
JP4577357B2 (ja) * 2007-12-27 2010-11-10 ソニー株式会社 符号化装置及び方法、並びにプログラム
WO2010042650A2 (en) * 2008-10-07 2010-04-15 Motorola, Inc. System and method of optimized bit extraction for scalable video coding
EP2389000A4 (en) 2009-01-19 2014-04-02 Panasonic Corp ENCLOSURE METHOD, DECOMPOSITION METHOD, ENCRYPTION DEVICE, DECOMPOSITION DEVICE, PROGRAM AND INTEGRATED CIRCUIT
TW201101843A (en) 2009-04-28 2011-01-01 Panasonic Corp Image decoding method, image coding method, image decoding apparatus, and image coding apparatus
US9397772B2 (en) * 2009-12-03 2016-07-19 Thomson Licensing Reliable diversity architecture for a mobile DTV system
FR2956271B1 (fr) * 2010-02-09 2012-02-17 Canon Kk Procede et dispositif de calcul de l'espace disponible dans un paquet pour le transport de flux de donnees
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
BR112012031218B1 (pt) * 2010-06-09 2021-11-23 Samsung Electronics Co., Ltd. Método de fornecer um serviço de fluxo contínuo de multimídia por intermédio de uma rede, método de receber um serviço de fluxo contínuo para receber multimídia por intermédio de uma rede, equipamento para fornecer um serviço de fluxo contínuo de multimídia por intermédio de uma rede, equipamento para receber um serviço de fluxo contínuo para receber multimídia por intermédio de uma rede, e meio de gravação legível por computador
CN102685478B (zh) 2011-03-11 2015-04-29 华为技术有限公司 编码方法以及装置、解码方法以及装置
EP2698999B1 (en) 2011-04-12 2017-01-04 Sun Patent Trust Motion-video encoding method, motion-video encoding apparatus, motion-video decoding method, motion-video decoding apparatus, and motion-video encoding/decoding apparatus
KR102015674B1 (ko) 2011-05-24 2019-08-28 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
EP4213483A1 (en) 2011-05-27 2023-07-19 Sun Patent Trust Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
EP2717579B1 (en) 2011-05-31 2020-01-22 Sun Patent Trust Video decoding method and video decoding device
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
MX2013013029A (es) 2011-06-30 2013-12-02 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes y dispositivo de codificacion/decodifi cacion de imagenes.
SG10201408609SA (en) 2011-06-30 2015-02-27 Microsoft Technology Licensing Llc Reducing latency in video encoding and decoding
MX341415B (es) 2011-08-03 2016-08-19 Panasonic Ip Corp America Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
PL2744202T3 (pl) * 2011-08-11 2020-12-28 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
JP6308495B2 (ja) 2011-10-19 2018-04-11 サン パテント トラスト 画像復号方法、および、画像復号装置
GB2520867B (en) 2011-10-25 2016-05-18 Skype Ltd Jitter buffer
KR20130058584A (ko) 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
US20130170559A1 (en) * 2011-12-28 2013-07-04 Rovi Technologies Corporation Systems and methods for region of interest video processing
JP6101709B2 (ja) 2012-01-18 2017-03-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 映像復号化装置
US9167296B2 (en) * 2012-02-28 2015-10-20 Qualcomm Incorporated Customized playback at sink device in wireless display system
EP3174295B1 (en) 2012-04-13 2018-12-12 GE Video Compression, LLC Low delay picture coding
EP2843945B1 (en) * 2012-04-23 2020-03-11 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
SG11201408571RA (en) * 2012-06-29 2015-01-29 Sony Corp Decoding device, and decoding method
CN115442626A (zh) 2012-06-29 2022-12-06 Ge视频压缩有限责任公司 视频数据流、编码器、编码视频内容的方法以及解码器
CN102779503B (zh) * 2012-07-17 2015-07-29 深圳市文鼎创数据科技有限公司 通过显示屏输出信息的方法、装置及终端
RU2653308C2 (ru) * 2012-10-09 2018-05-07 Сони Корпорейшн Устройство и способ обработки изображений
US9723305B2 (en) 2013-03-29 2017-08-01 Qualcomm Incorporated RTP payload format designs
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
CA3129121C (en) 2013-04-07 2024-02-20 Dolby International Ab Signaling change in output layer sets
US9350781B2 (en) 2013-05-31 2016-05-24 Qualcomm Incorporated Single network abstraction layer unit packets with decoding order number for video coding
BR112016003135B1 (pt) * 2013-08-22 2023-03-07 Sony Corporation Dispositivos de codificação, de transmissão, de decodificação e de recepção, e, métodos de codificação e de decodificação
US9942546B2 (en) * 2013-12-12 2018-04-10 Qualcomm Incorporated POC value design for multi-layer video coding

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
FR2675951B1 (fr) 1991-04-23 1997-08-29 Thomson Csf Structure de jonction josephson.
US5387941A (en) 1991-06-14 1995-02-07 Wavephore, Inc. Data with video transmitter
FR2685489B1 (fr) 1991-12-23 1994-08-05 Thomson Csf Capteur de champ magnetique faible a effet magnetoresistif.
US5467173A (en) 1993-02-05 1995-11-14 Konica Corporation Speed control circuit for an optical scanning system driving motor for an image forming apparatus
US5481543A (en) 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
US5481643A (en) 1993-03-18 1996-01-02 U.S. Philips Corporation Transmitter, receiver and record carrier for transmitting/receiving at least a first and a second signal component
US5486864A (en) 1993-05-13 1996-01-23 Rca Thomson Licensing Corporation Differential time code method and apparatus as for a compressed video signal
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
GB2287383A (en) 1994-03-11 1995-09-13 Motorola Ltd Notification by energy burst of messages with unacceptable quality
DE4415729A1 (de) 1994-05-05 1995-11-09 Thomson Brandt Gmbh Kassettenrecorder zur wahlweisen Aufnahme von Kassetten verschiedener Größe
JPH0865665A (ja) 1994-08-25 1996-03-08 Hitachi Denshi Ltd 画像圧縮伝送方法および画像圧縮伝送システム
EP0753235B1 (en) * 1994-12-28 2000-07-12 Koninklijke Philips Electronics N.V. Buffer management in variable bit-rate compression systems
US5517250A (en) 1995-02-28 1996-05-14 General Instrument Corporation Of Delaware Acquisition of desired data from a packetized data stream and synchronization thereto
US5677905A (en) 1995-03-28 1997-10-14 Bell Atlantic Network Services, Inc. Access subnetwork controller for video dial tone networks
US5877812A (en) 1995-11-21 1999-03-02 Imedia Corporation Method and apparatus for increasing channel utilization for digital video transmission
US5719632A (en) * 1996-01-25 1998-02-17 Ibm Corporation Motion video compression system with buffer empty/fill look-ahead bit allocation
US5892924A (en) 1996-01-31 1999-04-06 Ipsilon Networks, Inc. Method and apparatus for dynamically shifting between routing and switching packets in a transmission network
AU734747B2 (en) 1996-01-31 2001-06-21 Ipsilon Networks, Inc. Improved method and apparatus for dynamically shifting between routing and switching packets in a transmission network
JP3493872B2 (ja) 1996-02-29 2004-02-03 ソニー株式会社 画像データ処理方法およびその装置
TW351903B (en) 1996-07-03 1999-02-01 Matsushita Electric Ind Co Ltd Encoding method, encoding apparatus, decoding and compositing method, decoding and composition appratus, and record medium recorded with the aforesaid methods for multiple images
FR2750769B1 (fr) 1996-07-05 1998-11-13 Thomson Csf Capteur de champ magnetique en couche mince
US6188700B1 (en) 1996-11-07 2001-02-13 Sony Corporation Method and apparatus for encoding MPEG signals using variable rate encoding and dynamically varying transmission buffers
EP2175666B1 (en) 1996-12-04 2012-11-14 Panasonic Corporation Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
US6011590A (en) 1997-01-03 2000-01-04 Ncr Corporation Method of transmitting compressed information to minimize buffer space
IL121815A (en) 1997-09-22 2000-09-28 Security 7 Software Ltd Method and system for the identification and the suppression of executable objects
KR100248080B1 (ko) 1997-10-06 2000-03-15 정선종 다자간 멀티미디어 통신에서의 에러제어 방법
CN1123268C (zh) 1997-10-09 2003-10-01 夸尔柯姆股份有限公司 在多址通信系统中执行空闲切换的方法和装置
US7301944B1 (en) 1997-10-24 2007-11-27 Tranz-Send Broadcasting Network, Inc. Media file distribution with adaptive transmission protocols
FR2771511B1 (fr) 1997-11-25 2000-02-04 Thomson Csf Capteur de champ magnetique et procede de fabrication de ce capteur
JP4132664B2 (ja) 1997-11-27 2008-08-13 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー トランスコーディング
US6023233A (en) * 1998-03-20 2000-02-08 Craven; Peter G. Data rate control for variable rate compression systems
US6289129B1 (en) * 1998-06-19 2001-09-11 Motorola, Inc. Video rate buffer for use with push dataflow
US6526022B1 (en) 1998-06-30 2003-02-25 Sun Microsystems Detecting congestion by comparing successive loss of packets in windows to provide congestion control in reliable multicast protocol
US6573942B1 (en) 1998-08-17 2003-06-03 Sharp Laboratories Of America, Inc. Buffer system for controlled and timely delivery of MPEG-2F data services
JP3552929B2 (ja) * 1998-11-27 2004-08-11 松下電器産業株式会社 復号化装置及び復号化方法
US6496980B1 (en) 1998-12-07 2002-12-17 Intel Corporation Method of providing replay on demand for streaming digital multimedia
JP2000232649A (ja) 1998-12-10 2000-08-22 Fujitsu Ltd Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法
FR2787197B1 (fr) 1998-12-11 2001-02-23 Thomson Csf Capteur de champ magnetique a magnetoresistance geante
CN1222039A (zh) * 1998-12-25 1999-07-07 国家科学技术委员会高技术研究发展中心 视频解码的数字信源解码器
WO2000046995A1 (en) 1999-02-05 2000-08-10 Sony Corporation Encoding system, encoding method, decoding system, decoding method, multiplexing device, multiplexing method, display system and display method
US6782490B2 (en) 1999-03-17 2004-08-24 At&T Corp. Network-based service for the repair of IP multicast sessions
US6269080B1 (en) 1999-04-13 2001-07-31 Glenayre Electronics, Inc. Method of multicast file distribution and synchronization
FI113124B (fi) 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
FR2795272B1 (fr) 1999-06-18 2001-07-20 Thomson Multimedia Sa Procede de commutation de flux mpeg
JP3587092B2 (ja) 1999-07-30 2004-11-10 松下電工株式会社 応答分散式通信方法および通信システム
KR100335057B1 (ko) 2000-03-08 2002-05-02 구자홍 동영상 수신 장치
US6697426B1 (en) 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
CN1290273C (zh) 2000-04-06 2006-12-13 株式会社Ntt都科摩 多点传播传送方法及多点传播传送系统与移动台及基地台
JP3683468B2 (ja) 2000-04-13 2005-08-17 株式会社エヌ・ティ・ティ・ドコモ マルチキャストサービス提供システムにおける再送制御方法、情報配信装置及び無線端末
US6493388B1 (en) 2000-04-19 2002-12-10 General Instrument Corporation Rate control and buffer protection for variable bit rate video programs over a constant rate channel
JP2002010216A (ja) 2000-04-20 2002-01-11 Canon Inc 復号化装置及びその制御方法並びに記憶媒体
JP4407007B2 (ja) * 2000-05-02 2010-02-03 ソニー株式会社 データ送信装置及び方法
US7016970B2 (en) * 2000-07-06 2006-03-21 Matsushita Electric Industrial Co., Ltd. System for transmitting stream data from server to client based on buffer and transmission capacities and delay time of the client
JP3594296B2 (ja) 2000-07-24 2004-11-24 松下電器産業株式会社 動画像符号化データの送信装置および送信方法
FI120125B (fi) 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
EP1235383A1 (en) 2000-11-06 2002-08-28 Matsushita Electric Industrial Co., Ltd. Transmitter, receiver, and broadcast data distribution method
FI118830B (fi) * 2001-02-08 2008-03-31 Nokia Corp Tietovirran toisto
TWI222630B (en) 2001-04-24 2004-10-21 Matsushita Electric Ind Co Ltd Magnetoresistive element and magnetoresistive memory device using the same
JP2002330379A (ja) 2001-05-02 2002-11-15 Sony Corp コンテンツ提供装置
JP2002359641A (ja) 2001-05-31 2002-12-13 Matsushita Electric Ind Co Ltd ファイル配信システム、ファイル配信サーバ装置、及び受信クライアント装置
JP4556351B2 (ja) 2001-06-19 2010-10-06 ソニー株式会社 マルチキャスト通信方法およびシステム
US20030031175A1 (en) 2001-08-01 2003-02-13 Masato Hayashi Method of multicasting
US8923688B2 (en) 2001-09-12 2014-12-30 Broadcom Corporation Performing personal video recording (PVR) functions on digital video streams
US7356079B2 (en) 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
JP2003209576A (ja) 2002-01-15 2003-07-25 Matsushita Electric Ind Co Ltd マルチキャスト通信方法及びそのシステム
FI114527B (fi) 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
AU2003215292A1 (en) 2002-02-15 2004-03-11 Visible World, Inc. System and method for seamless switching through buffering
US7831990B2 (en) 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
US7526523B2 (en) 2002-06-21 2009-04-28 British Telecommunications Public Limited Company Timer-based feedback in multicast communication
EP1518403A4 (en) * 2002-07-02 2009-03-18 Conexant Systems Inc HYPOTHETIC REFERENCE DECODER FOR COMPRESSED PICTURES AND VIDEO
EP1379085A1 (en) 2002-07-04 2004-01-07 Deutsche Thomson-Brandt Gmbh Method and device for linking multimedia data
US20040039796A1 (en) 2002-08-08 2004-02-26 Virtual Radio, Inc. Personalized cyber disk jockey and Internet radio advertising
US7289500B1 (en) 2003-07-17 2007-10-30 Novell, Inc. Method and system for reliable multicast data transmission
CN100568964C (zh) 2003-02-18 2009-12-09 诺基亚有限公司 图像解码方法
FR2852400B1 (fr) 2003-03-14 2005-06-24 Capteur magnetoresistif comprenant un element sensible ferromagnetique/antiferromagnetique
FR2852399B1 (fr) 2003-03-14 2005-07-15 Roulements Soc Nouvelle Capteur magnetoriesistif comprenant un element sensible ferromagnetique/antiferromagnetique
US6873786B2 (en) 2003-05-05 2005-03-29 Thomson Licensing S.A. Reverse trick modes on non-progressive video using special groups of pictures
US7415069B2 (en) 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US7296205B2 (en) 2004-02-18 2007-11-13 Nokia Corporation Data repair
WO2005101377A1 (en) 2004-04-02 2005-10-27 Tdk Corporation Stabilizer for magnetoresistive head in current perpendicular to plane mode and method of manufacture
US7606008B2 (en) 2004-04-02 2009-10-20 Tdk Corporation Stabilizer for magnetoresistive head and method of manufacture
JP2007531177A (ja) 2004-04-02 2007-11-01 Ｔｄｋ株式会社 磁気抵抗ヘッドを安定化させる合成フリー層
US9124907B2 (en) 2004-10-04 2015-09-01 Nokia Technologies Oy Picture buffering method
JP2007110011A (ja) 2005-10-17 2007-04-26 Tdk Corp 磁気抵抗効果素子、薄膜磁気ヘッド、薄膜磁気ヘッドのウエハ、ヘッドジンバルアセンブリ、ハードディスク装置、磁気メモリ素子、および磁気センサアセンブリ
US8036070B2 (en) 2007-11-14 2011-10-11 Centre National De La Recherche Scientifique Magnetic recording device, especially for a hard disk and its manufacturing process
US20090128965A1 (en) 2007-11-15 2009-05-21 Tomohito Mizuno Cpp magneto-resistive element provided with a pair of magnetic layers and nicr buffer layer

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100849495B1 (ko) * 2006-12-04 2008-07-31 한국전자통신연구원 Ｒｔｐ 패킷화 모드별 비트율 생성 방법

Also Published As

Publication number Publication date
CA2515354C (en) 2013-08-06
AU2004214313B2 (en) 2010-05-20
JP2009124748A (ja) 2009-06-04
EP1595405A1 (en) 2005-11-16
WO2004075555A1 (en) 2004-09-02
BRPI0407527A8 (pt) 2016-03-29
JP2006515137A (ja) 2006-05-18
EP1595405B1 (en) 2019-12-04
CA2515354A1 (en) 2004-09-02
TWI268700B (en) 2006-12-11
TW200427311A (en) 2004-12-01
US8670486B2 (en) 2014-03-11
RU2005129107A (ru) 2006-03-20
MXPA05008404A (es) 2005-10-05
KR100711635B1 (ko) 2007-04-25
US20040223551A1 (en) 2004-11-11
RU2375839C2 (ru) 2009-12-10
CN1751518B (zh) 2010-12-01
AU2004214313A2 (en) 2004-09-02
CN1751518A (zh) 2006-03-22
BRPI0407527B1 (pt) 2019-04-02
HK1088159A1 (en) 2006-10-27
MY135449A (en) 2008-04-30
AU2004214313A1 (en) 2004-09-02
JP5068947B2 (ja) 2012-11-07
BRPI0407527A (pt) 2006-02-14

Similar Documents

Publication Publication Date Title
KR100711635B1 (ko) 화상 부호화 방법
JP5341629B2 (ja) ピクチャ復号化方法
US9124907B2 (en) Picture buffering method
KR100837322B1 (ko) 인코더 및 디코더 버퍼의 사이즈 조정 방법, 장치 및 저장매체
AU2004234896B2 (en) Picture coding method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170317

Year of fee payment: 11