KR102477964B1 - 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법 - Google Patents
미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법 Download PDFInfo
- Publication number
- KR102477964B1 KR102477964B1 KR1020150142468A KR20150142468A KR102477964B1 KR 102477964 B1 KR102477964 B1 KR 102477964B1 KR 1020150142468 A KR1020150142468 A KR 1020150142468A KR 20150142468 A KR20150142468 A KR 20150142468A KR 102477964 B1 KR102477964 B1 KR 102477964B1
- Authority
- KR
- South Korea
- Prior art keywords
- picture
- bitstream
- random access
- pictures
- leading
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
- H04N21/4383—Accessing a communication channel
- H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4343—Extraction or processing of packetized elementary streams [PES]
Abstract
본 개시는 GOP(group of picture)를 전달하는 비트스트림을 재생하는 방법에 있어서, 제1 픽쳐에서 임의 접근(random access) 발생하면 상기 제1 픽쳐에 후속하는 적어도 하나의 제2 픽쳐의 NAL(network abstraction layer) 유닛 헤더를 파싱(parsing)하여 상기 적어도 하나의 제2 픽쳐의 NAL 유닛 타입을 결정하는 동작; 상기 결정된 NAL 유닛 타입에 근거하여 상기 적어도 하나의 제2 픽쳐를 상기 비트스트림에서 제거하는 동작; 및 상기 적어도 하나의 제2 픽쳐가 제거된 상기 비트스트림을 디코딩하고 디스플레이하는 동작을 포함하는 방법을 제공한다.
Description
본 개시는 실시간 멀티미디어 전송 프로토콜에서 미디어 재생 기법에 관한 것으로써, MPEG(moving picture experts group) 미디어 전송 (MPEG media transport: MMT) 프로토콜에서 전송되는 비트스트림의 임의 지점에 젖ㅂ속하여 보다 빠르게 미디어를 재생하기 위한 기법에 관한 것이다.
MMT에서 SAP(Stream Access Point; 스트림 접근 포인트) 타입(type) 2, SAP 타입 3에 해당하는 지점(즉, 포인트)에서 임의 접근(random access; 랜덤 액세스)가 발생할 경우, 단말은 인트라 임의 접근 포인트(IRAP; intra random access point) 픽쳐(picture)를 복원한다. 상기 단말은 상기 복원된 IRAP 픽쳐와 관련있는 리딩 픽쳐(leading picture)들을 모두 디코딩(decoding)한 후에 디스플레이(display) 순서에 따라서 상기 리딩 픽쳐들을 디스플레이하고 상기 IRAP 픽쳐를 디스플레이한다. 즉, 임의 접근 발생시에는 상기 단말이 상기 관련 있는 리딩 픽쳐들을 디코딩하는 시간만큼의 지연(delay)이 발생하고 있다. 따라서, 채널 스위칭(channel switching)이나 비트스트림 스위칭(bitstream switching)으로 인해 임의 접근이 발생하는 경우에, 단말이 IRAP 픽쳐를 복원하는데는 상기 리딩 픽쳐들의 개수만큼 (디코딩 및/또는 디스플레이로 인한) 지연시간이 늘어나는 현상이 발생한다.
본 개시는 단말이 비트스트림에서 임의 접근 수행시 리딩 픽쳐의 디코딩으로 인해 발생하는 지연을 감소시키는 기법을 제공한다.
본 개시는 단말이 비트스트림에서 임의 접근 수행시 발생하는 지연을 감소시킬 경우에 PT(presentation time) 동기화를 보장하는 기법을 제공한다.
본 개시는 GOP(group of picture)를 전달하는 비트스트림을 재생하는 방법에 있어서, 제1 픽쳐에서 임의 접근(random access)이 발생하면 상기 제1 픽쳐에 후속하는 적어도 하나의 제2 픽쳐의 NAL(network abstraction layer) 유닛 헤더를 파싱(parsing)하여 상기 적어도 하나의 제2 픽쳐의 NAL 유닛 타입을 결정하는 동작; 상기 결정된 NAL 유닛 타입에 근거하여 상기 적어도 하나의 제2 픽쳐를 상기 비트스트림에서 제거하는 동작; 및 상기 적어도 하나의 제2 픽쳐가 제거된 상기 비트스트림을 디코딩하고 디스플레이하는 동작을 포함하는 방법을 제안한다.
본 개시는 GOP를 전달하는 비트스트림을 재생하는 장치에 있어서, 상기 비트스트림을 수신하는 송수신부; 및 제1 픽쳐에서 임의 접근 발생하면 상기 제1 픽쳐에 후속하는 적어도 하나의 제2 픽쳐의 NAL 유닛 헤더를 파싱하여 상기 적어도 하나의 제2 픽쳐의 NAL 유닛 타입을 결정하고, 상기 결정된 NAL 유닛 타입에 근거하여 상기 적어도 하나의 제2 픽쳐를 상기 비트스트림에서 제거하고, 상기 적어도 하나의 제2 픽쳐가 제거된 상기 비트스트림을 디코딩하고 디스플레이하는 제어부를 포함하는 장치를 제안한다.
본 개시는 단말의 비디오 스트림 재생 방법에 있어서, SAP 타입 2, 3에 해당하는 RAP(random access point; 임의 접근 포인트)에서 임의 접근 발생 시 비디오 스트림상에 NAL(network abstraction layer) 유닛 헤더를 파싱(parsing)하여 리딩 픽쳐 존재 유무를 파악하고, 상기 리딩 픽쳐가 존재할 시 상기 리딩 픽쳐에 해당하는 NAL 유닛 데이터를 디코딩하기 전에 제거하고, 뒤에 오는 트레일 픽쳐의 디코딩 및 디스플레이를 수행하는 방법을 제안한다.
본 개시는 GOP를 전달하는 비트스트림을 재생하는 장치에 있어서, 상기 비트스트림을 수신하는 송수신부; 및 제1 픽쳐에서 임의 접근 발생하면 상기 제1 픽쳐에 후속하는 적어도 하나의 제2 픽쳐의 NAL 유닛 헤더를 파싱하여 상기 적어도 하나의 제2 픽쳐의 NAL 유닛 타입을 결정하고, 상기 결정된 NAL 유닛 타입에 근거하여 상기 적어도 하나의 제2 픽쳐를 상기 비트스트림에서 제거하고, 상기 적어도 하나의 제2 픽쳐가 제거된 상기 비트스트림을 디코딩하고 디스플레이하는 제어부를 포함하는 장치를 제안한다.
본 개시는 단말의 비디오 스트림 재생 방법에 있어서, SAP 타입 2, 3에 해당하는 RAP(random access point; 임의 접근 포인트)에서 임의 접근 발생 시 비디오 스트림상에 NAL(network abstraction layer) 유닛 헤더를 파싱(parsing)하여 리딩 픽쳐 존재 유무를 파악하고, 상기 리딩 픽쳐가 존재할 시 상기 리딩 픽쳐에 해당하는 NAL 유닛 데이터를 디코딩하기 전에 제거하고, 뒤에 오는 트레일 픽쳐의 디코딩 및 디스플레이를 수행하는 방법을 제안한다.
또한 본 개시는 상기 리딩 픽쳐들을 제거하고 IRAP 픽쳐 및 트레일 픽쳐를 디스플레이할 때 서버측에서 수신한 디코딩된 픽쳐의 구성(composition) PT를 리딩 픽쳐의 개수만큼 앞당겨 디스플레이 함을 특징으로 하는 방법을 제안한다.
또한 본 개시는 IRAP 픽쳐를 디코딩하고, IRAP 픽쳐를 상기 리딩 픽쳐들의 개수만큼 앞당겨서 디스플레이하고, 상기 IRAP 픽쳐를 상기 리딩 픽쳐 들의 갯수만큼 반복하여 디스플레이하는 과정을 더 포함함을 특징으로 하는 방법을 제안한다.
본 개시는 비디오스트림에 대한 임의 접근 발생 시 IRAP 픽쳐 후에 비트스트림 상에 리딩 픽쳐가 존재할 때, 리딩 픽쳐를 처리하는 방법 및 영상 시퀀스를 디스플레이하는 방법을 제안한다. 이로써, 본 개시에 따른 단말은 빠른 임의 접근 재생을 가능하게 하고, SAP 타입 2, 또는 SAP 타입 3의 비트스트림에 대해 임의 접근을 수행할 수 있게 된다.
본 개시의 단말은 SAP type 2, 3에 해당하는 RAP에서 임의 접근 발생 시 비디오 비트스트림상에 NAL 유닛 헤더를 파싱(parsing)하여 리딩 픽쳐 존재 유무를 파악하고, 상기 리딩 픽쳐가 존재할 시 상기 리딩 픽쳐에 해당하는 NAL 유닛 데이터를 디코딩하기 전에 제거하여 뒤에 오는 트레일 픽쳐의 디코딩 및 디스플레이를 빠르게 수행할 수 있게 한다.
본 개시의 상기 단말은 리딩 픽쳐들을 제거하고 IRAP 픽쳐 및 트레일 픽쳐를 디스플레이할 때 기존에 서버측에서 보내온 디코딩된 픽쳐의 구성(composition) PT를 리딩 픽쳐의 개수만큼 계산하여 앞당길 수 있다.
본 개시의 상기 단말은 상기 리딩 픽쳐들을 제거하고 IRAP 픽쳐를 디코딩한 후, 바로 IRAP 픽쳐를 리딩 픽쳐들의 개수만큼 앞당겨서 디스플레이한 후 리딩 픽쳐 들의 갯수만큼 반복하여 디스플레이한 후 트레일 픽쳐를 디코딩하고 디스플레이할 수 있다.
본 개시의 단말은 SAP type 2, 3에 해당하는 RAP에서 임의 접근 발생 시 비디오 비트스트림상에 NAL 유닛 헤더를 파싱(parsing)하여 리딩 픽쳐 존재 유무를 파악하고, 상기 리딩 픽쳐가 존재할 시 상기 리딩 픽쳐에 해당하는 NAL 유닛 데이터를 디코딩하기 전에 제거하여 뒤에 오는 트레일 픽쳐의 디코딩 및 디스플레이를 빠르게 수행할 수 있게 한다.
본 개시의 상기 단말은 리딩 픽쳐들을 제거하고 IRAP 픽쳐 및 트레일 픽쳐를 디스플레이할 때 기존에 서버측에서 보내온 디코딩된 픽쳐의 구성(composition) PT를 리딩 픽쳐의 개수만큼 계산하여 앞당길 수 있다.
본 개시의 상기 단말은 상기 리딩 픽쳐들을 제거하고 IRAP 픽쳐를 디코딩한 후, 바로 IRAP 픽쳐를 리딩 픽쳐들의 개수만큼 앞당겨서 디스플레이한 후 리딩 픽쳐 들의 갯수만큼 반복하여 디스플레이한 후 트레일 픽쳐를 디코딩하고 디스플레이할 수 있다.
도 1은 GOP 내 CRA 픽쳐의 디코딩과 디스플레이를 리딩 픽쳐들과 관련하여 설명하는 도면;
도 2는 RASL과 RADL의 관계를 설명하는 도면;
도 3은 IRAP 픽쳐를 디스플레이하기 까지 발생하는 지연을 예시하는 도면;
도 4는 비트스트림에서 리딩 픽쳐를 제거하는 기법을 예시하는 도면;
도 5는 비트스트림에서 리딩 픽쳐를 제거하고 IRAP 픽쳐를 반복 디스플레이하는 기법을 예시하는 도면;
도 6은 본 개시의 실시예들에 따라서 GOP 전송 비트스트림을 재생하는 단말 장치 구성을 개략적으로 설명하는 도면이다.
도 2는 RASL과 RADL의 관계를 설명하는 도면;
도 3은 IRAP 픽쳐를 디스플레이하기 까지 발생하는 지연을 예시하는 도면;
도 4는 비트스트림에서 리딩 픽쳐를 제거하는 기법을 예시하는 도면;
도 5는 비트스트림에서 리딩 픽쳐를 제거하고 IRAP 픽쳐를 반복 디스플레이하는 기법을 예시하는 도면;
도 6은 본 개시의 실시예들에 따라서 GOP 전송 비트스트림을 재생하는 단말 장치 구성을 개략적으로 설명하는 도면이다.
이하, 첨부된 도면들을 참조하여 본 개시의 실시예를 상세하게 설명한다. 하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시의 자세한 설명에 앞서, 본 명세서에서 사용되는 몇 가지 용어들에 대해 해석 가능한 의미의 예를 제시한다. 하지만, 아래 제시하는 해석 예로 한정되는 것은 아님을 주의하여야 한다.
서버는 단말과 통신하는 일 주체로서, 기지국(Base Station), NodeB(NB), eNodB(eNB), AP(Access Point) 등으로 지칭될 수도 있다.
단말(User Equipment)은 서버와 통신하는 일 주체로서, UE, 이동국(Mobile Station; MS), 이동장비(Mobile Equipment; ME), 디바이스(device), 터미널(terminal) 등으로 지칭될 수도 있다.
ISOBMFF(ISO base media file format; ISO 기반 미디어 파일 포맷)에서 정의한 6개의 SAP 타입 중 타입 1(type 1)만을 지원하는 MMT 시스템은 각 MPU(media processing unit)의 첫 번째 샘플(sample)을 임의 접근 포인트(RAP; random access point) 접근 유닛(AU; access unit)으로 지정하고, 시그널링 메시지(signaling message)를 통해 상기 첫 번째 AU의 표현 시간 (PT; presentation time)를 알려준다.
상기 SAP Type 1은 가장 널리 쓰이는 임의 접근 방식이긴 하나, SAP Type 2~6가 가지는 빠른 접근(fast access), 높은 코딩 효율(high coding efficiency)등의 장점은 지원하지 못한다. 특히, SAP type 2, type 3는 HEVC(high efficiency video coding)에서 정의된 CRA(clean random access), BLA(broken link access) 등의 리딩 픽쳐 핸들링(handling)을 통해 상기 SAP Type 1에 비해 높은 코딩 이득(gain)을 오픈(open) GOP(group of picture)를 통해 가능하게 한다. 여기서, 리딩 픽쳐(leading picture)란 디스플레이 순서상 특정 픽쳐보다 앞서는(leading) 픽쳐를 의미한다.
도 1은 GOP 내 CRA 픽쳐의 디코딩과 디스플레이를 리딩 픽쳐들과 관련하여 설명하는 도면이다.
도 1(a)는 픽쳐들의 디코딩 순서(decoding order)를 설명하는 도면이고, 도 1(b)는 상기 픽쳐들의 디스플레이 순서(display order)를 설명하는 도면이다. 도 1은, 예로써, 단말은 CRA 픽쳐(100), B 픽쳐(102), B 픽쳐(104)의 순서로 디코딩을 수행하지만, 디스플레이 순서는 B 픽쳐(102), B 픽쳐(104), CRA 픽쳐(100)의 순서로 디스플레이 되는 경우를 예시하고 있다. 상기 B 픽쳐(102), B 픽쳐(104)는 상기 CRA 픽쳐(100)의 리딩 픽쳐가 될 수 있다. 여기서, POC(picture of count)는 상기 픽쳐들의 디스플레이 순서를 지시하는 값으로 이해될 수 있다. 이에 상기 B 픽쳐(102)는 POC 14를, 상기 B 픽쳐(104)는 POC 15, 상기 CRA 픽쳐(100)는 POC 16을 가질 수 있다.
상기 CRA(clean random access) 픽쳐(100)는 다음과 같은 특징을 갖는다. 상기 CRA 픽쳐(100)는 인코딩된 비디오 시퀀스(coded video sequence) 중간에서 임의 접근 포인트 지정되는 경우 바로 상기 CRA 픽쳐(100)로부터 디코딩 시작이 가능하게(facilitates) 하는 픽쳐이다. CRA를 이용하는 기법은 IDR(instantaneous decoding refresh)에 비해 향상된(6% 정도) 코딩 효율(coding efficiency)을 갖는다. CRA 기법은, 관련있는 상기 CRA 픽쳐(100)의 리딩 픽쳐들(예를 들어, B 픽쳐(102))이 상기 CRA 픽쳐(100) 이전에 디코딩된 픽쳐(예를 들어, B 픽쳐(106), B 픽쳐(108))를 참조로써(as reference) 이용할 수 있게 한다. 도 1(a)에서 구부러진 화살표(110, 112)는 상기 B 픽쳐(102)가 상기 이전에 디코딩된 픽쳐(106, 108)를 참조로써 이용함을 나타낸다. 상기 CRA 픽쳐(100)에서 임의 접근이 수행되면 디코딩 순서 및 출력 순서(output order 또는 디스플레이 순서)에서 상기 CRA 픽쳐를 뒤따르는 픽쳐들은 디코딩이 가능하다.
상기 SAP Type 1은 가장 널리 쓰이는 임의 접근 방식이긴 하나, SAP Type 2~6가 가지는 빠른 접근(fast access), 높은 코딩 효율(high coding efficiency)등의 장점은 지원하지 못한다. 특히, SAP type 2, type 3는 HEVC(high efficiency video coding)에서 정의된 CRA(clean random access), BLA(broken link access) 등의 리딩 픽쳐 핸들링(handling)을 통해 상기 SAP Type 1에 비해 높은 코딩 이득(gain)을 오픈(open) GOP(group of picture)를 통해 가능하게 한다. 여기서, 리딩 픽쳐(leading picture)란 디스플레이 순서상 특정 픽쳐보다 앞서는(leading) 픽쳐를 의미한다.
도 1은 GOP 내 CRA 픽쳐의 디코딩과 디스플레이를 리딩 픽쳐들과 관련하여 설명하는 도면이다.
도 1(a)는 픽쳐들의 디코딩 순서(decoding order)를 설명하는 도면이고, 도 1(b)는 상기 픽쳐들의 디스플레이 순서(display order)를 설명하는 도면이다. 도 1은, 예로써, 단말은 CRA 픽쳐(100), B 픽쳐(102), B 픽쳐(104)의 순서로 디코딩을 수행하지만, 디스플레이 순서는 B 픽쳐(102), B 픽쳐(104), CRA 픽쳐(100)의 순서로 디스플레이 되는 경우를 예시하고 있다. 상기 B 픽쳐(102), B 픽쳐(104)는 상기 CRA 픽쳐(100)의 리딩 픽쳐가 될 수 있다. 여기서, POC(picture of count)는 상기 픽쳐들의 디스플레이 순서를 지시하는 값으로 이해될 수 있다. 이에 상기 B 픽쳐(102)는 POC 14를, 상기 B 픽쳐(104)는 POC 15, 상기 CRA 픽쳐(100)는 POC 16을 가질 수 있다.
상기 CRA(clean random access) 픽쳐(100)는 다음과 같은 특징을 갖는다. 상기 CRA 픽쳐(100)는 인코딩된 비디오 시퀀스(coded video sequence) 중간에서 임의 접근 포인트 지정되는 경우 바로 상기 CRA 픽쳐(100)로부터 디코딩 시작이 가능하게(facilitates) 하는 픽쳐이다. CRA를 이용하는 기법은 IDR(instantaneous decoding refresh)에 비해 향상된(6% 정도) 코딩 효율(coding efficiency)을 갖는다. CRA 기법은, 관련있는 상기 CRA 픽쳐(100)의 리딩 픽쳐들(예를 들어, B 픽쳐(102))이 상기 CRA 픽쳐(100) 이전에 디코딩된 픽쳐(예를 들어, B 픽쳐(106), B 픽쳐(108))를 참조로써(as reference) 이용할 수 있게 한다. 도 1(a)에서 구부러진 화살표(110, 112)는 상기 B 픽쳐(102)가 상기 이전에 디코딩된 픽쳐(106, 108)를 참조로써 이용함을 나타낸다. 상기 CRA 픽쳐(100)에서 임의 접근이 수행되면 디코딩 순서 및 출력 순서(output order 또는 디스플레이 순서)에서 상기 CRA 픽쳐를 뒤따르는 픽쳐들은 디코딩이 가능하다.
ISOBMFF에서 정의된 SAP type 들의 특징을 예를 들어 설명하면 다음 표와 같다.
Type 1: TEPT = TDEC = TSAP = TPTF (리딩픽쳐 없는IRAP) Type 2: TEPT = TDEC = TSAP < TPTF (리딩픽쳐를 갖는 IDR) Type 3: TEPT < TDEC = TSAP <= TPTF (리딩픽쳐를 갖는 CRA/BLA) Type 4: TEPT <= TPTF < TDEC = TSAP (Gradual decoding refresh) Type 5: TEPT = TDEC < TSAP Type 6: TEPT < TDEC < TSAP |
표 1에서 TSAP 는 특정 표현 시간(PT) 이후에 모든 디코딩 가능한 시간(all decodable after this presentation time)이다. TDEC 는 디코딩 가능한 픽쳐 중 가장 이른 PT(earliest presentation time of decodable picture) 이다. TEPT 는 디코딩 가능한/디코딩 불가한 픽쳐 중 가장 이른 PT(earliest presentation time of decodable/non-decodable picture)이다. TPTF 는 RAP의 PT(presentation time of RAP)이다.
HEVC에서 정의된 RAP 타입을 예를 들어 설명하면 표 2와 같다.
IDR | Instantaneous decoding refresh | IDR_W_LP: IDR with leading pictures |
IDR_N_LP: IDR without leading pictures | ||
BLA | Broken link access | BLA_W_LP: BLA with leading pictures |
BLA_W_DLP: BLA with decodable leading pictures | ||
BLA_N_LP: BLA without leading pictures | ||
CRA | Clean random access | CRA with leading pictures |
HEVC에서 정의된 리딩 픽쳐의 타입을 예를 들어 설명하면 표 3과 같다.
삭제
삭제
RADL | Decodable leading pictures(디코딩 가능한 리딩 픽쳐) | RADL_R: RADL referenced |
RADL_N: RADL non-referenced | ||
RASL | Non-decodable leading pictures (디코딩 불가능한 리딩 픽쳐) |
RASL_R: RASL referenced |
RASL_N: RASL non-referenced |
도 2는 RASL과 RADL의 관계를 설명하는 도면이다.
RADL(random access decodable leading picture) 및 RASL(random access skipped leading picture)에는 다음과 같은 특징이 있다.
RAP 픽쳐로부터 디코딩이 시작될 때 RADL이 정확하게 디코딩될 수 있다. RAP 픽쳐로부터 임의 접근이 발생할 때, RASL은 정확하게 디코딩 될 수 없는 픽쳐이다. 어느 픽쳐가 리딩 픽쳐일 때, 상기 리딩 픽쳐는 RADL 또는 RASL 픽쳐이다. 도 2에서, RAP 픽쳐가 CRA 픽쳐(100)일 때, B 픽쳐(102)와 B 픽쳐(104)는 상기 CRA 픽쳐(100) 이후에 디코딩되는 픽쳐들이므로, 디코딩 가능한 픽쳐 즉, RADL이다. 반면, B 픽쳐(102)와 B 픽쳐(108)는 상기 CRA 픽쳐(100) 이전에 디코딩되어야 하는 픽쳐들이므로, RAP 픽쳐가 상기 CRA 픽쳐(100)라면 디코딩 불가한 픽쳐 즉, RASL가 된다.
앞서 설명하였듯이, MMT에서 SAP type 2(즉, 리딩 픽쳐를 갖는 IDR 픽쳐), SAP type 3(즉, 리딩 픽쳐를 갖는 CRA 또는 BLA 픽쳐)에 해당하는 픽쳐에서 임의 접근이 발생할 경우, 단말은 상기 임의 접근이 발생한 픽쳐(즉, IRAP 픽쳐)와 관련있는 리딩 픽쳐들을 모두 디코딩한 후에 디스플레이 순서에 따라서 상기 리딩 픽쳐들을 디스플레이하고 상기 IRAP 픽쳐를 디스플레이하고 있다. 따라서, 상기 단말은 픽쳐를 디스플레이 하기까지 리딩 픽쳐로 인한 지연을 겪고 있다.
도 3은 IRAP 픽쳐를 디스플레이하기 까지 발생하는 지연을 예시하고 있다.
도 3(a)는 디코딩 순서를 도 3(b)는 디스플레이 순서를 예시하고 있다. 비트스트림 내에서 임의의 제1 픽쳐(300)에서 임의 접근이 발생하였으나 상기 제1 픽쳐(300)가 임의 접근이 불가능한 픽쳐인 경우, 임의 접근이 가능한 IRAP 픽쳐(302)가 디코딩되기까지의 지연(310)이 발생할 수 있다. 더불어, 단말은 상기 IRAP 픽쳐(302)와 관련 있는 리딩 픽쳐들(304,305,306,307)을 디코딩해야 하므로, 상기 관련 있는 리딩 픽쳐들(304, 305, 306, 307)을 디코딩하는 시간만큼의 지연(312)이 발생할 수 있다. 예를 들어, 채널 스위칭이나 비트스트림 스위칭으로 임의 접근이 발생하는 경우에 단말이 IRAP 픽쳐를 복원하는 데는 상기 리딩 픽쳐들의 개수만큼 지연시간이 발생할 수 있다. 상기 지연 시간(314)의 경과한 후에야, 상기 단말은 상기 리딩 픽쳐들(304, 305, 306, 307)을 디스플레이하고, 이어서 상기 IRAP 픽쳐(302) 픽쳐를 디스플레이할 수 있다. 여기서, 트레일(Trail) 픽쳐(308)는 상기 IRAP 픽쳐(302)와 관련 없이 디코딩 되고 디스플레이 되는 픽쳐를 의미한다.
이에 본 개시는 리딩 픽쳐들의 복원(즉, 디코딩 및 디스플레이)으로 인해 발생하는 임의 접근의 지연 시간을 단축하는 기법(방법 및 장치)를 제안하고자 한다.
본 개시에 따른 첫 번째 기법은 비트스트림에서 리딩 픽쳐를 제거하는 방법이다.
도 4는 비트스트림에서 리딩 픽쳐를 제거하는 기법을 예시하는 도면이다.
도 4(a)는 픽쳐들의 디코딩 순서를 설명하는 도면이고, 도 4(b)는 상기 픽쳐들의 디스플레이 순서를 설명하는 도면이다.
도 4(a)는 픽쳐들의 디코딩 순서를 설명하는 도면이고, 도 4(b)는 상기 픽쳐들의 디스플레이 순서를 설명하는 도면이다.
본 기법에서 임의 접근이 발생한 경우 단말은 비트스트림에서 일부 픽쳐(즉, 임의 접근이 발생한 IRAP 픽쳐의 리딩 픽쳐)를 디스플레이하지 않고 제거(discard)한다.
구체적으로, 임의 접근이 발생한 경우 상기 단말은 픽쳐마다 NAL(Network Abstraction Layer) 유닛 헤더(NUH; NAL unit header)에 기록되는 NAL 유닛 타입(NUT; NAL unit type)을 보고 리딩 픽쳐(402, 403, 404, 405)의 존재 여부를 판단할 수 있다. HEVC 비트스트림의 경우 RAP 픽쳐의 뒤에 오는(following) 트레일(trail) 픽쳐들(408,409)이 상기 리딩 픽쳐들(402,403,404,405)과의 의존성(dependency)이 없기 때문에, RADL 및 RASL 과 같은 리딩 픽쳐들은 모두 비트스트림에서 제거(discard)되어도 뒤에 오는 픽쳐들(408,409)의 디코딩에 영향을 주지 않는다. 그러므로 본 기법에 따른 단말은 상기 리딩 픽쳐들(402,403,404,405)을 디코딩하기 전에 비트스트림에서 제거시킴으로써 상기 리딩 픽쳐들(402,403,404,405)의 디코딩으로 발생하는 지연시간을 없앨 수 있다. 이렇게 함으로써, 본 기법에 따른 단말은 상기 RAP 픽쳐(400) 뿐만 아니라 뒤에 오는 트레일 픽쳐들(408,409)을 보다 빠르게 복원(디코딩하고 디스플레이)할 수 있게 된다.
구체적으로, 임의 접근이 발생한 경우 상기 단말은 픽쳐마다 NAL(Network Abstraction Layer) 유닛 헤더(NUH; NAL unit header)에 기록되는 NAL 유닛 타입(NUT; NAL unit type)을 보고 리딩 픽쳐(402, 403, 404, 405)의 존재 여부를 판단할 수 있다. HEVC 비트스트림의 경우 RAP 픽쳐의 뒤에 오는(following) 트레일(trail) 픽쳐들(408,409)이 상기 리딩 픽쳐들(402,403,404,405)과의 의존성(dependency)이 없기 때문에, RADL 및 RASL 과 같은 리딩 픽쳐들은 모두 비트스트림에서 제거(discard)되어도 뒤에 오는 픽쳐들(408,409)의 디코딩에 영향을 주지 않는다. 그러므로 본 기법에 따른 단말은 상기 리딩 픽쳐들(402,403,404,405)을 디코딩하기 전에 비트스트림에서 제거시킴으로써 상기 리딩 픽쳐들(402,403,404,405)의 디코딩으로 발생하는 지연시간을 없앨 수 있다. 이렇게 함으로써, 본 기법에 따른 단말은 상기 RAP 픽쳐(400) 뿐만 아니라 뒤에 오는 트레일 픽쳐들(408,409)을 보다 빠르게 복원(디코딩하고 디스플레이)할 수 있게 된다.
구체적으로, IRAP 픽쳐, 리딩 픽쳐(예를 들어, RADL, RASL), 및 트레일 픽쳐들은 모두 인코딩된 비트스트림의 NUT에 의해 해당하는 타입이 파악될 수 있다. 예를 들어, HEVC에서는 NUT 6 비트(bits)로 NUH에서 시그널링될 수 있다. 또한, ISOBMFF로 저장된 HEVC 비트스트림의 경우, 단말은 HEVCConfigurationBox 내의 HEVCDecoderConfigurationRecord 에서 각 NAL 유닛 별 NUT 정보를 확인할 수 있다. 상기 단말은 상기 NUT 정보에 근거하여 상기 리딩 픽쳐들을 비트스트림에서 제거하고 즉시(리딩 픽쳐의 디코딩 및 디스플레이로 인한 지연시간 없이) IRAP 픽쳐와 트레일 픽쳐를 디스플레이 할 수 있게 된다. 이때, 상기 단말은 상기 리딩 픽쳐(402, 403, 404, 405)의 개수만큼 디스플레이 타임(display time)(410)을 계산하여 상기 트레일 픽쳐(408,409,...)를 기존에 서버측에서 보내온 상기 트레일 픽쳐의 구성(composition) PT로부터 상기 계산된 디스플레이 타임(410)만큼 앞당겨 디스플레이 할 수 있게 된다. 즉, 상기 단말은 상기 IRAP 픽쳐(400)를 디코딩한 후에 리딩 픽쳐들(402, 403, 404, 405)를 디코딩할 필요 없이 바로 디스플레이 가능하며, 상기 트레일 픽쳐들(408, 409)을 상기 IRAP 픽쳐(400) 이후에 바로 디코딩하고 디스플레이할 수 있다.
삭제
상술한 첫 번째 기법에서 단말이 IRAP 픽쳐를 디스플레이하고 트레일 픽쳐를 곧바로 연속하여 디스플레이할 경우 이후에 오는 모든 픽쳐들의 PT가 앞당겨져야 한다. 다수의 기기가 상기 비트스트림을 프리젠테이션 하는 경우에 일부 픽쳐들의 PT가 앞당겨지는 등의 이유로 변경된다면, 기기간 프리젠테이션(presentation) 동기화가 맞지 않게 될 수 있다. 이에, 본 개시의 두 번째 기법은 IRAP 픽쳐 다음에 디스플레이될 트레일 픽쳐의 PT를 앞당기지 않고 상기 IRAP 픽쳐만 즉시 디스플레이하는 방안이다. 상기 두 번째 기법에서 단말은 리딩 픽쳐들의 디스플레이 타임동안 IRAP 픽쳐를 반복하여 디스플레이한 후에, 이후 디코딩되는 트레일 픽쳐들은 각각 자신의 원래 PT에 디스플레이할 수도 있다.
도 5는 비트스트림에서 리딩 픽쳐를 제거하고 IRAP 픽쳐를 반복 디스플레이하는 기법을 예시하는 도면이다.
도 5(a)는 픽쳐들의 디코딩 순서를 설명하는 도면이고, 도 5(b)는 상기 픽쳐들의 디스플레이 순서를 설명하는 도면이다.
본 기법에서 임의 접근이 발생한 경우 단말은 DPB에 저장된 일부 픽쳐(즉, 임의 접근이 발생한 IRAP 픽쳐의 리딩 픽쳐)를 디스플레이하지 않고 제거한다.
임의 접근이 발생한 경우 상기 단말은 픽쳐마다 NUH에 기록되는 NUT을 보고 리딩 픽쳐(502, 503, 504, 505)의 존재 여부를 판단할 수 있다. HEVC 비트스트림의 경우 RAP 픽쳐의 뒤에 오는 트레일 픽쳐들(508, 509)이 상기 리딩 픽쳐들(502, 503, 504, 505)과의 의존성이 없기 때문에, RADL 및 RASL 과 같은 리딩 픽쳐들(502, 503, 504, 505)은 모두 비트스트림에서 제거되어도 뒤에 오는 픽쳐들(508, 509)의 디코딩에 영향을 주지 않는다. 그러므로 본 기법에 따른 단말은 상기 리딩 픽쳐들(502, 503, 504, 505)을 디코딩하기 전에 비트스트림에서 제거시킴으로써 상기 리딩 픽쳐들(502, 503, 504, 505)의 디코딩으로 발생하는 지연 시간을 없앨 수 있다. 이렇게 함으로써, 본 기법에 따른 단말은 상기 IRAP 픽쳐(400)를 보다 빠르게 복원(디코딩하고 디스플레이)할 수 있게 된다.
구체적으로, IRAP 픽쳐, 리딩 픽쳐(예를 들어, RADL, RASL), 및 트레일 픽쳐들은 모두 인코딩된 비트스트림의 NUT에 의해 해당하는 타입이 파악될 수 있다. 예를 들어, HEVC에서는 NUT 6 비트로 NUH에서 시그널링될 수 있다. 또한, ISOBMFF로 저장된 HEVC 비트스트림의 경우, 단말은 HEVCConfigurationBox 내의 HEVCDecoderConfigurationRecord 에서 각 NAL 유닛 별 NUT 정보를 확인할 수 있다.
상기 단말은 상기 NUT 정보에 근거하여 상기 리딩 픽쳐들을 비트스트림에서 제거하고 즉시(리딩 픽쳐의 디코딩 및 디스플레이로 인한 지연시간 없이) IRAP 픽쳐를 디스플레이 할 수 있게 된다.
이때, 상기 단말은 상기 리딩 픽쳐(502, 503, 504, 505)의 개수만큼 디스플레이 타임(510)동안 상기 IRAP 픽쳐를 반복 디스플레이할 수 있다. 그리고 상기 단말은 상기 트레일 픽쳐(508, 509 ??)를 기존에 서버측에서 보내온 상기 트레일 픽쳐의 구성(composition) PT에 디스플레이 할 수 있다. 즉, 상기 단말은 상기 IRAP 픽쳐(400)를 디코딩한 후에 리딩 픽쳐들(402, 403, 404, 405)를 디코딩할 필요 없이 바로 디스플레이 가능하며, 상기 트레일 픽쳐들(408, 409)는 상기 구성에 의한 PT에 디스플레이함으로써 비동기화로 인한 문제를 방지할 수 있다.
이 경우 상기 단말은 모든 다른 트레일 픽쳐들(508)의 PT를 앞당길 수 없더라도, 상기 IRAP 픽쳐(500)에 대해서는 지연 시간을 없애서 PT를 앞당길 수 있으므로, 채널 스위칭 등의 이유로 임의 접근 발생 시 첫 장의 디스플레이를 최대한 빨리 앞당겨서 보여줄 수 있는 효과가 있다.즉, 지연시간 동안 아무런 화면도 디스플레이 되지 않는 현상을 방지할 수 있다.
도 5는 비트스트림에서 리딩 픽쳐를 제거하고 IRAP 픽쳐를 반복 디스플레이하는 기법을 예시하는 도면이다.
도 5(a)는 픽쳐들의 디코딩 순서를 설명하는 도면이고, 도 5(b)는 상기 픽쳐들의 디스플레이 순서를 설명하는 도면이다.
본 기법에서 임의 접근이 발생한 경우 단말은 DPB에 저장된 일부 픽쳐(즉, 임의 접근이 발생한 IRAP 픽쳐의 리딩 픽쳐)를 디스플레이하지 않고 제거한다.
임의 접근이 발생한 경우 상기 단말은 픽쳐마다 NUH에 기록되는 NUT을 보고 리딩 픽쳐(502, 503, 504, 505)의 존재 여부를 판단할 수 있다. HEVC 비트스트림의 경우 RAP 픽쳐의 뒤에 오는 트레일 픽쳐들(508, 509)이 상기 리딩 픽쳐들(502, 503, 504, 505)과의 의존성이 없기 때문에, RADL 및 RASL 과 같은 리딩 픽쳐들(502, 503, 504, 505)은 모두 비트스트림에서 제거되어도 뒤에 오는 픽쳐들(508, 509)의 디코딩에 영향을 주지 않는다. 그러므로 본 기법에 따른 단말은 상기 리딩 픽쳐들(502, 503, 504, 505)을 디코딩하기 전에 비트스트림에서 제거시킴으로써 상기 리딩 픽쳐들(502, 503, 504, 505)의 디코딩으로 발생하는 지연 시간을 없앨 수 있다. 이렇게 함으로써, 본 기법에 따른 단말은 상기 IRAP 픽쳐(400)를 보다 빠르게 복원(디코딩하고 디스플레이)할 수 있게 된다.
구체적으로, IRAP 픽쳐, 리딩 픽쳐(예를 들어, RADL, RASL), 및 트레일 픽쳐들은 모두 인코딩된 비트스트림의 NUT에 의해 해당하는 타입이 파악될 수 있다. 예를 들어, HEVC에서는 NUT 6 비트로 NUH에서 시그널링될 수 있다. 또한, ISOBMFF로 저장된 HEVC 비트스트림의 경우, 단말은 HEVCConfigurationBox 내의 HEVCDecoderConfigurationRecord 에서 각 NAL 유닛 별 NUT 정보를 확인할 수 있다.
상기 단말은 상기 NUT 정보에 근거하여 상기 리딩 픽쳐들을 비트스트림에서 제거하고 즉시(리딩 픽쳐의 디코딩 및 디스플레이로 인한 지연시간 없이) IRAP 픽쳐를 디스플레이 할 수 있게 된다.
이때, 상기 단말은 상기 리딩 픽쳐(502, 503, 504, 505)의 개수만큼 디스플레이 타임(510)동안 상기 IRAP 픽쳐를 반복 디스플레이할 수 있다. 그리고 상기 단말은 상기 트레일 픽쳐(508, 509 ??)를 기존에 서버측에서 보내온 상기 트레일 픽쳐의 구성(composition) PT에 디스플레이 할 수 있다. 즉, 상기 단말은 상기 IRAP 픽쳐(400)를 디코딩한 후에 리딩 픽쳐들(402, 403, 404, 405)를 디코딩할 필요 없이 바로 디스플레이 가능하며, 상기 트레일 픽쳐들(408, 409)는 상기 구성에 의한 PT에 디스플레이함으로써 비동기화로 인한 문제를 방지할 수 있다.
이 경우 상기 단말은 모든 다른 트레일 픽쳐들(508)의 PT를 앞당길 수 없더라도, 상기 IRAP 픽쳐(500)에 대해서는 지연 시간을 없애서 PT를 앞당길 수 있으므로, 채널 스위칭 등의 이유로 임의 접근 발생 시 첫 장의 디스플레이를 최대한 빨리 앞당겨서 보여줄 수 있는 효과가 있다.즉, 지연시간 동안 아무런 화면도 디스플레이 되지 않는 현상을 방지할 수 있다.
삭제
삭제
삭제
도 6은 본 개시의 실시예들에 따른 단말 장치 구성을 개략적으로 설명하는 도면이다.
단말 장치(600)는 타 통신 장치 또는 네트워크의 엔터티로부터 비트스트림을 수신하는 송수신부(620)와, 상기 단말 장치(600)의 모든 동작을 제어하는 제어부(610)을 포함할 수 있다. 본 개시의 첫 번째 기법 및 두 번째 기법에서 상술한 단말 장치 모든 동작들은 상기 제어부(610)의 제어에 의해 수행되는 것으로 이해될 수 있다. 그러나, 상기 제어부(610) 및 상기 송수신부(620)는 반드시 별도의 장치로 구현되어야 하는 것은 아니고, 단일 칩과 같은 형태로써 하나의 구성부로 구현될 수 있음은 물론이다.
상기 도 1 내지 도 6이 예시하는 픽쳐 디코딩/디스플레이 예시도, 방법 예시도, 장치 구성도는 본 개시의 권리범위를 한정하기 위한 의도가 없음을 유의하여야 한다. 즉, 상기 도 1 내지 도 6에 기재된 특정 픽쳐 또는 특정 구성부가 본 개시의 실시를 위한 필수구성요소인 것으로 해석되어서는 안되며, 일부 구성요소 만을 포함하여도 본 개시의 본질을 해치지 않는 범위 내에서 구현될 수 있다.
앞서 설명한 동작들은 해당 프로그램 코드를 저장한 메모리 장치를 통신 시스템의 엔터티, 기능(Function), 기지국, 또는 단말 장치 내의 임의의 구성부에 구비함으로써 실현될 수 있다. 즉, 엔터티, 기능(Function), 기지국, 또는 단말 장치의 제어부는 메모리 장치 내에 저장된 프로그램 코드를 프로세서 혹은 CPU(Central Processing Unit)에 의해 읽어내어 실행함으로써 앞서 설명한 동작들을 실행할 수 있다.
본 명세서에서 설명되는 엔터티, 기능(Function), 기지국, 또는 단말 장치의 다양한 구성부들과, 모듈(module)등은 하드웨어(hardware) 회로, 일 예로 상보성 금속 산화막 반도체(complementary metal oxide semiconductor) 기반 논리 회로와, 펌웨어(firmware)와, 소프트웨어(software) 및/혹은 하드웨어와 펌웨어 및/혹은 머신 판독 가능 매체에 삽입된 소프트웨어의 조합과 같은 하드웨어 회로를 사용하여 동작될 수도 있다. 일 예로, 다양한 전기 구조 및 방법들은 트랜지스터(transistor)들과, 논리 게이트(logic gate)들과, 주문형 반도체와 같은 전기 회로들을 사용하여 실시될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
Claims (10)
- GOP(group of picture)를 전달하는 비트스트림을 재생하는 방법에 있어서,
제1 픽쳐에서 임의 접근(random access)이 발생하면 상기 제1 픽쳐에 후속하는 적어도 하나의 제2 픽쳐의 NAL(network abstraction layer) 유닛 헤더를 파싱(parsing)하여 상기 적어도 하나의 제2 픽쳐의 NAL 유닛 타입을 결정하는 동작;
상기 결정된 NAL 유닛 타입에 근거하여 상기 적어도 하나의 제2 픽쳐를 상기 비트스트림에서 제거하는 동작; 및
상기 적어도 하나의 제2 픽쳐가 제거된 상기 비트스트림을 디코딩하고 디스플레이하는 동작을 포함하며,
상기 제2 픽쳐가 제거된 비트스트림을 디스플레이하는 동안, 상기 제1 픽쳐는 상기 제거된 제2 픽쳐의 개수와 상기 제거된 제2 픽쳐를 복구하기 위해 요구되는 시간에 상응하는 복원 시간 동안 추가적으로 반복 디스플레이 됨을 특징으로 하는 방법. - 제1항에 있어서,
상기 NAL 유닛 타입이, 상기 적어도 하나의 제2 픽쳐가 상기 제1 픽쳐의 리딩(leading) 픽쳐임을 지시하면 상기 적어도 하나의 제2 픽쳐는 상기 비트스트림에서 제거됨을 특징으로 하는 방법. - 제2항에 있어서,
상기 적어도 하나의 제2 픽쳐의 상기 NAL 유닛 타입은 RADL(random access decodable leading pictures) 또는 RASL(random access skipped leading picture)임을 특징으로 하는 방법. - 제1항에 있어서, 상기 제1 픽쳐는 적어도 하나의 리딩 픽쳐를 갖는 CRA(clean random access) 픽쳐임을 특징으로 하는 방법.
- 제1항에 있어서,
상기 임의 접근은 상기 비트스트림의 스위칭에 의해 발생함을 특징으로 하는 방법. - GOP(group of picture)를 전달하는 비트스트림을 재생하는 장치에 있어서,
상기 비트스트림을 수신하는 송수신부; 및
제1 픽쳐에서 임의 접근(random access) 발생하면 상기 제1 픽쳐에 후속하는 적어도 하나의 제2 픽쳐의 NAL(network abstraction layer) 유닛 헤더를 파싱(parsing)하여 상기 적어도 하나의 제2 픽쳐의 NAL 유닛 타입을 결정하고, 상기 결정된 NAL 유닛 타입에 근거하여 상기 적어도 하나의 제2 픽쳐를 상기 비트스트림에서 제거하고, 상기 적어도 하나의 제2 픽쳐가 제거된 상기 비트스트림을 디코딩하고 디스플레이하는 제어부를 포함하며,
상기 제어부는, 상기 제2 픽쳐가 제거된 비트스트림을 디스플레이하는 동안, 상기 제1 픽쳐는 상기 제거된 제2 픽쳐의 개수와 상기 제거된 제2 픽쳐를 복구하기 위해 요구되는 시간에 상응하는 복원 시간 동안 추가적으로 반복 디스플레이 함을 특징으로 하는 장치. - 제6항에 있어서,
상기 NAL 유닛 타입이, 상기 적어도 하나의 제2 픽쳐가 상기 제1 픽쳐의 리딩(leading) 픽쳐임을 지시하면, 상기 제어부는 상기 적어도 하나의 제2 픽쳐를 상기 비트스트림에서 제거함을 특징으로 하는 장치. - 제7항에 있어서,
상기 적어도 하나의 제2 픽쳐의 상기 NAL 유닛 타입은 RADL(random access decodable leading pictures) 또는 RASL(random access skipped leading picture)임을 특징으로 하는 장치. - 제6항에 있어서,
상기 제1 픽쳐는 적어도 하나의 리딩 픽쳐를 갖는 CRA(clean random access) 픽쳐임을 특징으로 하는 장치. - 제6항에 있어서,
상기 임의 접근은 상기 비트스트림의 스위칭에 의해 발생함을 특징으로 하는 장치.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150142468A KR102477964B1 (ko) | 2015-10-12 | 2015-10-12 | 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법 |
US15/767,606 US10659778B2 (en) | 2015-10-12 | 2016-10-12 | Method for enabling random access and playback of video bitstream in media transmission system |
JP2018518423A JP6872538B2 (ja) | 2015-10-12 | 2016-10-12 | メディア伝送システムにおけるビデオビットストリームのランダムアクセス及び再生方法 |
CN201680059874.1A CN108353181B (zh) | 2015-10-12 | 2016-10-12 | 在媒体传输系统中使能视频比特流的随机访问和重播的方法 |
PCT/KR2016/011422 WO2017065491A1 (ko) | 2015-10-12 | 2016-10-12 | 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150142468A KR102477964B1 (ko) | 2015-10-12 | 2015-10-12 | 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170043068A KR20170043068A (ko) | 2017-04-20 |
KR102477964B1 true KR102477964B1 (ko) | 2022-12-16 |
Family
ID=58517471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150142468A KR102477964B1 (ko) | 2015-10-12 | 2015-10-12 | 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10659778B2 (ko) |
JP (1) | JP6872538B2 (ko) |
KR (1) | KR102477964B1 (ko) |
CN (1) | CN108353181B (ko) |
WO (1) | WO2017065491A1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230022384A1 (en) | 2019-12-27 | 2023-01-26 | Hamamatsu Photonics K.K. | Multiplying image sensor |
US20240056578A1 (en) * | 2020-12-14 | 2024-02-15 | Lg Electronics Inc. | Media file generation/reception method and apparatus supporting random access in units of samples, and method for transmitting media file |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8213779B2 (en) * | 2003-09-07 | 2012-07-03 | Microsoft Corporation | Trick mode elementary stream and receiver system |
US7609762B2 (en) * | 2003-09-07 | 2009-10-27 | Microsoft Corporation | Signaling for entry point frames with predicted first field |
US7924921B2 (en) * | 2003-09-07 | 2011-04-12 | Microsoft Corporation | Signaling coding and display options in entry point headers |
US7852919B2 (en) * | 2003-09-07 | 2010-12-14 | Microsoft Corporation | Field start code for entry point frames with predicted first field |
JP4799504B2 (ja) * | 2006-08-10 | 2011-10-26 | キヤノン株式会社 | 画像復号化装置及びその制御方法 |
EP2119187B1 (en) * | 2007-02-23 | 2017-07-19 | Nokia Technologies Oy | Backward-compatible characterization of aggregated media data units |
JP2011199745A (ja) | 2010-03-23 | 2011-10-06 | Hitachi Kokusai Electric Inc | 再生収録装置 |
US9516379B2 (en) * | 2011-03-08 | 2016-12-06 | Qualcomm Incorporated | Buffer management in video codecs |
TWI526053B (zh) * | 2011-07-02 | 2016-03-11 | 三星電子股份有限公司 | 視訊解碼方法 |
EP2752011B1 (en) * | 2011-08-31 | 2020-05-20 | Nokia Technologies Oy | Multiview video coding and decoding |
US9131245B2 (en) * | 2011-09-23 | 2015-09-08 | Qualcomm Incorporated | Reference picture list construction for video coding |
US9392210B2 (en) | 2012-03-22 | 2016-07-12 | Broadcom Corporation | Transcoding a video stream to facilitate accurate display |
US9402082B2 (en) * | 2012-04-13 | 2016-07-26 | Sharp Kabushiki Kaisha | Electronic devices for sending a message and buffering a bitstream |
US9532055B2 (en) * | 2012-04-16 | 2016-12-27 | Microsoft Technology Licensing, Llc | Constraints and unit types to simplify video random access |
WO2013187698A1 (ko) * | 2012-06-12 | 2013-12-19 | 엘지전자 주식회사 | 영상 디코딩 방법 및 이를 이용하는 장치 |
CN104620578B (zh) * | 2012-07-06 | 2018-01-02 | 三星电子株式会社 | 用于随机访问的多层视频编码的方法和设备以及用于随机访问的多层视频解码的方法和设备 |
KR102397259B1 (ko) * | 2012-09-13 | 2022-05-12 | 엘지전자 주식회사 | 영상 부호화/복호화 방법 및 장치 |
JP6094126B2 (ja) * | 2012-10-01 | 2017-03-15 | 富士通株式会社 | 動画像復号装置 |
CN104718746B (zh) * | 2012-10-10 | 2019-03-12 | 中兴通讯股份有限公司 | 用于媒体传输和存储的随机访问信息封装的方法和仪器 |
US9402076B2 (en) * | 2013-01-07 | 2016-07-26 | Qualcomm Incorporated | Video buffering operations for random access in video coding |
US9525883B2 (en) * | 2013-07-15 | 2016-12-20 | Qualcomm Incorporated | Cross-layer alignment of intra random access point pictures |
US9942546B2 (en) * | 2013-12-12 | 2018-04-10 | Qualcomm Incorporated | POC value design for multi-layer video coding |
KR101528269B1 (ko) | 2014-09-04 | 2015-06-16 | (주)브레인키즈 | 동영상 재생 방법 |
US20160127728A1 (en) * | 2014-10-30 | 2016-05-05 | Kabushiki Kaisha Toshiba | Video compression apparatus, video playback apparatus and video delivery system |
US20170094288A1 (en) * | 2015-09-25 | 2017-03-30 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
-
2015
- 2015-10-12 KR KR1020150142468A patent/KR102477964B1/ko active IP Right Grant
-
2016
- 2016-10-12 CN CN201680059874.1A patent/CN108353181B/zh active Active
- 2016-10-12 WO PCT/KR2016/011422 patent/WO2017065491A1/ko active Application Filing
- 2016-10-12 JP JP2018518423A patent/JP6872538B2/ja active Active
- 2016-10-12 US US15/767,606 patent/US10659778B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10659778B2 (en) | 2020-05-19 |
KR20170043068A (ko) | 2017-04-20 |
US20180302618A1 (en) | 2018-10-18 |
JP2018534850A (ja) | 2018-11-22 |
JP6872538B2 (ja) | 2021-05-19 |
CN108353181B (zh) | 2022-04-15 |
CN108353181A (zh) | 2018-07-31 |
WO2017065491A1 (ko) | 2017-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210112271A1 (en) | Dependent random access point pictures | |
US11025952B2 (en) | Video encoding/decoding method and device | |
JP6348188B2 (ja) | ビデオにおけるピクチャのロバストな符号化および復号化 | |
TW200428879A (en) | Picture decoding method | |
TWI364988B (en) | Error filter to differentiate between reverse link and forward link video data errors | |
US10812804B2 (en) | Image processing device and image processing method performing slice-based compression | |
KR101959319B1 (ko) | 비디오 데이터 인코딩 및 디코딩 방법 및 장치 | |
US10136153B2 (en) | DRAP identification and decoding | |
CA2903898A1 (en) | Decoding and display delay error correction in a spliced video when pictures have been discarded | |
CN111918096A (zh) | 云导播快速切换输入源的方法、装置、设备及存储介质 | |
KR20150132372A (ko) | 비디오 프레임들을 드롭함으로써 네트워크를 통해 비디오들을 송신하기 위해 필요한 비트 레이트를 감소시키는 방법 | |
US9264737B2 (en) | Error resilient transmission of random access frames and global coding parameters | |
KR102477964B1 (ko) | 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법 | |
KR101858040B1 (ko) | 비디오 데이터 인코딩 및 디코딩 방법 및 장치 | |
US10085029B2 (en) | Switching display devices in video telephony | |
US9313508B1 (en) | Feeding intra-coded video frame after port reconfiguration in video telephony | |
KR101953580B1 (ko) | 영상회의 시스템에서 데이터 송수신 장치 및 방법 | |
US10116576B2 (en) | Methods and apparatus for random access of HEVC bitstream for MMT | |
US11444884B2 (en) | Encoding and transmitting image frames of a video stream | |
KR102210437B1 (ko) | 미디어 컨텐츠 전송 제어 방법, 이를 위한 장치 | |
EP3565246B1 (en) | Progressive i-slice reference for packet loss resilient video coding | |
US20160344790A1 (en) | Wireless communication device and wireless communication method | |
US20150370789A1 (en) | Multimedia file storage system and related devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
GRNT | Written decision to grant |