KR20170072209A - 부호화된 비디오 데이터 처리 방법 및 장치, 부호화된 비디오 데이터 생성 방법 및 장치 - Google Patents

부호화된 비디오 데이터 처리 방법 및 장치, 부호화된 비디오 데이터 생성 방법 및 장치 Download PDF

Info

Publication number
KR20170072209A
KR20170072209A KR1020177010438A KR20177010438A KR20170072209A KR 20170072209 A KR20170072209 A KR 20170072209A KR 1020177010438 A KR1020177010438 A KR 1020177010438A KR 20177010438 A KR20177010438 A KR 20177010438A KR 20170072209 A KR20170072209 A KR 20170072209A
Authority
KR
South Korea
Prior art keywords
picture
metadata information
random access
scene
access point
Prior art date
Application number
KR1020177010438A
Other languages
English (en)
Other versions
KR102370372B1 (ko
Inventor
이태미
한승훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170072209A publication Critical patent/KR20170072209A/ko
Application granted granted Critical
Publication of KR102370372B1 publication Critical patent/KR102370372B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

랜덤 액세스(Random access)를 위한 부호화된 비디오 데이터 처리 방법 및 장치와 랜덤 액세스를 위한 부호화된 비디오 데이터 생성 방법 및 장치를 개시한다.

Description

부호화된 비디오 데이터 처리 방법 및 장치, 부호화된 비디오 데이터 생성 방법 및 장치
부호화된 비디오 데이터 처리 방법 및 장치와 부호화된 비디오 데이터 생성 방법 및 장치에 관한 것이다.
고해상도 또는 고화질 비디오 컨텐트를 재생, 저장할 수 있는 하드웨어의 개발 및 보급에 따라, 고해상도 또는 고화질 비디오 컨텐트를 효과적으로 부호화하거나 복호화하는 비디오 코덱의 필요성이 증대하고 있다. 기존의 비디오 코덱에 따르면, 비디오는 트리 구조의 부호화 단위에 기반하여 제한된 부호화 방식에 따라 부호화되고 있다.
주파수 변환을 이용하여 공간 영역의 영상 데이터는 주파수 영역의 계수들로 변환된다. 비디오 코덱은, 주파수 변환의 빠른 연산을 위해 영상을 소정 크기의 블록들로 분할하고, 블록마다 DCT 변환을 수행하여, 블록 단위의 주파수 계수들을 부호화한다. 칼라 영상들간의 중복성 제거를 위해 기존의 압축 시스템들은 블록 기반의 예측을 수행한다. 기존의 압축 시스템들은 비디오 부호화 및 복호화에 사용되는 파라미터들을 픽쳐 단위로 생성한다.
랜덤 액세스(Random access)를 위한 부호화된 비디오 데이터 처리 방법 및 장치와 랜덤 액세스를 위한 부호화된 비디오 데이터 생성 방법 및 장치를 제공하는 것이다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
제 1 측면에 따른 부호화된 비디오 데이터 처리 방법은, 부호화된 비디오 데이터의 비트스트림을 획득하는 단계, 상기 비트스트림내의 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리(video processing)에 이용되는 메타 데이터 정보를 획득하는 단계, 및 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들 중 복호화된 비디오 데이터에 대해, 상기 메타 데이터 정보에 기초하여, 비디오 처리를 수행하는 단계를 포함할 수 있다.
또한, 상기 메타 데이터 정보를 획득하는 단계는, 상기 비트스트림의 소정의 위치에서 메타 데이터 정보에 대한 대한 식별 정보를 획득하는 단계, 및 메타 데이터 정보의 데이터베이스로부터 상기 획득한 메타 데이터 정보에 대한 식별 정보와 매칭되는 상기 메타 데이터 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 비트스트림을 획득하는 채널과 별개의 채널을 통해 상기 메타 데이터 정보의 데이터베이스를 획득하는 단계를 더 포함할 수 있다.
또한, 상기 메타 데이터 정보를 획득하는 단계는, 상기 비트스트림에서 상기 랜덤 액세스 포인트 픽쳐의 위치와 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷(scene cut)의 위치에 기초하여 상기 메타 데이터 정보를 획득할 수 있다.
또한, 상기 메타 데이터 정보를 획득하는 단계는, 상기 랜덤 액세스 포인트 픽쳐가 복호화 가능한 리딩 픽쳐들과 같은 장면에 속하는 경우, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 기초하여, 상기 랜덤 액세스 포인트 픽쳐와 상기 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 획득할 수 있다.
또한, 상기 메타 데이터 정보를 획득하는 단계는, 상기 랜덤 액세스 포인트 픽쳐가 복호화 가능한 리딩 픽쳐들과 다른 장면에 속하는 경우, 상기 랜덤 액세스 포인트 픽쳐의 위치와 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 기초하여, 상기 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보와 상기 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 획득할 수 있다.
또한, 상기 장면 컷의 위치는 각 장면에 속한 픽처들 중 디스플레이 순서상으로 첫 픽쳐의 위치에 해당할 수 있다.
제 2 측면에 따른 부호화된 비디오 데이터 생성 방법은, 비디오 데이터를 부호화하는 단계, 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리에 이용되는 메타 데이터 정보를 생성하는 단계, 및 상기 메타 데이터 정보 또는 상기 메타 데이터 정보에 대한 식별 정보를 포함하는, 부호화된 비디오 데이터의 비트스트림을 생성하는 단계를 포함할 수 있다.
또한, 상기 비트스트림을 생성하는 단계는, 상기 비트스트림의 소정의 위치에 상기 메타 데이터 정보에 대한 대한 식별 정보를 포함시켜 상기 비트스트림을 생성할 수 있다.
또한, 상기 메타 데이터 정보에 대한 식별 정보를 포함한 비트스트림과 상기 생성된 메타 데이터 정보를 포함하는 메타 데이터 정보의 데이터베이스를 별개의 채널을 통해 각각 전송하는 단계를 더 포함할 수 있다.
또한, 상기 비트스트림을 생성하는 단계는, 상기 랜덤 액세스 포인트 픽쳐의 위치와 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷의 위치에 상기 메타 데이터 정보를 삽입하여 상기 비트스트림을 생성할 수 있다.
또한, 상기 비트스트림을 생성하는 단계는, 상기 랜덤 액세스 포인트 픽쳐가 복호화 가능한 리딩 픽쳐들과 같은 장면에 속하는 경우, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 상기 랜덤 액세스 포인트 픽쳐와 상기 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 삽입하여 상기 비트스트림을 생성할 수 있다.
또한, 상기 비트스트림을 생성하는 단계는, 상기 랜덤 액세스 포인트 픽쳐가 복호화 가능한 리딩 픽쳐들과 다른 장면에 속하는 경우, 상기 랜덤 액세스 포인트 픽쳐의 위치에 상기 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보를 삽입하고, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 상기 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 삽입하여 상기 비트스트림을 생성할 수 있다.
또한, 상기 장면 컷의 위치는 각 장면에 속한 픽처들 중 디스플레이 순서상으로 첫 픽쳐의 위치에 해당할 수 있다.
제 3 측면에 따라 상기 부호화된 비디오 데이터 처리 방법 또는 상기 부호화된 비디오 데이터 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
제 4 측면에 따른 비디오 데이터 처리 장치는, 부호화된 비디오 데이터의 비트스트림을 획득하는 비트스트림 획득부, 상기 비트스트림을 복호화하는 비디오 복호화부, 및 상기 비트스트림내의 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리에 이용되는 메타 데이터 정보를 획득하고, 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들 중 복호화된 비디오 데이터에 대해, 상기 메타 데이터 정보에 기초하여, 비디오 처리를 수행하는 비디오 처리 프로세서를 포함할 수 있다.
또한, 상기 비디오 처리 프로세서는, 상기 비트스트림의 소정의 위치에서 메타 데이터 정보에 대한 대한 식별 정보를 획득하고, 메타 데이터 정보의 데이터베이스로부터 상기 획득한 메타 데이터 정보에 대한 식별 정보와 매칭되는 상기 메타 데이터 정보를 획득할 수 있다.
또한, 상기 비디오 처리 프로세서는, 상기 비트스트림에서 상기 랜덤 액세스 포인트 픽쳐의 위치와 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷의 위치에 기초하여 상기 메타 데이터 정보를 획득할 수 있다.
제 5 측면에 따른 비디오 데이터 생성 장치는, 비디오 데이터를 부호화하고, 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리에 이용되는 메타 데이터 정보를 생성하는 비디오 부호화부, 및 상기 메타 데이터 정보 또는 상기 메타 데이터 정보에 대한 식별 정보를 포함하는, 부호화된 비디오 데이터의 비트스트림을 생성을 생성하는 비트스트림 생성부를 포함할 수 있다.
또한, 상기 비트스트림 생성부는, 상기 랜덤 액세스 포인트 픽쳐의 위치와 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷의 위치에 상기 메타 데이터 정보를 삽입하여 상기 비트스트림을 생성할 수 있다.
랜덤 액세스가 발생하는 상황에서 비디오 비트스트림의 적절한 처리가 가능하다.
도 1은 비디오 데이터 처리 시스템을 설명하기 위한 도면이다.
도 2a는 비디오 데이터를 설명하기 위한 도면이다.
도 2b는 부호화된 비디오 데이터를 설명하기 위한 도면이다.
도 3a는 일 실시예에 따른 비디오 데이터 생성 장치의 구성을 설명하기 위한 블록도이다.
도 3b는 일 실시예에 따른 비디오 데이터 처리 장치의 구성을 설명하기 위한 블록도이다.
도 4는 일 실시예에 따른 메타 데이터 정보에 대한 식별 정보를 이용한, 부호화된 비디오 데이터의 비트스트림 생성 및 처리 방식을 설명하기 위한 도면이다
도 5a 및 도 5b는 메타 데이터 정보에 대한 식별 정보를 전송하는 메시지의 포맷을 나타낸 도면이다.
도 6a는 일 실시예에 따른 메타 데이터 정보를 삽입시킬 비디오 비트스트림 내의 최적의 위치를 고려한, 부호화된 비디오 데이터의 비트스트림 생성 및 처리 방식을 설명하기 위한 도면이다.
도 6b는 다른 실시예에 따른 메타 데이터 정보를 삽입시킬 비디오 비트스트림 내의 최적의 위치를 고려한, 부호화된 비디오 데이터의 비트스트림 생성 및 처리 방식을 설명하기 위한 도면이다.
도 6c은 또 다른 실시예에 따른 메타 데이터 정보를 삽입시킬 비디오 비트스트림 내의 최적의 위치를 고려한, 부호화된 비디오 데이터의 비트스트림 생성 및 처리 방식을 설명하기 위한 도면이다.
도 7a는 일 실시예에 따른 부호화된 비디오 데이터 생성 방법에 관한 흐름도이다.
도 7b는 일 실시예에 따른 부호화된 비디오 데이터 처리 방법에 관한 흐름도이다.
발명의 실시를 위한 최선의 형태
제 1 측면에 따른 부호화된 비디오 데이터 처리 방법은, 부호화된 비디오 데이터의 비트스트림을 획득하는 단계, 상기 비트스트림내의 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리(video processing)에 이용되는 메타 데이터 정보를 획득하는 단계, 및 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들 중 복호화된 비디오 데이터에 대해, 상기 메타 데이터 정보에 기초하여, 비디오 처리를 수행하는 단계를 포함할 수 있다.
발명의 실시를 위한 형태
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시예에 의해 발명을 상세히 설명하기로 한다. 하기 실시예는 발명을 구체화하기 위한 것일 뿐 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시예로부터 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 발명의 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 '구성된다' 또는 '포함한다' 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 실시예들은 부호화된 비디오 데이터 처리 방법 및 장치와 부호화된 비디오 데이터 생성 방법 및 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 비디오 데이터 처리 시스템(10)을 설명하기 위한 도면이다.
도 1을 참고하면, 비디오 데이터 처리 시스템(10)은 비디오 데이터 생성 장치(100)와 비디오 데이터 처리 장치(200)를 포함할 수 있다.
비디오 데이터 생성 장치(100)는 비디오 부호화 장치가 될 수 있다. 비디오 데이터 생성 장치(100)는 입력된 영상 즉, 비디오 데이터를 부호화하여 부호화된 비디오 데이터를 생성할 수 있다.
비디오 데이터 처리 장치(200)는 비디오 복호화 장치가 될 수 있다. 비디오 데이터 처리 장치(200)는 부호화된 비디오 데이터를 복호화하여 복호화된 비디오 데이터를 생성할 수 있다.
비디오 데이터 생성 장치(100)는 부호화된 비디오 데이타의 비트스트림(이하, 비디오 비트스트림)을 비디오 데이터 처리 장치(200)로 전송하고, 비디오 데이터 처리 장치(200)는 비디오 비트스트림을 수신할 수 있다.
도 2a는 비디오 데이터를 설명하기 위한 도면이다.
비디오 데이터는 비디오 프레임들, 다른 말로 픽쳐들의 연속이다. 비디오 데이터는 비디오 시퀀스(video sequence)라 부르기도 한다.
픽쳐들의 그룹(group of pictures, GOP)은 디스플레이 순서(display order)에 따라 나열된 픽쳐들 중에서 적어도 하나의 픽쳐들의 연속을 의미한다.
픽쳐는 비디오 블록들, 다른 말로 LCUs(largest coding uits) 또는 CTUs(coding treeblock units)의 연속이다. 비디오 블록은 휘도(luminance) 컴포넌트와 채도(chroma) 컴포넌트를 가질 수 있다.
비디오 부호화 장치는 하나의 픽쳐를 복수 개의 슬라이스로 나눌 수 있다. 이때, 슬라이스는 I 슬라이스, P 슬라이스, 또는 B 슬라이스가 될 수 있다. I 슬라이스는 인트라 예측 모드(intra prediction mode)를 이용하여 예측된 것이고, P 슬라이스는 인터 예측 모드(inter prediction mode)를 이용하여 예측된 것이며, B 슬라이스는 양 방향 인터 예측 모드(bi-directional inter prediction mode)를 이용하여 예측된 것을 의미한다.
도 2a를 참고하면, 비디오 데이터는 제 1 픽쳐부터 제 8 픽쳐까지 복수 개의 픽쳐들을 포함하고 있다. 비디오 데이터에 포함된 픽쳐들은 디스플레이 순서에 따른 연속적인 픽쳐들일 수 있다. 제 1 픽쳐부터 제 4 픽쳐까지 제 1 GOP이고, 제 5 픽쳐부터 제 8 픽쳐까지 제 2 GOP이다.
임의의 픽쳐는 복수 개의 슬라이스로 나눌 수 있으며, 그 슬라이스는 복수 개의 비디오 블록들을 포함할 수 있다. 도 2a를 참고하면, 제 3 픽쳐는 제 1 슬라이스와 제 2 슬라이스로 구분될 수 있고, 각각의 슬라이스는 복수 개의 비디오 블록들, 즉, LCU들을 포함할 수 있다.
비디오 부호화시에 비디오 데이터, GOP, 픽쳐, 슬라이스, CU(Coding Unit) 각각은 비디오 부호화 속성을 나타내는 신택스 데이터(syntax data)와 연관될 수 있다. 비디호 복호화 장치는 비디오 데이터를 복호화하기 위해 이러한 신택스 데이터를 이용할 수 있다. 신택스 데이터는 신택스 엘리먼트들(syntax elements)을 포함하는 신택스 구조(syntax structure)로써, 파라미터 집합이라 볼 수 있다. 예를 들어, HEVC(High Efficiency Video Coding)에서는 VPS(Video Parameter Set), SPS(Sequence Parameter Set), PPS(Picture Parameter Set), APS(Adaptive Parameter Set) 등의 파라미터 집합들을 정의하고 있다.
도 2b는 부호화된 비디오 데이터를 설명하기 위한 도면이다.
부호화된 비디오 데이터는 복호화 순서(decoding order) 또는 부호화 순서(coding order)에 따른 픽쳐들의 연속이다. 부호화된 비디오 데이터는 부호화된 비디오 시퀀스(coded video sequence)라 부르기도 한다.
도 2b를 참고하면, 부호화된 비디오 데이터는 제 1 픽쳐부터 제 8 픽쳐까지 복수 개의 픽쳐들을 포함하고 있다. 부호화된 비디오 데이터에 포함된 픽쳐들은 복호화 순서에 따른 연속적인 픽쳐들일 수 있다. 즉, 부호화된 비디오 데이터는 디스플레이 순서가 아닌 복호화 순서에 따른 픽쳐들의 연속이므로, 도 2b에 도시되 바와 같이, 제 5 픽쳐와 제 6 픽쳐의 순서가 도 2a의 비디오 데이터에서의 제 5 픽쳐와 제 6 픽쳐의 순서와 다를 수 있다. 다시 말해서, 제 6 픽쳐는 제 5 픽쳐보다 먼저 복호화될 수 있다.
도 2b를 참고하면, 임의의 하나의 픽쳐는 하나의 액세스 유닛(Access Unit)에 대응될 수 있다. 액세스 유닛은 복수 개의 NAL(Network Abstraction Layer) 유닛들을 포함할 수 있으며, 하나의 부호화된 픽쳐를 포함할 수 있다. NAL 유닛은 VCL NAL 유닛과 non-VCL NAL 유닛으로 구분될 수 있다. VCL NAL 유닛에는 비디오 데이터의 하나의 픽쳐를 구성하는 슬라이스에 관한 데이터가 포함될 수 있다. non-VCL 유닛에는 슬라이스에 관한 데이터 이외의 정보, 예를 들어, 파라미터 집합에 관한 데이터가 포함될 수 있다.
도 2b를 참고하면, 제 3 픽쳐는 헤더와 NAL 유닛의 연속으로 이루어져 있음을 알 수 있다. 따라서, 부호화된 비디오 데이터의 비트스트림, 즉 비디오 비트스트림은 복호화 순서에 따른 복수 개의 액세스 유닛들의 연속이라고 볼 수 있으며, 더 상세하게는 복수 개의 NAL 유닛들의 연속이라고 볼 수 있다.
한편, 본 발명의 일 실시예에 따른 비디오 데이터 생성 장치(100)는 비디오 비트스트림에 메타 데이터 정보를 포함시킬 수 있다. 본 발명의 일 실시예에 따른 비디오 데이터 처리 장치(200)는 비디오 비트스트림에서 메타 데이터 정보를 획득하여, 복호화된 비디오 데이터에 대해, 디스플레이를 위한 비디오 처리를 수행할 수 있다. 메타 데이터 정보는 비디오 처리(video processing)에 이용되는 정보들로서, 영상 품질을 높이고, 오리지널 영상에 부합하도록 하기 위해 복호화된 비디오 데이터에 적용될 수 있는 데이터를 의미한다. 예를 들어, 메타 데이터 정보는 장면에 대한 정보로서, 장면 컷(scene cut), 장면 분류(scene classification), 컨텐츠의 색 공간(color space of contents), 색 볼륨(color volume) 등에 관한 정보가 될 수 있다.
한편, 메타 데이터 정보는 각각의 식별 정보를 가질 수 있다. 같은 식별 정보를 가지는 메타 데이터 정보가 전송되는 경우, 최근 전송된 메타 데이터 정보가 이전에 전송된 메타 데이터 정보를 부분적으로 갱신하거나 전체적으로 대체할 수 있다. 또한, 메타 데이터 정보는 이전에 전송된 메타 데이터 정보를 취소하는 정보를 포함할 수 있다. 메타 데이터 정보는 해당 메타 데이터 정보를 얼마간 지속시켜 적용할지에 대한 정보를 포함할 수도 있다. 메타 데이터 정보는 해당 메타 데이터를 비디오 처리에 이용할 때, 적용할 수 있는 소정의 값이나 조건 등을 포함하는 적어도 하나의 파라미터들을 포함할 수도 있다.
메타 데이터 정보는 SEI(Supplemental Enhancement Information) 메시지 또는 SEI NAL 유닛에 포함되어, 비디오 비트스트림에 삽입될 수 있다. 메타 데이터 정보는 각 장면의 시작 부분에 삽입되어, 그 장면에 포함된 복수 개의 픽쳐들에 대응되는 비디오 처리 시에 적용될 수 있다. 이때, 어느 장면의 시작 부분이 아닌 부분에 랜덤 액세스가 발생하면, 그 장면에 대한 메타 데이터 정보가 없어, 영상의 품질이 저하될 수 있다.
랜덤 액세스가 발생하더라도, 각 장면에 대한 메타 데이터 정보의 손실이 없게 하기 위해서, 비디오 비트스트림에 포함된 모든 픽쳐의 위치에 각 피쳐가 속한 장면의 메타 데이터 정보를 포함시킬 수 있다. 하지만, 이와 같은 방식은 비트레이트에서 오버헤드가 발생할 수 있다. 또 다른 방식은, 수신한 비디오 비트스트림을 처음부터 끝까지 분석하여, 비디오 비트스트림에 포함된 각 픽쳐의 메타 데이터 정보를 파악하여 메모리에 저장해두고, 비디오 처리시에 활용하는 방식이다. 하지만, 이와 같은 방식은 실시간 스트리밍에는 적용이 어렵고, 비디오 비트스트림의 수신이 이미 완료된 경우에만 적용할 수 있다.
이하, 랜덤 액세스가 발생하는 상황을 고려하여, 메타 데이터 정보를 포함하는 비디오 비트스트림의 생성 및 처리에 대하여 설명한다.
도 3a는 일 실시예에 따른 비디오 데이터 생성 장치(100)의 구성을 설명하기 위한 블록도이다. 비디오 데이터 생성 장치(100)에는 도 3a에 도시된 구성들 외에도, 다른 범용적인 하드웨어 구성들이 포함될 수 있다는 점을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
도 3a를 참고하면, 비디오 데이터 생성 장치(100)는 비디오 부호화부(110)와 비트스트림 생성부(130)를 포함할 수 있다.
비디오 부호화부(110)는 비디오 데이터를 부호화할 수 있다. 비디오 부호화부(110)는 비디오 데이터 생성 장치(100)에 입력된 비디오를 부호화 순서(coding order)에 따른 부호화된 비디오 데이터로 생성할 수 있다.
비디오 부호화부(110)는 부호화된 비디오 데이터가 비디오 데이터 처리 장치(200)에서 복호화된 후 비디오 처리될 때, 복호화된 비디오 데이터에 적용될 수 있는 메타 데이터 정보를 생성할 수 있다. 이와 같은 메타 데이터 정보는 부호화된 비디오 데이터에 대해서, 랜덤 액세스가 발생할 경우에도, 랜덤 액세스가 발생한 지점 이후 복호화 순서를 가지는 픽쳐들이 복호화된 후 비디오 처리가 수행될 수 있도록 준비될 수 있다. 이때, 랜덤 액세스는 부호화된 비디오 데이터에 대해서 순차적으로 복호화 및 디스플레이하지 않고, 복호화 및 디스프레이할 지점을 점프하거나 비디오를 이어맞추기(splicing)하는 경우 등을 의미한다.
다시 말해서, 비디오 부호화부(110)는 각 장면의 시작 부분에 삽입되어 비디오 처리에 이용되는 메타 데이터 정보를 생성하거나, 랜덤 액세스 포인트 픽쳐(random access point picture) 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리에 이용되는 메타 데이터 정보를 생성할 수 있다.
랜덤 액세스 포인트 픽쳐는 랜덤 액세스가 일어난 지점의 픽쳐를 의미한다. 랜덤 액세스가 가능한 랜덤 액세스 포인트가 될 수 있는 IRAP(intra random access point) 픽쳐는 랜덤 액세스 시 비디오 비트스트림에서 복호화 순서상 첫 번째 픽쳐이고, I 슬라이스만을 포함할 수 있다. IRAP 픽쳐는 CRA(clean random access) 픽쳐, BLA(broken link access) 픽쳐, 또는 IDR(instantaneous decoding refresh) 픽쳐일 수 있다.
CRA 픽쳐는 픽쳐의 그룹(GOP)이 열린(open) 구조를 가질 때, 랜덤 액세스 포인트가 될 수 있는 픽쳐이다. CRA 픽쳐 역시 IRAP 픽쳐이므로, I 슬라이스만을 포함하며, 비디오 비트스트림에서 복호화 순서 상 첫 번째 픽쳐가 될 수 있고, 비디오 비트스트림 중간에 올 수도 있다. 비디오 비트스트림이 중간에 단절(cut)되거나, 손실되거나, 또는 픽쳐의 스플라이싱이 발생하여 CRA 픽쳐에서 랜덤 액세스가 발생하면, 복호화 순서가 CRA 픽쳐에 선행하는 선행 픽쳐들은 가용할 수 없게 된다(unavailable). 리딩 픽쳐들의 참조 픽쳐가 될 수 있는 선행 픽쳐들이 가용할 수 없게 되면, 가용할 수 없는 픽쳐를 참조하는 리딩 픽쳐는 정상적으로 복호화되지 않을 수 있다.
BLA 픽쳐는 부호화된 픽쳐가 스플라이싱되거나 비디오 비트스트림이 중간에 단절될 때, 랜덤 액세스 포인트로서 비디오 비트스트림 중간에 존재하는 픽쳐를 의미한다. BLA 픽쳐는 CRA 픽쳐와 유사한 기능 및 성질을 가진다. 다만, 랜덤 액세스가 발생하였을 때, BLA 픽쳐는 새로운 시퀀스의 시작으로 간주되기 때문에, CRA 픽쳐와 달리 BLA 픽쳐가 디코더에 수신될 때 영상에 대한 파라미터 정보가 다시 모두 수신될 수 있다. BLA 픽쳐는 비디오 부호화 장치(100)에서부터 정해질 수도 있고, 비디오 부호화 장치(100)로부터 비디오 비트스트림을 수신한 외부 장치에서 CRA 픽쳐를 BLA 픽쳐로 변경할 수도 있다. 예를 들어, 비디오 비트스트림이 스플라이싱이 되는 경우, 비디오 비트스트림을 수신한 외부 장치는 CRA 픽쳐를 BLA 픽쳐로 변경하여 영상을 복호화하는 비디오 복호화 장치(200)에게 제공하고, 이때 영상에 대한 파라미터 정보 역시 외부 장치로부터 비디오 복호화 장치(200)에 새로 제공될 수 있다.
한편, 비디오 부호화부(110)는 비디오 데이터 처리 장치(200)에서 랜덤 액세스가 발생하더라도, 비디오 처리에 이용되는 각 장면의 메타 데이터 정보가 손실되지 않도록, 비디오 비트스트림의 각 장면에 속하는 모든 픽쳐 위치에 포함시키기 위한 메타 데이터 정보에 대한 식별 정보를 생성할 수도 있다.
비트스트림 생성부(130)는 메타 데이터 정보를 포함하는, 부호화된 비디오 데이터의 비트스트림을 생성할 수 있다. 비트스트림 생성부(130)는 메타 데이터 정보를 각 장면의 시작 부분에 삽입하거나, 랜덤 액세스가 일어날 수 있는 랜덤 액세스 포인트 픽쳐와 주변의 픽쳐들을 고려하여, 메타 데이터 정보를 적절한 곳에 삽입시킴으로써, 메타 데이터 정보를 포함하는 비디오 비트스트림을 생성할 수 있다. 랜덤 액세스가 일어나는 경우, 건너 띈 일부 픽쳐들과 메타 데이터 정보는 복호화되지 않기 때문에, 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들에 대해서, 복호화 후 비디오 처리를 수행할 수 있도록, 비디오 비트스트림에 메타 데이터 정보가 삽입되는 위치가 중요하다.
비트스트림 생성부(130)는 랜덤 액세스 포인트 픽쳐의 위치와 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷의 위치에 메타 데이터 정보를 삽입하여 비트스트림을 생성할 수 있다. 이때, 장면 컷은 장면 컷은 복수 개의 픽쳐들로 이루어진 어느 장면이 복수 개의 픽쳐들로 이루어진 다른 장면으로 전환되는 부분을 의미한다. 랜덤 액세스 포인트 픽쳐의 위치가 임의의 장면에 대한 장면 컷의 위치에 해당하면, 비트스트림 생성부(130)는 장면 컷에 대응되는 장면에 대한 메타 데이터 정보로 랜덤 액세스 포인트 픽쳐의 위치에 삽입할 메타 데이터 정보를 대신할 수 있다. 동일한 메타 데이터 정보를 중복해서 삽입하지 않도록 하기 위함이다.
장면 컷의 위치는 각 장면에 속한 픽처들 중 디스플레이 순서상으로 첫 픽쳐의 위치에 해당할 수 있다. 임의의 장면에 대한 메타 데이터 정보는 그 임의의 장면 이전의 장면에 대응되는 장면 컷 위치에 삽입할 수 있다. 이는 메타 데이터의 복호화에 소요되는 시간을 고려하여, 실제 메타 데이터가 적용되는 장면보다 이전의 장면에 대응되는 장면 컷 위치에 삽입함으로써, 메타 데이터의 복호화에 따른 딜레이를 최소화하거나 없애기 위함이다.
한편, 비디오 비트스트림에서 랜덤 액세스 포인트 픽쳐의 위치에 따라, 랜덤 액세스 포인트 픽쳐보다 디스플레이 순서는 선행하지만 복호화 순서는 후행하는 리딩 픽쳐(leading picture)가 있을 수 있다. 리딩 픽쳐는 정상적으로 복호화 가능한 리딩 픽쳐(decodable leading picture)와 복호화 불가능한 리딩 픽쳐로 나눌 수 있다. 랜덤 액세스 포인트 픽쳐의 위치에 따라 복호화 가능한 리딩 픽쳐가 존재하지 않거나, 랜덤 액세스 포인트 픽쳐와 같거나 다른 장면에 속하는 적어도 하나의 복호화 가능한 리딩 픽쳐가 존재할 수 있다.
비트스트림 생성부(130)는 랜덤 액세스 포인트 픽쳐에 대해 리딩 픽쳐들이 존재하지 않고, 랜덤 액세스 포인트 픽쳐 위치가 장면 컷의 위치가 아니면, 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보를 랜덤 액세스 포인트 픽쳐 위치에 삽입하여 비트스트림을 생성할 수 있다.
비트스트림 생성부(130)는 랜덤 액세스 포인트 픽쳐에 대해 복수 개의 복호화 가능한 리딩 픽쳐들이 존재하는 경우, 복호화 가능한 리딩 픽쳐들 모두가 랜덤 액세스 포인트 픽쳐와 다른 장면에 속하면, 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보를 랜덤 액세스 포인트 픽쳐 위치에 삽입하고, 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 디스플레이 순서상 첫번째 복호화 가능한 리딩 픽쳐의 위치에 삽입하여 비트스트림을 생성할 수 있다.
비트스트림 생성부(130)는 랜덤 액세스 포인트 픽쳐에 대해 복수 개의 복호화 가능한 리딩 픽쳐들이 존재하는 경우, 복호화 가능한 리딩 픽쳐들 모두가 랜덤 액세스 포인트 픽쳐와 같은 장면에 속하면, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 복수 개의 복호화 가능한 리딩 픽쳐들이 포함된 장면에 대한 메타 데이터 정보를 삽입하여 비트스트림을 생성할 수 있다. 다만, 복호화 가능한 리딩 픽쳐임에도 불구하고 복호화되지 않거나 비디오 비트스트림에서 제거되는 경우가 있을 경우를 대비하여, 복호화 가능한 리딩 픽쳐들이 랜덤 액세스 포인트 픽쳐와 같은 장면에 속할 때, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치와 랜덤 액세스 포인트 픽쳐의 위치 모두에 메타 데이터 정보를 삽입하여 비트스트림을 생성할 수도 있다. 또한, 복호화 가능한 리딩 픽쳐가 제거되는 경우, 그 픽쳐의 위치에 포함되어 있던 메타 데이터 정보를 같은 장면에 속한 랜덤 액세스 포인트 픽쳐의 위치로 옮기도록 할 수도 있다. 비디오 복호화 과정 또는 비디오 출력 과정에서 복호화 불가능한 리딩 픽쳐 및/또는 복호화 가능한 리딩 피쳐가 제거되는 경우가 있기 때문이다.
한편, 비트스트림 생성부(130)는 메타 데이터 정보에 대한 식별 정보를 포함하는, 부호화된 비디오 데이터의 비트스트림을 생성할 수도 있다. 비디오 부호화부(110)에서 메타 데이터 정보에 대한 식별 정보를 생성한 경우, 메타 데이터 대신에 메타 데이터 정보에 대한 식별 정보가 포함되도록 비디오 비트스트림을 생성할 수 있다. 메타 데이터 정보를 직접 포함시키는 것보다 파일 사이즈를 줄여, 오버헤드가 발생하지 않도록 메타 데이터에 대한 식별 정보를 비디오 비트스트림의 소정의 위치에 포함시키는 것이다. 다만, 비트스트림 생성부(130)가 메타 데이터 정보에 대한 식별 정보를 포함하는 비디오 비트스트림을 생성하는 경우에, 해당 메타 데이터를 제외한, 해당 메타 데이터를 비디오 처리에 이용할 때, 적용할 수 있는 소정의 값이나 조건 등을 포함하는 파라미터들을 포함시킬 수도 있다.
메타 데이터 정보를 포함하는 메타 데이터 정보의 데이터베이스는 메타 데이터 정보에 대한 식별 정보가 포함된 비디오 비트스트림과 독립적으로 별개의 채널을 통해 비디오 데이터 생성 장치(100)에서 비디오 데이터 처리 장치(200)로 전송될 수 있다. 메타 데이터 정보의 데이터베이스는 비디오 데이터 처리 장치(200)의 소정의 저장 공간에 저장된 적어도 하나의 메타 데이터 정보를 의미한다. 메타 데이터 정보의 데이터베이스는 한번 또는 복수 회에 걸쳐서 비디오 데이터 생성 장치(100)로부터 비디오 데이터 처리 장치(200)로 전송되고, 비디오 데이터 처리 장치(200)에 저장될 수 있다. 비디오 데이터 처리 장치(200)는 메타 데이터 정보에 대한 식별 정보를 이용하여 비디오 데이터 처리에 사용되는 메타 데이터 정보를 메타 데이터 정보의 데이터베이스로부터 찾아낼 수 있다. 메타 데이터 정보의 데이터베이스는 비디오 데이터 생성 장치(100)로부터 비디오 비트스트림이 전송되기 이전에 비디오 데이터 처리 장치(200)에 전송되거나, 별개의 채널을 통해 함께 전송될 수 있다.
도 3b는 일 실시예에 따른 비디오 데이터 처리 장치(200)의 구성을 설명하기 위한 블록도이다. 비디오 데이터 처리 장치(200)에는 도 3b에 도시된 구성들 외에도, 다른 범용적인 하드웨어 구성들이 포함될 수 있다는 점을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
비디오 데이터 처리 장치(200)는 비트스트림 획득부(210), 비디오 복호화부(230), 및 비디오 처리 프로세서(250)를 포함할 수 있다.
비트스트림 획득부(210)는 비디오 비트스트림을 획득할 수 있다. 비트스트림 획득부(210)는 비디오 데이터 처리 장치(200)에 수신된 비디오 비트스트림을 획득하여, 비디오 복호화부(230)에 전달할 수 있다.
비디오 복호화부(230)는 비디오 비트스트림을 복호화할 수 있다. 비디오 복호화부(230)는 부호화된 비디오 데이터가 복호화된 후 비디오 처리될 때, 복호화된 비디오 데이터에 이용될 수 있는 메타 데이터 정보를 비디오 비트스트림에서 추출할 수 있다. 이와 같은 메타 데이터 정보는 부호화된 비디오 데이터에 대해서, 랜덤 액세스가 발생할 경우, 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들이 복호화된 후 비디오 처리가 수행될 수 있도록, 랜덤 액세스 포인트 픽쳐 이후의 복호화된 비디오 데이터에서 추출할 수 있다.
비디오 처리 프로세서(250)는 비디오 비트스트림에서 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리에 이용되는 메타 데이터 정보를 획득할 수 있다.
비디오 처리 프로세서(250)는 비디오 비트스트림에서 랜덤 액세스 포인트 픽쳐의 위치와 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷(scene cut)의 위치에 기초하여 메타 데이터 정보를 획득할 수 있다. 이때, 랜덤 액세스 포인트 픽쳐의 위치가 임의의 장면에 대한 장면 컷의 위치에 해당하면, 비디오 처리 프로세서(250)는 장면 컷에 대응되는 장면에 대한 메타 데이터 정보를 랜덤 액세스 포인트 픽쳐의 위치로부터 획득할 메타 데이터 정보로 사용할 수 있다.
장면 컷의 위치는 각 장면에 속한 픽처들 중 디스플레이 순서상으로 첫 픽쳐의 위치에 해당할 수 있다. 임의의 장면에 대한 메타 데이터 정보는 임의의 장면 이전의 장면에 대응되는 장면 컷 위치에서 획득할 수 있다. 이는, 메타 데이터의 복호화에 따른 딜레이를 최소화하거나 없애기 위해서, 메타 데이터의 복호화에 소요되는 시간을 고려하여, 실제 메타 데이터가 적용되는 장면보다 이전의 장면에 대응되는 장면 컷 위치에 메타 데이터가 삽입된 경우이다.
한편, 랜덤 액세스 포인트 픽쳐의 위치에 따라 복호화 가능한 리딩 픽쳐가 존재하지 않거나, 랜덤 액세스 포인트 픽쳐와 같거나 다른 장면에 속하는 적어도 하나의 복호화 가능한 리딩 픽쳐가 존재할 수 있다.
비디오 처리 프로세서(250)는 랜덤 액세스 포인트 픽쳐에 대해 리딩 픽쳐들이 존재하지 않고, 랜덤 액세스 포인트 픽쳐 위치가 장면 컷의 위치가 아니면, 랜덤 액세스 포인트 픽쳐 위치에 기초하여 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보를 획득할 수 있다.
비디오 처리 프로세서(250)는 랜덤 액세스 포인트 픽쳐에 대해 복수 개의 복호화 가능한 리딩 픽쳐들이 존재하는 경우, 복호화 가능한 리딩 픽쳐들 모두가 랜덤 액세스 포인트 픽쳐와 다른 장면에 속하면, 랜덤 액세스 포인트 픽쳐 위치에 기초하여 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보를 획득하고, 디스플레이 순서상 첫번째 복호화 가능한 리딩 픽쳐의 위치에 기초하여 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 획득할 수 있다.비디오 처리 프로세서(250)는 랜덤 액세스 포인트 픽쳐에 대해 복수 개의 복호화 가능한 리딩 픽쳐들이 존재하는 경우, 복호화 가능한 리딩 픽처들 모두가 랜덤 액세스 포인트 픽쳐와 같은 장면에 속하면, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 기초하여 복수 개의 복호화 가능한 리딩 픽쳐들이 포함된 장면에 대한 메타 데이터 정보를 획득할 수 있다. 다만, 복호화 가능한 리딩 픽쳐임에도 불구하고 복호화되지 않거나 비디오 비트스트림에서 제거되는 경우가 있을 경우를 대비하여, 복호화 가능한 리딩 픽쳐들이 랜덤 액세스 포인트 픽쳐와 같은 장면에 속할 때, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치와 랜덤 액세스 포인트 픽쳐의 위치 모두에 메타 데이터 정보가 포함될 수 있으므로, 두 위치 모두에 기초하여 메타 데이터 정보를 획득할 수 있다. 또한, 복호화 가능한 리딩 픽쳐가 제거되는 경우, 그 픽쳐의 위치에 포함되어 있던 메타 데이터 정보가 같은 장면에 속한 랜덤 액세스 포인트 픽쳐의 위치로 옮겨질 수 있으므로, 이때는 랜덤 액세스 포인트 픽쳐의 위치에 기초하여 메타 데이터 정보를 획득할 수 있다.
비디오 처리 프로세서(250)는 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들 중 복호화된 비디오 데이터에 대해, 획득한 메타 데이터 정보에 기초하여, 비디오 처리를 수행할 수 있다.
한편, 비디오 처리 프로세서(250)는 비디오 데이터 생성 장치(100)에서 비디오 비트스트림의 소정의 위치에 메타 데이터 정보에 대한 식별 정보를 포함시켜 비디오 비트스트림을 전송한 경우, 메타 데이터 정보에 대한 식별 정보로 메타 데이터 정보의 데이터베이스에서 메타 데이터 정보를 획득할 수도 있다. 예를 들어, 메타 데이터 정보에 대한 식별 정보는 비디오 비트스트림의 각 장면에 속하는 모든 픽쳐 위치에 포함될 수 있다. 메타 데이터 정보에 대한 식별 정보와 매칭되는 메타 데이터 정보를 메타 데이터 정보의 데이터베이스로부터 획득할 수 있다. 메타 데이터 정보의 데이터베이스는 비디오 비트스트림이 수신되는 채널과 별개의 채널로 비디오 데이터 생성 장치(100)로부터 수신될 수 있으며, 비디오 비트스트림보다 미리 수신된 것일 수 있다.
이하, 부호화된 비디오 데이터의 비트스트림 생성하는 과정과 부호화된 비디오 데이터의 비트스트림 처리하는 과정을 구체적인 예를 들어 살펴본다. 도 4 및 도 5에서는 랜덤 액세스에 대비하여, 메타 데이터 정보에 대한 식별 정보를 이용하는 비디오 비트스트림에 대해서 상세히 설명하고, 도 6a 내지 도 6c에서는 랜덤 액세스에 대비하여, 메타 데이터 정보를 삽입시킬 비디오 비트스트림 내의 최적의 위치를 고려하는 비디오 비트스트림에 대해서 상세히 설명한다.
도 4는 일 실시예에 따른 메타 데이터 정보에 대한 식별 정보를 이용한, 부호화된 비디오 데이터의 비트스트림 생성 및 처리 방식을 설명하기 위한 도면이다
도 4를 참고하면, 비디오 데이터 생성 장치(100)는 비디오 데이터 처리 장치(200)로 비디오 비트스트림을 전송할 수 있다. 비디오 비트스트림은 비디오 데이터 처리 장치(200)에서 랜덤 액세스가 발생하더라도, 비디오 처리에 이용되는 각 장면의 메타 데이터 정보가 손실되지 않도록, 비디오 비트스트림의 각 장면에 속하는 모든 픽쳐 위치에 메타 데이터 정보에 대한 식별 정보를 포함할 수 있다. 메타 데이터 정보에 대한 식별 정보는 메타 데이터 정보의 ID, 메타 데이터 정보의 위치 정보 등이 될 수 있다. 각 장면에 속하는 모든 픽쳐 위치에 메타 데이터 정보를 직접 포함시키는 것보다 파일 사이즈를 줄여, 오버헤드가 발생하지 않도록 메타 데이터에 대한 식별 정보를 포함시킨 것이다. 메타 데이터 정보에 대한 식별 정보는 메타 데이터 정보의 데이터베이스에서 메타 데이터 정보를 조회하여 메타 데이터 정보를 획득하는데 이용될 수 있다.
한편, 각 장면에 속하는 모든 픽쳐에 메타 데이터 정보에 대한 식별 정보를 포함시킬 수도 있지만, 보다 파일 사이즈를 줄이기 위해, 메타 데이터 정보에 대한 식별 정보의 전송 빈도를 더 낮출 수도 있다. 예를 들어, 같은 장면에 속한 픽쳐들에 대해서, 소정 갯수의 픽쳐마다 메타 데이터 정보에 대한 식별 정보를 전송할 수도 있다.
메타 데이터 정보는 메타 데이터 정보에 대한 식별 정보가 포함된 비디오 비트스트림과 독립적으로 비디오 데이터 생성 장치(100)에서 비디오 데이터 처리 장치(200)로 전송될 수 있다. 모든 메타 데이터 정보를 가지는 데이터베이스의 일부 또는 전부가 비디오 데이터 생성 장치(100)에서 비디오 데이터 처리 장치(200)로 전송될 수 있다. 메타 데이터 정보는 비디오 비트스트림이 전송되는 채널과 별개의 채널로 전송될 수 있으며, 비디오 비트스트림보다 미리 보내어질 수 있다. 예를 들어, SPS(Sequence Parameter Set) 또는 PPS(Picture Parameter Set)와 같은 신택스 데이터(syntax data)가 전송되는 안전한 채널을 통해 메타 데이터 정보가 전송될 수 있다. 일부 또는 모든 메타 데이터 정보는 긴 텀(long term)을 가지고 주기적으로 전송될 수 있다. 메타 데이터 정보에 대한 식별 정보의 전송 빈도는 메타 데이터 정보를 조회할 수 있는 메타 데이터 정보의 데이터베이스의 전송 빈도 보다 높을 수 있다.
도 5a 및 도 5b는 메타 데이터 정보에 대한 식별 정보를 전송하는 메시지의 포맷을 나타낸 도면이다.
도 5a의 메시지 포맷은 메타 데이터 정보에 대한 식별 정보와 메타 데이터 정보를 모두 포함할 수 있는 형태로써, 메시지 포맷 내의 조건문에 따라 메타 데이터 정보가 포함될지 말지 결정될 수 있다. 도 5a에서 “meta_data_info_present_flag” 값이 “true”이면 메타 데이터 정보를 포함하여 전송할 수 있고, “meta_data_info_present_flag” 값이 “false”이면 메타 데이터 정보에 대한 식별 정보만 포함시켜 전송할 수 있다. 따라서, 각 픽쳐마다 메타 데이터 정보에 대한 식별 정보를 포함시켜 전송시킬 때는 “meta_data_info_present_flag” 값을 “false”로 설정하여 보낼 수 있다.
도 5b의 메시지 포맷은 도 5a와 같이 조건문에 따라 전송하는 데이터의 종류를 구분하지 않고, 메타 데이터 정보와 메타 데이터 정보에 대한 식별 정보를 각각 전송하기 위해 별도의 메시지 포맷으로 만든 것이다. 도 5b에서 “meta_data_info” 메시지 포맷이 메타 데이터 정보를 전송할 수 있는 형태이고, “meta_data_pointer” 메시지 포맷이 메타 데이터 정보에 대한 식별 정보를 전송할 수 있는 형태이다. 따라서, 각 픽쳐마다 메타 데이터 정보에 대한 식별 정보를 포함시켜 전송시킬 때는 “meta_data_pointer” 메시지 포맷으로 보낼 수 있다.
도 6a는 일 실시예에 따른 메타 데이터 정보를 삽입시킬 비디오 비트스트림 내의 최적의 위치를 고려한, 부호화된 비디오 데이터의 비트스트림 생성 및 처리 방식을 설명하기 위한 도면이다.
도 6a를 참고하면, 디스플레이 순서와 복호화 순서가 다른, 비디오 데이터의 일부분을 확인할 수 있다. 디스플레이 순서 또는 출력 순서(output order)를 보면, 제 26 픽쳐부터 제 32 픽쳐에 해당하고, 제 26 픽쳐부터 순차적으로 디스플레이되는 픽쳐들의 연속이라 볼 수 있다. 반면, 복호화 순서(decoding order)를 보면, 디스플레이 순서상으로 제 27 픽쳐에 해당하는 픽쳐가 가장 빠른 복호화 순서 24에 해당하고, 디스플레이 순서상으로 제 32 픽쳐에 해당하는 픽쳐가 가장 늦은 복호화 순서 34에 해당함을 알 수 있다.
도 6a에 도시된 바와 같이, 랜덤 액세스가 디스플레이 순서상으로 제 31 픽쳐에 해당하는 픽쳐에 발생한다고 가정할 경우, 랜덤 액세스 포인트 픽쳐는 디스플레이 순서상으로 제 31 픽쳐에 해당하는 픽쳐가 된다. 디스플레이 순서상으로 제 31 픽쳐에 해당하는 픽쳐의 복호화 순서는 28이기 때문에, 복호화 순서가 28 이후인 픽쳐들만 복호화될 수 있다. 따라서, 디스플레이 순서상으로 제 26 픽쳐와 제 27 픽쳐는 복호화 순서가 각각 27 및 24이기 때문에 복호화될 수 없다.
도 6a를 참고하면, 디스플레이 순서상으로 제 28 픽쳐, 제 29 픽쳐, 제 30 픽쳐는 랜덤 액세스 포인트 픽쳐인 제 31 픽쳐보다 디스플레이 순서는 앞서지만, 복호화 순서가 늦으므로, 리딩 픽쳐에 해당한다. 특히, 이들은 복호화 가능한 리딩 픽쳐에 해당한다. 반면, 디스플레이 순서와 복호화 순서가 모두 랜덤 액세스 포인트 픽쳐보다 늦는 픽쳐를 트레일링 픽쳐(trailing picture)라고 한다. 도 6a를 참고하면, 디스플레이 순서상으로 제 32 픽쳐는 랜덤 액세스 포인트 픽쳐인 제 31 픽쳐보다 디스플레이 순서와 복호화 순서가 모두 늦으므로, 트레일링 픽쳐에 해당한다. 이와 같은 비디오 데이터를 부호화하여 비디오 비트스트림으로 생성하는 경우, 각 장면에 대응되는 메타 데이터 정보를 삽입한 비디오 비트스트림은 랜덤 액세스를 고려하여 다음과 같이 생성할 수 있다.
도 6a를 참고하면 복호화 순서가 28인 픽쳐에 랜덤 액세스가 발생하였으므로, 복호화 순서가 28 이후인 픽쳐들을 위한 메타 데이터 정보가 비디오 비트스트림 생성시 삽입되어야 한다. 도 6a에 도시된 바와 같이, 복호화 순서상으로 29, 30, 31인 픽쳐는 복호화 가능한 리딩 픽쳐이고, 랜덤 액세스 포인트 픽쳐가 속한 제 2 장면과 다른 제 1 장면에 해당하는 픽쳐들이므로 제 1 메타 데이터 정보 m1이 삽입되어야 한다. 복호화 순서상으로 28, 34인 픽쳐는 제 2 장면에 해당하는 픽쳐들이므로 제 2 메타 데이터 정보 m2가 삽입되어야 한다. 다만, 비디오 비트스트림 생성시에 디스플레이 순서나 장면의 순서와 상관없이, 복호화 순서대로 픽쳐들이 나열되므로 메타 데이터 정보는 복호화 순서를 고려하여, 메타 데이터 정보가 가장 먼저 필요한 픽쳐의 위치를 우선하여 메타 데이터 정보를 삽입하되, 한번 삽입된 메타 데이터 정보에 대해서는 중복적으로 포함되지 않도록 하여야 한다.
도 6a에 도시된 바와 같이, 랜덤 액세스가 발생하여 복호화 순서가 28인 픽쳐가 랜덤 액세스 포인트 픽쳐가 되는 경우, 랜덤 액세스 포인트 픽쳐가 속한 장면인 제 2 장면에 대한 제 2 메타 데이터 정보가 랜덤 액세스 포인트 픽쳐의 위치에 삽입될 수 있다. 이때, 랜덤 액세스 포인트 픽쳐의 위치는 랜덤 액세스 포인트 픽쳐의 전후 위치가 될 수 있으며, 도 6a에 도시된 바와 같이 랜덤 액세스 포인트 픽쳐 앞에 위치하도록 제 2 메타 데이터 정보를 삽입할 수 있다.
다음으로, 복호화 순서가 29, 30, 31인 픽쳐들은 제 1 장면에 해당하는 픽쳐들로써, 제 1 장면에 대한 제 1 메타 데이터 정보가 제 1 장면의 장면 컷의 위치에 삽입될 수 있다. 이때, 제 1 장면의 장면 컷의 위치는 제 1 장면에 속한 픽쳐들의 전후 위치가 될 수 있으며, 특히, 제 1 장면에 속한 픽쳐들 중 디스플레이 순서상으로 첫 픽쳐의 위치가 될 수 있다. 도 6a에 도시된 바와 같이 제 1 장면에 속한 픽쳐들 중 복호화 순서가 30인 픽쳐가 디스플레이 순서상으로 첫 픽쳐의 위치가 되므로, 복호화 순서가 30인 픽쳐 앞에 위치하도록 제 1 메타 데이터 정보를 삽입할 수 있다. 한편, 복호화 순서가 29, 31인 픽쳐는 복호화 순서가 30인 피쳐 앞에 삽입된 제 1 메타 데이터 정보를 활용할 수 있으므로, 제 1 메타 데이터 정보를 중복하여 삽입할 필요가 없다.
그 다음으로, 복호화 순서가 32 이후인 픽쳐들에 대해서도 각 픽쳐들이 속하는 장면에 해당하는 메타 데이터 정보를 그 장면의 컷의 위치에 삽입하되, 이미 삽입된 메타 데이터 정보는 중복해서 삽입하지 않는다. 도 6a에 도시된 바와 같이, 복호화 순서가 34인 픽쳐는 제 2 장면에 해당하는 픽쳐이나, 제 2 메타 데이터 정보는 랜덤 액세스 포인트 픽쳐 앞에 위치하도록 이미 삽입된 바 있으므로, 제 2 메타 데이터 정보를 중복하여 삽입하지 않는다.
이와 같이 랜덤 액세스를 고려하여 생성된, 메타 데이터 정보를 포함하는 비디오 비트스트림은, 비디오 데이터 처리 장치(200)에서 랜덤 액세스가 발생할 경우, 비디오 비트스트림의 생성 과정의 역과정에 기초하여, 처리될 수 있다. 다시 말해서, 비디오 데이터 처리 장치(200)는 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들 중 복호화 가능한 픽쳐들이 속하는 각 장면에 대한 메타 데이터 정보들이 비디오 비트스트림에 최초로 삽입된 위치에 기초하여 메타 데이터 정보를 획득하고, 복호화된 픽쳐들에 대해, 획득한 메타 데이터 정보에 기초하여 비디오 처리를 수행할 수 있다.
도 6b는 다른 실시예에 따른 메타 데이터 정보를 삽입시킬 비디오 비트스트림 내의 최적의 위치를 고려한, 부호화된 비디오 데이터의 비트스트림 생성 및 처리 방식을 설명하기 위한 도면이다.
도 6b에 도시된 비디오 데이터의 일부분은, 도 6a에서 설명한 비디오 데이터의 일부분과 디스플레이 순서와 복호화 순서가 일치한다. 다만, 제 0 장면에 해당하는 픽쳐와 제 1 장면에 해당하는 픽쳐가 다르다. 다시 말해서, 복호화 가능한 리딩 픽쳐들이 랜덤 액세스 포인트 픽쳐가 속한 장면과 다른 복수 개의 장면에 각각 속하는 경우이다. 디스플레이 순서상으로 제 28 픽쳐에 해당하는 픽쳐가 도 6a에 도시된 바와 달리, 제 1 장면이 아닌 제 0 장면에 속하는 경우, 부호화된 비디오 데이터의 비트스트림 생성 및 처리 방식의 차이점을 이하 설명한다.
도 6b에 도시된 바와 같이, 랜덤 액세스 포인트 픽쳐는 디스플레이 순서상으로 제 31 픽쳐에 해당하는 픽쳐이고, 디스플레이 순서상으로 제 31 픽쳐에 해당하는 픽쳐의 복호화 순서는 28이기 때문에, 복호화 순서가 28 이후인 픽쳐들만 복호화될 수 있다. 디스플레이 순서상으로 제 28 픽쳐, 제 29 픽쳐, 제 30 픽쳐는 복호화 가능한 리딩 픽쳐에 해당한다. 디스플레이 순서상으로 제 32 픽쳐는 트레일링 픽쳐에 해당한다. 이와 같은 비디오 데이터를 부호화하여 비트스트림으로 생성하는 경우, 각 장면에 대응되는 메타 데이터 정보를 삽입한 비디오 비트스트림은 랜덤 액세스를 고려하여 다음과 같이 생성할 수 있다.
도 6b를 참고하면 복호화 순서가 28인 픽쳐에 랜덤 액세스가 발생하였으므로, 복호화 순서가 28 이후인 픽쳐들을 위한 메타 데이터 정보가 비디오 비트스트림 생성시 삽입되어야 한다. 복호화 순서상으로 29, 30, 31인 픽쳐는 복호화 가능한 리딩 픽쳐이다. 이 중 복호화 순서상으로 30인 픽쳐는 제 0 장면에 해당하는 픽쳐이므로, 제 0 메타 데이터 정보 m0이 비디오 비트스트림 생성시 삽입되어야 한다. 복호화 순서상으로 29, 31인 픽쳐는 제 1 장면에 해당하는 픽쳐들이므로, 제 1 메타 데이터 정보 m1이 비디오 비트스트림 생성시 삽입되어야 한다. 복호화 순서상으로 28, 34인 픽쳐는 제 2 장면에 해당하는 픽쳐들이므로 제 2 메타 데이터 정보 m2가 삽입되어야 한다.
도 6b에 도시된 바와 같이, 랜덤 액세스가 발생하여 복호화 순서가 28인 픽쳐가 랜덤 액세스 포인트 픽쳐가 되는 경우, 랜덤 액세스 포인트 픽쳐가 속한 장면인 제 2 장면에 대한 제 2 메타 데이터 정보 m2가 랜덤 액세스 포인트 픽쳐 앞에 위치하도록 비디오 비트스트림에 삽입될 수 있다.
다음으로, 복호화 순서가 29인 픽쳐는 제 1 장면에 해당하는 픽쳐로써, 제 1 장면에 대한 제 1 메타 데이터 정보 m1이 제 1 장면의 장면 컷의 위치에 삽입될 수 있다. 도 6b에 도시된 바와 같이 제 1 장면에 속한 픽쳐들 중 복호화 순서가 29인 픽쳐가 디스플레이 순서상으로 첫 픽쳐의 위치가 되므로, 제 1 메타 데이터 정보 m1은 복호화 순서가 29인 픽쳐 앞에 위치하도록 비디오 비트스트림에 삽입될 수 있다.
다음으로, 복호화 순서가 30인 픽쳐는 제 0 장면에 해당하는 픽쳐들로써, 제 0 장면에 대한 제 0 메타 데이터 정보 m0가 비디오 비트스트림에 삽입될 필요가 있다. 다만, 도 6b에 도시된 바와 같이 제 0 장면에 속한 픽쳐들 중 복호화 순서가 30인 픽쳐가 유일하게 복호화 가능하므로, 제 0 메타 데이터 정보 m0은 복호화 순서가 30인 픽쳐 앞에 위치하도록 비디오 비트스트림에 삽입될 수 있다.
다음으로, 복호화 순서가 31인 픽쳐는 복호화 순서가 29인 피쳐 앞에 이미 삽입된 제 1 메타 데이터 정보를 활용할 수 있으므로, 제 1 메타 데이터 정보 m1을 중복하여 삽입할 필요가 없다.
그 다음으로, 복호화 순서가 32 이후인 픽쳐들에 대해서도 각 픽쳐들이 속하는 장면에 해당하는 메타 데이터 정보를 그 장면의 컷의 위치에 삽입하되, 이미 삽입된 메타 데이터 정보는 중복해서 삽입하지 않는다. 도 6b에 도시된 바와 같이, 복호화 순서가 34인 픽쳐는 제 2 장면에 해당하는 픽쳐이나, 제 2 메타 데이터 정보m2는 랜덤 액세스 포인트 픽쳐 앞에 위치하도록 이미 삽입된 바 있으므로, 제 2 메타 데이터 정보를 중복하여 삽입하지 않는다.
이와 같이 랜덤 액세스를 고려하여 생성된, 메타 데이터 정보를 포함하는 비디오 비트스트림은, 비디오 데이터 처리 장치(200)에서 랜덤 액세스가 발생할 경우, 비디오 비트스트림의 생성 과정의 역과정에 기초하여, 처리될 수 있다. 다시 말해서, 비디오 데이터 처리 장치(200)는 랜덤 액세스가 발생한 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들 중 복호화 가능한 픽쳐들이 속하는 각 장면에 대한 메타 데이터 정보가 처음으로 삽입된 위치에 기초하여 메타 데이터 정보를 획득하고, 복호화된 픽쳐들에 대해, 획득한 메타 데이터 정보에 기초하여 비디오 처리를 수행할 수 있다.
도 6c은 또 다른 실시예에 따른 메타 데이터 정보를 삽입시킬 비디오 비트스트림 내의 최적의 위치를 고려한, 부호화된 비디오 데이터의 비트스트림 생성 및 처리 방식을 설명하기 위한 도면이다.
도 6c을 참고하면, 디스플레이 순서가 제 26 픽쳐부터 제 36 픽쳐에 해당하고, 제 26 픽쳐부터 순차적으로 디스플레이되는 픽쳐들의 연속이라 볼 수 있다. 반면, 픽처들간의 관계를 나타낸 화살표에 따라, 복호화 순서(decoding order)를 보면, 디스플레이 순서와 다름을 알 수 있다.
도 6c에 도시된 바와 같이, 랜덤 액세스가 디스플레이 순서상으로 제 35 픽쳐에 해당하는 픽쳐에 발생한다고 가정할 경우, 랜덤 액세스 포인트 픽쳐는 디스플레이 순서상으로 제 35 픽쳐에 해당하는 픽쳐가 된다. 디스플레이 순서상으로 제 26 픽쳐와 제 27 픽쳐에 해당하는 픽쳐들은 랜덤 액세스 포인트 픽쳐보다 앞선 부호화 순서를 가지므로, 제 35 픽쳐에 대한 랜덤 액세스를 고려한 비디오 비트스트림에 해당되지 않는다. 도 6c을 참고할 때, 제 35 픽쳐에 대한 랜덤 액세스 발생을 고려한 비디오 비트스트림에는 제 35 픽쳐 이후 복호화 순서를 가지는 픽쳐들만 해당될 수 있다. 즉, 복호화 순서에 따라, 디스플레이 순서상의 픽쳐들을 나열하면, 제 35 픽쳐, 제 31 픽쳐, 제 29 픽쳐, 제 28 픽쳐, 제 30 픽쳐, 제 33 픽쳐, 제 32 픽쳐, 제 34 픽쳐, 및 제 36 픽쳐가 제 35 픽쳐에 대한 랜덤 액세스 발생을 고려한 비디오 비트스트림에 해당될 수 있다. 다만, 디스플레이 순서상의 제 28 픽쳐 내지 제 30 픽쳐는 복호화 불가능한 리딩 픽쳐들이어서, 복호화가 불가능하므로, 제 28 픽쳐 내지 제 30 픽쳐를 위한 메타 데이터 정보는 비디오 비트스트림에 삽입할 필요가 없다.
한편, 도 6c에서는, 복호화 가능한 리딩 픽쳐들 중에서 제 1 장면에 속하는 제 32 픽쳐, 제 33 픽쳐, 및 제 34 픽쳐에 대한 제 1 메타 데이터 정보 m1을 비디오 비트스트림의 어느 위치에 넣을 것인지에 관한 두 가지 방식을 모두 나타내고 있다.
먼저, 옵션 1의 비디오 비트스트림(video bitstream of option 1)은 메타 데이터 정보를 각 장면에 속하는 픽쳐들의 디스플레이 순서상 첫 픽쳐의 위치에 삽입하는 방식이다. 이에 따르면, 제 1 장면에 속하는 제 32 픽쳐, 제 33 픽쳐, 및 제 34 픽쳐 중 제 32 픽쳐가 디스플레이 순서상 첫 픽쳐에 해당하므로, 제 32 픽쳐 앞의 위치에 제 1 메타 데이터 m1을 삽입하였음을 알 수 있다. 앞서 설명한, 도 6a 및 도 6b의 경우, 각 장면에 속하는 픽쳐들의 디스플레이 순서상 첫 번째 픽쳐의 위치에 각 장면에 대응되는 메타 데이터를 삽입시킨 방식임을 알 수 있다.
다음, 옵션 2의 비디오 비트스트림(video bitstream of option 2)은 메타 데이터 정보를 각 장면에 속하는 픽쳐들의 부호화 순서상 첫 픽쳐의 위치에 삽입하는 방식이다. 이에 따르면, 제 1 장면에 속하는 제 32 픽쳐, 제 33 픽쳐, 및 제 34 픽쳐 중 제 33 픽쳐가 복호화 순서상 첫 픽쳐에 해당하므로, 제 33 픽쳐 앞의 위치에 제 1 메타 데이터 m1을 삽입하였음을 알 수 있다. 앞서 설명한, 도 6a 및 도 6b의 경우, 각 장면에 속하는 픽쳐들의 복호화 순서상 첫 번째 픽쳐의 위치에 각 장면에 대응되는 메타 데이터를 삽입시킨 방식을 따를수도 있다.
한편, 랜덤 액세스에 대비한 비디오 비트스트림 생성 및 처리에 관하여, 도 4 및 도 5에서 설명한 메타 데이터 정보에 대한 식별 정보를 이용하여 비트레이트를 줄이는 방식과 도 6a 내지 도 6c에서 설명한 메타 데이터 정보를 삽입시킬 비디오 비트스트림 내의 최적의 위치를 고려하는 방식을 융합하여, 비트스트림 내의 최적의 위치에 메타 데이터 정보에 대한 식별 정보를 전송하는 방식을 사용할 수도 있다.
도 7a는 일 실시예에 따른 부호화된 비디오 데이터 생성 방법에 관한 흐름도이다. 앞에서 비디오 데이터 생성 장치(100)에 관하여 설명한 내용은 이하 생략되었더라도 부호화된 비디오 데이터 생성 방법에 대해서도 그대로 적용될 수 있다.
단계 710에서, 비디오 데이터 생성 장치(100)는 비디오 데이터를 부호화할 수 있다. 비디오 데이터 생성 장치(100)는 입력된 비디오를 부호화 순서(coding order)에 따른 부호화된 비디오 데이터를 생성할 수 있다.
단계 720에서, 비디오 데이터 생성 장치(100)는 각 장면의 시작 부분에 삽입되어 비디오 처리에 이용되는 메타 데이터 정보를 생성하거나, 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리에 이용되는 메타 데이터 정보를 생성할 수 있다. 비디오 데이터 생성 장치(100)는 부호화된 비디오 데이터가 복호화된 후 비디오 처리에 이용될 수 있는 메타 데이터 정보를 생성할 수 있다. 이와 같은 메타 데이터 정보는 부호화된 비디오 데이터에 대해서, 랜덤 액세스가 발생할 경우에도, 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들이 복호화된 후 비디오 처리가 수행될 수 있도록 준비될 수 있다.
한편, 비디오 데이터 생성 장치(100)는 비디오 데이터 처리 장치(200)에서 랜덤 액세스가 발생하더라도, 비디오 처리에 이용되는 각 장면의 메타 데이터 정보가 손실되지 않도록, 비디오 비트스트림의 각 장면에 속하는 모든 픽쳐 위치에 포함시키기 위한 메타 데이터 정보에 대한 식별 정보를 생성할 수도 있다.
단계 730에서, 비디오 데이터 생성 장치(100)는 메타 데이터 정보 또는 메타 데이터 정보에 대한 식별 정보를 포함하는, 부호화된 비디오 데이터의 비트스트림을 생성할 수 있다. 비디오 데이터 생성 장치(100)는 메타 데이터 정보를 각 장면의 시작 부분에 삽입하거나, 랜덤 액세스가 일어날 수 있는 랜덤 액세스 포인트 픽쳐와 주변의 픽쳐들을 고려하여, 메타 데이터 정보를 적절한 곳에 삽입시킴으로써, 메타 데이터 정보를 포함하는 비디오 비트스트림을 생성할 수 있다.
비디오 데이터 생성 장치(100)는 랜덤 액세스 포인트 픽쳐의 위치와 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷의 위치에 메타 데이터 정보를 삽입하여 비트스트림을 생성할 수 있다. 이때, 랜덤 액세스 포인트 픽쳐의 위치가 임의의 장면에 대한 장면 컷의 위치에 해당하면, 비디오 데이터 생성 장치(100)는 장면 컷에 대응되는 장면에 대한 메타 데이터 정보로 랜덤 액세스 포인트 픽쳐의 위치에 삽입할 메타 데이터 정보를 대신할 수 있다. 동일한 메타 데이터 정보를 중복해서 삽입하지 않도록 하기 위함이다.
장면 컷의 위치는 각 장면에 속한 픽처들 중 디스플레이 순서상으로 첫 픽쳐의 위치에 해당할 수 있다. 임의의 장면에 대한 메타 데이터 정보는 그 임의의 장면 이전의 장면에 대응되는 장면 컷 위치에 삽입할 수 있다. 이는 메타 데이터의 복호화에 소요되는 시간을 고려하여, 실제 메타 데이터가 적용되는 장면보다 이전의 장면에 대응되는 장면 컷 위치에 삽입함으로써, 메타 데이터의 복호화에 따른 딜레이를 최소화하거나 없애기 위함이다.
한편, 랜덤 액세스 포인트 픽쳐의 위치에 따라 복호화 가능한 리딩 픽쳐가 존재하지 않거나, 랜덤 액세스 포인트 픽쳐와 같거나 다른 장면에 속하는 복수 개의 복호화 가능한 리딩 픽쳐가 존재할 수 있다.
비디오 데이터 생성 장치(100)는 랜덤 액세스 포인트 픽쳐에 대해 리딩 픽쳐들이 존재하지 않고, 랜덤 액세스 포인트 픽쳐 위치가 장면 컷의 위치가 아니면, 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보를 랜덤 액세스 포인트 픽쳐 위치에 삽입하여 비트스트림을 생성할 수 있다.
비디오 데이터 생성 장치(100)는 랜덤 액세스 포인트 픽쳐에 대해 복수 개의 복호화 가능한 리딩 픽쳐들이 존재하는 경우, 복호화 가능한 리딩 픽쳐들 모두가 랜덤 액세스 포인트 픽쳐와 다른 장면에 속하면, 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보를 랜덤 액세스 포인트 픽쳐 위치에 삽입하고, 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 디스플레이 순서상 첫번째 복호화 가능한 리딩 픽쳐의 위치에 삽입하여 비트스트림을 생성할 수 있다.
비디오 데이터 생성 장치(100)는 랜덤 액세스 포인트 픽쳐에 대해 복수 개의 복호화 가능한 리딩 픽쳐들이 존재하는 경우, 복호화 가능한 리딩 픽처들 모두가 랜덤 액세스 포인트 픽쳐와 같은 장면에 속하면, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 복수 개의 복호화 가능한 리딩 픽쳐들이 포함된 장면에 대한 메타 데이터 정보를 삽입하여 비트스트림을 생성할 수 있다. 다만, 복호화 가능한 리딩 픽쳐임에도 불구하고 복호화되지 않거나 비디오 비트스트림에서 제거되는 경우가 있을 경우를 대비하여, 복호화 가능한 리딩 픽쳐들이 랜덤 액세스 포인트 픽쳐와 같은 장면에 속할 때, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치와 랜덤 액세스 포인트 픽쳐의 위치 모두에 메타 데이터 정보를 삽입하여 비트스트림을 생성할 수도 있다. 또한, 복호화 가능한 리딩 픽쳐가 제거되는 경우, 그 픽쳐의 위치에 포함되어 있던 메타 데이터 정보를 같은 장면에 속한 랜덤 액세스 포인트 픽쳐의 위치로 옮기도록 할 수도 있다.
한편, 비디오 데이터 생성 장치(100)는 메타 데이터 정보에 대한 식별 정보를 포함하는, 부호화된 비디오 데이터의 비트스트림을 생성할 수도 있다. 비디오 데이터 생성 장치(100)에서 메타 데이터 정보에 대한 식별 정보를 생성한 경우, 메타 데이터 대신에 메타 데이터 정보에 대한 식별 정보가 포함되도록 비디오 비트스트림을 생성할 수 있다. 비디오 데이터 생성 장치(100)는 메타 데이터에 대한 식별 정보가 비디오 비트스트림의 소정의 위치에 포함되도록 비디오 비트스트림을 생성할 수 이다. 메타 데이터 정보를 포함하는 메타 데이터 정보의 데이터베이스는 메타 데이터 정보에 대한 식별 정보가 포함된 비디오 비트스트림과 독립적으로 별개의 채널을 통해 비디오 데이터 생성 장치(100)에서 비디오 데이터 처리 장치(200)로 전송될 수 있다.
도 7b는 일 실시예에 따른 부호화된 비디오 데이터 처리 방법에 관한 흐름도이다. 앞에서 비디오 데이터 처리 장치(200)에 관하여 설명한 내용은 이하 생략되었더라도 부호화된 비디오 데이터 처리 방법에 대해서도 그대로 적용될 수 있다.
단계 810에서, 비디오 데이터 처리 장치(200)는 비디오 비트스트림을 획득할 수 있다. 비디오 데이터 처리 장치(200)는 획득한 비디오 비트스트림을 복호화할 수 있다. 비디오 데이터 처리 장치(200)는 부호화된 비디오 데이터가 복호화된 후 비디오 처리될 때, 복호화된 비디오 데이터에 이용될 수 있는 메타 데이터 정보를 비디오 비트스트림에서 추출할 수 있다. 이와 같은 메타 데이터 정보는 부호화된 비디오 데이터에 대해서, 랜덤 액세스가 발생할 경우, 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들이 복호화된 후 비디오 처리가 수행될 수 있도록, 랜덤 액세스 포인트 픽쳐 이후의 복호화된 비디오 데이터에서 추출할 수 있다.
단계 820에서, 비디오 데이터 처리 장치(200)는 비디오 비트스트림에서 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리에 이용되는 메타 데이터 정보를 획득할 수 있다.
비디오 데이터 처리 장치(200)는 비디오 비트스트림에서 랜덤 액세스 포인트 픽쳐의 위치와 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷(scene cut)의 위치에 기초하여 메타 데이터 정보를 획득할 수 있다. 이때, 랜덤 액세스 포인트 픽쳐의 위치가 임의의 장면에 대한 장면 컷의 위치에 해당하면, 비디오 데이터 처리 장치(200)는 장면 컷에 대응되는 장면에 대한 메타 데이터 정보를 랜덤 액세스 포인트 픽쳐의 위치로부터 획득할 메타 데이터 정보로 사용할 수 있다.
장면 컷의 위치는 각 장면에 속한 픽처들 중 디스플레이 순서상으로 첫 픽쳐의 위치에 해당할 수 있다. 임의의 장면에 대한 메타 데이터 정보는 임의의 장면 이전의 장면에 대응되는 장면 컷 위치에서 획득할 수 있다. 이는, 메타 데이터의 복호화에 따른 딜레이를 최소화하거나 없애기 위해서, 메타 데이터의 복호화에 소요되는 시간을 고려하여, 실제 메타 데이터가 적용되는 장면보다 이전의 장면에 대응되는 장면 컷 위치에 메타 데이터가 삽입된 경우이다.
한편, 랜덤 액세스 포인트 픽쳐의 위치에 따라 복호화 가능한 리딩 픽쳐가 존재하지 않거나, 랜덤 액세스 포인트 픽쳐와 같거나 다른 장면에 속하는 적어도 하나의 복호화 가능한 리딩 픽쳐가 존재할 수 있다.
비디오 데이터 처리 장치(200)는 랜덤 액세스 포인트 픽쳐에 대해 리딩 픽쳐들이 존재하지 않고, 랜덤 액세스 포인트 픽쳐 위치가 장면 컷의 위치가 아니면, 랜덤 액세스 포인트 픽쳐 위치에 기초하여 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보를 획득할 수 있다.
비디오 데이터 처리 장치(200)는 랜덤 액세스 포인트 픽쳐에 대해 복수 개의 복호화 가능한 리딩 픽쳐들이 존재하는 경우, 복호화 가능한 리딩 픽쳐들 모두가 랜덤 액세스 포인트 픽쳐와 다른 장면에 속하면, 랜덤 액세스 포인트 픽쳐 위치에 기초하여 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보를 획득하고, 디스플레이 순서상 첫번째 복호화 가능한 리딩 픽쳐의 위치에 기초하여 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 획득할 수 있다.
비디오 데이터 처리 장치(200)는 랜덤 액세스 포인트 픽쳐에 대해 복수 개의 복호화 가능한 리딩 픽쳐들이 존재하는 경우, 복호화 가능한 리딩 픽처들 모두가 랜덤 액세스 포인트 픽쳐와 같은 장면에 속하면, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 기초하여 복수 개의 복호화 가능한 리딩 픽쳐들이 포함된 장면에 대한 메타 데이터 정보를 획득할 수 있다. 다만, 복호화 가능한 리딩 픽쳐임에도 불구하고 복호화되지 않거나 비디오 비트스트림에서 제거되는 경우가 있을 경우를 대비하여, 복호화 가능한 리딩 픽쳐들이 랜덤 액세스 포인트 픽쳐와 같은 장면에 속할 때, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치와 랜덤 액세스 포인트 픽쳐의 위치 모두에 메타 데이터 정보가 포함될 수 있으므로, 두 위치 모두에 기초하여 메타 데이터 정보를 획득할 수 있다. 또한, 복호화 가능한 리딩 픽쳐가 제거되는 경우, 그 픽쳐의 위치에 포함되어 있던 메타 데이터 정보가 같은 장면에 속한 랜덤 액세스 포인트 픽쳐의 위치로 옮겨질 수 있으므로, 이때는 랜덤 액세스 포인트 픽쳐의 위치에 기초하여 메타 데이터 정보를 획득할 수 있다.
한편, 비디오 데이터 처리 장치(200)는 비디오 데이터 생성 장치(100)에서 비디오 비트스트림의 소정의 위치에 메타 데이터 정보에 대한 식별 정보를 포함시켜 비디오 비트스트림을 전송한 경우, 메타 데이터 정보에 대한 식별 정보로 메타 데이터 정보의 데이터베이스에서 메타 데이터 정보를 획득할 수도 있다. 예를 들어, 메타 데이터 정보에 대한 식별 정보는 비디오 비트스트림의 각 장면에 속하는 모든 픽쳐 위치에 포함될 수 있다. 비디오 데이터 처리 장치(200)는 메타 데이터 정보에 대한 식별 정보와 매칭되는 메타 데이터 정보를 메타 데이터 정보의 데이터베이스로부터 획득할 수 있다. 메타 데이터 정보의 데이터베이스는 비디오 비트스트림이 수신되는 채널과 별개의 채널로 비디오 데이터 생성 장치(100)로부터 수신될 수 있으며, 비디오 비트스트림보다 미리 수신된 것일 수 있다.
단계 830에서, 비디오 데이터 처리 장치(200)는 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들 중 복호화된 비디오 데이터에 대해, 획득한 메타 데이터 정보에 기초하여, 비디오 처리를 수행할 수 있다.
한편, 상술한 본 발명의 실시예에 따른 부호화된 비디오 데이터 처리 방법 및 부호화된 비디오 데이터 생성 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 이와 같은 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 이와 같은 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 실시예들을 중심으로 살펴보았다. 개시된 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자는 개시된 실시예들이 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 실시예들에 따른 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 발명의 범위에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 부호화된 비디오 데이터의 비트스트림을 획득하는 단계;
    상기 비트스트림내의 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리(video processing)에 이용되는 메타 데이터 정보를 획득하는 단계; 및
    상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들 중 복호화된 비디오 데이터에 대해, 상기 메타 데이터 정보에 기초하여, 비디오 처리를 수행하는 단계;
    를 포함하는 부호화된 비디오 데이터 처리 방법.
  2. 제 1 항에 있어서,
    상기 메타 데이터 정보를 획득하는 단계는,
    상기 비트스트림의 소정의 위치에서 메타 데이터 정보에 대한 대한 식별 정보를 획득하는 단계; 및
    메타 데이터 정보의 데이터베이스로부터 상기 획득한 메타 데이터 정보에 대한 식별 정보와 매칭되는 상기 메타 데이터 정보를 획득하는 단계;
    를 포함하는, 부호화된 비디오 데이터 처리 방법.
  3. 제 2 항에 있어서,
    상기 비트스트림을 획득하는 채널과 별개의 채널을 통해 상기 메타 데이터 정보의 데이터베이스를 획득하는 단계를 더 포함하는, 부호화된 비디오 데이터 처리 방법.
  4. 제 1 항에 있어서,
    상기 메타 데이터 정보를 획득하는 단계는,
    상기 비트스트림에서 상기 랜덤 액세스 포인트 픽쳐의 위치와 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷(scene cut)의 위치에 기초하여 상기 메타 데이터 정보를 획득하는, 부호화된 비디오 데이터 처리 방법.
  5. 제 4 항에 있어서,
    상기 메타 데이터 정보를 획득하는 단계는,
    상기 랜덤 액세스 포인트 픽쳐가 복호화 가능한 리딩 픽쳐들과 같은 장면에 속하는 경우, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 기초하여, 상기 랜덤 액세스 포인트 픽쳐와 상기 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 획득하는, 부호화된 비디오 데이터 처리 방법.
  6. 제 4 항에 있어서,
    상기 메타 데이터 정보를 획득하는 단계는,
    상기 랜덤 액세스 포인트 픽쳐가 복호화 가능한 리딩 픽쳐들과 다른 장면에 속하는 경우, 상기 랜덤 액세스 포인트 픽쳐의 위치와 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 기초하여, 상기 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보와 상기 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 획득하는, 부호화된 비디오 데이터 처리 방법.
  7. 제 4 항에 있어서,
    상기 장면 컷의 위치는 각 장면에 속한 픽처들 중 디스플레이 순서상으로 첫 픽쳐의 위치에 해당하는, 부호화된 비디오 데이터 처리 방법.
  8. 비디오 데이터를 부호화하는 단계;
    랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리에 이용되는 메타 데이터 정보를 생성하는 단계; 및
    상기 메타 데이터 정보 또는 상기 메타 데이터 정보에 대한 식별 정보를 포함하는, 부호화된 비디오 데이터의 비트스트림을 생성하는 단계;
    를 포함하는 부호화된 비디오 데이터 생성 방법.
  9. 제 8 항에 있어서,
    상기 비트스트림을 생성하는 단계는,
    상기 비트스트림의 소정의 위치에 상기 메타 데이터 정보에 대한 대한 식별 정보를 포함시켜 상기 비트스트림을 생성하는, 부호화된 비디오 데이터 생성 방법.
  10. 제 9 항에 있어서,
    상기 메타 데이터 정보에 대한 식별 정보를 포함한 비트스트림과 상기 생성된 메타 데이터 정보를 포함하는 메타 데이터 정보의 데이터베이스를 별개의 채널을 통해 각각 전송하는 단계를 더 포함하는, 부호화된 비디오 데이터 생성 방법.
  11. 제 8 항에 있어서,
    상기 비트스트림을 생성하는 단계는,
    상기 랜덤 액세스 포인트 픽쳐의 위치와 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷의 위치에 상기 메타 데이터 정보를 삽입하여 상기 비트스트림을 생성하는, 부호화된 비디오 데이터 생성 방법.
  12. 제 11 항에 있어서,
    상기 비트스트림을 생성하는 단계는,
    상기 랜덤 액세스 포인트 픽쳐가 복호화 가능한 리딩 픽쳐들과 같은 장면에 속하는 경우, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 상기 랜덤 액세스 포인트 픽쳐와 상기 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 삽입하여 상기 비트스트림을 생성하는, 부호화된 비디오 데이터 생성 방법.
  13. 제 11 항에 있어서,
    상기 비트스트림을 생성하는 단계는,
    상기 랜덤 액세스 포인트 픽쳐가 복호화 가능한 리딩 픽쳐들과 다른 장면에 속하는 경우, 상기 랜덤 액세스 포인트 픽쳐의 위치에 상기 랜덤 액세스 포인트 픽쳐가 속한 장면에 대한 메타 데이터 정보를 삽입하고, 디스플레이 순서상 첫 번째 복호화 가능한 리딩 픽쳐의 위치에 상기 복호화 가능한 리딩 픽쳐들이 속한 장면에 대한 메타 데이터 정보를 삽입하여 상기 비트스트림을 생성하는, 부호화된 비디오 데이터 생성 방법.
  14. 제 11 항에 있어서,
    상기 장면 컷의 위치는 각 장면에 속한 픽처들 중 디스플레이 순서상으로 첫 픽쳐의 위치에 해당하는, 부호화된 비디오 데이터 생성 방법.
  15. 제 1 항 내지 제 14 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
  16. 부호화된 비디오 데이터의 비트스트림을 획득하는 비트스트림 획득부;
    상기 비트스트림을 복호화하는 비디오 복호화부; 및
    상기 비트스트림내의 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리에 이용되는 메타 데이터 정보를 획득하고, 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들 중 복호화된 비디오 데이터에 대해, 상기 메타 데이터 정보에 기초하여, 비디오 처리를 수행하는 비디오 처리 프로세서;
    를 포함하는 비디오 데이터 처리 장치.
  17. 제 16 항에 있어서,
    상기 비디오 처리 프로세서는,
    상기 비트스트림의 소정의 위치에서 메타 데이터 정보에 대한 대한 식별 정보를 획득하고, 메타 데이터 정보의 데이터베이스로부터 상기 획득한 메타 데이터 정보에 대한 식별 정보와 매칭되는 상기 메타 데이터 정보를 획득하는, 비디오 데이터 처리 장치.
  18. 제 16 항에 있어서,
    상기 비디오 처리 프로세서는,
    상기 비트스트림에서 상기 랜덤 액세스 포인트 픽쳐의 위치와 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷의 위치에 기초하여 상기 메타 데이터 정보를 획득하는, 비디오 데이터 처리 장치.
  19. 비디오 데이터를 부호화하고, 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 픽쳐들의 비디오 처리에 이용되는 메타 데이터 정보를 생성하는 비디오 부호화부; 및
    상기 메타 데이터 정보 또는 상기 메타 데이터 정보에 대한 식별 정보를 포함하는, 부호화된 비디오 데이터의 비트스트림을 생성을 생성하는 비트스트림 생성부;
    를 포함하는 비디오 데이터 생성 장치.
  20. 제 19 항에 있어서,
    상기 비트스트림 생성부는,
    상기 랜덤 액세스 포인트 픽쳐의 위치와 상기 랜덤 액세스 포인트 픽쳐 이후 복호화 순서를 가지는 적어도 하나의 픽쳐로 구성되는 장면의 장면 컷의 위치에 상기 메타 데이터 정보를 삽입하여 상기 비트스트림을 생성하는, 부호화된 비디오 데이터 생성 장치.
KR1020177010438A 2014-10-16 2015-10-15 부호화된 비디오 데이터 처리 방법 및 장치, 부호화된 비디오 데이터 생성 방법 및 장치 KR102370372B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462064557P 2014-10-16 2014-10-16
US62/064,557 2014-10-16
US201462077471P 2014-11-10 2014-11-10
US62/077,471 2014-11-10
PCT/KR2015/010895 WO2016060494A1 (ko) 2014-10-16 2015-10-15 부호화된 비디오 데이터 처리 방법 및 장치, 부호화된 비디오 데이터 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170072209A true KR20170072209A (ko) 2017-06-26
KR102370372B1 KR102370372B1 (ko) 2022-03-04

Family

ID=55746953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177010438A KR102370372B1 (ko) 2014-10-16 2015-10-15 부호화된 비디오 데이터 처리 방법 및 장치, 부호화된 비디오 데이터 생성 방법 및 장치

Country Status (6)

Country Link
US (2) US10542063B2 (ko)
EP (1) EP3200460A4 (ko)
JP (1) JP6776229B2 (ko)
KR (1) KR102370372B1 (ko)
CN (1) CN107005704B (ko)
WO (1) WO2016060494A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130272430A1 (en) * 2012-04-16 2013-10-17 Microsoft Corporation Constraints and unit types to simplify video random access
US20130294500A1 (en) * 2012-04-27 2013-11-07 Qualcomm Incorporated Full random access from clean random access pictures in video coding
KR20130129468A (ko) * 2011-03-10 2013-11-28 퀄컴 인코포레이티드 랜덤 액세스 이후 의존 픽쳐들을 코딩하기 위한 비디오 코딩 기술들
US20140168362A1 (en) * 2012-09-21 2014-06-19 Nokia Corporation Method and apparatus for video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030163477A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US8194997B2 (en) 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US8335259B2 (en) * 2008-03-12 2012-12-18 Packetvideo Corp. System and method for reformatting digital broadcast multimedia for a mobile device
TW201032597A (en) 2009-01-28 2010-09-01 Nokia Corp Method and apparatus for video coding and decoding
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
CN103907347B (zh) * 2011-08-31 2018-01-30 诺基亚技术有限公司 多视图视频编码和解码
WO2013075335A1 (en) * 2011-11-25 2013-05-30 Thomson Licensing Video quality assessment considering scene cut artifacts
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
CN111901599B (zh) * 2014-06-27 2024-05-14 松下知识产权经营株式会社 再现装置
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130129468A (ko) * 2011-03-10 2013-11-28 퀄컴 인코포레이티드 랜덤 액세스 이후 의존 픽쳐들을 코딩하기 위한 비디오 코딩 기술들
US20130272430A1 (en) * 2012-04-16 2013-10-17 Microsoft Corporation Constraints and unit types to simplify video random access
US20130294500A1 (en) * 2012-04-27 2013-11-07 Qualcomm Incorporated Full random access from clean random access pictures in video coding
US20140168362A1 (en) * 2012-09-21 2014-06-19 Nokia Corporation Method and apparatus for video coding

Also Published As

Publication number Publication date
JP2017536027A (ja) 2017-11-30
US11115452B2 (en) 2021-09-07
JP6776229B2 (ja) 2020-10-28
US20200137135A1 (en) 2020-04-30
EP3200460A4 (en) 2017-08-23
CN107005704A (zh) 2017-08-01
US20170244776A1 (en) 2017-08-24
EP3200460A1 (en) 2017-08-02
US10542063B2 (en) 2020-01-21
KR102370372B1 (ko) 2022-03-04
WO2016060494A1 (ko) 2016-04-21
CN107005704B (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
US11871019B2 (en) Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
US11863772B2 (en) Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
KR20170030521A (ko) 독립 랜덤 액세스 포인트 화상
US8731065B2 (en) Dynamic image stream processing method and device, and dynamic image reproduction device and dynamic image distribution device using the same
KR102370372B1 (ko) 부호화된 비디오 데이터 처리 방법 및 장치, 부호화된 비디오 데이터 생성 방법 및 장치
US9560365B2 (en) Image coding device, image decoding device, image coding method, and image decoding method
CN115668940A (zh) 基于与画面输出相关的信息的图像或视频编码

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant