KR20120027193A - 다시점 비디오 신호의 처리 방법 및 장치 - Google Patents

다시점 비디오 신호의 처리 방법 및 장치 Download PDF

Info

Publication number
KR20120027193A
KR20120027193A KR20117025900A KR20117025900A KR20120027193A KR 20120027193 A KR20120027193 A KR 20120027193A KR 20117025900 A KR20117025900 A KR 20117025900A KR 20117025900 A KR20117025900 A KR 20117025900A KR 20120027193 A KR20120027193 A KR 20120027193A
Authority
KR
South Korea
Prior art keywords
information
view
picture
random access
prediction
Prior art date
Application number
KR20117025900A
Other languages
English (en)
Other versions
KR101619451B1 (ko
Inventor
전용준
임재현
전병문
박승욱
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20120027193A publication Critical patent/KR20120027193A/ko
Application granted granted Critical
Publication of KR101619451B1 publication Critical patent/KR101619451B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Abstract

본 발명은, 랜덤 액세스 픽쳐를 포함하는 다시점 영상 비트스트림을 수신하되, 상기 랜덤 액세스 픽쳐는 랜덤 액세스 슬라이스를 포함하고, 상기 랜덤 액세스 슬라이스는 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조하는 슬라이스를 나타내는 단계; 상기 수신된 다시점 영상 비트스트림이 스테레오 영상 비트스트림임을 나타내는 식별 정보를 수신하는 단계; 상기 식별 정보에 기초하여 상기 랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되는지 여부를 나타내는 플래그 정보를 획득하는 단계; 상기 플래그 정보에 기초하여 상기 랜덤 액세스 픽쳐의 참조 픽쳐 리스트의 초기화 정보를 결정하는 단계; 상기 초기화 정보를 이용하여 상기 랜덤 액세스 픽쳐의 참조 픽쳐 리스트를 초기화하는 단계; 상기 초기화된 참조 픽쳐 리스트에 기초하여 상기 랜덤 액세스 픽쳐 내 매크로블록의 예측값을 결정하는 단계; 및 상기 매크로블록의 예측값을 이용하여 상기 매크로블록을 디코딩하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 비트스트림 처리 방법을 제공한다.

Description

다시점 비디오 신호의 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING A MULTIVIEW VIDEO SIGNAL}
본 발명은 다시점 비디오 신호의 처리에 관한 기술이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다.
비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 특징이 있다.
본 발명의 목적은 다시점 영상 신호의 처리 효율을 높이고자 함에 있다.
본 발명은 다시점 영상 비트스트림을 나타내는 프로파일 정보에 기초하여 시점간 의존 관계를 확인함으로써 보다 효율적인 다시점 영상 신호의 디코딩 방법 및 장치를 제공한다.
또한, 본 발명은 스테레오 영상을 나타내는 프로파일 정보를 정의함으로써, 보다 효율적인 스테레오 영상 신호의 디코딩 방법 및 장치를 제공한다.
또한, 본 발명은, 스테레오 영상을 나타내는 프로파일 정보에 기초하여 헤더 정보들(예를 들어, NAL 유닛 헤더 정보, 시퀀스 파라미터 정보, 픽쳐 파라미터 정보, 슬라이스 헤더 정보 등)을 정의함으로써, 보다 효율적인 다시점 영상 신호의 디코딩 방법 및 장치를 제공한다.
또한, 본 발명은, 스테레오 영상을 나타내는 프로파일 정보에 기초하여 현재 NAL 유닛의 코딩된 픽쳐가 시점간 예측에 이용되는지 여부를 나타내는 인터뷰 예측 플래그를 정의함으로써 다시점 영상 신호를 효율적으로 코딩하고자 한다.
또한, 본 발명은, 스테레오 영상을 나타내는 프로파일 정보에 기초하여 시점간의 의존 관계를 나타내는 인터뷰 참조 정보를 획득하고, 이를 이용하여 참조 픽쳐 리스트를 생성 및 관리함으로써 다시점 영상 신호를 효율적으로 코딩하고자 한다.
또한, 본 발명은, 스테레오 영상을 나타내는 프로파일 정보에 기초하여 시점간 예측에 이용되는 참조 픽쳐들을 관리하기 위한 방법을 제공함으로써 다시점 영상 신호를 효율적으로 코딩하고자 한다.
본 발명은 스테레오 영상을 나타내는 프로파일 정보를 정의함으로써 보다 효율적으로 다시점 영상 신호를 코딩할 수 있게 된다. 또한, 스테레오 영상을 나타내는 프로파일 정보에 기초하여 헤더 정보들(예를 들어, NAL 유닛 헤더 정보, 시퀀스 파라미터 정보, 픽쳐 파라미터 정보, 슬라이스 헤더 정보 등)을 정의함으로써, 전송할 비트수를 감소시킬 수 있으며 DPB(Decoded Picture Buffer)의 부담을 감소시켜 코딩 속도를 향상시킬 수도 있다. 또한, 스테레오 영상을 나타내는 프로파일 정보에 기초하여 다시점 영상에 대한 다양한 속성 정보들을 이용함으로써 보다 효율적인 코딩이 가능할 수 있다.
도 1은 본 발명이 적용되는 다시점 영상 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 실시예로서, 다시점 영상 코딩된 비트스트림에 추가될 수 있는 다시점 영상에 대한 속성 정보들을 나타낸다.
도 3은 본 발명이 적용되는 실시예로서, 랜덤 액세스 픽쳐의 개념을 설명하기 위한 다시점 영상 신호의 전체적인 예측 구조를 나타낸다.
도 4는 본 발명이 적용되는 실시예로서, 스테레오 영상의 예측 구조를 나타낸다.
도 5 내지 도 7은 본 발명이 적용되는 실시예들로서, 스테레오 영상 디코딩시 다시점 영상 코딩 정보들의 코딩을 제한하는 신택스를 나타낸다.
도 8은 본 발명이 적용되는 실시예로서, 스테레오 영상으로 코딩된 비트스트림의 인터뷰 참조 정보를 이용하여 디코딩하는 과정의 흐름도를 나타낸다.
[발명의 실시를 위한 최선의 형태]
본 발명은, 랜덤 액세스 픽쳐를 포함하는 다시점 영상 비트스트림을 수신하되, 상기 랜덤 액세스 픽쳐는 랜덤 액세스 슬라이스를 포함하고, 상기 랜덤 액세스 슬라이스는 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조하는 슬라이스를 나타내는 단계; 상기 수신된 다시점 영상 비트스트림이 스테레오 영상 비트스트림임을 나타내는 식별 정보(STEREO PROFILE)를 수신하는 단계; 상기 식별 정보에 기초하여 상기 랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되는지 여부를 나타내는 플래그 정보를 획득하는 단계; 상기 플래그 정보에 기초하여 상기 랜덤 액세스 픽쳐의 참조 픽쳐 리스트의 초기화 정보를 결정하는 단계; 상기 초기화 정보를 이용하여 상기 랜덤 액세스 픽쳐의 참조 픽쳐 리스트를 초기화하는 단계; 상기 초기화된 참조 픽쳐 리스트에 기초하여 상기 랜덤 액세스 픽쳐 내 매크로블록의 예측값을 결정하는 단계; 및 상기 매크로블록의 예측값을 이용하여 상기 매크로블록을 디코딩하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 비트스트림 처리 방법을 제공한다.
또한, 본 발명에서, 상기 플래그 정보는 복수개의 시점들 간의 디코딩 순서를 나타내는 값에 기초하여 획득되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 초기화 정보는 참조 시점의 시점 식별 정보와 참조 시점의 개수 정보를 포함하는 것을 특징으로 한다.
또한, 본 발명에서, 상기 플래그 정보에 따라 상기 랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되지 않는 경우, 상기 참조 시점의 시점 식별 정보는 먼저 디코딩된 시점의 시점 식별 정보로 설정되고, 상기 참조 시점의 개수 정보는 하나임을 나타내는 값으로 설정되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 플래그 정보는 시퀀스 헤더의 확장 영역으로부터 획득되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 다시점 영상 비트스트림은 기준 시점과 비-기준 시점의 영상 데이터를 포함하며, 상기 기준 시점은 다른 시점을 참조하지 않고 독립적으로 디코딩 가능한 시점을 나타내고, 상기 비-기준 시점은 상기 기준 시점이 아닌 시점을 나타내며, 상기 매크로블록은 상기 비-기준 시점에 해당하는 것을 특징으로 한다.
또한, 본 발명은, 다시점 영상 비트스트림이 스테레오 영상 비트스트림임을 나타내는 식별 정보를 수신하고, 상기 식별 정보에 기초하여 상기 랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되는지 여부를 나타내는 플래그 정보를 획득하는 엔트로피 디코딩부; 상기 플래그 정보에 기초하여 상기 렌덤 액세스 픽쳐의 참조 픽쳐 리스트의 초기화 정보를 결정하고, 상기 초기화 정보를 이용하여 상기 랜덤 액세스 픽쳐의 참조 픽쳐 리스트를 초기화하는 복호 픽쳐 버퍼부; 상기 초기화된 참조 픽쳐 리스트에 기초하여 상기 랜덤 액세스 픽쳐 내 매크로블록의 예측값을 결정하고, 상기 매크로블록의 예측값을 이용하여 상기 매크로블록을 디코딩하는 인터 예측부를 포함하되, 상기 다시점 영상 비트스트림은 랜덤 액세스 슬라이스로 구성된 랜덤 액세스 픽쳐를 포함하고, 상기 랜덤 액세스 슬라이스는 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조하는 슬라이스를 나타내는 것을 특징으로 하는 다시점 영상 비트스트림 처리 장치를 제공한다.
[발명의 실시를 위한 형태]
비디오 신호 데이터를 압축 부호화하는 기술은 공간적 중복성, 시간적 중복성, 스케일러블한 중복성, 시점간 존재하는 중복성을 고려하고 있다.
또한, 이러한 압축 부호화 과정에서 시점 간 존재하는 상호 중복성을 고려하여 압축 코딩을 할 수 있다. 시점간 중복성을 고려하는 압축 코딩에 대한 기술은 본 발명의 실시예일 뿐이며, 본 발명의 기술적 사상은 시간적 중복성, 스케일러블한 중복성 등에도 적용될 수 있다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
비디오 신호의 비트열 구성을 살펴보면, 동영상 부호화 처리 그 자체를 다루는 VCL(Video Coding Layer, 비디오 부호화 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 NAL(Network Abstraction Layer, 네트워크 추상 계층)이라는 분리된 계층 구조로 정의되어 있다.
부호화 과정의 출력은 VCL 데이터이고 전송하거나 저장하기 전에 NAL 단위로 맵핑된다. 각 NAL 단위는 압축된 비디오 데이터 또는 헤더 정보에 해당하는 데이터인 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)를 포함한다.
NAL 단위는 기본적으로 NAL헤더와 RBSP의 두 부분으로 구성된다. NAL 헤더에는 그 NAL 단위의 참조픽처가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보(nal_ref_idc)와 NAL 단위의 종류를 나타내는 식별자(nal_unit_type)가 포함되어 있다. RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP 의 길이를 8비트의 배수로 표현하기 위해 RBSP 의 마지막에 RBSP 채워넣기 비트(RBSP trailing bit)를 첨가한다. 이러한 NAL 단위의 종류에는 IDR (Instantaneous Decoding Refresh, 순간 복호 리프레쉬) 픽쳐, SPS (Sequence Parameter Set, 시퀀스 파라미터 세트), PPS (Picture Parameter Set, 픽쳐 파라미터 세트), SEI (Supplemental Enhancement Information, 보충적 부가정보) 등이 있다.
또한, 규격에서는 대상 제품을 적당한 비용으로 구현 가능하도록 여러 가지 프로파일 및 레벨로 제약하고 있는데, 복호기는 해당 프로파일과 레벨에서 정해진 제약을 만족시켜야 한다. 이처럼 복호기가 어떤 압축 영상의 범위까지 대응할 수 있는지 그 기능 또는 파라미터를 나타내기 위해 프로파일과 레벨이라는 두 가지의 개념이 정의되었다. 비트스트림이 어떤 프로파일에 기초하는 것인가는 프로파일 식별자(profile_idc)로 식별할 수 있다. 프로파일 식별자란, 비트스트림이 기반을 둔 프로파일을 나타내는 플래그를 의미한다. 예를 들어, H.264/AVC 에서는 프로파일 식별자가 66 이면 베이스라인 프로파일에 기초함을 의미하고, 77 이면 메인 프로파일에 기초함을 의미하며, 88 이면 확장 프로파일에 기초함을 의미한다. 또한, 상기 프로파일 식별자는 입력된 비트스트림이 어떠한 종류의 데이터로 코딩되었는지를 나타내는 식별 정보를 의미할 수도 있다. 예를 들어, 다시점 영상 코딩된 비트스트림인지를 나타내거나, 스테레오 영상 코딩된 비트스트림인지를 나타낼 수 있다. 상기 프로파일 식별자는 시퀀스 파라미터 세트에 포함될 수 있다.
따라서, 다시점(multiview) 영상을 다루기 위해서는 입력되는 비트스트림이 다시점 프로파일(Multiview Profile) 또는 스테레오 프로파일(STEREO PROFILE)에 대한 것인지 여부를 식별하고, 다시점 프로파일로 식별되면 다시점에 대한 하나 이상의 추가 정보를 전송할 수 있도록 신택스를 추가하고, 스테레오 프로파일로 식별되면 스테레오 영상을 위한 신택스를 전송하거나 스테레오 영상 코딩시 필요없는 다른 신택스의 전송을 제한할 수 있다. 여기서 다시점 프로파일이란, H.264/AVC의 추가 기술로서 다시점 비디오(multiview video)를 다루는 프로파일 모드(profile mode)를 나타낸다. MVC는 기존 AVC 기술에 대한 추가 기술이므로 무조건적인 신택스보다는 MVC 모드인 경우에 대한 추가 정보로서 신택스를 추가하는 것이 더 효율적일 수 있다. 예를 들어, AVC의 프로파일 식별자가 다시점 프로파일을 나타낼 때 다시점 영상에 대한 정보를 추가하면 부호화 효율을 높일 수 있다. 또한, 스테레오 프로파일이란, H.264/AVC의 추가 기술로서 2개 시점의 영상을 다루는 프로파일 모드를 나타낸다. 상기 스테레오 프로파일의 경우 인터레이스 코딩을 지원할 수 있다.
시퀀스 파라미터 세트란, 프로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐있는 정보가 포함되어 있는 헤더 정보를 말한다. 압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 그 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 결국, 시퀀스 파라미터 세트 RBSP 는 동영상 압축의 결과 데이터에 대한 헤더 정보로써의 역할을 한다.
비트스트림이 입력되면, 먼저 프로파일 식별자는 입력된 비트스트림이 복수개의 프로파일 중에서 어떤 프로파일에 기초하는 것인지를 식별하게 된다. 따라서, 입력되는 비트스트림이 다시점 프로파일에 대한 것인지 여부를 판단하는(예를 들어, " If ( profile_idc == MULTI_VIEW_PROFILE )") 부분을 신택스 상에 추가함으로써, 입력된 비트스트림이 다시점 프로파일에 대한 것인지 여부를 판별하고, 다시점 프로파일에 대한 것으로 인정되는 경우에만 여러 가지 속성 정보들을 추가할 수 있게 된다. 예를 들어, 전체 시점의 개수, 인터뷰 참조 픽쳐의 개수, 인터뷰 참조 픽쳐의 시점 식별 번호 등을 추가할 수 있다. 또한, 복호 픽쳐 버퍼에서는 참조 픽쳐 리스트를 생성 및 관리하기 위하여 인터뷰 참조 픽쳐에 대한 정보들을 이용할 수 있다.
도 1은 본 발명이 적용되는 다시점 영상 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
상기 디코딩 장치는 크게 엔트로피 디코딩부(100), 역양자화부(200), 역변환부(300), 인트라 예측부(400), 디블록킹 필터부(500), 복호 픽쳐 버퍼부(600), 인터 예측부(700) 등을 포함한다. 그리고, 복호 픽쳐 버퍼부(600)는 참조 픽쳐 리스트 초기화부(610)와 참조 픽쳐 리스트 수정부(620)를 포함한다.
먼저, 수신된 다시점 영상 신호를 복호하기 위하여 NAL 단위로 파싱을 수행한다. 일반적으로 하나 또는 그 이상의 시퀀스 파라미터 셋과 픽쳐 파라미터 셋이 슬라이스 헤더와 슬라이스 데이터가 디코딩되기 전에 디코더로 전송된다. 이 때 NAL 헤더 영역 또는 NAL 헤더의 확장 영역에는 여러 가지 속성 정보가 포함될 수 있다. MVC는 기존 AVC 기술에 대한 추가 기술이므로 무조건적으로 추가하기보다는 MVC 비트스트림인 경우에 한해 여러 가지 속성 정보들을 추가하는 것이 더 효율적일 수 있다. 예를 들어, 상기 NAL 헤더 영역 또는 NAL 헤더의 확장 영역에서 MVC 비트스트림인지 여부를 식별할 수 있는 플래그 정보를 추가할 수 있다. 상기 플래그 정보에 따라 입력된 비트스트림이 다시점 영상 코딩된 비트스트림일 경우에 한해 다시점 영상에 대한 속성 정보들을 추가할 수 있다. 예를 들어, 상기 속성 정보들은 시점 식별(view identification) 정보, 랜덤 액세스 플래그 정보(random access flag Information), 인터뷰 예측 플래그 정보(inter-view prediction flag information), 시간적 레벨(temporal level) 정보, 우선순위 식별(priority identification) 정보, 시점에 대한 순간 복호 픽쳐인지 여부를 나타내는 식별 정보 등을 포함할 수 있다. 이는 도 2에서 상세히 설명하도록 한다.
도 2는 본 발명이 적용되는 실시예로서, 다시점 영상 코딩된 비트스트림에 추가될 수 있는 다시점 영상에 대한 속성 정보들을 나타낸다.
상기 도 2에서는 다시점 영상에 대한 속성 정보들이 추가될 수 있는 NAL 단위의 구성의 일례를 나타낸다. 크게 NAL 유닛은 NAL 유닛의 헤더와 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)로 구성될 수 있다. 그리고, NAL 유닛의 헤더에서는 NAL 유닛이 참조 픽쳐의 슬라이스를 포함하고 있는지 여부를 나타내는 식별 정보(nal_ref_idc)와 NAL 유닛의 타입을 나타내는 정보(nal_unit_type)를 포함할 수 있다. 또한, 제한적으로 상기 NAL 유닛 헤더의 확장 영역도 포함할 수 있다. 예를 들어, 상기 NAL 유닛의 타입을 나타내는 정보가 스케일러블 비디오 코딩과 관련이 있는 경우, 또는 prefix NAL 유닛을 나타내는 경우에, 상기 NAL 유닛은 상기 NAL 유닛 헤더의 확장 영역도 포함할 수 있다. 구체적 예로, 상기 nal_unit_type = 20 또는 14일때 상기 NAL 유닛은 상기 NAL 유닛 헤더의 확장 영역도 포함할 수 있다. 또한, 상기 NAL 유닛 헤더의 확장 영역 내에서는, MVC 비트스트림인지 여부를 식별할 수 있는 플래그 정보(svc_mvc_flag)에 따라 다시점 영상에 대한 속성 정보들을 추가할 수 있다.
또 다른 예로, 상기 NAL 유닛의 타입을 나타내는 정보가 시퀀스 파라미터 세트를 나타내는 정보일 경우, 상기 RBSP는 시퀀스 파라미터 세트에 대한 정보를 포함할 수 있다. 구체적 예로, nal_unit_type = 7 일 경우, 상기 RBSP는 시퀀스 파라미터 세트에 대한 정보를 포함할 수 있다. 이 때, 프로파일 정보에 따라 상기 시퀀스 파라미터 세트는 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 예를 들어, 프로파일 정보(profile_idc)가 다시점 영상 코딩에 관련된 프로파일 또는 스테레오 영상 코딩에 관한 프로파일인 경우, 상기 시퀀스 파라미터 세트는 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 또는 프로파일 정보에 따라 서브셋 시퀀스 파라미터 세트가 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 상기 시퀀스 파라미터 세트의 확장 영역은 시점간 의존 관계를 나타내는 인터뷰 참조 정보를 포함할 수 있다.
이하 다시점 영상에 대한 다양한 속성 정보들, 예를 들어, NAL 유닛 헤더의 확장 영역에 포함될 수 있는 속성 정보들, 또는 시퀀스 파라미터 세트의 확장 영역에 포함될 수 있는 속성 정보들에 대해 구체적으로 살펴보도록 한다.
먼저 시점 식별 정보(view identification information)란, 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위한 정보를 말한다.
비디오 영상 신호가 코딩될 때, 각각의 픽쳐를 식별하기 위하여 POC(Picture Order Count)와 frame_num 이 이용된다. 다시점 영상인 경우에는 시점간 예측이 수행되기 때문에 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위한 식별 정보가 필요하다. 따라서, 픽쳐의 시점을 식별하는 시점 식별 정보를 정의할 필요가 있다. 상기 시점 식별 정보는 비디오 신호의 헤더 영역으로부터 획득될 수 있다.
예를 들어, 상기 헤더 영역은 NAL 헤더 영역 또는 NAL 헤더의 확장 영역일 수도 있고, 슬라이스 헤더 영역일 수도 있다. 상기 시점 식별 정보를 이용하여 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 획득하고, 상기 다른 시점에 있는 픽쳐의 정보를 이용하여 상기 비디오 신호를 디코딩할 수 있다. 이러한 상기 시점 식별 정보는 비디오 신호의 인코딩/디코딩 과정 전반에 걸쳐 적용될 수 있다. 예를 들어, 시점 식별 정보는 시점간 의존 관계를 나타내기 위해 이용될 수 있다. 시점간 의존 관계를 나타내기 위해서는 인터뷰 참조 픽쳐의 개수 정보, 인터뷰 참조 픽쳐의 시점 식별 정보 등이 필요할 수 있다. 상기 인터뷰 참조 픽쳐의 개수 정보, 인터뷰 참조 픽쳐의 시점 식별 정보처럼, 시점관 의존 관계를 나타내기 위해 이용되는 정보들을 인터뷰 참조 정보(inter-view reference information)라 부르기로 한다. 이때, 상기 인터뷰 참조 픽쳐의 시점 식별 정보를 나타내기 위해 상기 시점 식별 정보가 이용될 수 있다. 여기서, 인터뷰 참조 픽쳐란, 현재 픽쳐에 대해 시점간 예측을 수행할 때 이용되는 참조 픽쳐를 의미할 수 있다. 또한, 특정한 시점 식별자가 아닌, 시점이 고려된 frame_num을 이용하여 다시점 비디오 코딩에 그대로 적용할 수도 있다.
랜덤 액세스 플래그 정보란, 현재 NAL 유닛의 코딩된 픽쳐가 랜덤 액세스 픽쳐인지 여부를 식별하는 정보를 말한다. 그리고, 랜덤 액세스 픽쳐(random access picture)라 함은, 모든 슬라이스들이 동일 시간대의 프레임에 있는 슬라이스만을 참조하는 부호화된 픽쳐를 의미한다. 예를 들어, 다른 시점에 있는 슬라이스만을 참조하고 현재 시점에 있는 슬라이스는 참조하지 않는 부호화된 픽쳐를 말한다. 다시점 영상의 복호화 과정에 있어서, 시점 간의 랜덤 액세스는 가능할 수 있다. 또한, 시점간 예측을 위해서는 인터뷰 참조 정보가 필요한데, 상기 인터뷰 참조 정보를 획득할 때, 랜덤 액세스 플래그 정보가 이용될 수 있다. 예를 들어, 현재 픽쳐가 랜덤 액세스 픽쳐에 해당되는 경우, 랜덤 액세스 픽쳐에 대한 인터뷰 참조 정보를 획득할 수 있다. 현재 픽쳐가 넌-랜덤 액세스 픽쳐에 해당되는 경우에는 넌-랜덤 액세스 픽쳐에 대한 인터뷰 참조 정보를 획득할 수 있다.
이처럼, 랜덤 액세스 플래그 정보에 기초하여 인터뷰 참조 정보를 획득하게 될 경우, 보다 효율적으로 시점 간의 랜덤 액세스를 수행할 수 있게 된다.
이는 랜덤 액세스 픽쳐에서의 각 픽쳐들 사이의 시점간 참조 관계가 넌-랜덤 액세스 픽쳐에서의 시점간 참조 관계가 다를 수 있기 때문이다. 또한, 랜덤 액세스 픽쳐의 경우 복수개의 시점에 있는 픽쳐들을 참조할 수도 있기 때문이다. 예를 들어, 복수개의 시점에 있는 픽쳐로부터 가상 시점의 픽쳐를 생성하고, 상기 가상 시점의 픽쳐를 이용하여 현재 픽쳐를 예측할 수 있다.
또한, 참조 픽쳐 리스트를 생성할 때 상기 랜덤 액세스 플래그 정보가 이용될 수도 있다. 이때 상기 참조 픽쳐 리스트는 시점간 예측을 위한 참조 픽쳐 리스트를 포함할 수 있다. 그리고, 상기 시점간 예측을 위한 참조 픽쳐 리스트는 상기 참조 픽쳐 리스트에 추가될 수 있다. 예를 들어, 참조 픽쳐 리스트를 초기화하는 경우나 상기 참조 픽쳐 리스트를 수정하는 경우에 상기 랜덤 액세스 플래그 정보가 이용될 수 있다. 그리고, 추가된 상기 시점간 예측을 위한 참조 픽쳐들을 관리하기 위해서도 이용될 수 있다.
예를 들어, 상기 참조 픽쳐들을 랜덤 액세스 픽쳐와 넌-랜덤 액세스 픽쳐로 나누고, 시점간 예측을 수행할 때 이용되지 않는 참조 픽쳐들은 사용하지 않겠다는 마킹을 할 수 있다. 또한, 상기 랜덤 액세스 플래그 정보는 가상 참조 디코더(hypothetical reference decoder)에서도 적용될 수 있다.
인터뷰 예측 플래그 정보(inter-view prediction flag Information)란, 현재 NAL 유닛의 코딩된 픽쳐가 시점간 예측을 위해 이용되는지 여부를 나타내는 정보를 말한다. 상기 인터뷰 예측 플래그 정보는 시간적 예측 또는 시점간 예측이 수행되는 부분에서 이용될 수 있다. 이때, NAL 유닛이 참조 픽쳐의 슬라이스를 포함하고 있는지 여부를 나타내는 식별 정보와 함께 이용될 수 있다. 예를 들어, 상기 식별 정보에 따라 현재 NAL 유닛이 참조 픽쳐의 슬라이스를 포함하고 있지는 않지만 시점간 예측을 위해 이용되는 경우에, 상기 현재 NAL 유닛은 시점간 예측에만 이용되는 참조 픽쳐일 수 있다. 또는, 상기 식별 정보에 따라 현재 NAL 유닛이 참조 픽쳐의 슬라이스를 포함하고 시점간 예측을 위해 이용되는 경우에, 상기 현재 NAL 유닛은 시간적 예측과 시점간 예측을 위해 이용될 수 있다. 또한, 상기 식별 정보에 따라 NAL 유닛이 참조 픽쳐의 슬라이스를 포함하고 있지 않더라도, 복호 픽쳐 버퍼에 저장될 수 있다. 왜냐하면, 상기 인터뷰 예측 플래그 정보에 따라 현재 NAL 유닛의 코딩된 픽쳐가 시점간 예측을 위해 이용되는 경우에는 저장해야 될 필요가 있기 때문이다.
상기 플래그 정보와 식별 정보를 함께 이용하는 경우 외에, 하나의 식별 정보로서 현재 NAL 유닛의 코딩된 픽쳐가 시간적 예측 또는/및 시점간 예측을 위해 이용되는지 여부를 나타낼 수도 있다.
또한, 상기 인터뷰 예측 플래그 정보는 싱글 루프 디코딩 과정에서 이용될 수도 있다. 상기 인터뷰 예측 플래그 정보에 따라 현재 NAL 유닛의 코딩된 픽쳐가 시점간 예측을 위해 이용되지 않는 경우 부분적으로 디코딩을 수행할 수 있다. 예를 들어, 인트라 매크로블록은 완전히 디코딩을 수행하고, 인터 매크로블록은 레지듀얼 정보만 디코딩을 수행할 수 있다.
이로써 디코딩 장치의 복잡도를 감소시킬 수 있다. 이는 사용자가 모든 시점의 영상을 보지 않고 어느 특정 시점의 영상만을 볼 때, 다른 시점들 중 특별히 움직임 보상을 수행하여 영상을 복원할 필요가 없는 경우에 효율적일 수 있다.
본 발명의 일실시예로서, 도 3의 그림을 이용하여 설명해보도록 한다. 예를 들어, 도 3에서 일부분만 볼 때, 코딩하는 순서는 S0, S2, S1 순서일 수 있다. 현재 코딩하고자 하는 픽쳐를 S1 시점의 T2 시간대에 있는 B3 픽쳐라고 하자. 이때 시점간 예측을 위해 S0 시점의 T2 시간대에 있는 B2 픽쳐와, S2 시점의 T2시간대에 있는 B2 픽쳐를 이용할 수 있다. 만약 S0 시점의 T2 시간대에 있는 B2 픽쳐가 시점간 예측에 이용된다면 상기 인터뷰 예측 플래그 정보가 1로 셋팅될 수 있다. 그리고, 만약 시점간 예측에 이용되지 않는다면 0으로 셋팅될 수 있다. 이때 S0 시점에 있는 모든 슬라이스의 인터뷰 예측 플래그 정보가 0이 된다면 상기 S0 시점의 모든 슬라이스를 디코딩할 필요가 없게 될 수 있다. 따라서, 코딩 효율을 높일 수 있게 된다.
또 다른 예로서, 만약 S0 시점에 있는 모든 슬라이스의 인터뷰 예측 플래그 정보가 0이 아니라면, 즉 하나라도 1로 셋팅된 경우가 있다면, 0으로 셋팅된 슬라이스라 할지라도 반드시 디코딩을 해야 한다. 만약 S0 시점의 T2 시간대에 있는 B2 픽쳐가 현재 픽쳐의 디코딩에 이용되지 않아 상기 인터뷰 예측 플래그 정보를 0으로 셋팅하고 디코딩을 수행하지 않는다고 가정하면, S0 시점에 있는 슬라이스들을 디코딩할 때 상기 S0 시점의 T2 시간대에 있는 B2 픽쳐를 참조 픽쳐로 사용하는 S0 시점의 T1 시간대에 있는 B3 픽쳐와 S0 시점의 T3 시간대에 있는 B3 픽쳐는 복원할 수 없게 되기 때문이다. 따라서 상기 인터뷰 예측 플래그 정보에 상관없이 반드시 복원해야만 한다.
또 다른 예로서, 상기 인터뷰 예측 플래그 정보는 복호 픽쳐 버퍼(Decoded Picture Buffer, DPB)에 사용될 수 있다. 만약, 상기 인터뷰 예측 플래그 정보가 없다면 상기 복호 픽쳐 버퍼에 무조건 상기 S0 시점의 T2 시간대에 있는 B2 픽쳐 등을 저장해 두어야 한다. 그러나, 상기 인터뷰 예측 플래그 정보가 0이라는 것를 알 수 있다면 상기 S0 시점의 T2 시간대에 있는 B2 픽쳐는 상기 복호 픽쳐 버퍼에 저장 하지 않을 수 있다. 따라서, 복호 픽쳐 버퍼의 메모리를 절약할 수 있게 된다.
시간적 레벨 정보(temporal level information)란, 비디오 신호로부터 시간적 확장성을 제공하기 위한 계층적인 구조에 대한 정보를 말한다.
이러한 시간적 레벨 정보를 통해 사용자에게 다양한 시간대의 영상을 제공할 수 있게 된다. 우선순위 식별(priority identification) 정보란, NAL 유닛의 우선순위를 식별해주는 정보를 의미한다. 이를 이용하여 시점 확장성을 제공할 수 있다. 예를 들어, 상기 우선순위 식별 정보를 이용하여 시점 레벨 정보를 정의할 수 있다. 여기서, 시점 레벨 정보란, 비디오 신호로부터 시점 확장성을 제공하기 위한 계층적인 구조에 대한 정보를 말한다. 다시점 영상에서는 사용자에게 다양한 시간 및 시점의 영상을 제공하도록 하기 위해 시간 및 시점에 대한 레벨을 정의해 줄 필요가 있다.
이처럼 레벨 정보를 정의할 경우, 시간 및 시점에 대한 확장성(scalability)을 이용할 수 있게 된다. 따라서, 사용자는 원하는 시간 및 시점의 영상만을 볼 수도 있고, 다른 제한 조건에 따른 영상만을 볼 수 있게 된다. 상기 레벨 정보는 그 기준 조건에 따라 다양한 방법으로 다르게 설정될 수 있다. 예를 들어, 카메라의 위치에 따라 다르게 설정될 수 있고, 카메라의 배열 형태에 따라 다르게 설정될 수 있다. 또한, 상기 레벨 정보는 인터뷰 참조 정보를 고려하여 결정될 수도 있는데, 예를 들어, 랜덤 액세스 픽쳐가 I픽쳐인 시점에는 레벨을 0으로 할당하고, 랜덤 액세스 픽쳐가 P픽쳐인 시점에는 레벨을 1로 할당하고, 랜덤 액세스 픽쳐가 B픽쳐인 시점에는 레벨을 2로 할당할 수 있다. 이처럼 상기 레벨값을 상기 우선순위 정보에 할당할 수도 있을 것이다. 또한, 상기 레벨 정보는 특별한 기준에 의하지 않고 임의로 설정될 수도 있다.
파싱된 비트스트림은 엔트로피 디코딩부(100)를 통하여 엔트로피 디코딩되고, 각 매크로브록의 계수, 움직임 벡터 등이 추출된다.
역양자화(200)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 역변환부(300)에서는 상기 계수값을 역변환하여 화소값을 복원하게 된다. 상기 복원된 화소값을 이용하여 인트라 예측부(400)에서는 현재 픽쳐 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다. 한편, 디블록킹 필터부(500)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장된다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 P0C(Picture Order Count)를 이용하게 된다. 따라서, MVC에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 픽쳐와 다른 시점에 있는 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 픽쳐의 시점을 식별하는 시점 정보도 함께 이용할 수 있다. 상기 복호 픽쳐 버퍼부(600)는 현재 픽쳐의 코딩을 위해 참조가 되는 픽쳐들을 저장하고, 화면간 예측을 위한 참조 픽쳐들의 리스트를 생성하게 된다. 다시점 비디오 코딩에 있어서는 시점간 예측이 이루어질 수 있으므로 현재 픽쳐가 다른 시점에 있는 픽쳐를 참조하게 되는 경우, 시점간 예측을 위한 참조 픽쳐 리스트를 생성할 필요가 있을 수 있다. 또한, 시간적 예측 및 시점간 예측을 모두 하기 위한 참조 픽쳐 리스트를 생성할 수도 있다. 예를 들어, 현재 픽쳐가 대각선 방향에 있는 픽쳐를 참조하는 경우에, 대각선 방향의 참조 픽쳐 리스트를 생성할 수도 있다. 이때, 상기 대각선 방향의 참조 픽쳐 리스트를 생성하는 방법에는 여러 가지가 있을 수 있다. 예를 들어, 참조 픽쳐 리스트를 식별하는 정보(ref_list_idc)를 정의할 수 있다. ref_list_idc = 0 이면, 시간적 예측을 위한 참조 픽쳐 리스트를 나타내고, 1이면, 시점간 예측을 위한 참조 픽쳐 리스트, 2이면, 시간적 예측 및 시점간 예측을 위한 참조 픽쳐 리스트를 나타낼 수 있다.
또한, 상기 대각선 방향의 참조 픽쳐 리스트는 상기 시간적 예측을 위한 참조 픽쳐 리스트 또는 상기 시점간 예측을 위한 참조 픽쳐 리스트를 이용하여 생성할 수도 있다. 예를 들어, 시간적 예측을 위한 참조 픽쳐 리스트에 대각선 방향에 있는 참조 픽쳐들을 배열시킬 수 있다. 또는 시점간 예측을 위한 참조 픽쳐 리스트에 대각선 방향에 있는 참조 픽쳐들을 배열시킬 수도 있다. 이처럼, 다양한 방향에 대한 리스트를 생성할 경우 보다 효율적인 코딩이 가능할 수 있다. 본 명세서에서는 상기 시간적 예측을 위한 참조 픽쳐 리스트와 상기 시점간 예측을 위한 참조 픽쳐 리스트에 대해서 주로 설명하지만, 본 발명의 컨셉은 대각선 방향의 참조 픽쳐 리스트에도 적용될 수 있다.
상기 복호 픽쳐 버퍼부(600)는 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위하여 시점에 대한 정보를 이용할 수 있다. 예를 들어, 인터뷰 참조 정보(inter-view reference information)를 이용할 수 있다. 인터뷰 참조 정보란, 시점관 의존 관계를 나타내기 위해 이용되는 정보들을 말한다.
예를 들어, 전체 시점의 개수, 시점 식별 번호, 인터뷰 참조 픽쳐의 개수, 인터뷰 참조 픽쳐의 시점 식별 번호 등이 있을 수 있다.
상기 복호 픽쳐 버퍼부(600)는 변수 유도부(미도시), 참조 픽쳐 리스트 초기화부(610) 및 참조 픽쳐 리스트 수정부(620)을 포함한다. 변수 유도부(미도시)는 참조 픽쳐 리스트 초기화에 사용되는 변수들을 유도한다.
예를 들어, 픽쳐의 식별 번호를 나타내는 frame_num 을 이용하여 상기 변수를 유도할 수 있다. 구체적 예로, 각각의 단기 참조 픽쳐에는 변수 FrameNum과 변수 FrameNumWrap 이 이용될 수 있다. 먼저 상기 변수 FrameNum은 신택스 요소인 frame_num 값과 같다. 그리고, 상기 변수 FrameNumWrap은 상기 복호 픽쳐 버퍼부(600)에서 참조 픽쳐마다 작은 번호를 할당해주기 위하여 이용될 수 있으며, 상기 변수 FrameNum으로부터 유도될 수 있다. 이렇게 유도된 상기 변수 FrameNumWrap 을 이용하여 변수 PicNum 을 유도할 수 있다. 여기서 변수 PicNum은 상기 복호 픽쳐 버퍼부(600)에서 사용되는 픽쳐의 식별 번호를 의미할 수 있다. 장기 참조 픽쳐를 나타내는 경우에는 변수 LongTermPicNum이 이용될 수 있다.
또한, 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위해서는 상기 인터뷰 참조 정보를 이용하여 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위한 제 1 변수(예를 들어, ViewNum)를 유도할 수 있다. 예를 들어, 픽쳐의 시점을 식별해주는 view_id 를 이용하여 상기 제 2 변수(예를 들어, ViewId)를 유도할 수 있다. 먼저 상기 제 2 변수는 신택스 요소인 상기 view_id 값과 같을 수 있다. 그리고, 제 3 변수(예를 들어, ViewIdWrap)는 상기 복호 픽쳐 버퍼부(600)에서 참조 픽쳐마다 작은 시점 식별 번호를 할당해주기 위하여 이용될 수 있으며, 상기 제 2 변수로부터 유도될 수 있다. 여기서 상기 제 1 변수(ViewNum)는 상기 복호 픽쳐 버퍼부(600)에서 사용되는 인터뷰 참조 픽쳐의 시점 식별 번호를 의미할 수 있다. 다만, 다시점 비디오 코딩에서는 시간적 예측에 이용되는 참조 픽쳐의 수에 비해 시점간 예측에 이용되는 참조 픽쳐의 수가 상대적으로 작을 수 있으므로, 장기 참조 픽쳐의 시점 식별 번호를 표시하기 위한 별도의 변수를 정의하지 않을 수 있다.
참조 픽쳐 리스트 초기화부(610)는 상기 변수들을 이용하여 참조 픽쳐 리스트를 초기화한다. 이때 참조 픽쳐 리스트의 초기화 과정은 슬라이스 타입에 따라 그 방식이 달라질 수 있다. 예를 들어, P슬라이스를 디코딩할 경우에는 디코딩 순서에 기초하여 참조 픽쳐 번호를 할당할 수 있으며, B슬라이스를 디코딩할 경우에는 픽쳐 출력 순서에 기초하여 참조 픽쳐 번호를 할당할 수 있다. 또한, 시점간 예측을 위한 참조 픽쳐 리스트를 초기화할 경우에는 상기 제 1 변수, 즉 인터뷰 참조 픽쳐의 시점 식별 정보로부터 유도된 변수에 기초하여 참조 픽쳐에 번호를 할당할 수 있다.
이 때 상기 참조 픽쳐 리스트는 인터뷰 참조 픽쳐 그룹과 넌-인터뷰 참조 픽쳐 그룹을 구분하여 생성될 수 있다.
참조 픽쳐 리스트 수정부(620)는 초기화된 참조 픽쳐 리스트에서 빈번하게 참조된 픽쳐에 더 작은 번호를 할당함으로써 압축률을 향상시키는 역할을 수행한다. 참조 픽쳐를 지정하는 참조 픽쳐 번호는 블록단위로 부호화되는데, 참조 픽쳐 번호의 부호화를 위한 참조 픽쳐 번호가 작을수록 작은 비트수의 부호가 할당되기 때문이다. 이 때 시점간 예측을 위한 참조 픽쳐 리스트를 수정하기 위하여 인터뷰 참조 정보가 이용될 수 있다. 예를 들어, 상기 참조 픽쳐 리스트를 수정하는 과정에서 인터뷰 참조 픽쳐의 개수 정보가 이용될 수 있다.
참조 픽쳐 관리부(미도시)는 보다 유연하게 화면간 예측을 실현하기 위하여 참조 픽쳐를 관리한다. 예를 들어, 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method)이 이용될 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 다시점 비디오 코딩에 있어서, 시점 방향의 픽쳐들은 픽쳐 출력 순서(Picture Order Count)가 동일하기 때문에 이들의 마킹을 위해서는 각 픽쳐의 시점을 식별해주는 정보가 이용될 수 있다. 이러한 과정을 통해 관리되는 참조 픽쳐들은 인터 예측부(700)에서 이용될 수 있다.
인터 예측부(700)에서는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐를 이용하여 화면간 예측을 수행한다. 인터 코딩된 매크로블록은 매크로블록 파티션으로 나누어질 수 있으며, 각 매크로블록 파티션은 하나 또는 두개의 참조 픽쳐로부터 예측될 수 있다. 상기 인터 예측부(700)에서는 엔트로피 디코딩부(100)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 블록의 움직임 벡터 예측값을 획득한다. 상기 획득된 움직임 벡터 예측값과 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다. 다시점 비디오 코딩에 있어서, 현재 픽쳐가 다른 시점에 있는 픽쳐들을 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(600)에 저장되어 있는 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 움직임 보상을 수행할 수 있다. 또한, 그 픽쳐의 시점을 식별하는 시점 정보를 이용하여 움직임 보상을 수행할 수도 있다. 또한, 직접 예측 모드(direct mode)는 부호화가 끝난 블록의 움직임 정보로부터 현재 블록의 움직임 정보를 예측하는 부호화 모드이다. 이러한 방법은 움직임 정보를 부호화할 때 필요한 비트수가 절약되기 때문에 압축 효율이 향상된다. 예를 들어, 시간 직접 예측 모드(temporal direct mode)는 시간 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측하게 된다. 이 방법과 유사하게 본 발명에서는 시점 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측할 수 있다.
상기와 같은 과정을 통해 인터 예측된 픽쳐들과 인트라 예측된 픽쳐들은 예측 모드에 따라 선택되어 현재 픽쳐를 복원하게 된다.
도 3은 본 발명이 적용되는 실시예로서, 랜덤 액세스 픽쳐의 개념을 설명하기 위한 다시점 영상 신호의 전체적인 예측 구조를 나타낸다.
도 3에 나타난 바와 같이 가로축의 T0 ? T100 은 각각 시간에 따른 프레임을 나타낸 것이고, 세로축의 S0 ? S7은 각각 시점에 따른 프레임을 나타낸 것이다. 예를 들어, T0에 있는 픽쳐들은 같은 시간대(T0)에 서로 다른 카메라에서 찍은 영상들을 의미하며, S0 에 있는 픽쳐들은 한 대의 카메라에서 찍은 다른 시간대의 영상들을 의미한다. 또한, 도면 상의 화살표들은 각 픽쳐들의 예측 방향과 순서를 나타낸 것으로서, 예를 들어, T0 시간대의 S2 시점에 있는 P0 픽쳐는 I0로부터 예측된 픽쳐이며, 이는 TO 시간대의 S4 시점에 있는 P0 픽쳐의 참조 픽쳐가 된다. 또한, S2 시점의 T4, T2 시간대에 있는 B1, B2 픽쳐의 참조 픽쳐가 된다.
다시점 영상의 복호화 과정에 있어서, 시점 간의 랜덤 액세스가 필요할 수 있다. 따라서, 복호화 노력을 최소화하면서 임의 시점에 대한 액세스가 가능하도록 하여야 한다. 여기서 효율적인 랜덤 액세스를 실현하기 위하여 랜덤 액세스 픽쳐의 개념이 필요할 수 있다. 랜덤 액세스 픽쳐의 정의는 앞서 상기 도 2에서 설명한 바 있다. 예를 들면, 도 3에서, T0 시간대의 S0 시점에 있는 I0픽쳐가 랜덤 액세스 픽쳐라면, 같은 시간대에 있는, 즉 T0 시간대의 다른 시점에 있는 모든 픽쳐들 또한 랜덤 액세스 픽쳐가 될 수 있다. 또 다른 예로서, T8 시간대의 S0 시점에 있는 I0 픽쳐가 랜덤 액세스 픽쳐라면, 같은 시간대에 있는, 즉 T8 시간대의 다른 시점에 있는 모든 픽쳐들 또한 랜덤 액세스 픽쳐가 될 수 있다. 마찬가지로, T16, …, T96, T100 에 있는 모든 픽쳐들이 랜덤 액세스 픽쳐의 예가 될 수 있다.
다른 실시예로서, MVC의 전반적인 예측 구조에 있어서, GOP는 I 픽쳐로부터 시작될 수 있으며, 상기 I 픽쳐는 H.264/AVC와 호환 가능하다. 따라서, H.264/AVC와 호환 가능한 모든 랜덤 액세스 픽쳐들은 항상 I 픽쳐가 될 수 있다. 그러나, 상기 I 픽쳐들을 P 픽쳐로 대체하게 될 경우, 우리는 보다 효율적인 코딩이 가능해질 수 있다. 즉, GOP가 H.264/AVC와 호환 가능한 P 픽쳐로 시작하도록 하는 예측 구조를 이용할 경우 보다 효율적인 코딩이 가능해질 것이다.
이 때, 랜덤 액세스 픽쳐를 다시 정의하면, 모든 슬라이스들이 동일 시간대의 프레임에 있는 슬라이스뿐만 아니라 동일 시점의 다른 시간대에 있는 슬라이스도 참조할 수 있는 부호화된 픽쳐가 된다. 다만, 동일 시점의 다른 시간대에 있는 슬라이스를 참조하는 경우는 오로지 H.264/AVC와 호환 가능한 랜덤 액세스 픽쳐에 한할 수 있다.
랜덤 액세스 픽쳐가 디코딩된 후, 차례로 코딩된 모든 픽쳐들은 출력 순서상 랜덤 액세스 픽쳐에 선행하여 디코딩된 픽쳐로부터 인터-프리딕션(inter-prediction)없이 디코딩된다.
따라서, 상기 도 3의 다시점 영상의 전반적인 코딩 구조에 따를 때, 랜덤 액세스 픽쳐와 넌-랜덤 액세스 픽쳐의 인터뷰 참조 정보가 다르기 때문에 랜덤 액세스 플래그 정보에 따라 랜덤 액세스 픽쳐와 넌-랜덤 액세스 픽쳐를 구별할 필요가 있다.
상기 인터뷰 참조 정보는, 시점간 영상들이 어떠한 구조로 예측되었는지를 알 수 있는 정보를 말한다. 이는 비디오 신호의 데이터 영역로부터 획득될 수 있는데, 예를 들어, 시퀀스 파라미터 셋 영역으로부터 획득될 수 있다.
또한, 상기 시점간 참조 정보는 참조 픽쳐의 개수와 참조 픽쳐의 시점 정보를 이용하여 파악할 수 있다. 예를 들어, 먼저 전체 시점의 개수를 획득하고, 상기 전체 시점의 개수에 근거하여 각 시점을 구별하는 시점 식별 정보를 파악할 수 있다. 그리고, 각 시점마다 참조 방향에 대한 참조 픽쳐의 개수를 나타내는 인터뷰 참조 픽쳐의 개수 정보를 획득할 수 있다.
상기 인터뷰 참조 픽쳐의 개수 정보에 따라 각 인터뷰 참조 픽쳐의 시점 식별 정보를 획득할 수 있다. 이러한 방식을 통해서 상기 인터뷰 참조 정보가 획득될 수 있으며, 상기 인터뷰 참조 정보는 랜덤 액세스 픽쳐일 경우와 넌-랜덤 액세스 픽쳐일 경우로 나누어서 파악될 수 있다. 이는 현재 NAL에 있는 코딩된 슬라이스가 랜덤 액세스 픽쳐인지 여부를 나타내는 랜덤 액세스 플래그 정보를 이용하여 알 수 있다. 이러한 랜덤 액세스 플래그 정보는 NAL 헤더의 확장 영역으로부터 획득될 수 있으며, 또는 슬라이스 레이어 영역으로부터 획득될 수도 있다.
또한, 상기 랜덤 액세스 플래그 정보에 따라 획득된 인터뷰 참조 정보는 참조 픽쳐 리스트의 생성 및 수정 등에 이용될 수 있다.
도 4는 본 발명이 적용되는 실시예로서, 스테레오 영상의 예측 구조를 나타낸다.
상기 도 3의 다시점 영상의 예측 구조로부터 사용자가 2개의 시점만을 디코딩하고자 하는 경우, 도 4와 같은 예측 구조를 가질 수 있다. 상기 2개의 시점은 기준 시점(base view)과 비-기준 시점(non-base view)으로 이루어질 수 있다. 여기서, 기준 시점이란, 다른 시점들과는 독립적으로 코딩가능한 시점을 의미할 수 있다. 또는 기존의 디코더(예를 들어, H.264/AVC, MPEG-2, MPEG-4 등)와의 호환성을 위한 적어도 하나의 시점을 의미할 수 있다. 상기 기준 시점은 다시점 중 복호화의 기준이 될 수 있다.
또는 다른 시점의 예측을 위한 참조 시점(reference view)에 해당될 수 있다. 상기 기준 시점에 해당되는 영상은 영상 코덱 방식(MPEG-2, MPEG-4, H.26L 시리즈 등)에 의해 부호화되어 독립적인 비트스트림으로 형성될 수 있다. 상기 기준 시점에 해당되는 시퀀스는 H.264/AVC와 호환될 수도 있고, 되지 않을 수도 있다. 그러나, H.264/AVC와 호환될 수 있는 시점의 시퀀스는 기준 시점이 된다. 그리고, 비-기준 시점은 상기 기준 시점이 아닌 시점을 의미한다.
도 4에 나타난 바와 같이 가로축의 T0 ? T3 은 각각 시간에 따른 프레임을 나타낸 것이고, 세로축의 V0 ? V1은 각각 시점에 따른 프레임을 나타낸 것이다. 도면 상의 화살표들은 각 픽쳐들의 예측 방향을 나타낸 것이고, 각 픽쳐 내의 숫자는 디코딩 순서를 나타내는 일실시예에 불과하다. 이처럼, 2개의 시점만 존재한다고 가정하면, 하나의 시점(V0)은 기준 시점이 되고, 나머지 하나의 시점(V1)은 비-기준 시점이 될 수 있다. 따라서, 상기 기준 시점(V0)은 상기 비-기준 시점(V1)의 참조 시점으로 이용될 수 있으나, 상기 비-기준 시점(V1)은 다른 시점의 참조 시점이 될 수 없다. 왜냐하면, 상기 기준 시점(V0)은 독립적으로 코딩 가능한 시점이기 때문이다. 따라서, 상기와 같이 스테레오 영상을 디코딩하게 되는 경우, 다시점 영상 코딩시 필요한 정보들의 코딩을 제한함으로써 코딩 효율을 높일 수 있다.
이하, 도 5 내지 도 7에서는 그 구체적인 실시예들을 살펴보기로 한다.
도 5 내지 도 7은 본 발명이 적용되는 실시예들로서, 스테레오 영상 디코딩시 다시점 영상 코딩 정보들의 코딩을 제한하는 신택스를 나타낸다.
수신된 비트스트림의 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내는 경우, 상기 수신된 비트스트림은 2개의 시점 영상을 포함할 수 있다. 이때, 상기 도 2에서 설명한 시점간 참조 정보는 상기 2개의 시점 영상에 대한 정보를 나타낸다. 상기 시점간 참조 정보 중 전체 시점의 개수를 나타내는 정보는 항상 2개의 시점만을 나타내는 값을 가지게 된다. 따라서, 시퀀스 파라미터의 확장 영역으로부터 획득되는 전체 시점의 개수를 나타내는 정보는 항상 보내줄 필요가 없다. 즉, 수신된 비트스트림의 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내지 않는 경우에만 전송하도록 할 수 있다.
상기 도 5를 살펴보면, 먼저 수신된 비트스트림의 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내는지 여부를 확인할 수 있다(S520). 만약 상기 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타낸다면, 전체 시점의 개수를 나타내는 정보(num_views_minus1)는 코딩하지 않고 넘어갈 수 있다. 반면, 상기 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내지 않는다면, 즉 다시점 영상으로 코딩된 비트스트림을 나타낸다면 전체 시점의 개수를 나타내는 정보를 추출하여 디코딩하게 된다(S530). 여기서, 전체 시점의 개수를 나타내는 정보는 적어도 3개 이상의 시점 영상을 나타내는 정보일 수 있다. 그리고, 상기 전체 시점의 개수를 나타내는 정보는 시퀀스 파라미터의 확장 영역으로부터 획득될 수 있다(S510).
본 발명의 다른 실시예로서, 수신된 비트스트림의 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내는 경우, 인터뷰 참조 정보 중 L1 방향과 관련된 정보는 일정한 경우에 전송하지 않을 수 있다.
수신된 비트스트림의 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내는 경우, 상기 수신된 비트스트림은 2개의 시점 영상을 포함하게 된다. 이때, 상기 도 4에서 살펴본 바와 같이, 기준 시점(V0)을 참조하게 되는 비-기준 시점(V1)의 경우 L0 방향의 인터뷰 참조 픽쳐만 존재하게 된다. 이는 전체 시점의 개수가 2개 밖에 없기 때문에 L0 방향 및 L1 방향의 인터뷰 참조 픽쳐가 모두 존재할 수 없게 된다. 따라서, 인터뷰 참조 정보 중 L1 방향과 관련된 정보는 항상 보낼 필요가 없다. 즉, 수신된 비트스트림의 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내지 않는 경우에만 전송하도록 할 수 있다. 이때, 상기 L1 방향과 관련된 정보는 랜덤 액세스 픽쳐일 경우와 넌-랜덤 액세스 픽쳐일 경우로 나누어서 생각할 수 있다.
상기 도 6을 살펴보면, 먼저 시퀀스 파라미터의 확장 영역으로부터(S610) 전체 시점의 개수 정보를 추출할 수 있다(S620). 상기 전체 시점의 개수 정보에 따라 각 시점의 시점 식별 정보를 추출할 수 있다(S630). 그리고, 상기 전체 시점의 개수 정보에 따라 각 시점의 랜덤 액세스 픽쳐의 L0 방향에 대한 참조 시점의 개수 정보를 추출할 수 있다(S641). 상기 랜덤 액세스 픽쳐의 L0 방향에 대한 참조 시점의 개수 정보에 따라 상기 랜덤 액세스 픽쳐의 L0 방향에 대한 참조 시점의 시점 식별 정보를 추출할 수 있다(S642). 상기 S641 및 S642 단계와 동일한 방법으로 L1 방향에 대한 정보(S644,S645)를 추출할 수 있다. 이때, 수신된 비트스트림의 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림인지 여부를 확인할 수 있다(S643). 만약 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내는 경우에는 상기 L1 방향에 대한 정보를 추출하지 않고 스킵할 수 있다. 그러나, 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내지 않는 경우에는 상기 L1 방향에 대한 정보(S644,S645)를 추출하게 된다.
그리고, 상기 S641 내지 S645 과정은 넌-랜덤 액세스 픽쳐에 대해서 동일하게 적용될 수 있다. 이는 S651 내지 S655 과정에 나타나 있고, 상기 S641 내지 S645 과정과 거의 동일하므로 자세한 설명은 생략하기로 한다.
본 발명의 다른 실시예로, 상기 도 5 및 도 6에서 살펴본 것과는 달리 수신된 비트스트림의 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내는 경우(S720), 상기 도 2에서 설명한 인터뷰 참조 정보를 모두 전송하지 않고 다른 정보를 전송함으로써 인터뷰 참조 정보를 대신할 수 있다. 예를 들어, 전송되는 정보로서 전체 시점의 각 시점 식별 정보(view_id[i])(S730,S740), 랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되는지 여부를 나타내는 플래그 정보(anchor_ref_flag)(S750), 넌-랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되는지 여부를 나타내는 플래그 정보(non_anchor_ref_flag)(S760)를 들 수 있다. 여기서, 상기 2개의 플래그 정보는, 랜덤 액세스 픽쳐 또는 넌-랜덤 액세스 픽쳐가 기준 시점에 해당되는 경우에만 의미를 가지며, 만약 랜덤 액세스 픽쳐 또는 넌-랜덤 액세스 픽쳐가 비-기준 시점에 해당되는 경우라면 참조 픽쳐로써 이용되지 않을 것이기 때문에 상기 2개의 플래그 정보는 항상 false의 값을 가지게 된다.
즉, 수신된 비트스트림의 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내는 경우, 전체 시점의 개수는 항상 2개이므로 굳이 이에 대한 정보를 전송할 필요가 없다. 또한, 상기 도 4에서 살펴본 바와 같이, 기준 시점(V0)는 다른 시점을 참조하지 않고 독립적으로 코딩 가능하기 때문에 시점간 참조 정보가 필요치 않으며, 비-기준 시점(V1)은 상기 기준 시점(V0)만을 참조 시점으로 이용할 수 있기 때문에 굳이 L0 방향 및 L1 방향에 대한 참조 시점의 개수 및 참조 시점의 시점 식별 정보를 모두 보낼 필요가 없다.
결국, 수신된 비트스트림의 프로파일 식별자가 스테레오 영상으로 코딩된 비트스트림을 나타내지 않는 경우에만(S710), 다시점 영상의 인터뷰 참조 정보를 추출함으로써 코딩 효율을 향상시킬 수 있다.
이처럼, 프로파일 식별자를 이용하여 스테레오 영상으로 코딩된 비트스트림인지 여부를 확인함으로써 다시점 영상의 인터뷰 참조 정보를 적응적으로 활용할 수 있다. 이하에서는 상기 적응적으로 획득된 인터뷰 참조 정보를 이용하여 디코딩하는 실시예를 살펴보도록 한다.
도 8은 본 발명이 적용되는 실시예로서, 스테레오 영상으로 코딩된 비트스트림의 인터뷰 참조 정보를 이용하여 디코딩하는 과정의 흐름도를 나타낸다.
먼저, 랜덤 액세스 픽쳐 및 넌-랜덤 액세스 픽쳐를 포함하는 다시점 영상 비트스트림을 수신할 수 있다(S810). 이때, 상기 랜덤 액세스 픽쳐는 랜덤 액세스 슬라이스를 포함하고, 상기 랜덤 액세스 슬라이스는 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조하는 슬라이스를 나타내며, 상기 넌-랜덤 액세스 픽쳐는 랜덤 액세스 픽쳐가 아닌 픽쳐를 나타낸다. 이는 현재 코딩하려는 NAL 유닛 헤더의 확장 영역 내에 있는 랜덤 액세스 플래그에 따라 결정된다. 이에 대해서는 상기 도 2에서 상세히 설명한 바 있다. 그리고, 상기 수신된 다시점 영상 비트스트림이 스테레오 영상 비트스트림임을 나타내는 식별 정보를 수신할 수 있다(S820). 상기 식별 정보에 기초하여 상기 랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되는지 여부를 나타내는 플래그 정보(anchor_ref_flag) 또는 상기 넌-랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되는지 여부를 나타내는 플래그 정보(non_anchor_ref_flag) 를 획득할 수 있다(S830).
상기 플래그 정보에 따라, 상기 랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되는 경우, 상기 랜덤 액세스 픽쳐의 참조 픽쳐 리스트의 초기화 정보를 결정할 수 있다(S840). 여기서, 상기 초기화 정보는 참조 시점의 시점 식별 정보와 참조 시점의 개수 정보를 포함한다. 상기 초기화 정보를 이용하여 상기 랜덤 액세스 픽쳐의 참조 픽쳐 리스트를 초기화할 수 있다(S850). 상기 초기화된 참조 픽쳐 리스트에 기초하여 상기 랜덤 액세스 픽쳐 내 매크로블록의 예측값을 결정할 수 있다(S860). 그리고, 상기 매크로블록의 예측값을 이용하여 상기 매크로블록을 디코딩한다(S870).
상기 실시예에서는 현재 코딩하려는 매크로블록이 랜덤 액세스 픽쳐에 해당하는 경우를 예로 들어 설명하였지만, 상기 현재 코딩하려는 매크로블록이 넌-랜덤 액세스 픽쳐에 해당된다면 상기 넌-랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되는지 여부를 나타내는 플래그 정보(non_anchor_ref_flag)에 기초하여 유사한 과정이 수행될 수 있다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 비디오 디코더는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
[산업상 이용가능성]
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (10)

  1. 랜덤 액세스 픽쳐를 포함하는 다시점 영상 비트스트림을 수신하되, 상기 랜덤 액세스 픽쳐는 랜덤 액세스 슬라이스를 포함하고, 상기 랜덤 액세스 슬라이스는 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조하는 슬라이스를 나타내는 단계;
    상기 수신된 다시점 영상 비트스트림이 스테레오 영상 비트스트림임을 나타내는 식별 정보를 수신하는 단계;
    상기 식별 정보에 기초하여 상기 랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되는지 여부를 나타내는 플래그 정보를 획득하는 단계;
    상기 플래그 정보에 기초하여 상기 랜덤 액세스 픽쳐의 참조 픽쳐 리스트의 초기화 정보를 결정하는 단계;
    상기 초기화 정보를 이용하여 상기 랜덤 액세스 픽쳐의 참조 픽쳐 리스트를 초기화하는 단계;
    상기 초기화된 참조 픽쳐 리스트에 기초하여 상기 랜덤 액세스 픽쳐 내 매크로블록의 예측값을 결정하는 단계; 및
    상기 매크로블록의 예측값을 이용하여 상기 매크로블록을 디코딩하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 비트스트림 처리 방법.
  2. 제 1 항에 있어서,
    상기 플래그 정보는 복수개의 시점들 간의 디코딩 순서를 나타내는 값에 기초하여 획득되는 것을 특징으로 하는 다시점 영상 비트스트림 처리 방법.
  3. 제 1 항에 있어서,
    상기 초기화 정보는 참조 시점의 시점 식별 정보와 참조 시점의 개수 정보를 포함하는 것을 특징으로 하는 다시점 영상 비트스트림 처리 방법.
  4. 제 3 항에 있어서,
    상기 플래그 정보에 따라 상기 랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되지 않는 경우, 상기 참조 시점의 시점 식별 정보는 먼저 디코딩된 시점의 시점 식별 정보로 설정되고, 상기 참조 시점의 개수 정보는 하나임을 나타내는 값으로 설정되는 것을 특징으로 하는 다시점 영상 비트스트림 처리 방법.
  5. 제 1 항에 있어서,
    상기 플래그 정보는 시퀀스 헤더의 확장 영역으로부터 획득되는 것을 특징으로 하는 다시점 영상 비트스트림 처리 방법.
  6. 제 1 항에 있어서,
    상기 다시점 영상 비트스트림은 기준 시점과 비-기준 시점의 영상 데이터를 포함하며, 상기 기준 시점은 다른 시점을 참조하지 않고 독립적으로 디코딩 가능한 시점을 나타내고, 상기 비-기준 시점은 상기 기준 시점이 아닌 시점을 나타내며, 상기 매크로블록은 상기 비-기준 시점에 해당하는 것을 특징으로 하는 다시점 영상 비트스트림 처리 방법.
  7. 다시점 영상 비트스트림이 스테레오 영상 비트스트림임을 나타내는 식별 정보를 수신하고, 상기 식별 정보에 기초하여 상기 랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되는지 여부를 나타내는 플래그 정보를 획득하는 엔트로피 디코딩부;
    상기 플래그 정보에 기초하여 상기 랜덤 액세스 픽쳐의 참조 픽쳐 리스트의 초기화 정보를 결정하고, 상기 초기화 정보를 이용하여 상기 랜덤 액세스 픽쳐의 참조 픽쳐 리스트를 초기화하는 복호 픽쳐 버퍼부;
    상기 초기화된 참조 픽쳐 리스트에 기초하여 상기 랜덤 액세스 픽쳐 내 매크로블록의 예측값을 결정하고, 상기 매크로블록의 예측값을 이용하여 상기 매크로블록을 디코딩하는 인터 예측부
    를 포함하되,
    상기 다시점 영상 비트스트림은 랜덤 액세스 슬라이스로 구성된 랜덤 액세스 픽쳐를 포함하고, 상기 랜덤 액세스 슬라이스는 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조하는 슬라이스를 나타내는 것을 특징으로 하는 다시점 영상 비트스트림 처리 장치.
  8. 제 7 항에 있어서,
    상기 플래그 정보는 복수개의 시점들 간의 디코딩 순서를 나타내는 값에 기초하여 획득되는 것을 특징으로 하는 다시점 영상 비트스트림 처리 장치.
  9. 제 7 항에 있어서,
    상기 초기화 정보는 참조 시점의 시점 식별 정보와 참조 시점의 개수 정보를 포함하는 것을 특징으로 하는 다시점 영상 비트스트림 처리 장치.
  10. 제 9 항에 있어서,
    상기 플래그 정보에 따라 상기 랜덤 액세스 픽쳐가 시점간 예측을 위해 이용되지 않는 경우, 상기 참조 시점의 시점 식별 정보는 먼저 디코딩된 시점의 시점 식별 정보로 설정되고, 상기 참조 시점의 개수 정보는 하나임을 나타내는 값으로 설정되는 것을 특징으로 하는 다시점 영상 비트스트림 처리 장치.
KR1020117025900A 2009-04-17 2009-12-30 다시점 비디오 신호의 처리 방법 및 장치 KR101619451B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US17011409P 2009-04-17 2009-04-17
US61/170,114 2009-04-17
US17144109P 2009-04-21 2009-04-21
US61/171,441 2009-04-21
US17179309P 2009-04-22 2009-04-22
US61/171,793 2009-04-22
US17185209P 2009-04-23 2009-04-23
US61/171,852 2009-04-23

Publications (2)

Publication Number Publication Date
KR20120027193A true KR20120027193A (ko) 2012-03-21
KR101619451B1 KR101619451B1 (ko) 2016-05-10

Family

ID=42982675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117025900A KR101619451B1 (ko) 2009-04-17 2009-12-30 다시점 비디오 신호의 처리 방법 및 장치

Country Status (4)

Country Link
US (1) US8982183B2 (ko)
EP (1) EP2421264B1 (ko)
KR (1) KR101619451B1 (ko)
WO (1) WO2010120033A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007518A1 (ko) * 2012-07-02 2014-01-09 삼성전자 주식회사 블록크기에 따라 인터 예측의 참조픽처리스트를 결정하는 비디오 부호화 방법과 그 장치, 비디오 복호화 방법과 그 장치
US9918063B2 (en) 2012-04-23 2018-03-13 Samsung Electronics Co., Ltd. Multiview video encoding method and device, and multiview video decoding method and device

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101567974B1 (ko) * 2009-01-05 2015-11-10 에스케이 텔레콤주식회사 블록 모드 부호화/복호화 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
RU2550552C2 (ru) * 2009-04-28 2015-05-10 Панасоник Корпорэйшн Способ декодирования изображений и устройство декодирования изображений
JP5390017B2 (ja) * 2010-03-24 2014-01-15 パナソニック株式会社 映像処理装置
JP5988252B2 (ja) * 2011-01-12 2016-09-07 サン パテント トラスト 複数の参照ピクチャを用いた、動画像符号化方法、動画像復号方法、動画像符号化装置、及び、動画像復号装置
WO2012108181A1 (en) 2011-02-08 2012-08-16 Panasonic Corporation Methods and apparatuses for encoding and decoding video using multiple reference pictures
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
EP2750387B1 (en) * 2011-09-22 2019-06-19 LG Electronics Inc. Video decoding method and video decoding apparatus
US9693033B2 (en) * 2011-11-11 2017-06-27 Saturn Licensing Llc Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
US9131217B2 (en) 2011-12-09 2015-09-08 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US9549180B2 (en) 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
US20130336405A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding
CN104769949B (zh) * 2012-09-19 2018-03-13 高通股份有限公司 用于视差向量导出的图片的选择的方法和装置
US20140092976A1 (en) * 2012-09-30 2014-04-03 Sharp Laboratories Of America, Inc. System for signaling idr and bla pictures
US9781416B2 (en) * 2013-02-26 2017-10-03 Qualcomm Incorporated Neighboring block disparity vector derivation in 3D video coding
US9596448B2 (en) 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US7671894B2 (en) 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
WO2007081177A1 (en) 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
US20070177671A1 (en) 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
KR100959538B1 (ko) * 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100813064B1 (ko) 2006-05-19 2008-03-14 엘지전자 주식회사 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
CN101491079A (zh) 2006-07-11 2009-07-22 汤姆逊许可证公司 用在多视角视频编码中的方法和装置
US8532178B2 (en) * 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
KR101295158B1 (ko) 2007-02-20 2013-08-09 세종대학교산학협력단 공간임의접근을 지원하는 영상 코덱 시스템과 이를구성하는 영상 부호화/복호화 장치 및 방법
US8948247B2 (en) * 2009-04-14 2015-02-03 Futurewei Technologies, Inc. System and method for processing video files
EP2497271B1 (en) * 2009-11-06 2020-08-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid video coding
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918063B2 (en) 2012-04-23 2018-03-13 Samsung Electronics Co., Ltd. Multiview video encoding method and device, and multiview video decoding method and device
WO2014007518A1 (ko) * 2012-07-02 2014-01-09 삼성전자 주식회사 블록크기에 따라 인터 예측의 참조픽처리스트를 결정하는 비디오 부호화 방법과 그 장치, 비디오 복호화 방법과 그 장치

Also Published As

Publication number Publication date
WO2010120033A1 (ko) 2010-10-21
US20120147137A1 (en) 2012-06-14
EP2421264A4 (en) 2012-10-31
KR101619451B1 (ko) 2016-05-10
EP2421264A1 (en) 2012-02-22
US8982183B2 (en) 2015-03-17
EP2421264B1 (en) 2016-05-25

Similar Documents

Publication Publication Date Title
KR101619451B1 (ko) 다시점 비디오 신호의 처리 방법 및 장치
US7856148B2 (en) Processing multiview video
KR100966568B1 (ko) 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
EP2424247B1 (en) Method and apparatus for processing multi-view video signal
KR20110139304A (ko) 다시점 영상의 참조 픽쳐 리스트 변경 방법
JP2010525724A (ja) ビデオ信号をデコーディング／エンコーディングする方法および装置
JP2010520697A (ja) ビデオ信号のデコーディング／エンコーディング方法及び装置
KR20080007086A (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
KR101366289B1 (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
USRE44680E1 (en) Processing multiview video
KR20080023210A (ko) 비디오 신호 디코딩 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant