KR100919885B1 - Multi-view video scalable coding and decoding - Google Patents
Multi-view video scalable coding and decodingInfo
- Publication number
- KR100919885B1 KR100919885B1 KR1020070108021A KR20070108021A KR100919885B1 KR 100919885 B1 KR100919885 B1 KR 100919885B1 KR 1020070108021 A KR1020070108021 A KR 1020070108021A KR 20070108021 A KR20070108021 A KR 20070108021A KR 100919885 B1 KR100919885 B1 KR 100919885B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- prediction
- scalable
- lower layer
- frame
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64784—Data processing by the network
- H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 다시점 비디오를 다계층 공간 및 시간 스케일러블 코딩 기술을 이용해 압축 전송하여 다양한 형태의 비디오 단말기들에게 2차원 또는 3차원 비디오 서비스를 제공하기 위한 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과 코딩 및 디코딩 장치에 관한 것으로, 하나의 기초 비디오에 대해 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임 및 적어도 하나 이상의 고해상도 영상 프레임 각각에 대해 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 기초 스케일러빌리티 비디오 인코더; 및 동일 시점에 촬영된 자신의 비디오와 참조 비디오로 적어도 하나 이상의 타 비디오를 입력받아, 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임에 대해 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하며, 분리된 적어도 하나 이상의 고해상도 영상 프레임에 대해 자신의 하위 계층뿐만 아니라 상기 타 비디오 프레임의 하위 계층을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 복수의 확장된 스케일러빌리티 비디오 인코더를 포함한다.The present invention provides a scalable coding and decoding method of multiview video for providing two-dimensional or three-dimensional video service to various types of video terminals by compressing and transmitting multiview video using multi-layer spatial and temporal scalable coding technology. An apparatus for coding and decoding, wherein the basic video is separated into multi-layer resolution through spatial filtering, and scalable video coding is performed through space-time prediction for each of the separated low-resolution video frames and at least one high-resolution video frame. An elementary scalability video encoder; And receiving at least one other video as its own video and the reference video captured at the same time point, separating the multi-layer resolution through spatial filtering, and separating the separated low-resolution image frames in the same time axis as well as their adjacent frames. The scalable video coding is performed through the spatiotemporal prediction with reference to the other video frame, and the scaled through the spatiotemporal prediction with reference to the lower layer of the other video frame as well as its own lower layer for the separated at least one high resolution image frame. And a plurality of extended scalability video encoders for performing flexible video coding.
Description
본 발명은 다시점 비디오의 스케일러블(scalable) 코딩 및 디코딩 기술에 관한 것으로, 더욱 자세하게는 복수 카메라에 의해 촬영된 다시점 비디오를 압축 전송함에 있어, 다시점 비디오를 다계층 공간 및 시간 스케일러블 코딩 기술을 이용해 압축 전송하고, 수신단에서 디코딩하여 다양한 형태의 비디오 단말기들에게 2차원 또는 3차원 비디오 서비스를 제공하기 위한 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩 및 디코딩 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to scalable coding and decoding techniques of multiview video, and more particularly, to multi-view spatial and temporal scalable coding of multiview video in compression transmission of multiview video captured by multiple cameras. The present invention relates to a scalable coding and decoding method of multi-view video and to a coding and decoding apparatus for compressing transmission using technology, decoding at a receiving end, and providing two-dimensional or three-dimensional video services to various types of video terminals.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-403-02, 과제명: 지능형 통합정보방송(SmarTV) 기술개발].The present invention is derived from the research conducted as part of the IT new growth engine core technology development project of the Ministry of Information and Communication and the Ministry of Information and Communication Research and Development. [Task Management Number: 2005-S-403-02, Title: Intelligent Integrated Information Broadcasting (SmarTV) ) Technology Development].
데이터를 압축하는 기본적인 원리는 데이터의 공간적 중복 및 시간적 중복(redundancy) 요소를 제거하는 것이다. 공간적 중복은 비디오에서 동일한 색이나 객체가 반복되는 것을 말한다. 그리고 시간적 중복은 동영상 픽쳐에서 인접 픽쳐가 거의 변화 없는 것 또는 오디오에서 같은 음이 계속 반복되는 것을 말한다. 일반적인 비디오 코딩 방법에서, 시간적 중복은 움직임 보상에 근거한 시간적 필터링에 의해 제거되고, 공간적 중복은 공간적 변환에 의해 제거된다.The basic principle of compressing data is to eliminate spatial and temporal redundancy of the data. Spatial redundancy is the repetition of the same color or object in a video. And temporal overlap means that the adjacent picture is almost unchanged in the moving picture or the same sound is continuously repeated in the audio picture. In the general video coding method, temporal redundancy is eliminated by temporal filtering based on motion compensation, and spatial redundancy is removed by spatial transform.
데이터의 중복이 제거된 후 생성되는 멀티미디어 데이터를 전송하기 위해서는, 전송매체가 필요한데, 그 성능은 전송매체 별로 차이가 있다. 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어 데이터를 전송하기 위해 스케일러블(scalable) 비디오 코딩 기술이 있다.In order to transmit the multimedia data generated after data duplication is removed, a transmission medium is required, and its performance is different for each transmission medium. There is a scalable video coding technique to support a variety of speed transmission media or to transmit multimedia data at a data rate suitable for a transmission environment.
스케일러블 비디오 코딩 기술이란 이미 압축된 비트스트림(bit-stream)에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 비트스트림의 일부를 잘라내어 비디오의 해상도, 프레임율, 및 SNR(Signal-to-Noise Ratio) 등을 조절할 수 있게 해주는 코딩 기술을 의미한다.The scalable video coding technique cuts a portion of the bitstream with respect to the already compressed bit-stream according to the peripheral conditions such as the transmission bit rate, transmission error rate, and system resources, so that the resolution, frame rate, and SNR (signal- to-noise ratio).
도 1은 일반적인 스케일러블 코딩 개념을 설명하기 위한 참고도이다. 도 1을 참조하면, 스케일러블 비디오 코딩은 입력 비디오에 대해 시간적 변환을 이용하여 시간적 스케일러블을 구현하고, 2차원 공간적 변환을 이용하여 공간적 스케일러블을 구현한다. 또한, 스케일러블 비디오 코딩은 텍스쳐 코딩(Texture Coding)을 이용하여 화질(quality) 스케일러빌러티를 구현한다. 모션 코딩(Motion Coding)은 각각의 공간적 스케일러블을 구현할 때의 모션 정보를 스케일러블하게 부호화한다. 이와 같은 코딩 알고리즘을 통하여 하나의 비트스트림을 생성한다.1 is a reference diagram for explaining a general scalable coding concept. Referring to FIG. 1, scalable video coding implements temporal scalability using temporal transform on input video and spatial scalability using 2D spatial transform. In addition, scalable video coding implements quality scalability by using texture coding. Motion Coding scalablely encodes motion information when implementing each spatial scalable. One bitstream is generated through such a coding algorithm.
스케일러블 비디오 코딩에서 시간적 스케일러블을 제공하고 압축 효율을 높이기 위한 방법으로, 모션 보상 시간 필터링(MCTF: Motion Compensated Temporal Filtering)과 계층적 B-픽처(Hierarchical B-pictures)가 있다.As a method for providing temporal scalability and increasing compression efficiency in scalable video coding, there are Motion Compensated Temporal Filtering (MCTF) and Hierarchical B-pictures.
MCTF는 비디오 시퀀스 내에서 시간 방향의 움직임 정보를 이용하여 웨이블릿 변환(Wavelet Transform)을 수행하는 것을 말한다. 웨이블릿 변환은 리프팅 스킴(Lifting scheme)을 이용하여 구현된다. 리프팅 스킴은 다위상 분해(polyphase decomposition), 예측(prediction) 및 업데이트(update)의 세 가지 연산으로 구성된다.MCTF refers to performing a wavelet transform using motion information in a time direction in a video sequence. Wavelet transform is implemented using a lifting scheme. The lifting scheme consists of three operations: polyphase decomposition, prediction, and update.
계층적 B-픽처는 H.264에서 사용하는 16개의 픽처를 저장할 수 있는 DPB(Decoded Picture Buffer)를 관리하는 MMCO(Memory Managemnent Control Operation)와 RPLR(Reference Picture List Reordering)의 신텍스를 이용하여 다양한 방법으로 구현될 수 있다.Hierarchical B-pictures use various methods using the syntax of Memory Management Control Operation (MMCO) and Reference Picture List Reordering (RPLR), which manages a decoded picture buffer (DPB) that can store 16 pictures used in H.264. It can be implemented as.
최근에는 기술적 발전과 사용자의 요구에 의해 다양한 시점에서의 광경에 대한 비디오 정보를 시청자에게 제공하고, 해당 비디오 정보 중에 시청자가 보고 싶은 광경에 대한 조작을 통해 각각의 시청자마다 방송국에서 보내지는 정보를 편집하여 시청할 수 있는 서비스가 연구되고 있다. 이와 같은 서비스를 제공하기 위해서는 다시점 비디오에 대한 비디오 압축 기술이 필요하다.Recently, due to technological developments and user demands, video information about a scene at various points of time is provided to the viewer, and the information sent from a broadcasting station for each viewer is edited by manipulating the scene that the viewer wants to see among the video information. Services that can be watched by people are being researched. In order to provide such a service, a video compression technique for multiview video is required.
다시점 비디오 압축은 다시점 비디오를 제공하는 복수 카메라로부터 입력된 비디오를 동시에 코딩하여 압축 저장 및 전송하기 위한 것이다. 다시점 비디오를 압축하지 않고 저장 및 전송할 경우 데이터의 크기가 매우 크기 때문에 데이터를 실시간으로 방송망 또는 유/무선 인터넷을 통하여 사용자에게 전달하기 위해서는 큰 크기의 전송 대역폭이 요구된다.Multi-view video compression is for simultaneously compressing, storing, and transmitting video input from multiple cameras providing multi-view video. When storing and transmitting a multiview video without compressing the data, the size of the data is very large. Therefore, a large transmission bandwidth is required to transmit data to a user through a broadcasting network or a wired / wireless internet in real time.
통상 다시점 비디오 코딩 및 디코딩은 각각의 비디오 시퀀스를 독립적으로 코딩하여 전송한 후 디코딩하는 방법으로 이루어질 수 있다. 이는 기존의 MPEG-1/2/4나 H.261/263/264를 통하여 쉽게 구현될 수 있다. 하지만, 이는 동일한 물체를 복수 카메라로 촬영하기 때문에 생기는 비디오 간의 중복성을 제거할 수 없다.In general, multi-view video coding and decoding may be performed by independently coding and transmitting each video sequence and then decoding the video sequence. This can be easily implemented through existing MPEG-1 / 2/4 or H.261 / 263/264. However, this does not eliminate the redundancy between the videos caused by shooting the same object with multiple cameras.
비디오 간의 중복성을 제거하기 위한 기술로 스케일러블 비디오 코딩(Scalable video coding) 기술이 있다. 일반적으로 단일시점 비디오의 스케일러블 코딩 기술은 단일시점 비디오를 공간 축으로 공간 필터를 사용하여 다계층 해상도로 분리하고, 분리된 비디오를 시간축에서 계층적 양방향 움직임 예측을 통하여 시공간 스케일러블을 한다. 여기서 각 해상도에서 계층간 효과적인 예측을 위하여 움직임과 차영상 및 인트라 예측이 수행될 수 있다. 또한 변환 부호화에서 계층적 표현에 의한 엔트로피 코딩을 통하여 화질관점의 스케일러빌리티가 제공될 수 있다.A technique for removing redundancy between videos includes scalable video coding technology. In general, scalable coding technology of single-view video divides single-view video into a multi-layer resolution using a spatial filter on the spatial axis, and performs spatial and temporal scalability through hierarchical bidirectional motion prediction on the time axis. Here, motion, difference image, and intra prediction may be performed for effective prediction between layers at each resolution. In addition, scalability of an image quality perspective may be provided through entropy coding by hierarchical representation in transform encoding.
하지만, 이와 같은 종래의 스케일러블 비디오 코딩 기술은 단일시점 비디오 공간 화질로 고정되어 있어, 다양한 환경과 다양한 연산 능력을 가지는 단말기에서 다양하게 삼차원 또는 선택적인 이차원으로 비디오를 재생하도록 하는 경우에는 많은 전송률과 비디오 디코더 면에서 많은 오버헤드가 발생될 수 있는 문제점이 있다.However, such a conventional scalable video coding technique is fixed to a single-view video spatial image quality, so that a terminal having various environments and various computing powers can reproduce a video in various three-dimensional or selective two-dimensional formats. There is a problem that a lot of overhead can be generated in terms of a video decoder.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 다시점 비디오를 압축 전송하기 위해 시간 축 및 비디오(공간) 축에서 주변 영상을 참조하는 움직임 예측 보상뿐만 아니라, 다시점 비디오에서 공간축 상으로 스케일러빌리티를 제공하기 위하여 주변 비디오의 다른 해상도에서의 움직임과 차영상 및 인트라 예측을 통하여 보다 효율적으로 비디오를 압축하고 다양한 환경의 단말기에게 다양한 비디오 서비스를 제공할 수 있는 다시점 비디오의 스케일러블 코딩 방법 및 장치를 제공하는데 그 목적이 있다.Accordingly, the present invention has been proposed to solve the above-mentioned problems of the prior art, and is a multi-view as well as a motion prediction compensation that refers to the surrounding image in the time axis and the video (spatial) axis to compress and transmit the multi-view video. In order to provide scalability from the video to the spatial axis, multiview can provide more efficient video compression and provide various video services to terminals in various environments through motion and difference video and intra prediction of different resolutions of surrounding video. An object of the present invention is to provide a scalable coding method and apparatus for video.
또한, 본 발명은 다시점 비디오에 대해 스케일러블 코딩된 신호를 수신하여 디코딩하기 위한 디코딩 방법 및 장치를 제공하는데 그 목적이 있다.Another object of the present invention is to provide a decoding method and apparatus for receiving and decoding a scalable coded signal for a multiview video.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
상기 목적을 달성하기 위한 본 발명에 따른 스케일러블 비디오 코딩 장치는, 다시점 비디오에 대한 스케일러블 비디오 코딩 장치에 있어서, 하나의 기초 비디오에 대해 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임 및 적어도 하나 이상의 고해상도 영상 프레임 각각에 대해 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 기초 스케일러빌리티 비디오 인코더; 및 동일 시점에 촬영된 자신의 비디오와 참조 비디오로 적어도 하나 이상의 타 비디오를 입력받아, 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임에 대해 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하며, 분리된 적어도 하나 이상의 고해상도 영상 프레임에 대해 자신의 하위 계층뿐만 아니라 상기 타 비디오 프레임의 하위 계층을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 복수의 확장된 스케일러빌리티 비디오 인코더를 포함한다.A scalable video coding apparatus according to the present invention for achieving the above object, in the scalable video coding apparatus for a multi-view video, separated into a multi-layer resolution through spatial filtering for one elementary video, separated low resolution An elementary scalability video encoder for performing scalable video coding through space-time prediction for each of the image frame and the at least one high resolution image frame; And receiving at least one other video as its own video and the reference video captured at the same time point, separating the multi-layer resolution through spatial filtering, and separating the separated low-resolution image frames in the same time axis as well as their adjacent frames. The scalable video coding is performed through the spatiotemporal prediction with reference to the other video frame, and the scaled through the spatiotemporal prediction with reference to the lower layer of the other video frame as well as its own lower layer for the separated at least one high resolution image frame. And a plurality of extended scalability video encoders for performing flexible video coding.
또한 본 발명에 따른 스케일러블 비디오 코딩 방법은, 다시점 비디오에 대한 스케일러블 비디오 코딩 방법에 있어서, (a) 하나의 기초 비디오에 대해 다계층 해상도로 분리하여, 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 단계; 및 (b) 동일 시점에 촬영된 자신의 비디오와 참조 비디오로 적어도 하나 이상의 타 비디오를 입력받아, 입력된 비디오들에 대해 다계층 해상도로 분리하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 단계를 포함하되, 상기 (b) 단계는, (c) 저해상도 영상 프레임에 대해 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 단계와, (d) 적어도 하나 이상의 고해상도 영상 프레임에 대해 자신의 하위 계층뿐만 아니라 상기 타 비디오 프레임의 하위 계층을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 단계를 포함한다.In addition, the scalable video coding method according to the present invention is a scalable video coding method for a multiview video, comprising: (a) splitting a single base video into multi-layer resolution and performing scalable video coding through space-time prediction; Performing; And (b) receiving at least one other video as the own video and the reference video captured at the same time point, separating the input videos into a multi-layer resolution, and performing scalable video coding through space-time prediction. In addition, the step (b) comprises the steps of: (c) performing scalable video coding through space-time prediction with reference to the other video frame on the same time axis as well as its adjacent frame, and (C) d) performing scalable video coding through spatiotemporal prediction on at least one high resolution image frame by referring not only to its lower layer but also to the lower layer of the other video frame.
한편, 본 발명에 따른 디코딩 장치는, 다시점 비디오에 대한 스케일러블 비디오 디코딩 장치에 있어서, 하나의 기초 비디오에 대해 스케일러블 코딩된 비트스트림을 수신하여, 역시간 변환 및 역 공간 변환을 통해 복원하는 기초 스케일러빌리티 비디오 디코더; 및 동일 시점에 촬영된 자신의 비디오와 참조 비디오에 대해 시공간 예측을 통해 스케일러블 코딩된 비트스트림을 수신하여, 자신의 하위 계층뿐만 아니라 참조 비디오인 타 비디오 프레임의 하위 계층의 참조 여부에 따라 역 시공간 예측을 통해 적어도 하나 이상의 고해상도 영상 프레임을 복원하고, 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임의 참조 여부에 따라 역 시공간 예측을 통해 저해상도 영상 프레임을 복원한 후, 상기 복원된 고해상도 영상 프레임과 상기 복원된 저해상도 영상 프레임에 대해 역공간 필터링을 통해 영상을 복원하는 복수의 확장된 스케일러빌리티 비디오 디코더를 포함한다.Meanwhile, the decoding apparatus according to the present invention, in a scalable video decoding apparatus for multiview video, receives a scalable coded bitstream with respect to one elementary video and reconstructs it through inverse time transform and inverse spatial transform. An elementary scalability video decoder; And receiving a scalable coded bitstream through the spatiotemporal prediction of the own video and the reference video photographed at the same time, and inverse spatiotemporal space according to whether the sublayer of another video frame that is the reference video as well as its own lower layer is referenced. After reconstructing at least one high resolution image frame through prediction, and reconstructing the low resolution image frame through inverse spatiotemporal prediction according to whether the other video frame is referenced in the same time axis as well as its adjacent frame, the reconstructed high resolution image And a plurality of extended scalability video decoders for reconstructing the image through inverse spatial filtering on the frame and the reconstructed low resolution image frame.
바람직하게는 상기 확장된 스케일러빌리티 비디오 디코더는, 수신된 비트스트림을 역다중화하는 역다중화수단; 상기 역다중화수단에 의해 출력된 고해상도 영상 신호에 대해 자신의 비디오에 대한 하위 계층뿐만 아니라 참조 비디오인 타 비디오에 대한 하위 계층의 참조 여부에 따라 역 시공간 움직임 예측을 통해 스케일러블 디코딩을 수행하는 적어도 하나 이상의 향상계층 디코딩수단; 상기 역다중화수단에 의해 출력된 저해상도 영상 신호에 자신의 비디오 프레임에 대한 역 시공간 움직임 예측뿐만 아니라 시간 축에서 참조 비디오 프레임에 대한 역 움직임 예측을 통해 스케일러블 디코딩을 수행하는 기초계층 디코딩수단; 상기 향상계층 디코딩수단에 의해 복원된 고해상도 영상 및 상기 기초계층 디코딩수단에 의해 복원된 저해상도 영상에 대해 역 공간적 필터링을 통해 영상을 복원하는 역공간적 비디오 필터링 수단을 포함한다.Advantageously, said extended scalability video decoder comprises: demultiplexing means for demultiplexing a received bitstream; At least one of performing scalable decoding through inverse spatiotemporal motion prediction according to whether the lower layer of its own video as well as the lower layer of other video which is a reference video is referred to the high resolution image signal output by the demultiplexing means; Enhancement layer decoding means; A base layer decoding means for performing scalable decoding on the low resolution video signal output by the demultiplexing means through not only the inverse spatiotemporal motion prediction for its video frame but also the inverse motion prediction for the reference video frame on the time axis; And an inverse spatial video filtering means for reconstructing the image through inverse spatial filtering on the high resolution image reconstructed by the enhancement layer decoding means and the low resolution image reconstructed by the base layer decoding means.
바람직하게는 상기 향상계층 디코딩수단은, 하위 계층의 움직임 벡터 정보의 사용 여부를 나타내는 플래그와 타 비디오에 대한 하위 계층의 참조 인덱스를 예측 정보로 이용하는지의 여부를 나타내는 플래그와, 하위 계층의 인트라 블록의 타입을 예측정보로 이용하는지 여부를 나타내는 플래그와, 하위 계층의 차분 영상 값의 이용 여부에 대한 플래그와, 예측에 사용된 참조 뷰의 인덱스를 참조하여 스케일러블 디코딩을 수행한다.Preferably, the enhancement layer decoding means includes a flag indicating whether to use motion vector information of a lower layer, a flag indicating whether to use a reference index of a lower layer for another video as prediction information, and an intra block of the lower layer. A scalable decoding is performed by referring to a flag indicating whether a type of is used as prediction information, a flag indicating whether to use a difference image value of a lower layer, and an index of a reference view used for prediction.
또한 상기 목적을 달성하기 위한 본 발명에 따른 디코딩 방법은, 다시점 비디오에 대한 스케일러블 비디오 디코딩 방법에 있어서, (a) 하나의 기초 비디오에 대해 역 시공간 예측을 통해 스케일러블 비디오 디코딩을 수행하는 단계; 및 (b) 동일 시점에 촬영된 자신의 비디오와 참조 비디오로 적어도 하나 이상의 타 비디오를 참조하여 스케일러블 코딩된 비트스트림을 수신하여, 역 시공간 예측과 역 공간 필터링을 통해 스케일러블 비디오 디코딩을 수행하는 단계를 포함하되, 상기 (b) 단계는, (c) 역다중화된 고해상도 영상 프레임에 대해 자신의 하위 계층뿐만 아니라 상기 타 비디오 프레임의 하위 계층의 참조 여부 정보에 따라 역 시공간 예측을 통해 스케일러블 비디오 디코딩을 수행하는 단계; 및 (d) 역다중화된 저해상도 영상 신호에 대해 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임의 참조 여부 정보에 따라 역 시공간 예측을 통해 스케일러블 비디오 디코딩을 수행하는 단계를 포함한다.In addition, the decoding method according to the present invention for achieving the above object, in the scalable video decoding method for a multi-view video, (a) performing scalable video decoding on one base video through inverse space-time prediction ; And (b) receiving a scalable coded bitstream with reference to at least one other video as its own video and reference video captured at the same time, and performing scalable video decoding through inverse space-time prediction and inverse spatial filtering. In addition, the step (b), (c) scalable video through the inverse spatiotemporal prediction according to the reference information of the sub-layer of the other video frame as well as its sub-layer for the demultiplexed high-resolution image frame Performing decoding; And (d) performing scalable video decoding on the demultiplexed low resolution video signal through inverse spatiotemporal prediction according to whether the other video frame is referenced in the same time axis as well as its adjacent frame.
바람직하게는, 상기 (c) 단계에서 하위 계층의 움직임 벡터 정보의 사용 여부를 나타내는 플래그와, 타 비디오에 대한 하위 계층의 참조 인덱스를 예측 정보로 이용하는지의 여부를 나타내는 플래그와, 하위 계층의 인트라 블록의 타입을 예측정보로 이용하는지 여부를 나타내는 플래그와, 하위 계층의 차분 영상 값의 이용 여부에 대한 플래그와, 예측에 사용된 참조 뷰의 인덱스 정보를 이용해 스케일러블 비디오 디코딩을 수행하는 한다.Preferably, in step (c), a flag indicating whether to use motion vector information of a lower layer, a flag indicating whether to use a reference index of a lower layer for another video as prediction information, and a lower layer intra Scalable video decoding is performed using a flag indicating whether a block type is used as prediction information, a flag indicating whether a lower layer difference image value is used, and index information of a reference view used for prediction.
상기와 같은 본 발명은, 일반적인 스케일러블 코딩 기술의 시공간 계층적 구조를 다시점 비디오 간으로 확장하여 다시점 비디오를 효과적으로 압축할 수 있다. 또한, 본 발명은 다시점 비디오에 대하여 시간 및 공간축 상으로 계층적 구조를 구성함으로써 다양한 형태의 2차원 또는 3차원 단말기에 스케일러블하게 비디오 서비스를 제공할 수 있다.As described above, the present invention can effectively compress a multiview video by extending the space-time hierarchical structure of a general scalable coding technique between multiview videos. In addition, the present invention can provide a video service in a scalable manner to a two-dimensional or three-dimensional terminal of various forms by constructing a hierarchical structure on the time and space axis for the multi-view video.
도 1은 일반적인 스케일러블 비디오 코딩 개념을 설명하기 위한 도면,1 is a diagram for explaining a general scalable video coding concept;
도 2는 본 발명의 일 실시예에 따른 다시점 비디오에 대한 스케일러블 비디오 코딩 장치의 블록 구성도,2 is a block diagram illustrating a scalable video coding apparatus for multiview video according to an embodiment of the present invention;
도 3은 본 발명에 따른 확장된 스케일러빌리티 비디오 인코더의 기능 블록 구성도,3 is a functional block diagram of an extended scalability video encoder according to the present invention;
도 4는 본 발명에 따른 다시점 비디오에 대한 다계층 비디오 압축을 위한 프레임 참조 구조를 설명하기 위한 도면,4 is a diagram for explaining a frame reference structure for multi-layer video compression for multi-view video according to the present invention;
도 5는 도 4에 대한 계층간 참조 구조를 설명하기 위한 도면,FIG. 5 is a diagram for explaining an inter-layer reference structure for FIG. 4; FIG.
도 6은 본 발명에 따른 다시점 비디오에 대한 B 프레임 움직임 예측 구조에 대한 프레임 참조 구조를 설명하기 위한 도면,FIG. 6 is a diagram for explaining a frame reference structure for a B frame motion prediction structure for multiview video according to the present invention; FIG.
도 7은 도 6에 대한 계층간 참조 구조를 설명하기 위한 도면,FIG. 7 is a diagram for explaining an inter-layer reference structure of FIG. 6; FIG.
도 8은 본 발명의 다른 실시예에 따른 다시점 비디오에 대한 스케일러블 비디오 코딩 장치의 블록 구성도,8 is a block diagram illustrating a scalable video coding apparatus for multiview video according to another embodiment of the present invention;
도 9는 도 8에 대한 다계층 비디오 압축을 위한 프레임 참조 구조를 설명하기 위한 도면이다.FIG. 9 illustrates a frame reference structure for multi-layer video compression of FIG. 8.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명에 따른 다시점 비디오의 스케일러블 코딩 장치의 일 예시도이다. 도 2에서는 비디오 0부터 비디오 4까지 5개의 카메라로 촬영된 비디오가 입력되는 경우 각 비디오를 스케일러블 비디오 인코더(scalable video encoder)로 압축하는 경우를 나타낸 것이다.2 is an exemplary diagram of a scalable coding apparatus of a multiview video according to the present invention. FIG. 2 illustrates a case in which each video is compressed by a scalable video encoder when video captured by five cameras from video 0 to video 4 is input.
본 발명에 따른 다시점 비디오의 스케일러블 코딩 장치는 기초 비디오인 비디오 0에 대해 2차원 공간 변환과 시간 변환을 수행하고, 모션 코딩과 텍스쳐 코딩을 통해 스케일러블 코딩을 수행하는 기초 스케일러빌리디 비디오 인코더(21)와, 각각 대응되는 자신의 비디오뿐만 아니라 참조 비디오인 적어도 하나 이상의 주변의 타 비디오를 입력받아 공간적 필터링 및 시간적 필터링을 통해 다계층 해상도로 분리하고, 상기 분리된 프레임에 대해 자신의 비디오뿐만 아니라 주변의 비디오들의 시공간 계층 영상 정보 및 압축 파라미터를 참조하여 스케일러블 코딩을 수행하는 복수의 확장된 스케일러빌리티 비디오 인코더들(22 내지 25)을 포함한다.The scalable coding apparatus for a multiview video according to the present invention performs a two-dimensional spatial transform and a temporal transform on video 0, which is a basic video, and a basic scalable video encoder for performing scalable coding through motion coding and texture coding. 21 and at least one neighboring video that is a reference video as well as its own video, respectively, are input and separated into multi-layer resolution through spatial filtering and temporal filtering, But also includes a plurality of extended scalability video encoders 22 to 25 that perform scalable coding with reference to the spatio-temporal layer image information and compression parameter of surrounding videos.
도면에서 비디오 0은 기초 비디오로 정의되며, 비디오 0에 대해 스케일러블 코딩을 수행하는 기초 스케일러빌리티 비디오 인코더(21)는 종래의 단일시점 비디오의 스케일러블 코딩 장치와 동일한 구조를 갖는다. 따라서 기초 비디오의 경우 기존의 스케일러블 코딩 장치들과 호환될 수 있는 구조이다.In the drawing, video 0 is defined as the base video, and the basic scalability video encoder 21 that performs scalable coding on video 0 has the same structure as the scalable coding apparatus of the conventional single-view video. Therefore, the basic video is a structure that can be compatible with existing scalable coding devices.
그리고, 자신의 비디오뿐만 아니라 참조 비디오인 주변 비디오를 참조하여 스케일러블하게 압축하기 위하여, 비디오 1에서부터 비디오 4까지는 확장된 스케일러빌리티 비디오 인코더(22 내지 25)를 통해 압축을 수행한다. 확장된 스케일러빌리티 비디오 인코더(22 내지 25)는 기존의 단일시점 비디오의 스케일러블 코딩 장치와 같이 자신의 비디오와 참조 비디오인 주변 비디오를 입력받아 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 각 프레임에 대해 시간 및 공간 축 상에서 자신의 프레임에 대한 하위 계층뿐만 아니라 주변의 프레임에 대한 하위 계층을 참조하여 스케일러블 코딩을 수행한다. 예를 들어, 비디오 4를 압축하는 확장된 스케일러빌리티 비디오 인코더(25)는 기초 비디오 0의 다계층 시공간 해상도 영상 정보를 예측 참조하는 방법으로 자신의 비디오 4에 대해 스케일러블 비디오 코딩을 수행한다. 또한, 비디오 2를 압축하는 확장된 스케일러빌리티 비디오 인코더(23)는 기초 비디오 0과 비디오 4의 다계층 시공간 해상도 영상 정보를 이용하여 양방향 예측을 통해 자신의 비디오에 대한 압축을 수행한다.In order to scalablely compress not only the own video but also the reference video that is the reference video, video 1 through video 4 are compressed through the extended scalability video encoders 22 through 25. The extended scalability video encoders 22 to 25 receive their own video and the surrounding video, which is the reference video, like the conventional single-view video scalable coding apparatus, and separate them into multi-layer resolution through spatial filtering. With respect to the frame, scalable coding is performed by referring to the lower layer of the surrounding frame as well as the lower layer of its own frame on the temporal and spatial axis. For example, the extended scalability video encoder 25 compressing video 4 performs scalable video coding on its own video 4 by predicting and referring to the multi-layer spatiotemporal resolution image information of the base video 0. In addition, the extended scalability video encoder 23 compressing the video 2 compresses its own video through bi-prediction using multi-layer spatiotemporal resolution image information of the base video 0 and the video 4.
이에 따라 기초 스케일러빌리티 비디오 인코더(21)만을 이용하는 경우 기존의 2차원 비디오 서비스가 가능하며, 기초 비디오 0에 대한 기초 스케일러빌리티 비디오 인코더(21)와 비디오 4에 대한 확장된 스케일러빌리티 비디오 인코더(25)를 이용하는 경우 스테레오 비디오 서비스가 가능하게 된다. 또한 확장된 스케일러빌리티 비디오 인코더들(22 내지 25)과, 기초 스케일러빌리티 비디오 인코더(21)를 선택적으로 조합하는 것에 의해 3 뷰(view) 또는 5 뷰 비디오 서비스가 가능하게 된다.Accordingly, when only the basic scalability video encoder 21 is used, the existing two-dimensional video service is possible, and the basic scalability video encoder 21 for the basic video 0 and the extended scalability video encoder 25 for the video 4 are provided. In this case, stereo video service is enabled. Optionally combining extended scalability video encoders 22 to 25 and elementary scalability video encoder 21 also enables three-view or five-view video services.
이와 같은 확장된 스케일러빌리티 비디오 인코더의 구조 및 기능에 대해서는 도 3 이하를 참조하여 구체적으로 살펴본다.The structure and function of the extended scalability video encoder will be described in detail with reference to FIG. 3.
도 3은 본 발명에 따른 확장된 스케일러빌리티 비디오 인코더의 상세 기능 블록 구성도이다.3 is a detailed functional block diagram of an extended scalability video encoder according to the present invention.
본 발명에 따른 확장된 스케일러빌리티 비디오 인코더는 자신의 비디오와 참조 비디오에 대해 공간적 필터링을 통해 다계층 해상도로 분리하는 공간적 비디오 필터링부(31)와, 상기 공간적 비디오 필터링부(31)의 출력 영상들에 대해 시간적 필터링을 통해 시간으로 분리하는 시간적 비디오 필터링부(330, 340)와, 시간적 비디오 필터링부(330)로부터 출력된 시간적 저주파수 영상들에 대해 자신의 비디오 프레임에 대한 시공간 움직임 예측뿐만 아니라 시간 축에서 참조 비디오 프레임에 대한 움직임 예측을 통해 스케일러블 코딩을 수행하는 기초계층 인코더(33)와, 시간적 비디오 필터링부(340)로부터 출력된 시간적 고주파수 영상들에 대해 자신의 비디오의 하위 계층뿐만 아니라 참조 비디오인 주변의 타 비디오의 하위 계층을 참조하여 스케일러블 코딩을 수행하는 적어도 하나 이상의 향상계층 인코더(34)와, 기초계층 인코더의 출력과 향상 계층 인코더의 출력을 다중화하여 하나의 비트스트림을 출력하는 다중화부(35)를 포함한다.The extended scalability video encoder according to the present invention includes a spatial video filtering unit 31 which separates its own video and reference video into multi-layer resolution through spatial filtering, and output images of the spatial video filtering unit 31. Temporal video filtering unit 330 and 340 that separates the time by temporal filtering with respect to the temporal low frequency images output from the temporal video filtering unit 330, The base layer encoder 33 performs scalable coding through motion prediction for a reference video frame, and the reference video as well as a lower layer of its own video for temporal high frequency images output from the temporal video filter 340. Scalable coding by referring to the lower layer of other video At least one enhancement layer encoder 34 to perform, and a multiplexer 35 for outputting a bit stream by multiplexing the output of the base layer encoder and the output of the enhancement layer encoder.
공간적 비디오 필터링부(31)는 자신의 카메라를 통해 촬영된 자신의 비디오와 참조 비디오로 설정된 주변의 타 비디오를 소정의 시간단위로 입력받아 MCTF 또는 계층적 B 구조를 이용한 공간적 필터링을 통해 다계층 해상도로 분리한다.The spatial video filtering unit 31 receives the own video captured by the camera and other surrounding video set as the reference video at predetermined time units, and performs multi-layer resolution through spatial filtering using the MCTF or the hierarchical B structure. To separate.
기초 계층 인코더(33)와 향상 계층 인코더(34)는 시간적 비디오 필터링부(330, 340)와, 모션 코딩부(331, 341)와, 차분기(332, 342)와, 공간적 변환부(333, 343)와, 양자화부(334, 344), 엔트로피 부호화부(335, 345)를 포함할 수 있다. 이와 같은 기초 계층 인코더(33)와 향상 계층 인코더(34)는 종래의 스케일러블 비디오 인코더와 그 구조가 유사하며, 여기서는 각 기능부에 대해 간단히 살펴보기로 한다.The base layer encoder 33 and the enhancement layer encoder 34 are temporal video filtering units 330 and 340, motion coding units 331 and 341, difference units 332 and 342, and spatial transform units 333, 343, quantizers 334 and 344, and entropy encoders 335 and 345. The base layer encoder 33 and the enhancement layer encoder 34 are similar in structure to a conventional scalable video encoder, and will be briefly described for each functional unit.
기초 계층 인코더(33)에 구비된 시간적 비디오 필터링부(330)는 상기 공간적 필터링에 의해 분리된 저주파수 영상들에 대해 MCTF 또는 계층적 B 구조를 이용한 필터링을 통해 시간 축으로 분리한다. 또한 향상 계층 인코더(34)에 구비된 시간적 비디오 필터링부(340)는 상기 공간적 필터링에 의해 분리된 고주파수 영상들에 대해 MCTF 또는 계층적 B 구조를 이용한 필터링을 통해 시간 축으로 분리한다.The temporal video filtering unit 330 included in the base layer encoder 33 separates the low frequency images separated by the spatial filtering into the time axis through filtering using an MCTF or a hierarchical B structure. In addition, the temporal video filtering unit 340 included in the enhancement layer encoder 34 separates the high frequency images separated by the spatial filtering into the time axis through filtering using an MCTF or hierarchical B structure.
모션 코딩부(331, 341)는 통상 모션 추정과 모션 보상으로 구성된다. 모션 추정은 입력 비디오 프레임들 중에서 참조 프레임을 기준으로 현재 프레임의 모션 추정을 수행하고, 순방향 예측 또는 양방향 예측을 위한 모션 벡터를 구한다. 여기서, 본 발명은 모션 추정 시 참조 프레임으로 자신의 프레임뿐만 아니라 주변의 프레임이 사용될 수 있다. 이러한 움직임 추정을 위해 널리 사용되는 알고리즘은 블록 매칭(block matching) 알고리즘이다. 즉, 주어진 모션 블록을 참조 프레임의 특정 탐색영역 내에서 픽셀단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 움직임 벡터로 추정한다. 모션 추정의 결과 구해지는 모션 벡터, 모션 블록의 크기, 참조 프레임 번호 등의 모션 데이터는 엔트로피 부호화부(335, 345)로 제공된다. 또한 모션 보상은 모션 추정에 의해 계산된 모션 벡터를 이용하여 순방향 참조 프레임 또는 역방향 참조 프레임 또는 양방향 참조 프레임에 대하여 모션 보상(motion compensation)을 수행함으로써 현재 프레임에 대한 시간적 예측 프레임을 생성한다.The motion coding units 331 and 341 generally consist of motion estimation and motion compensation. Motion estimation performs motion estimation of the current frame based on a reference frame among input video frames, and obtains a motion vector for forward prediction or bidirectional prediction. Here, in the present invention, not only its own frame but also surrounding frames may be used as reference frames in motion estimation. A widely used algorithm for such motion estimation is a block matching algorithm. That is, the displacement when the error is the lowest while moving the given motion block by the pixel unit within a specific search region of the reference frame is estimated as a motion vector. Motion data such as a motion vector, a motion block size, and a reference frame number obtained as a result of the motion estimation are provided to the entropy encoders 335 and 345. In addition, motion compensation generates a temporal prediction frame for the current frame by performing motion compensation on a forward reference frame, a reverse reference frame, or a bidirectional reference frame using a motion vector calculated by motion estimation.
차분기(332, 342)는 현재 프레임과 시간적 예측 프레임을 차분함으로써 비디오의 시간적 중복성을 제거한다. 공간적 변환부(333, 343)는 차분기(332, 342)에 의하여 시간적 중복성이 제거된 프레임에 대하여, 공간적 스케일러빌리티를 지원하는 공간적 변환법을 사용하여 공간적 중복성를 제거한다. 이러한 공간적 변환법으로는 주로 DCT(Discrete Cosine Transform), 웨이블릿 변환(wavelet transform) 등이 사용된다.Differences 332 and 342 remove temporal redundancy of the video by differentiating the current frame from the temporal predictive frame. The spatial transform units 333 and 343 remove spatial redundancy using a spatial transform method that supports spatial scalability for a frame from which temporal redundancy is removed by the difference units 332 and 342. As the spatial transform method, a discrete cosine transform (DCT), a wavelet transform, or the like are mainly used.
양자화부(334, 344)는 공간적 변환부(333, 343)에서 구한 변환 계수를 양자화한다. 양자화(quantization)란 임의의 실수값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 소정의 인덱스로 매칭시키는 작업을 의미한다.The quantization units 334 and 344 quantize the transform coefficients obtained by the spatial transform units 333 and 343. Quantization refers to an operation of dividing the transform coefficient represented by an arbitrary real value into a discrete value by dividing the transform coefficient into predetermined intervals, and matching them by a predetermined index.
엔트로피 부호화부(335, 345)는 양자화부(334, 344)에 의하여 양자화된 변환 계수와, 모션 추정에 의하여 제공되는 모션 데이터를 무손실 부호화하고 출력 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등이 사용될 수 있다.The entropy encoders 335 and 345 losslessly encode the transform coefficients quantized by the quantizers 334 and 344 and the motion data provided by the motion estimation and generate an output bitstream. As such a lossless coding method, arithmetic coding, variable length coding, or the like may be used.
한편, 본 발명은 공간적 변환 이전에 인트라 블록을 위한 인트라 예측이 사용될 수 있다. 이를 위해 향상 계층 인코더는 하위 계층 인코더로부터 복원된 참조 프레임을 전달받아 2차원 공간 보간을 수행하는 기능과 인트라 예측 기능이 포함될 수 있다.Meanwhile, in the present invention, intra prediction for an intra block may be used before spatial transform. To this end, the enhancement layer encoder may include a function of performing 2D spatial interpolation and an intra prediction function by receiving a reference frame reconstructed from a lower layer encoder.
일반적으로 인터 예측은 참조 프레임으로부터 현재 프레임의 어떤 블록(현재 블록)과 가장 유사한 블록을 탐색하고, 이로부터 현재 블록을 가장 잘 표현할 수 있는 예측 블록을 얻은 후, 상기 현재 블록과 상기 예측 블록과의 차분을 양자화하는 방식이다. 인터 예측은 참조 프레임을 참조하는 방식에 따라 두 개의 참조 프레임을 사용하는 양방향 예측(bi-directional prediction)과, 이전 참조 프레임이 사용되는 순방향 예측(forward prediction)과, 이후 참조 프레임이 사용되는 역방향 예측(backward prediction) 등이 있다.In general, inter prediction searches for a block most similar to a block (current block) of a current frame from a reference frame, obtains a prediction block that best represents the current block, and then compares the current block with the prediction block. It is a way to quantize the difference. Inter prediction is bi-directional prediction using two " reference " frames, forward prediction using a previous < Desc / Clms Page number 7 > reference frame, and backward prediction using a subsequent reference frame. (backward prediction) and the like.
한편, 인트라 예측은, 현재 블록의 주변 블록 중 현재 블록과 인접한 프레임을 이용하여 현재 블록을 예측하는 방식이다. 인트라 예측은 현재 프레임 내의 정보만을 이용하며 동일 계층 내의 다른 프레임이나 다른 계층의 프레임을 참조하지 않는 점에서 다른 예측 방식과 차이가 있다.Meanwhile, intra prediction is a method of predicting a current block using a frame adjacent to the current block among neighboring blocks of the current block. Intra prediction differs from other prediction schemes in that it uses only information in the current frame and does not refer to another frame or a frame of another layer in the same layer.
인트라 베이스 예측(intra base prediction)은, 현재 프레임이 동일한 시간적 위치를 갖는 하위 계층의 프레임을 갖는 경우에 사용될 수 있다. 현재 프레임의 매크로블록은 대응되는 기초 프레임의 매크로블록으로부터 효율적으로 예측될 수 있다. 즉, 현재 프레임의 매크로블록과 대응되는 기초 프레임의 매크로블록과의 차분이 양자화된다. 만일 하위 계층의 해상도와 현재 계층의 해상도가 서로 다른 경우에는, 상기 차분을 구하기 전에 상기 기초 프레임의 매크로블록은 상기 현재 계층의 해상도로 업샘플링된다.Intra base prediction may be used when the current frame has a frame of a lower layer having the same temporal position. The macroblock of the current frame can be predicted efficiently from the macroblock of the corresponding base frame. That is, the difference between the macroblock of the current frame and the macroblock of the base frame corresponding to the macroblock is quantized. If the resolution of the lower layer and the resolution of the current layer are different, the macroblock of the base frame is upsampled to the resolution of the current layer before the difference is obtained.
잔차 예측은 단일 계층에서의 인터 예측을 다계층의 형태로 확장한 것으로, 현재 계층의 인터 예측 과정에서 생성된 차분을 직접 양자화하는 것이 아니라, 상기 차분과 하위 계층의 인터 예측 과정에서 생성된 차분을 다시 차감하여 그 결과를 양자화하는 기법이다.Residual prediction is an extension of inter prediction in a single layer in the form of a multi-layer. Instead of directly quantizing the difference generated in the inter prediction process of the current layer, the residual prediction is generated in the inter prediction process of the difference and the lower layer. It is a technique to subtract again and quantize the result.
한편, 본 발명에서 향상계층 인코더는 고해상도 영상 프레임에 대한 부호화 시, 움직임 예측을 위하여 자신의 비디오에 대한 기초 계층 영상(저해상도 영상)과 참조 비디오인 타 비디오에 대한 기초 계층 영상(저해상도 영상)의 움직임 벡터를 두 배한 값을 사용한다.Meanwhile, in the present invention, when the enhancement layer encoder encodes a high resolution image frame, the enhancement layer encoder moves the base layer image (low resolution image) of its own video and the base layer image (low resolution image) of another video as a reference video. Use twice the vector.
또한, 본 발명에서 향상계층 인코더는 고해상도 영상 프레임에 대한 부호화 시, 차영상 예측을 위하여 자신의 비디오에 대한 기초 계층 영상(저해상도 영상)과 참조 비디오인 타 비디오에 대한 기초 계층 영상(저해상도 영상)의 예측 후 잔여영상을 보간하여 차영상 예측을 수행한다.In addition, in the present invention, the enhancement layer encoder encodes a base layer image (low resolution image) of its own video and a base layer image (low resolution image) of another video as a reference video for prediction of a difference image when encoding a high resolution image frame. After prediction, the residual image is interpolated to perform the difference image prediction.
또한, 본 발명에서 향상계층 인코더는 고해상도 영상 프레임에 대한 부호화 시, 인트라 예측을 위하여 자신의 비디오에 대한 기초 계층 영상(저해상도 영상)과 참조 비디오인 타 비디오에 대한 기초 계층 영상(저해상도 영상)을 인트라 예측 모드로 인트라 예측을 수행한다.In addition, in the present invention, the enhancement layer encoder intra-codes a base layer image (low resolution image) of its own video and a base layer image (low resolution image) of another video, which is a reference video, for intra prediction when encoding a high resolution image frame. Intra prediction is performed in the prediction mode.
도 4는 본 발명에 따른 스케일러블 비디오 코딩 시 예측 참조 구조를 설명하기 위한 도면이다.4 is a diagram for describing a predictive reference structure in scalable video coding according to the present invention.
도면에서 P 매크로블록은 단방향 예측을 나타내고, B 매크로블록은 양방향 예측을 나타낸다. 본 발명에 따른 예측 참조는 단방향 예측(P 매크로블록)과 양방향 예측(B 매크로블록)을 시간 축과 공간(뷰)축 뿐만 아니라 다수의 해상도 계층에서 예측을 수행하는 구조이다.In the figure, P macroblock represents unidirectional prediction and B macroblock represents bidirectional prediction. The predictive reference according to the present invention is a structure for performing prediction in unidirectional prediction (P macroblock) and bidirectional prediction (B macroblock) in a plurality of resolution layers as well as a time axis and a space (view) axis.
도 4는 하나의 실시예로 기초 계층과 하나의 향상 계층으로 구성된 2계층 구조만을 나타낸 것으로, 더 많은 계층은 향상 계층을 반복적으로 확장함으로써 구성될 수 있다.4 illustrates only a two-layer structure consisting of a base layer and one enhancement layer in one embodiment, and more layers may be configured by repeatedly extending the enhancement layer.
도 4에서 41은 기초 스케일러빌리티 비디오 인코더(도2의 21) 내의 기초 계층 인코더 및 향상 계층 인코더에서 수행되는 예측 참조를 나타내고, 42는 도 2에 도시된 비디오 1에 대한 확장된 스케일러빌리티 비디오 인코더(22) 내의 기초 계층 인코더 및 향상 계층 인코더에서 수행되는 예측 참조를 나타내며, 43은 도 2에 도시된 비디오 2에 대한 확장된 스케일러빌리티 비디오 인코더(23) 내의 기초 계층 인코더 및 향상 계층 인코더에서 수행되는 예측 참조를 나타낸다.4 to 41 show prediction references performed at the base layer encoder and the enhancement layer encoder in the base scalability video encoder (21 in FIG. 2), and 42 is an example of an extended scalability video encoder for video 1 shown in FIG. A prediction reference performed at the base layer encoder and the enhancement layer encoder in 22), and 43 is a prediction performed at the base layer encoder and the enhancement layer encoder in the extended scalability video encoder 23 for video 2 shown in FIG. Indicates a reference.
다시 말해, 도 4에서 기초 계층 0(L0)은 기초 스케일러빌리티 비디오 인코더(21)의 기초 계층 인코더와, 비디오 1에 대한 확장된 스케일러빌리티 비디오 인코더 22의 기초 계층 인코더와, 비디오 2에 대한 확장된 스케일러빌리티 비디오 인코더 23의 기초 계층 인코더에서 각각 수행되는 예측 참조 구조를 나타낸 것이다.In other words, in FIG. 4, base layer 0 (L0) is the base layer encoder of base scalability video encoder 21, the base layer encoder of extended scalability video encoder 22 for video 1, and the extended layer for video 2. A prediction reference structure respectively performed in the base layer encoder of the scalability video encoder 23 is shown.
마찬가지로, 도 4에서 향상 계층 1(L1)은 기초 스케일러빌리티 비디오 인코더(21)의 향상 계층 인코더와, 비디오 1에 대한 확장된 스케일러빌리티 비디오 인코더 22의 향상 계층 인코더와, 비디오 2에 대한 확장된 스케일러빌리티 비디오 인코더 23의 향상 계층 인코더에서 각각 수행되는 예측 참조 구조를 나타낸 것이다.Likewise, in FIG. 4, enhancement layer 1 (L1) is an enhancement layer encoder of the elementary scalability video encoder 21, an enhancement layer encoder of the extended scalability video encoder 22 for video 1, and an extended scaler for video 2. A prediction reference structure respectively performed in the enhancement layer encoder of the capability video encoder 23 is shown.
도 4를 참조하면, 기초 스케일러빌리티 비디오 인코더(21)의 기초 계층 인코더는 종래와 같이 시간축 상에서 자신의 저해상도 영상 프레임들에 대해 인접 프레임들을 예측 참조하여 스케일러블 비디오 코딩을 수행한다. 그리고 비디오 1을 위한 확장된 스케일러빌리티 비디오 인코더(22)의 기초 계층 인코더는 동일 시간축 상에 위치한 참조 주변 비디오 프레임인 비디오 0의 프레임과 비디오 2의 프레임을 이용해 자신의 프레임에 대한 양방향 예측을 수행한다. 또한 비디오 2를 위한 확장된 스케일러빌리티 비디오 인코더(23)의 기초 계층 인코더는 기본 비디오 0을 참조하여 단방향 예측을 수행함과 동시에 자신의 프레임을 이용해 양방향 예측을 수행한다.Referring to FIG. 4, the base layer encoder of the base scalability video encoder 21 performs scalable video coding by predicting adjacent frames with respect to its low resolution image frames on the time axis as in the prior art. The base layer encoder of the extended scalability video encoder 22 for video 1 performs bidirectional prediction on its own frame using frames of video 0 and frames of video 2 which are reference peripheral video frames located on the same time axis. . In addition, the base layer encoder of the extended scalability video encoder 23 for video 2 performs unidirectional prediction with reference to base video 0 and performs bidirectional prediction using its own frame.
한편, 기본 계층의 상위 계층인 향상 계층 1(L1)은 자신의 비디오 프레임에 대한 공간 및 시간 예측뿐만 아니라 하위 계층인 기초 계층의 자신 프레임과 기초 계층의 주변 프레임을 참조하여 예측을 수행한다. 도면에서 각 매크로블록에 원과 가위표로 표현된 세 개의 표시는 하위 계층의 참조 여부를 나타내기 위한 것이다. 여기서, 세 개의 표시중 중간에 있는 "원"이나 "가위표"는 자신의 비디오 프레임에 대한 하위 계층의 참조 여부를 나타내고, 위와 아래에 표시된 "원"이나 "가위표"는 주변 비디오 프레임에 대한 하위 계층의 참조 여부를 나타낸다.Meanwhile, the enhancement layer 1 (L1), which is an upper layer of the base layer, performs prediction by referring not only to spatial and temporal prediction of its own video frame, but also to the own frame of the base layer, which is a lower layer, and surrounding frames of the base layer. In the drawing, three marks represented by circles and scissors in each macroblock are used to indicate whether a lower layer is referenced. Here, the "circle" or "marker" in the middle of the three marks indicates whether the lower layer is referenced to its own video frame, and the "circle" or "marker" shown above and below indicates the lower layer of the surrounding video frame. Indicates whether is referenced.
도 4를 참조하면, 기초 스케일러빌리티 비디오 인코더(21)의 향상 계층 인코더는 종래와 같은 자신의 하위 계층의 프레임을 참조하여 스케일러블 비디오 코딩을 수행한다. 그리고 비디오 1을 위한 확장된 스케일러빌리티 비디오 인코더(22)의 향상 계층 인코더는 자신의 하위 계층의 프레임을 참조할 뿐만 아니라 주변 비디오 프레임인 비디오 0의 하위 계층 프레임과 비디오 2의 하위 계층 프레임을 참조하여 자신의 프레임에 대한 양방향 예측을 수행한다. 또한 비디오 2를 위한 확장된 스케일러빌리티 비디오 인코더(23)의 향상 계층 인코더는 자신의 하위 계층의 프레임을 참조할 뿐만 아니라 기본 비디오 0의 하위 계층 프레임을 참조하여 예측을 수행한다.Referring to FIG. 4, the enhancement layer encoder of the basic scalability video encoder 21 performs scalable video coding by referring to a frame of its lower layer as in the prior art. The enhancement layer encoder of the extended scalability video encoder 22 for video 1 not only refers to the frames of its lower layer but also refers to the lower layer frame of video 0, which is the surrounding video frame, and the lower layer frame of video 2. Perform bidirectional prediction on own frames. In addition, the enhancement layer encoder of the extended scalability video encoder 23 for video 2 not only refers to the frame of its lower layer but also refers to the lower layer frame of the base video 0 to perform prediction.
도 5는 도 4에 도시된 참조 구조를 시간을 고정시키고 공간(뷰) 계층 축에서 참조 구조를 "원"과 "가위표"로 나타낸 것이다. 도 5에서는 3개 계층의 경우를 나타내고 있다. 도 5에서 51은 기초 비디오인 비디오 0의 참조 구조를 나타내고, 52는 비디오 1의 참조 구조를 나타내며, 53은 비디오 2의 참조 구조를 나타낸다.FIG. 5 shows the reference structure shown in FIG. 4 in a fixed time and in the spatial (view) hierarchy axis the reference structure as "circles" and "scissors". 5 shows the case of three hierarchies. In FIG. 5, 51 denotes a reference structure of video 0 which is a basic video, 52 denotes a reference structure of video 1, and 53 denotes a reference structure of video 2.
도 5에서 비디오 0(51)에 대한 향상 계층 2의 매크로블록은 중간만 "원"이고 양쪽 모두 "가위표"이므로, 자신의 비디오에 대한 하위 계층만을 참조하여 기존의 스케일러블 비디오 코딩(SVC: scalable video coding)에서 사용하는 움직임과 차영상 및 인트라 예측을 통해 코딩한다. 반면, 비디오 1(52)에 대한 향상 계층 2의 매크로블록은 중간뿐만 아니라 오른쪽 및 왼쪽 모두 "원"이므로 자신의 비디오에 대한 하위 계층뿐만 아니라 주변의 비디오에 대한 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행한다. 또한 비디오 2(53)에 대한 향상 계층 2의 매크로블록은 중간 및 왼쪽이 "원"으로 표현되었으므로, 자신의 비디오의 하위 계층과 비디오 0의 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행한다.In FIG. 5, since the macroblock of enhancement layer 2 for video 0 51 is only “circle” in the middle and “scissors” on both sides, the existing scalable video coding (SVC) refers only to the lower layer for its video. Video coding is performed through motion, difference image, and intra prediction. On the other hand, the macroblocks in enhancement layer 2 for video 1 (52) are “circles,” both right and left, as well as in the middle, so that scalable video coding refers to the lower layers of the video as well as the lower layers of the surrounding video. Do this. In addition, since the middle block and the left side of the macroblock of the enhancement layer 2 for the video 2 53 are expressed as “circles”, scalable video coding is performed by referring to the lower layer of the video and the lower layer of the video 0.
이상에서 설명한 바와 같은 하위 계층의 참조 여부를 나타내기 위해, 하위 계층의 참조 여부에 따라 참조 계층의 비디오에 대한 정보를 추가한 스케일러블 비디오의 구문이 필요하다.In order to indicate whether the lower layer is referred to as described above, a scalable video syntax including information on the video of the reference layer is required according to whether the lower layer is referenced.
다음의 구문에서 ref_view_Idx는 하위 계층의 참조 비디오의 뷰 번호를 나타낸다. 여기서 base_mode_flag는 하위 계층의 움직임 벡터 정보를 현재 블록의 움직임 예측에 사용을 할 것인지를 나타내는 플래그로, 값이 1일 경우 하위 계층의 어느 뷰의 움직임 벡터 정보를 이용한 것인지를 나타내는 뷰 번호인 ref_view_Idx를 나타내 주어야 한다.In the following syntax, ref_view_Idx represents a view number of a reference video of a lower layer. Here, base_mode_flag is a flag indicating whether motion vector information of a lower layer is to be used for motion prediction of the current block. If the value is 1, it indicates ref_view_Idx, which is a view number indicating which view of lower layer is used for motion vector information. Should give.
base_mode_refinement_flag 역시 하위 계층의 움직임 벡터 정보를 현재 블록의 움직임 벡터 예측에서 이용하는지를 나타내는 플래그로, base_mode_flag와의 차이점은 하위 계층의 참조 인덱스도 예측정보로 이용을 한다는 것이다. 따라서 플래그가 1인 경우 하위 계층 어떤 뷰의 움직임 벡터와 참조 인덱스 정보를 이용한 것인지를 나타내는 ref_view_Idx를 표시해 주어야 한다. intra_base_flag는 하위 계층의 인트라 블록의 타입을 현재블록의 블록타입의 예측정보로 이용하는 것에 대해 나타내는 플래그로, 1인 경우 하위 계층의 인트라 예측모드에 대한 정보를 현재 블록에서 이용하게 된다. 따라서 하위 계층의 어느 뷰의 인트라 블록 타입 정보를 이용하는지에 대한 뷰 번호인 ref_view_Idx를 표시해 주어야 한다.base_mode_refinement_flag is also a flag indicating whether motion vector information of a lower layer is used in motion vector prediction of a current block. The difference from base_mode_flag is that a reference index of a lower layer is also used as prediction information. Therefore, when the flag is 1, ref_view_Idx indicating which view motion vector and reference index information of a lower layer are used should be indicated. intra_base_flag is a flag indicating that the type of the intra block of the lower layer is used as prediction information of the block type of the current block. When 1, intra_base_flag uses information about the intra prediction mode of the lower layer in the current block. Therefore, ref_view_Idx, which is a view number for which view of the lower layer uses intra block type information, must be indicated.
residual_prediction_flag는 하위 계층의 차분 영상 값을 현재 블록의 차분영상의 예측에 이용하는지에 대한 여부를 나타내는 플래그로, 1인 경우 하위 계층의 차분영상 정보를 업 샘플링하여 이용하게 된다. 역시 이때에도 하위 계층의 어떤 뷰의 차분 영상 정보를 이용하는지에 대한 뷰 번호인 ref_view_Idx를 표시해 주어야 한다. 이상과 같은 스케일러블 비디오의 구문을 표로 나타내면, 표 1과 같다.residual_prediction_flag is a flag indicating whether the difference image value of the lower layer is used to predict the difference image of the current block. If residual_prediction_flag is 1, the residual_prediction_flag upsamples the difference image information of the lower layer. Again, ref_view_Idx, which is a view number for which view of the lower layer uses differential image information, must also be displayed. Table 1 shows the syntax of the scalable video as described above.
도 6은 기본 스케일러블 구조에서 계층적 B구조가 아닌 기존의 B 프레임 구조의 경우에서 참조 구조의 하나의 실시 예를 나타낸다. 도 6에서 61은 기초 비디오인 비디오 0에 대한 참조 구조를 나타내고, 62는 비디오 1에 대한 참조 구조를 나타내며, 63은 비디오 2에 대한 참조 구조를 나타낸다.6 illustrates an embodiment of a reference structure in the case of an existing B frame structure that is not a hierarchical B structure in a basic scalable structure. In FIG. 6, 61 represents a reference structure for video 0, which is a basic video, 62 represents a reference structure for video 1, and 63 represents a reference structure for video 2. FIG.
또한 도 7은 도 6에 도시된 참조 구조를 시간을 고정시키고 공간(뷰) 계층 축에서 참조 구조를 "원"과 "가위표"로 나타낸 것이다. 마찬가지로, 도 7에서는 3개 계층의 경우를 나타낸다. 도 7에서 71은 기초 비디오인 비디오 0의 참조 구조를 나타내고, 72는 비디오 1의 참조 구조를 나타내며, 73은 비디오 2의 참조 구조를 나타낸다.FIG. 7 also shows the reference structure shown in FIG. 6 at fixed time and the reference structure in the spatial (view) hierarchy axis as "circles" and "scissors". Similarly, the case of three layers is shown in FIG. In FIG. 7, 71 denotes a reference structure of video 0 which is a basic video, 72 denotes a reference structure of video 1, and 73 denotes a reference structure of video 2.
도 6 및 도 7을 참조하면, 기초 비디오인 비디오 0(61, 71)은 자신의 하위 계층 프레임만을 참조하여 스케일러블 비디오 코딩을 수행한다. 하지만, 비디오 1과 비디오 2는 자신의 하위 계층 프레임을 참조할 뿐만 아니라 주변 비디오의 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행한다.6 and 7, video 0 (61, 71), which is the base video, performs scalable video coding by referring to only its lower layer frame. However, video 1 and video 2 not only refer to their lower layer frames, but also perform scalable video coding by referring to the lower layer of the surrounding video.
이상에서 설명한 바와 같은 본 발명에 따른 예측 참조 구조는 B 프레임 예측 구조가 아닌 기존의 P 프레임 구조의 경우에도 동일하게 적용될 수 있다.As described above, the prediction reference structure according to the present invention can be equally applied to a conventional P frame structure that is not a B frame prediction structure.
도 8은 본 발명에 따른 다른 실시 예에 따른 다시점 비디오의 스케일러블 코딩 장치의 블록 구성도이고, 도 9는 도 8에서 기초 비디오인 비디오 0(91)과 주변 비디오인 비디오 1(92) 및 비디오 2(93)에 대한 참조 구조를 나타낸 것이다.FIG. 8 is a block diagram of a scalable coding apparatus for a multiview video according to another embodiment of the present invention. FIG. 9 is a video 091 and a video 1 92 as a peripheral video and a peripheral video in FIG. 8. The reference structure for video 2 93 is shown.
도 8 및 도 9를 참조하면, 기초 비디오인 비디오 0에 대한 스케일러블 코딩을 수행하는 기초 스케일러빌리티 비디오 인코더(81)는 종래의 단일시점 비디오의 스케일러블 코딩 장치와 동일하게 자신의 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행한다. 따라서 기초 비디오의 경우 기존의 스케일러블 코딩 장치들과 호환이 될 수 있다.8 and 9, the basic scalability video encoder 81 performing scalable coding for video 0, which is the basic video, refers to its lower layer in the same way as the scalable coding apparatus of the conventional single-view video. To perform scalable video coding. Therefore, the base video may be compatible with existing scalable coding devices.
그리고, 비디오 1에서부터 비디오 4까지는 확장된 스케일러빌리티 비디오 인코더(82 내지 85)를 통해 스케일러브 비디오 코딩을 수행한다. 확장된 스케일러빌리티 비디오 인코더(82 내지 85)는 기존의 단일시점 비디오의 스케일러블 코딩 장치와 같이 영상을 다계층 해상도로 분리하고, 분리된 영상 프레임에 대해 시공간으로 예측을 수행할 뿐만 아니라 주변 비디오의 시공간 계층 영상 정보 및 압축 파라메터를 참조하여 압축을 수행한다.And, from video 1 to video 4, scalable video coding is performed through the extended scalability video encoders 82 to 85. The extended scalability video encoders 82 to 85 separate images at a multi-layer resolution like the conventional single-view video scalable coding apparatus, and perform prediction in space-time for the separated image frames as well as the prediction of the surrounding video. Compression is performed by referring to the spatiotemporal layer image information and the compression parameter.
예를 들어, 도 9에 도시된 바와 같이 비디오 1의 향상 계층 1(92)은 비디오 0의 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행하고, 비디오 2의 향상 계층 1(93)은 비디오 1의 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행한다. 다시 말해, 도 8에 도시된 바와 같이 본 발명의 다른 실시 예는 확장된 스케일러빌리티 비디오 인코더가 바로 옆의 하나의 비디오만을 순차적으로 참조하여 스케일러블 비디오 코딩을 수행한다.For example, as shown in FIG. 9, enhancement layer 1 92 of video 1 performs scalable video coding with reference to a lower layer of video 0, and enhancement layer 1 93 of video 2 performs video 1 encoding. Scalable video coding is performed by referring to a lower layer. In other words, as shown in FIG. 8, in another embodiment of the present invention, the scalable scalability video encoder sequentially performs reference to only one video next to the scalable video coding.
이에 따라 기초 스케일러빌리티 비디오 인코더(81)만을 이용하는 경우 기존의 2차원 비디오 서비스가 가능하며, 기초 비디오 0에 대한 기초 스케일러빌리티 비디오 인코더(81)와 비디오 1에 대한 확장된 스케일러빌리티 비디오 인코더(82)를 이용하는 경우 스테레오 비디오 서비스가 가능하게 된다. 또한 기초 비디오 0과 비디오 1과 비디오 2에 의해 3 뷰(view) 서비스가 가능하며, 기초 비디오 0부터 비디오 4에 의해 5 뷰 서비스가 가능하다.Accordingly, when only the basic scalability video encoder 81 is used, the existing two-dimensional video service is possible, and the basic scalability video encoder 81 for the basic video 0 and the extended scalability video encoder 82 for the video 1 are provided. In this case, stereo video service is enabled. In addition, three view service is possible by basic video 0, video 1, and video 2, and five view service is possible by basic video 0 through video 4.
이상에서 설명한 바와 같은 본 발명에 따른 다시점 비디오에 대한 스케일러블 코딩 기술에 대해 정리하면 다음과 같다.The scalable coding technique for the multi-view video according to the present invention as described above is summarized as follows.
먼저, 하나의 기초 비디오(예를 들어, 비디오 0)에 대해 공간 축으로 공간 필터를 사용하여 다계층 해상도로 분리한다. 그리고, 상기 분리된 저해상도 영상 프레임에 대해 시간 축에서 계층적 움직임 예측을 통해 시공간 스케일러블 비디오 코딩을 수행한다. 또한 상기 분리된 고해상도 영상 프레임에 대해 하위 계층을 참조하여 시간 축에서 계층적 움직임 예측을 통해 시공간 스케일러블 비디오 코딩을 수행한다. 그리고, 코딩된 저해상도 영상과 코딩된 적어도 하나 이상의 고해상도 영상을 다중화하여 비트 스트림을 생성한다. 이와 같은 기초 비디오에 대한 스케일러블 비디오 코딩은 종래의 방법과 동일하다.First, a single base video (e.g., video 0) is separated at multiple layers using a spatial filter on the spatial axis. The space-time scalable video coding is performed through hierarchical motion prediction on the separated low resolution image frame. Also, the space-time scalable video coding is performed through hierarchical motion prediction on the time axis with respect to the separated high resolution image frame. The coded low resolution image and the coded at least one high resolution image are multiplexed to generate a bit stream. Scalable video coding for such basic video is the same as the conventional method.
다음, 다시점 비디오들에 대한 확장된 스케일러블 비디오 코딩에 대해 살펴본다.Next, we look at extended scalable video coding for multiview videos.
먼저, 자신의 비디오와 참조 비디오인 적어도 하나 이상의 주변 비디오를 입력받아, 입력된 자신의 비디오 및 주변 비디오에 대해 공간 축으로 공간 필터를 사용하여 다계층 해상도로 분리한다. 그리고 분리된 저해상도 영상 프레임에 대해 시간 축에서 자신의 인접 프레임뿐만 아니라 참조 프레임으로 주변의 프레임을 참조하여 계층적 움직임 예측을 통해 시공간 스케일러블 비디오 코딩을 수행한다. 또한 상기 분리된 고해상된 영상 프레임에 대해 시간 축에서 자신 비디오 프레임에 대한 하위 계층뿐만 아니라 참조 비디오인 주변 비디오 프레임의 하위 계층을 참조하여 계층적 움직임 예측을 통해 스케일러블 비디오 코딩을 수행한다. 그리고, 코딩된 저해상도 영상과 코딩된 적어도 하나 이상의 고해상도 영상을 다중화하여 비트 스트림을 생성한다.First, at least one peripheral video, which is a video of itself and a reference video, is input and separated into multi-layer resolution using a spatial filter on the spatial axis of the input video and the surrounding video. In addition, the spatio-temporal scalable video coding is performed through hierarchical motion prediction with respect to the separated low resolution image frame by referring to the neighboring frame as the reference frame as well as its adjacent frame on the time axis. In addition, scalable video coding is performed through hierarchical motion prediction with respect to the separated high resolution image frame by referring not only to a lower layer of its own video frame but also a lower layer of a neighboring video frame as a reference video. The coded low resolution image and the coded at least one high resolution image are multiplexed to generate a bit stream.
이와 같이 확장된 스케일러블 비디오 코딩은 참조 프레임으로 자신의 인접 프레임 및 하위 계층 프레임만을 사용하는 단일 시점 비디오에 대한 스케일러블 비디오 코딩과 다르게 참조 프레임으로 자신의 하위 계층 프레임뿐만 아니라 주변의 하위 계층 프레임을 사용한다.This scalable video coding differs from scalable video coding for single-view video using only its neighboring and lower layer frames as reference frames, as well as surrounding lower layer frames as well as its lower layer frames. use.
한편, 본 발명에 따른 다시점 비디오에 대한 스케일러블 비디오 디코딩 장치는 전술한 바와 같은 인코딩 장치의 역으로 수행된다.Meanwhile, the scalable video decoding apparatus for multiview video according to the present invention is performed in the reverse of the encoding apparatus as described above.
본 발명에 따른 디코딩 장치에 살펴보면, 디코딩 장치는 하나의 기초 비디오에 대해 스케일러블 코딩된 비트스트림을 수신하여, 역시간 변환 및 역 공간 변환을 통해 복원하는 기초 스케일러빌리티 비디오 디코더; 및 동일 시점에 촬영된 자신의 비디오와 참조 비디오에 대해 시공간 예측을 통해 스케일러블 코딩된 비트스트림을 수신하여, 자신의 하위 계층뿐만 아니라 참조 비디오인 타 비디오 프레임의 하위 계층의 참조 여부에 따라 역 시공간 예측을 통해 적어도 하나 이상의 고해상도 영상 프레임을 복원하고, 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임의 참조 여부에 따라 역 시공간 예측을 통해 저해상도 영상 프레임을 복원한 후, 상기 복원된 고해상도 영상 프레임과 상기 복원된 저해상도 영상 프레임에 대해 역공간 필터링을 통해 영상을 복원하는 복수의 확장된 스케일러빌리티 비디오 디코더를 포함한다.Referring to the decoding apparatus according to the present invention, the decoding apparatus includes: an elementary scalability video decoder for receiving a scalable coded bitstream for one elementary video and reconstructing it through inverse time transform and inverse spatial transform; And receiving a scalable coded bitstream through the spatiotemporal prediction of the own video and the reference video photographed at the same time, and inverse spatiotemporal space according to whether the sublayer of another video frame that is the reference video as well as its own lower layer is referenced. After reconstructing at least one high resolution image frame through prediction, and reconstructing the low resolution image frame through inverse spatiotemporal prediction according to whether the other video frame is referenced in the same time axis as well as its adjacent frame, the reconstructed high resolution image And a plurality of extended scalability video decoders for reconstructing the image through inverse spatial filtering on the frame and the reconstructed low resolution image frame.
본 발명에 따른 디코딩 장치에서 기초 스케일러빌리티 비디오 디코더는, 기존의 스케일러블 비디오 디코더와 동일한 구조를 갖는다. 따라서 이에 대한 구체적인 설명은 생략한다.In the decoding apparatus according to the present invention, the elementary scalability video decoder has the same structure as the existing scalable video decoder. Therefore, detailed description thereof will be omitted.
본 발명에서 확장된 스케일러빌리티 비디오 디코더는, 수신된 비트스트림을 역다중화하는 역다중화부와, 상기 역다중화부에 의해 출력된 고해상도 영상 신호에 대해 자신의 비디오에 대한 하위 계층뿐만 아니라 참조 비디오인 타 비디오에 대한 하위 계층의 참조 여부에 따라 역 시공간 움직임 예측을 통해 스케일러블 디코딩을 수행하는 적어도 하나 이상의 향상계층 디코더와, 상기 역다중화부에 의해 출력된 저해상도 영상 신호에 자신의 비디오 프레임에 대한 역 시공간 움직임 예측뿐만 아니라 시간 축에서 참조 비디오 프레임에 대한 역 움직임 예측을 통해 스케일러블 디코딩을 수행하는 기초계층 디코더와, 상기 향상계층 디코딩더에 의해 복원된 고해상도 영상 및 상기 기초계층 디코더에 의해 복원된 저해상도 영상에 대해 역 공간적 필터링을 통해 영상을 복원하는 역공간적 비디오 필터링부를 포함한다.The extended scalability video decoder according to the present invention includes a demultiplexer for demultiplexing a received bitstream, and a reference video as well as a lower layer of its own video with respect to a high-resolution video signal output by the demultiplexer. At least one enhancement layer decoder that performs scalable decoding through inverse spatiotemporal motion prediction according to whether a lower layer is referred to the video, and an inverse spatiotemporal space for its video frame in a low resolution video signal output by the demultiplexer A base layer decoder that performs scalable decoding by performing inverse motion prediction on a reference video frame on a time axis as well as motion prediction, a high resolution image reconstructed by the enhancement layer decoder and a low resolution image reconstructed by the base layer decoder Inverse spatial filtering for It includes an inverse spatial video filtering unit for reconstructing the image through.
여기서, 기초계층 디코더와 향상 계층 디코더는 앞서 설명한 기초 계층 인코더 및 향상 계층 디코더의 역 동작을 수행하는 것으로, 이에 대한 구체적인 구조 및 동작에 대해서는 설명을 생략한다.Here, the base layer decoder and the enhancement layer decoder perform inverse operations of the base layer encoder and the enhancement layer decoder described above, and a detailed structure and operation thereof will be omitted.
향상계층 디코더는, 고해상도 영상 신호에 대한 디코딩 시, 하위 계층의 움직임 벡터 정보의 사용 여부를 나타내는 플래그와 타 비디오에 대한 하위 계층의 참조 인덱스를 예측 정보로 이용하는지의 여부를 나타내는 플래그와, 하위 계층의 인트라 블록의 타입을 예측정보로 이용하는지 여부를 나타내는 플래그와, 하위 계층의 차분 영상 값의 이용 여부에 대한 플래그와, 예측에 사용된 참조 뷰의 인덱스를 참조하여 스케일러블 디코딩을 수행한다.The enhancement layer decoder may include a flag indicating whether to use motion vector information of a lower layer and a reference index of a lower layer for another video as prediction information when decoding a high resolution video signal, and a lower layer. Scalable decoding is performed by referring to a flag indicating whether an intra block type of is used as prediction information, a flag indicating whether a difference image value of a lower layer is used, and an index of a reference view used for prediction.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.On the other hand, the method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily inferred by a computer programmer in the art. In addition, the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention. The recording medium may include any type of computer readable recording medium.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
Claims (18)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20060103923 | 2006-10-25 | ||
KR1020060103923 | 2006-10-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080037593A KR20080037593A (en) | 2008-04-30 |
KR100919885B1 true KR100919885B1 (en) | 2009-09-30 |
Family
ID=39324782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070108021A KR100919885B1 (en) | 2006-10-25 | 2007-10-25 | Multi-view video scalable coding and decoding |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP5170786B2 (en) |
KR (1) | KR100919885B1 (en) |
WO (1) | WO2008051041A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9288505B2 (en) | 2011-08-11 | 2016-03-15 | Qualcomm Incorporated | Three-dimensional video with asymmetric spatial resolution |
US9485503B2 (en) | 2011-11-18 | 2016-11-01 | Qualcomm Incorporated | Inside view motion prediction among texture and depth view components |
US9521418B2 (en) | 2011-07-22 | 2016-12-13 | Qualcomm Incorporated | Slice header three-dimensional video extension for slice header prediction |
US11496760B2 (en) | 2011-07-22 | 2022-11-08 | Qualcomm Incorporated | Slice header prediction for depth maps in three-dimensional video codecs |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009130561A1 (en) * | 2008-04-21 | 2009-10-29 | Nokia Corporation | Method and device for video coding and decoding |
CN101588252B (en) | 2008-05-23 | 2011-07-20 | 华为技术有限公司 | Control method and control device of multipoint conference |
KR101012760B1 (en) * | 2008-09-05 | 2011-02-08 | 에스케이 텔레콤주식회사 | System and Method for transmitting and receiving of Multi-view video |
KR101146138B1 (en) * | 2008-12-10 | 2012-05-16 | 한국전자통신연구원 | Temporal scalabel video encoder |
KR101537709B1 (en) * | 2008-12-30 | 2015-07-20 | 엘지전자 주식회사 | Digital broadcast receiving method providing two-dimensional image and 3d image integration service, and digital broadcast receiving device using the same |
WO2010120804A1 (en) | 2009-04-13 | 2010-10-21 | Reald Inc. | Encoding, decoding, and distributing enhanced resolution stereoscopic video |
US9270871B2 (en) | 2009-04-20 | 2016-02-23 | Dolby Laboratories Licensing Corporation | Optimized filter selection for reference picture processing |
CN102461183B (en) * | 2009-06-16 | 2015-08-19 | Lg电子株式会社 | Broadcast transmitter, broadcasting receiver and 3D method for processing video frequency thereof |
US9648346B2 (en) | 2009-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Multi-view video compression and streaming based on viewpoints of remote viewer |
KR20110007928A (en) * | 2009-07-17 | 2011-01-25 | 삼성전자주식회사 | Method and apparatus for encoding/decoding multi-view picture |
KR101144752B1 (en) * | 2009-08-05 | 2012-05-09 | 경희대학교 산학협력단 | video encoding/decoding method and apparatus thereof |
KR20110015356A (en) | 2009-08-07 | 2011-02-15 | 한국전자통신연구원 | Video encoding and decoding apparatus and method using adaptive transform and quantization domain that based on a differential image signal characteristic |
WO2011016701A2 (en) * | 2009-08-07 | 2011-02-10 | 한국전자통신연구원 | Motion picture encoding apparatus and method thereof |
US20110080948A1 (en) * | 2009-10-05 | 2011-04-07 | Xuemin Chen | Method and system for 3d video decoding using a tier system framework |
FR2951346A1 (en) * | 2009-10-08 | 2011-04-15 | Thomson Licensing | MULTIVATED CODING METHOD AND CORRESPONDING DECODING METHOD |
EP2591602A1 (en) * | 2010-07-06 | 2013-05-15 | Koninklijke Philips Electronics N.V. | Generation of high dynamic range images from low dynamic range images |
CN103155568B (en) * | 2010-07-08 | 2016-07-27 | 杜比实验室特许公司 | For using reference process signal to carry out the system and method for multi-layer image and transmission of video |
CN105812827B (en) | 2010-07-21 | 2019-04-16 | 杜比实验室特许公司 | Coding/decoding method for the transmission of multilayer frame compatible video |
KR20120118781A (en) * | 2011-04-19 | 2012-10-29 | 삼성전자주식회사 | Method and apparatus for unified scalable video encoding for multi-view video, method and apparatus for unified scalable video decoding for multi-view video |
JP2013038623A (en) * | 2011-08-09 | 2013-02-21 | Sony Corp | Image encoder and image encoding method and program |
MX2014001617A (en) | 2011-08-09 | 2014-05-28 | Samsung Electronics Co Ltd | Method for multiview video prediction encoding and device for same, and method for multiview video prediction decoding and device for same. |
WO2013042359A1 (en) * | 2011-09-22 | 2013-03-28 | パナソニック株式会社 | Moving-image encoding method, moving-image encoding device, moving image decoding method, and moving image decoding device |
WO2013051896A1 (en) * | 2011-10-05 | 2013-04-11 | 한국전자통신연구원 | Video encoding/decoding method and apparatus for same |
KR20130046534A (en) * | 2011-10-28 | 2013-05-08 | 삼성전자주식회사 | Method and apparatus for encoding image and method and apparatus for decoding image |
WO2013076991A1 (en) * | 2011-11-25 | 2013-05-30 | パナソニック株式会社 | Image coding method, image coding device, image decoding method and image decoding device |
KR101346349B1 (en) * | 2012-01-30 | 2013-12-31 | 광운대학교 산학협력단 | Apparatus and Method for scalable multi-view video decoding |
WO2013115609A1 (en) * | 2012-02-02 | 2013-08-08 | 한국전자통신연구원 | Interlayer prediction method and device for image signal |
EP2835971A4 (en) | 2012-04-03 | 2015-04-08 | Panasonic Ip Corp America | Image encoding method, image decoding method, image encoding device, and image decoding device |
US10863170B2 (en) * | 2012-04-16 | 2020-12-08 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding on the basis of a motion vector |
CN104620578B (en) * | 2012-07-06 | 2018-01-02 | 三星电子株式会社 | Method and apparatus for the multi-layer video coding of random access and the method and apparatus of the multi-layer video decoding for random access |
WO2014088316A2 (en) * | 2012-12-04 | 2014-06-12 | 인텔렉추얼 디스커버리 주식회사 | Video encoding and decoding method, and apparatus using same |
WO2014129873A1 (en) * | 2013-02-25 | 2014-08-28 | 엘지전자 주식회사 | Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor |
US10616607B2 (en) | 2013-02-25 | 2020-04-07 | Lg Electronics Inc. | Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor |
KR101595397B1 (en) * | 2013-07-26 | 2016-02-29 | 경희대학교 산학협력단 | Method and apparatus for integrated encoding/decoding of different multilayer video codec |
WO2015016535A1 (en) * | 2013-07-30 | 2015-02-05 | 주식회사 케이티 | Image encoding and decoding method supporting plurality of layers and apparatus using same |
CN105453562B (en) | 2013-07-30 | 2018-12-25 | 株式会社Kt | Support multiple layers of image coding and decoding method and the device using this method |
US9894357B2 (en) | 2013-07-30 | 2018-02-13 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060065553A (en) * | 2004-12-10 | 2006-06-14 | 한국전자통신연구원 | Apparatus for universal coding for multi-view video |
KR20060101847A (en) * | 2005-03-21 | 2006-09-26 | 엘지전자 주식회사 | Method for scalably encoding and decoding video signal |
KR20060105449A (en) * | 2005-04-01 | 2006-10-11 | 경희대학교 산학협력단 | Multiview scalable image encoding, decoding method and its apparatus |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100481732B1 (en) * | 2002-04-20 | 2005-04-11 | 전자부품연구원 | Apparatus for encoding of multi view moving picture |
US7468745B2 (en) * | 2004-12-17 | 2008-12-23 | Mitsubishi Electric Research Laboratories, Inc. | Multiview video decomposition and encoding |
-
2007
- 2007-10-25 KR KR1020070108021A patent/KR100919885B1/en not_active IP Right Cessation
- 2007-10-25 WO PCT/KR2007/005294 patent/WO2008051041A1/en active Application Filing
- 2007-10-25 JP JP2009534496A patent/JP5170786B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060065553A (en) * | 2004-12-10 | 2006-06-14 | 한국전자통신연구원 | Apparatus for universal coding for multi-view video |
KR20060101847A (en) * | 2005-03-21 | 2006-09-26 | 엘지전자 주식회사 | Method for scalably encoding and decoding video signal |
KR20060105449A (en) * | 2005-04-01 | 2006-10-11 | 경희대학교 산학협력단 | Multiview scalable image encoding, decoding method and its apparatus |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9521418B2 (en) | 2011-07-22 | 2016-12-13 | Qualcomm Incorporated | Slice header three-dimensional video extension for slice header prediction |
US11496760B2 (en) | 2011-07-22 | 2022-11-08 | Qualcomm Incorporated | Slice header prediction for depth maps in three-dimensional video codecs |
US9288505B2 (en) | 2011-08-11 | 2016-03-15 | Qualcomm Incorporated | Three-dimensional video with asymmetric spatial resolution |
US9485503B2 (en) | 2011-11-18 | 2016-11-01 | Qualcomm Incorporated | Inside view motion prediction among texture and depth view components |
Also Published As
Publication number | Publication date |
---|---|
WO2008051041A1 (en) | 2008-05-02 |
KR20080037593A (en) | 2008-04-30 |
JP2010507961A (en) | 2010-03-11 |
JP5170786B2 (en) | 2013-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100919885B1 (en) | Multi-view video scalable coding and decoding | |
US7889793B2 (en) | Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer | |
CN1722838B (en) | Scalable video coding method and apparatus using base-layer | |
US8040950B2 (en) | Method and apparatus for effectively compressing motion vectors in multi-layer structure | |
KR100621581B1 (en) | Method for pre-decoding, decoding bit-stream including base-layer, and apparatus thereof | |
KR100760258B1 (en) | Apparatus for Universal Coding for Multi-View Video | |
KR100789753B1 (en) | Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same | |
JP4991699B2 (en) | Scalable encoding and decoding methods for video signals | |
JP5059766B2 (en) | Disparity vector prediction method, and method and apparatus for encoding and decoding a multi-view video using the method | |
KR100703745B1 (en) | Video coding method and apparatus for predicting effectively unsynchronized frame | |
EP1659797A2 (en) | Method and apparatus for compressing motion vectors in video coder based on multi-layer | |
KR100703746B1 (en) | Video coding method and apparatus for predicting effectively unsynchronized frame | |
MX2008002391A (en) | Method and apparatus for encoding multiview video. | |
KR20150004289A (en) | Video including multi layers encoding and decoding method | |
EP1730967B1 (en) | Method and apparatus for effectively compressing motion vectors in multi-layer structure | |
MXPA06006117A (en) | Method and apparatus for scalable video encoding and decoding. | |
RU2810966C1 (en) | Methods of signaling combination of reference image resampling and spatial scalability | |
Sreedhar | Multiview Video Coding for Virtual Reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120910 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20130829 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |