KR101346349B1

KR101346349B1 - Apparatus and Method for scalable multi-view video decoding

Info

Publication number: KR101346349B1
Application number: KR1020120011969A
Authority: KR
Inventors: 최효민; 심동규; 남정학
Original assignee: 광운대학교 산학협력단
Priority date: 2012-01-30
Filing date: 2012-02-06
Publication date: 2013-12-31
Also published as: KR20130087980A

Abstract

스케일러블 다시점 영상 복호화 장치는 제1 채널 및 제2 채널의 입력 영상을 포함하는 스케일러블 다시점 영상을 수신하는 수신부, 참조 영상을 저장하는 제1 버퍼, 상기 제 1채널의 입력 영상을 복호화하여 제1 차분 영상을 생성하는 제1 디코딩부, 상기 참조 영상을 참조하여 상기 제1 차분 영상에 상응하는 제1 예측 영상을 생성하는 제1 예측부, 상기 제1 채널의 입력 영상이 복합 루프 방식에 상응하는 경우 또는 상기 제1 채널의 입력 영상이 단일 루프 방식에 상응하고 상기 제1 채널의 입력 영상에 상응하는 헤더 정보가 인트라(intra) 타입을 나타내는 경우, 상기 제1 차분 영상과 상기 제2 예측 영상을 합산한 제1 복원 영상을 상기 제2 채널의 해상도에 상응하도록 보간하여 보간 영상을 생성하는 보간 영상 생성부, 상기 보간 영상을 저장하는 제2 버퍼, 상기 제2 채널의 영상을 복호화하여 제2 차분 영상을 생성하는 제2 디코딩부 및 상기 보간 영상을 참조하여 상기 제2 차분 영상에 상응하는 제2 예측 영상을 생성하는 제2 예측부를 포함한다.The scalable multiview image decoding apparatus may further include a receiver configured to receive a scalable multiview image including an input image of a first channel and a second channel, a first buffer to store a reference image, and decode the input image of the first channel. A first decoder configured to generate a first differential image; a first predictor configured to generate a first predicted image corresponding to the first differential image by referring to the reference image; In case of corresponding or when the input image of the first channel corresponds to a single loop scheme and the header information corresponding to the input image of the first channel indicates an intra type, the first differential image and the second prediction An interpolation image generation unit for generating an interpolation image by interpolating a first reconstructed image obtained by adding the images to the resolution of the second channel, a second buffer for storing the interpolation image, Refer to the second decoder and the interpolation image generating a second difference image by decoding the image of the group and the second channel includes a second prediction unit for generating a second prediction image corresponding to the second difference image.

Description

Apparatus and Method for scalable multi-view video decoding

본 발명은 차세대 스케일러블 다시점 영상 복호화 장치 및 방법에 관한 것으로서, 보다 상세하게는 채널 간 예측 기술을 이용한 스케일러블 다시점 영상 영상 복호화 장치 및 방법에 관한 것이다.
The present invention relates to a next generation scalable multiview image decoding apparatus and method, and more particularly, to a scalable multiview image decoding apparatus and method using an inter-channel prediction technique.

H.264/AVC scalable extension annex G 는 H.264/AVC 이후 다양한 환경에서의 다양한 서비스를 위해 시간, 공간, 화질측면에서의 효율적인 영상 부복호화가 가능할 수 있도록 스케일러블을 제공하는 H.264/AVC의 확장 표준이다. 또한 H.264/AVC scalable extension annex H 는 H.264/AVC 이후 다시점 영상 부호화가 가능하도록 확장한 표준이다.H.264 / AVC scalable extension annex G provides scalable H.264 / AVC for efficient video encoding and decoding in terms of time, space and quality for various services in various environments after H.264 / AVC. Is an extension of the standard. In addition, H.264 / AVC scalable extension annex H is an extended standard to enable multi-view image coding after H.264 / AVC.

H.264/AVC scalable extension 은 H.264/AVC의 확장 표준으로써, H.264/AVC 표준과 호환이 되며, 스케일러블의 특성을 고려한 몇 가지 추가된 예측 기술을 포함하고 있다. H.264/AVC scalable extension은 효과적인 스케일러블 부호화를 위해 세 가지 계층 간 예측 방법을 사용하고 있다. 계층 간 인트라 예측 방법(계층 간 텍스처 예측 방법), 계층 간 인터 예측 방법, 그리고 계층 간 차분 신호 예측 방법이다. H.264/AVC multi-view extension 또한 H.264/AVC 표준과 호환 되며, 다시점 영상의 특성을 고려하여 참조 시점의 복원된 영상을 참조 프레임으로써 사용하는 화면 간 예측 방법을 포함한다.The H.264 / AVC scalable extension is an extension standard of H.264 / AVC. It is compatible with the H.264 / AVC standard and includes several additional prediction techniques considering scalable characteristics. The H.264 / AVC scalable extension uses three inter-layer prediction methods for efficient scalable coding. Inter-layer intra prediction method (inter-layer texture prediction method), inter-layer inter prediction method, and inter-layer differential signal prediction method. The H.264 / AVC multi-view extension is also compatible with the H.264 / AVC standard and includes an inter prediction method that uses a reconstructed image of a reference view as a reference frame in consideration of characteristics of a multiview image.

계층 간 인트라 예측 방법은 참조 계층의 복호화된 영상을 부호화 하고자 하는 해상도와 동일 해상도로 맞추어 예측 신호로 사용하는 방법이다. 상하 계층간 해상도가 다를 경우 부호화 하고자 하는 계층의 해상도로 맞추기 위해 보간 필터를 사용한다. 이후 참조 계층에 대응되는 블록이 화면 내 예측 방법으로 부호화 되었을 경우, 해당 블록의 복호화된 영상을 예측 신호로 사용한다.The inter-layer intra prediction method uses a decoded image of a reference layer at the same resolution as that to be encoded and uses it as a prediction signal. If the resolution between the upper and lower layers is different, an interpolation filter is used to match the resolution of the layer to be encoded. Subsequently, when a block corresponding to the reference layer is encoded by an intra prediction method, the decoded image of the block is used as a prediction signal.

계층 간 인터 예측 방법은 화면 간 예측 슬라이스의 경우 디코더의 복잡도를 고려하여 하위 계층을 완전히 복호화 하지 않기 때문에 참조 계층의 대응되는 블록의 움직임 정보를 해상도를 고려하여 사용하는 방법이다. 따라서 움직임 벡터를 해상도 변화에 맞추어 스케일링하여 부호화 하고자 하는 계층에서 시간축으로 복호화된 영상으로부터 움직임 보상을 수행하여 예측 신호로 사용하고, 움직임 정보는 전송하지 않아도 된다. The inter-layer inter prediction method is a method of using motion information of a corresponding block of a reference layer in consideration of resolution because the inter-layer prediction slice does not completely decode the lower layer in consideration of the complexity of the decoder. Therefore, the motion vector may be used as a prediction signal by performing motion compensation on an image decoded on the time axis in a layer to be scaled and encoded according to a change in resolution and using motion information.

계층 간 차분 신호 예측 방법은 참조 계층의 대응되는 블록의 차분신호를 부호화 하고자 하는 계층의 해상도에 맞게 보간 필터를 사용하여 보간 후, 부호화 하고자 하는 계층의 해당 블록의 차분신호에 추가적으로 차분을 내고 남은 신호를 부호화 하는 방법이다.The inter-layer differential signal prediction method interpolates using the interpolation filter according to the resolution of the layer to encode the difference signal of the corresponding block of the reference layer, and then adds the difference signal to the difference signal of the corresponding block of the layer to be encoded. The method of encoding.

화면 간 예측 방법은 복원된 참조 시점의 영상을 현재 시점의 부호화시 참조 화면으로 사용함으로써, 현재 부호화 시점의 영상과 유사한 참조 화면을 제공하여 부호화 효율을 향상 시키는 방법이다.The inter prediction method is a method of improving coding efficiency by providing a reference picture similar to an image of a current encoding view by using a reconstructed reference view as a reference picture when encoding a current view.

H.264/AVC 및 scalable, multi-view extension의 표준화 이후 초고해상도 영상을 위한 차세대 영상 부호화 표준화 활동을 위한 그룹으로써, ITU-T Study Group16 VCEG(Video Coding Experts Group) 과 ISO/IEC JTC 1/SC29/WG11 MPEG (Moving Picture Experts Group)이 함께 JCT-VC (Joint Collaborative Team on Video Coding)가 만들어졌다. ITU-T Study Group16 Video Coding Experts Group (VCEG) and ISO / IEC JTC 1 / SC29 as a group for the next-generation video coding standardization activities for ultra-high resolution images after standardization of H.264 / AVC and scalable, multi-view extensions. Joint Collaborative Team on Video Coding (JCT-VC) was created together with WG11 Moving Picture Experts Group (MPEG).

JCT-VC 는 초고해상도 영상을 위한 차세대 영상 부호화 압축 표준을 위해 H.264/AVC의 압축 효율 보다 2배 더 높은 수준의 부호화 성능을 얻기 위해 많은 기술들을 고려하고 있다.JCT-VC considers a number of technologies to achieve coding performance that is twice as high as H.264 / AVC's compression efficiency for the next generation video coding compression standard for ultra high resolution video.

H.264/AVC 보다 2배 더 높은 수준의 부호화 성능에 도달하기 위해, H.264/AVC에서 사용하는 기본 부호화 블록 단위인 16x16 블록 크기에서 벗어나 다양한 부호화 블록 단위를 사용하여 부호화 할 수 있다. 이에 따라 이산 여현 변환(DCT) 의 크기도 다양한 크기로써 사용할 수 있도록 하였다. 기본 부호화 블록이 다양화 되면서, 예측방법에도 그 다양성이 적용되었다. In order to achieve coding performance that is twice as high as that of H.264 / AVC, it is possible to encode using various coding block units away from the 16x16 block size, which is a basic coding block unit used in H.264 / AVC. Accordingly, the size of the discrete cosine transform (DCT) can be used as various sizes. As the basic coding blocks diversified, the diversity was applied to the prediction method.

인트라 예측 부호화의 경우 H.264/AVC에서 최대 9개의 방향성 부호화를 사용한 반면, 차세대 영상 부호화 표준 활동에서는 약 4배 정도의 다양한 예측 방향을 사용함으로써 예측 성능을 향상시켰다. 인터 예측 부호화의 경우 H.264/AVC 에서 사용하던 6-tap 보간 필터를 사용하는 대신 이산 여현 변환 기반의 보간 필터 계수를 만들어 사용하여 참조 화면의 보간을 보다 정밀하게 함으로써 부호화 효율을 올렸다. 또한 움직임 벡터의 예측에 있어서, 기존 H.264/AVC에서 사용하던 현재 블록의 왼쪽, 위쪽, 오른쪽 위의 움직임 벡터의 중간 값을 통해 얻은 움직임 벡터를 사용하지 않고, 보다 다양한 후보 군을 통해 적응적으로 최대 부호화 효율을 갖도록 하였다. 이외에도 다양하고, 새로운 기술을 통하여 초고해상도 영상 부호화에 적합한 차세대 영상 부호화 표준화를 진행하고 있다. 이러한 초고행상도 영상 부호화 기술을 통하여 다양한 해상도의 다시점 영상들을 하나의 부호화 표준으로써 스케일러블 및 다시점 영상을 부호화를 제공 함으로써 향후 미래 시장에 다양한 응용 제품을 제공할 수 있을 것으로 기대한다.
In the case of intra prediction coding, up to nine directional codings are used in H.264 / AVC, while the prediction performance is improved by using various prediction directions about four times in the next-generation video coding standard activities. In the case of inter prediction coding, instead of using the 6-tap interpolation filter used in H.264 / AVC, the interpolation filter coefficients based on the discrete cosine transform are made and used to increase the coding efficiency by making the interpolation of the reference picture more precise. In addition, in the prediction of motion vectors, adaptive motion is obtained through various candidate groups without using the motion vectors obtained through the median values of the motion vectors on the left, top, and right sides of the current block used in the existing H.264 / AVC. In order to have the maximum coding efficiency. In addition, various new technologies are being used to standardize next-generation video encoding suitable for ultra-high resolution video encoding. Such ultra-high resolution image encoding technology is expected to provide a variety of application products in the future market by providing scalable and multi-view image encoding with multi-view images of various resolutions as one coding standard.

본 발명이 해결하고자 하는 과제는 스케일러블 혹은 다시점의 채널 간 예측 방법을 포함한 스케일러블 다시점 영상 부호화/복호화 방법 및 장치를 제공 하는 것이다. An object of the present invention is to provide a scalable multiview image encoding / decoding method and apparatus including a scalable or multiview interchannel prediction method.

종래의 H.264/AVC scalable extension 을 이용한 스케일러블 영상 부호화 장치는 계층 간 예측을 위한 3가지 예측 방법, 계층 간 인트라, 계층 간 움직임, 그리고 계층 간 차분신호 예측 방법이 있다. 각각의 계층 간 예측 방법은 동일 시점의 영상을 사용한다는 조건으로 예측 기술들의 평가되었으며, 단일-루프 복호화 방법을 사용함으로써 참조 계층의 인터 슬라이스에 대해서는 완전한 복호화과정을 거치지 않는다는 특징이 있다. 이러한 특징은 종래 H.264/AVC scalable extension을 이용하여 다시점 영상을 부호화 하는데에는 부호화 효율의 한계가 있으며 효과적이지 않다. 반대로 H.264/AVC multi-view extension 의 경우 복합-루프 복호화 방법을 사용함으로써 모든 시점의 영상에 대하여 완전한 복호화를 수행한다. 복호화가 수행된 참조 시점의 화면은 현재 부호화 시점 영상 부호화시 참조 화면으로 사용되어 상당한 부호화 효율을 보인다. 특히 고정 시점의 영상을 제외한 향상 시점의 영상들의 경우 화면 내 예측 슬라이스들이 모두 참조 시점의 복원된 영상을 사용함으로써 화면 간 예측 슬라이스로 부호화 됨으로써 상당한 부호화 효율을 보인다. H.264/AVC multi-view extension을 이용하여 스케일러블 영상 부호화를 수행할 경우, 복호화 과정에서 복합-루프를 사용함으로써 복호화기의 복잡도가 매우 향상되는 단점이 있다.The conventional scalable video encoding apparatus using H.264 / AVC scalable extension includes three prediction methods for inter-layer prediction, intra-layer intra, inter-layer motion, and inter-layer differential signal prediction. Each inter-layer prediction method is evaluated in the prediction techniques under the condition of using an image of the same view, and the single-loop decoding method is used so that the inter-slice of the reference layer is not completely decoded. Such a feature has a limitation of coding efficiency and is not effective for encoding a multiview image using a conventional H.264 / AVC scalable extension. On the contrary, in the case of H.264 / AVC multi-view extension, the complex-loop decoding method is used to perform a complete decoding on the images of all views. The picture of the reference view from which decoding is performed is used as a reference picture in encoding the current encoding view image, thereby showing considerable encoding efficiency. In particular, in the case of the enhancement view images other than the fixed view image, all the prediction slices in the picture are encoded into the inter-prediction slice by using the reconstructed image of the reference view, thereby showing significant coding efficiency. When performing scalable video encoding using the H.264 / AVC multi-view extension, the complexity of the decoder is greatly improved by using a complex-loop in the decoding process.

이러한 상기 문제점들을 해결하고자 확장된 차세대 영상 부호화/복호화 방법 및 장치에서는 제안하는 채널 간 예측 기술을 이용하여 스케일러블 및 다시점 영상 부호화를 함께 제공하는 영상 부호화/복호화 장치를 제안한다.In order to solve the above problems, an extended next generation image encoding / decoding method and apparatus propose an image encoding / decoding apparatus that provides scalable and multi-view image encoding using a proposed inter-channel prediction technique.

본 발명의 해결 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 측면에 따르면 제1 채널 및 제2 채널의 입력 영상을 포함하는 스케일러블 다시점 영상을 수신하는 수신부; 참조 영상을 저장하는 제1 버퍼; 상기 제 1채널의 입력 영상을 복호화하여 제1 차분 영상을 생성하는 제1 디코딩부; 상기 참조 영상을 참조하여 상기 제1 차분 영상에 상응하는 제1 예측 영상을 생성하는 제1 예측부; 상기 제1 채널의 입력 영상이 복합 루프 방식에 상응하는 경우 또는 상기 제1 채널의 입력 영상이 단일 루프 방식에 상응하고 상기 제1 채널의 입력 영상에 상응하는 헤더 정보가 인트라(intra) 타입을 나타내는 경우, 상기 제1 차분 영상과 상기 제2 예측 영상을 합산한 제1 복원 영상을 상기 제2 채널의 해상도에 상응하도록 보간하여 보간 영상을 생성하는 보간 영상 생성부; 상기 보간 영상을 저장하는 제2 버퍼; 상기 제2 채널의 영상을 복호화하여 제2 차분 영상을 생성하는 제2 디코딩부; 및 상기 보간 영상을 참조하여 상기 제2 차분 영상에 상응하는 제2 예측 영상을 생성하는 제2 예측부를 포함하되, 상기 제1 버퍼는 상기 제1 복원 영상을 출력하고, 상기 제2 버퍼는 상기 제2 복원 영상을 출력하는 것을 특징으로 하는 스케일러블 다시점 영상 복호화 장치가 제공된다.According to an aspect of the present invention, a receiver for receiving a scalable multiview image including an input image of a first channel and a second channel; A first buffer for storing a reference picture; A first decoder to decode the input image of the first channel to generate a first difference image; A first predictor configured to generate a first predicted image corresponding to the first differential image by referring to the reference image; When the input image of the first channel corresponds to a composite loop scheme or the input image of the first channel corresponds to a single loop scheme and header information corresponding to the input image of the first channel indicates an intra type. An interpolation image generation unit generating an interpolation image by interpolating a first reconstructed image obtained by adding the first difference image and the second prediction image to correspond to the resolution of the second channel; A second buffer for storing the interpolated image; A second decoder to decode an image of the second channel to generate a second difference image; And a second predictor configured to generate a second predicted image corresponding to the second differential image by referring to the interpolated image, wherein the first buffer outputs the first reconstructed image, and the second buffer includes the second predictive image. Provided is a scalable multiview image decoding apparatus, characterized by outputting two reconstructed images.

상기 보간 영상 생성부는 상기 제1 채널의 입력 영상이 복합 루프 방식에 상응하는 경우 또는 상기 제1 채널의 입력 영상이 단일 루프 방식에 상응하고 상기 제1 채널의 입력 영상에 상응하는 헤더 정보가 인트라(intra) 타입을 나타내는 경우, 상기 제1 복원 영상을 상기 제2 채널의 해상도에 상응하도록 보간하여 상기 보간 영상을 생성하는 텍스처 보간부; 상기 제1 채널의 입력 영상이 단일 루프 방식에 상응하고 상기 제1 채널의 입력 영상에 상응하는 헤더 정보가 인터(inter) 타입을 나타내는 경우, 상기 제1 차분 영상에 상응하는 움직임 벡터 및 상기 참조 영상을 상기 제2 채널의 해상도에 상응하도록 보간하고 상기 참조 영상을 상기 움직임 벡터에 따라 보상하는 움직임 보상부; 및 상기 제1 채널의 입력 영상이 단일 루프 방식에 상응하고 상기 제1 채널의 입력 영상에 상응하는 헤더 정보가 인터(inter) 타입을 나타내는 경우, 상기 차분 신호를 상기 제2 채널의 해상도에 상응하도록 보간하고 상기 움직임 벡터에 따라 보상된 참조 영상을 상기 보간된 차분 신호로 보상하여 상기 보간 영상을 생성하는 차분 신호 보상부를 포함할 수 있다.The interpolation image generating unit may include header information corresponding to a case where the input image of the first channel corresponds to a complex loop scheme or the input image of the first channel corresponds to a single loop scheme and the input information of the first channel is intra ( an inter) texture interpolation unit for generating the interpolation image by interpolating the first reconstructed image to correspond to the resolution of the second channel; When the input image of the first channel corresponds to a single loop scheme and the header information corresponding to the input image of the first channel indicates an inter type, the motion vector and the reference image corresponding to the first differential image. A motion compensator for interpolating a signal corresponding to the resolution of the second channel and compensating the reference image according to the motion vector; And when the input image of the first channel corresponds to a single loop scheme and the header information corresponding to the input image of the first channel indicates an inter type, the difference signal to correspond to the resolution of the second channel. It may include a differential signal compensation unit for interpolating and generating the interpolated image by compensating the reference image compensated according to the motion vector with the interpolated differential signal.

상기 보간 영상 생성부는 상기 보간 영상을 필터링하는 향상 필터부를 더 포함할 수 있다.The interpolation image generator may further include an enhancement filter that filters the interpolation image.

상기 보간 영상 생성부는 상기 제2 채널이 향상 채널일 경우에 상기 보간 영상을 생성할 수 있다.
The interpolation image generator may generate the interpolation image when the second channel is an enhancement channel.

본 발명의 다른 측면에 따르면, 스케일러블 다시점 영상 복호화 장치가 스케일러블 다시점 영상을 복호화하는 방법에 있어서, 제1 채널 및 제2 채널의 입력 영상을 포함하는 스케일러블 다시점 영상을 수신하는 단계; 상기 제 1채널의 입력 영상을 복호화하여 제1 차분 영상을 생성하는 단계; 제1 버퍼에 저장된 참조 영상을 참조하여 상기 제1 차분 영상에 상응하는 제1 예측 영상을 생성하는 단계; 상기 제1 차분 영상과 상기 제2 예측 영상을 합산한 제1 복원 영상을 생성하는 단계; 상기 제1 채널의 입력 영상이 복합 루프 방식에 상응하는 경우 또는 상기 제1 채널의 입력 영상이 단일 루프 방식에 상응하고 상기 제1 채널의 입력 영상에 상응하는 헤더 정보가 인트라(intra) 타입을 나타내는 경우, 상기 제1 복원 영상을 상기 제2 채널의 해상도에 상응하도록 보간하여 보간 영상을 생성하는 단계; 상기 보간 영상을 제2 버퍼에 저장하는 단계; 상기 제2 채널의 영상을 복호화하여 제2 차분 영상을 생성하는 단계; 및 상기 보간 영상을 참조하여 상기 제2 차분 영상에 상응하는 제2 예측 영상을 생성하는 단계; 및 상기 제2 차분 영상 및 상기 제2 예측 영상을 합산하여 제2 복원 영상을 생성하는 단계를 포함하는 스케일러블 다시점 영상 복호화 방법이 제공된다.According to another aspect of the present invention, a method for decoding a scalable multiview image by a scalable multiview image decoding apparatus, the method comprising: receiving a scalable multiview image including an input image of a first channel and a second channel ; Generating a first difference image by decoding the input image of the first channel; Generating a first prediction image corresponding to the first difference image by referring to a reference image stored in a first buffer; Generating a first reconstructed image obtained by adding the first differential image and the second prediction image; When the input image of the first channel corresponds to a composite loop scheme or the input image of the first channel corresponds to a single loop scheme and header information corresponding to the input image of the first channel indicates an intra type. If the first reconstructed image is interpolated to correspond to the resolution of the second channel, generating an interpolated image; Storing the interpolated image in a second buffer; Generating a second differential image by decoding the image of the second channel; Generating a second prediction image corresponding to the second difference image with reference to the interpolation image; And generating a second reconstructed image by summing the second differential image and the second predictive image.

상기 보간 영상을 생성하는 단계는 상기 제1 채널의 입력 영상이 복합 루프 방식에 상응하는 경우 또는 상기 제1 채널의 입력 영상이 단일 루프 방식에 상응하고 상기 제1 채널의 입력 영상에 상응하는 헤더 정보가 인트라(intra) 타입을 나타내는 경우, 상기 제1 복원 영상을 상기 제2 채널의 해상도에 상응하도록 보간하여 상기 보간 영상을 생성하는 단계; 상기 제1 채널의 입력 영상이 단일 루프 방식에 상응하고 상기 제1 채널의 입력 영상에 상응하는 헤더 정보가 인터(inter) 타입을 나타내는 경우, 상기 제1 차분 영상에 상응하는 움직임 벡터 및 상기 참조 영상을 상기 제2 채널의 해상도에 상응하도록 보간하고 상기 참조 영상을 상기 움직임 벡터에 따라 보상하는 단계; 및 상기 제1 채널의 입력 영상이 단일 루프 방식에 상응하고 상기 제1 채널의 입력 영상에 상응하는 헤더 정보가 인터(inter) 타입을 나타내는 경우, 상기 차분 신호를 상기 제2 채널의 해상도에 상응하도록 보간하고 상기 움직임 벡터에 따라 보상된 참조 영상을 상기 보간된 차분 신호로 보상하여 상기 보간 영상을 생성하는 단계를 포함할 수 있다.The generating of the interpolation image may include header information when the input image of the first channel corresponds to a complex loop scheme or the input image of the first channel corresponds to a single loop scheme and corresponds to the input image of the first channel. If the intra type represents an intra type, generating the interpolated image by interpolating the first reconstructed image to correspond to the resolution of the second channel; When the input image of the first channel corresponds to a single loop scheme and the header information corresponding to the input image of the first channel indicates an inter type, the motion vector and the reference image corresponding to the first differential image. Interpolating to correspond to the resolution of the second channel and compensating the reference image according to the motion vector; And when the input image of the first channel corresponds to a single loop scheme and the header information corresponding to the input image of the first channel indicates an inter type, the difference signal to correspond to the resolution of the second channel. And interpolating and compensating the reference image compensated according to the motion vector with the interpolated differential signal to generate the interpolated image.

상기 보간 영상을 생성하는 단계는 상기 보간 영상을 필터링하는 단계를 더 포함할 수 있다.
The generating of the interpolated image may further include filtering the interpolated image.

상기 보간 영상을 생성하는 단계는 상기 제2 채널이 향상 채널일 경우에 상기 보간 영상을 생성하는 단계일 수 있다.
The generating of the interpolation image may include generating the interpolation image when the second channel is an enhancement channel.

상술한 바와 같이 본 발명에 따르면, 향후 초고해상도 영상을 위한 스케일러블 다시점 영상 부호화는 있어 H.264/AVC Scalable Extension의 기술들을 사용한 스케일러블 영상 부호화 대비 동일 비트율에서 보다 나은 화질을 보장할 수 있다. 또한 H.264/AVC multi-view extension을 이용한 다시점 영상 부호화 대비 동일 비트율에서 보다 나은 화질을 보장할 수 있다. As described above, according to the present invention, scalable multi-view image coding for ultra-high resolution images in the future can ensure better image quality at the same bit rate as compared to scalable image coding using techniques of H.264 / AVC Scalable Extension. . Also, better image quality can be guaranteed at the same bit rate compared to multi-view video coding using H.264 / AVC multi-view extension.

본 발명에서 제안하는 방법은 단일-루프 복호화 방법 및 복합-루프 복호화 방법에 따라 적응적으로 부/복호화가 가능하고, 스케일러블 및 다시점 부호화를 함께 제공함으로써 보다 다양하고 확장된 부호화 기능을 제공한다는 장점이 있다.
The method proposed in the present invention can be adaptively decoded and decoded according to a single-loop decoding method and a multi-loop decoding method, and provides more various and extended encoding functions by providing scalable and multi-view coding together. There is an advantage.

도 1은 채널 간 예측을 이용한 스케일러블 다시점 영상 복호화 장치를 예시한 블록도.
도 2는 스케일러블 다시점 영상 복호화 장치의 제1 보간 영상 생성부를 예시한 블록도.
도 3은 스케일러블 다시점 영상 복호화 장치가 스케일러블 다시점 영상을 복호화하는 과정을 예시한 순서도.
도 4는 스케일러블 다시점 영상 복호화 장치가 스케일러블 다시점 영상을 복호화하는 과정에 있어 도 3의 단계 340의 과정을 상세히 나타낸 순서도.1 is a block diagram illustrating a scalable multi-view video decoding apparatus using inter-channel prediction.
2 is a block diagram illustrating a first interpolated image generator of a scalable multiview image decoding apparatus.
3 is a flowchart illustrating a process of decoding a scalable multiview image by a scalable multiview image decoding apparatus;
4 is a flowchart illustrating in detail the process of step 340 of FIG. 3 in the process of the scalable multiview image decoding apparatus decoding the scalable multiview image.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and similarities. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.
Further, in this specification, when an element is referred to as " transmitting " a signal to another element, the element can be directly connected to the other element to transmit a signal, It should be understood that the signal may be transmitted by mediating another component in the middle.

도 1은 채널 간 예측을 이용한 스케일러블 다시점 영상 복호화 장치를 예시한 블록도이다. 스케일러블 다시점 영상 복호화 장치는 수신부(110), 제1 디코딩부(115), 제1 필터(120), 제1 버퍼(125), 제1 예측부(130), 제1 보간 영상 생성부(135), 제2 디코딩부(140), 제2 필터(145), 제2 버퍼(150), 제2 예측부(155), 제2 보간 영상 생성부(160), 제3 디코딩부(165), 제3 필터(170), 제3 버퍼(175), 제3 예측부(180)를 포함한다. 1 is a block diagram illustrating a scalable multiview image decoding apparatus using inter-channel prediction. The scalable multiview image decoding apparatus includes a receiver 110, a first decoder 115, a first filter 120, a first buffer 125, a first predictor 130, and a first interpolation image generator ( 135, the second decoder 140, the second filter 145, the second buffer 150, the second predictor 155, the second interpolation image generator 160, and the third decoder 165. , A third filter 170, a third buffer 175, and a third predictor 180.

수신부(110)는 스케일러블 다시점 영상을 수신한다. 스케일러블 다시점 영상은 복수의 시점에서 촬영된 각각의 영상에 대해 스케일러블 부호화 방식 및 다시점 부호화 방식을 복합적으로 이용하여 부호화한 영상이다. 예를 들어, 스케일러블 다시점 영상은 H.264/AVC scalable extension annex G에 따라 부호화된 영상일 수 있다. 수신부(110)는 스케일러블 다시점 영상에서 채널별 영상을 제1 디코딩부(115), 제2 디코딩부(140) 및 제3 디코딩부(165) 중 어느 하나로 각각 전송한다. 이하 제1 디코딩부(115), 제2 디코딩부(140) 및 제3 디코딩부(165) 각각에 송신되는 영상의 채널을 제1 채널, 제2 채널 및 제3 채널이라 각각 지칭하도록 한다. 예를 들어, 수신부(110)는 스케일러블 다시점 영상에 포함된 채널 별 영상 중 기본 채널인 제1 채널에 해당하는 영상을 제1 디코딩부(115)로 전송할 수 있다. 또한, 수신부(110)는 스케일러블 다시점 영상에 포함된 채널별 영상 중 기본 채널과 동일한 시점의 영상에 대한 해상도의 2배에 해당하는 스케일을 가지는 제2 채널의 영상을 제2 디코딩부(140)로 전송할 수 있다. 또한, 수신부(110)는 스케일러블 다시점 영상에 포함된 채널별 영상 중 제2 디코딩부(140)로 전송한 영상과 동일한 해상도를 가지는 다른 시점의 영상인 제3 채널의 영상을 제3 디코딩부(165)로 전송할 수 있다.The receiver 110 receives a scalable multiview image. The scalable multiview image is an image encoded by using a scalable encoding method and a multiview encoding method for each image photographed at a plurality of viewpoints. For example, the scalable multiview image may be an image encoded according to the H.264 / AVC scalable extension annex G. The receiver 110 transmits the image for each channel in the scalable multiview image to any one of the first decoder 115, the second decoder 140, and the third decoder 165, respectively. Hereinafter, channels of an image transmitted to each of the first decoder 115, the second decoder 140, and the third decoder 165 will be referred to as a first channel, a second channel, and a third channel, respectively. For example, the receiver 110 may transmit an image corresponding to the first channel, which is a basic channel, among the images for each channel included in the scalable multiview image, to the first decoder 115. In addition, the receiver 110 may decode the image of the second channel having a scale corresponding to twice the resolution of the image at the same time as the base channel among the images for each channel included in the scalable multiview image. ) Can be sent. In addition, the receiving unit 110 decodes an image of a third channel, which is an image of another viewpoint having the same resolution as that of the image transmitted to the second decoding unit 140 among the channel-specific images included in the scalable multiview image. Send to 165.

제1 디코딩부(115)는 제1 채널에 해당하는 영상을 엔트로피 복호화(entropy decoding)하고, 역 변환(inverse discrete cosine transform) 및 역 양자화(inverse quantization)를 수행하여 제1 차분 영상을 생성한다. The first decoder 115 entropy decodes an image corresponding to the first channel, generates an first differential image by performing inverse discrete cosine transform and inverse quantization.

제1 필터(120)는 제1 예측부(130)에서 생성된 제1 예측 영상과 제2 차분영상이 합산된 제1 복원 영상을 수신한다. 제1 필터(120)는 제1 복원 영상을 미리 지정된 필터링 방법을 통해 필터링한다. 제1 필터(120)는 제1 복원 영상을 제1 버퍼(125)로 전송한다.The first filter 120 receives a first reconstructed image obtained by adding the first predicted image and the second differential image generated by the first predictor 130. The first filter 120 filters the first reconstructed image through a predetermined filtering method. The first filter 120 transmits the first reconstructed image to the first buffer 125.

제1 버퍼(125)는 복원 영상을 저장한다. 제1 버퍼(125)는 제1 예측부(130)의 요청에 따라 기저장된 복원 영상 중 하나 이상을 제1 예측부(130)로 전송한다.The first buffer 125 stores the reconstructed image. The first buffer 125 transmits one or more of the pre-stored reconstructed images to the first predictor 130 according to a request of the first predictor 130.

제1 예측부(130)는 제1 차분 영상에 대응되는 제1 예측 영상을 생성한다. 예를 들어, 제1 예측부(130)는 제1 버퍼(125)에 저장된 복원 영상에 대한 움직임 벡터를 산출한다. 제1 예측부(130)는 복원 영상과 움직임 벡터에 따라 움직임 보상(Motion compensation)을 수행하여 제1 예측 영상을 생성한다. 예측 영상을 생성하는 것은 당해 동영상 부/복호화 분야에서 일반적인 사항이므로 그 상세한 설명을 생략하기로 한다. 이 때, 제1 예측부(130)는 인트라(intra) 예측 모듈과 인터(inter) 예측 모듈을 포함하고, 복호화되는 슬라이스의 종류에 따라 인트라(intra) 예측 모듈 또는 인터(inter) 예측 모듈을 선택적으로 사용할 수 있다. 제1 예측부(130)는 예측 영상을 제1 필터(120) 및 제1 보간 영상 생성부(135)로 전송한다. The first predictor 130 generates a first predictive image corresponding to the first differential image. For example, the first predictor 130 calculates a motion vector for the reconstructed image stored in the first buffer 125. The first predictor 130 generates a first predictive image by performing motion compensation based on the reconstructed image and the motion vector. Since generating a predictive image is a general matter in the video encoding / decoding field, a detailed description thereof will be omitted. In this case, the first prediction unit 130 includes an intra prediction module and an inter prediction module, and selectively selects an intra prediction module or an inter prediction module according to the type of slice to be decoded. Can be used as The first predictor 130 transmits the predicted image to the first filter 120 and the first interpolation image generator 135.

제1 보간 영상 생성부(135)는 제2 채널의 영상에 상응하는 헤더 정보(예를 들어, 제2 채널의 Sliceheader NAL)를 확인하여 제2 채널이 제1 채널의 향상 채널인지 확인한다. 제1 보간 영상 생성부(135)는 제2 채널이 제1 채널의 향상 채널일 경우, 제1 보간 영상 생성부(135)는 제1 채널의 영상이 단일 루프 또는 복합 루프를 통해 복호화되어야 하는지 확인한다. 이 때, 제1 채널의 영상은 제1 채널의 영상이 단일 루프 또는 복합 루프로 디코딩 되어야 하는지 나타내는 헤더 정보를 포함하고, 제1 보간 영상 생성부(135)는 헤더 정보(Sequence Parameter Set 또는 (Picture Parameter Set)를 확인하여 제1 채널의 영상이 단일 루프 또는 복합 루프로 복호화 되어야 하는지 판단할 수 있다.The first interpolation image generator 135 determines whether the second channel is an enhancement channel of the first channel by checking header information (eg, Sliceheader NAL of the second channel) corresponding to the image of the second channel. When the second channel is an enhancement channel of the first channel, the first interpolation image generator 135 determines whether the image of the first channel should be decoded through a single loop or a complex loop. do. In this case, the image of the first channel includes header information indicating whether the image of the first channel should be decoded into a single loop or a composite loop, and the first interpolation image generator 135 may include the header information (Sequence Parameter Set or (Picture). Parameter Set) may determine whether an image of the first channel should be decoded into a single loop or a composite loop.

제1 채널의 영상이 복합 루프로 복호화 되어야 하는 경우, 제1 보간 영상 생성부(135)는 제1 복원 영상의 텍스처를 제2 채널의 해상도를 가지는 텍스처로 보간하여 제1 보간 영상을 생성한다. 또한 제1 보간 영상 생성부(135)는 제1 채널의 영상이 단일 루프로 복호화 되어야 하고 제1 채널의 영상에 상응하는 헤더 정보의 슬라이스 타입이 인터 슬라이스인 경우, 움직임 벡터 및 제1 차분 영상을 제1 예측부(130)로부터 수신하고, 제2 채널의 해상도에 상응하도록 움직임 벡터 및 제1 차분 영상을 보간하고, 보간된 움직임 벡터 및 제1 차분 영상을 이용하여 제1 보간 영상을 생성한다. 또한, 제1 채널의 영상이 단일 루프로 복호화 되어야 하고 제1 채널의 영상에 상응하는 헤더 정보의 슬라이스 타입이 인트라 슬라이스인 경우, 제1 보간 영상 생성부(135)는 제1 복원 영상의 텍스처를 제2 채널의 해상도를 가지는 텍스처로 보간하여 제1 보간 영상을 생성한다. 제1 보간 영상 생성부(135)는 제1 보간 영상을 제2 버퍼(150)로 전송한다. When the image of the first channel is to be decoded in the composite loop, the first interpolation image generator 135 generates the first interpolation image by interpolating the texture of the first reconstructed image to a texture having the resolution of the second channel. In addition, the first interpolation image generator 135 may decode the motion vector and the first difference image when the image of the first channel is to be decoded in a single loop and the slice type of the header information corresponding to the image of the first channel is an inter slice. Received from the first predictor 130, interpolates the motion vector and the first differential image to correspond to the resolution of the second channel, and generates a first interpolated image using the interpolated motion vector and the first differential image. In addition, when the image of the first channel is to be decoded in a single loop and the slice type of the header information corresponding to the image of the first channel is an intra slice, the first interpolation image generator 135 may select a texture of the first reconstructed image. A first interpolation image is generated by interpolating a texture having a resolution of a second channel. The first interpolation image generator 135 transmits the first interpolation image to the second buffer 150.

제1 보간 영상 생성부(135)는 제2 채널이 제1 채널의 향상 채널이 아닌 경우, 제1 보간 영상을 생성하지 않는다.The first interpolation image generator 135 does not generate the first interpolation image when the second channel is not an enhancement channel of the first channel.

제2 디코딩부(140)는 제2 채널의 영상을 엔트로피 복호화하고, 역 변환 및 역 양자화를 수행하여 제2 차분 영상을 생성한다. 제2 디코딩부(140)는 제2 차분 영상을 제2 필터(145)로 전송한다.The second decoding unit 140 entropy decodes the image of the second channel and performs inverse transform and inverse quantization to generate a second differential image. The second decoding unit 140 transmits the second differential image to the second filter 145.

제2 필터(145)는 제2 예측부(155)에서 생성된 제2 예측 영상과 제2 차분 영상이 합산된 제2 복원 영상을 수신한다. 제2 필터(145)는 제2 복원 영상을 미리 지정된 필터링 방법을 통해 필터링한다. 제2 필터(145)는 제2 복원 영상을 제2 버퍼(150)로 전송한다.The second filter 145 receives a second reconstructed image obtained by adding the second predicted image and the second differential image generated by the second predictor 155. The second filter 145 filters the second reconstructed image through a predetermined filtering method. The second filter 145 transmits the second reconstructed image to the second buffer 150.

제2 버퍼(150)는 제2 복원 영상 및 제1 보간 영상을 저장한다. 제2 버퍼(150)는 제2 예측부(155)의 요청에 따라 기저장된 제2 복원 영상 및 제1 보간 영상 중 하나 이상을 제2 예측부(155)로 전송한다.The second buffer 150 stores the second reconstructed image and the first interpolated image. The second buffer 150 transmits at least one of a pre-stored second reconstructed image and a first interpolation image to the second predictor 155 according to a request of the second predictor 155.

제2 예측부(155)는 제2 차분 영상에 상응하는 제2 예측 영상을 생성한다. 예를 들어, 제2 예측부(155)는 제2 버퍼(150)에 저장된 복원 영상에 대한 움직임 벡터를 산출한다. 제2 예측부(155)는 복원 영상과 움직임 벡터에 따라 움직임 보상을 수행하여 제2 예측 영상을 생성한다. 이 때, 제2 예측부(155)는 인트라 예측 모듈과 인터 예측 모듈을 포함하고, 복호화되는 슬라이스의 종류에 따라 인트라 에측 모듈 또는 인터 예측 모듈을 선택적으로 사용할 수 있다. 제2 예측부(155)는 제2 예측 영상을 제2 보간 영상 생성부(160)로 전송한다.The second predictor 155 generates a second predicted image corresponding to the second differential image. For example, the second predictor 155 calculates a motion vector for the reconstructed image stored in the second buffer 150. The second predictor 155 generates a second predicted image by performing motion compensation based on the reconstructed image and the motion vector. In this case, the second prediction unit 155 may include an intra prediction module and an inter prediction module, and may selectively use an intra prediction module or an inter prediction module according to the type of a slice to be decoded. The second predictor 155 transmits the second predicted image to the second interpolated image generator 160.

제2 보간 영상 생성부(160)는 제2 채널의 영상에 상응하는 해더 정보(예를 들어, 제3 채널의 Sliceheader NAL)를 확인하여 제3 채널이 제2 채널의 향상 채널인지 확인한다. 제2 보간 영상 생성부(160)는 제3 채널이 제2 채널의 향상 채널일 경우, 제2 보간 영상 생성부(160)는 제2 채널의 영상이 단일 루프 또는 복합 루프를 통해 복호화되어야 하는지 확인한다. 이 때, 제2 채널의 영상은 제2 채널의 영상이 단일 루프 또는 복합 루프로 디코딩 되어야 하는지 나타내는 헤더 정보를 포함하고, 제2 보간 영상 생성부(160)는 이를 확인하여 제2 채널의 영상이 단일 루프 또는 복합 루프로 복호화 되어야 하는지 판단할 수 있다.The second interpolation image generator 160 determines whether the third channel is an enhancement channel of the second channel by checking header information (eg, Sliceheader NAL of the third channel) corresponding to the image of the second channel. When the third channel is an enhancement channel of the second channel, the second interpolation image generator 160 determines whether the image of the second channel should be decoded through a single loop or a complex loop. do. In this case, the image of the second channel includes header information indicating whether the image of the second channel should be decoded into a single loop or a complex loop, and the second interpolation image generator 160 checks this to determine that the image of the second channel is It can be determined whether it should be decoded into a single loop or a composite loop.

제1 채널의 영상이 복합 루프로 복호화 되어야 하는 경우, 제2 보간 영상 생성부(160)는 제2 디코딩부(140)로부터 텍스처를 제3 채널의 해상도를 가지는 텍스처로 보간하여 제2 보간 영상을 생성한다. 또한 제2 보간 영상 생성부(160)는 제2 채널의 영상이 단일 루프로 복호화 되어야 하고 제1 채널의 영상에 상응하는 헤더 정보의 슬라이스 타입이 인터 슬라이스인 경우, 움직임 벡터, 및 제2 차분 영상을 제2 예측부(155)로부터 수신하고, 제3 채널의 해상도에 상응하도록 움직임 벡터 및 제2 차분 영상을 보간하고, 보간된 움직임 벡터 및 제2 차분 영상을 이용하여 제2 보간 영상을 생성한다. 1 채널의 영상이 단일 루프로 복호화 되어야 하고 제1 채널의 영상에 상응하는 헤더 정보의 슬라이스 타입이 인트라 슬라이스인 경우, 제2 보간 영상 생성부(160)는 제1 복원 영상의 텍스처를 제2 채널의 해상도를 가지는 텍스처로 보간하여 제1 보간 영상을 생성한다. 제2 보간 영상 생성부(160)는 제2 보간 영상을 제3 버퍼(175)로 전송한다. When the image of the first channel is to be decoded in a complex loop, the second interpolation image generator 160 interpolates the texture from the second decoding unit 140 to a texture having the resolution of the third channel, thereby generating the second interpolation image. Create Also, the second interpolation image generator 160 may decode the motion vector and the second differential image when the image of the second channel is to be decoded in a single loop and the slice type of the header information corresponding to the image of the first channel is an inter slice. Is received from the second predictor 155, interpolates the motion vector and the second differential image to correspond to the resolution of the third channel, and generates a second interpolated image using the interpolated motion vector and the second differential image. . When the image of one channel is to be decoded in a single loop and the slice type of the header information corresponding to the image of the first channel is an intra slice, the second interpolation image generator 160 displays the texture of the first reconstructed image in the second channel. A first interpolation image is generated by interpolating a texture having a resolution of. The second interpolation image generator 160 transmits the second interpolation image to the third buffer 175.

제2 보간 영상 생성부(160)는 제3 채널이 제2 채널의 향상 채널이 아닌 경우, 제2 보간 영상을 생성하지 않는다.The second interpolation image generator 160 does not generate a second interpolation image when the third channel is not an enhancement channel of the second channel.

제3 디코딩부(165)는 제2 디코딩부(140)에서 수신한 영상과 동일한 해상도를 가지나 상이한 시점에 해당하는 영상을 엔트로피 복호화, 역 변환 및 역 양자화를 수행하여 제3 차분 영상을 생성한다. 제3 디코딩부(165)는 제3 차분 영상을 제3 필터(170)로 전송한다.The third decoding unit 165 generates the third differential image by performing entropy decoding, inverse transform, and inverse quantization on an image having the same resolution as that received by the second decoding unit 140 but corresponding to a different viewpoint. The third decoding unit 165 transmits the third difference image to the third filter 170.

제3 필터(170)는 제3 예측부(180)에서 생성된 제3 예측 영상과 제3 차분 영상이 합산된 제3 복원 영상을 수신한다. 제3 필터(170)는 제3 복원 영상을 미리 지정된 필터링 방법을 통해 필터링한다. 제3 필터(170)는 제3 복원 영상을 제3 버퍼(175)로 전송한다.The third filter 170 receives a third reconstructed image obtained by adding the third predicted image and the third differential image generated by the third predictor 180. The third filter 170 filters the third reconstructed image through a predetermined filtering method. The third filter 170 transmits the third reconstructed image to the third buffer 175.

제3 버퍼(175)는 복원 영상을 저장한다. 제3 버퍼(175)는 제3 예측부(180)의 요청에 따라 기저장된 복원 영상 중 하나 이상을 제3 예측부(180)로 전송한다.The third buffer 175 stores the reconstructed image. The third buffer 175 transmits one or more of the pre-stored reconstructed images to the third predictor 180 according to a request of the third predictor 180.

제3 예측부(180)는 제3 차분 영상에 상응하는 제3 예측 영상을 생성한다. 예를 들어, 제3 예측부(180)는 제3 버퍼(175)에 저장된 복원 영상에 대한 움직임 벡터를 산출한다. 제3 예측부(180)는 복원 영상과 움직임 벡터에 따라 움직임 보상을 수행하여 제3 예측 영상을 생성한다. 이 때, 제3 예측부(180)는 인트라 예측 모듈과 인터 예측 모듈을 포함하고, 복호화되는 슬라이스의 종류에 따라 인트라 에측 모듈 또는 인터 예측 모듈을 선택적으로 사용할 수 있다.
The third predictor 180 generates a third predicted image corresponding to the third differential image. For example, the third predictor 180 calculates a motion vector for the reconstructed image stored in the third buffer 175. The third predictor 180 generates a third predicted image by performing motion compensation based on the reconstructed image and the motion vector. In this case, the third prediction unit 180 may include an intra prediction module and an inter prediction module, and may selectively use an intra prediction module or an inter prediction module according to the type of a slice to be decoded.

상술한 스케일러블 다시점 영상 복호화 장치는 3개의 채널에 해당하는 영상을 복원하는 것으로 설명하였다. 하지만, 스케일러블 다시점 영상 복호화 장치는 구현 방법에 따라 4개 이상의 채널에 해당하는 영상을 복원하기 위해 디코딩부, 필터, 예측부 및 버퍼가 추가로 구성되거나, 2개의 채널에 해당하는 영상을 복원하기 위해 수신부(110), 제1 디코딩부(115), 제1 필터(120), 제1 버퍼(125), 제1 예측부(130), 제1 보간 영상 생성부(135), 제2 디코딩부(140), 제2 필터(145), 제2 버퍼(150) 및 제2 예측부(155)만으로 구성되도록 변경될 수 있음은 당업자에게 자명하다.
The scalable multi-view image decoding apparatus described above reconstructs an image corresponding to three channels. However, in the scalable multi-view image decoding apparatus, a decoder, a filter, a predictor, and a buffer are additionally configured to reconstruct images corresponding to four or more channels, or the images corresponding to two channels are reconstructed according to an implementation method. The receiver 110, the first decoder 115, the first filter 120, the first buffer 125, the first predictor 130, the first interpolated image generator 135, and the second decoding It will be apparent to those skilled in the art that the configuration may be changed to include only the unit 140, the second filter 145, the second buffer 150, and the second prediction unit 155.

도 2는 스케일러블 다시점 영상 복호화 장치의 제1 보간 영상 생성부를 예시한 블록도이다.2 is a block diagram illustrating a first interpolation image generator of a scalable multiview image decoding apparatus.

도 2를 참조하면, 제1 보간 영상 생성부(135)는 텍스처 보간부(210), 움직임 보상부(220), 차분 신호 보상부(225) 및 향상 필터부(230)를 포함한다.2, the first interpolation image generator 135 includes a texture interpolator 210, a motion compensator 220, a differential signal compensator 225, and an enhancement filter 230.

텍스처 보간부(210)는 제1 채널의 영상이 복합 루프로 복호화 되어야 하는 경우 또는 제1 채널의 영상이 단일 루프로 복호화 되어야 하고 제1 채널의 영상에 상응하는 헤더 정보의 슬라이스 타입이 인트라 슬라이스인 경우, 제1 필터(120)로부터 제1 복원 영상의 텍스처를 수신한다. 텍스처 보간부(210)는 텍스처를 제2 디코딩부(140)에 상응하는 해상도로 보간하여 제1 보간 영상을 생성한다. 텍스처 보간부(210)는 제1 보간 영상을 향상 필터부(230)로 전송한다. 이 때, 텍스처 보간부(210)는 제1 필터(120)로부터 수신한 텍스처의 해상도가 제2 채널의 해상도와 동일할 경우, 해상도를 보간하는 과정을 수행하지 않고 해당 텍스처를 포함하는 제1 보간 영상을 향상 필터부(230)로 전송할 수 있다.When the image of the first channel is to be decoded in a complex loop or the image of the first channel is to be decoded in a single loop, the texture interpolation unit 210 is a slice type of header information corresponding to the image of the first channel is an intra slice. In this case, the texture of the first reconstructed image is received from the first filter 120. The texture interpolator 210 generates a first interpolated image by interpolating a texture at a resolution corresponding to the second decoder 140. The texture interpolator 210 transmits the first interpolated image to the enhancement filter 230. At this time, when the resolution of the texture received from the first filter 120 is the same as the resolution of the second channel, the texture interpolation unit 210 does not perform the process of interpolating the resolution, but includes the first interpolation including the texture. The image may be transmitted to the enhancement filter unit 230.

움직임 보상부(220)는 제1 채널의 영상이 단일 루프로 복호화 되어야 하고 제1 채널의 영상에 상응하는 헤더 정보의 슬라이스 타입이 인터 슬라이스인 경우, 제1 예측부(130)로부터 참조 영상 및 움직임 벡터를 수신한다. 이 때, 참조 영상은 제1 버퍼(125)에 저장된 복원 영상 중 어느 하나일 수 있다. 움직임 보상부(220)는 참조 영상 및 움직임 벡터를 제2 채널의 해상도에 상응하도록 보간하고, 보간된 참조 영상에 대해 움직임 벡터에 따른 움직임 보상을 수행한다. 차분 신호 보상부(225)는 제1 디코딩부(115)로부터 차분 영상을 수신한다. 차분 신호 보상부(225)는 차분 영상을 제2 채널의 해상도에 상응하도록 보간하고, 차분 영상을 움직임 보상된 참조 영상과 합산하여 제1 보간 영상을 생성한다. 차분 신호 보상부(225)는 제1 보간 영상을 향상 필터부(230)로 전송한다. 이 때, 움직임 보상부(220) 및 차분 신호 보상부(225)는 차분 영상 및 움직임 벡터에 상응하는 해상도가 제2 채널에 상응하는 해상도와 동일할 경우, 해당 차분 영상 및 움직임 벡터를 제2 채널에 상응하는 해상도로 보간하는 과정을 생략할 수 있다.When the image of the first channel is to be decoded in a single loop and the slice type of the header information corresponding to the image of the first channel is an inter slice, the motion compensator 220 receives the reference image and the motion from the first predictor 130. Receive the vector. In this case, the reference image may be any one of the reconstructed images stored in the first buffer 125. The motion compensator 220 interpolates the reference image and the motion vector to correspond to the resolution of the second channel, and performs motion compensation according to the motion vector on the interpolated reference image. The difference signal compensator 225 receives the difference image from the first decoder 115. The difference signal compensator 225 interpolates the difference image to correspond to the resolution of the second channel, and generates the first interpolation image by adding the difference image to the motion compensated reference image. The differential signal compensator 225 transmits the first interpolated image to the enhancement filter 230. In this case, when the resolution corresponding to the differential image and the motion vector is the same as the resolution corresponding to the second channel, the motion compensator 220 and the differential signal compensator 225 convert the corresponding differential image and the motion vector into the second channel. The process of interpolating at a resolution corresponding to may be omitted.

향상 필터부(230)는 미리 지정된 필터링 방법을 이용하여 제1 보간 영상을 필터링하여 제2 버퍼(150)에 저장한다.The enhancement filter unit 230 filters the first interpolated image by using a predetermined filtering method and stores the first interpolated image in the second buffer 150.

도 2를 참조하여 상술한 제1 보간 영상 생성부(135)와 같이, 제2 보간 영상 생성부(160)는 제2 디코딩부(140) 및 제2 예측부(155)로부터 복원 영상, 참조 영상, 움직임 벡터, 차분 영상 중 하나 이상을 수신하여 제2 보간 영상을 생성할 수 있다.
Like the first interpolation image generator 135 described above with reference to FIG. 2, the second interpolation image generator 160 is a reconstructed image and a reference image from the second decoder 140 and the second predictor 155. The second interpolation image may be generated by receiving at least one of a motion vector and a difference image.

도 3은 스케일러블 다시점 영상 복호화 장치가 스케일러블 다시점 영상을 복호화하는 과정을 예시한 순서도이다. 이하 설명하는 과정은 스케일러블 다시점 영상 복호화 장치를 구성하는 각 기능부가 수행하는 과정이지만, 발명의 간결하고 명확한 설명을 위해 주체를 스케일러블 다시점 영상 복호화 장치로 통칭하여 설명하기로 한다. 이하, 현재 복호화가 적용될 채널을 제1 채널이라 지칭하고, 제1 채널 이후 복호화가 적용될 채널을 제2 채널이라 지칭하도록 한다.3 is a flowchart illustrating a process of decoding a scalable multiview image by a scalable multiview image decoding apparatus. Hereinafter, the process described below is a process performed by each functional unit constituting the scalable multiview image decoding apparatus. For the sake of simplicity and clarity, the subject will be collectively described as a scalable multiview image decoding apparatus. Hereinafter, a channel to which current decoding is to be applied is referred to as a first channel, and a channel to which decoding to be applied after the first channel is referred to as a second channel.

도 3을 참조하면, 단계 310에서 스케일러블 다시점 영상 복호화 장치는 스케일러블 다시점 영상을 수신한다.Referring to FIG. 3, in operation 310, the scalable multiview image decoding apparatus receives the scalable multiview image.

단계 320에서 스케일러블 다시점 영상 복호화 장치는 스케일러블 다시점 영상을 엔트로피 복호화하고, 복호화된 스케일러블 다시점 영상에 역 변환, 역 양자화를 수행하여 차분 영상을 생성하고, 예측 영상과 차분 영상을 합산하여 복원 영상을 생성한다.In operation 320, the scalable multiview image decoding apparatus entropy decodes the scalable multiview image, performs inverse transform and inverse quantization on the decoded scalable multiview image, generates a differential image, and adds the predicted image and the differential image. To generate a restored image.

단계 330에서 스케일러블 다시점 영상 복호화 장치는 제2 채널이 향상 채널에 해당하는지 판단한다. 이 때, 스케일러블 다시점 영상은 각 채널이 기본 채널 또는 향상 채널인지 나타내는 헤더 정보를 포함하고, 스케일러블 다시점 영상 복호화 장치는 제2 채널에 상응하는 헤더 정보를 확인하여 제2 채널이 향상 채널인지 확인할 수 있다.In operation 330, the scalable multiview image decoding apparatus determines whether the second channel corresponds to an enhancement channel. In this case, the scalable multiview image includes header information indicating whether each channel is a basic channel or an enhancement channel, and the scalable multiview image decoding apparatus checks header information corresponding to the second channel so that the second channel is an enhancement channel. You can check.

단계 330에서 제2 채널이 향상 채널에 해당하지 않는 경우, 단계 350에서 스케일러블 다시점 영상 복호화 장치는 차분 영상 및 기 저장된 참조 영상을 이용하여 복원 영상을 생성 및 출력한다.In operation 330, when the second channel does not correspond to the enhancement channel, in operation 350, the scalable multi-view image decoding apparatus generates and outputs a reconstructed image by using the difference image and a previously stored reference image.

단계 330에서 제2 채널이 향상 채널에 해당하는 경우, 단계 340에서 스케일러블 다시점 영상 복호화 장치는 제1 채널의 복원 영상, 움직임 벡터, 차분 신호, 참조 영상 중 하나 이상을 이용하여 보간 영상을 생성한다. 추후 도 4를 참조하여 단계 330의 과정을 상세히 설명하도록 한다.In operation 330, when the second channel corresponds to an enhancement channel, in operation 340, the scalable multi-view image decoding apparatus generates an interpolation image using one or more of a reconstruction image, a motion vector, a difference signal, and a reference image of the first channel. do. A process of step 330 will be described in detail later with reference to FIG. 4.

단계 360에서 스케일러블 다시점 영상 복호화 장치는 모든 채널에 대한 복원을 완료하였는지 확인한다.In operation 360, the scalable multiview image decoding apparatus checks whether restoration of all channels has been completed.

단계 360에서 모든 채널에 대한 복원을 완료한 경우, 스케일러블 다시점 영상 복호화 장치는 스케일러블 다시점 영상의 복호화 과정을 종료한다.When reconstruction of all channels is completed in step 360, the scalable multiview image decoding apparatus ends the decoding process of the scalable multiview image.

단계 360에서 모든 채널에 대한 복원을 완료하지 않은 경우, 스케일러블 다시점 영상 복호화 장치는 단계 320 부터의 과정을 아직 복원되지 않은 채널을 제1 채널로 설정하여 반복 수행한다.
If reconstruction of all channels is not completed in step 360, the scalable multi-view video decoding apparatus repeats the process from step 320 by setting a channel that has not been reconstructed as the first channel.

도 4는 스케일러블 다시점 영상 복호화 장치가 스케일러블 다시점 영상을 복호화하는 과정에 있어 도 3의 단계 340의 과정을 상세히 나타낸 순서도이다.FIG. 4 is a flowchart illustrating a detailed process of step 340 of FIG. 3 in a process of decoding a scalable multiview image by the apparatus for scalable multiview image decoding.

도 4를 참조하면, 단계 410에서 스케일러블 다시점 영상 복호화 장치는 헤더 정보를 참조하여 제1 채널의 영상이 단일 루프 방식으로 복호화 되어야 하는지 확인한다. Referring to FIG. 4, in operation 410, the scalable multiview image decoding apparatus determines whether an image of a first channel should be decoded in a single loop manner by referring to header information.

단계 410에서 제1 채널이 복합 루프 방식으로 복호화 되어야 하는 경우, 단계 415에서 스케일러블 다시점 영상 복호화 장치는 제1 채널과 제2 채널의 해상도의 변경이 필요한지(해상도가 상이한지) 판단한다.When the first channel is to be decoded in the compound loop method in step 410, the scalable multi-view video decoding apparatus determines in step 415 whether the resolution of the first channel and the second channel need to be changed (resolution is different).

단계 415에서 해상도의 변경이 필요한 경우, 단계 420에서 스케일러블 다시점 영상 복호화 장치는 제1 채널의 복원 영상에 포함된 텍스처를 제2 채널의 해상도로 보간하여 보간 영상을 생성한다.If the resolution needs to be changed in operation 415, in operation 420, the scalable multiview image decoding apparatus generates an interpolated image by interpolating a texture included in the reconstructed image of the first channel to the resolution of the second channel.

단계 425에서 스케일러블 다시점 영상 복호화 장치는 미리 지정된 필터링 방법을 이용하여 보간 영상을 필터링한다.In operation 425, the scalable multiview image decoding apparatus filters the interpolated image using a predetermined filtering method.

단계 415에서 해상도의 변경이 필요하지 않는 경우, 상술한 단계 425가 수행된다.If no change in resolution is necessary in step 415, step 425 described above is performed.

단계 410에서 제1 채널이 단일 루프 방식으로 복호화 되어야 하는 경우, 단계 430에서 스케일러블 다시점 영상 복호화 장치는 제1 채널의 텍스처를 사용할 수 있는지 판단한다. 즉, 단계 430에서 스케일러블 다시점 영상 복호화 장치는 제1 채널의 슬라이스 타입이 인트라 슬라이스인지 판단한다.When the first channel is to be decoded in a single loop method in step 410, the scalable multi-view image decoding apparatus determines in step 430 whether a texture of the first channel can be used. That is, in operation 430, the scalable multiview image decoding apparatus determines whether the slice type of the first channel is an intra slice.

단계 430에서 제1 채널의 텍스처를 사용할 수 없는 경우(제1 채널의 슬라이스 타입이 인터 슬라이스인 경우), 단계 435에서 스케일러블 다시점 영상 복호화 장치는 움직임 벡터를 제2 채널의 해상도에 상응하도록 보간한다.If the texture of the first channel is not available in step 430 (when the slice type of the first channel is inter slice), in step 435, the scalable multi-view image decoding apparatus interpolates the motion vector to correspond to the resolution of the second channel. do.

단계 440에서 스케일러블 다시점 영상 복호화 장치는 참조 영상의 텍스처를 제2 채널의 해상도에 상응하도록 보간하고, 참조 영상을 움직임 벡터에 따라 보상한다.In operation 440, the scalable multiview image decoding apparatus interpolates a texture of the reference image to correspond to the resolution of the second channel, and compensates the reference image according to the motion vector.

단계 445에서 스케일러블 다시점 영상 복호화 장치는 제1 채널의 차분 신호를 제2 채널의 해상도에 상응하도록 보간하고, 단계 335에서 보상된 참조 영상을 차분 신호에 따라 보상한다. 이후 단계 425가 수행된다.In operation 445, the scalable multiview image decoding apparatus interpolates the difference signal of the first channel to correspond to the resolution of the second channel, and compensates the reference image compensated in step 335 according to the difference signal. Then step 425 is performed.

단계 430에서 제1 채널의 텍스처를 사용할 수 있는 경우(제1 채널의 슬라이스 타입이 인트라 슬라이스인 경우), 단계 450에서 스케일러블 다시점 영상 복호화 장치는 제1 채널과 제2 채널의 해상도의 변경이 필요한지(해상도가 상이한지) 판단한다.When the texture of the first channel is available in step 430 (when the slice type of the first channel is an intra slice), in step 450, the scalable multiview image decoding apparatus may change the resolution of the first channel and the second channel. Determine if necessary (different resolutions).

단계 450에서 해상도의 변경이 필요한 경우, 단계 455에서 스케일러블 다시점 영상 복호화 장치는 제1 채널의 복원 영상에 포함된 텍스처를 제2 채널의 해상도로 보간하여 보간 영상을 생성한다. 이후 단계 425가 수행된다.When the resolution needs to be changed in operation 450, the scalable multi-view image decoding apparatus generates an interpolated image by interpolating a texture included in the reconstructed image of the first channel to the resolution of the second channel in operation 455. Then step 425 is performed.

단계 455에서 해상도의 변경이 필요하지 않는 경우, 상술한 단계 425가 수행된다.If no change in resolution is necessary in step 455, step 425 described above is performed.

단계 460에서 스케일러블 다시점 영상 복호화 장치는 단계 425에서 생성된 보간 영상을 버퍼에 입력한다.
In operation 460, the scalable multiview image decoding apparatus inputs the interpolated image generated in operation 425 into a buffer.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described above with reference to the embodiments thereof. Many embodiments other than the above-described embodiments are within the scope of the claims of the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. The disclosed embodiments should, therefore, be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

Claims

A receiver configured to receive a scalable multiview image including an input image of a first channel and a second channel;
A first buffer for storing a reference picture;
A first decoder configured to generate a first differential image by applying entropy decoding, inverse transform, and inverse quantization to the input image of the first channel;
A first predictor configured to generate a first predicted image corresponding to the first differential image by referring to the reference image;
When the input image of the first channel corresponds to a composite loop scheme or the input image of the first channel corresponds to a single loop scheme and header information corresponding to the input image of the first channel indicates an intra type. An interpolation image generator configured to generate an interpolation image by interpolating a first reconstructed image obtained by adding the first differential image and the first prediction image to correspond to the resolution of the second channel;
A second buffer for storing the interpolated image;
A second decoding unit generating a second differential image by applying entropy decoding, inverse transform, and inverse quantization to the input image of the second channel; And
A second predictor configured to generate a second predicted image corresponding to the second differential image by referring to the interpolated image;
, &Lt; / RTI &
The first buffer outputs the first reconstructed image, and the second buffer outputs a second reconstructed image obtained by adding the second differential image and the second prediction image. Device.

The method according to claim 1,
The interpolation image generator
When the input image of the first channel corresponds to a composite loop scheme or the input image of the first channel corresponds to a single loop scheme and header information corresponding to the input image of the first channel indicates an intra type. A texture interpolator configured to generate the interpolated image by interpolating the first reconstructed image to correspond to the resolution of the second channel;
When the input image of the first channel corresponds to a single loop scheme and the header information corresponding to the input image of the first channel indicates an inter type, the motion vector and the reference image corresponding to the first differential image. A motion compensator for interpolating a signal corresponding to the resolution of the second channel and compensating the reference image according to the motion vector; And
When the input image of the first channel corresponds to a single loop scheme and the header information corresponding to the input image of the first channel indicates an inter type, the difference signal is interpolated to correspond to the resolution of the second channel. And a differential signal compensator configured to generate the interpolated image by compensating the reference image compensated according to the motion vector with the interpolated differential signal.
Scalable multi-view image decoding apparatus comprising a.

The method of claim 2,
The interpolation image generator
Enhancement filter unit to filter the interpolated image
Scalable multi-view image decoding apparatus further comprising.

The method according to claim 1,
The interpolation image generating unit generates the interpolation image when the second channel is an enhancement channel.

A method for decoding a scalable multiview image by a scalable multiview image decoding apparatus,
Receiving a scalable multi-view image including an input image of a first channel and a second channel;
Generating a first differential image by applying entropy decoding, inverse transform, and inverse quantization to the input image of the first channel;
Generating a first prediction image corresponding to the first difference image by referring to a reference image stored in a first buffer;
Generating a first reconstructed image obtained by adding the first differential image and the first prediction image;
When the input image of the first channel corresponds to a composite loop scheme or the input image of the first channel corresponds to a single loop scheme and header information corresponding to the input image of the first channel indicates an intra type. If the first reconstructed image is interpolated to correspond to the resolution of the second channel, generating an interpolated image;
Storing the interpolated image in a second buffer;
Generating a second differential image by applying entropy decoding, inverse transform, and inverse quantization to the input image of the second channel;
Generating a second prediction image corresponding to the second difference image by referring to the interpolation image; And
Generating a second reconstructed image by summing the second differential image and the second prediction image;
Scalable multi-view image decoding method comprising a.

6. The method of claim 5,
Generating the interpolated image
When the input image of the first channel corresponds to a composite loop scheme or the input image of the first channel corresponds to a single loop scheme and header information corresponding to the input image of the first channel indicates an intra type. If the first reconstructed image is interpolated to correspond to the resolution of the second channel, generating the interpolated image;
When the input image of the first channel corresponds to a single loop scheme and the header information corresponding to the input image of the first channel indicates an inter type, the motion vector and the reference image corresponding to the first differential image. Interpolating to correspond to the resolution of the second channel and compensating the reference image according to the motion vector; And
When the input image of the first channel corresponds to a single loop scheme and the header information corresponding to the input image of the first channel indicates an inter type, the difference signal is interpolated to correspond to the resolution of the second channel. And generating the interpolated image by compensating the reference image compensated according to the motion vector with the interpolated differential signal.

The method of claim 6,
Generating the interpolated image
Filtering the interpolated image
Scalable multi-view image decoding method further comprising.

6. The method of claim 5,
Generating the interpolated image
And generating the interpolated image when the second channel is an enhancement channel.