KR20120084628A - Apparatus and method for encoding and decoding multi-view image - Google Patents

Apparatus and method for encoding and decoding multi-view image Download PDF

Info

Publication number
KR20120084628A
KR20120084628A KR1020110015948A KR20110015948A KR20120084628A KR 20120084628 A KR20120084628 A KR 20120084628A KR 1020110015948 A KR1020110015948 A KR 1020110015948A KR 20110015948 A KR20110015948 A KR 20110015948A KR 20120084628 A KR20120084628 A KR 20120084628A
Authority
KR
South Korea
Prior art keywords
image
block
real image
encoding
real
Prior art date
Application number
KR1020110015948A
Other languages
Korean (ko)
Inventor
이진영
이재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2012/000138 priority Critical patent/WO2012099352A2/en
Publication of KR20120084628A publication Critical patent/KR20120084628A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis

Abstract

PURPOSE: An apparatus and a method for encoding and decoding a multi-view image are provided to minimize distortion due to contour line. CONSTITUTION: An image generating unit(201) generates a current virtual image. An image coding unit(202) encodes a current real image using a virtual image. The image coding unit generates a current virtual image by synthesizing images corresponding to current surrounding viewpoint. The image generating unit generates a current virtual image. The image coding unit replaces a real image with a virtual image.

Description

다시점 영상 부호화/복호화 장치 및 방법{APPARATUS AND METHOD FOR ENCODING AND DECODING MULTI-VIEW IMAGE}Multiview image encoding / decoding apparatus and method {APPARATUS AND METHOD FOR ENCODING AND DECODING MULTI-VIEW IMAGE}

본 발명의 일실시예들은 영상 부호화/복호화 장치 및 방법에 관한 것으로, 보다 구체적으로는 이미 부호화/복호화된 영상을 이용하여 현재 시점의 영상을 부호화/복호화하는 장치 및 방법에 관한 것이다.Embodiments of the present invention relate to an apparatus and method for encoding / decoding an image, and more particularly, to an apparatus and method for encoding / decoding an image of a current view using an image that is already encoded / decoded.

입체 영상은 깊이 및 공간의 정보를 동시에 제공하는 3차원 영상을 의미한다. 좌우 눈에 각각 다른 시점의 영상을 제공하는 스테레오 영상과 달리 입체 영상은 관찰자의 시점에 따라 각기 다른 영상을 제공한다. 결국, 입체 영상은 관찰자의 시점에서 촬영한 복수의 영상들로 구성된다.The stereoscopic image refers to a 3D image that simultaneously provides depth and space information. Unlike stereo images, which provide images of different viewpoints to the left and right eyes, stereoscopic images provide different images according to the viewer's viewpoint. As a result, the stereoscopic image is composed of a plurality of images taken from the observer's point of view.

복수의 시점에서 촬영한 영상들을 많은 데이터량을 가진다. 이와 같이 복수의 시점에서 촬영한 영상들을 MPEG-2, H.264/AVC와 같은 단일 시점 비디오 부호화 방식으로 부호화하면 네트워크 인프라, 지상파 대역폭 면에서 실현이 불가능하다.Images taken from a plurality of viewpoints have a large amount of data. As described above, when images captured from a plurality of viewpoints are encoded by a single-view video encoding method such as MPEG-2 and H.264 / AVC, it is impossible to realize network infrastructure and terrestrial bandwidth.

그래서, 복수의 시점에서 촬영한 영상들을 다시점 비디오 부호화 방식에 따라 부호화하는 것이 필요하다. 그러나, 여전히 네트워크 인프라와 지상파 대역폭은 한정되어 있기 때문에, 다시점 비디오 압축 방식을 보다 효율적으로 개선하는 것이 요구된다.Therefore, it is necessary to encode images photographed at a plurality of viewpoints according to a multiview video encoding method. However, because network infrastructure and terrestrial bandwidth are still limited, there is a need for more efficient multi-view video compression.

본 발명의 일실시예에 따른 부호화 장치는 부호화할 현재 시점의 가상 영상을 생성하는 영상 생성부; 및 상기 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화하는 영상 부호화부를 포함할 수 있다.An encoding apparatus according to an embodiment of the present invention includes an image generator for generating a virtual image of a current view to be encoded; And an image encoder which encodes an actual image of a current view using the virtual image.

본 발명의 일실시예에 따른 복호화 장치는 복호화할 현재 시점의 가상 영상을 생성하는 영상 생성부; 및 상기 가상 영상을 이용하여 현재 시점의 실제 영상을 복호화하는 영상 복호화부를 포함할 수 있다.Decoding apparatus according to an embodiment of the present invention includes an image generating unit for generating a virtual image of the current view to be decoded; And an image decoder which decodes an actual image of a current view using the virtual image.

본 발명의 일실시예에 따른 부호화 방법은 부호화할 현재 시점의 가상 영상을 생성하는 단계; 및 상기 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화하는 단계를 포함할 수 있다.An encoding method according to an embodiment of the present invention includes generating a virtual image of a current view to be encoded; And encoding the real image of the current view by using the virtual image.

본 발명의 일실시예에 따른 복호화 방법은 복호화할 현재 시점의 가상 영상을 생성하는 단계; 및 상기 가상 영상을 이용하여 현재 시점의 실제 영상을 복호화하는 단계를 포함할 수 있다.Decoding method according to an embodiment of the present invention comprises the steps of generating a virtual image of the current view to be decoded; And decoding the real image of the current view by using the virtual image.

본 발명의 일실시예에 따르면, 이미 부호화된 주변 시점의 영상을 합성하여 현재 시점의 가상 영상을 생성하고, 가상 영상을 실제 영상을 부호화하는 데 이용함으로써 실제 영상의 부호화 효율을 향상시킬 수 있다.According to an embodiment of the present invention, the encoding efficiency of the actual image may be improved by synthesizing the image of the neighboring view, which is already encoded, to generate a virtual image of the current view, and using the virtual image to encode the actual image.

본 발명의 일실시예에 따르면, 실제 영상의 윤곽선 정보에 따라 부호화 방식을 다르게 함으로써 부호화 효율을 향상시킴과 동시에 윤곽선으로 인한 왜곡을 최소화할 수 있다.According to an embodiment of the present invention, by varying the encoding scheme according to the contour information of the actual image, it is possible to improve encoding efficiency and minimize distortion due to the contour.

본 발명의 일실시에에 따르면, 주변 시점의 움직임 정보에 따라 부호화 방식을 다르게 함으로써 부호화 효율을 향상시킬 수 있다.According to an embodiment of the present invention, the coding efficiency may be improved by changing the coding scheme according to the motion information of the neighboring view.

본 발명의 일실시예에 따르면, 주변 시점의 부호화 모드 정보에 따라 부호화 방식을 다르게 함으로써 부호화 효율을 향상시킬 수 있다.According to an embodiment of the present invention, the encoding efficiency may be improved by changing the encoding scheme according to the encoding mode information of the neighboring view.

도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 4는 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 현재 시점의 실제 영상을 부호화하기 위해 사용되는 주변 시점의 영상의 예시를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 주변 시점의 영상을 이용하여 현재 시점의 가상 영상을 생성하는 과정을 도시한 도면이다.
도 7은 본 발명의 일실시예에 따라 영상을 합성하는 과정을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 가상 영상의 윤곽선 정보를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 가상 영상의 윤곽선 정보에 기초하여 실제 영상을 부호화하는 과정을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 부호화 방법을 도시한 플로우차트이다.
1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.
2 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.
3 is a block diagram showing a detailed configuration of a decoding apparatus according to an embodiment of the present invention.
4 is a diagram illustrating a structure of a multiview video according to an embodiment of the present invention.
5 is a diagram illustrating an example of an image of a neighboring view used to encode an actual image of a current view according to an embodiment of the present invention.
6 is a diagram illustrating a process of generating a virtual image of a current view using an image of a neighboring view according to an embodiment of the present invention.
7 illustrates a process of synthesizing an image according to an embodiment of the present invention.
8 illustrates contour information of a virtual image according to an embodiment of the present invention.
9 is a diagram illustrating a process of encoding an actual image based on contour information of a virtual image according to one embodiment of the present invention.
10 is a flowchart illustrating an encoding method according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.

부호화 장치(101)는 부호화할 현재 시점의 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화할 수 있다. 이 때, 부호화 장치(101)는 주변 시점에 대응하는 영상을 합성하여 가상 영상을 생성할 수 있다. 본 발명의 일실시예에서, 가상 영상 및 실제 영상은 컬러 영상, 깊이 영상, 변이(Disparity) 영상, 폐색(Occlusion) 영상 등 모든 영상을 포함할 수 있다. 여기서, 깊이 영상은 컬러 영상에서 물체와 시청자 간의 거리를 0~255(8비트)의 값으로 나타낸 영상을 의미한다.The encoding apparatus 101 may encode the real image of the current view by using the virtual image of the current view to be encoded. In this case, the encoding apparatus 101 may generate a virtual image by synthesizing an image corresponding to a neighboring viewpoint. In an embodiment of the present invention, the virtual image and the real image may include all images, such as a color image, a depth image, a disparity image, and an occlusion image. Here, the depth image refers to an image representing a distance between an object and a viewer in a color image with a value of 0 to 255 (8 bits).

그리고, 합성은 이미 부호화된 주변 시점의 영상을 이용하여 현재 시점의 가상 영상을 생성하는 것을 의미한다. 예를 들어, 부호화 장치(101)는 이미 부호화된 I 시점 또는 B시점 또는 P 시점의 영상을 합성하여 또 다른 B 시점의 가상 영상을 생성할 수 있다. 그리고, 이미 부호화된 I 시점 또는 P 시점의 영상을 합성하여 또 다른 P 시점의 가상 영상을 생성할 수 있다. 결국, 부호화 장치(101)는 이미 부호화된 하나의 시점 이상의 정보를 이용하여 I 시점을 제외한 모든 시점의 가상 영상을 생성할 수 있다. 생성된 가상 영상은 실제 영상을 부호화할 때 활용될 수 있다.And, synthesis means generating a virtual image of the current view by using the image of the neighboring view that is already encoded. For example, the encoding apparatus 101 may generate a virtual image of another B view by synthesizing an image of an I view, a B view, or a P view that is already encoded. In addition, a virtual image of another P view may be generated by synthesizing an image of an I view or a P view that is already encoded. As a result, the encoding apparatus 101 may generate virtual images of all views except the I view by using the information of at least one view that is already encoded. The generated virtual image may be utilized when encoding the actual image.

일례로, 부호화 장치(101)는 현재 시점의 실제 영상을 부호화하지 않고, 실제 영상을 이미 부호화된 주변 시점의 영상으로부터 생성된 현재 시점의 가상 영상으로 대체함으로써 부호화할 수 있다.For example, the encoding apparatus 101 may encode the real image by replacing the real image with the virtual image of the current view generated from the image of the neighboring view, which is already encoded, without encoding the real image of the current view.

그리고, 부호화 장치(101)는 실제 영상의 영역에 따라 가상 영상을 부분적으로 이용하여 실제 영상을 부호화할 수 있다. 구체적으로, 부호화 장치(101)는 실제 영상의 윤곽선 정보, 주변 시점의 부호화 모드 정보, 또는 주변 시점의 움직임 정보 중 적어도 하나에 기초하여 블록 별로 실제 영상을 부호화할 수 있다.In addition, the encoding apparatus 101 may encode the real image by partially using the virtual image according to the area of the real image. In detail, the encoding apparatus 101 may encode the actual image for each block based on at least one of contour information of the actual image, encoding mode information of the neighboring viewpoint, or motion information of the neighboring viewpoint.

구체적으로, 부호화 장치(101)는 실제 영상의 윤곽선 정보는 가상 영상의 윤곽선 정보로부터 추출될 수 있다. 그리고, 실제 영상의 블록에서 윤곽선이 존재하는 경우, 부호화 장치(101)는 기존의 방식에 따라 부호화할 수 있다. 반대로, 실제 영상의 볼록에서 윤곽선이 존재하지 않는 경우, 부호화 장치(101)는 실제 영상을 부호화하지 않고 가상 영상으로 대체하거나 또는 부호화 정도를 강하게 설정하여 실제 영상을 부호화할 수 있다. In detail, the encoding apparatus 101 may extract contour information of an actual image from contour information of a virtual image. In addition, when an outline exists in a block of an actual image, the encoding apparatus 101 may encode according to an existing scheme. On the contrary, when no contour line exists in the convexity of the real image, the encoding apparatus 101 may encode the real image by substituting the virtual image without encoding the real image or by setting a strong encoding level.

그리고, 부호화 장치(101)는 실제 영상에 대한 주변 시점의 부호화 모드 정보가 미리 설정된 부호화 모드 정보(Skip 모드, 다이렉트 모드, 인트라 16*16 모드, 인터 16*16모드)인 경우, 윤곽선이 존재하지 않는 경우와 동일하게 처리할 수 있다. 또한, 부호화 장치는 주변 시점의 움직임 정보가 상대적으로 작은 경우, 윤곽선이 존재하지 않는 경우와 동일하게 처리할 수 있다.The encoding apparatus 101 does not have an outline when the encoding mode information of the peripheral view of the actual image is preset encoding mode information (Skip mode, direct mode, intra 16 * 16 mode, inter 16 * 16 mode). It can be processed in the same way as if not. In addition, when the motion information of the neighboring view is relatively small, the encoding apparatus may process the same as when the contour does not exist.

복호화 장치(102)는 부호화 장치(101)의 동작과 거의 동일하므로 구체적인 설명은 생략하기로 한다.Since the decoding apparatus 102 is almost the same as the operation of the encoding apparatus 101, a detailed description thereof will be omitted.

도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.2 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.

도 2를 참고하면, 부호화 장치(101)는 영상 생성부(201) 및 영상 부호화부(202)를 포함할 수 있다.Referring to FIG. 2, the encoding apparatus 101 may include an image generator 201 and an image encoder 202.

영상 생성부(201)는 현재 시점의 주변 시점에 대응하는 영상들을 합성하여 현재 시점의 가상 영상을 생성할 수 있다. 여기서, 현재 시점은 부호화하고자 하는 현재 블록의 시점을 의미하고, 주변 시점은 현재 시점과 다른 시점을 의미한다.The image generator 201 may generate a virtual image of the current view by synthesizing the images corresponding to the neighboring views of the current view. Here, the current view means a view of the current block to be encoded, and the neighbor view means a view different from the current view.

영상 부호화부(202)는 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화할 수 있다. The image encoder 202 may encode the actual image of the current view by using the virtual image.

일례로, 영상 부호화부(202)는 현재 시점의 실제 영상을 직접 부호화하지 않고 가상 영상으로 대체할 수 있다.For example, the image encoder 202 may replace the real image of the current view with a virtual image without directly encoding the image.

그리고, 영상 부호화부(202)는 실제 영상의 영역에 따라 가상 영상을 부분적으로 이용하여 실제 영상을 부호화할 수 있다. 구체적으로, 영상 부호화부(202)는 실제 영상의 윤곽선 정보, 주변 시점의 부호화 모드 정보, 또는 주변 시점의 움직임 정보 중 적어도 하나에 따라 영역 별로 부분적으로 가상 영상을 사용하여 실제 영상을 부호화할 수 있다.The image encoder 202 may encode the real image by partially using the virtual image according to the area of the real image. In detail, the image encoder 202 may encode the real image using the virtual image partially for each region according to at least one of contour information of the actual image, encoding mode information of the neighboring viewpoint, or motion information of the neighboring viewpoint. .

일례로, 영상 부호화부(202)는 가상 영상을 이용하여 실제 영상의 윤곽선 정보를 추출하고, 상기 실제 영상의 윤곽선 정보에 기초하여 상기 실제 영상을 부호화할 수 있다.For example, the image encoder 202 may extract contour information of the real image using the virtual image, and encode the real image based on the contour information of the real image.

제1 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 부호화부(202)는 기존의 방식에 따라 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 부호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 부호화부(202)는 실제 영상의 블록에 대한 부호화 과정을 스킵할 수 있다.In the first embodiment, when an outline exists in a block of the real image, the image encoder 202 may encode the block of the real image based on the motion search and the shift search according to a conventional method. In contrast, when no contour line exists in the block of the real image, the image encoder 202 may skip the encoding process for the block of the real image.

제2 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 부호화부(202)는 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 부호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 부호화부(202)는 실제 영상의 블록을 상대적으로 높은 양자화 계수로 부호화할 수 있다.In the second embodiment, when the contour is present in the block of the real image, the image encoder 202 may encode the block of the real image with a relatively low quantization coefficient. In contrast, when no contour line exists in the block of the real image, the image encoder 202 may encode the block of the real image with a relatively high quantization coefficient.

제3 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 부호화부(202)는 실제 영상의 블록을 상대적으로 높은 비트량으로 부호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 부호화부(202)는 실제 영상의 블록을 상대적으로 낮은 비트량으로 부호화할 수 있다.In the third embodiment, when an outline exists in a block of an actual image, the image encoder 202 may encode a block of the actual image with a relatively high bit amount. In contrast, when no contour line exists in a block of the real image, the image encoder 202 may encode a block of the real image with a relatively low bit amount.

제4 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 부호화부(202)는 실제 영상의 원래 블록 사이즈로 부호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 부호화부(202)는 실제 영상의 블록을 다운 샘플링하여 원래 블록 사이즈보다 작은 블록 사이즈로 줄인 후 부호화할 수 있다.According to the fourth embodiment, when an outline exists in a block of an actual image, the image encoder 202 may encode the original block size of the actual image. On the contrary, when an outline exists in a block of an actual image, the image encoder 202 may downsample the block of the actual image, reduce the block size to a smaller block size than the original block size, and then encode the same.

제1 실시예 내지 제4 실시예에서 실제 영상의 블록에 윤곽선이 존재하는 지 여부는 가상 영상의 윤곽선 정보에 따라 결정될 수 있다. 가상 영상의 윤곽선 정보는 가상 영상에서 픽셀들의 밝기값 차이를 통해 결정될 수 있다. 또는, 가상 영상의 윤곽선 정보는 윤곽선 검출기를 통해 결정될 수 있다.In the first to fourth embodiments, whether or not the contour exists in the block of the actual image may be determined according to the contour information of the virtual image. Contour information of the virtual image may be determined based on a difference in brightness values of pixels in the virtual image. Alternatively, the contour information of the virtual image may be determined through the contour detector.

결론적으로, 윤곽선의 경우 영상 처리에서 큰 영향을 미치므로, 부호화 장치(101)는 실제 영상에서 윤곽선이 존재하는 지 여부에 따라 부호화의 강도를 다르게 하여 부호화할 수 있다.In conclusion, since the contour has a great influence on image processing, the encoding apparatus 101 may encode the encoding by varying the strength of the encoding according to whether or not the contour exists in the actual image.

동일한 방식으로, 주변 시점의 부호화 모드 정보가 스킵 모드(skip mode), 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 영상 부호화부(202)는 윤곽선이 존재하지 않는 경우와 같이 처리할 수 있다. 즉, 주변 시점의 부호화 모드가 스킵 모드(skip mode), 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 영상 부호화부(202)는 실제 영상의 부호화 강도를 높이거나 또는 가상 영상으로 대체할 수 있다.In the same manner, when the encoding mode information of the peripheral view is the skip mode, the direct mode, the inter 16 * 16 mode, or the intra 16 * 16 mode, the image encoder 202 is as if the outline does not exist. Can be processed. That is, when the encoding mode of the peripheral view is the skip mode, the direct mode, the inter 16 * 16 mode, or the intra 16 * 16 mode, the image encoder 202 increases the coding strength of the real image or the virtual image. Can be replaced with

그리고, 주변 시점의 움직임 정보가 상대적으로 작은 경우, 영상 부호화부(202)는 윤곽선이 존재하지 않는 경우와 같이 처리할 수 있다. 즉, 주변 시점의 움직임 정보가 상대적으로 작은 경우, 영상 부호화부(202)는 실제 영상의 부호화 강도를 높이거나 또는 가상 영상으로 대체할 수 있다.When the motion information of the peripheral view is relatively small, the image encoder 202 may process the same as in the case where no contour line exists. That is, when the motion information of the neighboring view is relatively small, the image encoder 202 may increase the coding strength of the actual image or replace it with a virtual image.

실제 영상의 부호화 결과는 비트스트림을 통해 복호화 장치(102)에 전송될 수 있다.The encoding result of the actual image may be transmitted to the decoding apparatus 102 through the bitstream.

도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.3 is a block diagram showing a detailed configuration of a decoding apparatus according to an embodiment of the present invention.

도 3을 참고하면, 복호화 장치(102)는 영상 생성부(301) 및 영상 복호화부(302)를 포함할 수 있다.Referring to FIG. 3, the decoding apparatus 102 may include an image generator 301 and an image decoder 302.

영상 생성부(301)는 앞서 설명한 영상 생성부(201)와 동일한 동작을 수행하므로, 구체적인 설명은 생략하기로 한다.Since the image generator 301 performs the same operation as the image generator 201 described above, a detailed description thereof will be omitted.

영상 복호화부(302)는 가상 영상을 이용하여 현재 시점의 실제 영상을 복호화할 수 있다. 일례로, 영상 복호화부(302)는 현재 시점의 실제 영상을 직접 복호화하지 않고 가상 영상으로 대체할 수 있다.The image decoder 302 may decode the actual image of the current view using the virtual image. For example, the image decoder 302 may replace the actual image of the current view with a virtual image without directly decoding the image.

그리고, 영상 복호화부(302)는 실제 영상의 영역에 따라 가상 영상을 부분적으로 이용하여 실제 영상을 복호화할 수 있다. 구체적으로, 영상 복호화부(302)는 실제 영상의 윤곽선 정보, 주변 시점의 복호화 모드 정보, 또는 주변 시점의 움직임 정보 중 적어도 하나에 따라 영역 별로 부분적으로 가상 영상을 사용하여 실제 영상을 복호화할 수 있다.The image decoder 302 may decode the real image by partially using the virtual image according to the area of the real image. In detail, the image decoder 302 may decode the real image using the virtual image partially for each region according to at least one of contour information of the actual image, decoding mode information of the neighboring viewpoint, or motion information of the neighboring viewpoint. .

일례로, 영상 복호화부(302)는 가상 영상을 이용하여 실제 영상의 윤곽선 정보를 추출하고, 실제 영상의 윤곽선 정보에 기초하여 실제 영상을 복호화할 수 있다.For example, the image decoder 302 may extract the contour information of the real image using the virtual image, and decode the real image based on the contour information of the real image.

제1 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 복호화부(302)는 가상 영상을 이용하지 않고 기존의 방식에 따라 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 복호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 복호화부(302)는 가상 영상의 블록을 이용하여 실제 영상의 블록을 복호화할 수 있다.In the first embodiment, when an outline exists in a block of an actual image, the image decoder 302 may decode the block of the actual image based on the motion search and the disparity search according to a conventional method without using a virtual image. Can be. On the contrary, when no contour line exists in the block of the real image, the image decoder 302 may decode the block of the real image using the block of the virtual image.

제2 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 복호화부(302)는 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 복호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 복호화부(302)는 실제 영상의 블록을 상대적으로 높은 양자화 계수로 복호화할 수 있다. 이 때, 영상 복호화부(302)가 사용하는 양자화 계수는 영상 부호화부(202)가 사용하는 양자화 계수와 대응한다.In the second embodiment, when an outline exists in a block of an actual image, the image decoder 302 may decode the block of the actual image with a relatively low quantization coefficient. On the contrary, when the contour does not exist in the block of the real image, the image decoder 302 may decode the block of the real image with a relatively high quantization coefficient. In this case, the quantization coefficients used by the image decoder 302 correspond to the quantization coefficients used by the image encoder 202.

제3 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 복호화부(302)는 실제 영상의 블록을 상대적으로 높은 비트량으로 복호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 복호화부(302)는 실제 영상의 블록을 상대적으로 낮은 비트량으로 복호화할 수 있다.In the third embodiment, when an outline exists in a block of an actual image, the image decoder 302 may decode the block of the actual image with a relatively high bit amount. On the contrary, when the contour does not exist in the block of the actual image, the image decoder 302 may decode the block of the actual image with a relatively low bit amount.

제4 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 복호화부(302)는 실제 영상의 원래 블록 사이즈로 복호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 복호화부(302)는 실제 영상의 블록을 원래 블록 사이즈보다 작은 블록 사이즈로 복호화한 후 업샘플링할 수 있다.In the fourth embodiment, when an outline exists in a block of an actual image, the image decoder 302 may decode the original block size of the actual image. On the contrary, when the contour does not exist in the block of the actual image, the image decoder 302 may desample the block of the actual image to a block size smaller than the original block size and then upsample it.

결론적으로, 윤곽선의 경우 영상 처리에서 큰 영향을 미치므로, 복호화 장치(102)는 실제 영상에서 윤곽선이 존재하는 지 여부에 따라 복호화의 강도를 다르게 하여 복호화할 수 있다.In conclusion, since the contour has a great influence on image processing, the decoding apparatus 102 may decode by varying the strength of decoding depending on whether the contour exists in the actual image.

동일한 방식으로, 주변 시점의 복호화 모드 정보가 스킵 모드(skip mode), 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 영상 복호화부(302)는 윤곽선이 존재하지 않는 경우와 같이 처리할 수 있다. 즉, 주변 시점의 복호화 모드가 스킵 모드(skip mode), 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 영상 복호화부(302)는 실제 영상의 복호화 강도를 높이거나 또는 가상 영상으로 대체할 수 있다.In the same manner, when the decoding mode information of the peripheral view is the skip mode, the direct mode, the inter 16 * 16 mode, and the intra 16 * 16 mode, the image decoder 302 is as if the outline does not exist. Can be processed. That is, when the decoding mode of the peripheral view is the skip mode, the direct mode, the inter 16 * 16 mode, the intra 16 * 16 mode, the image decoder 302 increases the decoding strength of the actual image or the virtual image. Can be replaced with

그리고, 주변 시점의 움직임 정보가 상대적으로 작은 경우, 영상 복호화부(302)는 윤곽선이 존재하지 않는 경우와 같이 처리할 수 있다. 즉, 주변 시점의 움직임 정보가 상대적으로 작은 경우, 영상 복호화부(302)는 실제 영상의 복호화 강도를 높이거나 또는 가상 영상으로 대체할 수 있다.When the motion information of the peripheral view is relatively small, the image decoder 302 may process the same as in the case where the contour does not exist. That is, when the motion information of the neighboring view is relatively small, the image decoder 302 may increase the decoding strength of the actual image or replace it with the virtual image.

도 4는 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.4 is a diagram illustrating a structure of a multiview video according to an embodiment of the present invention.

도 4를 참고하면, 3개 시점(Left, Center, Right)의 영상을 입력받았을 때, GOP(Group of Picture) '8'로 부호화하는 다시점 비디오 부호화 방식(Multiview Video Coding)을 나타낸다. 다시점(Multi-view) 영상을 부호화기 위해서는 기본적으로 시간(Temporal)축과 시점(View)축으로 계층적 B 영상(Hierarchical B Picture)을 적용하기 때문에 영상 간의 중복성(Redundancy)을 줄일 수 있다.Referring to FIG. 4, when a video of three viewpoints (Left, Center, Right) is received, a multiview video coding method of encoding GOP (Group of Picture) '8' is shown. In order to encode a multi-view image, a hierarchical B picture is basically applied to a temporal axis and a view axis, thereby reducing redundancy between images.

도 4에 도시된 다시점 비디오의 구조에 따라 다시점 비디오 부호화 장치(101)는 좌측 영상(Left Picture: I-view)을 먼저 부호화하고 우측 영상(Right Picture: P-view)과 중앙 영상(Center Picture: B-view)를 차례대로 부호화함으로써 3개 시점에 대응하는 영상을 부호화할 수 있다.According to the structure of a multiview video illustrated in FIG. 4, the multiview video encoding apparatus 101 first encodes a left picture (I-view), and then a right picture (P-view) and a center picture (Center). A picture corresponding to three viewpoints can be encoded by sequentially encoding Picture: B-view.

이 때, 좌측 영상은 움직임 추정(Motion Estimation)을 통해 이전 영상들로부터 비슷한 영역을 검색함으로써 시간적 중복성(Temporal Redundancy)이 제거되는 방식으로 부호화될 수 있다. 그리고, 우측 영상은 이미 부호화된 좌측 영상을 참조 영상으로 사용하여 부호화되기 때문에, 움직임 추정에 기초한 시간적 중복성과 변이 추정(Disparity Estimation)에 기초한 시점 간 중복성(View Redundancy)이 제거되는 방식으로 부호화될 수 있다. 또한, 중앙 영상은 이미 부호화된 좌측 영상과 우측 영상을 모두 참조 영상으로 이용하여 부호화되기 때문에, 양방향으로의 변이 추정에 따라 시점 간 중복성이 제거될 수 있다.In this case, the left image may be encoded in such a manner that temporal redundancy is removed by searching for similar regions from previous images through motion estimation. In addition, since the right image is encoded by using the previously encoded left image as a reference image, the right image may be encoded in such a manner that temporal redundancy based on motion estimation and view redundancy based on disparity estimation are removed. have. In addition, since the center image is encoded by using both the left image and the right image, which are already encoded, as a reference image, the inter-view redundancy may be removed according to the estimation of the shift in both directions.

도 4를 참고하면, 다시점 비디오 부호화 방식에서, 좌측 영상과 같이 다른 시점의 참조 영상을 이용하지 않고 부호화되는 영상은 I-View, 우측 영상과 같이 다른 시점의 참조 영상을 단방향으로 예측하여 부호화하는 영상은 P-View, 중앙 영상과 같이 좌우 시점의 참조 영상을 양방향으로 예측하여 부호화하는 영상은 B-View이라고 정의된다.Referring to FIG. 4, in a multi-view video encoding method, an image encoded without using a reference image of another view, such as a left image, may be encoded by predicting and encoding a reference image of another view in one direction, such as an I-View and a right image. An image that is predicted and encoded in both directions, such as a P-View and a center image, is defined as a B-View.

MVC의 프레임은 예측 구조에 따라 크게 6가지 그룹으로 분류된다. 구체적으로, 6가지 그룹은 인트라 부호화를 위한 I-시점 Anchor 프레임, 시간축간 인터 부호화를 위한 I-시점 Non-anchor 프레임, 시점간 단방향 인터 부호화를 위한 P-시점 Anchor 프레임, 시점간 단방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 P-시점 Non-anchor 프레임, 시점간 양방향 인터 부호화를 위한 B-시점 Anchor 프레임 및 시점간 양방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 B-시점 Non-anchor 프레임으로 분류될 수 있다.Frames of MVC are largely classified into six groups according to the prediction structure. Specifically, the six groups include an I-view anchor frame for intra coding, an I-view non-anchor frame for inter-time inter-coding, a P-view anchor frame for inter-view unidirectional inter coding, and a unidirectional inter-coding between views. Classified into P-view non-anchor frame for bi-directional inter-coding between time bases, B-view anchor frame for bi-directional inter-coding between views, and B-view non-anchor frame for bi-directional inter coding between time-bases. Can be.

도 5는 본 발명의 일실시예에 따른 현재 시점의 실제 영상을 부호화하기 위해 사용되는 주변 시점의 영상의 예시를 도시한 도면이다.5 is a diagram illustrating an example of an image of a neighboring view used to encode an actual image of a current view according to an embodiment of the present invention.

부호화 장치(101)는 현재 영상(501)인 현재 프레임에 위치한 현재 블록을 압축할 때 현재 프레임에 대해 시간상 주변에 위치한 참조 영상(502, 503)과 시점상 주변에 위치한 참조 영상(504, 505)을 이용할 수 있다. 구체적으로, 부호화 장치(101)는 참조 영상(502~505)에서 현재 블록과 가장 유사한 예측 블록을 탐색하여 현재 블록과 예측 블록 간의 잔차 신호(residue)를 압축할 수 있다. 이와 같이, 참조 영상을 이용하여 예측 블록을 탐색하는 압축 모드는 SKIP(P Slice Only)/Direct(B Slice Only), 16x16, 16x8, 8x16, P8x8 모드들을 포함할 수 있다.When the encoding apparatus 101 compresses the current block located in the current frame, which is the current image 501, the reference images 502 and 503 located in time around the current frame and the reference images 504 and 505 located in the periphery in view. Can be used. In detail, the encoding apparatus 101 may search a prediction block most similar to the current block in the reference images 502 ˜ 505 and compress the residual signal between the current block and the prediction block. As such, the compression mode for searching the prediction block using the reference image may include P Slice Only / Direct (B Slice Only), 16x16, 16x8, 8x16, and P8x8 modes.

부호화 장치(101)는 현재 영상(501)의 움직임 정보를 탐색하기 위해 Ref1 영상(502)과 Ref2 영상(503)을 이용할 수 있고, 현재 영상(501)의 변이 정보를 탐색하기 위해 Ref3 영상(504)과 Ref4 영상(505)을 이용할 수 있다.The encoding apparatus 101 may use the Ref1 image 502 and the Ref2 image 503 to search for motion information of the current image 501, and the Ref3 image 504 to search for variation information of the current image 501. ) And the Ref4 image 505 can be used.

본 발명의 일실시예에 따르면, 부호화 장치(101)는 현재 시점의 주변 시점에 대응하는 참조 영상(504, 505)의 영상들을 합성하여 현재 시점의 가상 영상을 생성할 수 있다. 그리고, 부호화 장치(101)는 가상 영상의 윤곽선 정보를 이용하여 실제 영상을 부호화할 수 있다. 이 때, 부호화 장치(101)는 실제 영상의 윤곽선 정보에 따라 부호화 방식을 다르게 하며, 실제 영상의 윤곽선 정보는 가상 영상의 윤곽선 정보에서 추출될 수 있다. 복호화 장치(102)도 부호화 장치(101)와 거의 동일한 방식으로 수행할 수 있다.According to an embodiment of the present invention, the encoding apparatus 101 may generate a virtual image of the current view by synthesizing the images of the reference images 504 and 505 corresponding to the neighboring view of the current view. The encoding apparatus 101 may encode the actual image using the contour information of the virtual image. In this case, the encoding apparatus 101 may change the encoding scheme according to the contour information of the real image, and the contour information of the real image may be extracted from the contour information of the virtual image. The decoding device 102 may also be performed in substantially the same manner as the encoding device 101.

도 6은 본 발명의 일실시예에 따라 주변 시점의 영상을 이용하여 현재 시점의 가상 영상을 생성하는 과정을 도시한 도면이다.6 is a diagram illustrating a process of generating a virtual image of a current view using an image of a neighboring view according to an embodiment of the present invention.

도 6에서, 부호화 장치(101)는 주변 시점인 Vn-1의 영상(602)와 Vn+1의 영상(603)을 합성하여 현재 시점인 Vn에서의 가상 영상(601)을 생성할 수 있다. 이 때, 주변 시점인 Vn-1의 영상(602)와 Vn+1의 영상(603)은 이미 부호화될 필요가 있다. 만약, 현재 시점이 B-view인 경우, B-view의 가상 영상(601)은 이미 부호화된 I-view의 가상 영상과 P-view의 가상 영상을 합성하여 생성될 수 있다. 이 때, B-view의 가상 영상(601)을 생성할 때 카메라 정보도 활용될 수 있다.In FIG. 6, the encoding apparatus 101 may generate a virtual image 601 at Vn as the current view by synthesizing the image 602 of Vn-1 as a peripheral view and the image 603 of Vn + 1. At this time, the image 602 of Vn-1 and the image 603 of Vn + 1, which are peripheral viewpoints, need to be encoded already. If the current view is a B-view, the virtual image 601 of the B-view may be generated by synthesizing the virtual image of the already-coded I-view and the virtual image of the P-view. In this case, camera information may also be utilized when generating the virtual image 601 of the B-view.

도 7은 본 발명의 일실시예에 따라 영상을 합성하는 과정을 도시한 도면이다.7 illustrates a process of synthesizing an image according to an embodiment of the present invention.

도 7에서, 부호화 장치(101)는 주변 시점의 영상(701, 702)를 합성하여 현재 시점의 가상 영상(703)을 생성할 수 있다. 부호화 장치(101)는 생성된 현재 시점의 가상 영상(703)에서 윤곽선 정보를 추출할 수 있다. 그리고, 부호화 장치(101)는 가상 영상(703)을 이용하여 현재 시점의 실제 영상을 부호화할 수 있다.In FIG. 7, the encoding apparatus 101 may generate the virtual image 703 of the current view by synthesizing the images 701 and 702 of the surrounding view. The encoding apparatus 101 may extract contour information from the generated virtual image 703 of the current view. In addition, the encoding apparatus 101 may encode the actual image of the current view using the virtual image 703.

본 발명의 일실시예에 따르면, 부호화 장치(101)는 이미 부호화된 주변 시점의 영상을 합성하여 현재 시점의 가상 영상을 생성하고, 가상 영상을 실제 영상을 부호화하는 데 이용함으로써 실제 영상의 부호화 효율을 향상시킬 수 있다.According to an embodiment of the present invention, the encoding apparatus 101 generates a virtual image of the current view by synthesizing the image of the neighboring view, which is already encoded, and uses the virtual image to encode the actual image, thereby encoding the actual image. Can improve.

또한, 실제 영상으로부터 컬러 영상을 생성하는 경우, 실제 영상의 윤곽선 영역에서 왜곡이 발생할 수 있다. 따라서, 부호화 장치(101)는 실제 영상의 윤곽선 정보에 따라 부호화 방식을 다르게 함으로써 부호화 효율을 향상시킴과 동시에 윤곽선으로 인한 왜곡을 최소화할 수 있다. 이 때, 부호화 장치(101)는 실제 영상에서 윤곽선이 존재하는 영역에 대해 부호화의 강도를 약하게 하거나 가상 영상을 활용하지 않고, 윤곽선이 존재하지 않는 영역에 대해 부호화의 강도를 강하게 할 수 있다. 여기서, 실제 영상의 윤곽선 정보는 가상 영상의 윤곽선 정보로부터 도출될 수 있다.In addition, when a color image is generated from an actual image, distortion may occur in an outline region of the actual image. Accordingly, the encoding apparatus 101 may improve encoding efficiency and minimize distortion due to the outline by changing the encoding scheme according to the outline information of the actual image. In this case, the encoding apparatus 101 may increase the strength of the encoding in the region where the contour does not exist, without weakening the strength of the encoding in the region where the contour exists in the actual image or by utilizing the virtual image. Here, the contour information of the actual image may be derived from the contour information of the virtual image.

도 8은 본 발명의 일실시예에 따라 가상 영상의 윤곽선 정보를 도시한 도면이다.8 illustrates contour information of a virtual image according to an embodiment of the present invention.

도 8을 참고하면, 영상(801, 802)에서 검은색 블록은 윤곽선을 포함하지 않는 영역이고, 하얀색 블록은 윤곽선을 포함하는 영역을 의미한다. 부호화 장치(101)는 윤곽선을 포함하는 영역에 대해 상대적으로 높은 비트량으로 부호화하고, 윤곽선을 포함하지 않는 영역에 대해 상대적으로 낮은 비트량으로 부호화할 수 있다.Referring to FIG. 8, in the images 801 and 802, a black block is an area not including an outline, and a white block is an area including an outline. The encoding apparatus 101 may encode a relatively high bit amount for an area including an outline and a relatively low bit amount for an area not including an outline.

도 9는 본 발명의 일실시예에 따라 가상 영상의 윤곽선 정보에 기초하여 실제 영상을 부호화하는 과정을 도시한 도면이다.9 is a diagram illustrating a process of encoding an actual image based on contour information of a virtual image according to one embodiment of the present invention.

도 9에서, 가상 영상(901)과 실제 영상(902)가 도시된다. 앞서 설명하였듯이, 가상 영상(901)과 실제 영상(902)은 부호화하고자 하는 현재 시점의 영상을 의미한다. 가상 영상(901)은 주변 시점의 영상을 합성함으로써 생성된다. 본 발명의 일실시예에서, 가상 영상 및 실제 영상은 컬러 영상, 깊이 영상, 변이(Disparity) 영상, 폐색(Occlusion) 영상 등 모든 영상을 포함할 수 있다.In FIG. 9, the virtual image 901 and the real image 902 are shown. As described above, the virtual image 901 and the real image 902 mean an image of a current view to be encoded. The virtual image 901 is generated by synthesizing an image of a neighboring viewpoint. In an embodiment of the present invention, the virtual image and the real image may include all images, such as a color image, a depth image, a disparity image, and an occlusion image.

부호화 장치(101)는 실제 영상(902)의 윤곽선 정보에 기초하여 실제 영상(902)의 부호화 방식을 다르게 설정할 수 있다. 이 때, 실제 영상(902)의 윤곽선 정보는 가상 영상(901)의 윤곽선 정보로부터 도출될 수 있다.The encoding apparatus 101 may differently set a coding scheme of the real image 902 based on the contour information of the real image 902. In this case, the contour information of the real image 902 may be derived from the contour information of the virtual image 901.

실제 영상(902)에서 1번 블록은 윤곽선을 포함하지 않고 2번 블록은 윤곽선을 포함하는 영역을 의미한다. 앞서 설명하였듯이, 실제 영상(902)의 블록들이 윤곽선을 포함하는 지 여부는 가상 영상(901)의 윤곽선 정보에 따라 결정될 수 있다.In the real image 902, block 1 does not include an outline and block 2 means an area including an outline. As described above, whether the blocks of the actual image 902 include the contour may be determined according to the contour information of the virtual image 901.

부호화 장치(101)는 실제 영상(902)의 1번 블록을 상대적으로 낮은 비트량으로 부호화하거나 또는 가상 영상(901)을 활용하여 부호화할 수 있다. 그리고, 부호화 장치(101)는 실제 영상(902)의 2번 블록을 상대적으로 높은 비트량으로 부호화하거나 또는 가상 영상(901)을 활용하지 않고 기존의 방식에 따라 직접 부호화할 수 있다.The encoding apparatus 101 may encode the first block of the actual image 902 with a relatively low bit amount or may encode the virtual image 901. In addition, the encoding apparatus 101 may encode block 2 of the actual image 902 with a relatively high bit amount or directly encode it according to an existing method without using the virtual image 901.

도 10은 본 발명의 일실시예에 따른 부호화 방법을 도시한 플로우차트이다.10 is a flowchart illustrating an encoding method according to an embodiment of the present invention.

도 10의 부호화 방법은 복호화 장치가 수행하는 복호화 방법에도 동일하게 적용될 수 있다.The encoding method of FIG. 10 may be equally applied to the decoding method performed by the decoding apparatus.

단계 S1001에서, 부호화 장치(101)는 현재 시점의 주변 시점에 대응하는 영상을 부호화할 수 있다. In operation S1001, the encoding apparatus 101 may encode an image corresponding to a peripheral view of the current view.

단계 S1002에서, 부호화 장치(101)는 이미 부호화된 주변 시점의 영상을 합성하여 현재 시점의 가상 영상을 생성할 수 있다. 예를 들어, 부호화 장치(101)는 이미 부호화된 I 시점 또는 B시점 또는 P 시점의 영상을 합성하여 또 다른 B 시점의 가상 영상을 생성할 수 있다. 그리고, 이미 부호화된 I 시점 또는 P 시점의 영상을 합성하여 또 다른 P 시점의 가상 영상을 생성할 수 있다. 결국, 부호화 장치(101)는 이미 부호화된 하나의 시점 이상의 정보를 이용하여 I 시점을 제외한 모든 시점의 가상 영상을 생성할 수 있다. 생성된 가상 영상은 실제 영상을 부호화할 때 활용될 수 있다.In operation S1002, the encoding apparatus 101 may generate a virtual image of the current view by synthesizing the image of the neighboring view that is already encoded. For example, the encoding apparatus 101 may generate a virtual image of another B view by synthesizing an image of an I view, a B view, or a P view that is already encoded. In addition, a virtual image of another P view may be generated by synthesizing an image of an I view or a P view that is already encoded. As a result, the encoding apparatus 101 may generate virtual images of all views except the I view by using the information of at least one view that is already encoded. The generated virtual image may be utilized when encoding the actual image.

단계 S1003에서, 부호화 장치(101)는 가상 영상에서 윤곽선을 추출할 수 있다. 단계 S1004에서, 부호화 장치(101)는 실제 영상의 블록의 부호화 기준을 판단할 수 있다. 구체적으로, 부호화 장치(101)는 실제 영상의 블록에 윤곽선이 포함되었는지, 주변 시점의 움직임 정보가 상대적으로 작은지 여부, 주변 시점의 부호화 모드가 부호화 모드 1인지 여부를 고려하여 부호화 방식을 다르게 할 수 있다. 여기서, 부호화 모드 1은 스킵 모드, 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드를 포함할 수 있으며, 시스템의 구성에 따라 부호화 모드 1의 종류는 달라질 수 있다. 부호화 모드 2는 부호화 모드 1을 제외한 나머지 부호화 모드를 포함할 수 있다.In operation S1003, the encoding apparatus 101 may extract the outline from the virtual image. In operation S1004, the encoding apparatus 101 may determine an encoding criterion of a block of an actual image. In detail, the encoding apparatus 101 may change the encoding scheme in consideration of whether an outline is included in a block of an actual image, whether motion information of a neighboring view is relatively small, and whether the encoding mode of the neighboring view is encoding mode 1. Can be. Here, the encoding mode 1 may include a skip mode, a direct mode, an inter 16 * 16 mode, an intra 16 * 16 mode, and the type of the encoding mode 1 may vary according to the configuration of the system. Encoding mode 2 may include other encoding modes except encoding mode 1.

기본적으로, 부호화 장치(101)는 실제 영상을 직접 부호화하지 않고, 가상 영상으로 대체할 수 있다. 만약, 실제 영상의 블록이 윤곽선을 포함하지 않거나, 주변 시점의 움직임 정보가 상대적으로 작거나 또는 주변 시점의 부호화 모드가 부호화 모드 1인 경우, 단계 S1005에서, 부호화 장치(101)는 제1 부호화 방식에 따라 실제 영상을 부호화할 수 있다. Basically, the encoding apparatus 101 may substitute a virtual image without directly encoding an actual image. If the block of the actual image does not include an outline, the motion information of the neighboring viewpoint is relatively small, or the encoding mode of the neighboring viewpoint is encoding mode 1, in step S1005, the encoding apparatus 101 performs the first encoding scheme. According to the real video can be encoded.

반대로, 실제 영상의 블록이 윤곽선을 포함하거나, 주변 시점의 움직임 정보가 상대적으로 크거나 또는 주변 시점의 부호화 모드가 부호화 모드 2인 경우 단계 S1006에서, 부호화 장치(101)는 제2 부호화 방식에 따라 실제 영상을 부호화할 수 있다. On the contrary, when the block of the actual image includes an outline, the motion information of the neighboring view is relatively large, or the encoding mode of the neighboring view is encoding mode 2, in step S1006, the encoding apparatus 101 according to the second encoding scheme. The actual image can be encoded.

이 때, 제1 부호화 방식은 실제 영상을 부호화하지 않고 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 부호화하는 것을 의미한다. 그리고, 제2 부호화 방식은 실제 영상을 상대적으로 높은 비트량으로 부호화하는 것을 의미한다.In this case, the first encoding method means replacing the real video with the virtual video without encoding the real video or encoding the real video with a relatively low bit amount. In addition, the second encoding method means encoding an actual video with a relatively high bit amount.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

101: 부호화 장치
102: 복호화 장치
101: encoding device
102: decryption device

Claims (37)

부호화할 현재 시점의 가상 영상을 생성하는 영상 생성부; 및
상기 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화하는 영상 부호화부
를 포함하는 부호화 장치.
An image generator generating a virtual image of a current view to be encoded; And
An image encoder which encodes an actual image of a current view using the virtual image.
Encoding apparatus comprising a.
제1항에 있어서,
상기 영상 생성부는,
상기 현재 시점의 주변 시점에 대응하는 영상들을 합성하여 상기 현재 시점의 가상 영상을 생성하고,
상기 영상 부호화부는,
상기 실제 영상을 부호화하지 않고 상기 실제 영상을 가상 영상으로 대체하는 것을 특징으로 하는 부호화 장치.
The method of claim 1,
The image generator,
Generating a virtual image of the current view by synthesizing the images corresponding to the neighboring views of the current view,
The image encoder,
And encoding the real image with a virtual image without encoding the real image.
제1항에 있어서,
상기 영상 부호화부는,
주변 시점의 부호화 모드 정보, 주변 시점의 움직임 정보 및 상기 가상 영상의 윤곽선 정보 중 적어도 하나에 기초하여 상기 실제 영상을 부호화하는 것을 특징으로 하는 부호화 장치.
The method of claim 1,
The image encoder,
And encoding the real image based on at least one of encoding mode information of a neighboring viewpoint, motion information of a neighboring viewpoint, and contour information of the virtual image.
제3항에 있어서,
상기 영상 부호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 부호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 실제 영상의 블록에 대한 부호화 과정을 스킵하는 것을 특징으로 하는 부호화 장치.
The method of claim 3,
The image encoder,
If an outline exists in a block of the real image, a block of the real image is encoded based on a motion search and a shift search.
And if an outline does not exist in the block of the real image, the encoding process for the block of the real image is skipped.
제3항에 있어서,
상기 영상 부호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 부호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 높은 양자화 계수로 부호화하는 것을 특징으로 하는 부호화 장치.
The method of claim 3,
The image encoder,
If an outline exists in a block of the real image, the block of the real image is encoded with a relatively low quantization coefficient,
And if the contour does not exist in the block of the real image, the block of the real image is encoded with a relatively high quantization coefficient.
제3항에 있어서,
상기 영상 부호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 높은 비트량으로 부호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 비트량으로 부호화하는 것을 특징으로 하는 부호화 장치.
The method of claim 3,
The image encoder,
If an outline exists in a block of the real image, the block of the real image is encoded with a relatively high bit amount,
And if the contour does not exist in the block of the real image, the block of the real image is encoded with a relatively low bit amount.
제3항에 있어서,
상기 영상 부호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 원래 블록 사이즈로 부호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 다운 샘플링하여 원래 블록 사이즈보다 작은 블록 사이즈로 줄인 후 부호화하는 것을 특징으로 하는 부호화 장치.
The method of claim 3,
The image encoder,
If an outline exists in a block of the real picture, the original block size of the real picture is encoded.
And if the contour does not exist in the block of the real image, down-sampling the block of the real image to reduce the block size to a smaller block size than the original block size and then encode.
제3항에 있어서,
상기 영상 부호화부는,
상기 주변 시점의 부호화 모드 정보가 스킵 모드, 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 부호화하는 것을 특징으로 하는 부호화 장치.
The method of claim 3,
The image encoder,
When the encoding mode information of the peripheral view is a skip mode, a direct mode, an inter 16 * 16 mode, or an intra 16 * 16 mode, replacing the real image with a virtual image or encoding the real image with a relatively low bit amount An encoding device characterized by the above-mentioned.
제3항에 있어서,
상기 영상 부호화부는,
상기 주변 시점의 움직임 정보가 상대적으로 작은 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 부호화하는 것을 특징으로 하는 부호화 장치.
The method of claim 3,
The image encoder,
And when the motion information of the neighboring view is relatively small, replace the real image with a virtual image or encode the real image with a relatively low bit amount.
복호화할 현재 시점의 가상 영상을 생성하는 영상 생성부; 및
상기 가상 영상을 이용하여 현재 시점의 실제 영상을 복호화하는 영상 복호화부
를 포함하는 복호화 장치.
An image generator generating a virtual image of a current view to be decoded; And
An image decoder which decodes the real image of the current view by using the virtual image.
Decoding apparatus comprising a.
제10항에 있어서,
상기 영상 생성부는,
상기 현재 시점의 주변 시점에 대응하는 영상들을 합성하여 상기 현재 시점의 가상 영상을 생성하고,
상기 영상 복호화부는,
상기 실제 영상을 복호화하지 않고 상기 실제 영상을 가상 영상으로 대체하는 것을 특징으로 하는 복호화 장치.
The method of claim 10,
The image generator,
Generating a virtual image of the current view by synthesizing the images corresponding to the neighboring views of the current view,
The image decoder,
And a real image is replaced with a virtual image without decoding the real image.
제10항에 있어서,
상기 영상 복호화부는,
주변 시점의 복호화 모드 정보, 주변 시점의 움직임 정보 및 상기 가상 영상의 윤곽선 정보 중 적어도 하나에 기초하여 상기 실제 영상을 복호화하는 것을 특징으로 하는 복호화 장치.
The method of claim 10,
The image decoder,
And decoding the real image based on at least one of decoding mode information of a neighboring viewpoint, motion information of a neighboring viewpoint, and contour information of the virtual image.
제12항에 있어서,
상기 영상 복호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 복호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 가상 영상의 블록을 이용하여 실제 영상의 블록을 복호화하는 것을 특징으로 하는 복호화 장치.
The method of claim 12,
The image decoder,
If an outline exists in the block of the real image, the block of the real image is decoded based on the motion search and the shift search.
And if the contour does not exist in the block of the real image, the block of the real image is decoded using the block of the virtual image.
제12항에 있어서,
상기 영상 복호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 복호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 높은 양자화 계수로 복호화하는 것을 특징으로 하는 복호화 장치.
The method of claim 12,
The image decoder,
If an outline exists in a block of the real image, the block of the real image is decoded with a relatively low quantization coefficient,
And if the contour does not exist in the block of the real image, the block of the real image is decoded with a relatively high quantization coefficient.
제12항에 있어서,
상기 영상 복호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 높은 비트량으로 복호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 비트량으로 복호화하는 것을 특징으로 하는 복호화 장치.
The method of claim 12,
The image decoder,
If an outline exists in a block of the real image, the block of the real image is decoded with a relatively high bit amount,
And if the contour does not exist in the block of the real image, the block of the real image is decoded with a relatively low bit amount.
제12항에 있어서,
상기 영상 복호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 원래 블록 사이즈로 복호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 원래 블록 사이즈보다 작은 블록 사이즈로 복호화한 후 업샘플링하는 것을 특징으로 하는 복호화 장치.
The method of claim 12,
The image decoder,
If an outline exists in a block of the real picture, the original block size of the real picture is decoded.
And if the contour does not exist in the block of the real image, the block of the real image is desampled to a block size smaller than the original block size and then upsampled.
제12항에 있어서,
상기 영상 복호화부는,
상기 주변 시점의 복호화 모드 정보가 스킵 모드, 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 복호화하는 것을 특징으로 하는 복호화 장치.
The method of claim 12,
The image decoder,
When the decoding mode information of the peripheral view is a skip mode, a direct mode, an inter 16 * 16 mode, or an intra 16 * 16 mode, replacing the real image with a virtual image or decoding the real image with a relatively low bit amount. Decoding apparatus characterized by.
제12항에 있어서,
상기 영상 복호화부는,
상기 주변 시점의 움직임 정보가 상대적으로 작은 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 복호화하는 것을 특징으로 하는 복호화 장치.
The method of claim 12,
The image decoder,
And when the motion information of the neighboring view is relatively small, replace the real image with a virtual image or decode the real image with a relatively low bit amount.
부호화할 현재 시점의 가상 영상을 생성하는 단계; 및
상기 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화하는 단계
를 포함하는 부호화 방법.
Generating a virtual image of a current view to be encoded; And
Encoding an actual image of a current view using the virtual image
Encoding method comprising a.
제19항에 있어서,
상기 부호화할 현재 시점의 가상 영상을 생성하는 단계는,
상기 현재 시점의 주변 시점에 대응하는 영상들을 합성하여 상기 현재 시점의 가상 영상을 생성하고,
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 실제 영상을 부호화하지 않고 상기 실제 영상을 가상 영상으로 대체하는 것을 특징으로 하는 부호화 방법.
20. The method of claim 19,
Generating the virtual image of the current view to be encoded,
Generating a virtual image of the current view by synthesizing the images corresponding to the neighboring views of the current view,
The encoding of the actual image of the current view may include:
And encoding the real image with a virtual image without encoding the real image.
제19항에 있어서,
상기 현재 시점의 실제 영상을 부호화하는 단계는,
주변 시점의 부호화 모드 정보, 주변 시점의 움직임 정보 및 상기 가상 영상의 윤곽선 정보 중 적어도 하나에 기초하여 상기 실제 영상을 부호화하는 것을 특징으로 하는 부호화 방법.
20. The method of claim 19,
The encoding of the actual image of the current view may include:
And encoding the real image based on at least one of encoding mode information of a neighboring viewpoint, motion information of a neighboring viewpoint, and contour information of the virtual image.
제21항에 있어서,
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 부호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 실제 영상의 블록에 대한 부호화 과정을 스킵하는 단계
를 포함하는 부호화 방법.
The method of claim 21,
The encoding of the actual image of the current view may include:
If a contour line exists in the block of the real image, encoding a block of the real image based on a motion search and a shift search; or
Skipping the encoding process for the block of the real image when the contour does not exist in the block of the real image
Encoding method comprising a.
제21항에 있어서,
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 부호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 높은 양자화 계수로 부호화하는 단계
를 포함하는 부호화 방법.
The method of claim 21,
The encoding of the actual image of the current view may include:
If an outline exists in a block of the real image, encoding the block of the real image with a relatively low quantization coefficient; or
Encoding the block of the real image with a relatively high quantization coefficient when there is no contour line in the block of the real image
Encoding method comprising a.
제21항에 있어서,
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 높은 비트량으로 부호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 비트량으로 부호화하는 단계
를 포함하는 부호화 방법.
The method of claim 21,
The encoding of the actual image of the current view may include:
If an outline exists in a block of the real image, encoding a block of the real image with a relatively high bit amount; or
If no contour line exists in the block of the real image, encoding the block of the real image with a relatively low bit amount
Encoding method comprising a.
제21항에 있어서,
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 원래 블록 사이즈로 부호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 다운 샘플링하여 원래 블록 사이즈보다 작은 블록 사이즈로 줄인 후 부호화하는 단계
를 포함하는 부호화 방법.
The method of claim 21,
The encoding of the actual image of the current view may include:
If an outline exists in a block of the real image, encoding the original block size of the real image; or
If an outline exists in a block of the real image, down-sampling the block of the real image to reduce the block size to a smaller block size than the original block size and then encoding
Encoding method comprising a.
제21항에 있어서,
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 주변 시점의 부호화 모드 정보가 스킵 모드, 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 부호화하는 것을 특징으로 하는 부호화 방법.
The method of claim 21,
The encoding of the actual image of the current view may include:
When the encoding mode information of the peripheral view is a skip mode, a direct mode, an inter 16 * 16 mode, or an intra 16 * 16 mode, replacing the real image with a virtual image or encoding the real image with a relatively low bit amount An encoding method characterized by the above-mentioned.
제21항에 있어서,
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 주변 시점의 움직임 정보가 상대적으로 작은 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 부호화하는 것을 특징으로 하는 부호화 방법.
The method of claim 21,
The encoding of the actual image of the current view may include:
And when the motion information of the neighboring view is relatively small, replace the real image with a virtual image or encode the real image with a relatively low bit amount.
복호화할 현재 시점의 가상 영상을 생성하는 단계; 및
상기 가상 영상을 이용하여 현재 시점의 실제 영상을 복호화하는 단계
를 포함하는 복호화 방법.
Generating a virtual image of a current view to be decoded; And
Decoding an actual image of a current view using the virtual image
Decryption method comprising a.
제28항에 있어서,
상기 가상 영상을 생성하는 단계는,
상기 현재 시점의 주변 시점에 대응하는 영상들을 합성하여 상기 현재 시점의 가상 영상을 생성하고,
상기 실제 영상을 복호화하는 단계는,
상기 실제 영상을 복호화하지 않고 상기 실제 영상을 가상 영상으로 대체하는 것을 특징으로 하는 복호화 방법.
The method of claim 28,
Generating the virtual image,
Generating a virtual image of the current view by synthesizing the images corresponding to the neighboring views of the current view,
Decoding the real video,
And deciphering the real video with a virtual video without decoding the real video.
제28항에 있어서,
상기 현재 시점의 실제 영상을 복호화하는 단계는,
주변 시점의 복호화 모드 정보, 주변 시점의 움직임 정보 및 상기 가상 영상의 윤곽선 정보 중 적어도 하나에 기초하여 상기 실제 영상을 복호화하는 것을 특징으로 하는 복호화 방법.
The method of claim 28,
Decoding the actual video of the current view,
And decoding the real image based on at least one of decoding mode information of a neighboring viewpoint, motion information of a neighboring viewpoint, and contour information of the virtual image.
제30항에 있어서,
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 복호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 가상 영상의 블록을 이용하여 실제 영상의 블록을 복호화하는 단계
를 포함하는 복호화 방법.
31. The method of claim 30,
Decoding the actual video of the current view,
Decoding the block of the real image based on the motion search and the shift search when an outline exists in the block of the real image; or
When the contour does not exist in the block of the real image, decoding the block of the real image using the block of the virtual image
Decryption method comprising a.
제30항에 있어서,
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 복호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 높은 양자화 계수로 복호화하는 단계
를 포함하는 복호화 방법.
31. The method of claim 30,
Decoding the actual video of the current view,
If an outline exists in a block of the real image, decoding the block of the real image with a relatively low quantization coefficient; or
Decoding a block of the real image with a relatively high quantization coefficient when there is no contour line in the block of the real image
Decryption method comprising a.
제30항에 있어서,
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 높은 비트량으로 복호화하는 단계; 또는,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 비트량으로 복호화하는 단계
를 포함하는 복호화 방법.
31. The method of claim 30,
Decoding the actual video of the current view,
If an outline exists in a block of the real image, decoding the block of the real image with a relatively high bit amount; or,
Decoding a block of the real image with a relatively low bit amount when no contour exists in the block of the real image
Decryption method comprising a.
제30항에 있어서,
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 원래 블록 사이즈로 복호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 원래 블록 사이즈보다 작은 블록 사이즈로 복호화한 후 업샘플링하는 단계
를 포함하는 복호화 방법.
31. The method of claim 30,
Decoding the actual video of the current view,
If an outline exists in a block of the real image, decoding the original block size of the real image; or
If an outline exists in the block of the real image, decoding the block of the real image to a block size smaller than the original block size and then upsampling
Decryption method comprising a.
제30항에 있어서,
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 주변 시점의 복호화 모드 정보가 스킵 모드, 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 복호화하는 것을 특징으로 하는 복호화 방법.
31. The method of claim 30,
Decoding the actual video of the current view,
When the decoding mode information of the peripheral view is a skip mode, a direct mode, an inter 16 * 16 mode, or an intra 16 * 16 mode, replacing the real image with a virtual image or decoding the real image with a relatively low bit amount. A decoding method characterized by the above-mentioned.
제30항에 있어서,
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 주변 시점의 움직임 정보가 상대적으로 작은 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 복호화하는 것을 특징으로 하는 복호화 방법.
31. The method of claim 30,
Decoding the actual video of the current view,
And when the motion information of the neighboring view is relatively small, replace the real video with a virtual video or decode the real video with a relatively low bit amount.
제19항 내지 제36항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method of claim 19.
KR1020110015948A 2011-01-20 2011-02-23 Apparatus and method for encoding and decoding multi-view image KR20120084628A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2012/000138 WO2012099352A2 (en) 2011-01-20 2012-01-06 Device and method for encoding/deciding multi-viewpoint images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161434614P 2011-01-20 2011-01-20
US61/434,614 2011-01-20

Publications (1)

Publication Number Publication Date
KR20120084628A true KR20120084628A (en) 2012-07-30

Family

ID=46715509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110015948A KR20120084628A (en) 2011-01-20 2011-02-23 Apparatus and method for encoding and decoding multi-view image

Country Status (1)

Country Link
KR (1) KR20120084628A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101386651B1 (en) * 2012-09-13 2014-04-17 전자부품연구원 Multi-View video encoding and decoding method and apparatus thereof
WO2018097577A1 (en) * 2016-11-25 2018-05-31 경희대학교 산학협력단 Parallel image processing method and apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101386651B1 (en) * 2012-09-13 2014-04-17 전자부품연구원 Multi-View video encoding and decoding method and apparatus thereof
WO2018097577A1 (en) * 2016-11-25 2018-05-31 경희대학교 산학협력단 Parallel image processing method and apparatus

Similar Documents

Publication Publication Date Title
JP6633694B2 (en) Multi-view signal codec
KR101158491B1 (en) Apparatus and method for encoding depth image
JP6178326B2 (en) Efficient multi-view coding using depth map estimation and update
KR20120080122A (en) Apparatus and method for encoding and decoding multi-view video based competition
US10440385B2 (en) Multi-view coding with effective handling of renderable portions
KR101893559B1 (en) Apparatus and method for encoding and decoding multi-view video
JP2015525997A (en) Method and apparatus for inter-view candidate derivation in 3D video coding
US20230328271A1 (en) Multi-view coding with exploitation of renderable portions
JP2016513925A (en) Method and apparatus for view synthesis prediction in 3D video coding
JP6571646B2 (en) Multi-view video decoding method and apparatus
KR20130046534A (en) Method and apparatus for encoding image and method and apparatus for decoding image
KR101386651B1 (en) Multi-View video encoding and decoding method and apparatus thereof
KR20120084628A (en) Apparatus and method for encoding and decoding multi-view image
KR20130022923A (en) Apparatus and method for encoding/decoding using virtual view synthesis prediction
KR102133936B1 (en) Apparatus and method for encoding/decoding for 3d video
WO2012099352A2 (en) Device and method for encoding/deciding multi-viewpoint images
KR102020024B1 (en) Apparatus and method for encoding/decoding using virtual view synthesis prediction
KR101356890B1 (en) Method and apparatus of inter-view video encoding and decoding in hybrid codecs for multi-view video coding
JP2013211777A (en) Image coding device, image decoding device, image coding method, image decoding method and program
JP2012019547A (en) Moving image coding device and method, and moving image decoding device and method

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination