KR20120084628A - Apparatus and method for encoding and decoding multi-view image - Google Patents
Apparatus and method for encoding and decoding multi-view image Download PDFInfo
- Publication number
- KR20120084628A KR20120084628A KR1020110015948A KR20110015948A KR20120084628A KR 20120084628 A KR20120084628 A KR 20120084628A KR 1020110015948 A KR1020110015948 A KR 1020110015948A KR 20110015948 A KR20110015948 A KR 20110015948A KR 20120084628 A KR20120084628 A KR 20120084628A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- block
- real image
- encoding
- real
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Abstract
Description
본 발명의 일실시예들은 영상 부호화/복호화 장치 및 방법에 관한 것으로, 보다 구체적으로는 이미 부호화/복호화된 영상을 이용하여 현재 시점의 영상을 부호화/복호화하는 장치 및 방법에 관한 것이다.Embodiments of the present invention relate to an apparatus and method for encoding / decoding an image, and more particularly, to an apparatus and method for encoding / decoding an image of a current view using an image that is already encoded / decoded.
입체 영상은 깊이 및 공간의 정보를 동시에 제공하는 3차원 영상을 의미한다. 좌우 눈에 각각 다른 시점의 영상을 제공하는 스테레오 영상과 달리 입체 영상은 관찰자의 시점에 따라 각기 다른 영상을 제공한다. 결국, 입체 영상은 관찰자의 시점에서 촬영한 복수의 영상들로 구성된다.The stereoscopic image refers to a 3D image that simultaneously provides depth and space information. Unlike stereo images, which provide images of different viewpoints to the left and right eyes, stereoscopic images provide different images according to the viewer's viewpoint. As a result, the stereoscopic image is composed of a plurality of images taken from the observer's point of view.
복수의 시점에서 촬영한 영상들을 많은 데이터량을 가진다. 이와 같이 복수의 시점에서 촬영한 영상들을 MPEG-2, H.264/AVC와 같은 단일 시점 비디오 부호화 방식으로 부호화하면 네트워크 인프라, 지상파 대역폭 면에서 실현이 불가능하다.Images taken from a plurality of viewpoints have a large amount of data. As described above, when images captured from a plurality of viewpoints are encoded by a single-view video encoding method such as MPEG-2 and H.264 / AVC, it is impossible to realize network infrastructure and terrestrial bandwidth.
그래서, 복수의 시점에서 촬영한 영상들을 다시점 비디오 부호화 방식에 따라 부호화하는 것이 필요하다. 그러나, 여전히 네트워크 인프라와 지상파 대역폭은 한정되어 있기 때문에, 다시점 비디오 압축 방식을 보다 효율적으로 개선하는 것이 요구된다.Therefore, it is necessary to encode images photographed at a plurality of viewpoints according to a multiview video encoding method. However, because network infrastructure and terrestrial bandwidth are still limited, there is a need for more efficient multi-view video compression.
본 발명의 일실시예에 따른 부호화 장치는 부호화할 현재 시점의 가상 영상을 생성하는 영상 생성부; 및 상기 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화하는 영상 부호화부를 포함할 수 있다.An encoding apparatus according to an embodiment of the present invention includes an image generator for generating a virtual image of a current view to be encoded; And an image encoder which encodes an actual image of a current view using the virtual image.
본 발명의 일실시예에 따른 복호화 장치는 복호화할 현재 시점의 가상 영상을 생성하는 영상 생성부; 및 상기 가상 영상을 이용하여 현재 시점의 실제 영상을 복호화하는 영상 복호화부를 포함할 수 있다.Decoding apparatus according to an embodiment of the present invention includes an image generating unit for generating a virtual image of the current view to be decoded; And an image decoder which decodes an actual image of a current view using the virtual image.
본 발명의 일실시예에 따른 부호화 방법은 부호화할 현재 시점의 가상 영상을 생성하는 단계; 및 상기 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화하는 단계를 포함할 수 있다.An encoding method according to an embodiment of the present invention includes generating a virtual image of a current view to be encoded; And encoding the real image of the current view by using the virtual image.
본 발명의 일실시예에 따른 복호화 방법은 복호화할 현재 시점의 가상 영상을 생성하는 단계; 및 상기 가상 영상을 이용하여 현재 시점의 실제 영상을 복호화하는 단계를 포함할 수 있다.Decoding method according to an embodiment of the present invention comprises the steps of generating a virtual image of the current view to be decoded; And decoding the real image of the current view by using the virtual image.
본 발명의 일실시예에 따르면, 이미 부호화된 주변 시점의 영상을 합성하여 현재 시점의 가상 영상을 생성하고, 가상 영상을 실제 영상을 부호화하는 데 이용함으로써 실제 영상의 부호화 효율을 향상시킬 수 있다.According to an embodiment of the present invention, the encoding efficiency of the actual image may be improved by synthesizing the image of the neighboring view, which is already encoded, to generate a virtual image of the current view, and using the virtual image to encode the actual image.
본 발명의 일실시예에 따르면, 실제 영상의 윤곽선 정보에 따라 부호화 방식을 다르게 함으로써 부호화 효율을 향상시킴과 동시에 윤곽선으로 인한 왜곡을 최소화할 수 있다.According to an embodiment of the present invention, by varying the encoding scheme according to the contour information of the actual image, it is possible to improve encoding efficiency and minimize distortion due to the contour.
본 발명의 일실시에에 따르면, 주변 시점의 움직임 정보에 따라 부호화 방식을 다르게 함으로써 부호화 효율을 향상시킬 수 있다.According to an embodiment of the present invention, the coding efficiency may be improved by changing the coding scheme according to the motion information of the neighboring view.
본 발명의 일실시예에 따르면, 주변 시점의 부호화 모드 정보에 따라 부호화 방식을 다르게 함으로써 부호화 효율을 향상시킬 수 있다.According to an embodiment of the present invention, the encoding efficiency may be improved by changing the encoding scheme according to the encoding mode information of the neighboring view.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 4는 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 현재 시점의 실제 영상을 부호화하기 위해 사용되는 주변 시점의 영상의 예시를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 주변 시점의 영상을 이용하여 현재 시점의 가상 영상을 생성하는 과정을 도시한 도면이다.
도 7은 본 발명의 일실시예에 따라 영상을 합성하는 과정을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 가상 영상의 윤곽선 정보를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 가상 영상의 윤곽선 정보에 기초하여 실제 영상을 부호화하는 과정을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 부호화 방법을 도시한 플로우차트이다.1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.
2 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.
3 is a block diagram showing a detailed configuration of a decoding apparatus according to an embodiment of the present invention.
4 is a diagram illustrating a structure of a multiview video according to an embodiment of the present invention.
5 is a diagram illustrating an example of an image of a neighboring view used to encode an actual image of a current view according to an embodiment of the present invention.
6 is a diagram illustrating a process of generating a virtual image of a current view using an image of a neighboring view according to an embodiment of the present invention.
7 illustrates a process of synthesizing an image according to an embodiment of the present invention.
8 illustrates contour information of a virtual image according to an embodiment of the present invention.
9 is a diagram illustrating a process of encoding an actual image based on contour information of a virtual image according to one embodiment of the present invention.
10 is a flowchart illustrating an encoding method according to an embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.
부호화 장치(101)는 부호화할 현재 시점의 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화할 수 있다. 이 때, 부호화 장치(101)는 주변 시점에 대응하는 영상을 합성하여 가상 영상을 생성할 수 있다. 본 발명의 일실시예에서, 가상 영상 및 실제 영상은 컬러 영상, 깊이 영상, 변이(Disparity) 영상, 폐색(Occlusion) 영상 등 모든 영상을 포함할 수 있다. 여기서, 깊이 영상은 컬러 영상에서 물체와 시청자 간의 거리를 0~255(8비트)의 값으로 나타낸 영상을 의미한다.The
그리고, 합성은 이미 부호화된 주변 시점의 영상을 이용하여 현재 시점의 가상 영상을 생성하는 것을 의미한다. 예를 들어, 부호화 장치(101)는 이미 부호화된 I 시점 또는 B시점 또는 P 시점의 영상을 합성하여 또 다른 B 시점의 가상 영상을 생성할 수 있다. 그리고, 이미 부호화된 I 시점 또는 P 시점의 영상을 합성하여 또 다른 P 시점의 가상 영상을 생성할 수 있다. 결국, 부호화 장치(101)는 이미 부호화된 하나의 시점 이상의 정보를 이용하여 I 시점을 제외한 모든 시점의 가상 영상을 생성할 수 있다. 생성된 가상 영상은 실제 영상을 부호화할 때 활용될 수 있다.And, synthesis means generating a virtual image of the current view by using the image of the neighboring view that is already encoded. For example, the
일례로, 부호화 장치(101)는 현재 시점의 실제 영상을 부호화하지 않고, 실제 영상을 이미 부호화된 주변 시점의 영상으로부터 생성된 현재 시점의 가상 영상으로 대체함으로써 부호화할 수 있다.For example, the
그리고, 부호화 장치(101)는 실제 영상의 영역에 따라 가상 영상을 부분적으로 이용하여 실제 영상을 부호화할 수 있다. 구체적으로, 부호화 장치(101)는 실제 영상의 윤곽선 정보, 주변 시점의 부호화 모드 정보, 또는 주변 시점의 움직임 정보 중 적어도 하나에 기초하여 블록 별로 실제 영상을 부호화할 수 있다.In addition, the
구체적으로, 부호화 장치(101)는 실제 영상의 윤곽선 정보는 가상 영상의 윤곽선 정보로부터 추출될 수 있다. 그리고, 실제 영상의 블록에서 윤곽선이 존재하는 경우, 부호화 장치(101)는 기존의 방식에 따라 부호화할 수 있다. 반대로, 실제 영상의 볼록에서 윤곽선이 존재하지 않는 경우, 부호화 장치(101)는 실제 영상을 부호화하지 않고 가상 영상으로 대체하거나 또는 부호화 정도를 강하게 설정하여 실제 영상을 부호화할 수 있다. In detail, the
그리고, 부호화 장치(101)는 실제 영상에 대한 주변 시점의 부호화 모드 정보가 미리 설정된 부호화 모드 정보(Skip 모드, 다이렉트 모드, 인트라 16*16 모드, 인터 16*16모드)인 경우, 윤곽선이 존재하지 않는 경우와 동일하게 처리할 수 있다. 또한, 부호화 장치는 주변 시점의 움직임 정보가 상대적으로 작은 경우, 윤곽선이 존재하지 않는 경우와 동일하게 처리할 수 있다.The
복호화 장치(102)는 부호화 장치(101)의 동작과 거의 동일하므로 구체적인 설명은 생략하기로 한다.Since the
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.2 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.
도 2를 참고하면, 부호화 장치(101)는 영상 생성부(201) 및 영상 부호화부(202)를 포함할 수 있다.Referring to FIG. 2, the
영상 생성부(201)는 현재 시점의 주변 시점에 대응하는 영상들을 합성하여 현재 시점의 가상 영상을 생성할 수 있다. 여기서, 현재 시점은 부호화하고자 하는 현재 블록의 시점을 의미하고, 주변 시점은 현재 시점과 다른 시점을 의미한다.The
영상 부호화부(202)는 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화할 수 있다. The
일례로, 영상 부호화부(202)는 현재 시점의 실제 영상을 직접 부호화하지 않고 가상 영상으로 대체할 수 있다.For example, the
그리고, 영상 부호화부(202)는 실제 영상의 영역에 따라 가상 영상을 부분적으로 이용하여 실제 영상을 부호화할 수 있다. 구체적으로, 영상 부호화부(202)는 실제 영상의 윤곽선 정보, 주변 시점의 부호화 모드 정보, 또는 주변 시점의 움직임 정보 중 적어도 하나에 따라 영역 별로 부분적으로 가상 영상을 사용하여 실제 영상을 부호화할 수 있다.The
일례로, 영상 부호화부(202)는 가상 영상을 이용하여 실제 영상의 윤곽선 정보를 추출하고, 상기 실제 영상의 윤곽선 정보에 기초하여 상기 실제 영상을 부호화할 수 있다.For example, the
제1 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 부호화부(202)는 기존의 방식에 따라 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 부호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 부호화부(202)는 실제 영상의 블록에 대한 부호화 과정을 스킵할 수 있다.In the first embodiment, when an outline exists in a block of the real image, the
제2 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 부호화부(202)는 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 부호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 부호화부(202)는 실제 영상의 블록을 상대적으로 높은 양자화 계수로 부호화할 수 있다.In the second embodiment, when the contour is present in the block of the real image, the
제3 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 부호화부(202)는 실제 영상의 블록을 상대적으로 높은 비트량으로 부호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 부호화부(202)는 실제 영상의 블록을 상대적으로 낮은 비트량으로 부호화할 수 있다.In the third embodiment, when an outline exists in a block of an actual image, the
제4 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 부호화부(202)는 실제 영상의 원래 블록 사이즈로 부호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 부호화부(202)는 실제 영상의 블록을 다운 샘플링하여 원래 블록 사이즈보다 작은 블록 사이즈로 줄인 후 부호화할 수 있다.According to the fourth embodiment, when an outline exists in a block of an actual image, the
제1 실시예 내지 제4 실시예에서 실제 영상의 블록에 윤곽선이 존재하는 지 여부는 가상 영상의 윤곽선 정보에 따라 결정될 수 있다. 가상 영상의 윤곽선 정보는 가상 영상에서 픽셀들의 밝기값 차이를 통해 결정될 수 있다. 또는, 가상 영상의 윤곽선 정보는 윤곽선 검출기를 통해 결정될 수 있다.In the first to fourth embodiments, whether or not the contour exists in the block of the actual image may be determined according to the contour information of the virtual image. Contour information of the virtual image may be determined based on a difference in brightness values of pixels in the virtual image. Alternatively, the contour information of the virtual image may be determined through the contour detector.
결론적으로, 윤곽선의 경우 영상 처리에서 큰 영향을 미치므로, 부호화 장치(101)는 실제 영상에서 윤곽선이 존재하는 지 여부에 따라 부호화의 강도를 다르게 하여 부호화할 수 있다.In conclusion, since the contour has a great influence on image processing, the
동일한 방식으로, 주변 시점의 부호화 모드 정보가 스킵 모드(skip mode), 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 영상 부호화부(202)는 윤곽선이 존재하지 않는 경우와 같이 처리할 수 있다. 즉, 주변 시점의 부호화 모드가 스킵 모드(skip mode), 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 영상 부호화부(202)는 실제 영상의 부호화 강도를 높이거나 또는 가상 영상으로 대체할 수 있다.In the same manner, when the encoding mode information of the peripheral view is the skip mode, the direct mode, the inter 16 * 16 mode, or the intra 16 * 16 mode, the
그리고, 주변 시점의 움직임 정보가 상대적으로 작은 경우, 영상 부호화부(202)는 윤곽선이 존재하지 않는 경우와 같이 처리할 수 있다. 즉, 주변 시점의 움직임 정보가 상대적으로 작은 경우, 영상 부호화부(202)는 실제 영상의 부호화 강도를 높이거나 또는 가상 영상으로 대체할 수 있다.When the motion information of the peripheral view is relatively small, the
실제 영상의 부호화 결과는 비트스트림을 통해 복호화 장치(102)에 전송될 수 있다.The encoding result of the actual image may be transmitted to the
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.3 is a block diagram showing a detailed configuration of a decoding apparatus according to an embodiment of the present invention.
도 3을 참고하면, 복호화 장치(102)는 영상 생성부(301) 및 영상 복호화부(302)를 포함할 수 있다.Referring to FIG. 3, the
영상 생성부(301)는 앞서 설명한 영상 생성부(201)와 동일한 동작을 수행하므로, 구체적인 설명은 생략하기로 한다.Since the
영상 복호화부(302)는 가상 영상을 이용하여 현재 시점의 실제 영상을 복호화할 수 있다. 일례로, 영상 복호화부(302)는 현재 시점의 실제 영상을 직접 복호화하지 않고 가상 영상으로 대체할 수 있다.The
그리고, 영상 복호화부(302)는 실제 영상의 영역에 따라 가상 영상을 부분적으로 이용하여 실제 영상을 복호화할 수 있다. 구체적으로, 영상 복호화부(302)는 실제 영상의 윤곽선 정보, 주변 시점의 복호화 모드 정보, 또는 주변 시점의 움직임 정보 중 적어도 하나에 따라 영역 별로 부분적으로 가상 영상을 사용하여 실제 영상을 복호화할 수 있다.The
일례로, 영상 복호화부(302)는 가상 영상을 이용하여 실제 영상의 윤곽선 정보를 추출하고, 실제 영상의 윤곽선 정보에 기초하여 실제 영상을 복호화할 수 있다.For example, the
제1 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 복호화부(302)는 가상 영상을 이용하지 않고 기존의 방식에 따라 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 복호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 복호화부(302)는 가상 영상의 블록을 이용하여 실제 영상의 블록을 복호화할 수 있다.In the first embodiment, when an outline exists in a block of an actual image, the
제2 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 복호화부(302)는 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 복호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 복호화부(302)는 실제 영상의 블록을 상대적으로 높은 양자화 계수로 복호화할 수 있다. 이 때, 영상 복호화부(302)가 사용하는 양자화 계수는 영상 부호화부(202)가 사용하는 양자화 계수와 대응한다.In the second embodiment, when an outline exists in a block of an actual image, the
제3 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 복호화부(302)는 실제 영상의 블록을 상대적으로 높은 비트량으로 복호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 복호화부(302)는 실제 영상의 블록을 상대적으로 낮은 비트량으로 복호화할 수 있다.In the third embodiment, when an outline exists in a block of an actual image, the
제4 실시예로, 실제 영상의 블록에 윤곽선이 존재하는 경우, 영상 복호화부(302)는 실제 영상의 원래 블록 사이즈로 복호화할 수 있다. 반대로, 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 영상 복호화부(302)는 실제 영상의 블록을 원래 블록 사이즈보다 작은 블록 사이즈로 복호화한 후 업샘플링할 수 있다.In the fourth embodiment, when an outline exists in a block of an actual image, the
결론적으로, 윤곽선의 경우 영상 처리에서 큰 영향을 미치므로, 복호화 장치(102)는 실제 영상에서 윤곽선이 존재하는 지 여부에 따라 복호화의 강도를 다르게 하여 복호화할 수 있다.In conclusion, since the contour has a great influence on image processing, the
동일한 방식으로, 주변 시점의 복호화 모드 정보가 스킵 모드(skip mode), 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 영상 복호화부(302)는 윤곽선이 존재하지 않는 경우와 같이 처리할 수 있다. 즉, 주변 시점의 복호화 모드가 스킵 모드(skip mode), 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 영상 복호화부(302)는 실제 영상의 복호화 강도를 높이거나 또는 가상 영상으로 대체할 수 있다.In the same manner, when the decoding mode information of the peripheral view is the skip mode, the direct mode, the inter 16 * 16 mode, and the intra 16 * 16 mode, the
그리고, 주변 시점의 움직임 정보가 상대적으로 작은 경우, 영상 복호화부(302)는 윤곽선이 존재하지 않는 경우와 같이 처리할 수 있다. 즉, 주변 시점의 움직임 정보가 상대적으로 작은 경우, 영상 복호화부(302)는 실제 영상의 복호화 강도를 높이거나 또는 가상 영상으로 대체할 수 있다.When the motion information of the peripheral view is relatively small, the
도 4는 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.4 is a diagram illustrating a structure of a multiview video according to an embodiment of the present invention.
도 4를 참고하면, 3개 시점(Left, Center, Right)의 영상을 입력받았을 때, GOP(Group of Picture) '8'로 부호화하는 다시점 비디오 부호화 방식(Multiview Video Coding)을 나타낸다. 다시점(Multi-view) 영상을 부호화기 위해서는 기본적으로 시간(Temporal)축과 시점(View)축으로 계층적 B 영상(Hierarchical B Picture)을 적용하기 때문에 영상 간의 중복성(Redundancy)을 줄일 수 있다.Referring to FIG. 4, when a video of three viewpoints (Left, Center, Right) is received, a multiview video coding method of encoding GOP (Group of Picture) '8' is shown. In order to encode a multi-view image, a hierarchical B picture is basically applied to a temporal axis and a view axis, thereby reducing redundancy between images.
도 4에 도시된 다시점 비디오의 구조에 따라 다시점 비디오 부호화 장치(101)는 좌측 영상(Left Picture: I-view)을 먼저 부호화하고 우측 영상(Right Picture: P-view)과 중앙 영상(Center Picture: B-view)를 차례대로 부호화함으로써 3개 시점에 대응하는 영상을 부호화할 수 있다.According to the structure of a multiview video illustrated in FIG. 4, the multiview
이 때, 좌측 영상은 움직임 추정(Motion Estimation)을 통해 이전 영상들로부터 비슷한 영역을 검색함으로써 시간적 중복성(Temporal Redundancy)이 제거되는 방식으로 부호화될 수 있다. 그리고, 우측 영상은 이미 부호화된 좌측 영상을 참조 영상으로 사용하여 부호화되기 때문에, 움직임 추정에 기초한 시간적 중복성과 변이 추정(Disparity Estimation)에 기초한 시점 간 중복성(View Redundancy)이 제거되는 방식으로 부호화될 수 있다. 또한, 중앙 영상은 이미 부호화된 좌측 영상과 우측 영상을 모두 참조 영상으로 이용하여 부호화되기 때문에, 양방향으로의 변이 추정에 따라 시점 간 중복성이 제거될 수 있다.In this case, the left image may be encoded in such a manner that temporal redundancy is removed by searching for similar regions from previous images through motion estimation. In addition, since the right image is encoded by using the previously encoded left image as a reference image, the right image may be encoded in such a manner that temporal redundancy based on motion estimation and view redundancy based on disparity estimation are removed. have. In addition, since the center image is encoded by using both the left image and the right image, which are already encoded, as a reference image, the inter-view redundancy may be removed according to the estimation of the shift in both directions.
도 4를 참고하면, 다시점 비디오 부호화 방식에서, 좌측 영상과 같이 다른 시점의 참조 영상을 이용하지 않고 부호화되는 영상은 I-View, 우측 영상과 같이 다른 시점의 참조 영상을 단방향으로 예측하여 부호화하는 영상은 P-View, 중앙 영상과 같이 좌우 시점의 참조 영상을 양방향으로 예측하여 부호화하는 영상은 B-View이라고 정의된다.Referring to FIG. 4, in a multi-view video encoding method, an image encoded without using a reference image of another view, such as a left image, may be encoded by predicting and encoding a reference image of another view in one direction, such as an I-View and a right image. An image that is predicted and encoded in both directions, such as a P-View and a center image, is defined as a B-View.
MVC의 프레임은 예측 구조에 따라 크게 6가지 그룹으로 분류된다. 구체적으로, 6가지 그룹은 인트라 부호화를 위한 I-시점 Anchor 프레임, 시간축간 인터 부호화를 위한 I-시점 Non-anchor 프레임, 시점간 단방향 인터 부호화를 위한 P-시점 Anchor 프레임, 시점간 단방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 P-시점 Non-anchor 프레임, 시점간 양방향 인터 부호화를 위한 B-시점 Anchor 프레임 및 시점간 양방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 B-시점 Non-anchor 프레임으로 분류될 수 있다.Frames of MVC are largely classified into six groups according to the prediction structure. Specifically, the six groups include an I-view anchor frame for intra coding, an I-view non-anchor frame for inter-time inter-coding, a P-view anchor frame for inter-view unidirectional inter coding, and a unidirectional inter-coding between views. Classified into P-view non-anchor frame for bi-directional inter-coding between time bases, B-view anchor frame for bi-directional inter-coding between views, and B-view non-anchor frame for bi-directional inter coding between time-bases. Can be.
도 5는 본 발명의 일실시예에 따른 현재 시점의 실제 영상을 부호화하기 위해 사용되는 주변 시점의 영상의 예시를 도시한 도면이다.5 is a diagram illustrating an example of an image of a neighboring view used to encode an actual image of a current view according to an embodiment of the present invention.
부호화 장치(101)는 현재 영상(501)인 현재 프레임에 위치한 현재 블록을 압축할 때 현재 프레임에 대해 시간상 주변에 위치한 참조 영상(502, 503)과 시점상 주변에 위치한 참조 영상(504, 505)을 이용할 수 있다. 구체적으로, 부호화 장치(101)는 참조 영상(502~505)에서 현재 블록과 가장 유사한 예측 블록을 탐색하여 현재 블록과 예측 블록 간의 잔차 신호(residue)를 압축할 수 있다. 이와 같이, 참조 영상을 이용하여 예측 블록을 탐색하는 압축 모드는 SKIP(P Slice Only)/Direct(B Slice Only), 16x16, 16x8, 8x16, P8x8 모드들을 포함할 수 있다.When the
부호화 장치(101)는 현재 영상(501)의 움직임 정보를 탐색하기 위해 Ref1 영상(502)과 Ref2 영상(503)을 이용할 수 있고, 현재 영상(501)의 변이 정보를 탐색하기 위해 Ref3 영상(504)과 Ref4 영상(505)을 이용할 수 있다.The
본 발명의 일실시예에 따르면, 부호화 장치(101)는 현재 시점의 주변 시점에 대응하는 참조 영상(504, 505)의 영상들을 합성하여 현재 시점의 가상 영상을 생성할 수 있다. 그리고, 부호화 장치(101)는 가상 영상의 윤곽선 정보를 이용하여 실제 영상을 부호화할 수 있다. 이 때, 부호화 장치(101)는 실제 영상의 윤곽선 정보에 따라 부호화 방식을 다르게 하며, 실제 영상의 윤곽선 정보는 가상 영상의 윤곽선 정보에서 추출될 수 있다. 복호화 장치(102)도 부호화 장치(101)와 거의 동일한 방식으로 수행할 수 있다.According to an embodiment of the present invention, the
도 6은 본 발명의 일실시예에 따라 주변 시점의 영상을 이용하여 현재 시점의 가상 영상을 생성하는 과정을 도시한 도면이다.6 is a diagram illustrating a process of generating a virtual image of a current view using an image of a neighboring view according to an embodiment of the present invention.
도 6에서, 부호화 장치(101)는 주변 시점인 Vn-1의 영상(602)와 Vn+1의 영상(603)을 합성하여 현재 시점인 Vn에서의 가상 영상(601)을 생성할 수 있다. 이 때, 주변 시점인 Vn-1의 영상(602)와 Vn+1의 영상(603)은 이미 부호화될 필요가 있다. 만약, 현재 시점이 B-view인 경우, B-view의 가상 영상(601)은 이미 부호화된 I-view의 가상 영상과 P-view의 가상 영상을 합성하여 생성될 수 있다. 이 때, B-view의 가상 영상(601)을 생성할 때 카메라 정보도 활용될 수 있다.In FIG. 6, the
도 7은 본 발명의 일실시예에 따라 영상을 합성하는 과정을 도시한 도면이다.7 illustrates a process of synthesizing an image according to an embodiment of the present invention.
도 7에서, 부호화 장치(101)는 주변 시점의 영상(701, 702)를 합성하여 현재 시점의 가상 영상(703)을 생성할 수 있다. 부호화 장치(101)는 생성된 현재 시점의 가상 영상(703)에서 윤곽선 정보를 추출할 수 있다. 그리고, 부호화 장치(101)는 가상 영상(703)을 이용하여 현재 시점의 실제 영상을 부호화할 수 있다.In FIG. 7, the
본 발명의 일실시예에 따르면, 부호화 장치(101)는 이미 부호화된 주변 시점의 영상을 합성하여 현재 시점의 가상 영상을 생성하고, 가상 영상을 실제 영상을 부호화하는 데 이용함으로써 실제 영상의 부호화 효율을 향상시킬 수 있다.According to an embodiment of the present invention, the
또한, 실제 영상으로부터 컬러 영상을 생성하는 경우, 실제 영상의 윤곽선 영역에서 왜곡이 발생할 수 있다. 따라서, 부호화 장치(101)는 실제 영상의 윤곽선 정보에 따라 부호화 방식을 다르게 함으로써 부호화 효율을 향상시킴과 동시에 윤곽선으로 인한 왜곡을 최소화할 수 있다. 이 때, 부호화 장치(101)는 실제 영상에서 윤곽선이 존재하는 영역에 대해 부호화의 강도를 약하게 하거나 가상 영상을 활용하지 않고, 윤곽선이 존재하지 않는 영역에 대해 부호화의 강도를 강하게 할 수 있다. 여기서, 실제 영상의 윤곽선 정보는 가상 영상의 윤곽선 정보로부터 도출될 수 있다.In addition, when a color image is generated from an actual image, distortion may occur in an outline region of the actual image. Accordingly, the
도 8은 본 발명의 일실시예에 따라 가상 영상의 윤곽선 정보를 도시한 도면이다.8 illustrates contour information of a virtual image according to an embodiment of the present invention.
도 8을 참고하면, 영상(801, 802)에서 검은색 블록은 윤곽선을 포함하지 않는 영역이고, 하얀색 블록은 윤곽선을 포함하는 영역을 의미한다. 부호화 장치(101)는 윤곽선을 포함하는 영역에 대해 상대적으로 높은 비트량으로 부호화하고, 윤곽선을 포함하지 않는 영역에 대해 상대적으로 낮은 비트량으로 부호화할 수 있다.Referring to FIG. 8, in the
도 9는 본 발명의 일실시예에 따라 가상 영상의 윤곽선 정보에 기초하여 실제 영상을 부호화하는 과정을 도시한 도면이다.9 is a diagram illustrating a process of encoding an actual image based on contour information of a virtual image according to one embodiment of the present invention.
도 9에서, 가상 영상(901)과 실제 영상(902)가 도시된다. 앞서 설명하였듯이, 가상 영상(901)과 실제 영상(902)은 부호화하고자 하는 현재 시점의 영상을 의미한다. 가상 영상(901)은 주변 시점의 영상을 합성함으로써 생성된다. 본 발명의 일실시예에서, 가상 영상 및 실제 영상은 컬러 영상, 깊이 영상, 변이(Disparity) 영상, 폐색(Occlusion) 영상 등 모든 영상을 포함할 수 있다.In FIG. 9, the
부호화 장치(101)는 실제 영상(902)의 윤곽선 정보에 기초하여 실제 영상(902)의 부호화 방식을 다르게 설정할 수 있다. 이 때, 실제 영상(902)의 윤곽선 정보는 가상 영상(901)의 윤곽선 정보로부터 도출될 수 있다.The
실제 영상(902)에서 1번 블록은 윤곽선을 포함하지 않고 2번 블록은 윤곽선을 포함하는 영역을 의미한다. 앞서 설명하였듯이, 실제 영상(902)의 블록들이 윤곽선을 포함하는 지 여부는 가상 영상(901)의 윤곽선 정보에 따라 결정될 수 있다.In the
부호화 장치(101)는 실제 영상(902)의 1번 블록을 상대적으로 낮은 비트량으로 부호화하거나 또는 가상 영상(901)을 활용하여 부호화할 수 있다. 그리고, 부호화 장치(101)는 실제 영상(902)의 2번 블록을 상대적으로 높은 비트량으로 부호화하거나 또는 가상 영상(901)을 활용하지 않고 기존의 방식에 따라 직접 부호화할 수 있다.The
도 10은 본 발명의 일실시예에 따른 부호화 방법을 도시한 플로우차트이다.10 is a flowchart illustrating an encoding method according to an embodiment of the present invention.
도 10의 부호화 방법은 복호화 장치가 수행하는 복호화 방법에도 동일하게 적용될 수 있다.The encoding method of FIG. 10 may be equally applied to the decoding method performed by the decoding apparatus.
단계 S1001에서, 부호화 장치(101)는 현재 시점의 주변 시점에 대응하는 영상을 부호화할 수 있다. In operation S1001, the
단계 S1002에서, 부호화 장치(101)는 이미 부호화된 주변 시점의 영상을 합성하여 현재 시점의 가상 영상을 생성할 수 있다. 예를 들어, 부호화 장치(101)는 이미 부호화된 I 시점 또는 B시점 또는 P 시점의 영상을 합성하여 또 다른 B 시점의 가상 영상을 생성할 수 있다. 그리고, 이미 부호화된 I 시점 또는 P 시점의 영상을 합성하여 또 다른 P 시점의 가상 영상을 생성할 수 있다. 결국, 부호화 장치(101)는 이미 부호화된 하나의 시점 이상의 정보를 이용하여 I 시점을 제외한 모든 시점의 가상 영상을 생성할 수 있다. 생성된 가상 영상은 실제 영상을 부호화할 때 활용될 수 있다.In operation S1002, the
단계 S1003에서, 부호화 장치(101)는 가상 영상에서 윤곽선을 추출할 수 있다. 단계 S1004에서, 부호화 장치(101)는 실제 영상의 블록의 부호화 기준을 판단할 수 있다. 구체적으로, 부호화 장치(101)는 실제 영상의 블록에 윤곽선이 포함되었는지, 주변 시점의 움직임 정보가 상대적으로 작은지 여부, 주변 시점의 부호화 모드가 부호화 모드 1인지 여부를 고려하여 부호화 방식을 다르게 할 수 있다. 여기서, 부호화 모드 1은 스킵 모드, 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드를 포함할 수 있으며, 시스템의 구성에 따라 부호화 모드 1의 종류는 달라질 수 있다. 부호화 모드 2는 부호화 모드 1을 제외한 나머지 부호화 모드를 포함할 수 있다.In operation S1003, the
기본적으로, 부호화 장치(101)는 실제 영상을 직접 부호화하지 않고, 가상 영상으로 대체할 수 있다. 만약, 실제 영상의 블록이 윤곽선을 포함하지 않거나, 주변 시점의 움직임 정보가 상대적으로 작거나 또는 주변 시점의 부호화 모드가 부호화 모드 1인 경우, 단계 S1005에서, 부호화 장치(101)는 제1 부호화 방식에 따라 실제 영상을 부호화할 수 있다. Basically, the
반대로, 실제 영상의 블록이 윤곽선을 포함하거나, 주변 시점의 움직임 정보가 상대적으로 크거나 또는 주변 시점의 부호화 모드가 부호화 모드 2인 경우 단계 S1006에서, 부호화 장치(101)는 제2 부호화 방식에 따라 실제 영상을 부호화할 수 있다. On the contrary, when the block of the actual image includes an outline, the motion information of the neighboring view is relatively large, or the encoding mode of the neighboring view is encoding
이 때, 제1 부호화 방식은 실제 영상을 부호화하지 않고 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 부호화하는 것을 의미한다. 그리고, 제2 부호화 방식은 실제 영상을 상대적으로 높은 비트량으로 부호화하는 것을 의미한다.In this case, the first encoding method means replacing the real video with the virtual video without encoding the real video or encoding the real video with a relatively low bit amount. In addition, the second encoding method means encoding an actual video with a relatively high bit amount.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
101: 부호화 장치
102: 복호화 장치101: encoding device
102: decryption device
Claims (37)
상기 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화하는 영상 부호화부
를 포함하는 부호화 장치.An image generator generating a virtual image of a current view to be encoded; And
An image encoder which encodes an actual image of a current view using the virtual image.
Encoding apparatus comprising a.
상기 영상 생성부는,
상기 현재 시점의 주변 시점에 대응하는 영상들을 합성하여 상기 현재 시점의 가상 영상을 생성하고,
상기 영상 부호화부는,
상기 실제 영상을 부호화하지 않고 상기 실제 영상을 가상 영상으로 대체하는 것을 특징으로 하는 부호화 장치.The method of claim 1,
The image generator,
Generating a virtual image of the current view by synthesizing the images corresponding to the neighboring views of the current view,
The image encoder,
And encoding the real image with a virtual image without encoding the real image.
상기 영상 부호화부는,
주변 시점의 부호화 모드 정보, 주변 시점의 움직임 정보 및 상기 가상 영상의 윤곽선 정보 중 적어도 하나에 기초하여 상기 실제 영상을 부호화하는 것을 특징으로 하는 부호화 장치.The method of claim 1,
The image encoder,
And encoding the real image based on at least one of encoding mode information of a neighboring viewpoint, motion information of a neighboring viewpoint, and contour information of the virtual image.
상기 영상 부호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 부호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 실제 영상의 블록에 대한 부호화 과정을 스킵하는 것을 특징으로 하는 부호화 장치.The method of claim 3,
The image encoder,
If an outline exists in a block of the real image, a block of the real image is encoded based on a motion search and a shift search.
And if an outline does not exist in the block of the real image, the encoding process for the block of the real image is skipped.
상기 영상 부호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 부호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 높은 양자화 계수로 부호화하는 것을 특징으로 하는 부호화 장치.The method of claim 3,
The image encoder,
If an outline exists in a block of the real image, the block of the real image is encoded with a relatively low quantization coefficient,
And if the contour does not exist in the block of the real image, the block of the real image is encoded with a relatively high quantization coefficient.
상기 영상 부호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 높은 비트량으로 부호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 비트량으로 부호화하는 것을 특징으로 하는 부호화 장치.The method of claim 3,
The image encoder,
If an outline exists in a block of the real image, the block of the real image is encoded with a relatively high bit amount,
And if the contour does not exist in the block of the real image, the block of the real image is encoded with a relatively low bit amount.
상기 영상 부호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 원래 블록 사이즈로 부호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 다운 샘플링하여 원래 블록 사이즈보다 작은 블록 사이즈로 줄인 후 부호화하는 것을 특징으로 하는 부호화 장치.The method of claim 3,
The image encoder,
If an outline exists in a block of the real picture, the original block size of the real picture is encoded.
And if the contour does not exist in the block of the real image, down-sampling the block of the real image to reduce the block size to a smaller block size than the original block size and then encode.
상기 영상 부호화부는,
상기 주변 시점의 부호화 모드 정보가 스킵 모드, 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 부호화하는 것을 특징으로 하는 부호화 장치.The method of claim 3,
The image encoder,
When the encoding mode information of the peripheral view is a skip mode, a direct mode, an inter 16 * 16 mode, or an intra 16 * 16 mode, replacing the real image with a virtual image or encoding the real image with a relatively low bit amount An encoding device characterized by the above-mentioned.
상기 영상 부호화부는,
상기 주변 시점의 움직임 정보가 상대적으로 작은 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 부호화하는 것을 특징으로 하는 부호화 장치.The method of claim 3,
The image encoder,
And when the motion information of the neighboring view is relatively small, replace the real image with a virtual image or encode the real image with a relatively low bit amount.
상기 가상 영상을 이용하여 현재 시점의 실제 영상을 복호화하는 영상 복호화부
를 포함하는 복호화 장치.An image generator generating a virtual image of a current view to be decoded; And
An image decoder which decodes the real image of the current view by using the virtual image.
Decoding apparatus comprising a.
상기 영상 생성부는,
상기 현재 시점의 주변 시점에 대응하는 영상들을 합성하여 상기 현재 시점의 가상 영상을 생성하고,
상기 영상 복호화부는,
상기 실제 영상을 복호화하지 않고 상기 실제 영상을 가상 영상으로 대체하는 것을 특징으로 하는 복호화 장치.The method of claim 10,
The image generator,
Generating a virtual image of the current view by synthesizing the images corresponding to the neighboring views of the current view,
The image decoder,
And a real image is replaced with a virtual image without decoding the real image.
상기 영상 복호화부는,
주변 시점의 복호화 모드 정보, 주변 시점의 움직임 정보 및 상기 가상 영상의 윤곽선 정보 중 적어도 하나에 기초하여 상기 실제 영상을 복호화하는 것을 특징으로 하는 복호화 장치.The method of claim 10,
The image decoder,
And decoding the real image based on at least one of decoding mode information of a neighboring viewpoint, motion information of a neighboring viewpoint, and contour information of the virtual image.
상기 영상 복호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 복호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 가상 영상의 블록을 이용하여 실제 영상의 블록을 복호화하는 것을 특징으로 하는 복호화 장치.The method of claim 12,
The image decoder,
If an outline exists in the block of the real image, the block of the real image is decoded based on the motion search and the shift search.
And if the contour does not exist in the block of the real image, the block of the real image is decoded using the block of the virtual image.
상기 영상 복호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 복호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 높은 양자화 계수로 복호화하는 것을 특징으로 하는 복호화 장치.The method of claim 12,
The image decoder,
If an outline exists in a block of the real image, the block of the real image is decoded with a relatively low quantization coefficient,
And if the contour does not exist in the block of the real image, the block of the real image is decoded with a relatively high quantization coefficient.
상기 영상 복호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 높은 비트량으로 복호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 비트량으로 복호화하는 것을 특징으로 하는 복호화 장치.The method of claim 12,
The image decoder,
If an outline exists in a block of the real image, the block of the real image is decoded with a relatively high bit amount,
And if the contour does not exist in the block of the real image, the block of the real image is decoded with a relatively low bit amount.
상기 영상 복호화부는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 원래 블록 사이즈로 복호화하고,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 원래 블록 사이즈보다 작은 블록 사이즈로 복호화한 후 업샘플링하는 것을 특징으로 하는 복호화 장치.The method of claim 12,
The image decoder,
If an outline exists in a block of the real picture, the original block size of the real picture is decoded.
And if the contour does not exist in the block of the real image, the block of the real image is desampled to a block size smaller than the original block size and then upsampled.
상기 영상 복호화부는,
상기 주변 시점의 복호화 모드 정보가 스킵 모드, 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 복호화하는 것을 특징으로 하는 복호화 장치.The method of claim 12,
The image decoder,
When the decoding mode information of the peripheral view is a skip mode, a direct mode, an inter 16 * 16 mode, or an intra 16 * 16 mode, replacing the real image with a virtual image or decoding the real image with a relatively low bit amount. Decoding apparatus characterized by.
상기 영상 복호화부는,
상기 주변 시점의 움직임 정보가 상대적으로 작은 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 복호화하는 것을 특징으로 하는 복호화 장치.The method of claim 12,
The image decoder,
And when the motion information of the neighboring view is relatively small, replace the real image with a virtual image or decode the real image with a relatively low bit amount.
상기 가상 영상을 이용하여 현재 시점의 실제 영상을 부호화하는 단계
를 포함하는 부호화 방법. Generating a virtual image of a current view to be encoded; And
Encoding an actual image of a current view using the virtual image
Encoding method comprising a.
상기 부호화할 현재 시점의 가상 영상을 생성하는 단계는,
상기 현재 시점의 주변 시점에 대응하는 영상들을 합성하여 상기 현재 시점의 가상 영상을 생성하고,
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 실제 영상을 부호화하지 않고 상기 실제 영상을 가상 영상으로 대체하는 것을 특징으로 하는 부호화 방법.20. The method of claim 19,
Generating the virtual image of the current view to be encoded,
Generating a virtual image of the current view by synthesizing the images corresponding to the neighboring views of the current view,
The encoding of the actual image of the current view may include:
And encoding the real image with a virtual image without encoding the real image.
상기 현재 시점의 실제 영상을 부호화하는 단계는,
주변 시점의 부호화 모드 정보, 주변 시점의 움직임 정보 및 상기 가상 영상의 윤곽선 정보 중 적어도 하나에 기초하여 상기 실제 영상을 부호화하는 것을 특징으로 하는 부호화 방법.20. The method of claim 19,
The encoding of the actual image of the current view may include:
And encoding the real image based on at least one of encoding mode information of a neighboring viewpoint, motion information of a neighboring viewpoint, and contour information of the virtual image.
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 부호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 실제 영상의 블록에 대한 부호화 과정을 스킵하는 단계
를 포함하는 부호화 방법.The method of claim 21,
The encoding of the actual image of the current view may include:
If a contour line exists in the block of the real image, encoding a block of the real image based on a motion search and a shift search; or
Skipping the encoding process for the block of the real image when the contour does not exist in the block of the real image
Encoding method comprising a.
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 부호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 높은 양자화 계수로 부호화하는 단계
를 포함하는 부호화 방법.The method of claim 21,
The encoding of the actual image of the current view may include:
If an outline exists in a block of the real image, encoding the block of the real image with a relatively low quantization coefficient; or
Encoding the block of the real image with a relatively high quantization coefficient when there is no contour line in the block of the real image
Encoding method comprising a.
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 높은 비트량으로 부호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 비트량으로 부호화하는 단계
를 포함하는 부호화 방법.The method of claim 21,
The encoding of the actual image of the current view may include:
If an outline exists in a block of the real image, encoding a block of the real image with a relatively high bit amount; or
If no contour line exists in the block of the real image, encoding the block of the real image with a relatively low bit amount
Encoding method comprising a.
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 원래 블록 사이즈로 부호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 다운 샘플링하여 원래 블록 사이즈보다 작은 블록 사이즈로 줄인 후 부호화하는 단계
를 포함하는 부호화 방법.The method of claim 21,
The encoding of the actual image of the current view may include:
If an outline exists in a block of the real image, encoding the original block size of the real image; or
If an outline exists in a block of the real image, down-sampling the block of the real image to reduce the block size to a smaller block size than the original block size and then encoding
Encoding method comprising a.
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 주변 시점의 부호화 모드 정보가 스킵 모드, 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 부호화하는 것을 특징으로 하는 부호화 방법.The method of claim 21,
The encoding of the actual image of the current view may include:
When the encoding mode information of the peripheral view is a skip mode, a direct mode, an inter 16 * 16 mode, or an intra 16 * 16 mode, replacing the real image with a virtual image or encoding the real image with a relatively low bit amount An encoding method characterized by the above-mentioned.
상기 현재 시점의 실제 영상을 부호화하는 단계는,
상기 주변 시점의 움직임 정보가 상대적으로 작은 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 부호화하는 것을 특징으로 하는 부호화 방법.The method of claim 21,
The encoding of the actual image of the current view may include:
And when the motion information of the neighboring view is relatively small, replace the real image with a virtual image or encode the real image with a relatively low bit amount.
상기 가상 영상을 이용하여 현재 시점의 실제 영상을 복호화하는 단계
를 포함하는 복호화 방법.Generating a virtual image of a current view to be decoded; And
Decoding an actual image of a current view using the virtual image
Decryption method comprising a.
상기 가상 영상을 생성하는 단계는,
상기 현재 시점의 주변 시점에 대응하는 영상들을 합성하여 상기 현재 시점의 가상 영상을 생성하고,
상기 실제 영상을 복호화하는 단계는,
상기 실제 영상을 복호화하지 않고 상기 실제 영상을 가상 영상으로 대체하는 것을 특징으로 하는 복호화 방법.The method of claim 28,
Generating the virtual image,
Generating a virtual image of the current view by synthesizing the images corresponding to the neighboring views of the current view,
Decoding the real video,
And deciphering the real video with a virtual video without decoding the real video.
상기 현재 시점의 실제 영상을 복호화하는 단계는,
주변 시점의 복호화 모드 정보, 주변 시점의 움직임 정보 및 상기 가상 영상의 윤곽선 정보 중 적어도 하나에 기초하여 상기 실제 영상을 복호화하는 것을 특징으로 하는 복호화 방법.The method of claim 28,
Decoding the actual video of the current view,
And decoding the real image based on at least one of decoding mode information of a neighboring viewpoint, motion information of a neighboring viewpoint, and contour information of the virtual image.
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 움직임 탐색과 변이 탐색에 기초하여 실제 영상의 블록을 복호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 가상 영상의 블록을 이용하여 실제 영상의 블록을 복호화하는 단계
를 포함하는 복호화 방법.31. The method of claim 30,
Decoding the actual video of the current view,
Decoding the block of the real image based on the motion search and the shift search when an outline exists in the block of the real image; or
When the contour does not exist in the block of the real image, decoding the block of the real image using the block of the virtual image
Decryption method comprising a.
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 양자화 계수로 복호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 높은 양자화 계수로 복호화하는 단계
를 포함하는 복호화 방법.31. The method of claim 30,
Decoding the actual video of the current view,
If an outline exists in a block of the real image, decoding the block of the real image with a relatively low quantization coefficient; or
Decoding a block of the real image with a relatively high quantization coefficient when there is no contour line in the block of the real image
Decryption method comprising a.
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 상대적으로 높은 비트량으로 복호화하는 단계; 또는,
상기 실제 영상의 블록에 윤곽선이 존재하지 않는 경우, 상기 실제 영상의 블록을 상대적으로 낮은 비트량으로 복호화하는 단계
를 포함하는 복호화 방법.31. The method of claim 30,
Decoding the actual video of the current view,
If an outline exists in a block of the real image, decoding the block of the real image with a relatively high bit amount; or,
Decoding a block of the real image with a relatively low bit amount when no contour exists in the block of the real image
Decryption method comprising a.
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 원래 블록 사이즈로 복호화하는 단계; 또는
상기 실제 영상의 블록에 윤곽선이 존재하는 경우, 상기 실제 영상의 블록을 원래 블록 사이즈보다 작은 블록 사이즈로 복호화한 후 업샘플링하는 단계
를 포함하는 복호화 방법.31. The method of claim 30,
Decoding the actual video of the current view,
If an outline exists in a block of the real image, decoding the original block size of the real image; or
If an outline exists in the block of the real image, decoding the block of the real image to a block size smaller than the original block size and then upsampling
Decryption method comprising a.
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 주변 시점의 복호화 모드 정보가 스킵 모드, 다이렉트 모드, 인터 16*16 모드, 인트라 16*16 모드인 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 복호화하는 것을 특징으로 하는 복호화 방법.31. The method of claim 30,
Decoding the actual video of the current view,
When the decoding mode information of the peripheral view is a skip mode, a direct mode, an inter 16 * 16 mode, or an intra 16 * 16 mode, replacing the real image with a virtual image or decoding the real image with a relatively low bit amount. A decoding method characterized by the above-mentioned.
상기 현재 시점의 실제 영상을 복호화하는 단계는,
상기 주변 시점의 움직임 정보가 상대적으로 작은 경우, 상기 실제 영상을 가상 영상으로 대체하거나 또는 상대적으로 낮은 비트량으로 실제 영상을 복호화하는 것을 특징으로 하는 복호화 방법.31. The method of claim 30,
Decoding the actual video of the current view,
And when the motion information of the neighboring view is relatively small, replace the real video with a virtual video or decode the real video with a relatively low bit amount.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2012/000138 WO2012099352A2 (en) | 2011-01-20 | 2012-01-06 | Device and method for encoding/deciding multi-viewpoint images |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161434614P | 2011-01-20 | 2011-01-20 | |
US61/434,614 | 2011-01-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20120084628A true KR20120084628A (en) | 2012-07-30 |
Family
ID=46715509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110015948A KR20120084628A (en) | 2011-01-20 | 2011-02-23 | Apparatus and method for encoding and decoding multi-view image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20120084628A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101386651B1 (en) * | 2012-09-13 | 2014-04-17 | 전자부품연구원 | Multi-View video encoding and decoding method and apparatus thereof |
WO2018097577A1 (en) * | 2016-11-25 | 2018-05-31 | 경희대학교 산학협력단 | Parallel image processing method and apparatus |
-
2011
- 2011-02-23 KR KR1020110015948A patent/KR20120084628A/en not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101386651B1 (en) * | 2012-09-13 | 2014-04-17 | 전자부품연구원 | Multi-View video encoding and decoding method and apparatus thereof |
WO2018097577A1 (en) * | 2016-11-25 | 2018-05-31 | 경희대학교 산학협력단 | Parallel image processing method and apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6633694B2 (en) | Multi-view signal codec | |
KR101158491B1 (en) | Apparatus and method for encoding depth image | |
JP6178326B2 (en) | Efficient multi-view coding using depth map estimation and update | |
KR20120080122A (en) | Apparatus and method for encoding and decoding multi-view video based competition | |
US10440385B2 (en) | Multi-view coding with effective handling of renderable portions | |
KR101893559B1 (en) | Apparatus and method for encoding and decoding multi-view video | |
JP2015525997A (en) | Method and apparatus for inter-view candidate derivation in 3D video coding | |
US20230328271A1 (en) | Multi-view coding with exploitation of renderable portions | |
JP2016513925A (en) | Method and apparatus for view synthesis prediction in 3D video coding | |
JP6571646B2 (en) | Multi-view video decoding method and apparatus | |
KR20130046534A (en) | Method and apparatus for encoding image and method and apparatus for decoding image | |
KR101386651B1 (en) | Multi-View video encoding and decoding method and apparatus thereof | |
KR20120084628A (en) | Apparatus and method for encoding and decoding multi-view image | |
KR20130022923A (en) | Apparatus and method for encoding/decoding using virtual view synthesis prediction | |
KR102133936B1 (en) | Apparatus and method for encoding/decoding for 3d video | |
WO2012099352A2 (en) | Device and method for encoding/deciding multi-viewpoint images | |
KR102020024B1 (en) | Apparatus and method for encoding/decoding using virtual view synthesis prediction | |
KR101356890B1 (en) | Method and apparatus of inter-view video encoding and decoding in hybrid codecs for multi-view video coding | |
JP2013211777A (en) | Image coding device, image decoding device, image coding method, image decoding method and program | |
JP2012019547A (en) | Moving image coding device and method, and moving image decoding device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Withdrawal due to no request for examination |