KR101747434B1 - Apparatus and method for encoding and decoding motion information and disparity information - Google Patents

Apparatus and method for encoding and decoding motion information and disparity information Download PDF

Info

Publication number
KR101747434B1
KR101747434B1 KR1020110015956A KR20110015956A KR101747434B1 KR 101747434 B1 KR101747434 B1 KR 101747434B1 KR 1020110015956 A KR1020110015956 A KR 1020110015956A KR 20110015956 A KR20110015956 A KR 20110015956A KR 101747434 B1 KR101747434 B1 KR 101747434B1
Authority
KR
South Korea
Prior art keywords
vector
prediction
current block
virtual
motion
Prior art date
Application number
KR1020110015956A
Other languages
Korean (ko)
Other versions
KR20120084629A (en
Inventor
이진영
위호천
손광훈
김동현
류승철
서정동
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to US13/352,795 priority Critical patent/US20120189060A1/en
Publication of KR20120084629A publication Critical patent/KR20120084629A/en
Application granted granted Critical
Publication of KR101747434B1 publication Critical patent/KR101747434B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

움직임 정보 및 변이 정보를 부호화/복호화하는 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 주변 블록에서 현재 블록에 대해 수행할 예측/보상과 동일한 종류의 벡터를 추출하고, 상기 추출된 벡터를 이용하여 현재 블록에 대해 예측/보상을 수행할 수 있다.An image processing apparatus and method for encoding / decoding motion information and variation information are disclosed. The image processing apparatus extracts a vector of the same type as the prediction / compensation to be performed on the current block in the neighboring block, and performs prediction / compensation on the current block using the extracted vector.

Description

움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR ENCODING AND DECODING MOTION INFORMATION AND DISPARITY INFORMATION}TECHNICAL FIELD [0001] The present invention relates to an image processing apparatus and method for encoding / decoding motion information and variation information,

본 발명의 일실시예들은 움직임 정보 및 변이 정보를 부호화/복호화하는 영상 처리 장치 및 방법에 관한 것으로, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 이용하여 현재 블록의 예측/보상을 수행하는 장치 및 방법에 관한 것이다.An embodiment of the present invention relates to an image processing apparatus and method for coding / decoding motion information and disparity information, and more particularly, to an image processing apparatus and method for coding / decoding motion information and disparity information, And more particularly to an apparatus and method for performing prediction / compensation.

입체 영상이란 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상을 의미한다. 스테레오 영상의 경우, 좌우 눈에 각각 다른 시점의 영상을 제공하는 반면에, 입체 영상은 관찰자가 보는 시점을 달리할 때마다 다른 방향에서 본 것과 같은 영상을 제공한다. 따라서, 입체 영상을 생성하기 위해서는 여러 시점에서 촬영한 영상들이 필요하다. A stereoscopic image refers to a three-dimensional image that simultaneously provides shape information on depth and space. In the case of stereoscopic images, stereoscopic images are provided at different viewpoints on the left and right eyes, while stereoscopic images provide the same images viewed from different directions each time the viewer views them. Therefore, in order to generate stereoscopic images, images taken at various viewpoints are required.

입체 영상을 생성하기 위해 여러 시점에서 찍은 영상들은 데이터량이 방대하다. 따라서, 입체 영상을 위해 네트워크 인프라, 지상파 대역폭 등을 고려하면 MPEG-2와 H.264/AVC와 같은 단일시점 비디오 압축(Single-View Video Coding)에 최적화된 부호화 장치를 사용하여 압축더라도 실현이 거의 불가능하다.Images taken at various viewpoints to generate a stereoscopic image have a huge amount of data. Therefore, in consideration of the network infrastructure and the terrestrial bandwidth for stereoscopic image, it is possible to realize almost even if compressed by using an encoding apparatus optimized for single-view video coding such as MPEG-2 and H.264 / AVC impossible.

다만, 관찰자가 보는 시점마다 찍은 영상들은 서로 관련성이 있기 때문에 중복되는 정보가 많다. 따라서, 시점간 중복성을 제거할 수 있는 다시점 영상에 최적화된 부호화 장치를 이용하면 보다 적은 양의 데이터를 전송할 수 있다. However, since the images taken at each viewpoint of the observer are related to each other, there is a lot of overlapping information. Therefore, a smaller amount of data can be transmitted by using an encoding apparatus optimized for a multi-view image, which can eliminate redundancy between views.

따라서, 입체 영상을 생성하기 위해 최적화된 다시점 비디오를 부호화하고, 복호화하는 장치가 필요하다. 특히, 움직임 정보와 변이 정보를 효율적으로 부호화하는 방법이 필요하다.Therefore, there is a need for an apparatus for encoding and decoding multi-view video optimized for generating a stereoscopic image. In particular, there is a need for a method for efficiently encoding motion information and variation information.

본 발명의 일실시예에 따르면, 영상 처리 장치는 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 벡터 추출부; 및 상기 추출된 벡터를 이용하여 현재 블록의 예측/보상을 수행하는 예측/보상 수행부를 포함할 수 있다.According to an embodiment of the present invention, an image processing apparatus includes: a vector extracting unit that extracts a vector of the same type as a vector used when performing prediction / compensation of a current block in a neighboring block of a current block; And a prediction / compensation performing unit for performing prediction / compensation of a current block using the extracted vector.

본 발명의 일실시예에 따른 영상 처리 장치는 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 가상 벡터 생성부를 더 포함할 수 있다.The image processing apparatus according to an embodiment of the present invention is used when performing prediction / compensation of a current block when a vector of the same type as a vector used for performing prediction / compensation of a current block does not exist in a neighboring block And a virtual vector generator for generating a virtual vector of the same kind as the vector.

본 발명의 일실시예에 따른 영상 처리 장치는 다이렉트 모드에 따라 현재 블록의 예측/보상을 수행하는 경우, 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드 또는 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택하는 다이렉트 모드 선택부를 더 포함할 수 있다.When performing prediction / compensation of a current block according to a direct mode, an image processing apparatus according to an embodiment of the present invention decides a direct mode or a point-in-time image to determine a reference image as a reference image And a direct mode selecting section for selecting any one of the direct mode between the time points when the direct mode is selected.

본 발명의 일실시예에 따르면, 영상 처리 방법은 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 단계; 및 상기 추출된 벡터를 이용하여 현재 블록의 예측/보상을 수행하는 단계를 포함할 수 있다.According to an embodiment of the present invention, an image processing method includes the steps of: extracting a vector of the same type as a vector used for performing prediction / compensation of a current block in a neighboring block of a current block; And performing prediction / compensation of a current block using the extracted vector.

본 발명의 일실시예에 따른 영상 처리 방법은 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계를 더 포함할 수 있다.The image processing method according to an embodiment of the present invention is a method of performing prediction / compensation of a current block when a vector of the same type as a vector used in performing prediction / compensation of a current block is not present in a neighboring block And generating a virtual vector of the same kind as the vector of the same type.

본 발명의 일실시예에 따른 영상 처리 방법은 다이렉트 모드에 따라 현재 블록의 예측/보상을 수행하는 경우, 시점 내 다이렉트 모드 또는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택하는 단계를 더 포함할 수 있다.The image processing method according to an embodiment of the present invention may further include the step of selecting any direct mode among the in-view direct mode or the in-view direct mode when the prediction / compensation of the current block is performed according to the direct mode .

본 발명의 일실시예에 따르면, 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하여 현재 블록을 예측/보상함으로써 보다 효율적으로 움직임 정보와 변이 정보를 부호화할 수 있다.According to an embodiment of the present invention, by extracting a vector of the same type as a vector used when performing prediction / compensation of a current block in a neighboring block of the current block and predicting / compensating the current block, Information can be encoded.

도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따른 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 현재 블록을 부호화하기 위해 사용되는 참조 영상의 예시를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 MPEG-MVC의 입력 신호에 기초한 다시점 비디오의 부호화 장치의 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 MPEG-3DV의 입력 신호에 기초한 다시점 비디오의 부호화 장치의 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 MPEG-MVC의 입력 신호에 기초한 다시점 비디오의 복호화 장치의 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 MPEG-3DV의 입력 신호에 기초한 다시점 비디오의 복호화 장치의 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 움직임 및 변이 예측/보상을 위한 벡터를 추출하는 과정을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 깊이 정보로부터 변이 벡터를 생성하는 과정을 도시한 도면이다.
도 10는 본 발명의 일실시예에 따른 시점 내 다이렉트 모드와 시점 간 다이렉트 모드를 선택하는 과정을 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 플로우차트이다.1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a structure of multi-view video according to an embodiment of the present invention. Referring to FIG.
3 is a diagram illustrating an example of a reference image used to encode a current block according to an embodiment of the present invention.
4 is a diagram showing an example of a multi-view video encoding apparatus based on an input signal of MPEG-MVC according to an embodiment of the present invention.
5 is a diagram showing an example of a multi-view video encoding apparatus based on an input signal of MPEG-3DV according to an embodiment of the present invention.
6 is a diagram illustrating an example of a multi-view video decoding apparatus based on an input signal of MPEG-MVC according to an embodiment of the present invention.
FIG. 7 is a diagram showing an example of a multi-view video decoding apparatus based on an input signal of MPEG-3DV according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating a process of extracting a vector for motion / disparity prediction / compensation according to an embodiment of the present invention.
9 is a diagram illustrating a process of generating a disparity vector from depth information according to an embodiment of the present invention.
10 is a diagram illustrating a process of selecting a direct mode between a viewpoint and a viewpoint according to an embodiment of the present invention.
11 is a flowchart illustrating an image processing method according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한 블록 다이어그램이다.1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.

도 1을 참고하면, 영상 처리 장치(100)는 벡터 추출부(102) 및 예측/보상 수행부(104)를 포함할 수 있다. 그리고, 영상 처리 장치(100)는 다이렉트 모드 선택부(101)를 더 포함할 수 있다. 또한, 영상 처리 장치(100)는 가상 벡터 생성부(103)를 더 포함할 수 있다. 본 발명의 일실시예에 따른 영상 처리 장치(100)는 움직임 벡터 및 변이 벡터를 부호화하거나 또는 복호화하는 데 적용될 수 있다.Referring to FIG. 1, the image processing apparatus 100 may include a vector extracting unit 102 and a prediction / compensation performing unit 104. The image processing apparatus 100 may further include a direct mode selection unit 101. [ In addition, the image processing apparatus 100 may further include a virtual vector generation unit 103. The image processing apparatus 100 according to an embodiment of the present invention can be applied to coding or decoding a motion vector and a variation vector.

다이렉트 모드 선택부(101)는 다이렉트 모드에 따라 현재 블록의 예측/보상을 수행하는 경우, 시점 내 다이렉트 모드 또는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택할 수 있다.The direct mode selection unit 101 can select either a direct mode in the in-view mode or a direct mode in the viewpoint when performing the prediction / compensation of the current block according to the direct mode.

본 발명의 영상 처리 장치(100)는 움직임 벡터 및 변이 벡터를 부호화할 때 다이렉트 모드 및 인터 모드 (16x16, 16x8, 8x16, P8x8)를 모두 적용하여 다시점 비디오의 부호화 효율을 향상시킬 수 있다. 이 때, 본 발명의 영상 처리 장치(100)는 시점 간 중복성을 효율적으로 제거하기 위해 시점 내 다이렉트 모드와 시점 간 다이렉트 모드를 P-시점과 B-시점에서 사용할 수 있다.The image processing apparatus 100 of the present invention can improve the coding efficiency of multi-view video by applying both direct mode and inter mode (16x16, 16x8, 8x16, P8x8) when coding a motion vector and a variation vector. At this time, the image processing apparatus 100 of the present invention can use the in-view direct mode and the view-point direct mode at the P-viewpoint and the B-viewpoint, in order to efficiently eliminate redundancy between views.

구체적으로, 다이렉트 모드 선택부(101)는 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드 또는 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택할 수 있다. 일례로, 다이렉트 모드 선택부(101)는 RDO(Rate Distortion optimization)에 기초하여 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드와 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 비용 함수가 낮은 다이렉트 모드를 선택할 수 있다. 선택된 다이렉트 모드는 플래그 형태로 전송될 수 있다.Specifically, the direct mode selection unit 101 can select any one of a direct mode in which an image within the same viewpoint is determined as a reference image or a direct-view direct mode in which an image between views is determined as a reference image. For example, the direct mode selection unit 101 selects a direct mode in which a video within the same viewpoint is determined as a reference video based on Rate Distortion Optimization (RDO) and a direct mode between the viewpoints, The function can select the direct mode which is low. The selected direct mode can be transmitted in the form of a flag.

이후의 과정들은 다이렉트 모드 선택부(101)가 선택한 다이렉트 모드에 따라 동일 시점 내의 영상을 참조 영상으로 사용하거나 또는 시점 간의 영상을 참조 영상으로 사용할 수 있다.The following processes can use an image within the same view point as a reference image or an image between views as a reference image according to the direct mode selected by the direct mode selection unit 101. [

벡터 추출부(102)는 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있다. 일례로, 벡터 추출부(102)는 P-시점과 B-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 움직임 벡터를 추출할 수 있다. 그리고, 벡터 추출부(102)는 P-시점과 B-시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 변이 벡터를 추출할 수 있다. 여기서, 주변 블록은 현재 블록과 인접한 블록들을 의미한다.The vector extracting unit 102 may extract a vector of the same type as the vector used when performing the prediction / compensation of the current block in the neighboring block of the current block. For example, when the vector extracting unit 102 performs motion prediction / compensation of the current block at the P-viewpoint and the B-viewpoint, the vector extractor 102 may extract a motion vector from neighboring blocks of the current block. When the vector extracting unit 102 performs the prediction / compensation of a transition of the current block at the P-viewpoint and the B-viewpoint, the vector extractor 102 may extract the transition vector from neighboring blocks of the current block. Here, the neighboring blocks mean blocks adjacent to the current block.

또한, 벡터 추출부(102)는 I-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록으로부터 거리가 서로 다른 참조 영상들을 이용하여 어느 하나의 움직임 벡터를 추출할 수 있다. 예를 들어, 현재 블록이 위치한 현재 영상으로부터 시간 상 거리가 다른 2개의 참조 영상을 현재 블록의 예측/보상을 수행할 때 사용된다고 가정한다. 여기서, 현재 영상으로부터 시간 상 거리가 가까운 영상을 참조 영상 1이라고 하고, 나머지 영상을 참조 영상 2라고 하자. 그리고, 참조 영상 1에 대응하는 움직임 벡터를 움직임 벡터 1이라고 하고, 참조 영상 2에 대응하는 움직임 벡터를 움직임 벡터 2라고 한다.In addition, when motion estimation / compensation of the current block is performed at the I-viewpoint, the vector extracting unit 102 may extract any one motion vector using reference images having different distances from the current block. For example, it is assumed that two reference images having different time distances from the current image in which the current block is located are used for performing prediction / compensation of the current block. Here, it is assumed that the reference image 1 is an image whose distance from the current image is close in time and the remaining image is reference image 2. A motion vector corresponding to the reference image 1 is referred to as a motion vector 1, and a motion vector corresponding to the reference image 2 is referred to as a motion vector 2.

그러면, 벡터 추출부(102)는 참조 영상 1을 이용하여 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록들 중 움직임 벡터 1을 추출할 수 있다. 그리고, 벡터 추출부(102)는 참조 영상 2를 이용하여 현재 블록의 움직임 예측/보상을 수행할 때에는 주변 블록들 중 움직임 벡터 2를 추출할 수 있다.Then, the vector extracting unit 102 may extract the motion vector 1 from the neighboring blocks when the motion prediction / compensation of the current block is performed using the reference image 1. The vector extracting unit 102 may extract the motion vector 2 from the neighboring blocks when performing the motion prediction / compensation of the current block using the reference image 2.

여기서, I-시점은 시점 내에서 예측 부호화할 때 적용된다. 그리고, P-시점은 단방향으로 시점 간 예측 부호화하거나 또는 시간 축으로 예측 부호화할 때 적용된다. 또한, B-시점은 양방향으로 시점 간 예측 부호화하거나 또는 시간 축으로 예측 부호화할 때 적용된다.Here, the I-viewpoint is applied when predictive coding is performed within the viewpoint. The P-viewpoint is applied when performing one-way inter-view prediction coding or temporal prediction coding. Also, the B-viewpoint is applied when performing bidirectional inter-view prediction coding or temporal prediction coding.

본 발명의 일실시예에 따르면, 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 움직임 벡터 및 변이 벡터를 예측함으로써 예측 정확도를 향상시킬 수 있다. 다만, 상황에 따라 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우가 발생할 수 있다. 그러면, 가상 벡터 생성부(103)는 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성할 수 있다. 그러면, 생성된 가상 벡터는 움직임 벡터와 변이 벡터를 예측할 때 사용될 수 있다.According to an embodiment of the present invention, prediction accuracy can be improved by predicting a motion vector and a disparity vector of the same type as a vector used when performing prediction / compensation of a current block in a neighboring block of the current block. However, depending on the situation, it may happen that a vector of the same type as the vector used in the prediction / compensation of the current block does not exist in the neighboring block. Then, when a vector of the same type as the vector used for performing the prediction / compensation of the current block is not present in the neighboring block, the virtual vector generating unit 103 generates a vector used for performing prediction / Can be generated. Then, the generated virtual vector can be used to predict a motion vector and a variation vector.

현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우는 3가지로 분류할 수 있다.If there is no vector of the same type as the vector used in the prediction / compensation of the current block, the neighboring block can be classified into three types.

첫째로, I-시점에서 움직임 벡터를 예측하는 경우이다. 그러면, 가상 벡터 생성부(103)는 정규화 움직임 벡터를 가상 벡터로 결정할 수 있다. 정규화 움직임 벡터는 현재 영상과 참조 영상과의 거리를 고려하여 움직임 벡터의 크기를 정규화한 것을 의미한다.First, the motion vector is predicted at the I-viewpoint. Then, the virtual vector generation unit 103 can determine the normalized motion vector as a virtual vector. The normalized motion vector means that the size of the motion vector is normalized considering the distance between the current image and the reference image.

일례로, 정규화 움직임 벡터는 수학식 1에 따라 결정될 수 있다.In one example, the normalized motion vector may be determined according to equation (1).

Figure 112011013042006-pat00001
Figure 112011013042006-pat00001

여기서, mvi는 i번째 주변 블록의 움직임 벡터를 의미하고, mvni는 i번째 주변 블록의 정규화 움직임 벡터를 의미한다. 그리고, D1은 현재 영상이 참조하고 있는 참조 영상과 현재 영상과의 거리, D2는 주변 블록이 참조하고 있는 참조 영상과 현재 영상과의 거리를 의미한다. 가상 벡터 생성부(103)는 정규화 움직임 벡터들의 중간값(median)을 가상 벡터로 결정할 수 있다.Here, mv i denotes a motion vector of the i-th neighboring block, and mv ni denotes a normalized motion vector of the i-th neighboring block. D1 is the distance between the reference image and the current image, and D2 is the distance between the reference image and the current image referenced by the neighboring block. The virtual vector generation unit 103 may determine the median of the normalized motion vectors as a virtual vector.

둘째로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우이다. 이 경우, 가상 벡터 생성부(103)는 가상 움직임 벡터를 생성할 수 있다. 구체적으로, 가상 벡터 생성부(103)는 시점 내 정보 또는 시점 간 정보를 이용하여 가상 움직임 벡터를 생성할 수 있다.Second, when motion prediction / compensation of the current block is performed, there is only a variation vector in the neighboring block. In this case, the virtual vector generation unit 103 can generate a virtual motion vector. Specifically, the virtual vector generation unit 103 may generate a virtual motion vector using in-view information or inter-view information.

일례로, 가상 벡터 생성부(103)는 이전 시간의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정할 수 있다. 여기서, 이전 시간의 참조 영상은 이미 부호화된 영상을 의미한다. 다른 일례로, 가상 벡터 생성부(103)는 이웃 시점의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정할 수 있다. 또 다른 일례로, 가상 벡터 생성부(103)는 영(zero) 벡터를 가상 움직임 벡터로 결정할 수 있다.For example, the virtual vector generation unit 103 may determine a motion vector of a block corresponding to a current position of a current block as a virtual motion vector in a reference image of a previous time. Here, the reference image of the previous time refers to the image already coded. In another example, the virtual vector generation unit 103 may determine a motion vector of a block corresponding to the same position as a current block as a virtual motion vector in a neighboring view reference image. As another example, the virtual vector generation unit 103 may determine a zero vector as a virtual motion vector.

셋재로, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우이다. 이 경우, 가상 벡터 생성부(103)는 가상 변이 벡터를 생성할 수 있다. 일례로, 가상 벡터 생성부(103)는 시점 내 정보 또는 깊이 정보를 이용하여 가상 변이 벡터를 생성할 수 있다.In the case of performing the prediction / compensation of a current block, a motion vector exists in a neighboring block. In this case, the virtual vector generation unit 103 can generate a virtual variation vector. For example, the virtual vector generating unit 103 may generate a virtual variation vector using in-view information or depth information.

일례로, 가상 벡터 생성부(103)는 계층 글로벌 변이 벡터를 가상 변이 벡터로 결정할 수 있다. 구체적으로, 가상 벡터 생성부(103)는 로컬 움직임 정보의 크기에 기초하여 글로벌 움직임 정보의 크기로 분류된 n개의 계층 중 한 개의 계층을 결정하고, 결정된 계층에 대응하는 스케일링 팩터와 앵커(anchor) 프레임의 변이 벡터를 참조하여 논 앵커(non-anchor) 프레임의 가상 변이 벡터를 결정할 수 있다. 예를 들어, MVC(multiview video coding)에서, P-시점과 B-시점의 앵커 프레임의 경우 시점 간 예측 부호화만 수행되기 때문에, 변이 벡터만 존재한다. 가상 벡터 생성부(103)는 글로벌 움직임 정보의 크기와 로컬 움직임 정보의 관계로부터 n개의 계층 중 어느 하나의 계층을 결정한 뒤 그 계층에 속하는 스케일링 팩터(Scaling Factor)를 현재 블록과 동일 위치에 있는 앵커 프레임의 블록의 변이 벡터에 적용한 결과를 가상 변이 벡터로 결정한다.For example, the virtual vector generation unit 103 may determine the layer global variation vector as a virtual variation vector. Specifically, the virtual vector generation unit 103 determines one of n layers classified into the size of the global motion information based on the size of the local motion information, and determines a scaling factor and an anchor corresponding to the determined layer, The virtual mutation vector of the non-anchor frame can be determined with reference to the mutation vector of the frame. For example, in an MVC (multiview video coding), only an inter-view predictive coding is performed in the case of an anchor frame of a P-viewpoint and a B-viewpoint, and therefore only a disparity vector exists. The virtual vector generation unit 103 determines one of n layers based on the relationship between the size of the global motion information and the local motion information, and outputs a scaling factor belonging to the layer to an anchor The result of applying the transformed vector to the block of the frame is determined as a virtual mutation vector.

이 때, n개의 계층 중 하나의 계층을 선택하는 방법은 다음과 같다. 다시점 비디오에서 카메라에 가까운 물체는 카메라에서 멀리 떨어진 물체보다 시점간 변이가 크다. 이러한 가정에 기초하여 가상 벡터 생성부(103)는 글로벌 움직임 정보와 로컬 움직임 정보를 사용하여 n개의 계층 중 어느 하나의 글로벌 변이 벡터를 가상 변이 벡터로 결정할 수 있다.At this time, a method of selecting one of n layers is as follows. In the multi-view video, objects close to the camera have more time-varying points than objects far from the camera. Based on this assumption, the virtual vector generation unit 103 can determine any one of the n-dimensional global variation vectors as a virtual variation vector using the global motion information and the local motion information.

다른 일례로, 가상 벡터 생성부(103)는 깊이 정보로부터 추출된 변이 정보 변환 벡터를 가상 변이 벡터로 결정할 수 있다. 예를 들어, MPEG-3DV에서 다시점 컬러 비디오와 함께 다시점 깊이 비디오도 함께 사용된다. 그러면, 가상 벡터 생성부(103)는 카메라 파라미터를 이용하여 다시점 깊이 비디오의 깊이 정보로부터 변이 벡터를 계산하여 가상 변이 벡터로 결정할 수 있다.As another example, the virtual vector generation unit 103 can determine the mutation information conversion vector extracted from the depth information as a virtual mutation vector. For example, multi-point depth video is used in conjunction with multi-point color video in MPEG-3DV. Then, the virtual vector generating unit 103 may calculate the disparity vector from the depth information of the multi-view depth video using the camera parameters, and determine the disparity vector as a virtual disparity vector.

예측/보상 수행부(104)는 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 이용하여 현재 블록에 대해 움직임 벡터 또는 변이 벡터에 대한 예측/보상을 수행할 수 있다. 그리고, 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 존재하지 않는 경우, 예측/보상 수행부(104)는 가상 벡터 생성부(103)가 생성한 가상 벡터를 이용하여 현재 블록의 예측/보상을 수행할 수 있다.The prediction / compensation performing unit 104 predicts / compensates the motion vector or the disparity vector for the current block using a vector of the same type as the vector used in the prediction / compensation of the current block in the neighboring block . When there is no vector of the same type as the vector used in the prediction / compensation of the current block in the neighboring block, the prediction / compensation performing unit 104 performs the prediction / compensation using the virtual vector generated by the virtual vector generating unit 103 The prediction / compensation of the current block can be performed.

도 2는 본 발명의 일실시예에 따른 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.FIG. 2 is a diagram illustrating a structure of multi-view video according to an embodiment of the present invention. Referring to FIG.

도 2를 참고하면, 3개 시점(Left, Center, Right)의 영상을 입력받았을 때, GOP(Group of Picture) '8'로 부호화하는 다시점 비디오 부호화 방식(Multiview Video Coding)을 나타낸다. 다시점(Multi-view) 영상을 부호화기 위해서는 기본적으로 시간(Temporal)축과 시점(View)축으로 계층적 B 영상(Hierarchical B Picture)을 적용하기 때문에 영상 간의 중복성(Redundancy)을 줄일 수 있다. Referring to FIG. 2, there is shown a multi-view video coding method in which an image of three viewpoints (Left, Center, Right) is encoded into a GOP (Group of Picture) '8'. In order to encode a multi-view image, a hierarchical B picture is basically applied to a temporal axis and a view axis, thereby reducing redundancy between images.

도 2에 도시된 다시점 비디오의 구조에 따라 다시점 비디오 부호화 장치(101)는 좌측 영상(Left Picture: I-view)을 먼저 부호화하고 우측 영상(Right Picture: P-view)과 중앙 영상(Center Picture: B-view)를 차례대로 부호화함으로써 3개 시점에 대응하는 영상을 부호화할 수 있다. According to the structure of the multi-view video shown in FIG. 2, the multi-view video encoding apparatus 101 first encodes a left picture (I-view) and generates a right picture (P-view) Picture: B-view) are sequentially coded, whereby an image corresponding to three viewpoints can be encoded.

이 때, 좌측 영상은 움직임 추정(Motion Estimation)을 통해 이전 영상들로부터 비슷한 영역을 검색함으로써 시간적 중복성(Temporal Redundancy)이 제거되는 방식으로 부호화될 수 있다. 그리고, 우측 영상은 이미 부호화된 좌측 영상을 참조 영상으로 사용하여 부호화되기 때문에, 움직임 추정에 기초한 시간적 중복성과 변이 추정(Disparity Estimation)에 기초한 시점 간 중복성(View Redundancy)이 제거되는 방식으로 부호화될 수 있다. 또한, 중앙 영상은 이미 부호화된 좌측 영상과 우측 영상을 모두 참조 영상으로 이용하여 부호화되기 때문에, 양방향으로의 변이 추정에 따라 시점 간 중복성이 제거될 수 있다.In this case, the left image can be encoded in such a manner that temporal redundancy is eliminated by searching a similar region from previous images through motion estimation (Motion Estimation). Since the right image is coded using the already coded left image as a reference image, it can be coded in such a way that the view redundancy based on the motion estimation is eliminated and the view redundancy based on the disparity estimation is eliminated have. Also, since the center image is coded using both the left and right images which are already coded as reference images, it is possible to eliminate the inter-view redundancy according to the bi-directional variation estimation.

도 2를 참고하면, 다시점 비디오 부호화 방식에서, 좌측 영상과 같이 다른 시점의 참조 영상을 이용하지 않고 부호화되는 영상은 I-View, 우측 영상과 같이 다른 시점의 참조 영상을 단방향으로 예측하여 부호화하는 영상은 P-View, 중앙 영상과 같이 좌우 시점의 참조 영상을 양방향으로 예측하여 부호화하는 영상은 B-View이라고 정의된다.Referring to FIG. 2, in the multi-view video coding scheme, an image encoded without using a reference image at another viewpoint, such as the left image, is predicted and unidirectionally predicted from a reference image at another viewpoint, such as an I-View and a right image An image is defined as a B-View image in which the left and right reference images such as a P-View and a central image are predicted and encoded in both directions.

MVC의 프레임은 예측 구조에 따라 크게 6가지 그룹으로 분류된다. 구체적으로, 6가지 그룹은 인트라 부호화를 위한 I-시점 Anchor 프레임, 시간축간 인터 부호화를 위한 I-시점 Non-anchor 프레임, 시점간 단방향 인터 부호화를 위한 P-시점 Anchor 프레임, 시점간 단방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 P-시점 Non-anchor 프레임, 시점간 양방향 인터 부호화를 위한 B-시점 Anchor 프레임 및 시점간 양방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 B-시점 Non-anchor 프레임으로 분류될 수 있다.MVC frames are classified into 6 groups according to the prediction structure. Specifically, the six groups include an I-view anchor frame for intra-coding, an I-view non-anchor frame for inter-temporal inter coding, a P-view anchor frame for inter-view unidirectional inter coding, Viewpoint Non-anchor frame for bidirectional inter-coding between time axes, B-point anchor frame for inter-view bidirectional inter-coding, and B-point non-anchor frames for inter-view bidirectional inter coding .

도 3은 본 발명의 일실시예에 따른 현재 블록을 부호화하기 위해 사용되는 참조 영상의 예시를 도시한 도면이다.3 is a diagram illustrating an example of a reference image used to encode a current block according to an embodiment of the present invention.

영상 처리 장치(100)는 현재 영상(301)인 현재 프레임에 위치한 현재 블록을 압축할 때 현재 프레임에 대해 시간상 주변에 위치한 참조 영상(302, 303)과 시점상 주변에 위치한 참조 영상(304, 305)을 이용할 수 있다. 구체적으로, 영상 처리 장치(100)는 참조 영상(302~305)에서 현재 블록과 가장 유사한 예측 블록을 탐색하여 현재 블록과 예측 블록 간의 잔차 신호(residue)를 압축할 수 있다. 이와 같이, 참조 영상을 이용하여 예측 블록을 탐색하는 압축 모드는 SKIP(P Slice Only)/Direct(B Slice Only), 16x16, 16x8, 8x16, P8x8 모드들을 포함할 수 있다.When compressing the current block located in the current frame, which is the current image 301, the image processing apparatus 100 includes reference images 302 and 303 located in the vicinity of the current frame with respect to the current frame, reference images 304 and 305 ) Can be used. Specifically, the image processing apparatus 100 can search for a prediction block most similar to the current block in the reference images 302 to 305 and compress residual signals between the current block and the prediction block. As described above, the compression mode for searching the prediction block using the reference image may include SKIP (P Slice Only) / Direct (B Slice Only), 16x16, 16x8, 8x16, and P8x8 modes.

영상 처리 장치(100)는 움직임 정보를 탐색하기 위해 Ref1 영상(302)과 Ref2 영상(303)을 이용할 수 있고, 변이 정보를 탐색하기 위해 Ref3 영상(304)과 Ref4 영상(305)을 이용할 수 있다. The image processing apparatus 100 can use the Ref1 image 302 and the Ref2 image 303 to search motion information and use the Ref3 image 304 and the Ref4 image 305 to search for the variation information .

도 4는 본 발명의 일실시예에 따른 MPEG-MVC의 입력 신호에 기초한 다시점 비디오의 부호화 장치의 일례를 도시한 도면이다.4 is a diagram showing an example of a multi-view video encoding apparatus based on an input signal of MPEG-MVC according to an embodiment of the present invention.

도 1의 영상 처리 장치(100)는 도 4에서 영상 처리 장치(402)에 대응한다. 도 4를 참고하면, 부호화 장치는 모드 선택부(401)를 통해 컬러 비디오에 대한 부호화 모드를 선택할 수 있다. 이 때, 부호화 모드가 다이렉트 모드인 경우, 모드 선택부(401)는 시점 간 다이렉트 모드 또는 시점 내 다이렉트 모드 중 어느 하나를 선택할 수 있다. 부호화 모드에 따라 영상 처리 장치(402)는 화면 내 예측(403)을 수행할 수 있다.The image processing apparatus 100 of FIG. 1 corresponds to the image processing apparatus 402 in FIG. Referring to FIG. 4, the encoding apparatus can select the encoding mode for the color video through the mode selection unit 401. At this time, when the encoding mode is the direct mode, the mode selection unit 401 can select either the inter-view direct mode or the in-view direct mode. The image processing apparatus 402 can perform the intra-picture prediction 403 according to the encoding mode.

영상 처리 장치(402)는 참조 픽터 저장 버퍼(407)에 저장된 시간 축 상의 참조 영상으로부터 현재 영상의 현재 블록에 대한 움직임 예측/보상(404)을 수행할 수 있다. 그리고, 영상 처리 장치(402)는 타시점 참조 픽처 저장 버퍼(408)에 저장된 시점 축 상의 참조 영상을 이용하여 현재 영상의 현재 블록에 대한 변이 예측/보상(405)을 수행할 수 있다. 이 때, 영상 처리 장치(402)는 앵커 픽처 변이 정보 저장 버퍼(406)에 저장된 변이 벡터를 활용할 수 있다.The image processing apparatus 402 may perform motion prediction / compensation 404 for the current block of the current image from the reference image on the time axis stored in the reference picture storage buffer 407. [ The image processing unit 402 may perform the disparity prediction / compensation 405 on the current block of the current image using the reference image on the viewpoint axis stored in the other-view reference-picture storage buffer 408. [ At this time, the image processing apparatus 402 can utilize the disparity vector stored in the anchorperson picture disparity information storage buffer 406. [

본 발명의 일실시예에 따르면, 영상 처리 장치(402)는 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있다. 즉, P-시점과 B-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 영상 처리 장치(402)는 현재 블록의 주변 블록에서 움직임 벡터를 추출하고, P-시점과 B-시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 영상 처리 장치(402)는 현재 블록의 주변 블록에서 변이 벡터를 추출할 수 있다. 그러면, 영상 처리 장치(402)는 추출한 움직임 벡터 또는 변이 벡터를 이용하여 움직임 예측/보상 또는 변이 예측/보상을 수행할 수 있다.According to an embodiment of the present invention, the image processing apparatus 402 may extract a vector of the same type as a vector used when performing prediction / compensation of a current block in a neighboring block of the current block. That is, when motion prediction / compensation of the current block is performed at the P-viewpoint and the B-viewpoint, the image processing apparatus 402 extracts motion vectors from neighboring blocks of the current block, In performing the prediction / compensation of the variation of the block, the image processing apparatus 402 can extract the variation vector from the neighboring block of the current block. Then, the image processing device 402 can perform motion prediction / compensation or mutation prediction / compensation using the extracted motion vector or the variation vector.

만약, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우 영상 처리 장치(402)는 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성할 수 있다. 구체적으로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영상 처리 장치(402)는 가상 움직임 벡터를 생성할 수 있다. 그리고, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(402)는 가상 변이 벡터를 생성할 수 있다. 그러면, 영상 처리 장치(402)는 생성된 가상 벡터를 이용하여 움직임 예측/보상 또는 변이 예측/보상을 수행할 수 있다.If a vector of the same type as the vector used in the prediction / compensation of the current block is not present in the neighboring block, the image processing apparatus 402 sets the same vector as that used in performing prediction / compensation of the current block A kind of virtual vector can be generated. Specifically, when motion vector prediction / compensation of the current block is performed, if there is only a disparity vector in a neighboring block, the image processing apparatus 402 may generate a virtual motion vector. If there is only a motion vector in the neighboring block when the prediction / compensation of the current block is performed, the image processing apparatus 402 can generate a virtual variation vector. Then, the image processing apparatus 402 can perform motion prediction / compensation or mutation prediction / compensation using the generated virtual vector.

도 5는 본 발명의 일실시예에 따른 MPEG-3DV의 입력 신호에 기초한 다시점 비디오의 부호화 장치의 일례를 도시한 도면이다.5 is a diagram showing an example of a multi-view video encoding apparatus based on an input signal of MPEG-3DV according to an embodiment of the present invention.

도 5를 참고하면, 도 4와 비교했을 때 카메라 파라미터(501)가 추가된다. 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(502)는 깊이 정보(507)로부터 변이 정보 변환(506)을 수행할 때 카메라 파라미터(501)를 이용할 수 있다. 영상 처리 장치(502)의 동작에 대해서는 이미 도 4에서 설명하였으므로, 구체적인 설명은 생략하기로 한다.Referring to FIG. 5, a camera parameter 501 is added in comparison with FIG. When motion vector prediction / compensation of the current block is performed, if there is only a motion vector in the neighboring block, the image processing apparatus 502 outputs the camera parameter 501 when performing the mutation information conversion 506 from the depth information 507 Can be used. Since the operation of the image processing apparatus 502 has already been described with reference to FIG. 4, a detailed description thereof will be omitted.

도 6은 본 발명의 일실시예에 따른 MPEG-MVC의 입력 신호에 기초한 다시점 비디오의 복호화 장치의 일례를 도시한 도면이다.6 is a diagram illustrating an example of a multi-view video decoding apparatus based on an input signal of MPEG-MVC according to an embodiment of the present invention.

도 1의 영상 처리 장치(100)는 도 6에서 영상 처리 장치(602)에 대응한다. 도 6을 참고하면, 복호화 장치는 모드 선택부(601)를 통해 컬러 비디오에 대한 복호화 모드를 선택할 수 있다. 이 때, 복호화 모드가 다이렉트 모드인 경우, 모드 선택부(601)는 시점 간 다이렉트 모드 또는 시점 내 다이렉트 모드 중 어느 하나를 선택할 수 있다. 복호화 모드에 따라 영상 처리 장치(602)는 화면 내 예측(603)을 수행할 수 있다.The image processing apparatus 100 of FIG. 1 corresponds to the image processing apparatus 602 in FIG. Referring to FIG. 6, the decoding apparatus can select the decoding mode for the color video through the mode selection unit 601. At this time, when the decryption mode is the direct mode, the mode selection unit 601 can select either the inter-view direct mode or the in-view direct mode. The image processing apparatus 602 can perform the intra-frame prediction 603 according to the decoding mode.

영상 처리 장치(602)는 참조 픽터 저장 버퍼(607)에 저장된 시간 축 상의 참조 영상으로부터 현재 영상의 현재 블록에 대한 움직임 예측/보상(604)을 수행할 수 있다. 그리고, 영상 처리 장치(602)는 타시점 참조 픽처 저장 버퍼(608)에 저장된 시점 축 상의 참조 영상을 이용하여 현재 영상의 현재 블록에 대한 변이 예측/보상(605)을 수행할 수 있다. 이 때, 영상 처리 장치(602)는 앵커 픽처 변이 정보 저장 버퍼(606)에 저장된 변이 벡터를 활용할 수 있다.The image processing apparatus 602 may perform motion prediction / compensation 604 on the current block of the current image from the reference image on the time axis stored in the reference picture storage buffer 607. The image processing apparatus 602 may perform the disparity prediction / compensation 605 on the current block of the current image using the reference image on the viewpoint axis stored in the point-in-time reference picture storage buffer 608. [ At this time, the image processing apparatus 602 can utilize the disparity vector stored in the anchorperson picture disparity information storage buffer 606. [

본 발명의 일실시예에 따르면, 영상 처리 장치(602)는 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있다. 즉, P-시점과 B-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 영상 처리 장치(602)는 현재 블록의 주변 블록에서 움직임 벡터를 추출하고, P-시점과 B-시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 영상 처리 장치(602)는 현재 블록의 주변 블록에서 변이 벡터를 추출할 수 있다. 그러면, 영상 처리 장치(602)는 추출한 움직임 벡터 또는 변이 벡터를 이용하여 움직임 예측/보상 또는 변이 예측/보상을 수행할 수 있다.According to an embodiment of the present invention, the image processing apparatus 602 may extract a vector of the same type as a vector used when performing prediction / compensation of a current block in a neighboring block of the current block. That is, when the motion prediction / compensation of the current block is performed at the P-viewpoint and the B-viewpoint, the image processing apparatus 602 extracts motion vectors from neighboring blocks of the current block, In performing the variation prediction / compensation of a block, the image processing apparatus 602 can extract a variation vector from a neighboring block of the current block. Then, the image processing apparatus 602 can perform motion prediction / compensation or mutation prediction / compensation using the extracted motion vector or the variation vector.

만약, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우 영상 처리 장치(602)는 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성할 수 있다. 구체적으로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영상 처리 장치(602)는 가상 움직임 벡터를 생성하고, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(602)는 가상 변이 벡터를 생성할 수 있다. 그러면, 영상 처리 장치(602)는 생성된 가상 벡터를 이용하여 움직임 예측/보상 또는 변이 예측/보상을 수행할 수 있다.If a vector of the same type as the vector used in the prediction / compensation of the current block is not present in the neighboring block, the image processing apparatus 602 performs the same prediction as the vector used in performing the prediction / A kind of virtual vector can be generated. Specifically, when performing motion prediction / compensation of the current block, if there is only a disparity vector in the neighboring block, the image processing apparatus 602 generates a virtual motion vector, and when performing the disparity prediction / When only a motion vector exists in the block, the image processing apparatus 602 can generate a virtual variation vector. Then, the image processing apparatus 602 can perform motion prediction / compensation or mutation prediction / compensation using the generated virtual vector.

도 7은 본 발명의 일실시예에 따른 MPEG-3DV의 입력 신호에 기초한 다시점 비디오의 복호화 장치의 일례를 도시한 도면이다.FIG. 7 is a diagram showing an example of a multi-view video decoding apparatus based on an input signal of MPEG-3DV according to an embodiment of the present invention.

도 7을 참고하면, 도 6과 비교했을 때 카메라 파라미터(710)가 추가된다. 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(702)는 깊이 정보(707)로부터 변이 정보 변환(706)을 수행할 때 카메라 파라미터(710)를 이용할 수 있다. 영상 처리 장치(702)의 동작에 대해서는 이미 도 6에서 설명하였으므로, 구체적인 설명은 생략하기로 한다.Referring to FIG. 7, a camera parameter 710 is added in comparison with FIG. When motion vector prediction / compensation of the current block is performed, if there is only a motion vector in the neighboring block, the image processing apparatus 702 calculates the camera parameter 710 when performing the mutation information conversion 706 from the depth information 707 Can be used. Since the operation of the image processing apparatus 702 has already been described with reference to FIG. 6, a detailed description thereof will be omitted.

도 8은 본 발명의 일실시예에 따른 움직임 및 변이 예측/보상을 위한 벡터를 추출하는 과정을 도시한 도면이다.FIG. 8 is a diagram illustrating a process of extracting a vector for motion / disparity prediction / compensation according to an embodiment of the present invention.

단계(801)에서, 영상 처리 장치(806)는 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있는 지 여부를 판단할 수 있다. 만약, 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있다면, 단계(802)에서, 영상 처리 장치(806)는 추출한 움직임 벡터들의 중간값(median)인 MVp 또는 변이 벡터들의 중간값(median)인 DVp를 계산한 후, 단계(807)에서 계산된 MVp 또는 DVp를 이용하여 움직임 추정 및 변이 추정을 할 수 있다.In step 801, the image processing apparatus 806 can determine whether or not it is possible to extract a vector of the same type as the vector used in performing the prediction / compensation of the current block in the neighboring block of the current block. If it is possible to extract a vector of the same type as the vector used in performing the prediction / compensation of the current block in the neighboring block, in step 802, the image processing apparatus 806 calculates the median of the extracted motion vectors ) MVp or a median of the variance vectors, and then MVp or DVp calculated in step 807 can be used to perform motion estimation and variance estimation.

만약, 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 없다면, 단계(803)에서 영상 처리 장치(806)는 I-시점에 대해 정규화 움직임 벡터들의 중간값인 MVp를 계산할 수 있다. 그런 후, 단계(807)에서 영상 처리 장치(806)는 계산된 MVp 또는 DVp를 이용하여 움직임 추정 및 변이 추정을 할 수 있다.If it is not possible to extract a vector of the same type as the vector used to perform the prediction / compensation of the current block in the neighboring block of the current block, then in step 803 the image processing apparatus 806 normalizes MVp, which is an intermediate value of the motion vectors, can be calculated. Then, in step 807, the image processing apparatus 806 can perform motion estimation and variance estimation using the calculated MVp or DVp.

그리고, 단계(804)에서 영상 처리 장치(806)는 P-시점 및 B-시점에 대해 움직임 추정을 위한 가상 움직임 벡터인 MVp를 계산할 수 있다. 그리고, 단계(805)에서 영상 처리 장치(806)는 P-시점 및 B-시점에 대해 변이 추정을 위한 가상 변이 벡터인 MVp를 계산할 수 있다.In step 804, the image processing apparatus 806 may calculate MVp, which is a virtual motion vector for motion estimation, with respect to the P-viewpoint and the B-viewpoint. In step 805, the image processing apparatus 806 may calculate MVp, which is a virtual variation vector for the variation estimation, with respect to the P-viewpoint and the B-viewpoint.

도 9는 본 발명의 일실시예에 따른 깊이 정보로부터 변이 벡터를 생성하는 과정을 도시한 도면이다.9 is a diagram illustrating a process of generating a disparity vector from depth information according to an embodiment of the present invention.

도 9를 참고하면, 영상 처리 장치(100)는 오브젝트(901)에 대해 현재 시점의 점(xc,yc)을 수학식 2에 따라 World 좌표계(u,v,z)로 투영한다. 9, the image processing apparatus 100 projects the point (xc, yc) at the current point of time on the object 901 in the world coordinate system (u, v, z) according to the equation (2).

Figure 112011013042006-pat00002
Figure 112011013042006-pat00002

수학식 2에서 A(c)는 내부(intrinsic) 카메라 행렬, R(c)는 카메라(902, 903)의 회전(rotation) 행렬, T(c)는 카메라(902, 903)의 이동(translation) 행렬, 그리고 D는 깊이 정보를 나타낸다.(C) is a rotation matrix of the cameras 902 and 903, and T (c) is a translation of the cameras 902 and 903. In the equation (2), A (c) is an intrinsic camera matrix, Matrix, and D represent depth information.

그리고, 영상 처리 장치(100)는 World 좌표계(u,v,z)를 수학식 3에 따라 참조 영상의 좌표계(xr,yr)로 투영한다.  Then, the image processing apparatus 100 projects the world coordinate system (u, v, z) in the coordinate system (xr, yr) of the reference image according to the equation (3).

Figure 112011013042006-pat00003
Figure 112011013042006-pat00003

수학식 3에서 (xr,yr)은 참조 영상의 대응 점, zr은 참조 시점에서의 깊이를 나타낸다.In Equation (3), (x r , y r ) represents the corresponding point of the reference image, and z r represents the depth at the reference point.

이 후, 영상 처리 장치(100)는 수학식 4에 따라 변이 벡터(dx,dy)를 계산한다.Thereafter, the image processing apparatus 100 calculates the disparity vector (d x , d y ) according to Equation (4).

Figure 112011013042006-pat00004
Figure 112011013042006-pat00004

영상 처리 장치(100)는 수학식 4에서 계산된 변이 벡터(dx,dy)를 가상 변이 벡터로 사용한다.The image processing apparatus 100 uses the disparity vector (d x , d y ) calculated in Equation (4) as a virtual disparity vector.

도 10는 본 발명의 일실시예에 따른 시점 내 다이렉트 모드와 시점 간 다이렉트 모드를 선택하는 과정을 도시한 도면이다.10 is a diagram illustrating a process of selecting a direct mode between a viewpoint and a viewpoint according to an embodiment of the present invention.

영상 처리 장치(100)는 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드 또는 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택할 수 있다. 일례로, 다이렉트 모드 선택부(101)는 RDO(Rate Distortion optimization)에 따라 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드와 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 비용 함수가 낮은 다이렉트 모드를 선택할 수 있다. 선택된 다이렉트 모드는 플래그 형태로 전송될 수 있다.The image processing apparatus 100 can select any one direct mode among a direct mode in which an image within the same view point is determined as a reference image or a direct view point mode in which an image between viewpoints is determined as a reference image. For example, the direct mode selection unit 101 selects a direct mode in which an image within the same viewpoint is determined as a reference image according to Rate Distortion Optimization (RDO) and a direct mode in which a reference image is determined as a reference image, The lower direct mode can be selected. The selected direct mode can be transmitted in the form of a flag.

비용 함수는 수학식 5에 따라 계산될 수 있다.The cost function can be calculated according to equation (5).

Figure 112011013042006-pat00005
Figure 112011013042006-pat00005

SD(Sum of Square Difference)는 현재 영상의 현재 블록(s)과 예측 블록(r)의 차분 값들을 제곱한 값이고, λ은 라그랑지안 계수이다. R은 해당 부호화 모드(mode)로 현재 영상과 이전 영상들로부터 움직임 혹은 변이 탐색으로 예측된 영상의 차분으로 얻어진 신호를 부호화 했을 때 필요한 비트수이다. SD is a squared difference between the current block (s) and the prediction block (r) of the current image, and? Is a Lagrangian coefficient. R is the number of bits required when coding a signal obtained from a difference between a current image and a previous image, or a difference between images predicted by a motion search or a mutation search in the coding mode.

이후의 과정들은 다이렉트 모드 선택부(101)가 선택한 다이렉트 모드에 따라 동일 시점 내의 영상을 참조 영상으로 사용하거나 또는 시점 간의 영상을 참조 영상으로 사용할 수 있다.The following processes can use an image within the same view point as a reference image or an image between views as a reference image according to the direct mode selected by the direct mode selection unit 101. [

도 11은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 플로우차트이다.11 is a flowchart illustrating an image processing method according to an embodiment of the present invention.

단계(S1101)에서, 영상 처리 장치(100)는 시점 내 다이렉트 모드 또는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택할 수 있다. 일례로, 영상 처리 장치(100)는 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드와 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 비용 함수가 낮은 다이렉트 모드를 선택할 수 있다.In step S1101, the image processing apparatus 100 can select any of the direct mode in the in-view mode and the direct mode in the view point. For example, the image processing apparatus 100 can select a direct mode in which a video in the same viewpoint is determined as a reference video and a direct mode in which a cost function is low in a direct-viewpoint direct mode in which an image between the viewpoints is determined as a reference video.

단계(S1102)에서, 영상 처리 장치(100)는 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있다. 일례로, 영상 처리 장치(100)는 P-시점과 B시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 움직임 벡터를 추출하고, P-시점과 B시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 변이 벡터를 추출할 수 있다.In step S1102, the image processing apparatus 100 may extract a vector of the same type as a vector used when performing prediction / compensation of a current block in a neighboring block. For example, when the motion prediction / compensation of the current block is performed at the P-viewpoint and the B viewpoint, the image processing apparatus 100 extracts a motion vector from neighboring blocks of the current block, The variation vector can be extracted from the neighboring blocks of the current block.

단계(S1103)에서, 영상 처리 장치(100)는 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 없다면, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성할 수 있다. 일례로, 영상 처리 장치(100)는 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 가상 움직임 벡터를 생성할 수 있다. 그리고, 영상 처리 장치(100)는 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 가상 변이 벡터를 생성할 수 있다.In step S1103, if the image processing apparatus 100 can not extract a vector of the same type as a vector used in performing prediction / compensation of a current block in a neighboring block, when performing prediction / compensation of the current block A virtual vector of the same kind as the vector to be used can be generated. For example, when the motion prediction / compensation of the current block is performed, the image processing apparatus 100 may generate the virtual motion vector when only the disparity vector exists in the neighboring block. The image processing apparatus 100 can generate a virtual disparity vector when only a motion vector exists in a neighboring block when the disparity prediction / compensation of the current block is performed.

구체적으로, 영상 처리 장치(100)는 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 시점 내 정보 또는 시점 간 정보를 이용하여 가상 움직임 벡터를 생성할 수 있다. Specifically, when the motion prediction / compensation of the current block is performed, the image processing apparatus 100 may generate the virtual motion vector using the in-view information or the in-view information when only the disparity vector exists in the neighboring block.

일례로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영상 처리 장치(100)는 이전 시간의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정할 수 있다. 다른 일례로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영상 처리 장치(100)는 이웃 시점의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정할 수 있다. 또 다른 일례로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영상 처리 장치(100)는 영(zero) 벡터를 가상 움직임 벡터로 결정할 수 있다.For example, when there is only a disparity vector in a neighboring block when motion prediction / compensation of a current block is performed, the image processing apparatus 100 calculates a motion vector of a block corresponding to the current position in the reference image of the previous time It can be determined as a virtual motion vector. For example, when motion vector prediction / compensation of a current block is performed, if there exists only a disparity vector in a neighboring block, the image processing apparatus 100 calculates a motion vector of a block corresponding to the current position As a virtual motion vector. As another example, when there is only a disparity vector in a neighboring block when motion prediction / compensation of a current block is performed, the image processing apparatus 100 may determine a zero vector as a virtual motion vector.

그리고, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(100)는 시점 내 정보 또는 깊이 정보를 이용하여 가상 변이 벡터를 생성할 수 있다. 일례로, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(100)는 계층 글로벌 변이 벡터를 가상 변이 벡터로 결정할 수 있다. If there is only a motion vector in a neighboring block when the prediction / compensation of a current block is performed, the image processing apparatus 100 may generate a virtual variation vector using in-view information or depth information. For example, when motion estimation / compensation of a current block is performed, if there is only a motion vector in a neighboring block, the image processing apparatus 100 may determine the layer global variation vector as a virtual variation vector.

구체적으로, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(100)는 로컬 움직임 정보의 크기에 기초하여 글로벌 움직임 정보의 크기로 분류된 n개의 계층 중 한 개의 계층을 결정하고, 그 계층에 대응하는 스케일링 팩터(Scaling Factor)와 앵커(anchor) 프레임의 변이 벡터를 참조하여 논 앵커(non-anchor) 프레임의 가상 변이 벡터를 결정할 수 있다. 각각의 계층은 스케일링 팩터를 정의하고 있다. Specifically, when motion estimation / compensation of a current block is performed, if only a motion vector exists in a neighboring block, the image processing apparatus 100 generates n layers The virtual mutation vector of the non-anchor frame can be determined by referring to the scaling factor corresponding to the layer and the mutation vector of the anchor frame. Each layer defines a scaling factor.

다른 일례로, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(100)는 깊이 정보로부터 추출된 변이 정보 변환 벡터를 가상 변이 벡터로 결정할 수 있다. In another example, when motion estimation / compensation of a current block is performed, if there is only a motion vector in a neighboring block, the image processing apparatus 100 may determine the mutation information transform vector extracted from the depth information as a hypothetical mutation vector.

단계(S1104)에서, 영상 처리 장치(100)는 현재 블록의 예측/보상을 수행할 수 있다.In step S1104, the image processing apparatus 100 may perform prediction / compensation of the current block.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

100: 영상 처리 장치
101: 다이렉트 모드 선택부
102: 벡터 추출부
103: 가상 벡터 생성부
104: 예측/보상 수행부100: image processing device
101: Direct mode selection unit
102: vector extracting unit
103: Virtual vector generating unit
104: prediction / compensation performing unit

Claims (31)

현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 벡터 추출부; 및
현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 가상 벡터 생성부
상기 추출된 벡터 또는 가상 벡터를 이용하여 현재 블록의 예측/보상을 수행하는 예측/보상 수행부
를 포함하고,
상기 가상 벡터 생성부는,
상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 가상 움직임 벡터를 생성하고,
상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 가상 변이 벡터를 생성하고,
상기 가상 벡터 생성부는,
상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 로컬 움직임 정보의 크기에 기초하여 글로벌 움직임 정보의 크기로 분류된 n개의 계층 중 한 개의 계층을 결정하고, 결정된 계층에 대응하는 스케일링 팩터와 앵커(anchor) 프레임의 변이 벡터를 참조하여 논 앵커(non-anchor) 프레임의 가상 변이 벡터를 결정하는 영상 처리 장치.A vector extracting unit for extracting a vector of the same type as a vector used in performing prediction / compensation of a current block in a neighboring block of the current block; And
If a vector of the same type as the vector used in the prediction / compensation of the current block is not present in the neighboring block, a virtual vector that generates a virtual vector of the same type as the vector used in performing the prediction / Generating unit
A prediction / compensation unit for performing prediction / compensation of a current block using the extracted vector or virtual vector,
Lt; / RTI >
Wherein the virtual vector generating unit comprises:
When a motion vector of the current block is predicted / compensated, a virtual motion vector is generated when only a disparity vector exists in a neighboring block,
When a motion vector exists in a neighboring block when performing a transition prediction / compensation of the current block, generates a hypothetical transition vector,
Wherein the virtual vector generating unit comprises:
When one or more motion vectors exist in a neighboring block when performing the prediction / compensation of the current block, determining one layer among n layers classified into the size of the global motion information based on the size of the local motion information, And determining a virtual disparity vector of a non-anchor frame by referring to a disparity vector of a scaling factor and an anchor frame corresponding to the layer. 제1항에 있어서,
상기 벡터 추출부는,
P-시점과 B-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 움직임 벡터를 추출하고,
P-시점과 B-시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 변이 벡터를 추출하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein the vector extracting unit comprises:
When motion prediction / compensation of the current block is performed at the P-viewpoint and the B-viewpoint, a motion vector is extracted from neighboring blocks of the current block,
And a variation vector is extracted from a neighboring block of the current block when the prediction / compensation of the current block is performed at the P-viewpoint and the B-viewpoint. 제1항에 있어서,
상기 벡터 추출부는,
I-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록으로부터 거리가 서로 다른 참조 영상들을 이용하여 움직임 벡터를 추출하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein the vector extracting unit comprises:
Wherein when motion prediction / compensation of the current block is performed at the I-viewpoint, motion vectors are extracted using reference images having different distances from the current block. 삭제delete 삭제delete 제1항에 있어서,
상기 가상 벡터 생성부는,
상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 시점 내 정보 또는 시점 간 정보를 이용하여 가상 움직임 벡터를 생성하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein the virtual vector generating unit comprises:
And generates a virtual motion vector using in-view information or in-view information when only a disparity vector exists in a neighboring block when motion prediction / compensation of the current block is performed. 제6항에 있어서,
상기 가상 벡터 생성부는,
상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 이전 시간의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 6,
Wherein the virtual vector generating unit comprises:
When a motion vector of the current block is predicted / compensated, a motion vector of a block corresponding to a current position of the current block is determined as a virtual motion vector in a reference image of a previous time, The image processing apparatus. 제6항에 있어서,
상기 가상 벡터 생성부는,
상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 이웃 시점의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 6,
Wherein the virtual vector generating unit comprises:
When a motion vector of the current block is predicted / compensated, a motion vector of a block corresponding to a current position of the current block is determined as a virtual motion vector in a reference image of a neighboring view, The image processing apparatus. 제6항에 있어서,
상기 가상 벡터 생성부는,
상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영(zero) 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 6,
Wherein the virtual vector generating unit comprises:
Wherein the motion vector prediction unit determines a zero vector as a virtual motion vector when only a disparity vector exists in a neighboring block when motion prediction / compensation of the current block is performed. 제1항에 있어서,
상기 가상 벡터 생성부는,
상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 시점 내 정보 또는 깊이 정보를 이용하여 가상 변이 벡터를 생성하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein the virtual vector generating unit comprises:
And generates a virtual disparity vector using intra-view information or depth information when a motion vector exists in a neighboring block when the disparity prediction / compensation of the current block is performed. 삭제delete 삭제delete 제10항에 있어서,
상기 가상 벡터 생성부는,
상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 깊이 정보로부터 추출된 변이 정보 변환 벡터를 가상 변이 벡터로 결정하는 것을 특징으로 하는 영상 처리 장치.11. The method of claim 10,
Wherein the virtual vector generating unit comprises:
Wherein when the motion prediction / compensation of the current block is performed, only the motion vector is present in the neighboring block, the mutation information transform vector extracted from the depth information is determined as a virtual mutation vector. 제1항에 있어서,
다이렉트 모드에 따라 현재 블록의 예측/보상을 수행하는 경우, 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드 또는 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택하는 다이렉트 모드 선택부
를 더 포함하는 영상 처리 장치.The method according to claim 1,
In the case of predicting / compensating the current block according to the direct mode, a direct mode in which a video in the same viewpoint is determined as a reference video or a direct mode in a point- The direct mode selection unit
Further comprising: 제14항에 있어서,
상기 다이렉트 모드 선택부는,
시점 내 다이렉트 모드와 시점 간 다이렉트 모드 중 비용 함수가 낮은 다이렉트 모드를 선택하는 것을 특징으로 하는 영상 처리 장치.15. The method of claim 14,
The direct mode selection unit,
And selects a direct mode with a low cost function among the direct mode in the start time point and the direct point time mode in the time point. 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 단계
현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계; 및
상기 추출된 벡터 또는 동일한 가상 벡터를 이용하여 현재 블록의 예측/보상을 수행하는 단계
를 포함하고,
상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 가상 움직임 벡터를 생성하는 단계; 또는
상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 가상 변이 벡터를 생성하는 단계
를 포함하고,
상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 로컬 움직임 정보의 크기에 기초하여 글로벌 움직임 정보의 크기로 분류된 n개의 계층 중 한 개의 계층을 결정하고, 결정된 계층에 대응하는 스케일링 팩터와 앵커(anchor) 프레임의 변이 벡터를 참조하여 논 앵커(non-anchor) 프레임의 가상 변이 벡터를 결정하는 영상 처리 방법.A step of extracting a vector of the same type as a vector used in performing prediction / compensation of a current block in a neighboring block of the current block
A step of generating a virtual vector of the same type as a vector used in performing prediction / compensation of a current block when a vector of the same type as the vector used in performing prediction / compensation of the current block is not present in the neighboring block ; And
Performing prediction / compensation of a current block using the extracted vector or the same virtual vector
Lt; / RTI >
The generating of the virtual vector of the same kind as the vector used in the prediction /
Generating a virtual motion vector when a neighboring block includes only a disparity vector when performing motion prediction / compensation of the current block; or
When a motion vector exists only in a neighboring block when the prediction / compensation of the current block is performed, generating a virtual displacement vector
Lt; / RTI >
The generating of the virtual vector of the same kind as the vector used in the prediction /
When one or more motion vectors exist in a neighboring block when performing the prediction / compensation of the current block, determining one layer among n layers classified into the size of the global motion information based on the size of the local motion information, And determining a virtual disparity vector of a non-anchor frame by referring to a disparity vector of a scaling factor and an anchor frame corresponding to the layer. 제16항에 있어서,
상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 단계는,
P-시점과 B-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 움직임 벡터를 추출하는 단계; 또는
P-시점과 B-시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 변이 벡터를 추출하는 단계
를 포함하는 영상 처리 방법.17. The method of claim 16,
Wherein the step of extracting a vector of the same type as the vector used in performing the prediction /
Extracting a motion vector from a neighboring block of a current block when motion prediction / compensation of a current block is performed at a P-viewpoint and a B-viewpoint; or
In case of performing the prediction / compensation of the transition of the current block at the P-viewpoint and the B-viewpoint, a step of extracting a variation vector from a neighboring block of the current block
And an image processing method. 제16항에 있어서,
상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 단계는,
I-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록으로부터 거리가 서로 다른 참조 영상들을 이용하여 움직임 벡터를 추출하는 것을 특징으로 하는 영상 처리 방법.17. The method of claim 16,
Wherein the step of extracting a vector of the same type as the vector used in performing the prediction /
Wherein when motion prediction / compensation of the current block is performed at the I-viewpoint, motion vectors are extracted using reference images having different distances from the current block. 삭제delete 삭제delete 제16항에 있어서,
상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 시점 내 정보 또는 시점 간 정보를 이용하여 가상 움직임 벡터를 생성하는 것을 특징으로 하는 영상 처리 방법.17. The method of claim 16,
The generating of the virtual vector of the same kind as the vector used in the prediction /
Wherein a virtual motion vector is generated using in-view information or in-view information when a neighboring block only includes a disparity vector when performing motion prediction / compensation of the current block. 제21항에 있어서,
상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 이전 시간의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 방법.22. The method of claim 21,
The generating of the virtual vector of the same kind as the vector used in the prediction /
When a motion vector of the current block is predicted / compensated, a motion vector of a block corresponding to a current position of the current block is determined as a virtual motion vector in a reference image of a previous time, / RTI > 제21항에 있어서,
상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 이웃 시점의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 방법.22. The method of claim 21,
The generating of the virtual vector of the same kind as the vector used in the prediction /
When a motion vector of the current block is predicted / compensated, a motion vector of a block corresponding to a current position of the current block is determined as a virtual motion vector in a reference image of a neighboring view, / RTI > 제21항에 있어서,
상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영(zero) 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 방법.22. The method of claim 21,
The generating of the virtual vector of the same kind as the vector used in the prediction /
Wherein a zero vector is determined as a virtual motion vector when only a disparity vector exists in a neighboring block when motion prediction / compensation of the current block is performed. 제16항에 있어서,
상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 시점 내 정보 또는 깊이 정보를 이용하여 가상 변이 벡터를 생성하는 것을 특징으로 하는 영상 처리 방법.17. The method of claim 16,
The generating of the virtual vector of the same kind as the vector used in the prediction /
Wherein the virtual disparity vector is generated using intra-view information or depth information when motion vectors are present in neighboring blocks when the disparity prediction / compensation of the current block is performed. 삭제delete 삭제delete 제25항에 있어서,
상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 깊이 정보로부터 추출된 변이 정보 변환 벡터를 가상 변이 벡터로 결정하는 것을 특징으로 하는 영상 처리 방법.26. The method of claim 25,
The generating of the virtual vector of the same kind as the vector used in the prediction /
Wherein when the motion prediction / compensation of the current block is performed, only the motion vector exists in the neighboring block, the mutation information transform vector extracted from the depth information is determined as a virtual mutation vector. 제16항에 있어서,
다이렉트 모드에 따라 현재 블록의 예측/보상을 수행하는 경우, 시점 내 다이렉트 모드 또는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택하는 단계
를 더 포함하는 영상 처리 방법.17. The method of claim 16,
A step of selecting one of a direct mode in the in-view mode and a direct mode in the viewpoint when the prediction / compensation of the current block is performed according to the direct mode
Further comprising the steps of: 제29항에 있어서,
상기 시점 내 다이렉트 모드 또는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택하는 단계는,
동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드와 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 비용 함수가 낮은 다이렉트 모드를 선택하는 것을 특징으로 하는 영상 처리 방법.30. The method of claim 29,
Wherein the step of selecting any direct mode among the in-view direct mode or the inter-view direct mode comprises:
A direct mode having a low cost function is selected from a direct mode within a time point at which an image within the same time point is determined as a reference image and a point-to-point direct mode in which an image between points in time is determined as a reference image. 제16항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.A computer-readable recording medium on which a program for executing the method of claim 16 is recorded.
KR1020110015956A 2011-01-20 2011-02-23 Apparatus and method for encoding and decoding motion information and disparity information KR101747434B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/352,795 US20120189060A1 (en) 2011-01-20 2012-01-18 Apparatus and method for encoding and decoding motion information and disparity information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161434606P 2011-01-20 2011-01-20
US61/434,606 2011-01-20

Publications (2)

Publication Number Publication Date
KR20120084629A KR20120084629A (en) 2012-07-30
KR101747434B1 true KR101747434B1 (en) 2017-06-16

Family

ID=46715510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110015956A KR101747434B1 (en) 2011-01-20 2011-02-23 Apparatus and method for encoding and decoding motion information and disparity information

Country Status (1)

Country Link
KR (1) KR101747434B1 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102137266B1 (en) * 2012-09-28 2020-07-23 삼성전자주식회사 Method and apparatus for estimation of motion vector and disparity vector
KR20140048783A (en) * 2012-10-09 2014-04-24 한국전자통신연구원 Method and apparatus for deriving motion information by sharing depth information value
WO2014065547A1 (en) * 2012-10-22 2014-05-01 (주)휴맥스 Method for inducing disparity vector in predicting inter-view motion vector in 3d picture
EP2983367A4 (en) 2013-04-05 2016-11-16 Samsung Electronics Co Ltd Method and apparatus for encoding and decoding video with respect to position of integer pixel
CN105340273B (en) 2013-04-05 2018-09-11 三星电子株式会社 For predicting for the method for the decoded difference vector of cross-layer video and coding method and equipment
WO2014168444A1 (en) * 2013-04-11 2014-10-16 엘지전자 주식회사 Video signal processing method and device
WO2014168445A1 (en) * 2013-04-11 2014-10-16 엘지전자 주식회사 Video signal processing method and device
US10009618B2 (en) 2013-07-12 2018-06-26 Samsung Electronics Co., Ltd. Video encoding method and apparatus therefor using modification vector inducement, video decoding method and apparatus therefor
US10129560B2 (en) 2013-07-18 2018-11-13 Lg Electronics Inc. Method and apparatus for processing video signal
KR101672008B1 (en) * 2013-07-18 2016-11-03 경희대학교 산학협력단 Method And Apparatus For Estimating Disparity Vector
WO2015009091A1 (en) * 2013-07-18 2015-01-22 엘지전자 주식회사 Method and apparatus for processing video signal

Also Published As

Publication number Publication date
KR20120084629A (en) 2012-07-30

Similar Documents

Publication Publication Date Title
KR101747434B1 (en) Apparatus and method for encoding and decoding motion information and disparity information
US20120189060A1 (en) Apparatus and method for encoding and decoding motion information and disparity information
KR101370919B1 (en) A method and apparatus for processing a signal
CN106471807B (en) The coding method of three-dimensional or multi-angle video including visual angle synthesis prediction
KR20120080122A (en) Apparatus and method for encoding and decoding multi-view video based competition
KR101753171B1 (en) Method of simplified view synthesis prediction in 3d video coding
KR101893559B1 (en) Apparatus and method for encoding and decoding multi-view video
CN104412597B (en) The method and device that unified difference vector for 3D Video codings is derived
KR101653118B1 (en) Method for processing one or more videos of a 3d-scene
JP6042536B2 (en) Method and apparatus for inter-view candidate derivation in 3D video coding
CN104429074B (en) Method and apparatus derived from difference vector in 3D Video coding
KR100738867B1 (en) Method for Coding and Inter-view Balanced Disparity Estimation in Multiview Animation Coding/Decoding System
KR20070036611A (en) Method for predicting disparity vector using camera parameter, apparatus for encoding and decoding muti-view image using method thereof, and a recording medium having a program to implement thereof
CN102801995B (en) A kind of multi-view video motion based on template matching and disparity vector prediction method
KR101861497B1 (en) Method and apparatus of camera parameter signaling in 3d video coding
EP2839664A1 (en) Method and apparatus of inter-view sub-partition prediction in 3d video coding
Schwarz et al. Inter-view prediction of motion data in multiview video coding
US9900620B2 (en) Apparatus and method for coding/decoding multi-view image
KR20110136014A (en) Apparatus and method for multi-view depth image coding/decoding
KR101078525B1 (en) Method for coding of multi-view video
US20140301455A1 (en) Encoding/decoding device and method using virtual view synthesis and prediction
KR102133936B1 (en) Apparatus and method for encoding/decoding for 3d video
KR20120084628A (en) Apparatus and method for encoding and decoding multi-view image
KR20130116777A (en) Method and apparatus for estimation of motion vector and disparity vector
KR102020024B1 (en) Apparatus and method for encoding/decoding using virtual view synthesis prediction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant