KR20120084629A - 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법 - Google Patents

움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20120084629A
KR20120084629A KR1020110015956A KR20110015956A KR20120084629A KR 20120084629 A KR20120084629 A KR 20120084629A KR 1020110015956 A KR1020110015956 A KR 1020110015956A KR 20110015956 A KR20110015956 A KR 20110015956A KR 20120084629 A KR20120084629 A KR 20120084629A
Authority
KR
South Korea
Prior art keywords
vector
current block
compensation
prediction
virtual
Prior art date
Application number
KR1020110015956A
Other languages
English (en)
Other versions
KR101747434B1 (ko
Inventor
이진영
위호천
손광훈
김동현
류승철
서정동
Original Assignee
삼성전자주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 연세대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to US13/352,795 priority Critical patent/US20120189060A1/en
Publication of KR20120084629A publication Critical patent/KR20120084629A/ko
Application granted granted Critical
Publication of KR101747434B1 publication Critical patent/KR101747434B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

움직임 정보 및 변이 정보를 부호화/복호화하는 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 주변 블록에서 현재 블록에 대해 수행할 예측/보상과 동일한 종류의 벡터를 추출하고, 상기 추출된 벡터를 이용하여 현재 블록에 대해 예측/보상을 수행할 수 있다.

Description

움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR ENCODING AND DECODING MOTION INFORMATION AND DISPARITY INFORMATION}
본 발명의 일실시예들은 움직임 정보 및 변이 정보를 부호화/복호화하는 영상 처리 장치 및 방법에 관한 것으로, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 이용하여 현재 블록의 예측/보상을 수행하는 장치 및 방법에 관한 것이다.
입체 영상이란 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상을 의미한다. 스테레오 영상의 경우, 좌우 눈에 각각 다른 시점의 영상을 제공하는 반면에, 입체 영상은 관찰자가 보는 시점을 달리할 때마다 다른 방향에서 본 것과 같은 영상을 제공한다. 따라서, 입체 영상을 생성하기 위해서는 여러 시점에서 촬영한 영상들이 필요하다.
입체 영상을 생성하기 위해 여러 시점에서 찍은 영상들은 데이터량이 방대하다. 따라서, 입체 영상을 위해 네트워크 인프라, 지상파 대역폭 등을 고려하면 MPEG-2와 H.264/AVC와 같은 단일시점 비디오 압축(Single-View Video Coding)에 최적화된 부호화 장치를 사용하여 압축더라도 실현이 거의 불가능하다.
다만, 관찰자가 보는 시점마다 찍은 영상들은 서로 관련성이 있기 때문에 중복되는 정보가 많다. 따라서, 시점간 중복성을 제거할 수 있는 다시점 영상에 최적화된 부호화 장치를 이용하면 보다 적은 양의 데이터를 전송할 수 있다.
따라서, 입체 영상을 생성하기 위해 최적화된 다시점 비디오를 부호화하고, 복호화하는 장치가 필요하다. 특히, 움직임 정보와 변이 정보를 효율적으로 부호화하는 방법이 필요하다.
본 발명의 일실시예에 따르면, 영상 처리 장치는 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 벡터 추출부; 및 상기 추출된 벡터를 이용하여 현재 블록의 예측/보상을 수행하는 예측/보상 수행부를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치는 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 가상 벡터 생성부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치는 다이렉트 모드에 따라 현재 블록의 예측/보상을 수행하는 경우, 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드 또는 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택하는 다이렉트 모드 선택부를 더 포함할 수 있다.
본 발명의 일실시예에 따르면, 영상 처리 방법은 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 단계; 및 상기 추출된 벡터를 이용하여 현재 블록의 예측/보상을 수행하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법은 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법은 다이렉트 모드에 따라 현재 블록의 예측/보상을 수행하는 경우, 시점 내 다이렉트 모드 또는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따르면, 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하여 현재 블록을 예측/보상함으로써 보다 효율적으로 움직임 정보와 변이 정보를 부호화할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따른 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 현재 블록을 부호화하기 위해 사용되는 참조 영상의 예시를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 MPEG-MVC의 입력 신호에 기초한 다시점 비디오의 부호화 장치의 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 MPEG-3DV의 입력 신호에 기초한 다시점 비디오의 부호화 장치의 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 MPEG-MVC의 입력 신호에 기초한 다시점 비디오의 복호화 장치의 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 MPEG-3DV의 입력 신호에 기초한 다시점 비디오의 복호화 장치의 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 움직임 및 변이 예측/보상을 위한 벡터를 추출하는 과정을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 깊이 정보로부터 변이 벡터를 생성하는 과정을 도시한 도면이다.
도 10는 본 발명의 일실시예에 따른 시점 내 다이렉트 모드와 시점 간 다이렉트 모드를 선택하는 과정을 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한 블록 다이어그램이다.
도 1을 참고하면, 영상 처리 장치(100)는 벡터 추출부(102) 및 예측/보상 수행부(104)를 포함할 수 있다. 그리고, 영상 처리 장치(100)는 다이렉트 모드 선택부(101)를 더 포함할 수 있다. 또한, 영상 처리 장치(100)는 가상 벡터 생성부(103)를 더 포함할 수 있다. 본 발명의 일실시예에 따른 영상 처리 장치(100)는 움직임 벡터 및 변이 벡터를 부호화하거나 또는 복호화하는 데 적용될 수 있다.
다이렉트 모드 선택부(101)는 다이렉트 모드에 따라 현재 블록의 예측/보상을 수행하는 경우, 시점 내 다이렉트 모드 또는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택할 수 있다.
본 발명의 영상 처리 장치(100)는 움직임 벡터 및 변이 벡터를 부호화할 때 다이렉트 모드 및 인터 모드 (16x16, 16x8, 8x16, P8x8)를 모두 적용하여 다시점 비디오의 부호화 효율을 향상시킬 수 있다. 이 때, 본 발명의 영상 처리 장치(100)는 시점 간 중복성을 효율적으로 제거하기 위해 시점 내 다이렉트 모드와 시점 간 다이렉트 모드를 P-시점과 B-시점에서 사용할 수 있다.
구체적으로, 다이렉트 모드 선택부(101)는 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드 또는 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택할 수 있다. 일례로, 다이렉트 모드 선택부(101)는 RDO(Rate Distortion optimization)에 기초하여 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드와 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 비용 함수가 낮은 다이렉트 모드를 선택할 수 있다. 선택된 다이렉트 모드는 플래그 형태로 전송될 수 있다.
이후의 과정들은 다이렉트 모드 선택부(101)가 선택한 다이렉트 모드에 따라 동일 시점 내의 영상을 참조 영상으로 사용하거나 또는 시점 간의 영상을 참조 영상으로 사용할 수 있다.
벡터 추출부(102)는 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있다. 일례로, 벡터 추출부(102)는 P-시점과 B-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 움직임 벡터를 추출할 수 있다. 그리고, 벡터 추출부(102)는 P-시점과 B-시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 변이 벡터를 추출할 수 있다. 여기서, 주변 블록은 현재 블록과 인접한 블록들을 의미한다.
또한, 벡터 추출부(102)는 I-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록으로부터 거리가 서로 다른 참조 영상들을 이용하여 어느 하나의 움직임 벡터를 추출할 수 있다. 예를 들어, 현재 블록이 위치한 현재 영상으로부터 시간 상 거리가 다른 2개의 참조 영상을 현재 블록의 예측/보상을 수행할 때 사용된다고 가정한다. 여기서, 현재 영상으로부터 시간 상 거리가 가까운 영상을 참조 영상 1이라고 하고, 나머지 영상을 참조 영상 2라고 하자. 그리고, 참조 영상 1에 대응하는 움직임 벡터를 움직임 벡터 1이라고 하고, 참조 영상 2에 대응하는 움직임 벡터를 움직임 벡터 2라고 한다.
그러면, 벡터 추출부(102)는 참조 영상 1을 이용하여 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록들 중 움직임 벡터 1을 추출할 수 있다. 그리고, 벡터 추출부(102)는 참조 영상 2를 이용하여 현재 블록의 움직임 예측/보상을 수행할 때에는 주변 블록들 중 움직임 벡터 2를 추출할 수 있다.
여기서, I-시점은 시점 내에서 예측 부호화할 때 적용된다. 그리고, P-시점은 단방향으로 시점 간 예측 부호화하거나 또는 시간 축으로 예측 부호화할 때 적용된다. 또한, B-시점은 양방향으로 시점 간 예측 부호화하거나 또는 시간 축으로 예측 부호화할 때 적용된다.
본 발명의 일실시예에 따르면, 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 움직임 벡터 및 변이 벡터를 예측함으로써 예측 정확도를 향상시킬 수 있다. 다만, 상황에 따라 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우가 발생할 수 있다. 그러면, 가상 벡터 생성부(103)는 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성할 수 있다. 그러면, 생성된 가상 벡터는 움직임 벡터와 변이 벡터를 예측할 때 사용될 수 있다.
현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우는 3가지로 분류할 수 있다.
첫째로, I-시점에서 움직임 벡터를 예측하는 경우이다. 그러면, 가상 벡터 생성부(103)는 정규화 움직임 벡터를 가상 벡터로 결정할 수 있다. 정규화 움직임 벡터는 현재 영상과 참조 영상과의 거리를 고려하여 움직임 벡터의 크기를 정규화한 것을 의미한다.
일례로, 정규화 움직임 벡터는 수학식 1에 따라 결정될 수 있다.
Figure pat00001
여기서, mvi는 i번째 주변 블록의 움직임 벡터를 의미하고, mvni는 i번째 주변 블록의 정규화 움직임 벡터를 의미한다. 그리고, D1은 현재 영상이 참조하고 있는 참조 영상과 현재 영상과의 거리, D2는 주변 블록이 참조하고 있는 참조 영상과 현재 영상과의 거리를 의미한다. 가상 벡터 생성부(103)는 정규화 움직임 벡터들의 중간값(median)을 가상 벡터로 결정할 수 있다.
둘째로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우이다. 이 경우, 가상 벡터 생성부(103)는 가상 움직임 벡터를 생성할 수 있다. 구체적으로, 가상 벡터 생성부(103)는 시점 내 정보 또는 시점 간 정보를 이용하여 가상 움직임 벡터를 생성할 수 있다.
일례로, 가상 벡터 생성부(103)는 이전 시간의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정할 수 있다. 여기서, 이전 시간의 참조 영상은 이미 부호화된 영상을 의미한다. 다른 일례로, 가상 벡터 생성부(103)는 이웃 시점의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정할 수 있다. 또 다른 일례로, 가상 벡터 생성부(103)는 영(zero) 벡터를 가상 움직임 벡터로 결정할 수 있다.
셋재로, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우이다. 이 경우, 가상 벡터 생성부(103)는 가상 변이 벡터를 생성할 수 있다. 일례로, 가상 벡터 생성부(103)는 시점 내 정보 또는 깊이 정보를 이용하여 가상 변이 벡터를 생성할 수 있다.
일례로, 가상 벡터 생성부(103)는 계층 글로벌 변이 벡터를 가상 변이 벡터로 결정할 수 있다. 구체적으로, 가상 벡터 생성부(103)는 로컬 움직임 정보의 크기에 기초하여 글로벌 움직임 정보의 크기로 분류된 n개의 계층 중 한 개의 계층을 결정하고, 결정된 계층에 대응하는 스케일링 팩터와 앵커(anchor) 프레임의 변이 벡터를 참조하여 논 앵커(non-anchor) 프레임의 가상 변이 벡터를 결정할 수 있다. 예를 들어, MVC(multiview video coding)에서, P-시점과 B-시점의 앵커 프레임의 경우 시점 간 예측 부호화만 수행되기 때문에, 변이 벡터만 존재한다. 가상 벡터 생성부(103)는 글로벌 움직임 정보의 크기와 로컬 움직임 정보의 관계로부터 n개의 계층 중 어느 하나의 계층을 결정한 뒤 그 계층에 속하는 스케일링 팩터(Scaling Factor)를 현재 블록과 동일 위치에 있는 앵커 프레임의 블록의 변이 벡터에 적용한 결과를 가상 변이 벡터로 결정한다.
이 때, n개의 계층 중 하나의 계층을 선택하는 방법은 다음과 같다. 다시점 비디오에서 카메라에 가까운 물체는 카메라에서 멀리 떨어진 물체보다 시점간 변이가 크다. 이러한 가정에 기초하여 가상 벡터 생성부(103)는 글로벌 움직임 정보와 로컬 움직임 정보를 사용하여 n개의 계층 중 어느 하나의 글로벌 변이 벡터를 가상 변이 벡터로 결정할 수 있다.
다른 일례로, 가상 벡터 생성부(103)는 깊이 정보로부터 추출된 변이 정보 변환 벡터를 가상 변이 벡터로 결정할 수 있다. 예를 들어, MPEG-3DV에서 다시점 컬러 비디오와 함께 다시점 깊이 비디오도 함께 사용된다. 그러면, 가상 벡터 생성부(103)는 카메라 파라미터를 이용하여 다시점 깊이 비디오의 깊이 정보로부터 변이 벡터를 계산하여 가상 변이 벡터로 결정할 수 있다.
예측/보상 수행부(104)는 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 이용하여 현재 블록에 대해 움직임 벡터 또는 변이 벡터에 대한 예측/보상을 수행할 수 있다. 그리고, 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 존재하지 않는 경우, 예측/보상 수행부(104)는 가상 벡터 생성부(103)가 생성한 가상 벡터를 이용하여 현재 블록의 예측/보상을 수행할 수 있다.
도 2는 본 발명의 일실시예에 따른 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.
도 2를 참고하면, 3개 시점(Left, Center, Right)의 영상을 입력받았을 때, GOP(Group of Picture) '8'로 부호화하는 다시점 비디오 부호화 방식(Multiview Video Coding)을 나타낸다. 다시점(Multi-view) 영상을 부호화기 위해서는 기본적으로 시간(Temporal)축과 시점(View)축으로 계층적 B 영상(Hierarchical B Picture)을 적용하기 때문에 영상 간의 중복성(Redundancy)을 줄일 수 있다.
도 2에 도시된 다시점 비디오의 구조에 따라 다시점 비디오 부호화 장치(101)는 좌측 영상(Left Picture: I-view)을 먼저 부호화하고 우측 영상(Right Picture: P-view)과 중앙 영상(Center Picture: B-view)를 차례대로 부호화함으로써 3개 시점에 대응하는 영상을 부호화할 수 있다.
이 때, 좌측 영상은 움직임 추정(Motion Estimation)을 통해 이전 영상들로부터 비슷한 영역을 검색함으로써 시간적 중복성(Temporal Redundancy)이 제거되는 방식으로 부호화될 수 있다. 그리고, 우측 영상은 이미 부호화된 좌측 영상을 참조 영상으로 사용하여 부호화되기 때문에, 움직임 추정에 기초한 시간적 중복성과 변이 추정(Disparity Estimation)에 기초한 시점 간 중복성(View Redundancy)이 제거되는 방식으로 부호화될 수 있다. 또한, 중앙 영상은 이미 부호화된 좌측 영상과 우측 영상을 모두 참조 영상으로 이용하여 부호화되기 때문에, 양방향으로의 변이 추정에 따라 시점 간 중복성이 제거될 수 있다.
도 2를 참고하면, 다시점 비디오 부호화 방식에서, 좌측 영상과 같이 다른 시점의 참조 영상을 이용하지 않고 부호화되는 영상은 I-View, 우측 영상과 같이 다른 시점의 참조 영상을 단방향으로 예측하여 부호화하는 영상은 P-View, 중앙 영상과 같이 좌우 시점의 참조 영상을 양방향으로 예측하여 부호화하는 영상은 B-View이라고 정의된다.
MVC의 프레임은 예측 구조에 따라 크게 6가지 그룹으로 분류된다. 구체적으로, 6가지 그룹은 인트라 부호화를 위한 I-시점 Anchor 프레임, 시간축간 인터 부호화를 위한 I-시점 Non-anchor 프레임, 시점간 단방향 인터 부호화를 위한 P-시점 Anchor 프레임, 시점간 단방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 P-시점 Non-anchor 프레임, 시점간 양방향 인터 부호화를 위한 B-시점 Anchor 프레임 및 시점간 양방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 B-시점 Non-anchor 프레임으로 분류될 수 있다.
도 3은 본 발명의 일실시예에 따른 현재 블록을 부호화하기 위해 사용되는 참조 영상의 예시를 도시한 도면이다.
영상 처리 장치(100)는 현재 영상(301)인 현재 프레임에 위치한 현재 블록을 압축할 때 현재 프레임에 대해 시간상 주변에 위치한 참조 영상(302, 303)과 시점상 주변에 위치한 참조 영상(304, 305)을 이용할 수 있다. 구체적으로, 영상 처리 장치(100)는 참조 영상(302~305)에서 현재 블록과 가장 유사한 예측 블록을 탐색하여 현재 블록과 예측 블록 간의 잔차 신호(residue)를 압축할 수 있다. 이와 같이, 참조 영상을 이용하여 예측 블록을 탐색하는 압축 모드는 SKIP(P Slice Only)/Direct(B Slice Only), 16x16, 16x8, 8x16, P8x8 모드들을 포함할 수 있다.
영상 처리 장치(100)는 움직임 정보를 탐색하기 위해 Ref1 영상(302)과 Ref2 영상(303)을 이용할 수 있고, 변이 정보를 탐색하기 위해 Ref3 영상(304)과 Ref4 영상(305)을 이용할 수 있다.
도 4는 본 발명의 일실시예에 따른 MPEG-MVC의 입력 신호에 기초한 다시점 비디오의 부호화 장치의 일례를 도시한 도면이다.
도 1의 영상 처리 장치(100)는 도 4에서 영상 처리 장치(402)에 대응한다. 도 4를 참고하면, 부호화 장치는 모드 선택부(401)를 통해 컬러 비디오에 대한 부호화 모드를 선택할 수 있다. 이 때, 부호화 모드가 다이렉트 모드인 경우, 모드 선택부(401)는 시점 간 다이렉트 모드 또는 시점 내 다이렉트 모드 중 어느 하나를 선택할 수 있다. 부호화 모드에 따라 영상 처리 장치(402)는 화면 내 예측(403)을 수행할 수 있다.
영상 처리 장치(402)는 참조 픽터 저장 버퍼(407)에 저장된 시간 축 상의 참조 영상으로부터 현재 영상의 현재 블록에 대한 움직임 예측/보상(404)을 수행할 수 있다. 그리고, 영상 처리 장치(402)는 타시점 참조 픽처 저장 버퍼(408)에 저장된 시점 축 상의 참조 영상을 이용하여 현재 영상의 현재 블록에 대한 변이 예측/보상(405)을 수행할 수 있다. 이 때, 영상 처리 장치(402)는 앵커 픽처 변이 정보 저장 버퍼(406)에 저장된 변이 벡터를 활용할 수 있다.
본 발명의 일실시예에 따르면, 영상 처리 장치(402)는 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있다. 즉, P-시점과 B-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 영상 처리 장치(402)는 현재 블록의 주변 블록에서 움직임 벡터를 추출하고, P-시점과 B-시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 영상 처리 장치(402)는 현재 블록의 주변 블록에서 변이 벡터를 추출할 수 있다. 그러면, 영상 처리 장치(402)는 추출한 움직임 벡터 또는 변이 벡터를 이용하여 움직임 예측/보상 또는 변이 예측/보상을 수행할 수 있다.
만약, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우 영상 처리 장치(402)는 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성할 수 있다. 구체적으로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영상 처리 장치(402)는 가상 움직임 벡터를 생성할 수 있다. 그리고, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(402)는 가상 변이 벡터를 생성할 수 있다. 그러면, 영상 처리 장치(402)는 생성된 가상 벡터를 이용하여 움직임 예측/보상 또는 변이 예측/보상을 수행할 수 있다.
도 5는 본 발명의 일실시예에 따른 MPEG-3DV의 입력 신호에 기초한 다시점 비디오의 부호화 장치의 일례를 도시한 도면이다.
도 5를 참고하면, 도 4와 비교했을 때 카메라 파라미터(501)가 추가된다. 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(502)는 깊이 정보(507)로부터 변이 정보 변환(506)을 수행할 때 카메라 파라미터(501)를 이용할 수 있다. 영상 처리 장치(502)의 동작에 대해서는 이미 도 4에서 설명하였으므로, 구체적인 설명은 생략하기로 한다.
도 6은 본 발명의 일실시예에 따른 MPEG-MVC의 입력 신호에 기초한 다시점 비디오의 복호화 장치의 일례를 도시한 도면이다.
도 1의 영상 처리 장치(100)는 도 6에서 영상 처리 장치(602)에 대응한다. 도 6을 참고하면, 복호화 장치는 모드 선택부(601)를 통해 컬러 비디오에 대한 복호화 모드를 선택할 수 있다. 이 때, 복호화 모드가 다이렉트 모드인 경우, 모드 선택부(601)는 시점 간 다이렉트 모드 또는 시점 내 다이렉트 모드 중 어느 하나를 선택할 수 있다. 복호화 모드에 따라 영상 처리 장치(602)는 화면 내 예측(603)을 수행할 수 있다.
영상 처리 장치(602)는 참조 픽터 저장 버퍼(607)에 저장된 시간 축 상의 참조 영상으로부터 현재 영상의 현재 블록에 대한 움직임 예측/보상(604)을 수행할 수 있다. 그리고, 영상 처리 장치(602)는 타시점 참조 픽처 저장 버퍼(608)에 저장된 시점 축 상의 참조 영상을 이용하여 현재 영상의 현재 블록에 대한 변이 예측/보상(605)을 수행할 수 있다. 이 때, 영상 처리 장치(602)는 앵커 픽처 변이 정보 저장 버퍼(606)에 저장된 변이 벡터를 활용할 수 있다.
본 발명의 일실시예에 따르면, 영상 처리 장치(602)는 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있다. 즉, P-시점과 B-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 영상 처리 장치(602)는 현재 블록의 주변 블록에서 움직임 벡터를 추출하고, P-시점과 B-시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 영상 처리 장치(602)는 현재 블록의 주변 블록에서 변이 벡터를 추출할 수 있다. 그러면, 영상 처리 장치(602)는 추출한 움직임 벡터 또는 변이 벡터를 이용하여 움직임 예측/보상 또는 변이 예측/보상을 수행할 수 있다.
만약, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우 영상 처리 장치(602)는 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성할 수 있다. 구체적으로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영상 처리 장치(602)는 가상 움직임 벡터를 생성하고, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(602)는 가상 변이 벡터를 생성할 수 있다. 그러면, 영상 처리 장치(602)는 생성된 가상 벡터를 이용하여 움직임 예측/보상 또는 변이 예측/보상을 수행할 수 있다.
도 7은 본 발명의 일실시예에 따른 MPEG-3DV의 입력 신호에 기초한 다시점 비디오의 복호화 장치의 일례를 도시한 도면이다.
도 7을 참고하면, 도 6과 비교했을 때 카메라 파라미터(710)가 추가된다. 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(702)는 깊이 정보(707)로부터 변이 정보 변환(706)을 수행할 때 카메라 파라미터(710)를 이용할 수 있다. 영상 처리 장치(702)의 동작에 대해서는 이미 도 6에서 설명하였으므로, 구체적인 설명은 생략하기로 한다.
도 8은 본 발명의 일실시예에 따른 움직임 및 변이 예측/보상을 위한 벡터를 추출하는 과정을 도시한 도면이다.
단계(801)에서, 영상 처리 장치(806)는 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있는 지 여부를 판단할 수 있다. 만약, 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있다면, 단계(802)에서, 영상 처리 장치(806)는 추출한 움직임 벡터들의 중간값(median)인 MVp 또는 변이 벡터들의 중간값(median)인 DVp를 계산한 후, 단계(807)에서 계산된 MVp 또는 DVp를 이용하여 움직임 추정 및 변이 추정을 할 수 있다.
만약, 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 없다면, 단계(803)에서 영상 처리 장치(806)는 I-시점에 대해 정규화 움직임 벡터들의 중간값인 MVp를 계산할 수 있다. 그런 후, 단계(807)에서 영상 처리 장치(806)는 계산된 MVp 또는 DVp를 이용하여 움직임 추정 및 변이 추정을 할 수 있다.
그리고, 단계(804)에서 영상 처리 장치(806)는 P-시점 및 B-시점에 대해 움직임 추정을 위한 가상 움직임 벡터인 MVp를 계산할 수 있다. 그리고, 단계(805)에서 영상 처리 장치(806)는 P-시점 및 B-시점에 대해 변이 추정을 위한 가상 변이 벡터인 MVp를 계산할 수 있다.
도 9는 본 발명의 일실시예에 따른 깊이 정보로부터 변이 벡터를 생성하는 과정을 도시한 도면이다.
도 9를 참고하면, 영상 처리 장치(100)는 오브젝트(901)에 대해 현재 시점의 점(xc,yc)을 수학식 2에 따라 World 좌표계(u,v,z)로 투영한다.
Figure pat00002
수학식 2에서 A(c)는 내부(intrinsic) 카메라 행렬, R(c)는 카메라(902, 903)의 회전(rotation) 행렬, T(c)는 카메라(902, 903)의 이동(translation) 행렬, 그리고 D는 깊이 정보를 나타낸다.
그리고, 영상 처리 장치(100)는 World 좌표계(u,v,z)를 수학식 3에 따라 참조 영상의 좌표계(xr,yr)로 투영한다.
Figure pat00003
수학식 3에서 (xr,yr)은 참조 영상의 대응 점, zr은 참조 시점에서의 깊이를 나타낸다.
이 후, 영상 처리 장치(100)는 수학식 4에 따라 변이 벡터(dx,dy)를 계산한다.
Figure pat00004
영상 처리 장치(100)는 수학식 4에서 계산된 변이 벡터(dx,dy)를 가상 변이 벡터로 사용한다.
도 10는 본 발명의 일실시예에 따른 시점 내 다이렉트 모드와 시점 간 다이렉트 모드를 선택하는 과정을 도시한 도면이다.
영상 처리 장치(100)는 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드 또는 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택할 수 있다. 일례로, 다이렉트 모드 선택부(101)는 RDO(Rate Distortion optimization)에 따라 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드와 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 비용 함수가 낮은 다이렉트 모드를 선택할 수 있다. 선택된 다이렉트 모드는 플래그 형태로 전송될 수 있다.
비용 함수는 수학식 5에 따라 계산될 수 있다.
Figure pat00005
SD(Sum of Square Difference)는 현재 영상의 현재 블록(s)과 예측 블록(r)의 차분 값들을 제곱한 값이고, λ은 라그랑지안 계수이다. R은 해당 부호화 모드(mode)로 현재 영상과 이전 영상들로부터 움직임 혹은 변이 탐색으로 예측된 영상의 차분으로 얻어진 신호를 부호화 했을 때 필요한 비트수이다.
이후의 과정들은 다이렉트 모드 선택부(101)가 선택한 다이렉트 모드에 따라 동일 시점 내의 영상을 참조 영상으로 사용하거나 또는 시점 간의 영상을 참조 영상으로 사용할 수 있다.
도 11은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 플로우차트이다.
단계(S1101)에서, 영상 처리 장치(100)는 시점 내 다이렉트 모드 또는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택할 수 있다. 일례로, 영상 처리 장치(100)는 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드와 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 비용 함수가 낮은 다이렉트 모드를 선택할 수 있다.
단계(S1102)에서, 영상 처리 장치(100)는 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 있다. 일례로, 영상 처리 장치(100)는 P-시점과 B시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 움직임 벡터를 추출하고, P-시점과 B시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 변이 벡터를 추출할 수 있다.
단계(S1103)에서, 영상 처리 장치(100)는 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출할 수 없다면, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성할 수 있다. 일례로, 영상 처리 장치(100)는 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 가상 움직임 벡터를 생성할 수 있다. 그리고, 영상 처리 장치(100)는 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 가상 변이 벡터를 생성할 수 있다.
구체적으로, 영상 처리 장치(100)는 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 시점 내 정보 또는 시점 간 정보를 이용하여 가상 움직임 벡터를 생성할 수 있다.
일례로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영상 처리 장치(100)는 이전 시간의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정할 수 있다. 다른 일례로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영상 처리 장치(100)는 이웃 시점의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정할 수 있다. 또 다른 일례로, 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영상 처리 장치(100)는 영(zero) 벡터를 가상 움직임 벡터로 결정할 수 있다.
그리고, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(100)는 시점 내 정보 또는 깊이 정보를 이용하여 가상 변이 벡터를 생성할 수 있다. 일례로, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(100)는 계층 글로벌 변이 벡터를 가상 변이 벡터로 결정할 수 있다.
구체적으로, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(100)는 로컬 움직임 정보의 크기에 기초하여 글로벌 움직임 정보의 크기로 분류된 n개의 계층 중 한 개의 계층을 결정하고, 그 계층에 대응하는 스케일링 팩터(Scaling Factor)와 앵커(anchor) 프레임의 변이 벡터를 참조하여 논 앵커(non-anchor) 프레임의 가상 변이 벡터를 결정할 수 있다. 각각의 계층은 스케일링 팩터를 정의하고 있다.
다른 일례로, 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 영상 처리 장치(100)는 깊이 정보로부터 추출된 변이 정보 변환 벡터를 가상 변이 벡터로 결정할 수 있다.
단계(S1104)에서, 영상 처리 장치(100)는 현재 블록의 예측/보상을 수행할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
101: 다이렉트 모드 선택부
102: 벡터 추출부
103: 가상 벡터 생성부
104: 예측/보상 수행부

Claims (31)

  1. 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 벡터 추출부; 및
    상기 추출된 벡터를 이용하여 현재 블록의 예측/보상을 수행하는 예측/보상 수행부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 벡터 추출부는,
    P-시점과 B-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 움직임 벡터를 추출하고,
    P-시점과 B-시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 변이 벡터를 추출하는 것을 특징으로 하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 벡터 추출부는,
    I-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록으로부터 거리가 서로 다른 참조 영상들을 이용하여 움직임 벡터를 추출하는 것을 특징으로 하는 영상 처리 장치.
  4. 제1항에 있어서,
    현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 가상 벡터 생성부
    를 더 포함하는 영상 처리 장치.
  5. 제4항에 있어서,
    상기 가상 벡터 생성부는,
    상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 가상 움직임 벡터를 생성하고,
    상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 가상 변이 벡터를 생성하는 것을 특징으로 하는 영상 처리 장치.
  6. 제5항에 있어서,
    상기 가상 벡터 생성부는,
    상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 시점 내 정보 또는 시점 간 정보를 이용하여 가상 움직임 벡터를 생성하는 것을 특징으로 하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 가상 벡터 생성부는,
    상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 이전 시간의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 장치.
  8. 제6항에 있어서,
    상기 가상 벡터 생성부는,
    상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 이웃 시점의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 장치.
  9. 제6항에 있어서,
    상기 가상 벡터 생성부는,
    상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영(zero) 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 장치.
  10. 제5항에 있어서,
    상기 가상 벡터 생성부는,
    상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 시점 내 정보 또는 깊이 정보를 이용하여 가상 변이 벡터를 생성하는 것을 특징으로 하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 가상 벡터 생성부는,
    상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 계층 글로벌 변이 벡터를 가상 변이 벡터로 결정하는 것을 특징으로 하는 영상 처리 장치.
  12. 제11항에 있어서,
    상기 가상 벡터 생성부는,
    상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 로컬 움직임 정보의 크기에 기초하여 글로벌 움직임 정보의 크기로 분류된 n개의 계층 중 한 개의 계층을 결정하고, 결정된 계층에 대응하는 스케일링 팩터와 앵커(anchor) 프레임의 변이 벡터를 참조하여 논 앵커(non-anchor) 프레임의 가상 변이 벡터를 결정하는 것을 특징으로 하는 영상 처리 장치.
  13. 제10항에 있어서,
    상기 가상 벡터 생성부는,
    상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 깊이 정보로부터 추출된 변이 정보 변환 벡터를 가상 변이 벡터로 결정하는 것을 특징으로 하는 영상 처리 장치.
  14. 제1항에 있어서,
    다이렉트 모드에 따라 현재 블록의 예측/보상을 수행하는 경우, 동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드 또는 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택하는 다이렉트 모드 선택부
    를 더 포함하는 영상 처리 장치.
  15. 제14항에 있어서,
    상기 다이렉트 모드 선택부는,
    시점 내 다이렉트 모드와 시점 간 다이렉트 모드 중 비용 함수가 낮은 다이렉트 모드를 선택하는 것을 특징으로 하는 영상 처리 장치.
  16. 현재 블록의 주변 블록에서 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 단계; 및
    상기 추출된 벡터를 이용하여 현재 블록의 예측/보상을 수행하는 단계
    를 포함하는 영상 처리 방법.
  17. 제16항에 있어서,
    상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 단계는,
    P-시점과 B-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 움직임 벡터를 추출하는 단계; 또는
    P-시점과 B-시점에서 현재 블록의 변이 예측/보상을 수행하는 경우, 현재 블록의 주변 블록에서 변이 벡터를 추출하는 단계
    를 포함하는 영상 처리 방법.
  18. 제16항에 있어서,
    상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터를 추출하는 단계는,
    I-시점에서 현재 블록의 움직임 예측/보상을 수행하는 경우, 현재 블록으로부터 거리가 서로 다른 참조 영상들을 이용하여 움직임 벡터를 추출하는 것을 특징으로 하는 영상 처리 방법.
  19. 제16항에 있어서,
    현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 벡터가 주변 블록에 존재하지 않는 경우, 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계
    를 더 포함하는 영상 처리 방법.
  20. 제19항에 있어서,
    상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
    상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 가상 움직임 벡터를 생성하는 단계; 또는
    상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 가상 변이 벡터를 생성하는 단계
    를 포함하는 영상 처리 방법.
  21. 제20항에 있어서,
    상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
    상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 시점 내 정보 또는 시점 간 정보를 이용하여 가상 움직임 벡터를 생성하는 것을 특징으로 하는 영상 처리 방법.
  22. 제21항에 있어서,
    상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
    상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 이전 시간의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 방법.
  23. 제21항에 있어서,
    상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
    상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 이웃 시점의 참조 영상에서 현재 블록과 동일한 위치에 대응하는 블록의 움직임 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 방법.
  24. 제21항에 있어서,
    상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
    상기 현재 블록의 움직임 예측/보상을 수행할 때 주변 블록에 변이 벡터만 존재하는 경우, 영(zero) 벡터를 가상 움직임 벡터로 결정하는 것을 특징으로 하는 영상 처리 방법.
  25. 제20항에 있어서,
    상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
    상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 시점 내 정보 또는 깊이 정보를 이용하여 가상 변이 벡터를 생성하는 것을 특징으로 하는 영상 처리 방법.
  26. 제25항에 있어서,
    상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
    상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 계층 글로벌 변이 벡터를 가상 변이 벡터로 결정하는 것을 특징으로 하는 영상 처리 방법.
  27. 제26항에 있어서,
    상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
    상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 로컬 움직임 정보의 크기에 기초하여 글로벌 움직임 정보의 크기로 분류된 n개의 계층 중 한 개의 계층을 결정하고, 결정된 계층에 대응하는 스케일링 팩터와 앵커(anchor) 프레임의 변이 벡터를 참조하여 논 앵커(non-anchor) 프레임의 가상 변이 벡터를 결정하는 것을 특징으로 하는 영상 처리 방법.
  28. 제25항에 있어서,
    상기 현재 블록의 예측/보상을 수행할 때 사용하는 벡터와 동일한 종류의 가상 벡터를 생성하는 단계는,
    상기 현재 블록의 변이 예측/보상을 수행할 때 주변 블록에 움직임 벡터만 존재하는 경우, 깊이 정보로부터 추출된 변이 정보 변환 벡터를 가상 변이 벡터로 결정하는 것을 특징으로 하는 영상 처리 방법.
  29. 제16항에 있어서,
    다이렉트 모드에 따라 현재 블록의 예측/보상을 수행하는 경우, 시점 내 다이렉트 모드 또는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택하는 단계
    를 더 포함하는 영상 처리 방법.
  30. 제29항에 있어서,
    상기 시점 내 다이렉트 모드 또는 시점 간 다이렉트 모드 중 어느 하나의 다이렉트 모드를 선택하는 단계는,
    동일 시점 내의 영상을 참조 영상으로 결정하는 시점 내 다이렉트 모드와 시점 간의 영상을 참조 영상으로 결정하는 시점 간 다이렉트 모드 중 비용 함수가 낮은 다이렉트 모드를 선택하는 것을 특징으로 하는 영상 처리 방법.
  31. 제16항 내지 제30항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020110015956A 2011-01-20 2011-02-23 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법 KR101747434B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/352,795 US20120189060A1 (en) 2011-01-20 2012-01-18 Apparatus and method for encoding and decoding motion information and disparity information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161434606P 2011-01-20 2011-01-20
US61/434,606 2011-01-20

Publications (2)

Publication Number Publication Date
KR20120084629A true KR20120084629A (ko) 2012-07-30
KR101747434B1 KR101747434B1 (ko) 2017-06-16

Family

ID=46715510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110015956A KR101747434B1 (ko) 2011-01-20 2011-02-23 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101747434B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140043032A (ko) * 2012-09-28 2014-04-08 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
WO2014058216A1 (ko) * 2012-10-09 2014-04-17 한국전자통신연구원 비디오 데이터 디코딩 방법 및 비디오 데이터 디코딩 장치
WO2014065547A1 (ko) * 2012-10-22 2014-05-01 (주)휴맥스 3차원 영상의 뷰간(inter-view) 움직임 벡터 예측에서의 변이 벡터 유도 방법
WO2014163466A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 정수 픽셀의 위치와 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
WO2014163459A1 (ko) * 2013-04-05 2014-10-09 삼성전자주식회사 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 디스패리티 벡터 예측 방법
WO2014168445A1 (ko) * 2013-04-11 2014-10-16 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2014168444A1 (ko) * 2013-04-11 2014-10-16 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2015009091A1 (ko) * 2013-07-18 2015-01-22 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2015009092A1 (ko) * 2013-07-18 2015-01-22 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR20150010631A (ko) * 2013-07-18 2015-01-28 경희대학교 산학협력단 변이 벡터 예측 방법 및 장치
KR20150087207A (ko) * 2013-07-12 2015-07-29 삼성전자주식회사 변이 벡터 유도를 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140043032A (ko) * 2012-09-28 2014-04-08 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
WO2014058216A1 (ko) * 2012-10-09 2014-04-17 한국전자통신연구원 비디오 데이터 디코딩 방법 및 비디오 데이터 디코딩 장치
US10368100B2 (en) 2012-10-09 2019-07-30 Electronics And Telecommunications Research Institute Video data decoding method and video data decoding apparatus
US10034020B2 (en) 2012-10-09 2018-07-24 Electronics And Telecommunications Research Institute Video data decoding method and video data decoding apparatus
WO2014065547A1 (ko) * 2012-10-22 2014-05-01 (주)휴맥스 3차원 영상의 뷰간(inter-view) 움직임 벡터 예측에서의 변이 벡터 유도 방법
US9894377B2 (en) 2013-04-05 2018-02-13 Samsung Electronics Co., Ltd. Method for predicting disparity vector for interlayer video decoding and encoding apparatus and method
WO2014163466A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 정수 픽셀의 위치와 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
WO2014163459A1 (ko) * 2013-04-05 2014-10-09 삼성전자주식회사 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 디스패리티 벡터 예측 방법
US10469866B2 (en) 2013-04-05 2019-11-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video with respect to position of integer pixel
KR20140122201A (ko) * 2013-04-05 2014-10-17 삼성전자주식회사 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 디스패리티 벡터 예측 방법
WO2014168445A1 (ko) * 2013-04-11 2014-10-16 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN105122813A (zh) * 2013-04-11 2015-12-02 Lg电子株式会社 视频信号处理方法和设备
US10080030B2 (en) 2013-04-11 2018-09-18 Lg Electronics Inc. Video signal processing method and device
CN105122813B (zh) * 2013-04-11 2019-02-19 Lg电子株式会社 视频信号处理方法和设备
WO2014168444A1 (ko) * 2013-04-11 2014-10-16 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR20150087207A (ko) * 2013-07-12 2015-07-29 삼성전자주식회사 변이 벡터 유도를 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10009618B2 (en) 2013-07-12 2018-06-26 Samsung Electronics Co., Ltd. Video encoding method and apparatus therefor using modification vector inducement, video decoding method and apparatus therefor
KR20150010631A (ko) * 2013-07-18 2015-01-28 경희대학교 산학협력단 변이 벡터 예측 방법 및 장치
WO2015009092A1 (ko) * 2013-07-18 2015-01-22 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US10129560B2 (en) 2013-07-18 2018-11-13 Lg Electronics Inc. Method and apparatus for processing video signal
WO2015009091A1 (ko) * 2013-07-18 2015-01-22 엘지전자 주식회사 비디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
KR101747434B1 (ko) 2017-06-16

Similar Documents

Publication Publication Date Title
JP7248741B2 (ja) デプスマップの推定および更新を用いる効率的なマルチビュー符号化
KR101747434B1 (ko) 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
KR101370919B1 (ko) 신호처리방법 및 장치
KR101276720B1 (ko) 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101753171B1 (ko) 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법
US20120189060A1 (en) Apparatus and method for encoding and decoding motion information and disparity information
KR20120080122A (ko) 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
JP5976197B2 (ja) ３ｄシーンの１以上のビデオを処理する方法
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
KR101893559B1 (ko) 다시점 비디오 부호화/복호화 장치 및 방법
KR20120000485A (ko) 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
JP6042556B2 (ja) ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
US20150365649A1 (en) Method and Apparatus of Disparity Vector Derivation in 3D Video Coding
JP2015525997A (ja) ３ｄビデオ符号化におけるビュー間候補導出の方法と装置
JP2016513925A (ja) ３ｄビデオ符号化におけるビュー合成予測の方法と装置
Schwarz et al. Inter-view prediction of motion data in multiview video coding
JP4786585B2 (ja) 多視点映像符号化装置
US9900620B2 (en) Apparatus and method for coding/decoding multi-view image
US20140301455A1 (en) Encoding/decoding device and method using virtual view synthesis and prediction
KR20120084628A (ko) 다시점 영상 부호화／복호화 장치 및 방법
KR20110075568A (ko) 다중시점 영상의 부호화 방법
KR20130116777A (ko) 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
KR102020024B1 (ko) 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법
CN105144714A (zh) 三维视频编码的视差向量推导的方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant