KR20130116777A - 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치 - Google Patents

움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20130116777A
KR20130116777A KR1020120074189A KR20120074189A KR20130116777A KR 20130116777 A KR20130116777 A KR 20130116777A KR 1020120074189 A KR1020120074189 A KR 1020120074189A KR 20120074189 A KR20120074189 A KR 20120074189A KR 20130116777 A KR20130116777 A KR 20130116777A
Authority
KR
South Korea
Prior art keywords
block
current block
vector
depth
disparity vector
Prior art date
Application number
KR1020120074189A
Other languages
English (en)
Inventor
이진영
이재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/856,669 priority Critical patent/US20130271567A1/en
Publication of KR20130116777A publication Critical patent/KR20130116777A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치가 개시된다. 변이 벡터를 예측하는 영상 처리 방법은 코딩하고자 하는 컬러 영상의 현재 블록에 대해 주변 블록의 변이 벡터를 추출하는 단계; 및 상기 주변 블록의 변이 벡터를 이용하여 현재 블록의 변이 벡터를 예측할 수 있다.

Description

움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치{METHOD AND APPARATUS FOR ESTIMATION OF MOTION VECTOR AND DISPARITY VECTOR}
일실시예들은 3차원 비디오의 효율적인 압축 및 복원을 위한 것으로, 보다 구체적으로는 컬러 영상에 대응하는 깊이 영상을 이용하여 움직임 벡터와 변이 벡터를 예측하는 방법 및 장치에 관한 것이다.
입체 영상이란 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상을 의미한다. 스테레오 영상의 경우, 좌우 눈에 각각 다른 시점의 영상을 제공하는 반면에, 입체 영상은 관찰자가 보는 시점을 달리할 때마다 다른 방향에서 본 것과 같은 영상을 제공한다. 따라서, 입체 영상을 생성하기 위해서는 여러 시점에서 촬영한 영상들이 필요하다.
입체 영상을 생성하기 위해 여러 시점에서 찍은 영상들은 데이터량이 방대하다. 따라서, 입체 영상을 위해 네트워크 인프라, 지상파 대역폭 등을 고려하면 MPEG-2, H.264/AVC, 그리고 HEVC 등과 같은 단일시점 비디오 압축(Single-View Video Coding)에 최적화된 부호화 장치를 사용하여 압축하더라도 실현이 거의 불가능하다.
따라서, 입체 영상을 생성하기 위해 최적화된 다시점 영상 부호화 장치가 요구된다. 특히, 시간 및 시점 간의 중복성을 효율적으로 감소시키기 위한 기술 개발이 필요하다.
제1 일실시예에 따른 영상 처리 방법은 코딩하고자 하는 컬러 영상의 현재 블록에 대해 적어도 하나의 주변 블록들의 움직임 벡터를 추출하는 단계; 및 상기 주변 블록들의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 예측하는 단계를 포함할 수 있다.
제2 일실시예에 따른 영상 처리 방법은 코딩하고자 하는 컬러 영상의 현재 블록에 대해 주변 블록의 변이 벡터를 추출하는 단계; 및 상기 주변 블록의 변이 벡터를 이용하여 현재 블록의 변이 벡터를 예측하는 단계를 포함할 수 있다.
제3 실시예에 따른 영상 처리 방법은 코딩하고자 하는 컬러 영상의 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별하는 단계; 및 상기 깊이 영상의 대응 블록에서 가장 큰 깊이값을 변이 벡터로 전환하여 상기 현재 블록의 변이 벡터를 예측하는 단계를 포함할 수 있다.
제4 실시예에 따른 영상 처리 방법은 컬러 영상의 현재 블록의 적어도 하나의 주변 블록 및 상기 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별하는 단계; 상기 적어도 하나의 주변 블록과 대응 블록을 이용하여 상기 현재 블록의 스킵 모드 또는 다이렉트 모드에 대한 최종 벡터를 결정하는 단계; 및 상기 현재 블록의 최종 벡터를 이용하여 상기 현재 블록을 스킵 모드 또는 다이렉트 모드로 코딩하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 부호화 장치와 복호화 장치의 동작을 설명하기 위한 도면이다.
도 2는 제1 실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 3은 제2 실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 4는 제3 실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 5는 제4 실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 6은 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.
도 7은 일실시예에 따라 현재 블록을 코딩할 때 사용되는 참조 영상을 도시한 도면이다.
도 8은 일실시에에 따른 부호화 장치의 동작을 상세하게 설명하기 위한 도면이다.
도 9는 일실시예에 따른 복호화 장치의 동작을 상세하게 설명하기 위한 도면이다.
도 10은 일실시예에 따라 현재 블록의 움직임 벡터를 예측하는 과정을 도시한 도면이다.
도 11은 일실시예에 따라 현재 블록의 변이 벡터를 예측하는 과정을 도시한 도면이다.
도 12는 일실시예에 따라 현재 블록의 스킵 모드 및 다이렉트 모드에 대한 최종 벡터를 결정하는 과정을 도시한 도면이다.
도 13은 일실시예에 따라 깊이 영상을 추정하는 과정을 도시한 도면이다.
도 14는 제1 실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 15는 제2 실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 16은 제3 실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 17은 제4 실시예에 따른 영상 처리 방법을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 특히, 일실시예나 특허청구범위에 기재된 용어들은 다음과 같이 정의된다.
(1) 현재 블록(Current Color Block): 부호화 또는 복호화하고자 하는 컬러 영상의 블록을 의미한다.
(2) 현재 블록에 대응하는 깊이 영상(Corresponding Depth Map): 현재 블록이 포함된 컬러 영상에 대응하는 깊이 영상을 의미한다. 구체적으로, 컬러 영상과 깊이 영상의 크기(해상도)는 서로 동일하거나 또는 다를 수 있다. 만약 현재 블록에 대응하는 깊이 영상과 현재 블록이 포함된 컬러 영상의 크기(해상도)가 다를 경우, 깊이 영상은 컬러 영상의 크기(해상도)에 맞게 변환될 수 있다. 만약 해당 깊이 영상과 컬러 영상의 크기를 맞게 변환시키는 과정이 없다면, 현재 블록을 포함하는 칼러 영상과 현재 블록에 대응하는 깊이 영상의 크기는 다를 수 있다.
(3) 주변 블록(Neighboring Block around the current block): 현재 블록에 이웃하는 부호화되었거나 또는 복호화된 적어도 하나의 블록들로, 실시예에 따라 현재 블록의 상단, 현재 블록의 우측 상단 현재 블록의 좌측, 또는 현재 블록의 좌측 상단에 위치할 수 있다.
(4) 대응 블록(Colocated Depth Block in the corresponding depth map): 현재 블록에 대응하는 깊이 영상에 포함된 깊이 영상 블록을 의미한다. 만약, 현재 블록을 포함하는 칼러 영상과 대응 블록을 포함하는 깊이 영상의 크기가 다르면, 현재 블록과 대응 블록의 크기는 서로 다를 수 있다.
(5) 보상 블록(Compensated Block based on motion vector or disparity vector): 깊이 영상에서 대응 블록을 기준으로 주변 블록이 움직임 벡터 또는 변이 벡터가 가리키는 위치에 대응하는 깊이 영상 블록을 의미한다. 만약, 현재 블록을 포함하는 칼러 영상과 보상 블록을 포함하는 깊이 영상의 크기가 다르면, 현재 블록과 보상 블록의 크기는 서로 다를 수 있다.
(6) 추정된 깊이 영상(Estimated Depth Map): 현재 블록이 포함된 컬러 영상에 대응하는 깊이 영상이 존재하지 않을 때, 주변 컬러 영상 또는 주변 깊이 영상을 이용하여 추정되는 깊이 영상을 의미한다. 만약, 주변 칼러 영상과 주변 깊이 영상의 크기가 다르면, 컬러 영상과 추정된 깊이 영상의 크기는 서로 다를 수 있다.
(7) 공백 픽셀(Hole or Undefined Pixel): 추정된 깊이 영상에서 정의되지 않은 픽셀을 의미한다.
(8) 인접 픽셀(Adjacent Pixel): 추정된 깊이 영상에서 공백 픽셀의 주변에 위치한 픽셀을 의미한다.
도 1은 일실시예에 따른 부호화 장치와 복호화 장치의 동작을 설명하기 위한 도면이다.
일실시예에 따른 부호화 장치(101)는 3D 비디오를 부호화한 후 부호화된 데이터를 비트스트림 형태로 복호화 장치(102)에 전송할 수 있다. 3D 비디오들은 시간적으로 연속적인 영상들간의 시간적 중복성을 가지고 있을 뿐만 아니라 서로 다른 시점을 나타내는 영상들 간에도 시점간 중복성을 가지고 있다. 그래서, 일실시예에 따르면, 시간적 중복성 및 시점간 중복성들을 효율적으로 제거할 수 있는 3D 비디오에 최적화된 부호화 장치(101) 및 복호화 장치(102)를 이용할 수 있다.
따라서, 부호화 장치(101)와 복호화 장치(102)는 3D 비디오를 코딩할 때 영상들 간의 중복성을 최대한 제거함으로써 코딩 효율을 향상시킬 수 있다.
이를 위해, 부호화 장치(101)와 복호화 장치(102)는 컬러 영상들 간의 중복성 제거를 위해 블록 기반의 예측을 수행할 수 있다. 블록 기반의 예측을 수행할 때 시점간의 중복성을 효율적으로 제거하기 위해 깊이 영상이 이용될 수 있다. 이에 따라, 시간적 중복성은 주변 블록들의 움직임 벡터를 이용하여 제거하고 시점간 중복성은 주변 블록들의 변이 벡터 및 컬러 영상에 대응하는 깊이 영상을 이용하여 제거할 수 있다.
여기서, 컬러 영상에 대응하는 깊이 영상의 크기는 컬러 영상의 크기와 다를 수 있다. 이 경우, 일실시예에 따르면, 깊이 영상의 크기를 컬러 영상의 크기와 동일하도록 크기를 변환할 수 있다. 예를 들어, 깊이 영상의 크기가 컬러 영상의 크기보다 작은 경우, 깊이 영상을 업샘플링함으로써 깊이 영상의 크기를 컬러 영상의 크기와 동일하도록 할 수 있다.
다른 실시예에 따르면, 깊이 영상의 크기는 컬러 영상의 크기가 서로 다르더라도, 깊이 영상에 대한 크기 변환없이 깊이 영상이 그대로 활용될 수 있다. 이 경우, 깊이 영상의 크기를 변환하는 과정이 요구되지 않아, 복잡도가 감소하고 필요한 메모리 양이 감소될 수 있다.
도 2 내지 도 17에서 언급되는 영상 처리 장치는 도 1의 부호화 장치(101) 또는 복호화 장치(102) 내부 또는 외부에서 구현될 수 있다.
도 2는 제1 실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 2를 참고하면, 영상 처리 장치(200)는 움직임 벡터 추출부(201) 및 움직임 벡터 예측부(202)를 포함할 수 있다. 움직임 벡터 추출부(201)는 코딩하고자 하는 컬러 영상의 현재 블록에 대해 적어도 하나의 주변 블록들의 움직임 벡터를 추출할 수 있다. 일례로, 움직임 벡터 추출부(201)는 주변 블록이 움직임 벡터를 가지고 있지 않은 경우, 주변 블록의 움직임 벡터를 영 벡터로 대체할 수 있다. 주변 블록은 컬러 영상에서 현재 블록의 상단, 우측 상단 또는 좌측에 이웃한 블록으로, 이미 부호화 또는 복호화된 블록을 의미한다. 만약 현재 블록의 우측 상단에 이웃한 주변 블록이 존재하지 않을 경우, 움직임 벡터 추출부(201)는 현재 블록의 좌측 상단에 이웃한 주변 블록을 이용한다.
그리고, 움직임 벡터 예측부(202)는 주변 블록들의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 예측할 수 있다. 일례로, 움직임 벡터 예측부(202)는 적어도 하나의 주변 블록들의 움직임 벡터에 미디언 필터를 적용하여 현재 블록의 움직임 벡터를 예측할 수 있다.
도 3은 제2 실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 3을 참고하면, 영상 처리 장치(300)는 변이 벡터 추출부(301)와 변이 벡터 예측부(302)를 포함할 수 있다.
변이 벡터 추출부(301)는 코딩하고자 하는 컬러 영상의 현재 블록에 대해 주변 블록의 변이 벡터를 추출할 수 있다. 여기서, 주변 블록은 컬러 영상에서 현재 블록의 상단, 우측 상단 또는 좌측에 이웃한 블록으로, 이미 부호화 또는 복호화된 블록을 의미한다. 만약 현재 블록의 우측 상단에 이웃한 주변 블록이 존재하지 않을 경우, 변이 벡터 추출부(301)는 현재 블록의 좌측 상단에 이웃한 주변 블록을 이용한다.
일례로, 주변 블록이 변이 벡터를 가지고 있지 않은 경우, 변이 벡터 추출부(301)는 현재 블록에 대응하는 깊이 영상의 대응 블록을 이용하여 상기 주변 블록의 변이 벡터를 추출할 수 있다. 구체적으로, 주변 블록이 변이 벡터를 가지고 있지 않은 경우, 변이 벡터 추출부(301)는 현재 블록에 대응하는 깊이 영상의 대응 블록에서 가장 큰 깊이값을 변이 벡터로 전환하여, 주변 블록의 변이 벡터로 대체할 수 있다. 여기서, 대응 블록은 컬러 영상에 대응하는 깊이 영상에서 현재 블록과 동일한 위치에 있는 블록을 포함할 수 있다. 여기서, 현재 블록에 대응하는 깊이 영상은, 컬러 영상의 크기와 동일하게 변환된 크기를 갖거나 또는 상기 컬러 영상의 크기와 다를 수 있다.
한편, 현재 블록에 대응하는 깊이 영상이 존재하지 않는 경우, 변이 벡터 추출부(301)는 현재 블록이 포함된 컬러 영상의 주변 컬러 영상 또는 주변 깊이 영상을 이용하여 상기 현재 블록에 대응하는 깊이 영상을 추정할 수 있다. 이 때, 변이 벡터 추출부(301)는 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들 중 가장 큰 픽셀값을 가진 인접 픽셀로 대체할 수 있다. 다른 예로, 변이 벡터 추출부(301)는 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들을 보간 (Interpolation) 하여 대체할 수 있다.
변이 벡터 예측부(302)는 주변 블록의 변이 벡터를 이용하여 현재 블록의 변이 벡터를 예측할 수 있다.
도 4는 제3 실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 4를 참고하면, 영상 처리 장치(400)는 대응 블록 식별부(401) 및 변이 벡터 예측부(402)를 포함할 수 있다.
대응 블록 식별부(401)는 코딩하고자 하는 컬러 영상의 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별할 수 있다. 일례로, 대응 블록 식별부(401)는 컬러 영상에 대응하는 깊이 영상의 대응 블록을 식별할 수 있다.
만약, 현재 블록에 대응하는 깊이 영상이 존재하지 않는 경우, 대응 블록 식별부(401)는 현재 블록이 포함된 컬러 영상의 주변 컬러 영상 또는 주변 깊이 영상을 이용하여 현재 블록에 대응하는 깊이 영상을 추정할 수 있다. 이 때, 대응 블록 식별부(401)는 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들 중 가장 큰 픽셀값을 가진 인접 픽셀로 대체할 수 있다. 다른 예로, 변이 벡터 추출부(401)는 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들을 보간 (Interpolation) 하여 대체할 수 있다.
변이 벡터 예측부(402)는 깊이 영상의 대응 블록에서 가장 큰 깊이값을 변이 벡터로 전환하여 현재 블록의 변이 벡터를 예측할 수 있다.
도 5는 제4 실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 5를 참고하면, 영상 처리 장치(500)는 대응 블록 식별부(501), 최종 벡터 결정부(502) 및 영상 코딩부(503)를 포함할 수 있다.
대응 블록 식별부(501)는 컬러 영상의 현재 블록의 적어도 하나의 주변 블록 및 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별할 수 있다.
최종 벡터 결정부(502)는 적어도 하나의 주변 블록과 대응 블록을 이용하여 현재 블록의 스킵 모드 또는 다이렉트 모드에 대한 최종 벡터를 결정할 수 있다. 일례로, 최종 벡터 결정부(502)는 대응 블록에서 적어도 하나의 주변 블록의 움직임 벡터 또는 변이 벡터가 가리키는 보상 블록들을 결정할 수 있다. 그러면, 최종 벡터 결정부(502)는 대응 블록의 깊이값과 상기 보상 블록들 각각의 깊이값을 비교할 수 있다. 결국, 최종 벡터 결정부(502)는 대응 블록의 깊이값과 보상 블록 각각의 깊이값 간의 차이값을 변이값 간의 차이값으로 변환하고, 변이 차이값에서 가장 작은 차이값을 가지는 해당 주변 블록의 움직임 벡터 또는 변이 벡터를 사용한다.
영상 코딩부(503)는 현재 블록의 최종 벡터를 이용하여 현재 블록을 스킵 모드 또는 다이렉트 모드로 코딩할 수 있다.
이상으로, 제1 실시예 내지 제4 실시예에 대한 영상 처리 장치의 동작에 대해 설명하였다.
제2 실시예와 제3 실시예는 다음과 같이 구현될 수 있다. 특히, 제2 실시예와 제3 실시예는 스킵 모드와 다이렉트를 제외한 모든 코딩 모드에서 적용가능할 수 있다. 특히, 제4 실시예는 스킵 모드와 다이렉트에서 적용가능할 수 있다.
도 6은 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.
도 6을 참고하면, 3개 시점(Left, Center, Right)의 영상을 입력받았을 때, GOP(Group of Picture) '8'로 부호화하는 다시점 비디오 부호화 방식(Multiview Video Coding)을 나타낸다. 다시점(Multi-view) 영상을 부호화기 위해서는 기본적으로 시간(Temporal)축과 시점(View)축으로 계층적 B 영상(Hierarchical B Picture)을 적용하기 때문에 영상 간의 중복성(Redundancy)을 줄일 수 있다.
도 6에 도시된 다시점 비디오의 구조에 따라 다시점 비디오 부호화 장치(101)는 좌측 영상(Left Picture: I-view)을 먼저 부호화하고 우측 영상(Right Picture: P-view)과 중앙 영상(Center Picture: B-view)를 차례대로 부호화함으로써 3개 시점에 대응하는 영상을 부호화할 수 있다.
이 때, 좌측 영상은 움직임 추정(Motion Estimation)을 통해 이전 영상들로부터 비슷한 영역을 검색함으로써 시간적 중복성(Temporal Redundancy)이 제거되는 방식으로 부호화될 수 있다. 그리고, 우측 영상은 이미 부호화된 좌측 영상을 참조 영상으로 사용하여 부호화되기 때문에, 움직임 추정에 기초한 시간적 중복성과 변이 추정(Disparity Estimation)에 기초한 시점 간 중복성(View Redundancy)이 제거되는 방식으로 부호화될 수 있다. 또한, 중앙 영상은 이미 부호화된 좌측 영상과 우측 영상을 모두 참조 영상으로 이용하여 부호화되기 때문에, 양방향으로의 변이 추정에 따라 시점 간 중복성이 제거될 수 있다.
도 6을 참고하면, 다시점 비디오 부호화 방식에서, 좌측 영상과 같이 다른 시점의 참조 영상을 이용하지 않고 부호화되는 영상은 I-View, 우측 영상과 같이 다른 시점의 참조 영상을 단방향으로 예측하여 부호화하는 영상은 P-View, 중앙 영상과 같이 좌우 시점의 참조 영상을 양방향으로 예측하여 부호화하는 영상은 B-View이라고 정의된다.
MVC의 프레임은 예측 구조에 따라 크게 6가지 그룹으로 분류된다. 구체적으로, 6가지 그룹은 인트라 부호화를 위한 I-시점 Anchor 프레임, 시간축간 인터 부호화를 위한 I-시점 Non-anchor 프레임, 시점간 단방향 인터 부호화를 위한 P-시점 Anchor 프레임, 시점간 단방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 P-시점 Non-anchor 프레임, 시점간 양방향 인터 부호화를 위한 B-시점 Anchor 프레임 및 시점간 양방향 인터 부호화와 시간축간 양방향 인터 부호화를 위한 B-시점 Non-anchor 프레임으로 분류될 수 있다.
도 7은 일실시예에 따라 현재 블록을 코딩할 때 사용되는 참조 영상을 도시한 도면이다.
영상 처리 장치는 현재 영상(701)인 현재 프레임에 위치한 현재 블록을 압축할 때 현재 프레임에 대해 시간상 주변에 위치한 참조 영상(702, 707)과 시점상 주변에 위치한 참조 영상(704, 705)을 이용할 수 있다. 구체적으로, 영상 처리 장치(100)는 참조 영상(702~705)에서 현재 블록과 가장 유사한 예측 블록을 탐색하여 현재 블록과 예측 블록 간의 잔차 신호(residue)를 압축할 수 있다. 이와 같이, 참조 영상을 이용하여 예측 블록을 탐색하는 압축 모드는 H.264/AVC의 경우 SKIP(P Slice Only)/Direct(B Slice Only), 16x16, 16x8, 8x16, P8x8 모드 등을 포함할 수 있다. HEVC의 경우 2Nx2N, 2NxN, Nx2N, NxN 등을 포함할 수 있다.
앞서 설명한 실시예에서, 제1 실시예, 제2 실시예, 및 제3 실시예는 H. 264/AVC의 경우에는 16x16, 16x8, 8x16, P8x8 모드에 따라 동작하는 것을 의미한다. 그리고, 제4 실시예는 스킵 모드(SKIP Mode)와 다이렉트 모드(Direct Mode)에 따라 동작하는 것을 의미한다.
영상 처리 장치는 움직임 정보를 탐색하기 위해 Ref1 영상(702)과 Ref2 영상(707)을 이용할 수 있고, 변이 정보를 탐색하기 위해 Ref3 영상(704)과 Ref4 영상(705)을 이용할 수 있다.
도 8은 일실시에에 따른 부호화 장치의 동작을 상세하게 설명하기 위한 도면이다.
도 8을 참고하면, 컬러 영상의 부호화 장치가 도시된다. 도 8에서 영상 처리 장치는 움직임 벡터의 예측과 변이 벡터의 예측을 수행할 수 있다.
부호화 장치가 컬러 영상을 부호화하는 과정은 다음과 같다. 부호화 장치는 컬러 영상을 수신하고(801), 컬러 영상과 블록 기반 예측(Block Prediction)을 통해 도출된 예측 영상 간의 잔차 신호를 결정할 수 있다. 그러면, 부호화 장치는 잔차 신호를 변환하고(802), 양자화할 수 있다(803).
이러한 과정은 컬러 영상에 포함된 모든 프레임에 대해 적용된다. 특히, 일실시예에 따르면, 부호화 장치는 화면 내 예측, 움직임 예측, 변이 예측을 통해 시간적 중복성과 시점간 중복성을 제거하기 위한 예측을 수행할 수 있다. 이 때, 변이 예측을 위해서, 부호화 장치는 카메라 파라미터에 기초하여 깊이 정보를 변이 정보로 변환한 다음에 변이 예측을 수행할 수 있다.
도 9는 일실시예에 따른 복호화 장치의 동작을 상세하게 설명하기 위한 도면이다.
복호화 장치는 앞서 설명한 도 8의 부호화 장치의 동작과 역으로 수행할 수 있다. 특히 복호화 장치는 다음 영상들의 정확한 예측을 위해서 디블로킹 필터링을 수행할 수 있다(905). 예측 영상이 원본 영상과 비슷할수록 잔차 신호가 적고, 이에 따라 부호화할 때 소모되는 비트수도 감소한다. 그래서, 움직임 예측과 변이 예측이 중요하다.
일실시예서, 시간적 중복성과 시점간 중복성을 벡터 예측 (Vector Prediction)을 통해 제거할 수 있다. 그리고, 시간적 중복성을 제거하기 위해 움직임 벡터 예측 (Motion Vector Prediction = Temporal Prediction)이 수행된다. 그리고, 시점간 중복성을 제거하기 위해 변이 벡터 예측 (Disparity Vector Prediction = Inter-View Prediction)이 수행된다.
도 10은 일실시예에 따라 현재 블록의 움직임 벡터를 예측하는 과정을 도시한 도면이다.
도 10을 참고하면, 컬러 영상에서 코딩하고자 하는 현재 블록은 Cb이다. 그리고, 현재 블록에 인접한 위치에 주변 블록 A, B, C가 존재한다. 영상 처리 장치는 현재 블록의 움직임 벡터를 예측하기 위해, 주변 블록 A, B, C 각각의 움직임 벡터를 추출하고, 추출된 움직임 벡터에 미디언 필터를 적용할 수 있다.
만약, 주변 블록 A, B, C 중 움직임 벡터가 존재하지 않는 블록이 있다면, 영상 처리 장치는 해당 블록의 움직임 벡터를 영 벡터(Zero Motion Vector)로 대체한 후, 미디언 필터를 적용할 수 있다.
결국, 움직임 벡터를 추정하여 코딩하는 과정을 도시하면 다음과 같다.
단계(1001)에서, 영상 처리 장치는 현재 블록의 주변 블록 A, B, C의 움직임 벡터를 식별할 수 있다. 그리고, 단계(1002)에서, 영상 처리 장치는 주변 블록의 움직임 벡터가 존재하는 지 여부를 판단할 수 있다. 만약, 움직임 벡터가 존재하지 않는 주변 블록이 존재하는 경우, 단계(1003)에서, 영상 처리 장치는 해당 주변 블록의 움직임 벡터를 영 벡터로 대체할 수 있다.
단계(1004)에서, 영상 처리 장치는 주변 블록의 움직임 벡터에 미디언 필터를 적용하여 현재 블록 Cb의 움직임 벡터를 예측할 수 있다. 그런 후에, 단계(1005)에서, 영상 처리 장치는 최종 움직임 벡터와 예측 움직임 벡터의 차이를 이용하여 움직임 벡터의 코딩을 수행할 수 있다.
도 11은 일실시예에 따라 현재 블록의 변이 벡터를 예측하는 과정을 도시한 도면이다.
도 11을 참고하면, 컬러 영상에서 코딩하고자 하는 현재 블록은 Cb이다. 그리고, 현재 블록에 인접한 위치에 주변 블록 A, B, C가 존재한다. 영상 처리 장치는 현재 블록의 변이 벡터를 예측하기 위해, 주변 블록 A, B, C 각각의 변이 벡터를 추출하고, 추출된 벡터 벡터에 미디언 필터를 적용할 수 있다.
만약, 주변 블록 A, B, C 중 변이 벡터가 존재하지 않는 블록이 있다면, 영상 처리 장치는 해당 주변 블록의 변이 벡터를 특정 변이 벡터로 대체할 수 있다. 일례로, 주변 블록 A의 변이 벡터가 존재하지 않는다고 가정한다. 영상 처리 장치는 현재 블록에 대응하는 깊이 영상의 대응 블록 Db에서 가장 큰 깊이값을 변이 벡터로 변환할 수 있다. 그러면, 영상 처리 장치는 변환된 변이 벡터를 주변 블록 A의 변이 벡터로 대체할 수 있다. 그 후, 영상 처리 장치는 주변 블록 A, B, C의 변이 벡터를 이용하여 현재 블록 Cb의 변이 벡터를 예측할 수 있다.
이 때, 깊이값을 변이 벡터로 변환하기 위해, 영상 처리 장치는 카메라 파라미터 정보를 이용할 수 있다. 도 10과 도 11을 통해 도출된 현재 블록의 움직임 벡터 및 변이 벡터는 16x16, 16x8, 8x16, 그리고 P8x8 모드에 기초한 예측 움직임 및 예측 변이 벡터로 사용된다. 그런 후에, 영상 처리 장치는 예측된 움직임 벡터와 변이 벡터를 통해 움직임 탐색 및 변이 탐색 (Motion / Disparity Estimation)을 수행함으로써, 현재 블록의 최종 움직임 및 변이 벡터를 찾게 된다.
결국, 일실시예에서, 영상 처리 장치는 주변 블록 A, B, C 중 어느 하나의 주변 블록이 변이 벡터를 가지고 있지 않다면 현재 블록에 대응되는 깊이 영상에서의 대응 블록의 깊이값들 중 가장 큰 깊이값을 변이 벡터로 전환할 수 있다. 그러면, 영상 처리 장치는 전환된 변이 벡터를 변이 벡터가 존재하지 않는 주변 블록의 변이 벡터로 대체할 수 있다. 시점간 예측(Inter-View Prediction)에서 움직이는 물체들을 잘 예측 하는 것이 중요하다. 대부분의 움직이는 물체들은 배경보다 카메라에 가까이 있기 때문에 가장 큰 깊이값을 가진다.
결국, 벡터를 추정하여 코딩하는 과정을 도시하면 다음과 같다.
단계(1101)에서, 영상 처리 장치는 현재 블록의 주변 블록 A, B, C의 변이 벡터를 식별할 수 있다. 그리고, 단계(1102)에서, 영상 처리 장치는 주변 블록의 변이 벡터가 존재하는 지 여부를 판단할 수 있다. 만약, 변이 벡터가 존재하지 않는 주변 블록이 존재하는 경우, 단계(1103)에서, 영상 처리 장치는 해당 주변 블록의 변이 벡터를 최대 변이로 대체할 수 있다. 여기서, 최대 변이는 현재 블록에 대응하는 깊이 영상의 대응 블록 Db에서 가장 큰 깊이값을 전환환 변이 벡터를 의미한다.
단계(1004)에서, 영상 처리 장치는 주변 블록의 변이 벡터에 미디언 필터를 적용하여 현재 블록 Cb의 변이 벡터를 예측할 수 있다. 그런 후에, 단계(1005)에서, 영상 처리 장치는 변이 벡터 코딩을 수행할 수 있다. 상기 언급한 과정들은 아래 방식에 따라 처리될 수 있다.
- If refIdxLX is a reference index to an inter-view reference component or an inter-view only reference component, the depth-based derivation process for median luma motion vector prediction in "Depth-based derivation process for median luma motion vector prediction" is invoked with mbAddrN\mbPartIdxN\subMbPartIdxN, mvLXN, refIdxLXN with N being replaced by A, B, or C, and refIdxLX as the inputs and the output is assigned to the motion vector predictor mvpLX. // (여기서 A,B,C는 현재 블록에서 왼쪽, 위쪽, 위-오른쪽에 위치한 주변 블록을 나타내고 refIdxLX는 레퍼런스 인덱스, mbAddrN는 N블록의 주소, mbPartIdxN는 N블록의 분할 정보, subMbPartIdxN는 N블록의 Sub블록 정보를 나타낸다. N=A, B, or C)
Depth-based derivation process for median luma motion vector prediction
Inputs to this process are:
- the neighbouring partitions mbAddrN/mbPartIdxN/subMbPartIdxN (with N being replaced by A, B, or C),
- the motion vectors mvLXN (with N being replaced by A, B, or C) of the neighbouring partitions,
- the reference indices refIdxLXN (with N being replaced by A, B, or C) of the neighbouring partitions,
- the reference index refIdxLX of the current partition.
Output of this process is the motion vector prediction mvpLX.
When either partition mbAddrN\mbPartIdxN\subMbPartIdxN is not available or refIdxLXN is not equal to refIdxLX, mvLXN is derived as specified by the following ordered steps:
1. The inverse macroblock scanning process is invoked with CurrMbAddr as the input and the output is assigned to ( x1, y1 ).
2. The inverse macroblock partition scanning process is invoked with mbPartIdx as the input and the output assigned to ( dx1, dy1 ).
3. The inverse sub-macroblock partition scanning process is invoked with mbPartIdx and subMbPartIdx as the input and the output assigned to ( dx2, dy2 ).
// ===> 1~3 현재 블록의 정확한 위치를 찾는 과정임.
4. The modification process of inter-view motion vector as specified in "Derivation process for inter view motion vector" is invoked with depthPic being equal to DepthRefPicList0[ refIdxL0 ], dbx1 being equal to x1 + dx1 + dx2, dby1 being equal to y1 + dy1 + dy2, and mv being equal to mvL0 as inputs and the output is assigned to the motion vector mvLXN.
// ===> 4에서 현재 블록에 대응되는 깊이 블록의 Max Disparity를 찾음. 여기서, 깊이 블록은 앞서 설명한 대응 블록에 대응함
Each component of the motion vector prediction mvpLX is given by the median of the corresponding vector components of the motion vector mvLXA, mvLXB, and mvLXC:
mvpLX[ 0 ] = Median( mvLXA[ 0 ], mvLXB[ 0 ], mvLXC[ 0 ] )
mvpLX[ 1 ] = Median( mvLXA[ 1 ], mvLXB[ 1 ], mvLXC[ 1 ] )
Derivation process for inter view motion vector
Inputs to this process are
- depth reference view component depthPic, // 현재 블록에 대응되는 깊이 블록
- the location of a top-left sample ( dbx1, dby1 ) of a partition, // 현재 블록의 첫번째 픽셀 위치
- a motion vector mv,
Outputs of this process are:
- the motion vector mv.
Let refViewId be the view_id value of depthPic.
The following ordered steps apply:
1. Let numSamples be partWidth * partHeight.
2. The variable maxDepth is specified as follows:
maxDepth = INT_MIN
for( j = 0; j < partHeight; j++ )
for( i = 0; i < partWidth; i++ ) if( depthPic[ dbx1 + i, dby1 + j ]>maxDepth) maxDepth= depthPic[ dbx1 + i, dby1 + j ]
3. the variable mv is specified as follows:
index = ViewIdTo3DVAcquisitionParamIndex( view_id ) // 현재 블록이 속한 View의 ID
refIndex = ViewIdTo3DVAcquisitionParamIndex( refViewId ) // 인터뷰 레퍼런스가 속한 View ID
mv[ 0 ] = Disparity( maxDepth, ZNear[ frame_num, index ], ZFar[ frame_num, index ],
FocalLengthX[ frame_num, index ], AbsTX[ index ] - AbsTX[ refIndex ] )
mv[ 1 ] = 0
앞서 설명한 변이 벡터를 대체하는 과정 이외에, 다음과 같은 실시예가 구현될 수 있다.
구체적으로, 영상 처리 장치는 현재 블록 Cb의 주변 블록 A, B, C의 변이 벡터를 이용하지 않고, 바로 현재 블록 Cb에 대응하는 깊이 영상의 대응 블록에서 가장 큰 깊이값을 변이 벡터로 전환하여 사용할 수 있다. 이 경우, 영상 처리 장치는 전환된 변이 벡터를 현재 블록의 예측 변이 벡터로 설정할 수 있다.
한편, 대응 블록을 이용할 때 깊이 영상이 존재하지 않는 경우가 있다. 이러한 경우에 대해서는 도 13에서 구체적으로 설명하기로 한다.
도 12는 일실시예에 따라 현재 블록의 스킵 모드 및 다이렉트 모드에 대한 최종 벡터를 결정하는 과정을 도시한 도면이다.
도 12를 참고하면, 컬러 영상에서 현재 블록 Cb의 스킵 모드 및 다이렉트 모드에 대한 최종 벡터를 결정하는 과정을 도시한다. 여기서, 특히 도 12는 스킵 모드(SKIP Mode)와 다이렉트 모드(Direct Mode)에 따라 코딩하는 과정을 나타낸다. 스킵 모드와 다이렉트 모드는 움직임 탐색과 변이 탐색을 수행하지 않는다. 16x16, 16x8, 8x16, 그리고 P8x8 모드와 다르게 현재 블록의 스킵 모드 또는 다이렉트 모드에 대한 최종 벡터인 움직임 벡터 및 변이 벡터를 구할 때, 영상 처리 장치는 현재 블록의 주변 블록들의 움직임 벡터 및 변이 벡터들과 현재 블록에 대응되는 깊이 영상의 대응 블록을 이용할 수 있다.
도 12를 참고하면, 영상 처리 장치는 현재 블록에 대응하는 깊이 영상의 대응 블록 Db와 대응 블록 Db에서 주변 블록 각각의 움직임 벡터 및 변이 벡터가 가리키는 위치에서의 보상 블록 A' B' C' 간의 깊이값의 차이값을 변이 차이값으로 변환할 수 있다. 이 때, 영상 처리 장치는 변환된 변이 차이값에서 가장 작은 변이 차이값을 가지는 보상 블록과 연관된 움직임 벡터 또는 변이 벡터를 현재 블록의 스킵 모드 또는 다이렉트 모드에 대한 최종 벡터로 결정할 수 있다.
이 때, 깊이값의 차이값을 변이 벡터로 변환할 때, 영상 처리 장치는 카메라의 파라미터 정보를 사용할 수 있다. 여기서, 카메라는 깊이 영상을 촬영할 때 사용한 카메라를 의미한다. 변이 차이(SAD-Sum of Absolute Difference)를 도출하는 과정은 하기 수학식 1과 같다.
Figure pat00001
이 때, D(Cb)[y,x]는 현재 블록에 대응되는 깊이 영상에서 대응 블록의 [y,x]에 위치하는 깊이값을 의미한다. 그리고, D(Cb, MVi)[y,x]는 주변 블록의 움직임 벡터 또는 변이 벡터 (MVi) 가 가리키는 위치의 보상 블록의 [y,x]에 위치하는 깊이값을 의미한다. 이 때, 깊이값은 주변 블록과 보상 블록 간에 동일한 위치 [y,x]에 있는 픽셀의 깊이값을 의미한다.
또한, SAD(D(Cb)[y,x],D(Cb,MVi)[y,x])는 대응 블록의 깊이값과 보상 블록 간의 깊이값의 차이값을 의미한다. 최종적으로, 변환된 변이 벡터는 하기 수학식 2에 따라 도출될 수 있다.
Figure pat00002
Disparity(SAD)는 변이 벡터를 의미하고, SAD는 주변 블록과 보상 블록에서의 깊이값의 차이를 의미한다. 또한, Coeff.는 임의의 상수이거나 또는 카메라의 파라미터 정보를 의미할 수 있다. Coeff.는 하기 수학식 3에 따라 처리될 수 있다.
Figure pat00003
이 때, bit는 카메라에서 픽셀의 bit-depth를 의미하고, f는 카메라의 초점거리 (Focal Length), l은 카메라의 base line의 차이, Znear/Zfar는 카메라에서 가장 가까운/먼 Depth 값을 나타낸다.
　도 12의 과정을 시프트 (>>) 연산을 사용하는 예로 구현하면 다음과 같다.
Inputs to this process are
- sample arrays of decoded depth view components depthPic1 and depthPic2
// depthPic1은 현재 블록에 대응되는 깊이 영상 블록이고 depthPic2는 움직임 및 변이 벡터가 가리키는 위치의 블록에 대응되는 깊이 영상 블록임. 구체적으로, depthPic1은 대응 블록이고, depthPic2는 보상 블록을 의미한다.
- the top-left corner [ dbx1, dby1 ] of a block within depthPic1 and the top-left corner [ dbx2, dby2 ] of a block within depthPic2 // depthPic1과 depthPic2 각각의 첫번째 픽셀 위치
- the horizontal and vertical extents depthBlockWidth and depthBlockHeight a depth block
Output of this process is the disparity-based sum of absolute differences dispSumOfAbsDiff converted from the sum of absolute differences between the the depth blocks.
The variable dispSumOfAbsDiff is specified as follows.
index = ViewIdTo3DVAcquisitionParamIndex( view_id of the current view )
baseIndex = ViewIdTo3DVAcquisitionParamIndex( view_id of the base view )
dispCeoff=Max(round(log2(1/(FocalLengthX[ frame_num, index ]÷255* (AbsTX[ index ] - AbsTX[ baseIndex ]) ÷2*(1÷ ZNear[ frame_num, index ]-1÷ZFar[ frame_num, index ])),0) // Floting 연산인 나누기를 피하고 Integer 연산 시프트(>>)을 사용하기 위해 Log2를 취해줌
dispSumOfAbsDiff = 0
for( j = 0; j < depthBlockHeight; j++ )
for( i = 0; i < depthBlockWidth; i++ ) dispSumOfAbsDiff += Abs( depthPic1[ dbx1 + i, dby1 + j ] - depthPic2[ dbx2 + i, dby1 + j ] ) >>dispCoeff
결론적으로 도 12에 의하면, 영상 처리 장치는 현재 블록에 대응되는 깊이 영상의 대응 블록 내의 픽셀들과 깊이 영상에서 주변 블록의 움직임 벡터 및 변이 벡터가 가리키는 위치의 보상 블록 내의 픽셀들간의 차이를 변이 벡터를 의미하는 변이 차이로 변환하여 사용할 수 있다.
도 13은 일실시예에 따라 깊이 영상을 추정하는 과정을 도시한 도면이다.
앞서 설명하였듯이, 대응 블록과 보상 블록을 도출하기 위해서는 현재 블록에 대응하는 깊이 영상이 필요하다. 하지만, 조건에 따라 깊이 영상이 제공되지 않는 경우가 존재한다. 이 경우, 영상 처리 장치는 조건에 따라 깊이 영상이 주어지지 않은 경우가 있다.
그러면, 영상 처리 장치는 현재 블록이 포함된 컬러 영상의 시간상 또는 시점상 주변에 위치한 컬러 영상들 또는 깊이 영상들로부터 현재 블록에 대응하는 깊이 영상을 추정할 수 있다. 그리고, 추정된 깊이 영상에 포함된 블록에서 특정 픽셀이 추정되지 않아서 정의되지 않거나 구멍 형태의 공백 픽셀이 존재하면, 영상 처리 장치는 공백 픽셀의 주변에 위치한 인접 픽셀들 중 가장 큰 픽셀값을 가지는 인접 픽셀의 픽셀값으로 공백 픽셀의 픽셀값을 대체할 수 있다. 다른 예로, 추정된 깊이 영상에 포함된 블록에서 특정 픽셀이 추정되지 않아서 정의되지 않거나 구멍 형태의 공백 픽셀이 존재하면, 영상 처리 장치는 공백 픽셀의 주변에 위치한 인접 픽셀들을 보간 (Interpolation) 하여 대체할 수 있다.
도 13의 깊이 영상(1301)은 현재 블록이 포함된 컬러 영상의 시간상 또는 시점상 주변에 위치한 깊이 영상을 의미한다. 그리고, 깊이 영상(1302)는 깊이 영상(1301)에 기초하여 추정된 깊이 영상을 의미한다. 이 때, 추정된 깊이 영상(1302)은 정의되지 않은 공백 픽셀(Undefined Pixel, Hole Pixel)(1304)을 포함할 수 있다.
그러면, 영상 처리 장치는 공백 픽셀(1303)의 주변에 위치한 인접 픽셀 등 중에서 가장 큰 픽셀값을 가지는 인접 픽셀의 픽셀값으로 공백 픽셀의 픽셀값을 대체할 수 있다. 깊이 영상에서 가장 큰 픽셀값을 나타내는 인접 픽셀이 하얀색을 나타내는 경우, 도 13과 같이 공백 픽셀(1303)은 하얀색으로 채워질 수 있다. 다른 예로, 공백 픽셀(1303)의 주변에 위치한 인접 픽셀들을 보간 (Interpolation) 하여 그 보간 값을 공백 픽셀(1303)로 채울 수 있다.
최종적으로는, 도 12에서 언급한 바와 같이, 영상 처리 장치는 추정된 깊이 영상에 존재하는 대응 블록 또는 보상 블록을 이용하여 현재 블록의 최종 벡터를 결정할 수 있다. 따라서,
현재 블록과 대응되는 블록을 다른 View에서 찾을 때 필요한 변이 벡터는 현재 블록에 대응되는 깊이 블록내의 값들 중 가장 큰 값을 변이 벡터로 전환하여 사용한다.
도 14는 제1 실시예에 따른 영상 처리 방법을 도시한 도면이다.
단계(1401)에서, 영상 처리 장치는 코딩하고자 하는 컬러 영상의 현재 블록에 대해 적어도 하나의 주변 블록들의 움직임 벡터를 추출할 수 있다. 일례로, 영상 처리 장치는 주변 블록이 움직임 벡터를 가지고 있지 않은 경우, 주변 블록의 움직임 벡터를 영 벡터로 대체할 수 있다. 주변 블록은 컬러 영상에서 현재 블록의 상단, 우측 상단 또는 좌측에 이웃한 블록으로, 이미 부호화 또는 복호화된 블록을 의미한다.
그리고, 단계(1402)에서, 영상 처리 장치는 주변 블록들의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 예측할 수 있다. 일례로, 영상 처리 장치는 적어도 하나의 주변 블록들의 움직임 벡터에 미디언 필터를 적용하여 현재 블록의 움직임 벡터를 예측할 수 있다.
도 15는 제2 실시예에 따른 영상 처리 방법을 도시한 도면이다.
단계(1501)에서, 영상 처리 장치는 코딩하고자 하는 컬러 영상의 현재 블록에 대해 주변 블록의 변이 벡터를 추출할 수 있다. 여기서, 주변 블록은 컬러 영상에서 현재 블록의 상단, 우측 상단 또는 좌측에 이웃한 블록으로, 이미 부호화 또는 복호화된 블록을 의미한다. 만약 현재 블록의 우측 상단에 이웃한 주변 블록이 존재하지 않을 경우, 영상 처리 장치는 현재 블록의 좌측 상단에 이웃한 주변 블록을 이용한다.
일례로, 주변 블록이 변이 벡터를 가지고 있지 않은 경우, 영상 처리 장치는 현재 블록에 대응하는 깊이 영상의 대응 블록을 이용하여 상기 주변 블록의 변이 벡터를 추출할 수 있다. 구체적으로, 주변 블록이 변이 벡터를 가지고 있지 않은 경우, 영상 처리 장치는 현재 블록에 대응하는 깊이 영상의 대응 블록에서 가장 큰 깊이값을 변이 벡터로 전환하여, 주변 블록의 변이 벡터로 대체할 수 있다. 대응 블록은 컬러 영상에 대응하는 깊이 영상에서 현재 블록과 동일한 위치에 있는 블록을 포함할 수 있다. 여기서, 현재 블록에 대응하는 깊이 영상은, 컬러 영상의 크기와 동일하게 변환된 크기를 갖거나 또는 상기 컬러 영상의 크기와 다를 수 있다.
한편, 현재 블록에 대응하는 깊이 영상이 존재하지 않는 경우, 영상 처리 장치는 현재 블록이 포함된 컬러 영상의 주변 컬러 영상 또는 주변 깊이 영상을 이용하여 현재 블록에 대응하는 깊이 영상을 추정할 수 있다. 이 때, 영상 처리 장치는 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들 중 가장 큰 픽셀값을 가진 인접 픽셀로 대체할 수 있다. 다른 예로, 영 상 처리 장치는 변이 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들을 보간 (Interpolation)함으로써 대체할 수 있다.
단계(1502)에서, 영상 처리 장치는 주변 블록의 변이 벡터를 이용하여 현재 블록의 변이 벡터를 예측할 수 있다.
도 16은 제3 실시예에 따른 영상 처리 방법을 도시한 도면이다.
단계(1601)에서, 영상 처리 장치는 코딩하고자 하는 컬러 영상의 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별할 수 있다. 일례로, 대응 블록 식별부(401)는 컬러 영상과 동일한 시점 또는 다른 시점에 대응하는 깊이 영상의 대응 블록을 식별할 수 있다. 여기서, 대응 블록은 컬러 영상에 대응하는 깊이 영상에서 현재 블록과 동일한 위치에 있는 블록을 포함할 수 있다. 이 때, 현재 블록에 대응하는 깊이 영상은 컬러 영상의 크기와 동일하게 변환된 크기를 갖거나 또는 상기 컬러 영상의 크기와 다를 수 있다.
만약, 현재 블록에 대응하는 깊이 영상이 존재하지 않는 경우, 영상 처리 장치는 현재 블록이 포함된 컬러 영상의 주변 컬러 영상 또는 주변 깊이 영상을 이용하여 현재 블록에 대응하는 깊이 영상을 추정할 수 있다. 이 때, 영상 처리 장치는 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들 중 가장 큰 픽셀값을 가진 인접 픽셀로 대체할 수 있다. 다른 예로, 영 상 처리 장치는 변이 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀은 인접 픽셀들을 보간 (Interpolation)함으로써 대체할 수 있다.
영상 처리 장치는 깊이 영상의 대응 블록에서 가장 큰 깊이값을 변이 벡터로 전환하여 현재 블록의 변이 벡터를 예측할 수 있다.
도 17은 제4 실시예에 따른 영상 처리 방법을 도시한 도면이다.
단계(1701)에서, 영상 처리 장치는 컬러 영상의 현재 블록의 적어도 하나의 주변 블록 및 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별할 수 있다. 여기서, 깊이 영상은, 컬러 영상의 크기와 동일하게 변환된 크기를 갖거나 또는 컬러 영상의 크기와 다를 수 있다.
단계(1702)에서, 영상 처리 장치는 적어도 하나의 주변 블록과 대응 블록을 이용하여 현재 블록의 스킵 모드 또는 다이렉트 모드에 대한 최종 벡터를 결정할 수 있다. 일례로, 영상 처리 장치는 대응 블록에서 적어도 하나의 주변 블록의 움직임 벡터 또는 변이 벡터가 가리키는 보상 블록들을 결정할 수 있다. 그러면, 영상 처리 장치는 대응 블록의 깊이값과 상기 보상 블록들 각각의 깊이값을 비교할 수 있다. 결국, 영상 처리 장치는 대응 블록의 깊이값과 보상 블록 각각의 깊이값 간의 차이값을 변이값 간의 차이값으로 변환한 뒤 변이 차이값에서 가장 작은 차이값을 가지는 주변 블록의 움직임 벡터 혹은 변이 벡터를 사용한다.
단계(1703)에서, 영상 처리 장치는 현재 블록의 최종 벡터를 이용하여 현재 블록을 스킵 모드 또는 다이렉트 모드로 코딩할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
　그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
101: 부호화 장치
102: 복호화 장치

Claims (42)

  1. 코딩하고자 하는 컬러 영상의 현재 블록에 대해 적어도 하나의 주변 블록들의 움직임 벡터를 추출하는 단계;
    상기 주변 블록들의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 예측하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 주변 블록의 움직임 벡터를 추출하는 단계는,
    상기 주변 블록이 움직임 벡터를 가지고 있지 않은 경우, 상기 주변 블록의 움직임 벡터를 영 벡터로 대체하는 영상 처리 방법.
  3. 제1항에 있어서,
    상기 현재 블록의 움직임 벡터를 예측하는 단계는,
    상기 적어도 하나의 주변 블록들의 움직임 벡터에 미디언 필터를 적용하여 현재 블록의 움직임 벡터를 예측하는 영상 처리 방법.
  4. 코딩하고자 하는 컬러 영상의 현재 블록에 대해 주변 블록의 변이 벡터를 추출하는 단계;
    상기 주변 블록의 변이 벡터를 이용하여 현재 블록의 변이 벡터를 예측하는 단계
    를 포함하는 영상 처리 방법.
  5. 제4항에 있어서,
    상기 주변 블록의 변이 벡터를 추출하는 단계는,
    상기 주변 블록이 변이 벡터를 가지고 있지 않은 경우, 상기 현재 블록에 대응하는 깊이 영상의 대응 블록을 이용하여 상기 주변 블록의 변이 벡터를 추출하는 영상 처리 방법.
  6. 제5항에 있어서,
    상기 현재 블록에 대응하는 깊이 영상은,
    상기 컬러 영상의 크기와 동일하게 변환된 크기를 갖거나 또는 상기 컬러 영상의 크기와 다른 영상 처리 방법.
  7. 제5항에 있어서,
    상기 주변 블록의 변이 벡터를 추출하는 단계는,
    상기 주변 블록이 변이 벡터를 가지고 있지 않은 경우, 상기 현재 블록에 대응하는 깊이 영상의 대응 블록에서 가장 큰 깊이값을 변이 벡터로 전환하여, 상기 주변 블록의 변이 벡터로 대체하는 영상 처리 방법.
  8. 제5항에 있어서,
    상기 현재 블록에 대응하는 깊이 영상의 대응 블록은,
    상기 컬러 영상에 대응하는 깊이 영상의 대응 블록을 포함하는 영상 처리 방법.
  9. 제5항에 있어서,
    상기 주변 블록의 변이 벡터를 추출하는 단계는,
    상기 현재 블록에 대응하는 깊이 영상이 존재하지 않는 경우, 상기 현재 블록이 포함된 컬러 영상의 주변 컬러 영상 또는 주변 깊이 영상을 이용하여 상기 현재 블록에 대응하는 깊이 영상을 추정하는 영상 처리 방법.
  10. 제9항에 있어서,
    상기 주변 블록의 변이 벡터를 추출하는 단계는,
    상기 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들 중 가장 큰 픽셀값을 가진 인접 픽셀로 대체하는 영상 처리 방법.
  11. 제9항에 있어서,
    상기 주변 블록의 변이 벡터를 추출하는 단계는,
    상기 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들을 보간하여 보간값으로 대체하는 영상 처리 방법
  12. 코딩하고자 하는 컬러 영상의 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별하는 단계; 및
    상기 깊이 영상의 대응 블록에서 가장 큰 깊이값을 변이 벡터로 전환하여 상기 현재 블록의 변이 벡터를 예측하는 단계
    를 포함하는 영상 처리 방법.
  13. 제12항에 있어서,
    상기 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별하는 단계는,
    상기 컬러 영상에 대응하는 깊이 영상의 대응 블록을 식별하는 영상 처리 방법.
  14. 제12항에 있어서,
    상기 현재 블록에 대응하는 깊이 영상은,
    상기 컬러 영상의 크기와 동일하게 변환된 크기를 갖거나 또는 상기 컬러 영상의 크기와 다른 영상 처리 방법.
  15. 제12항에 있어서,
    상기 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별하는 단계는,
    상기 현재 블록에 대응하는 깊이 영상이 존재하지 않는 경우, 상기 현재 블록이 포함된 컬러 영상의 주변 컬러 영상 또는 주변 깊이 영상을 이용하여 상기 현재 블록에 대응하는 깊이 영상을 추정하는 영상 처리 방법.
  16. 제15항에 있어서,
    상기 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별하는 단계는,
    상기 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들 중 가장 큰 픽셀값을 가진 인접 픽셀로 대체하는 영상 처리 방법.
  17. 제15항에 있어서,
    상기 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별하는 단계는,
    상기 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들을 보간하여 보간값으로 대체하는 영상 처리 방법.
  18. 컬러 영상의 현재 블록의 적어도 하나의 주변 블록 및 상기 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별하는 단계;
    상기 적어도 하나의 주변 블록과 대응 블록을 이용하여 상기 현재 블록의 스킵 모드 또는 다이렉트 모드에 대한 최종 벡터를 결정하는 단계;
    상기 현재 블록의 최종 벡터를 이용하여 상기 현재 블록을 스킵 모드 또는 다이렉트 모드로 코딩하는 단계
    를 포함하는 영상 처리 방법.
  19. 제18항에 있어서,
    상기 현재 블록의 스킵 모드 또는 다이렉트 모드에 대한 최종 벡터를 결정하는 단계는,
    상기 대응 블록에서 상기 적어도 하나의 주변 블록의 움직임 벡터 또는 변이 벡터가 가리키는 보상 블록들을 결정하는 단계; 및
    상기 대응 블록의 깊이값과 상기 보상 블록들 각각의 깊이값을 비교하는 단계
    를 포함하는 영상 처리 방법.
  20. 제19항에 있어서,
    상기 현재 블록의 스킵 모드 또는 다이렉트 모드에 대한 최종 벡터를 결정하는 단계는,
    상기 대응 블록의 깊이값과 상기 보상 블록 각각의 깊이값 간의 차이값을 변이 차이값으로 변환한 차이값에서 가장 작은 차이값을 가지는 주변 블록의 움직임 벡터 혹은 변이 벡터를 사용하는 영상 처리 방법.
  21. 제19항에 있어서,
    상기 현재 블록의 스킵 모드 또는 다이렉트 모드에 대한 최종 벡터를 결정하는 단계는,
    상기 깊이 영상을 촬영한 카메라의 파라미터를 이용하여 깊이값 간의 차이값을 변이 차이값으로 변환하는 영상 처리 방법.
  22. 코딩하고자 하는 컬러 영상의 현재 블록에 대해 적어도 하나의 주변 블록들의 움직임 벡터를 추출하는 움직임 벡터 추출부;
    상기 주변 블록들의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 예측하는 움직임 벡터 예측부
    를 포함하는 영상 처리 장치.
  23. 제22항에 있어서,
    상기 주변 블록의 움직임 벡터를 추출하는 단계는,
    상기 주변 블록이 움직임 벡터를 가지고 있지 않은 경우, 상기 주변 블록의 움직임 벡터를 영 벡터로 대체하는 영상 처리 장치.
  24. 코딩하고자 하는 컬러 영상의 현재 블록에 대해 주변 블록의 변이 벡터를 추출하는 변이 벡터 추출부; 및
    상기 주변 블록의 변이 벡터를 이용하여 현재 블록의 변이 벡터를 예측하는 변이 벡터 예측부
    를 포함하는 영상 처리 장치.
  25. 제24항에 있어서,
    상기 변이 벡터 추출부는,
    상기 주변 블록이 변이 벡터를 가지고 있지 않은 경우, 상기 현재 블록에 대응하는 깊이 영상의 대응 블록을 이용하여 상기 주변 블록의 변이 벡터를 추출하는 영상 처리 장치.
  26. 제25항에 있어서,
    상기 현재 블록에 대응하는 깊이 영상은,
    상기 컬러 영상의 크기와 동일하게 변환된 크기를 갖거나 또는 상기 컬러 영상의 크기와 다른 영상 처리 장치.
  27. 제25항에 있어서,
    상기 변이 벡터 추출부는,
    상기 주변 블록이 변이 벡터를 가지고 있지 않은 경우, 상기 현재 블록에 대응하는 깊이 영상의 대응 블록에서 가장 큰 깊이값을 변이 벡터로 전환하여, 상기 주변 블록의 변이 벡터로 대체하는 영상 처리 장치.
  28. 제25항에 있어서,
    상기 현재 블록에 대응하는 깊이 영상의 대응 블록은,
    상기 컬러 영상에 대응하는 깊이 영상의 대응 블록을 포함하는 영상 처리 장치.
  29. 제25항에 있어서,
    상기 변이 벡터 추출부는,
    상기 현재 블록에 대응하는 깊이 영상이 존재하지 않는 경우, 상기 현재 블록이 포함된 컬러 영상의 주변 컬러 영상 또는 주변 깊이 영상을 이용하여 상기 현재 블록에 대응하는 깊이 영상을 추정하는 영상 처리 장치.
  30. 제29항에 있어서,
    상기 변이 벡터 추출부는,
    상기 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들 중 가장 큰 픽셀값을 가진 인접 픽셀로 대체하는 영상 처리 장치.
  31. 제30항에 있어서,
    상기 변이 벡터 추출부는,
    상기 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들을 보간하여 그 대체하는 영상 처리 장치.
  32. 코딩하고자 하는 컬러 영상의 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별하는 대응 블록 식별부; 및
    상기 깊이 영상의 대응 블록에서 가장 큰 깊이값을 변이 벡터로 전환하여 상기 현재 블록의 변이 벡터를 예측하는 변이 벡터 예측부
    를 포함하는 영상 처리 장치.
  33. 제32항에 있어서,
    상기 대응 블록 식별부는,
    상기 컬러 영상에 대응하는 깊이 영상의 대응 블록을 식별하는 영상 처리 장치.
  34. 제32항에 있어서,
    상기 현재 블록에 대응하는 깊이 영상은,
    상기 컬러 영상의 크기와 동일하게 변환된 크기를 갖거나 또는 상기 컬러 영상의 크기와 다른 영상 처리 방법.
  35. 제32항에 있어서,
    상기 대응 블록 식별부는,
    상기 현재 블록에 대응하는 깊이 영상이 존재하지 않는 경우, 상기 현재 블록이 포함된 컬러 영상의 주변 컬러 영상 또는 주변 깊이 영상을 이용하여 상기 현재 블록에 대응하는 깊이 영상을 추정하는 영상 처리 장치.
  36. 제32항에 있어서,
    상기 대응 블록 식별부는,
    상기 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들 중 가장 큰 픽셀값을 가진 인접 픽셀로 대체하는 영상 처리 장치.
  37. 제32항에 있어서,
    상기 대응 블록 식별부는,
    상기 추정된 현재 블록에 대응하는 깊이 영상에서 정의되지 않은 공백 픽셀을 인접 픽셀들을 보간하여 그 보간값으로 대체하는 영상 처리 장치.
  38. 컬러 영상의 현재 블록의 적어도 하나의 주변 블록 및 상기 현재 블록에 대응하는 깊이 영상의 대응 블록을 식별하는 대응 블록 식별부;
    상기 적어도 하나의 주변 블록과 대응 블록을 이용하여 상기 현재 블록의 스킵 모드 또는 다이렉트 모드에 대한 최종 벡터를 결정하는 최종 벡터 결정부;
    상기 현재 블록의 최종 벡터를 이용하여 상기 현재 블록을 스킵 모드 또는 다이렉트 모드로 코딩하는 영상 코딩부
    를 포함하는 영상 처리 장치.
  39. 제38항에 있어서,
    상기 최종 벡터 결정부는,
    상기 대응 블록에서 상기 적어도 하나의 주변 블록의 움직임 벡터 또는 변이 벡터가 가리키는 보상 블록들을 결정하고, 상기 대응 블록의 깊이값과 상기 보상 블록들 각각의 깊이값을 비교하는 영상 처리 장치.
  40. 제39항에 있어서,
    상기 최종 벡터 결정부는,
    상기 대응 블록의 깊이값과 상기 보상 블록 각각의 깊이값 간의 차이값을 변이 차이값으로 변환하고, 상기 변이 차이값에서 가장 작은 차이값을 변이 벡터로 변환하는 영상 처리 장치.
  41. 제40항에 있어서,
    상기 최종 벡터 결정부는,
    상기 깊이 영상을 촬영한 카메라의 파라미터를 이용하여 깊이 차이값을 변이 차이값으로 변환하는 영상 처리 장치.
  42. 제1항, 제4항, 제12항, 및 제18항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020120074189A 2012-04-16 2012-07-06 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치 KR20130116777A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/856,669 US20130271567A1 (en) 2012-04-16 2013-04-04 Image processing method and apparatus for predicting motion vector and disparity vector

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261624621P 2012-04-16 2012-04-16
US61/624,621 2012-04-16
US201261651275P 2012-05-24 2012-05-24
US61/651,275 2012-05-24

Publications (1)

Publication Number Publication Date
KR20130116777A true KR20130116777A (ko) 2013-10-24

Family

ID=49635780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120074189A KR20130116777A (ko) 2012-04-16 2012-07-06 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20130116777A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630992B2 (en) 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630992B2 (en) 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image

Similar Documents

Publication Publication Date Title
JP7248741B2 (ja) デプスマップの推定および更新を用いる効率的なマルチビュー符号化
KR101370919B1 (ko) 신호처리방법 및 장치
KR102137266B1 (ko) 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
KR101653118B1 (ko) 3d 장면의 하나 이상의 비디오를 처리하는 방법
KR20120080122A (ko) 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
KR20150109282A (ko) 다시점 비디오 신호 처리 방법 및 장치
US20130271567A1 (en) Image processing method and apparatus for predicting motion vector and disparity vector
KR20120084629A (ko) 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
Schwarz et al. Inter-view prediction of motion data in multiview video coding
CN106664423B (zh) 视频编译中的深度图片编译方法
KR20150110357A (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2014075625A1 (en) Method and apparatus of constrained disparity vector derivation in 3d video coding
KR20120066579A (ko) 다시점 비디오 부호화/복호화 장치 및 방법
US20170289573A1 (en) Method and device for encoding/decoding 3d video
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
KR20150037847A (ko) 비디오 신호 처리 방법 및 장치
KR20120083200A (ko) 깊이 영상 부호화/복호화 장치 및 방법
Zhang et al. Inter-view motion prediction in 3D-HEVC
US9900620B2 (en) Apparatus and method for coding/decoding multi-view image
KR20160004946A (ko) 다시점 비디오 신호 처리 방법 및 장치
KR20080006495A (ko) 비디오 신호의 디코딩 방법 및 장치
KR20130116777A (ko) 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
KR102133936B1 (ko) ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법
Thirumalai et al. Inter-view motion vector prediction for depth coding

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination