KR20080015760A - 비디오 신호 디코딩 방법 및 장치 - Google Patents

비디오 신호 디코딩 방법 및 장치 Download PDF

Info

Publication number
KR20080015760A
KR20080015760A KR1020070082466A KR20070082466A KR20080015760A KR 20080015760 A KR20080015760 A KR 20080015760A KR 1020070082466 A KR1020070082466 A KR 1020070082466A KR 20070082466 A KR20070082466 A KR 20070082466A KR 20080015760 A KR20080015760 A KR 20080015760A
Authority
KR
South Korea
Prior art keywords
motion vector
block
information
current block
reference picture
Prior art date
Application number
KR1020070082466A
Other languages
English (en)
Inventor
구한서
전병문
박승욱
전용준
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20080015760A publication Critical patent/KR20080015760A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 시점간 움직임 보상(inter-view motion prediction)을 이용하여 비디오 신호를 디코딩할 수 있는 비디오 신호 디코딩 방법 및 장치에 관한 것으로서, 비디오 신호로부터 이웃블록의 예측정보 및 카메라정보(camera information)를 추출하는 단계; 상기 이웃블록의 예측모드가 시점간 예측인 이웃블록의 움직임벡터 및, 상기 카메라정보를 이용하여 보정된 움직임벡터를 생성하는 단계; 및, 상기 보정된 움직임벡터를 이용하여 현재 블록의 움직임벡터 예측값을 획득하는 단계를 포함한다. 본 발명에 따르면, 이웃블록의 움직임벡터 뿐만 아니라 카메라정보를 이용하여 현재 블록의 움직임벡터 예측값을 생성함으로써, 부호화할 움직임벡터 차분값의 데이터량을 줄일 수 있다.
비디오, 카메라, 다시점

Description

비디오 신호 디코딩 방법 및 장치{METHOD FOR DECODING A VIDEO SIGNAL, AND APPARATUS FOR IMPLEMENTING THE SAME}
본 발명은 비디오 신호 디코딩 방법 및 장치에 관한 것으로서, 더욱 상세하게는 시점간 움직임 보상(inter-view motion prediction)을 이용하여 비디오 신호를 디코딩할 수 있는 비디오 신호 디코딩 방법 및 장치에 관한 것이다.
일반적으로, 시점방향의 픽처들은 서로 다른 위치의 카메라들에 의해 촬영된 일련의 픽처들로서, 동시간의 시점간 픽처들은 카메라의 위치차이에 의한 이동만이 존재하므로, 서로 유사한 부분이 많다. 시점간 움직임 보상을 위한 움직임 벡터의 경우에도, 하나의 픽처에 속하는 각 블록들의 움직임 벡터값들은 서로 유사할 수 있다. 따라서 현재 블록의 움직임 벡터를 예측하는 데 있어서, 이웃 블록의 움직임 벡터값을 이용하는 것이 매우 유용하다.
그러나 카메라가 평행하게 위치하지 않은 경우, 각 시점의 픽처상의 에피폴라 라인들은 서로 평행하지 않은 데, 이런 경우, 이웃 블록의 움직임 벡터값 및 현재 블록의 움직임벡터값의 차이가 커짐에 따라, 현재 블록의 움직임벡터 예측값과 현재 블록의 움직임벡터값과의 차이인 움직임벡터 차분값의 데이터량이 커지는 문 제점이 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 이웃블록의 움직임 벡터를 이용하여 현재 블록의 움직임벡터를 예측하는 데 있어서, 카메라 정보를 이용하여 움직임벡터 오프셋을 고려할 수 있는 비디오 신호 디코딩 방법 및 장치를 제공하는데 그 목적이 있다.
본 발명의 또 다른 목적은 이웃블록의 움직임벡터 뿐만 아니라 카메라정보를 이용하여 현재 블록의 움직임벡터 예측값을 생성함으로써, 부호화할 움직임벡터 차분값의 데이터량을 줄일 수 있는 비디오 신호 디코딩 방법 및 장치를 제공하는데 있다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 디코딩 방법은, 비디오 신호로부터 이웃블록의 예측정보 및 카메라정보(camera information)를 추출하는 단계; 상기 이웃블록의 예측모드가 시점간 예측인 이웃블록의 움직임벡터 및, 상기 카메라정보를 이용하여 보정된 움직임벡터를 생성하는 단계; 및, 상기 보정된 움직임벡터를 이용하여 현재 블록의 움직임벡터 예측값을 획득하는 단계를 포함한다.
본 발명에 의하면, 상기 카메라 정보는, 카메라 파라미터, 호모지니어스 매트릭스 성분, 카메라 매트릭스 성분, 및 기본 매트릭스 성분 중 하나 이상을 포함할 수 있다.
본 발명에 의하면, 상기 추출하는 단계는, 플래그 정보에 따라 상기 카메라 파라미터, 상기 호모지니어스 매트릭스, 상기 카메라 매트릭스 및 상기 기본 매트릭스 중 하나 이상을 추출하는 단계일 수 있다.
본 발명에 의하면, 상기 추출하는 단계에서, 현재 블록의 유형 정보가 더 추출되고, 상기 현재 블록의 유형 정보를 근거로 하여, 현재 블록의 이웃블록을 결정하는 단계를 더 포함할 수 있다.
본 발명에 의하면, 상기 현재 블록의 유형 정보는, 현재 블록의 부분 인덱스정보를 포함할 수 있다.
본 발명에 의하면, 상기 이웃블록의 예측모드는, 상기 이웃블록의 예측정보를 근거로 조회된 것일 수 있다.
본 발명에 의하면, 상기 이웃블록의 예측정보는, 움직임벡터 및 참조픽처 인덱스정보를 포함하고, 현재 블록의 참조픽처 인덱스정보를 추출하는 단계를 더 포함하고, 상기 생성하는 단계는 상기 이웃블록의 참조픽처 인덱스정보 및, 상기 현재 블록의 참조픽처 인덱스정보의 동일한 이웃블록의 경우에 수행되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
본 발명에 의하면, 상기 획득하는 단계는, 현재 블록의 참조픽처 인덱스정보와 동일한 이웃블록이 1개인 경우, 상기 보정된 움직임벡터를 현재 블록의 움직임벡터 예측값으로서 획득하는 단계일 수 있다.
본 발명에 의하면, 상기 획득하는 단계는, 현재 블록의 참조픽처 인덱스정보와 동일한 이웃블록이 2개 이상인 경우, 상기 현재 블록의 참조픽처 인덱스정보와 동일한 이웃블록의 움직임벡터를 0으로 설정한 후, 상기 둘이상의 보정된 움직임벡터들을 포함하는 움직임벡터들의 성분의 중앙값을 산출함으로써, 현재 블록의 움직임벡터 예측값을 획득하는 단계일 수 있다.
본 발명에 의하면, 상기 생성하는 단계는, 상기 카메라정보를 이용하여 현재 블록의 위치에서의 움직임벡터의 오프셋을 산출하는 단계; 및, 상기 움직임벡터의 오프셋, 및 상기 이웃블록의 움직임벡터를 벡터 합함으로써, 보정된 움직임벡터를 생성하는 단계를 포함할 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 신호로부터 이웃블록의 예측정보 및 카메라정보(camera information)를 추출하는 정보 추출부; 및, 상기 이웃블록의 예측모드가 시점간 예측인 이웃블록의 움직임벡터를 카메라정보를 이용하여 보정하고, 상기 보정된 움직임벡터를 이용하여 현재 블록의 움직임벡터 예측값을 획득하는 움직임벡터 예측부를 포함하는 비디오 신호 디코딩 장치가 제공된다.
본 발명의 일 측면에 따르면, 카메라정보를 이용하여 현재 블록의 움직임벡터 예측값이 보정될 수 있기 때문에, 보정된 움직임벡터 예측값과 원래 움직임벡터값과의 차이인 움직임벡터의 차분값(mvd)의 데이터량이 현저히 줄어듦에 따라, 비트스트림의 압축 효율이 상승되는 효과가 있다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 및 도 2는 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 방법의 기본 개념을 설명하기 위한 도면이다. 우선, 도 1 중 (a)을 살펴보면, 에피폴라 라인(실제 위치를 이은 선)(E1, E2, E3)이 평행한 경우이다. 이런 경우, 현재 블록(cur)의 시점간 보상(View 0 및 View 1간의 보상)을 위한 움직임벡터(2,0)는 이웃블록(A, B, C)의 시점간 보상을 위한 움직임벡터들((2,0), (2,0), (2,0))과 거의 동일하다. 반면, 도 1 중 (b)을 살펴보면, 에피폴라 라인(E1, E2, E3)이 평행하지 않은 경우이다. 이런 경우, 현재 블록(cur)의 시점간 보상을 위한 움직임벡터(2,0)는 이웃블록(A, B, C)의 시점간 보상을 위한 움직임벡터들((2,0), (2,1), (2, 1.5))과는 동일하지 않을 뿐만 아니라, 그 움직임벡터값들의 중앙값을 취한 값(2,1)과 큰 차이를 보인다.
도 2를 참조하면, 에피폴라 라인(각 물체의 실체 위치를 이은 선)들이 도시된 바와 같이 평행하지 않은 경우, 앞서 설명한 바와 같이 특정 블록의 움직임벡터(vec2)와 그 이웃 블록의 움직임벡터(vec1)는 동일하지 않고 차이값(vec_diff)을 갖게 된다. 따라서, 이웃 블록의 움직임벡터(vec1)를 이용하여 특정 블록의 움직임벡터(vec2)를 예측하는 경우, 움직임벡터(vec1)에 차이값(vec_diff)을 보정해준 값을 현재 블록의 움직임벡터 예측값으로 사용하는 것이 바람직하다. 이를 위한 디코딩 장치의 각 구성, 및 디코딩 방법에 관한 각 단계에 관해서 후술하고자 한다.
도 3은 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 장치의 구성을 보여주는 도면이고, 도 4 내지 6은 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 방법의 순서를 보여주는 도면이다. 도 3 및 도 4를 참조하면, 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 장치(100)는 정보 추출부(110) 및 움직임벡터 예측부(120)를 포함한다.
정보 추출부(110)는 카메라 정보의 유형을 나타내는 플래그 정보를 추출하고, 플래그 정보에 따라 카메라 정보를 추출한다(S110 단계). 여기서, 카메라정보란, 일련의 픽처들인 시퀀스를 생성하는 카메라에 관한 정보로서, 하나의 카메라에 의해 촬영되는 일련의 픽처들은 하나의 시점 또는 뷰(view)를 구성한다. 또는 카메라의 위치가 변경되는 경우에도 새로운 시점 또는 뷰를 구성할 수도 있다. 한편, 카메라정보의 유형은, 1) 카메라 파라미터, 2) 호모지니어스 매트릭스, 3) 카메라 매트릭스, 및 4) 기본 매트릭스 등이 있을 수 있다. 이하에서는, 4가지의 카메라정보의 유형에 관해서 각각 순서대로 설명하고자 한다.
1) 카메라 파라미터는 고유의(intrinsic) 카메라 파라미터 및 비고유의 카메라 파라미터(extrinsic) 카메라 파라미터가 있을 수 있는데, 고유의 카메라 파라미터에는 초점 거리(focal length), 가로세로비(aspect ratio), 삐뚤어진 각 도(skew), 주점(principal point) 등이 있을 수 있고, 비고유의 카메라 파라미터에는 세계 좌표계에서에서의 카메라의 위치정보 등이 있을 수 있다.
2) 호모지니어스 매트릭스(Homogeneous)는, 도 7 및 수학식 1과 같이 특정 뷰(view)(x)를 세계 좌표계의 정렬된 뷰(x')로 바꾸기 위한 것이다.
Figure 112007059266559-PAT00001
Figure 112007059266559-PAT00002
여기서, x'는 세계 좌표계에서의 점,
x는 각 뷰의 로컬 좌표계에서의 점,
H는 호모지니어스 매트릭스.
3) 카메라 매트릭스(Camera Matrix)는 각 뷰에서의 로컬 좌표계, 및 세계좌표계간의 관계를 기술하는 것으로서, 이 관계는 도 8 및 수학식 2와 같이 표현될 수 있다.
Figure 112007059266559-PAT00003
여기서, x는 현재 뷰의 로컬 좌표계에서의 점,
X는 세계 좌표계에서의 점,
P는 카메라 매트릭스.
카메라 매트릭스(P)는 카메라 파라미터를 이용하여 다음 수학식 3과 같이 표현될 수 있다.
Figure 112007059266559-PAT00004
여기서, A는 현재 카메라의 고유의 파라미터,
R은 로테이션(rotation),
t는 변환(translation).
수학식 3에서 벡터 A를 자세하게 표현하면 다음 수학식 4와 같다.
Figure 112007059266559-PAT00005
여기서, r은 가로세로비(aspect ratio), s는 삐뚤어진 각도(skew), f는 초점 거리, x0, y0은 주점.
4) 기본 매트릭스(Fundamental matrix)는 한 쌍의 뷰간의 기하학적 관계를 기술하는 것으로서, 도 9 및 수학식 5와 같이 표현될 수 있다.
Figure 112007059266559-PAT00006
여기서, x' 및 x는 각 로컬 좌표계에서의 점들,
F는 기본 매트릭스.
여기서, 기본 매트릭스는 두 카메라의 고유의(intrinsic) 및 비고유의(extrinsic)의 카메라 파라미터를 통해 획득될 수 있다.
다시, 도 3 및 도 4를 참조하면, 정보 추출부(110)는 또한, 이웃블록의 예측정보, 현재 블록의 참조픽처 인덱스정보, 및 현재 블록의 유형정보 등을 추출한다(S120 단계). 도 10에는 이웃블록의 움직임벡터 및 참조픽처 인덱스정보가 도시되어 있다. 현재 블록의 이웃블록이란, 현재 블록의 좌측 블록(A), 상단 블록(B), 상단우측 블록(C)을 포함하는 것일 수 있지만, 본 발명은 이에 한정되지 아니한다. S120 단계에서는 적어도 이웃블록에 해당하는 움직임벡터(mvLXA, mvLXB, mvLXC) 및 참조픽처 인덱스정보(refIdxLXA, refIdxLXB, refIdxLXC)를 추출한다.
움직임벡터 예측부(120)는 S120 단계에서 추출된 현재 블록의 유형정보(mbtype)를 근거로, 현재 블록의 유형이 8x16 또는 16x8인지 아닌지 여부를 판단한다(S130 단계). 만약, 8x16도 16x8도 아닌 경우(S130 단계의 '아니오'), S210 단계 내지 S380 단계가 진행되는 데, 이는 도 5 및 도 6과 함께 후술하고자 한다.
현재 블록의 유형이 8x16 또는 16x8인 경우(S130 단계의 '예'), 현재 블록의 부분 인덱스 정보(mbPartIdx)를 근거로, 참조할 이웃블록을 결정한다(S140 단계). 도 11은 현재 블록의 유형이 16x8 또는 8*16일 경우, 각 경우의 이웃블록을 나타낸 도면이다. 도 11을 참조하면, 도 11 중 (a)의 경우와 같이, 즉, 현재 블록이 16x8이고 상단에 위치하는 경우, 상단 블록(B)을 참조할 이웃블록으로 결정할 수 있고, (b)의 경우와 같이, 현재 블록이 16x8이고 하단에 위치하는 경우, 좌측 블록(A)을 참조할 이웃블록으로 결정할 수 있다. (c)의 경우와 같이, 현재 블록이 8x16이고 좌측에 위치하는 경우, 좌측 블록(A)으로 결정할 수 있고, (d)의 경우와 같이 현재 블록이 8x16이고, 우측에 위치하는 경우 상단우측 블록(C)을 이웃블록으로 결정할 수 있다.
그런 다음, 이웃블록의 예측모드가 시점간 예측인지 여부를 조회하고(S150 단계). 시점간 예측일 경우(S150 단계의 '예'), S110 단계에서 추출된 카메라정보를 이용하여 현재 블록의 위치에서의 움직임벡터의 오프셋(vec_diff)을 산출하고, 그 오프셋(vec_diff) 및 이웃블록의 움직임벡터를 벡터합함으로써, 보정된 움직임벡터를 생성한다(S160 단계). 그런 다음, 보정된 움직임벡터를 이용하여 현재 블록의 움직임벡터 예측값(mvpLX)을 획득한다(S170 단계).
만약, S150 단계에서, 이웃블록의 예측모드가 시점간 예측이 아닐 경우(시간방향의 예측일 경우)(S150 단계의 '아니오'), 이웃블록의 움직임벡터를 그대로 이용하여 현재 블록의 움직임벡터 예측값(mvpLX)을 획득한다(S180 단계).
이하에서는, 도 3 및 도 5, 도 6을 참조하면서, S130 단계에서 현재 블록의 유형이 8x16 또는 16x8이 아닌 경우(S130 단계의 '아니오')에 진행되는 단계에 관해서 설명하고자 한다. 이 경우, 현재 블록의 예측모드와 동일한 이웃블록이 하나도 없는 경우(S210 단계의 '예'), 현재 블록의 움직임벡터 예측값(mvpLX)을 0으로 결정한다(S220 단계). 예를 들어, 현재 블록의 예측모드가 시점간 예측이고, 블록의 좌측(A), 상단(B), 상단우측(C)의 예측모드가 모드 시간방향의 예측인 경우, 현재 블록의 움직임벡터 예측값을 0으로 결정하는 것이다.
만약, 현재 블록의 예측모드와 동일한 이웃블록이 1개인 경우(S210 단계의 ' 아니오', S230 단계의 '예'), 해당 이웃블록의 예측 모드(또는 현재 블록의 예측모드)가 시점간 예측인 경우(S240 단계의 '예')(즉, 해당 이웃블록의 참조픽처가 다른 시점에 존재할 경우), 카메라정보를 이용하여 해당 움직임벡터를 보정한다(S250 단계). 만약, 현재 블록의 예측모드가 시점간 예측이고, 좌측 블록(A)만이 시점간 예측인 경우, 앞서 S160 단계 및 S170 단계와 마찬가지로, 카메라정보 및 이웃블록의 움직임 벡터를 이용하여 보정된 움직임벡터를 생성하고(S250 단계), 이를 통해 현재 블록의 움직임 예측값을(mvpLX)을 획득한다(S260 단계). 반대로, S240 단계에서, 현재 블록의 예측 모드가 시점간 예측이 아닌 경우(S240 단계의 '아니오')(즉, 현재 블록의 참조픽처가 다른 시점에 존재하지 않을 경우), 해당 움직임벡터를 그대로 이용하여 현재 블록의 움직임벡터 예측값(mvpLX),를 획득한다(S270 단계).
한편, 예측모드가 동일한 이웃블록이 2개 이상인 경우(S210 단계의 '아니오', S230 단계의 '아니오 '), 참조픽처 인덱스정보가 현재 블록과 동일한 이웃블록이 1개인지 조회한다(S310 단계). 만약, 현재 블록의 참조픽처가 동일한 이웃블록이 1개인 경우(S310 단계의 '예'), 해당 이웃블록의 예측 모드(또는 현재 블록의 예측모드)가 시점간 예측인 경우(즉, 해당 이웃블록의 참조픽처가 다른 시점에 존재할 경우)(S320 단계의 '예'), S160 단계 및 S170 단계(또는 S250 단계 및 S260)와 마찬가지로, 보정된 움직임벡터를 생성하고(S330 단계), 현재 블록의 움직임벡터 예측값(mvpLX)를 획득한다(S340 단계). 반대로, 해당 이웃블록의 예측 모드(또는 현재 블록의 예측모드)가 시점간 예측인 경우(S320 단계의 '아니오'), 해당 이웃블록의 움직임벡터를 그대로 이용하여 현재 블록의 움직벡터 예측값(mvpLX)를 획 득한다(S350 단계).
한편, S310 단계에서 참조픽처 인덱스정보가 동일한 이웃블록이 2개 이상인 경우(S310 단계의 '아니오')는, 우선 해당 이웃블록(즉, 인덱스정보가 동일한 이웃블록)의 움직임벡터를 0으로 설정하고, 이웃블록의 참조픽처 인덱스정보를 '-1'로 설정한다(S360 단계). 그런 다음, 그 중 시점간 예측인 이웃블록의 움직임벡터만을 S160 단계 또는 S250 단계와 마찬가지로 카메라정보를 이용하여 보정한다. 그런 다음, 이웃블록들의 움직임벡터들을 이용하여 현재 블록의 움직임벡터 예측값(mvpLX)을 획득한다(S380 단계). 이때, 다음 수학식 6이 이용될 수 있다.
mvpLX[0]= Median( mvLXA[0], mvLXB[0], mvLXC[0])
mvpLX[1]= Median( mvLXA[1], mvLXB[1], mvLXC[1])
여기서, mvLXN는 시점간 예측인 경우 warp(mvLXN)를 의미,
warp()은 보정 후의 움직임벡터.
도 12는 시점이 다른 픽처간 옵셋(offset)을 설명하기 위한 도면이다. 도 12를 참조하면, 왼쪽의 시점1(view1)의 픽처와, 오른쪽의 시점2(view2) 픽처를 비교할 때, 에피폴라 라인(epipolar lines)이 서로 평행하지가 않는데, 시점1 픽처의 A지점과 시점2 픽처의 B지점은 옵셋(offset)이 존재하고, 이 옵셋은 x 방향 뿐만 아니라 y 방향의 성분도 존재하고, 또한 각 위치(x,y)마다 달라질 수 있다.
도 13은 본 발명의 제2 실시예에 따른 비디오 신호 디코딩 방법의 기본 개념을 설명하기 위한 도면으로서, 구체적으로 카메라정보를 이용하여 공간 직접 예측 모드(spatial direct prediction mode)를 수행하는 내용에 관한 것이다. 도 13을 참조하면, 현재 픽처와 현재 픽처에서 후방으로 가장 가까운 픽처인 앵커픽처가 존재하고, 앵커픽처에는 현재 블록과 동일 위치(co-located)에 앵커 블록이 존재한다. 이때 앵커블록의 움직임벡터(mvCol)의 값을 소정 범위 이내일 경우(예, 1에서 -1사이), 앵커 블록은 거의 정지영상으로 볼 수 있으므로, 현재 블록의 움직임벡터(mvL0, mvL1) 또한 0으로 설정할 수 있는 것이다. 이 과정에서 앵커블록의 움직임벡터(mvCol)를 구하는 데 있어서, 도 12와 함께 설명한 시점간 옵셋(offset)을 고려할 수 있는 데, 이에 대한 구체적인 설명은 도 14 내지 16과 함께 후술하고자 한다.
도 14는 본 발명의 제2 실시예에 따른 비디오 신호 디코딩 장치의 구성을 보여주는 도면이고, 도 15 및 도 16은 본 발명의 제2 실시예에 따른 비디오 신호 디코딩 방법의 순서를 보여주는 도면이다. 본 발명의 제2 실시예에 따른 비디오 신호 디코딩 장치(100)는 정보추출부(210), 공간직접예측모드 판별부(220), 공간직접예측 수행부(230), 움직임벡터 획득부(240)를 포함한다. 정보추출부(210)는 카메라정보, 직접예측모드플래그(direct_spatial_mb_pred_flag), 현재블록의 유형정보(mb_type, sub_mb_type) 등을 추출한다(S410 단계). 그러면, 공간직접예측모드 판별부(220)는 S110 단계에서 추출된 직접예측모드플래그, 현재블록의 유형정보 등을 이용하여 현재 블록이 공간직접예측모드를 판별한다(S420 단계). 예를 들어, 직접예측모드플래그(direct_spatial_mb_pred_flag)가 1이고, 현재 블록이 'B_Skip', 'B_Direct_8*8' 등일 경우, 현재블록이 공간직접예측모드임을 판별할 수 있지만, 본 발명은 이에 한정되지 아니한다.
S420 단계에서, 현재 블록이 공간직접예측모드임이 판별되었을 경우, 공간직접예측 수행부(230)는, 우선 참조픽처리스트(refPicList0, refPicList1)등을 참조하여, 이웃블록의 움직임정보(이웃블록의 움직임벡터(mvLXN), 및 참조픽처정보(refIdxLXN))를 획득한다(S430 단계). 여기서 물론 이웃블록이란, 도 10과 함께 설명된 바와 같이, 현재 블록의 좌측 블록(A), 상단 블록(B), 상단우측 블록(C)을 포함하는 것일 수 있지만, 본 발명은 이에 한정되지 아니한다.
그런 다음, 이웃블록의 예측모드(시간방향 예측모드인지, 시점방향 예측모드)가 현재 블록의 예측모드와 동일한지 반대인지를 판단한다(S440 단계). 만약, 현재 블록과 예측모드와 다른 이웃블록이 있는 경우(S440 단계의 '아니오'), 그 해당 이웃블록의 참조픽처인덱스(refIdxLXN)를 '-1'로 설정하고, 움직임벡터(mvLXN)을 0으로 설정한다(S450 단계).
반대로, S440 단계의 '예'인 경우, 이웃블록의 참조픽처인덱스(refIdxLXN)를 이용하여 현재블록의 참조픽처인덱스(refIdxLX)를 결정한다(S460 단계). 이때, 다음 수학식 7이 이용될 수 있지만 본 발명은 이에 한정되지 아니한다.
refIdxL0 = MinPositive (refIdxL0A, MinPositive (refIdxL0B, refIdxL0C))
refIdxL1 = MinPositive (refIdxL1A, MinPositive (refIdxL1B, refIdxL1C))
이때, MinPositive(x,y) = Min(x,y) if x>=0 and y>=0
Max(x,y) otherwise
S460 단계에서 결정된 현재 블록의 참조픽처인덱스가 0보다 작은 경우(S470 단계의 '예'), 현재 블록의 참조픽처인덱스(refIdxLX)를 0으로 설정하고, 예측부존재플래그(directZeroPredictonFlag)를 1로 설정한다(S480 단계). 그런 다음, 현재블록의 움직임벡터(mvLX)를 0으로 설정하고(S490 단계), 절차를 종료한다.
한편, S460 단계에서 결정된 현재 블록의 참조픽처인덱스가 0보다 작지 않을 경우, 예측부존재플래그(directZeroPreditionFlag)를 0으로 설정하고(S500 단계), S510 단계 이후가 진행된다.
도 14 및 도 16을 참조하면, 공간직접예측 수행부(230)는 앵커블록의 참조픽처인덱스(refIdxCol) 및 앵커블록의 움직임벡터(mvCol)를 획득한다(S510 단계). 여기서 앵커블록은 도 13과 설명한 바와 같이, 현재 픽처에서 후방으로 가장 가까운 픽처인 앵커픽처 중에서, 현재 블록과 동일 위치(co-located)의 블록을 의미한다. 카메라정보를 이용하여 앵커블록의 움직임벡터(mvCol)를 보정하여 보정된 움직임벡터(mvCol')을 획득한다(S520 단계). 여기서 카메라정보란, 도 3과 함께 설명된 바 있으므로, 여기서는 생략하고자 한다. 이때 보정된 움직임벡터는 다음 수학식 8 또는 수학식 9를 이용하여 생성할 수 있다.
mvCol′ = mvCol - offset
수학식 8은 카메라가 평행하게 존재하는 경우에 해당하는 것으로서, 이 경우 옵셋(offset)은 위치(x,y)와 무관하게 동일할 수 있으므로 글로벌 모션벡터(Global dv)를 이용하여 산출될 수 있다. 또한, 여기서 보정된 움직임벡터(mvCol')은 동일 위치의 블록에서 옵셋(offset)만큼 이동한 지점의 대응 블록으로부터 추출한 것일 수 있다.
mvCol′ = mvCol - offset(x,y)
수학식 8은 카메라가 평행하게 존재하지 않은 경우에 해당하는 것으로서, 이 경우 옵셋(offset)은 위치(x,y)에 따라 변화할 수 있고, 시점간 모션벡터(dv)를 이용하여 산출될 수 있다. 또한, 여기서 보정된 움직임벡터(mvCol')은 동일 위치의 블록에서 옵셋(offset)만큼 이동한 지점의 대응 블록으로부터 추출한 것일 수 있다.
S520 단계에서 앵커블록의 움직임벡터를 획득한 다음, 앵커블록이 소정의 정지조건을 만족하는지 여부를 판단한다(S530 단계). 정지조건이란, 다음 세 가지 조건을 모두 만족하는 경우일 수 있으나, 본 발명은 이에 한정되지 아니한다.
정지조건: 아래 1), 2), 3)을 모두 만족
1) 앵커블록의 움직임벡터(mvCol′)의 크기가 수평,수직 모두 +1에서 -1화소 이하
2) 앵커블록 참조픽처의 참조번호가 0
3) L1방향에서 최초 참조픽처가 단기 참조픽처
만약, S530 단계에서 정지조건을 만족하는 경우, 현재 블록 및 앵커블록간의 움직임이 거의 없음을 의미하는 것일 수 있으므로, 앵커블록정지플래그(colZeroFlag)를 1로 설정하고(S540 단계), 현재블록의 참조픽처인덱스(refldx) 가 0일 것을 조건으로(S550 단계의 '예'), 현재블록의 움직임벡터(mvLX)를 0으로 설정한다(S560 단계).
만약, S540 단계에서 정지조건을 만족하지 않는 경우, 앵커블록정지플래그(colZeroFlag)를 0으로 설정한다(S570 단계). 그리고 움직임벡터 획득부(240)는 앵커블록정지플래그(colZeroFlag)를 0이거나(S570 단계), 현재블록의 참조픽처인덱스(mvrefIdx)가 0 이상일 경우(S550의 '아니오'), 움직임 이웃블록의 움직임벡터(mvLXN)를 이용하여 현재블록의 움직임벡터(mvLX)를 획득한다(S580 단계). 이 때, 앞서 설명된 수학식 6이 이용될 수 있으나, 본 발명은 이에 한정되지 아니한다.
도 1 및 도 2는 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 방법의 기본 개념을 설명하기 위한 도면.
도 3은 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 장치의 구성도.
도 4 내지 도 6은 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 방법의 순서도.
도 7은 호모지니어스 매트릭스의 개념을 설명하기 위한 도면.
도 8은 카메라 매트릭스의 개념을 설명하기 위한 도면.
도 9는 기본 매트릭스의 개념을 설명하기 위한 도면.
도 10은 이웃블록의 움직임벡터 및 참조픽처 인덱스정보가 도시된 도면.
도 11은 현재 블록의 유형이 16x8 또는 8*16일 경우, 각 경우의 이웃블록을 나타낸 도면.
도 12는 시점이 다른 픽처간 옵셋(offset)을 설명하기 위한 도면.
도 13은 본 발명의 제2 실시예에 따른 비디오 신호 디코딩 방법의 기본 개념을 설명하기 위한 도면.
도 14는 본 발명의 제2 실시예에 따른 비디오 신호 디코딩 장치의 구성도.
도 15 및 도 16은 본 발명의 제2 실시예에 따른 비디오 신호 디코딩 방법의 순서도.

Claims (16)

  1. 비디오 신호로부터 이웃블록의 예측정보 및 카메라정보를 추출하는 단계;
    상기 이웃블록의 참조 픽처가 다른 시점에 존재할 때, 상기 이웃블록의 움직임벡터, 및 상기 카메라정보를 이용하여 보정된 움직임벡터를 생성하는 단계; 및,
    상기 보정된 움직임벡터를 이용하여 현재 블록의 움직임벡터 예측값을 획득하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  2. 제 1 항에 있어서,
    상기 카메라 정보는, 카메라 파라미터, 호모지니어스 매트릭스 성분, 카메라 매트릭스 성분, 및 기본 매트릭스 성분 중 하나 이상을 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  3. 제 2 항에 있어서,
    상기 추출하는 단계는, 플래그 정보에 따라 상기 카메라 파라미터, 상기 호모지니어스 매트릭스, 상기 카메라 매트릭스 및 상기 기본 매트릭스 중 하나 이상을 추출하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  4. 제 1 항에 있어서,
    상기 추출하는 단계에서, 현재 블록의 유형 정보가 더 추출되고,
    상기 현재 블록의 유형 정보를 근거로 하여, 현재 블록의 이웃블록을 결정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  5. 제 4 항에 있어서,
    상기 현재 블록의 유형 정보는, 현재 블록의 부분 인덱스정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  6. 제 1 항에 있어서,
    상기 이웃블록의 예측모드는, 상기 이웃블록의 예측정보를 근거로 조회된 것임을 특징으로 하는 비디오 신호 디코딩 방법.
  7. 제 1 항에 있어서,
    상기 이웃블록의 예측정보는, 움직임벡터 및 참조픽처 인덱스정보를 포함하고,
    현재 블록의 참조픽처 인덱스정보를 추출하는 단계를 더 포함하고,
    상기 생성하는 단계는 상기 이웃블록의 참조픽처 인덱스정보 및, 상기 현재 블록의 참조픽처 인덱스정보의 동일한 이웃블록의 경우에 수행되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  8. 제 7 항에 있어서,
    상기 획득하는 단계는,
    현재 블록의 참조픽처 인덱스정보와 동일한 이웃블록이 1개인 경우, 상기 보정된 움직임벡터를 현재 블록의 움직임벡터 예측값으로서 획득하는 단계인 것을 특징으로 하는 비디오 신호 디코딩 방법.
  9. 제 7 항에 있어서,
    상기 획득하는 단계는,
    현재 블록의 참조픽처 인덱스정보와 동일한 이웃블록이 2개 이상인 경우, 상기 현재 블록의 참조픽처 인덱스정보와 동일한 이웃블록의 움직임벡터를 0으로 설정한 후, 상기 둘이상의 보정된 움직임벡터들을 포함하는 움직임벡터들의 성분의 중앙값을 산출함으로써, 현재 블록의 움직임벡터 예측값을 획득하는 단계인 것을 특징으로 하는 비디오 신호 디코딩 방법.
  10. 제 1 항에 있어서,
    상기 생성하는 단계는,
    상기 카메라정보를 이용하여 현재 블록의 위치에서의 움직임벡터의 오프셋을 산출하는 단계; 및,
    상기 움직임벡터의 오프셋, 및 상기 이웃블록의 움직임벡터를 벡터 합함으로써, 보정된 움직임벡터를 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  11. 비디오 신호로부터 이웃블록의 예측정보 및 카메라정보를 추출하는 정보 추출부; 및,
    상기 이웃블록의 참조픽처가 다른 시점에 존재할 때 상기 이웃블록의 움직임벡터를 카메라정보를 이용하여 보정하고, 상기 보정된 움직임벡터를 이용하여 현재 블록의 움직임벡터 예측값을 획득하는 움직임벡터 예측부를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  12. 비디오 신호로부터 앵커블록의 움직임벡터 및 카메라정보를 추출하는 단계;
    상기 앵커블록의 참조 픽처가 다른 시점에 존재할 때, 상기 앵커블록의 움직임벡터, 및 상기 카메라정보를 이용하여 보정된 움직임벡터를 생성하는 단계; 및,
    상기 보정된 움직임벡터가 소정 범위 이내인지에 따라, 현재 블록의 움직임벡터를 0으로 설정하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  13. 제 12 항에 있어서,
    상기 설정하는 단계는,
    현재블록의 참조픽처가 현재 픽처의 참조픽처 중에서 현재픽처와 가장 가까운 참조픽처인 경우, 수행되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  14. 제 13 항에 있어서,
    상기 현재블록과 이웃하는 이웃블록의 참조픽처가 현재 픽처와 동일 시점인지, 및 현재 이웃블록의 참조픽처가 현재 픽처와 동일 시점에 따라, 해당 이웃블록의 참조픽처인덱스를 -1로 설정하는 단계; 및,
    상기 이웃블록의 참조픽처인덱스를 이용하여 상기 현재 블록의 참조픽처를 결정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  15. 제 12 항에 있어서,
    현재블록의 유형정보 및 공간직접예측정보를 근거로, 현재블록이 공간직접예측모드인지 여부를 판별하는 단계를 더 포함하고,
    상기 생성하는 단계 및 상기 설정하는 단계는, 현재블록이 공간직접예측모드인 경우에 수행되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  16. 비디오 신호로부터 앵커블록의 움직임벡터 및 카메라정보를 추출하는 정보추출부; 및,
    상기 앵커블록의 참조 픽처가 다른 시점에 존재할 때, 상기 앵커블록의 움직임벡터, 및 상기 카메라정보를 이용하여 보정된 움직임벡터를 생성하고, 상기 보정된 움직임벡터가 소정 범위 이내인지에 따라, 현재 블록의 움직임벡터를 0으로 설정하는 공간직접예측 수행부를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
KR1020070082466A 2006-08-16 2007-08-16 비디오 신호 디코딩 방법 및 장치 KR20080015760A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US83791306A 2006-08-16 2006-08-16
US60/837,913 2006-08-16
US83848006A 2006-08-18 2006-08-18
US60/838,480 2006-08-18

Publications (1)

Publication Number Publication Date
KR20080015760A true KR20080015760A (ko) 2008-02-20

Family

ID=39384108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070082466A KR20080015760A (ko) 2006-08-16 2007-08-16 비디오 신호 디코딩 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20080015760A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150029627A (ko) * 2012-05-10 2015-03-18 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN109997362A (zh) * 2016-11-22 2019-07-09 光云大学校产学协力团 在全向摄像机中使用有效差分运动矢量传送方法编码视频的方法和方法及装置
WO2020256468A1 (ko) * 2019-06-21 2020-12-24 삼성전자 주식회사 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150029627A (ko) * 2012-05-10 2015-03-18 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US10341677B2 (en) 2012-05-10 2019-07-02 Lg Electronics Inc. Method and apparatus for processing video signals using inter-view inter-prediction
CN109997362A (zh) * 2016-11-22 2019-07-09 光云大学校产学协力团 在全向摄像机中使用有效差分运动矢量传送方法编码视频的方法和方法及装置
US11218725B2 (en) * 2016-11-22 2022-01-04 Goldenwavepartners Co., Ltd. Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
US11711540B2 (en) 2016-11-22 2023-07-25 Goldenwavepartners Co., Ltd. Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
WO2020256468A1 (ko) * 2019-06-21 2020-12-24 삼성전자 주식회사 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
KR20200145754A (ko) * 2019-06-21 2020-12-30 삼성전자주식회사 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
KR20210024513A (ko) * 2019-06-21 2021-03-05 삼성전자주식회사 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법

Similar Documents

Publication Publication Date Title
US11659162B2 (en) Video processing using local illumination compensation
CN110581997B (zh) 运动矢量精度细化
WO2020147747A1 (en) Weighted prediction in video coding
WO2020108650A1 (en) Flag indication method in intra block copy mode
WO2020147805A1 (en) Deblocking filtering using motion prediction
WO2020147745A1 (en) Motion candidate lists that use local illumination compensation
US20220116650A1 (en) Size selective application of decoder side refining tools
US11991382B2 (en) Motion vector management for decoder side motion vector refinement
WO2020084475A1 (en) Utilization of refined motion vector
WO2020084509A1 (en) Harmonized local illumination compensation and modified inter coding tools
WO2020084476A1 (en) Sub-block based prediction
WO2019234578A1 (en) Asymmetric weighted bi-predictive merges
WO2020244568A1 (en) Motion candidate list with geometric partition mode coding
EP3139611A1 (en) Method and apparatus for deriving temporal motion vector prediction
KR101653118B1 (ko) 3d 장면의 하나 이상의 비디오를 처리하는 방법
CN110662077B (zh) 用于视频编解码的对称性双向预测模式
WO2020003273A1 (en) Extended merge mode
WO2020125754A1 (en) Motion vector derivation using higher bit-depth precision
WO2020173477A1 (en) Regression-based motion vector field based sub-block motion vector derivation
WO2020182140A1 (en) Motion vector refinement in video coding
KR20080015760A (ko) 비디오 신호 디코딩 방법 및 장치
WO2020070729A1 (en) Size restriction based on motion information
WO2020182187A1 (en) Adaptive weight in multi-hypothesis prediction in video coding
KR20070076392A (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination