KR20070033239A - 다시점 동영상을 부호화 및 복호화하는 장치 및 방법 - Google Patents

다시점 동영상을 부호화 및 복호화하는 장치 및 방법 Download PDF

Info

Publication number
KR20070033239A
KR20070033239A KR1020060030147A KR20060030147A KR20070033239A KR 20070033239 A KR20070033239 A KR 20070033239A KR 1020060030147 A KR1020060030147 A KR 1020060030147A KR 20060030147 A KR20060030147 A KR 20060030147A KR 20070033239 A KR20070033239 A KR 20070033239A
Authority
KR
South Korea
Prior art keywords
deviation
parallax
vector
parallax vector
block
Prior art date
Application number
KR1020060030147A
Other languages
English (en)
Other versions
KR101261577B1 (ko
Inventor
하태현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2006/003750 priority Critical patent/WO2007035042A1/en
Priority to EP06798833.7A priority patent/EP1927249B1/en
Priority to US11/524,305 priority patent/US8559515B2/en
Priority to JP2008529927A priority patent/JP4663792B2/ja
Priority to CN200680030729.7A priority patent/CN101248669B/zh
Publication of KR20070033239A publication Critical patent/KR20070033239A/ko
Application granted granted Critical
Publication of KR101261577B1 publication Critical patent/KR101261577B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26F—PERFORATING; PUNCHING; CUTTING-OUT; STAMPING-OUT; SEVERING BY MEANS OTHER THAN CUTTING
    • B26F1/00—Perforating; Punching; Cutting-out; Stamping-out; Apparatus therefor
    • B26F1/38—Cutting-out; Stamping-out
    • B26F1/40—Cutting-out; Stamping-out using a press, e.g. of the ram type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26F—PERFORATING; PUNCHING; CUTTING-OUT; STAMPING-OUT; SEVERING BY MEANS OTHER THAN CUTTING
    • B26F1/00—Perforating; Punching; Cutting-out; Stamping-out; Apparatus therefor
    • B26F1/02—Perforating by punching, e.g. with relatively-reciprocating punch and bed

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Forests & Forestry (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다시점 동영상을 부호화 및 복호화하는 방법 및 장치에 관한 것이다. 본 발명에 따른 다시점 동영상 부호화 장치는 현재의 프레임과 참조 프레임을 수신하여 프레임들 간의 시차 벡터를 소정의 블록 단위로 예측하는 시차 예측부; 예측된 시차 벡터들 간의 편차 또는 편차의 편차를 계산하는 시차 편차 계산부; 및 계산된 시차 벡터의 편차 또는 편차의 편차를 이용하여 다시점 동영상을 부호화하는 부호화부를 포함한다. 본 발명에 따르면, 다시점 동영상의 압축률을 향상시킬 수 있다.
다시점 동영상, 압축률, 시차 벡터, 프레임, 편차, 부호화

Description

다시점 동영상을 부호화 및 복호화하는 장치 및 방법{Apparatus and method for encoding and decoding multi view video}
도 1은 B 픽처의 다이렉트 모드를 설명하는 도면.
도 2는 공간 영역에서 움직임 벡터를 예측하는 방법을 설명하는 도면.
도 3은 본 발명의 일 실시예에 따른 다시점 동영상 부호화 장치의 구성을 나타내는 블록도.
도 4는 다시점 카메라에 의해 촬영된 프레임 시퀀스를 나타내는 도면.
도 5는 본 발명의 시차 벡터의 편차가 일정한 경우를 설명하기 위한 도면.
도 6은 도 5에 도시된 바와 같이 시차 벡터의 편차가 일정한 경우 시차 벡터들간의 관련성을 나타내는 그래프.
도 7은 본 발명의 일 실시예에 따른 다시점 동영상 부호화 장치의 구성을 나타내는 블록도.
도 8은 본 발명의 일 실시예에 따른 다시점 동영상 부호화 방법을 나타내는 도면.
도 9는 본 발명의 일 실시예에 따른 다시점 동영상 복호화 장치의 구성을 나타내는 블록도.
본 발명은 다시점 동영상을 부호화 및 복호화하는 방법 및 장치에 관한 것으로, 다시점 동영상 부호화의 압축률을 향상시키기 위한 다시점 동영상 부호화 방법 및 장치 그리고, 다시점 동영상 복호화 방법 및 장치에 관한 것이다.
최근에 새로운 H.264 비디오 코딩 표준이 이전 표준에 비해 높은 부호화 효율로 인해 주목을 받고 있다. 이 새로운 표준은 일반적인 양방향 B 예측 슬라이스를 고려할 뿐만 아니라 16×16에서 4×4에 걸친 가변 블록 사이즈 및, 루프 디블록킹 필터에서 움직임 보상을 위한 쿼드트리(quadtree) 구조, 다중 참조 프레임, 인트라 예측, 컨텍스트 적응성 엔트로피 코딩을 고려하는 것과 같이 여러가지 새로운 특성에 의존한다. MPEG-2 및 MPEG-4 파트 2와 같은 표준과 달리, B 슬라이스들은 동일한 방향(순방향 또는 역방향)으로부터 나오는 영상들로부터 다중 예측을 이용하면서, 이들은 다른 슬라이스들의 참조 영상으로 이용될 수 있다. 그러나, 이 표준에 관한 상술한 바와 같은 특징은 예측 모드를 상당히 높은 비율의 비트들이 움직임 정보를 위해 필요하다.
이 문제를 완화하기 위해서, 스킵(SKIP) 및 직접(DIRECT) 모드가 P 슬라이스와 B 슬라이스에 각각 도입되었다. 이들 모드는 이전에 부호화된 움직임 벡터 정보를 이용하여 현재 부호화하고자 하는 픽처의 임의의 블록의 움직임의 예측을 가능하게 한다. 따라서, 매크로블록 또는 블록에 대한 어떤 부가적인 움직임 데이터를 부호화하지 않는다. 이들 모드를 위한 움직임은 인접한 MB 또는 픽처의 움직임 의 공간적 (SKIP) 또는 시간적 (DIRECT) 관련성을 이용하여 획득된다.
도 1은 B 픽처의 다이렉트 모드를 설명하는 도면이다.
다이렉트 모드는 현재 부호화하고자 하는 B 픽처의 임의의 블록의 움직임을 예측하는데 있어서, 시간적으로 다음 픽처인 P 픽처의 대응 블록(co-located block)의 움직임 벡터를 이용하여 순방향 움직임 벡터 및 역방향 움직임 벡터를 구하는 것이다.
B 픽처(110)에서의 움직임을 예측하고자 하는 다이렉트 모드 블록(102)의 순방향 움직임 벡터 MVLO 및 역방향 움직임 벡터 MVL1를 계산하기 위하여, 시간적으로 다음 픽처인 참조 리스트 1 픽처(120)에서의 다이렉트 모드 블록(102)과 동일한 위치의 블록인 대응 블록(co-located block; 104)이 움직임 벡터에 의해 참조하고 있는 참조 리스트 0 픽처(130)에 대한 움직임 벡터 MV를 찾는다. 그러면, B 픽처(110)의 다이렉트 모드 블록(102)의 순방향 움직임 벡터 MVLO 및 역방향 움직임 벡터 MVL1는 다음 수학식 1에 의해 계산된다.
Figure 112006023291300-PAT00001
Figure 112006023291300-PAT00002
여기에서, MV는 참조 리스트 1 픽처(120)의 대응 블록(104)의 움직임 벡터를 나타낸다. TDD는 참조 리스트 0 픽처(130)와 참조 리스트 1 픽처(120)까지의 거리를 나타내고, TDB는 B 픽처(110)와 참조 리스트 픽처 0(130)까지의 거리를 나타내고, 낸다.
도 2는 공간 영역에서 움직임 벡터를 예측하는 방법을 설명하는 도면이다.
동영상 데이터를 부호화하기 위해 사용되는 H.264 표준에 따르면 하나의 프레임을 소정 크기의 블록으로 나누어 이미 부호화가 끝난 인접한 프레임을 참조하여 가장 유사한 블록을 검색하는 움직임 검색을 수행한다. 즉, 현재 매크로 블록(c)의 좌측(4)과 상단(2), 그리고 상단 우측(3)의 세 매크로 블록의 움직임 벡터 중에서 중간값을 움직임 벡터의 예측 값으로 정한다. 이러한 움직임 벡터 예측은 수학식 2로 나타낼 수 있다.
Figure 112006023291300-PAT00003
이와 같이 시간적인 관련성 뿐만 아니라 공간적 관련성을 이용하여 동영상을 부호화하는 방법이 제시되고 있으며, 일반적인 동영상보다 정보량이 훨씬 많은 다시점 동영상에 대하여도 압축률을 향상시키고 처리 속도를 빠르게 하는 방법이 필요한 실정이다.
본 발명이 이루고자 하는 기술적 과제는, 다시점 카메라에 의해 촬영된 다시 점 동영상에 대한 시차 벡터 간의 관련성을 이용하여 다시점 동영상의 압축률을 향상시키기 위한 다시점 동영상 부호화 방법 및 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 다시점 동영상에 대한 시차 벡터 간의 관련성을 이용하여 부호화된 다시점 동영상을 복호화하기 위한 다시점 동영상 복호화 방법 및 장치를 제공하는 데 있다.
본 발명은 상기의 기술적 과제를 해결하기 위한 것으로, 본 발명의 일 특징에 따른 다시점 동영상 부호화 장치는, 현재의 프레임과 참조 프레임을 수신하여 프레임들 간의 시차 벡터를 소정의 블록 단위로 예측하는 시차 예측부; 예측된 시차 벡터들 간의 편차 또는 편차의 편차를 계산하는 시차 편차 계산부; 및 계산된 시차 벡터의 편차 또는 편차의 편차를 이용하여 다시점 동영상을 부호화하는 부호화부를 포함한다.
바람직하게는, 예측된 시차 벡터들 간의 편차는 일정하다.
바람직하게는, 소정의 기준에 따라 시차의 편차를 이용하여 다시점 동영상을 부호화할지 편차의 편차를 이용하여 다시점 동영상을 부호화할지 선택하고, 선택된 부호화 모드에 따른 플래그 정보를 설정하는 부호화 모드 선택부를 더 포함하고, 부호화부는 설정된 플래그 정보에 기초하여 설정된 플래그 정보와 함께 다시점 동영상을 부호화한다.
바람직하게는, 시차 편차 계산부는, 예측된 시차 벡터를 저장하는 제1 버퍼; 제1 버퍼에 저장된 시차 벡터 사이의 편차를 계산하는 제1 차 연산 수행부; 편차를 저장하는 제2 버퍼; 및 편차의 편차를 계산하는 제2 차 연산 수행부를 포함한다.
상기의 기술적 과제를 해결하기 위하여 본 발명의 다른 특징에 따른 다시점 동영상 부호화 방법은, 현재의 프레임과 참조 프레임을 수신하여 프레임들 간의 시차 벡터를 소정의 블록 단위로 예측하는 단계; 예측된 시차 벡터들 간의 편차 또는 편차의 편차를 계산하는 단계; 및 시차 벡터의 편차 또는 편차의 편차를 이용하여 다시점 동영상을 부호화하는 단계를 포함한다.
상기의 기술적 과제를 해결하기 위하여 본 발명의 또 다른 특징에 따른 다시점 동영상 복호화 장치는, 부호화된 다시점 동영상에 포함되는 다시점 동영상 부호화 모드를 나타내는 플래그들을 확인하는 부호화 모드 확인부; 확인된 플래그에 따라 다시점 동영상에 대한 시차 벡터를 결정하는 시차 벡터 결정부; 및 결정된 시차 벡터를 이용하여 다시점 동영상을 복호화하는 복호화부를 포함하고, 다시점 동영상 부호화 모드를 나타내는 플래그는 다시점 동영상이 시차 벡터의 편차를 이용하여 부호화되어 있는지 편차의 편차를 이용하여 부호화되어 있는지를 나타낸다.
바람직하게는, 시차 벡터 결정부는, 플래그가 시차 벡터의 편차를 이용하여 부호화되어 있음을 나타내는 경우, 현재 i 위치의 블록의 시차 벡터의 편차를 dDVi라고 할 때, 이전 블록의 시차 벡터 DVi - 1와 시차 벡터의 편차 dDVi를 더하여 현재 i 위치의 블록의 시차 벡터 DVi를 결정한다.
바람직하게는, 시차 벡터 결정부는, 플래그가 시차 벡터의 편차의 편차를 이용하여 부호화되어 있음을 나타내는 경우, 현재 i 위치의 블록의 시차 벡터의 편차 의 편차를 ddDVi라고 할 때, 이전 블록의 시차 벡터의 편차 dDVi - 1와 시차 벡터의 편차의 편차 ddDVi를 더하여 현재 i 위치의 블록의 시차 벡터의 편차 dDVi를 결정하고, 이전 블록의 시차 벡터 DVi - 1와 결정된 시차 벡터의 편차 dDVi를 더하여 현재 i 위치의 블록의 시차 벡터 DVi를 결정한다.
상기의 기술적 과제를 해결하기 위하여 본 발명의 또 다른 특징에 따른 다시점 동영상 복호화 방법은, 부호화된 다시점 동영상에 포함되는 다시점 동영상 부호화 모드를 나타내는 플래그들을 확인하는 단계; 확인된 플래그에 따라 다시점 동영상에 대한 시차 벡터를 결정하는 단계; 및 결정된 시차 벡터를 이용하여 다시점 동영상을 복호화하는 단계를 포함하고, 다시점 동영상 부호화 모드를 나타내는 플래그는 다시점 동영상이 시차 벡터의 편차를 이용하여 부호화되어 있는지 편차의 편차를 이용하여 부호화되어 있는지를 나타낸다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
도 3은 본 발명의 일 실시예에 따른 다시점 동영상 부호화 장치의 구성을 나타내는 블록도이다.
본 발명의 일 실시예에 따른 다시점 동영상 부호화 장치는 다시점 영상 버퍼(310), 예측부(320), 시차/움직임 보상부(330), 차영상 부호화부(340) 및 엔트로피 부호화부(350)를 포함한다.
도 3에서, 제안된 다시점 동영상 부호화 장치는 다수의 카메라 시스템 또는 다른 가능한 방법으로부터 통상 획득되는 다시점 비디오 소스를 수신한다. 입력된 다시점 비디오는 다시점 영상 버퍼(310)로 저장된다. 다시점 영상 버퍼(310)는 저장된 다시점 동영상 소스 데이터를 예측부(320) 및 차영상 부호화부(340)에 제공한다.
예측부(320)는 시차 예측부(322) 및 움직임 예측부(324)를 포함하여, 저장된 다시점 비디오 소스에 대해 움직임 예측 및 시차 예측을 실행한다.
시차/움직임 보상부(330)에서 시차 및 움직임 보상은 시차 예측부(322) 및 움직임 예측부(324)에서 예측된 움직임 벡터 및 시차 벡터를 이용하여 실행된다. 시차/움직임 보상부(330)는 예측된 움직임 및 시차 벡터를 이용하여 복원된 영상을 차영상 부호화부(340)에 제공한다.
차영상 부호화부(340)는 다시점 영상 버퍼(310)로부터 제공되는 원래 영상과 시차/움직임 보상부(330)에 의해 보상된 복원 영상의 차 정보를 보다 나은 화질과 입체감을 제공하기 위하여 차 영상 부호화를 수행하여 엔트로피 부호화부(350)에 제공한다.
엔트로피 부호화부(350)는 예측부(320)에서 생성된 시차 벡터 및 움직임 벡터에 대한 정보와 차영상 부호화부(340)로부터의 잔차 영상를 입력받아서 다시점 동영상 소스 데이터에 대한 비트 스트림을 생성한다.
H.264 및 MPEG 2/4와 같은 종래의 코덱에서 이용되는 움직임 예측 및 움직임 보상을 위한 움직임 정보와 같이, 도 3의 시차 예측부(322)에서 예측되는 시차 정보는, 시차 보상을 위해 이용된다. H.264에서 움직임 정보를 줄이고 부호화 효율 을 증가시키기 위한 시도가 이루어진 바와 같이 MVC에서도 시차 정보를 줄이고 부호화 효율을 증가시키기 위한 시도가 이루어져야 한다.
본 발명의 일 실시예에 따르면, 시차 예측부(322)는 소정의 블록 단위로 시차를 예측하고, 부호화 효율을 개선하기 위하여, 예측된 시차 벡터들 간의 편차 또는 이 편차의 편차를 계산한다. 그리고, 본 발명의 다시점 동영상 부호화는 계산된 편차 또는 편차의 편차를 이용하여 이루어진다.
도 4는 다시점 카메라에 의해 촬영된 프레임 시퀀스를 나타내는 도면이다.
수평 축은 시점 축으로 다시점 영상을 촬영하기 위한 카메라의 개수를 나타낸다. 수직 축은 시간 축으로 타임 시퀀스의 개수를 나타낸다. 다시점 카메라가 평행하게 배열되면 동일한 타임 시퀀스에 있는 다시점 프레임들 사이에는 높은 관련성이 존재할 것이다. 다시점 카메라가 평행하게 배열되어 있지 않더라도, 다시점 카메라로부터 촬영된 영상을 평행하게 배열된 다시점 카메라에서 촬영한 것과 같은 상태로 보정(rectify)할 수 있다. 따라서, 다시점 프레임들 사이의 관련성을 이용하여 다시점 동영상을 부호화할 수 있다.
도 5는 본 발명의 시차 벡터의 편차가 일정한 경우를 설명하기 위한 도면이고, 도 6은 도 5에 도시된 바와 같이 시차 벡터의 편차가 일정한 경우 시차 벡터들간의 관련성을 나타내는 그래프이다.
도 5에서 Vc 및 Vr은 동일한 타임 시퀀스에 있는 임의의 프레임들에서의 MB들의 일 라인이다. Vr은 이미 부호화된 참조 시점 프레임이고, Vc는 현재 부호화하기 위하여 Vr을 이용하여 예측되는 프레임이다. 도 6은 각 MB의 시차 벡터 DV에 따른 DV의 크기의 변화를 나타낸 것이다. 도 6에서 세로 축은 DV의 크기를 나타낸다.
도 5에서 현재의 MB가 i의 위치에 있을 때, 이전 MB는 현재의 MB의 좌측에 위치하는 i-1 위치에 있다. 도 5 및 도 6에 도시된 바와 같이, MB 라인에서 연속적인 MB들의 그룹의 DV들이 선형적으로 변화한다고 가정하면, 소정 위치의 MB의 DVi와 그 MB의 이전 MB의 DVi-1의 차이인 dDVi는 일정하다.
예를 들어, 도 6에서, dDV2 = DV2 - DV1이고, dDV3 = DV3 - DV2이고, dDV4 = DV4 - DV3이고, dDVn = DVn - DVn -1이 되고, 계산된 dDV는 일정한 값이 된다. 따라서, 최초 DV의 값과 dDV의 값을 이용하여 시차 벡터를 부호화하면, 복호화 장치에서는 이 값을 이용하여 각 MB의 DV를 예측할 수 있다.
인접 MB의 시차의 편차인 dDV간의 관계는 시차의 편차의 편차인 ddDV로 나타낼 수 있다. 현재 i 위치의 MB의 시차의 편차의 편차를 ddDVi라 할 때, ddDVi = dDVi - dDVi - 1 의 관계가 있으므로, 도 5 및 도 6에 도시된 바와 같은 경우에는 모든 시차의 편차의 편차 ddDV는 0이 된다. 따라서, ddDVi를 이용하여 다시점 동영상을 부호화하면, 복호화 장치에서는, ddDVi와 현재의 MB의 이전 MB의 dDVi -1을 이용하여 dDVi를 계산할 수 있다. 즉, 현재 위치 i의 매크로블록의 시차 벡터의 편차 dDVi는 다음과 같은 수학식 3과 같이 계산될 수 있다.
dDVi = dDVi -1 + ddDVi
dDVi가 계산되면 현재 위치 i의 매크로블록의 시차 벡터 DVi도 수학식 4에 의해 계산될 수 있다.
DVi = DVi -1 + dDVi
전술한 바와 같이, 시차의 편차 dDV 또는 시차의 편차의 편차 ddDV를 이용하여 다시점 동영상을 부호화하여 다시점 동영상의 부호화 효율을 높일 수 있다. 또한, ddDV를 부호화하면, dDV를 부호화하는 것에 비해 압축 효율이 더욱 개선될 수 있다. 또한, 수학식 3 및 4를 이용하면 dDV 또는 ddDV를 이용하여 부호화된 다시점 동영상을 복호할 때 필요한 DV를 결정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 다시점 동영상 부호화 장치의 구성을 나타내는 블록도이다.
본 발명의 일 실시예에 따른 다시점 동영상 부호화 장치는 시차 예측부(710), 시차 편차 계산부(720), 부호화 모드 선택부(730) 및 부호화부(740)를 포함한다. 시차 편차 계산부(720)는 시차 벡터를 일시 저장하는 제1 버퍼(721), 시차 벡터의 편차를 계산하는 제1 차 연산 수행부(722), 시차 벡터의 편차를 일시 저장하는 제2 버퍼(723) 및 그 편차의 편차를 계산하는 제2 차 연산 수행부(724)를 포함한다.
연속되는 프레임인 현재 프레임과 참조 프레임이 시차 예측부(710)로 입력된다. 시차 예측부(710)는 두 개의 프레임간의 소정의 블록 단위 예를 들어, 매크로블록 단위로 시차 벡터 DV를 예측한다. 이 때, 블록 단위의 시차 벡터들 간의 편차는 일정할 수 있다.
시차 편차 계산부(720)는 예측된 시차 벡터들 간의 편차 또는 편차의 편차를 계산한다. 더 상세하게 설명하면, 우선 예측된 블록 단위의 시차는 시차 편차 계산부(720)의 제1 버퍼(721)로 입력되어 제1 버퍼(721)에 임시 저장된다. 그런 다음 블록 단위의 시차 벡터는 제1 차 연산 수행부(722)로 입력되어 현재 i 위치의 블록의 시차 벡터를 DVi라 할 때, 시차 벡터 DVi와 이전 시차 벡터 DVi -1의 차이인 시차 벡터의 편차 dDVi가 계산된다.
계산된 시차 벡터의 편차 dDVi는 제2 버퍼(723)로 입력되어 임시 저장된다. 제2 버퍼(723)에 임시 저장된 시차 벡터의 편차 dDVi는 다시 제2 차 연산 수행부(724)로 입력되어 dDVi와 이전 시차 벡터의 편차 dDVi -1의 차이인 시차 벡터의 편차의 편차 ddDVi가 계산된다.
부호화부(740)는 시차 편차 계산부(720)에 의해 계산된 시차 벡터의 편차 또는 편차의 편차를 이용하여 다시점 동영상을 부호화한다.
부호화 모드 선택부(730)는 dDVi를 이용하여 다시점 동영상을 부호화할지 ddDVi를 이용하여 다시점 동영상을 부호화할지 소정의 기준에 따라 선택한다. 부호 화 모드 선택부(730)는 dDVi를 이용하여 다시점 동영상을 부호화하는 경우와 ddDVi를 이용하여 다시점 동영상을 부호화하는 경우를 구별하기 위한 플래그 Flag_ddDV를 설정하여 부호화부(740)에 전달한다.
부호화 모드 선택부(730)는 dDVi를 이용하여 다시점 동영상을 부호화하는 부호화 모드를 선택하는 경우 플래그 Flag_ddDV를 0으로 설정하여 부호화부(740)에 전달할 수 있다. 또한, 부호화 모드 선택부(730)는 ddDVi를 이용하여 다시점 동영상을 부호화하는 부호화 모드를 선택하는 경우 플래그 Flag_ddDV를 1로 설정하여 부호화부(740)에 전달할 수 있다.
부호화부(740)는 부호화 모드 선택부(730)로부터 전달된 플래그 값에 따라 다시점 동영상 부호화를 수행할 수도 있다. 부호화부(740)는 Flag_ddDV가 0으로 설정된 때에는, 플래그 정보와 함께 dDVi를 이용하여 다시점 동영상을 부호화한다. 부호화부(740)는 Flag_ddDV가 1로 설정된 때에는, 플래그 정보와 함께 ddDVi를 이용하여 다시점 동영상을 부호화한다.
도 8은 본 발명의 일 실시예에 따른 다시점 동영상 부호화 방법을 나타내는 도면이다.
현재의 프레임과 참조 프레임을 수신하여 프레임들 간의 시차 벡터를 소정의 블록 단위로 예측한다(S 810). 예측된 시차 벡터들 간의 편차 또는 시차 벡터의 편차의 편차를 계산한다(S 820). 시차 벡터의 편차 또는 시차 벡터의 편차의 편차 를 이용하여 다시점 동영상을 부호화한다(S 830). 단계 S 820과 단계 S 830 사이에 시차 벡터들 간의 편차를 이용하여 부호화할 지 상기의 편차의 편차를 이용하여 부호화할 지를 소정의 기준에 따라 선택하는 단계를 포함할 수 있으며, 단계 S 830을 수행할 때, 선택된 부호화 모드에 따라 다시점 동영상을 부호화할 수 있다.
도 9는 본 발명의 일 실시예에 따른 다시점 동영상 복호화 장치의 구성을 나타내는 블록도이다.
본 발명의 일 실시예에 따른 다시점 동영상 복호화 장치는, 부호화 모드 확인부(910), 시차 벡터 결정부(920) 및 복호화부(930)를 포함한다.
부호화 모드 확인부(910)는 수신되는 부호화된 다시점 동영상에 포함되는 다시점 동영상 부호화 모드를 나타내는 플래그들을 확인한다.
시차 벡터 결정부(920)는 확인된 플래그에 따라 다시점 동영상에 대한 시차 벡터를 결정한다.
이하에서는 시차 벡터 결정부(920)가 시차 벡터를 결정하는 과정에 대하여 설명한다. 플래그가 시차 벡터의 편차를 이용하여 부호화되어 있으며, 현재 i 위치의 소정의 블록, 예를 들어 매크로블록의 시차 벡터의 편차를 dDVi라고 가정한다. 이 때, 이전 매크로블록의 시차 벡터 DVi - 1와 시차 벡터의 편차 dDVi를 더하여 현재 i 위치의 매크로블록의 시차 벡터 DVi를 결정한다.
그리고, 플래그가 시차 벡터의 편차의 편차를 이용하여 부호화되어 있음을 나타내는 경우는 다음과 같이 시차 벡터를 결정한다. 우선, 현재 i 위치의 매크로 블록의 시차 벡터의 편차의 편차를 ddDVi라고 할 때, 이전 매크로블록의 시차 벡터의 편차 dDVi - 1와 시차 벡터의 편차의 편차 ddDVi를 더하여 현재 i 위치의 매크로블록의 시차 벡터의 편차 dDVi를 결정한다. 그런 다음, 이전 매크로블록의 시차 벡터 DVi-1와 결정된 시차 벡터의 편차 dDVi를 더하여 현재 i 위치의 매크로블록의 시차 벡터 DVi를 결정한다.
복호화부(930)는 전술한 바와 같이, 확인된 플래그 즉, 부호화 모드에 따라 결정된 시차 벡터를 이용하여 다시점 동영상을 복호화한다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분 야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
전술한 바와 같이, 본 발명에 따르면, 시차 벡터 간의 관련성을 이용하여 각각의 블록에 대한 시차 벡터에 대한 편차 또는 그 편차의 편차를 부호화하므로 다시점 동영상의 압축률을 향상시킬 수 있다.
또한, 본 발명에 따르면 다시점 동영상에 대한 시차 벡터 간의 관련성을 이용하여 부호화된 다시점 동영상을 복호화하기 위한 다시점 동영상 복호화 방법 및 장치를 제공할 수 있다.

Claims (16)

  1. 현재의 프레임과 참조 프레임을 수신하여 상기 프레임들 간의 시차 벡터를 소정의 블록 단위로 예측하는 시차 예측부;
    상기 예측된 시차 벡터들 간의 편차 또는 상기 편차의 편차를 계산하는 시차 편차 계산부; 및
    상기 계산된 시차 벡터의 편차 또는 상기 편차의 편차를 이용하여 다시점 동영상을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  2. 제1항에 있어서,
    상기 예측된 시차 벡터들 간의 편차는 일정한 것을 특징으로 하는 다시점 동영상 부호화 장치.
  3. 제1항에 있어서,
    소정의 기준에 따라 시차의 편차를 이용하여 다시점 동영상을 부호화할지 상기 편차의 편차를 이용하여 다시점 동영상을 부호화할지 선택하고, 선택된 부호화 모드에 따른 플래그 정보를 설정하는 부호화 모드 선택부를 더 포함하고,
    상기 부호화부는 상기 설정된 플래그 정보에 기초하여 상기 설정된 플래그 정보와 함께 다시점 동영상을 부호화하는 것을 특징으로 하는 다시점 동영상 부호 화 장치.
  4. 제1항에 있어서, 상기 시차 편차 계산부는,
    상기 예측된 시차 벡터를 저장하는 제1 버퍼;
    상기 제1 버퍼에 저장된 시차 벡터 사이의 편차를 계산하는 제1 차 연산 수행부;
    상기 편차를 저장하는 제2 버퍼; 및
    상기 편차의 편차를 계산하는 제2 차 연산 수행부를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  5. 현재의 프레임과 참조 프레임을 수신하여 상기 프레임들 간의 시차 벡터를 소정의 블록 단위로 예측하는 단계;
    상기 예측된 시차 벡터들 간의 편차 또는 상기 편차의 편차를 계산하는 단계; 및
    상기 시차 벡터의 편차 또는 상기 편차의 편차를 이용하여 다시점 동영상을 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  6. 제5항에 있어서,
    상기 예측된 시차 벡터들 간의 편차는 일정한 것을 특징으로 하는 다시점 동영상 부호화 방법.
  7. 제5항에 있어서,
    소정의 기준에 따라 시차의 편차를 이용하여 다시점 동영상을 부호화할지 상기 편차의 편차를 이용하여 다시점 동영상을 부호화할지 선택하는 단계; 및
    상기 선택된 부호화 모드에 따른 플래그 정보를 설정하는 단계를 더 포함하고,
    상기 다시점 동영상을 부호화하는 단계는, 상기 설정된 플래그 정보에 기초하여 상기 설정된 플래그 정보와 함께 다시점 동영상을 부호화하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  8. 제5항에 있어서, 상기 예측된 시차 벡터들 간의 편차 또는 상기 편차의 편차를 계산하는 단계는,
    상기 예측된 시차 벡터를 저장하는 단계;
    상기 시차 벡터 사이의 편차를 계산하는 단계;
    상기 편차를 저장하는 단계; 및
    상기 편차의 편차를 계산하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  9. 부호화된 다시점 동영상에 포함되는 다시점 동영상 부호화 모드를 나타내는 플래그들을 확인하는 부호화 모드 확인부;
    상기 확인된 플래그에 따라 상기 다시점 동영상에 대한 시차 벡터를 결정하는 시차 벡터 결정부; 및
    상기 결정된 시차 벡터를 이용하여 다시점 동영상을 복호화하는 복호화부를 포함하고,
    상기 다시점 동영상 부호화 모드를 나타내는 플래그는 상기 다시점 동영상이 시차 벡터의 편차를 이용하여 부호화되어 있는지 상기 편차의 편차를 이용하여 부호화되어 있는지를 나타내는 것을 특징으로 하는 다시점 동영상 복호화 장치.
  10. 제9항에 있어서, 상기 시차 벡터 결정부는,
    상기 플래그가 상기 시차 벡터의 편차를 이용하여 부호화되어 있음을 나타내는 경우, 현재 i 위치의 블록의 시차 벡터의 편차를 dDVi라고 할 때, 이전 블록의 시차 벡터 DVi - 1와 상기 시차 벡터의 편차 dDVi를 더하여 현재 i 위치의 블록의 시차 벡터 DVi를 결정하는 것을 특징으로 하는 다시점 동영상 복호화 장치.
  11. 제9항에 있어서, 상기 시차 벡터 결정부는,
    상기 플래그가 상기 시차 벡터의 편차의 편차를 이용하여 부호화되어 있음을 나타내는 경우, 현재 i 위치의 블록의 시차 벡터의 편차의 편차를 ddDVi라고 할 때, 이전 블록의 시차 벡터의 편차 dDVi - 1와 상기 시차 벡터의 편차의 편차 ddDVi를 더하 여 현재 i 위치의 블록의 시차 벡터의 편차 dDVi를 결정하고,
    이전 블록의 시차 벡터 DVi - 1와 상기 결정된 시차 벡터의 편차 dDVi를 더하여 현재 i 위치의 블록의 시차 벡터 DVi를 결정하는 것을 특징으로 하는 다시점 동영상 복호화 장치.
  12. 부호화된 다시점 동영상에 포함되는 다시점 동영상 부호화 모드를 나타내는 플래그들을 확인하는 단계;
    상기 확인된 플래그에 따라 상기 다시점 동영상에 대한 시차 벡터를 결정하는 단계; 및
    상기 결정된 시차 벡터를 이용하여 다시점 동영상을 복호화하는 단계를 포함하고,
    상기 다시점 동영상 부호화 모드를 나타내는 플래그는 상기 다시점 동영상이 시차 벡터의 편차를 이용하여 부호화되어 있는지 상기 편차의 편차를 이용하여 부호화되어 있는지를 나타내는 것을 특징으로 하는 다시점 동영상 복호화 방법.
  13. 제12항에 있어서, 상기 시차 벡터를 결정하는 단계는,
    상기 플래그가 상기 시차 벡터의 편차를 이용하여 부호화되어 있음을 나타내는 경우, 현재 i 위치의 블록의 시차 벡터의 편차를 dDVi라고 할 때,
    이전 블록의 시차 벡터 DVi - 1와 상기 시차 벡터의 편차 dDVi를 더하여 현재 i 위치의 블록의 시차 벡터 DVi를 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 복호화 방법.
  14. 제12항에 있어서, 상기 시차 벡터를 결정하는 단계는,
    상기 플래그가 상기 시차 벡터의 편차의 편차를 이용하여 부호화되어 있음을 나타내는 경우, 현재 i 위치의 블록의 시차 벡터의 편차의 편차를 ddDVi라고 할 때,
    이전 블록의 시차 벡터의 편차 dDVi - 1와 상기 시차 벡터의 편차의 편차 ddDVi를 더하여 현재 i 위치의 블록의 시차 벡터의 편차 dDVi를 결정하는 단계; 및
    이전 블록의 시차 벡터 DVi - 1와 상기 결정된 시차 벡터의 편차 dDVi를 더하여 현재 i 위치의 블록의 시차 벡터 DVi를 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 복호화 방법.
  15. 제5항 내지 제8항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  16. 제12항 내지 제14항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060030147A 2005-09-21 2006-04-03 다시점 동영상을 부호화 및 복호화하는 장치 및 방법 KR101261577B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/KR2006/003750 WO2007035042A1 (en) 2005-09-21 2006-09-21 Apparatus and method for encoding and decoding multi-view video
EP06798833.7A EP1927249B1 (en) 2005-09-21 2006-09-21 Apparatus and method for encoding and decoding multi-view video
US11/524,305 US8559515B2 (en) 2005-09-21 2006-09-21 Apparatus and method for encoding and decoding multi-view video
JP2008529927A JP4663792B2 (ja) 2005-09-21 2006-09-21 多視点動映像を符号化及び復号化する装置及び方法
CN200680030729.7A CN101248669B (zh) 2005-09-21 2006-09-21 对多视点视频编码和解码的设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US71874005P 2005-09-21 2005-09-21
US60/718,740 2005-09-21

Publications (2)

Publication Number Publication Date
KR20070033239A true KR20070033239A (ko) 2007-03-26
KR101261577B1 KR101261577B1 (ko) 2013-05-06

Family

ID=49290620

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060030147A KR101261577B1 (ko) 2005-09-21 2006-04-03 다시점 동영상을 부호화 및 복호화하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101261577B1 (ko)

Also Published As

Publication number Publication date
KR101261577B1 (ko) 2013-05-06

Similar Documents

Publication Publication Date Title
RU2769146C1 (ru) Способ и устройство для обработки сигналов видео с использованием интер-предсказания
JP4663792B2 (ja) 多視点動映像を符号化及び復号化する装置及び方法
KR101276720B1 (ko) 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
US8559515B2 (en) Apparatus and method for encoding and decoding multi-view video
KR101227601B1 (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
JP5021739B2 (ja) 信号処理方法及び装置
JP5059766B2 (ja) 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
US11792419B2 (en) Image encoding/decoding method and device for performing prediction, and method for transmitting bitstream involving weighted prediction and bidirectional optical flow
JP2004056823A (ja) 動きベクトル符号化／復号化方法及びその装置
JP2014524706A (ja) 動きベクトル処理
TW202034693A (zh) 視訊編碼中結合畫面間和畫面內預測之方法和裝置
US20220159291A1 (en) Video signal processing method and device for processing motion vector difference information for inter prediction in video signal
US20160029041A1 (en) Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and storage medium
CN115428448A (zh) 基于帧间预测的图像编码/解码方法和设备及存储比特流的记录介质
US20210360227A1 (en) Method and apparatus for processing video signals using affine prediction
KR100972222B1 (ko) 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들의 프로그램을 기록한 기록 매체
KR20220110284A (ko) 머지 후보들의 최대 개수 정보를 포함하는 시퀀스 파라미터 세트를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20080006494A (ko) 비디오 신호의 디코딩 방법 및 장치
CN113678455B (zh) 用于导出双预测的权重索引信息的视频或图像编码
KR101261577B1 (ko) 다시점 동영상을 부호화 및 복호화하는 장치 및 방법
RU2787882C2 (ru) Способ и устройство для обработки сигналов видео с использованием интер-предсказания
KR20140051789A (ko) 3차원 비디오에서의 뷰간 움직임 예측 방법 및 뷰간 병합 후보 결정 방법
JP5911982B2 (ja) 画像復号化方法
JP2016158306A (ja) 画像復号化方法
JP2016140106A (ja) 画像復号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee