KR101227601B1 - 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치 - Google Patents

시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치 Download PDF

Info

Publication number
KR101227601B1
KR101227601B1 KR1020060026984A KR20060026984A KR101227601B1 KR 101227601 B1 KR101227601 B1 KR 101227601B1 KR 1020060026984 A KR1020060026984 A KR 1020060026984A KR 20060026984 A KR20060026984 A KR 20060026984A KR 101227601 B1 KR101227601 B1 KR 101227601B1
Authority
KR
South Korea
Prior art keywords
mode
vector
parallax
encoding
search
Prior art date
Application number
KR1020060026984A
Other languages
English (en)
Other versions
KR20070033863A (ko
Inventor
하태현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to MX2008003375A priority Critical patent/MX2008003375A/es
Priority to PCT/KR2006/003771 priority patent/WO2007035054A1/en
Priority to CN200680030828.5A priority patent/CN101248670B/zh
Priority to US11/525,081 priority patent/US8644386B2/en
Priority to JP2008532162A priority patent/JP5059766B2/ja
Priority to EP06798854A priority patent/EP1927250A4/en
Publication of KR20070033863A publication Critical patent/KR20070033863A/ko
Application granted granted Critical
Publication of KR101227601B1 publication Critical patent/KR101227601B1/ko

Links

Images

Abstract

본 발명은 다시점 동영상을 부호화 및 복호화하는 방법 및 장치에 관한 것이다. 본 발명의 다시점 동영상을 부호화하기 위하여 시차 벡터를 예측하는 방법은, 소정의 개수의 미리 부호화된 매크로 블록에 대한 시차 벡터를 예측하는 단계; 예측된 시차 벡터를 이용하여 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 계산하는 단계를 포함한다. 본 발명에 따르면, 다시점 동영상의 부호화를 신속하게 하고 압축률을 향상시킬 수 있다.
다시점 동영상, 시차 벡터, 보간, 예측, 매크로블록

Description

시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을 부호화 및 복호화하는 방법 및 장치{Method for interpolating disparity vector and method and apparatus for encoding and decoding multi-view video}
도 1은 MPEG-2 멀티 뷰 프로파일을 이용한 스테레오 동영상 부호화기 및 복호화기를 도시하는 도면.
도 2는 양방향 예측을 위해 두 개의 시차 예측을 사용하여 시차만을 고려한 예측 부호화를 도시하는 도면.
도 3은 양방향 예측을 위해 시차 벡터와 움직임 벡터를 사용한 예측 부호화를 도시하는 도면.
도 4는 B 픽처의 다이렉트 모드를 설명하는 도면.
도 5는 공간 영역에서 움직임 벡터를 예측하는 방법을 설명하는 도면.
도 6은 본 발명의 일 실시예에 따른 다시점 동영상 부호화 장치의 내부 구성을 나타내는 블록도.
도 7은 다시점 카메라에 의해 촬영된 프레임 시퀀스를 나타내는 도면.
도 8은 본 발명의 일 실시예에 따른 이미 부호화된 매크로블록의 시차 벡터(DV)에 의해 인접한 매크로블록의 시차 벡터를 예측하는 방법을 설명하기 위한 도면.
도 9는 도 8에 도시된 바와 같이 시차 벡터의 편차가 일정한 경우 시차 벡터의 관계를 나타내는 도면.
도 10은 본 발명의 다른 실시예에 따른 이미 부호화된 매크로블록의 시차 벡터(DV)에 의해 인접한 매크로블록의 시차 벡터를 예측하는 방법을 설명하기 위한 도면.
도 11은 본 발명의 또 다른 실시예에 따른 이미 부호화된 매크로블록의 시차 벡터(DV)에 의해 인접한 매크로블록의 시차 벡터를 예측하는 방법을 설명하기 위한 도면.
도 12는 본 발명의 일 실시예에 따른 시차 벡터를 예측하는 방법을 설명하는 도면.
도 13은 본 발명의 다른 실시예에 따른 다시점 동영상 부호화 장치의 구성을 나타내는 블록도.
도 14는 본 발명의 다른 실시예에 따른 다시점 동영상 부호화 방법을 나타내는 흐름도.
도 15는 본 발명의 일 실시예에 따른 다시점 동영상 복호화 장치를 나타내는 블록도.
본 발명은 다시점 동영상을 부호화 및 복호화하는 방법 및 장치에 관한 것으 로, 다시점 동영상 부호화를 신속하게 수행하고 압축률을 향상시키기 위한 시차 벡터 예측 방법, 그리고, 시차 벡터 예측 방법을 이용하여 다시점 동영상 부호화/복호화 방법 및 장치에 관한 것이다.
높은 품질의 정보 및 통신 서비스를 실현하는 가장 이상적인 특성 중 하나는 현실감이다. 이것은 3차원 영상에 기반한 화상 통신에 의해 달성될 수 있다. 3D 영상 시스템은 교육, 연예, 의료 수술, 화상 회의 등 많은 잠재적인 응용분야에서 이용될 수 있다. 다수의 시청자에게 원격지의 장면에 대한 더 생생하고 정확한 정보를 전달하기 위하여, 3개 이상의 카메라가 약간 서로 다른 시점(view)에 배치되어 다시점 시퀀스를 생성한다.
3D 영상 분야에 대한 관심으로 인해 다수의 연구 그룹이 3D 영상 처리 및 디스플레이 시스템에 대해 보고하고 있다. 유럽에서는, 디지털 스테레오 영상 시퀀스를 캡처하고, 부호화하고, 전송하고 표시하기 위한 시스템을 개발할 목적으로 DISTIMA와 같은 여러 프로젝트에 의해 3DTV에 대한 연구가 개시되었다. 이들 프로젝트는 3D 원격현장감(telepresence)이 있는 통신에서 영상 정보를 개선하기 위한 목적의 다른 프로젝트인 PANORAMA를 이끌었다. 현재, 이들 프로젝트는 다른 프로젝트 ATTEST를 이끌었는데, 이 프로젝트에서 3D 컨텐츠 획득, 3D 압축 및 송신, 및 3D 디스플레이 시스템의 다양한 분야의 기술들이 연구되었다. 이 프로젝트에서, MPEG-2 및 DVB(Digital Video Broadcasting) 시스템은 특히 2D 콘텐츠 송신을 위한 기본 계층(base layer) 및 3D의 깊이감이 있는 데이터의 송신을 위한 향상 계층을 사용하기 위한, 시간 스케일러빌리티(Temporal Scalibility, TS)에 의해 3D 컨텐츠 를 전송하기 위해 적용되었다.
MPEG-2에서, 멀티뷰 프로파일(MVP)은 MPEG-2 표준에 대한 수정으로 1996년에 정의되었다. MVP의 중요한 새로운 구성요소는 멀티 카메라 시퀀스들에 대한 시간 확장성(TS) 모드의 이용에 대한 정의 및 MPEG-2 신택스에서의 획득 카메라 파라미터에 대한 정의이다.
감소된 프레임 레이트(frame rate)로 신호를 대표하는 기본 계층 스트림을 부호화하고, 2개의 스트림들이 유효한 경우 전체 프레임 레이트로 재생을 허용하기 위해 중간에 부가적인 프레임을 삽입하는데 이용될 수 있는 향상 계층을 정의하는 것이 가능하다. 향상 계층을 부호화하는 효율적인 방법은 향상 계층 프레임내의 각각의 매크로블록에 대해, 기본 계층 프레임 또는 최근에 재구성된 향상 계층 프레임로부터 최상의 움직임 보상 예측에 관한 결정이 이루어지도록 허용하는 것이다.
이러한 신호에 대하여, 시간 스케일러빌리티 신택스를 이용하여 스테레오 및 다시점 채널 부호화를 수행하는 것은 간단하다. 이 목적을 위하여, 하나의 카메라 시점으로부터의 프레임(통상 좌안의 프레임)은 향상 계층으로서 정의되고 나머지로부터의 프레임은 향상 계층으로서 정의된다. 기본 계층을 동시 모노스코픽(monoscopic) 시퀀스를 나타낸다. 향상 계층에 대해서, 시차(disparity) 보상 예측은 차단 영역(occluded region)에서는 실패할 수 있지만, 동일한 채널 내부의 움직임 보상 예측에 의해 재구성된 영상 품질을 계속하여 유지할 수 있다. MPEG-2 MVP는 스테레오 시퀀스로서 주로 정의되기 때문에, 다시점 시퀀스를 지원하지 않으 며, 본래부터 다시점 시퀀스로 확장하기는 어렵다.
도 1은 MPEG-2 멀티 뷰 프로파일의 부호화기 및 복호화기을 도시하는 도면이다.
도 1을 참조하면, MPEG-2 멀티뷰 프로파일(Multi-view profile)(13818-2)에서는 좌측시점영상과 우측시점영상을 이용하여 3차원 영상을 부호화할 때 두 영상간의 관련성(correlation)을 찾아 두 영상간의 차이를 네트워크의 상태에 따라 가변적으로 부호화하는 스케일러블 코덱(scalable codec)을 사용하여 3차원 영상을 부호화하고 재생함을 알 수 있다. 이 때 좌측영상을 기본계층영상(base layer video)으로, 우측영상을 향상계층영상(enhancement layer video)으로 정해 부호화한다. 기본계층영상은 그 자체만으로 부호화될 수 있는 영상을 말하고, 향상계층영상은 기본계층영상의 질을 높이기 위하여 네크워크의 상태가 좋을 때 추가적으로 부호화해서 보내는 영상이다. 이렇게 기본계층영상과 향상계층영상을 모두 사용하여 부호화하는 것을 스케일러블 코딩이라고 한다.
좌측시점영상은 제1 움직임 보상 DCT 부호화기(Motion compensated DCT encoder, 110)에 의해서 부호화된다. 우측시점영상은 좌측시점영상과의 차이를 예측하는 시차 예측기(disparity estimator, 122)와 시차 보상기(disparity compensator, 124)에 의해 계산된 두 영상간의 차이가 제2 움직임 보상 DCT 부호화기(126)에 의해 부호화된다. 좌측시점영상을 부호화하는 제1 움직임 보상 DCT 부호화기(110)를 기본계층영상 부호화기라고 하면, 우측시점영상과 좌측시점영상과의 시차를 부호화하는 시차 예측기(122), 시차 보상기(124) 및 제2 움직임 보상 DCT 부호화기(126)를 향상계층영상 부호화기(120)라고 할 수 있다. 이렇게 부호화된 기본계층영상과 향상계층영상은 시스템 다중화기(system multiplexer, 130)에 의해 다중화되어 복호화기로 전송된다.
다중화된 신호는 시스템 역다중화기(system demultiplexer, 140)에 의해 좌측시점영상과 우측시점영상으로 나누어진다. 좌측시점영상은 제1 움직임 보상 DCT 복호화기(motion compensated DCT decoder, 150)에 의해 복호화된다. 시차 영상은 좌측시점영상과의 시차를 보상하는 시차 보상기(disparity compensator, 162)와 제2 움직임 보상 DCT 복호화기(164)에 의해 우측시점영상으로 복원된다. 좌측시점영상을 복호화하는 제1 움직임 보상 DCT 복호화기(150)를 기본계층영상 복호화기라고 하면, 우측시점영상과 좌측시점영상과의 시차를 찾아 우측시점영상을 복호화하는 시차 보상기(162) 및 제2 움직임 보상 DCT 복호화기(164)를 향상계층영상 복호화기(160)라고 할 수 있다.
도 2는 양방향 예측을 위해 두 개의 시차 예측을 사용하여 시차만을 고려한 예측 부호화를 도시하는 도면이다.
좌측 영상은 논 스케일러블(non-scalable) MPEG-2 부호화기를 사용하여 부호화하고, 우측 영상은 복호화된 좌측 영상을 바탕으로 MPEG-2 시간적으로 위치한 보조시점 부호화기를 사용하여 부호화한다.
즉, 우측 영상은 두 개의 참조 영상 예를 들어, 좌측 영상으로부터 구한 예측을 사용하여 B 픽처로 부호화된다. 이 때, 두 개의 참조 영상 중 하나는 동시에 디스플레이될 좌측 영상이며, 다른 하나는 시간적으로 다음에 나올 좌측 영상이다.
그리고, 두 개의 예측은 움직임 예측/보상과 마찬가지로, 순방향, 역방향, 양방향의 세 가지 예측 모드를 가진다. 여기에서 순방향 모드는 같은 시간의 좌측 영상으로부터 예측한 시차를 의미하며, 역방향 모드는 바로 다음의 좌측 영상으로부터 예측한 시차를 의미한다. 이러한 방법의 경우, 우측 영상의 예측은 두 개의 좌측 영상의 시차 벡터를 통해 이루어지기 때문에, 이런 형태의 예측 방법을 시차벡터만을 고려한 예측 부호화라고 한다. 따라서, 부호화기에서는 우측 동영상의 각 프레임마다 두 개의 시차 벡터를 예측하고, 복호화기에서는 이 두 개의 시차 벡터를 이용하여 좌측 동영상으로부터 우측 동영상을 복호화한다.
도 3은 양방향 예측을 위해 시차 벡터와 움직임 벡터를 사용한 예측 부호화를 도시하는 도면이다.
도 3은 도 2에 도시된 양방향 예측을 통한 B 픽처를 사용하지만, 양방향 예측은 한 개의 시차 예측과 한 개의 움직임 추정을 사용한다. 즉, 하나의 동 시간대의 좌측 영상으로부터 시차 예측과 바로 이전 시간의 우측 영상으로부터의 움직임 예측을 사용한다.
그리고, 시차만을 고려한 예측 부호화와 마찬가지로 양방향 예측도 순방향, 역방향 그리고 양방향(interpolated) 모드로 불리는 3가지의 예측 모드를 포함한다. 여기에서 순방향 모드는 복호화된 우측 영상으로부터의 움직임 예측을 의미하며, 역방향 모드는 복호화된 좌측 영상으로부터의 시차 예측을 의미한다.
상술한 바와 같이, MPEG-2 멀티 뷰 프로파일의 규격 자체는 다시점 동영상에 대한 부호화기를 고려하지 않고 있어, 실제 스테레오 동영상에 적합하도록 설계되 어 있지 않으므로, 다수의 사람에게 동시에 입체감 및 현장감을 제공하기 위한 다시점 동영상을 효율적으로 제공할 수 있는 부호화기가 필요하다.
한편, 최근에 새로운 H.264 비디오 코딩 표준이 이전 표준에 비해 높은 부호화 효율로 인해 주목을 받고 있다. 이 새로운 표준은 일반적인 양방향(B) 예측 슬라이스를 고려할 뿐만 아니라 16×16에서 4×4에 걸친 가변 블록 사이즈 및, 루프 디블록킹 필터에서 움직임 보상을 위한 쿼드트리(quadtree) 구조, 다중 참조 프레임, 인트라 예측, 컨텍스트 적응성 엔트로피 코딩을 고려하는 것과 같이 여러가지 새로운 특성에 의존한다. MPEG-2 및 MPEG-4 파트 2와 같은 표준과 달리, B 슬라이스들은 동일한 방향(순방향 또는 역방향)으로부터 나오는 다중 예측을 이용하면서, 이들은 다른 슬라이스들을 참조하여 이용될 수 있다. 그러나, 상술한 바와 같은 특징은 이 표준을 위해서는 예측 모드를 상당히 높은 비율의 비트들이 움직임 정보를 위해 필요하다.
이 문제를 완화하기 위해서, 스킵(SKIP) 및 직접(DIRECT) 모드가 P 슬라이스와 B 슬라이스에 각각 도입되었다. 이들 모드는 이전에 부호화된 움직임 벡터 정보를 이용하여 현재 부호화하고자 하는 픽처의 임의의 블록의 움직임의 예측을 가능하게 한다. 따라서, 매크로블록 또는 블록에 대한 어떤 부가적인 움직임 데이터를 부호화하지 않는다. 이들 모드를 위한 움직임은 인접한 MB 또는 픽처의 움직임의 공간적 (SKIP) 또는 시간적 (DIRECT) 관련성을 이용하여 획득된다.
도 4는 B 픽처의 다이렉트 모드를 설명하는 도면이다.
다이렉트 모드는 현재 부호화하고자 하는 B 픽처의 임의의 블록의 움직임을 예측하는데 있어서, 시간적으로 다음 픽처인 P 픽처의 대응 블록(co-located block)의 움직임 벡터를 이용하여 순방향 움직임 벡터 및 역방향 움직임 벡터를 구하는 것이다.
B 픽처(410)에서의 움직임을 예측하고자 하는 다이렉트 모드 블록(402)의 순방향 움직임 벡터 MVLO 및 역방향 움직임 벡터 MVL1를 계산하기 위하여, 시간적으로 다음 픽처인 참조 리스트 1 픽처(420)에서의 다이렉트 모드 블록(402)과 동일한 위치의 블록인 대응 블록(co-located block; 404)이 움직임 벡터에 의해 참조하고 있는 참조 리스트 0 픽처(430)에 대한 움직임 벡터 MV를 찾는다. 그러면, B 픽처(410)의 다이렉트 모드 블록(402)의 순방향 움직임 벡터 MVLO 및 역방향 움직임 벡터 MVL1는 다음 수학식 1에 의해 계산된다.
[수학식 1]
Figure 112006020843579-pat00001
Figure 112006020843579-pat00002
여기에서, MV는 참조 리스트 1 픽처(420)의 대응 블록(404)의 움직임 벡터를 나타낸다. TDD는 참조 리스트 0 픽처(430)와 참조 리스트 1 픽처(420)까지의 거리를 나타내고, TDB는 B 픽처(410)와 참조 리스트 픽처 0(430)까지의 거리를 나타내고, 낸다.
도 5는 공간 영역에서 움직임 벡터를 예측하는 방법을 설명하는 도면이다.
동영상 데이터를 부호화하기 위해 사용되는 H.264 표준에 따르면 하나의 프레임을 소정 크기의 블록으로 나누어 이미 부호화가 끝난 인접한 프레임을 참조하여 가장 유사한 블록을 검색하는 움직임 검색을 수행한다. 즉, 현재 매크로 블록(c)의 좌측(4)과 상단(2), 그리고 상단 우측(3)의 세 매크로 블록의 움직임 벡터 중에서 중간값을 움직임 벡터의 예측 값으로 정한다. 이러한 움직임 벡터 예측은 수학식 2로 나타낼 수 있다.
[수학식 2]
Figure 112006020843579-pat00003
이와 같이 시간적인 관련성 뿐만 아니라 공간적 관련성을 이용하여 동영상을 부호화하는 방법이 제시되고 있으며, 일반적인 동영상보다 정보량이 훨씬 많은 다시점 동영상에 대하여도 압축률을 향상시키고 처리 속도를 빠르게 하는 방법이 필요한 실정이다.
본 발명이 이루고자 하는 기술적 과제는, 다시점 카메라에 의해 촬영된 다시점 영상에 대한 시차 벡터 간의 관련성을 이용하여 다시점 동영상의 압축률을 향상시키고 다시점 동영상 부호화를 신속하게 수행하기 위한 다시점 동영상 부호화 방법 및 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 다시점 영상에 대한 시차 벡 터 간의 관련성을 이용하여 부호화된 다시점 동영상을 복호화하기 위한 다시점 동영상 복호화 방법 및 장치를 제공하는 데 있다.
상기의 기술적 과제를 해결하기 위하여 본 발명의 일 특징에 따른 다시점 동영상을 부호화하기 위하여 시차 벡터를 예측하는 방법은, 소정의 개수의 부호화된 매크로 블록에 대한 시차 벡터를 예측하는 단계; 예측된 시차 벡터를 이용하여 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 계산하는 단계를 포함한다.
바람직하게는, 시차 벡터를 예측하는 단계는, 완전 탐색 방법 또는 고속 탐색 방법에 의해 소정의 개수의 부호화된 매크로블록에 대한 시차 벡터를 예측하는 단계를 포함하고, 시차 벡터를 계산하는 단계는, 소정의 보간식을 이용하여 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 보간하여 계산하는 단계를 포함한다.
바람직하게는, 소정의 보간식은 부호화된 매크로블록들에 대해 결정된 시차 벡터들의 특성에 따라 선택되고, 시차 벡터들의 특성은 예측된 시차 벡터들의 편차가 일정한지 여부를 포함한다.
상기의 기술적 과제를 해결하기 위하여 본 발명의 다른 특징에 따른 다시점 동영상 부호화 장치는, 현재의 프레임과 참조 프레임을 수신하고, 소정의 개수의 부호화된 매크로 블록에 대한 시차 벡터를 예측하고, 예측된 시차 벡터를 이용하여 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 계산하는 다이렉트 모드 수행부; 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 계산하기 위한 보간식을 다이렉트 모드 수행부에 제공하는 보간식 제공부; 현재의 프레임과 참조 프레임을 수신하고, 프레임들을 탐색하여 시차 벡터를 예측하는 탐색 모드 수행부; 다이렉트 모드 수행부 및 탐색 모드 수행부에서 수행된 시차 벡터 결정 방법에 따른 코스트를 각각 계산하는 코스트 계산부; 계산된 코스트를 비교하는 비교부; 비교 결과에 따른 부호화 모드를 선택하는 모드 선택부; 및 선택된 부호화 모드에 따른 다시점 동영상의 부호화를 수행하는 부호화부를 포함한다.
바람직하게는, 다이렉트 모드 수행부는, 완전 탐색 방법 또는 고속 탐색 방법에 의해 소정의 개수의 부호화된 매크로블록에 대한 시차 벡터를 예측하고, 소정의 보간식을 이용하여 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 보간하여 계산한다.
바람직하게는, 보간식 제공부는 소정의 개수의 부호화된 매크로 블록에 대하여 예측된 시차 벡터들의 특성에 따라 선택될 수 있는 적어도 1 이상의 보간식을 저장하고 있다.
바람직하게는, 코스트 계산부는, 다이렉트 모드 수행부에서 계산된 시차 벡터(DV_d)를 이용하여 다이렉트 모드 코스트를 계산하는 다이렉트 모드 코스트 계산부; 및 탐색 모드 수행부에서 예측된 시차 벡터(DV_f)를 이용하여 탐색 모드 코스트를 계산하는 탐색 모드 코스트 계산부를 포함한다.
바람직하게는, 코스트 계산부는 다이렉트 모드 및 탐색 모드 각각에 대한 비 트레이트 및/또는 PSNR을 계산한다.
바람직하게는, 비교부는 다이렉트 모드 코스트 및 탐색 모드 코스트의 차이와 소정의 임계치를 비교하고, 모드 선택부는 비교 결과에 따라 플래그를 설정하여 설정된 플래그에 따라 부호화 모드를 선택한다.
바람직하게는, 비교부는, 다이렉트 모드 코스트 및 탐색 모드 코스트의 차이가 소정의 임계치 이상인 경우, 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 탐색 모드에 따라 결정된 시차 벡터(DV_f)와의 차이를 소정의 임계치와 비교하고, 모드 선택부는 비교 결과에 따라 부호화 모드에 따른 플래그를 설정하고 설정된 플래그에 따라 부호화 모드를 선택한다.
바람직하게는, 부호화부는, 선택된 부호화 모드가 다이렉트 모드인 경우, 잔차 영상를 부호화하고, 선택된 부호화 모드가 탐색 모드이고, 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 탐색 모드에 따라 결정된 시차 벡터(DV_f)와의 차이가 소정의 임계치보다 작은 경우, 잔차 영상 및 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 탐색 모드에 따라 결정된 시차 벡터(DV_f) 사이의 차이를 부호화하고, 선택된 부호화 모드가 탐색 모드이고, 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 탐색 모드에 따라 결정된 시차 벡터(DV_f)와의 차이가 소정의 임계치 이상인 경우, 잔차 영상 및 탐색 모드에 의한 시차 벡터를 부호화한다.
상기의 기술적 과제를 해결하기 위하여, 본 발명의 또 다른 특징에 따른 다시점 동영상 부호화 방법은, 현재의 프레임과 참조 프레임을 수신하는 단계; 소정의 개수의 부호화된 매크로 블록에 대한 시차 벡터를 예측하고, 예측된 시차 벡터 를 이용하여 부호화된 매크로블록들에 인접하게 위치하는 매크로블로들의 시차 벡터를 계산하는 다이렉트 모드를 수행하는 단계; 현재의 프레임과 참조 프레임을 탐색하여 시차 벡터를 예측하는 탐색 모드를 수행하는 단계; 다이렉트 모드 수행에 의한 코스트와 탐색 모드 수행에 의한 코스트를 각각 계산하는 단계; 계산된 코스트를 비교하는 단계; 비교 결과에 따른 부호화 모드를 선택하는 단계; 및 선택된 부호화 모드에 따라 다시점 동영상을 부호화하는 단계를 포함한다.
상기의 기술적 과제를 해결하기 위하여, 본 발명의 또 다른 특징에 따른 다시점 동영상 복호화 장치는, 수신되는 다시점 동영상 비트스트림에 포함되는 부호화 모드를 나타내는 플래그들을 확인하여 부호화 모드를 확인하는 부호화 모드 확인부; 확인된 부호화 모드에 따라 시차 벡터를 결정하는 시차 벡터 결정부; 확인된 부호화 모드에 따라 결정된 시차와 다시점 동영상 비트스트림에 포함된 잔차 영상 데이터를 이용하여 다시점 동영상을 복호하는 복호화부를 포함하고, 시차 벡터를 결정부는, 다시점 동영상 부호화 장치와 동일한 시차 보간식을 이용하여 시차 벡터를 계산한다.
바람직하게는, 모드 확인부에서 확인된 부호화 모드가 잔차 영상이 수신되는 제1 모드인 경우, 시차 벡터 결정부는 시차 보간식을 이용하여 시차를 계산하고, 모드 확인부에서 확인된 부호화 모드가 잔차 영상 및 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 탐색 모드에 따라 결정된 시차 벡터(DV_f) 사이의 차이값이 전달되는 제2 모드인 경우, 시차 벡터 결정부는 차이값 및 시차 보간식을 이용하여 계산된 시차를 합하여 시차 벡터를 계산한다.
상기의 기술적 과제를 해결하기 위하여 본 발명의 또 다른 특징에 따른 다시점 동영상 복호화 방법은, 수신되는 다시점 동영상 비트스트림에 포함되는 부호화 모드를 나타내는 플래그들을 확인하여 부호화 모드를 확인하는 단계; 확인된 부호화 모드에 따라 시차 벡터를 결정하는 단계; 확인된 부호화 모드에 따라 결정된 시차와 다시점 동영상 비트스트림에 포함된 잔차 영상 데이터를 이용하여 다시점 동영상을 복호하는 복호화하는 단계를 포함하고, 시차 벡터를 결정하는 단계는, 다시점 동영상 부호화 장치와 동일한 시차 보간식을 이용하여 시차 벡터를 계산하는 단계를 포함한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
도 6은 본 발명의 일 실시예에 따른 다시점 동영상 부호화 장치의 내부 구성을 나타내는 블록도이다.
본 발명의 일 실시예에 따른 다시점 동영상 부호화 장치는 다시점 영상 버퍼(610), 예측부(620), 시차/움직임 보상부(630), 차영상 부호화부(640) 및 엔트로피 부호화부(650)를 포함한다.
도 6에서, 제안된 다시점 동영상 부호화 장치는 다수의 카메라 시스템 또는 다른 가능한 방법으로부터 통상 획득되는 다시점 비디오 소스를 수신한다. 입력된 다시점 비디오는 다시점 영상 버퍼(610)로 저장된다. 다시점 영상 버퍼(610)는 저장된 다시점 동영상 소스 데이터를 예측부(620) 및 차영상 부호화부(640)에 제공한 다.
예측부(620)는 시차 예측부(622) 및 움직임 예측부(624)를 포함하여, 저장된 다시점 비디오 소스에 대해 움직임 예측 및 시차 예측을 실행한다.
시차/움직임 보상부(630)에서 시차 및 움직임 보상은 시차 예측부(622) 및 움직임 예측부(624)에서 예측된 움직임 벡터 및 시차 벡터를 이용하여 실행된다. 시차/움직임 보상부(630)는 예측된 움직임 및 시차 벡터를 이용하여 복원된 영상을 차영상 부호화부(640)에 제공한다.
차영상 부호화부(640)는 다시점 영상 버퍼(610)로부터 제공되는 원래 영상과 시차/움직임 보상부(630)에 의해 보상된 복원 영상의 차 정보를 보다 나은 화질과 입체감을 제공하기 위하여 차 영상 부호화를 수행하여 엔트로피 부호화부(650)에 제공한다.
엔트로피 부호화부(650)는 예측부(620)에서 생성된 시차 벡터 및 움직임 벡터에 대한 정보와 차영상 부호화부(640)로부터의 잔차 영상를 입력받아서 다시점 동영상 소스 데이터에 대한 비트 스트림을 생성한다.
도 6의 시차 예측부(622)에서, H.264 및 MPEG 2/4와 같은 종래의 코덱에서 이용되는 움직임 예측 및 움직임 보상을 위한 움직임 정보와 같이, 시차 정보는 시차 보상을 위해 이용된다. H.264에서 움직임 정보를 줄이고 부호화 효율을 증가시키기 위한 시도가 이루어진 바와 같이 MVC에서도 시차 정보를 줄이고 부호화 효율을 증가시키기 위한 시도가 수행된다.
이를 위하여, 시차 예측부(622)는 소정의 개수의 미리 부호화된 매크로블록 에 대한 시차 벡터를 예측하고, 상기의 미리 부호화된 매크로블록들에 인접하기 위치하는 매크로블록들의 시차 벡터를 예측된 시차 벡터를 이용하여 계산한다. 더 상세하게는, 시차 예측부(622)는 완전 탐색(full-search) 방법 또는 고속 탐색(fast-search) 방법과 같은 종래의 시차 예측 방법에 의해 소정의 개수의 미리 부호화된 매크로블록에 대한 시차 벡터를 예측하고, 소정의 보간식을 이용하여 미리 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 보간하여 계산한다.
이하에서는, 본 발명의 일 실시예에 따라 시차를 예측하는 방법에 대하여 도 7 내지 도 12를 참조하여 상세하게 설명한다.
본 명세서에서 소정의 개수의 미리 부호화된 매크로블록을 "시드-매크로블록(이하에서는, 시드-MB라 함)"이라 한다. 그리고, 예측된 시차 벡터를 이용하여 시차 벡터가 계산되는 미리 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들을 "논-시드 매크로블록(이하에서는, 논-시드 MB라 함)"라 한다. 그리고, 본 명세서에서는 종래의 탐색 방법에 의해 시차를 예측하는 것을 "시차 벡터 탐색"이라 하고, 본 발명에 따라 시차를 계산하는 것을 "시차 벡터 보간(disparity vector interpolation)" 또는 "다이렉트 모드"라고 한다. 또한, 종래의 시차 예측 방법에 의해 다시점 동영상을 부호화하는 방법을 "탐색 모드 부호화"라고 하고, 본 발명의 시차 벡터 보간에 의하여 동영상을 부호화하는 방법을 "다이렉트 모드 부호화"라고 한다.
도 7은 다시점 카메라에 의해 촬영된 프레임 시퀀스를 나타내는 도면이다.
수평 축은 시점 축으로 다시점 영상을 촬영하기 위한 카메라의 개수를 나타낸다. 수직 축은 시간 축으로 타임 시퀀스의 개수를 나타낸다. 다시점 카메라가 평행하게 배열되면 동일한 타임 시퀀스에 있는 다시점 프레임들 사이에는 높은 관련성이 존재할 것이다. 다시점 카메라가 평행하게 배열되어 있지 않더라도, 다시점 카메라로부터 촬영된 영상을 평행하게 배열된 다시점 카메라에서 촬영한 것과 같은 상태로 보정(rectify)할 수 있으므로, 관련성이 존재할 것이다.
이와 같이 다시점 프레임들 사이에 높은 관련성이 존재하는 특성이 있을 때, H.264에서 이용되는 다이렉트 모드와 같이, 본 발명의 일 실시예에 따라 "시차 벡터 보간"을 이용하여 시차 벡터를 예측하는 것이 효과적이다. "시차 벡터 보간"은 해상도를 높이기 위해서 사용되는 영상 보간 및 영상 스케일링 또는 영상 재구성과 유사하다. 영상 보간에서, 영상은 선형 보간(linear interpolation) 또는 큐빅 보간(cubic interpolation)에 의해 인접한 영상으로부터 보간되어 획득된다. 영상 보간과 같이, 시차 벡터도 영상 보간 방법과 유사한 벡터 보간에 의해 획득될 수 있다.
도 8은 본 발명의 일 실시예에 따른 이미 부호화된 매크로블록의 시차 벡터(DV)에 의해 인접한 매크로블록의 시차 벡터를 예측하는 방법을 설명하기 위한 도면이다.
도 8에서 Vc 및 Vr은 동일한 타임 시퀀스에 있는 임의의 프레임들에서의 MB들의 일 라인이다. Vr은 이미 부호화된 참조 시점 프레임이고, Vc는 현재 부호화하기 위하여 Vr을 이용하여 예측되는 프레임이다. 점선으로 해치된 매크로 블록은 이미 예측된 블록으로서 "시드-MB(seed-MB)"를 나타낸다. 사선으로 표시된 매크로블록은 시드-MB로 시차 벡터가 예측될 논-시드 MB를 나타낸다.
Vr 프레임에 있는 시드-MB를 이용하여, 2 개의 시드-MB 내부의 다른 MB들 즉, 논-시드 MB의 시차 벡터를 본 발명의 시차 벡터 보간 방법에 의해 예측될 수 있다. 도 8과 같은 2개의 시드-MB 내부의 다른 MB들의 시차 예측을 위하여 다음의 수학식 3이 이용된다.
[수학식 3]
Figure 112006020843579-pat00004
수학식 3에서, DV0 및 DVN -1은 시드-MB들을 가리키며, 완전 탐색(full-search) 방법 또는 고속 탐색(fast-search) 방법과 같은 종래의 방법에 의해 예측된다.
도 8에 도시된 바와 같이 시차 벡터의 편차가 일정한 경우 시차 벡터의 관계는 도 9와 같은 그래프로 나타낼 수 있다. 즉, MB 사이의 거리가 i인 경우 DV의 크기가 DVO에서 DVi로 변화한 비율이, MB 사이의 거리가 i 부터 N-1인 경우 DV의 크기가 DVi에서 DVN -1로 변화한 비율과 같다고 가정하여, 수학식 3을 다음의 수학식 3-1 내지 수학식 3-3에 의해 도출할 수 있다.
[수학식 3-1]
Figure 112006020843579-pat00005
[수학식 3-2]
Figure 112006020843579-pat00006
[수학식 3-3]
Figure 112006020843579-pat00007
도 10은 본 발명의 다른 실시예에 따른 이미 부호화된 매크로블록의 시차 벡터(DV)에 의해 인접한 매크로블록의 시차 벡터를 예측하는 방법을 설명하기 위한 도면이다.
수학식 3은 도 8에 도시된 전술한 바와 같이 DV들의 변화 라인 즉, DV들의 편차가 거의 일정한 경우에 유용하다. 그러나, DV들의 편차가 일정하지 않을 경우, 예를 들어 도 11에 도시된 바와 같이 DV들의 변화 라인이 곡선 형태를 가지는 경우에는 수학식 4를 이용하여 DV를 예측할 수 있다.
[수학식 4]
Figure 112006020843579-pat00008
도 10과 수학식 4에서 알 수 있는 바와 같이, 2개 이상의 DV들을 이용하여 i번째 MB에 대한 DVi를 예측한다. 수학식 4에서, DVi +h는 논-시드 MB이고, Ch는 매크로블록에 대한 DV를 생성하기 위한 보간 계수이다. 수학식 4를 이해하기 위하여 DVi를 계산하는 과정의 일예를 설명한다. 예를 들어, i=4이고, N=8인 경우, 수학식 4는 수학식 4-1과 같이 나타낼 수 있다.
[수학식 4-1]
Figure 112006020843579-pat00009
수학식 4-1에서, DV1, DV3, DV5, 및 DV7이 시드-MB인 경우, 시드-MB가 아닌 임의의 DV 즉, DV2, DV4 , DV6 및 DV8이 0으로 설정되면, DV4를 결정할 수 있게 된다.
도 11은 본 발명의 또 다른 실시예에 따른 이미 부호화된 매크로블록의 시차 벡터(DV)에 의해 인접한 매크로블록의 시차 벡터를 예측하는 방법을 설명하기 위한 도면이다.
도 11은 시차 벡터를 2차원적으로 예측하기 위한 것으로 수학식 5를 이용하여 시차 벡터를 예측할 수 있다.
[수학식 5]
Figure 112006020843579-pat00010
수학식 5에서 C(x, y)는 매크로블록에 대한 DV를 생성하기 위한 2차원 계수이다. 수학식 5에서 DV(x+h, y+v)가 시드-MB가 아닌 경우, DV(x+h, y+v)가 0으로 설정되면, 시드-MB에 대한 값만으로 DV(x,y)를 계산할 수 있다. 본 발명의 시차 벡터 보간 방법에 의해 구해질 수 있는 영역이 넓은 경우에 도 5와 같은 식을 사용할 수 있다.
도 12는 본 발명의 일 실시예에 따른 시차 벡터를 예측하는 방법을 설명하는 도면이다.
전술한 바와 같이 시차 벡터를 예측하기 위하여, 우선, 종래의 시차 벡터- 탐색 방법을 수행하여, 시드-MB에 대한 시차 벡터를 획득한다. 시드-MB는 계산을 단순화하기 위하여 일정한 간격으로 떨어져 있을 수 있다. 시차 벡터-탐색은 현재의 프레임 및 참조 프레임 사이에서 수행한다. 그런 다음, 나머지 시드-MB에 인접하게 위치되는 MB에 대한 시차 벡터들이 시드-MB를 이용하여 본 발명의 시차 벡터 보간 방법에 의해 계산되어 획득될 수 있다.
또한, 본 발명의 시차 벡터 보간에서 이용되는 소정의 보간식은 미리 부호화된 매크로블록들 즉, 시드-MB에 대해 결정된 시차 벡터들의 특성에 따라 선택될 수 있다. 여기에서, 시차 벡터들의 특성은 수학식 3 및 4에서 설명한 바와 같이, 예측된 시차 벡터들의 편차가 일정한지 여부일 수 있다. 또한, 다이렉트 모드에서 수학식 3 내지 5와 같은 수학식은 다시점 동영상 부호화 및 복호화 장치의 설계 단계에서 결정되는 것이 바람직하다. 그리고, 이와 같은 수학식은 다시점 동영상 부호화 및 복호화 장치에서 공유되어야 한다.
이하에서는, 본 발명의 다른 실시예에 따른 시차 벡터 예측하여 다시점 동영상을 부호화하는 방법에 대하여 설명한다.
본 발명의 일 실시예에 따른 보간 방법에 의해 획득된 시차 벡터는 신뢰성이 있는 값이지만, 그렇지 않은 경우가 있다. 따라서, 높은 압축 성능을 획득하기 위하여 본 발명에 따른 시차 벡터 보간 방법과 종래의 방법에 따른 시차 벡터 탐색 방법, 예를 들어, 완전 또는 고속 탐색 방법을 둘 다 수행할 수 있다.
즉, 본 발명의 일 실시예에 따르면 시차 벡터 보간 및 시차 벡터 탐색 둘 다에 대한 압축률을 비교하고, 시차 벡터 보간의 압축률이 시차 벡터 탐색에 비하여 동등하거나 더 나은 경우에 최종적으로 시차 벡터 보간 방법의 결과를 이용한다. 시차 벡터 보간의 결과가 이용되는 경우, 수신단에서는 DV에 대한 정보 없이, DV가 어떻게 생성되는지에 대한 정보만 가지고 있으면 시차 벡터 보간의 결과가 재생성될 수 있다.
한편, 시차 벡터 탐색에 대한 압축률이 더 높아서 최종적으로 시차 벡터 탐색이 이용되는 경우에는, DV가 부호화되어 전송되어야 한다. 이 때, 본 발명의 일 실시예 따라 시차 벡터 탐색에 의한 DV와 시차 벡터 보간에 의해 DV 사이의 차이가 작은 경우에는, 그 차이가 전송될 수 있다.
따라서, 프레임이 부호화될 때, 시차 벡터 탐색에 의한 MB과 본 발명의 일 실시예에 따른 다이렉트 모드에 의한 MB는 구분되어야 한다. 다음과 같이 다이렉트 모드에 대한 플래그(flag_direct)를 정의하여 각 방법에 따른 MB를 구별할 수 있다.
- 시차 벡터 탐색에 의한 DV: flag_direct = 0
- 다이렉트 모드에 의한 DV: flag_direct = 1
시차 벡터 탐색에 의한 DV의 flag_direct를 1로 설정하고, 다이렉트 모드에 의한 DV의 flag_direct를 0으로 설정할 수 있음은 물론이다. 디코딩 단에서는 MB-모드에 대한 플래그가 다이렉트 모드이면 수학식 3 내지 5과 같은 시차 벡터 보간 식을 이용하여 DV를 계산할 수 있다. 수학식 3 내지 5 중 어떤 식이 이용되어야 하는지는 부호화단과 디코딩 단에서 미리 정해져 있어야 한다.
한편, 시차 벡터 탐색에 대한 DV와 다이렉트 모드에 의한 DV 사이의 차이가 전송되는 경우를, 기본적인 시차 벡터 탐색에 의한 DV와 구별하기 위하여 플래그(flag_diff)를 정의하여 이용할 수 있다. 탐색 모드 부호화에 의해 다시점 동영상을 부호화하더라도, 시차 벡터 보간에 의한 시차 벡터 DV_d와 시차 벡터 탐색에 의한 시차 벡터 DV_f의 차이가 작은 경우에는, 차이값을 부호화하는 것이 압축률을 높이는데 효율적이기 때문이다.
- flag_diff = 0인 경우에는 시차 벡터 탐색에 의한 DV가 전송된다.
- flag_diff = 1인 경우에는 시차 벡터 탐색에 대한 DV와 다이렉트 모드에 의한 DV 사이의 차이가 전송된다.
물론 위와 반대로 flag_diff 값을 설정할 수 있다.
따라서, 본 발명의 다시점 동영상 부호화 방법에서는 세 가지의 다른 모드를 정의할 수 있다.
제1 MODE: (flag_direct=1) & (flag_diff=0 또는 1)
제2 MODE: (flag_direct=0) & (flag_diff=1)
제3 MODE: (flag_direct=0) & (flag_diff=0)
제1 MODE의 경우에는 다이렉트 모드인 경우이므로, 잔차 영상만 부호화하여 복호화기에 전달하면 된다. 제2 MODE의 경우에는 잔차 영상 및 다이렉트 모드에 의한 시차 벡터와 시차 벡터 탐색 모드에 의한 시차 벡터 사이의 차이를 부호화하 여 전달하면 된다. 제3 MODE의 경우에는 잔차 영상 및 시차 벡터 탐색에 의한 시차 벡터를 부호화하여 전달하면 된다.
도 13는 본 발명의 다른 실시예에 따른 다시점 동영상 부호화 장치의 구성을 나타내는 블록도이다.
본 발명의 다른 실시예에 따른 다시점 동영상 부호화 장치는 다이렉트 모드 수행부(1310), 보간식 제공부(1320), 탐색 모드 수행부(1330), 다이렉트 모드 코스트 계산부(1341)과 탐색 모드 코스트 계산부(1343)를 포함하는 코스트 계산부(1340), 비교부(1350), 모드 선택부(1360) 및 부호화부(1370)를 포함한다.
도 13에 도시된 바와 같이, 다이렉트 모드 수행부(1310)에는 현재 프레임 및 참조 프레임이 입력된다. 다이렉트 모드 수행부(1310)에는 부호화하고자 하는 프레임의 소정의 개수의 매크로블록을 미리 부호화하고, 그 소정의 개수의 부호화된 매크로블록 즉, 시드-MB에 대한 시차 벡터를 종래의 시차 벡터 탐색에 의해 예측한다.
그런 다음, 다이렉트 모드 수행부(1310)는 소정의 개수의 미리 부호화된 매크로 블록에 대한 시차 벡터를 예측하고, 예측된 시차 벡터를 이용하여 상기의 미리 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 이용하여 본 발명의 시차 보간 방법에 따라 계산한다. 즉, 보간식 제공부(1320)에 의해 제공된 소정의 보간식을 이용하여 시차 벡터를 보간함으로써 다이렉트 모드에 따른 시차 벡터(DV_d)를 계산한다.
또한 다이렉트 모드 수행부(1310)은 DV_d와 참조 프레임으로 보상된 프레임 을 만들고, 보상된 프레임에서 원래의 프레임을 차분하여 현재 프레임의 잔차 영상을 생성한다. 다이렉트 모드 수행부(1310)는 생성된 DV_d와 잔차 영상을 코스트 계산부(1340)의 다이렉트 모드 코스트 계산부(1341)에 전달한다.
보간식 제공부(1320)는 소정의 개수의 미리 부호화된 매크로블록에 대하여 예측된 시차 벡터들의 특성에 따라 선택될 수 있는 적어도 1 이상의 보간식, 예를 들어, 수학식 3, 4, 또는 5을 저장하고 있다. 따라서, 다이렉트 모드 수행부(1310)는 보간식 제공부(1320)에 의해 제공된 보간식을 이용하여 시차 벡터를 결정할 수 있다.
현재 프레임 및 참조 프레임은 탐색 모드 수행부(1330)로도 입력된다. 탐색 모드 수행부(1330)에서 시차 벡터 DV_f는 종래의 시차 탐색 방법에 의해 결정되고, 현재 프레임의 잔차 영상은 DV_f와 참조 프레임을 이용하여 보상된 프레임을 만들고, 보상된 프레임에서 원래의 프레임을 차분하여 현재 프레임의 잔차 영상을 생성한다. 탐색 모드 수행부(1330)는 생성된 DV_f와 잔차 영상을 코스트 계산부(1340)의 탐색 모드 코스트 계산부(1343)에 전달한다.
다이렉트 모드 코스트 계산부(1341)는 다이렉트 모드 수행 결과에 대한 코스트를 계산한다. 즉, 다이렉트 모드 코스트 계산부(1341)는 DV_d와 잔차 영상을 수신하여 논-시드 MB와, 시차 벡터 보간에 의한 DV_d를 이용하여 보상된 MB 사이의 코스트를 계산한다.
탐색 모드 코스트 계산부(1343)는 탐색 모드 수행 결과에 대한 코스트를 계산한다. 즉, 탐색 모드 코스트 계산부(1343)는 DV_f와 잔차 영상을 수신하여 논- 시드 MB와, 시차 탐색에 의한 DV를 이용하여 보상된 MB 사이의 코스트를 계산한다. 코스트는 비트레이트 또는 압축된 영상의 PSNR(peak signal to noise rate)을 계산 또는 예측하여 결정할 수 있다. 이때 코스트는 비트레이트만을 이용하여 결정될 수 있도, PSNR만을 이용하여 결정될 수도 있다. 또는, 소정의 기준에 따라 비트레이트 또는 PSNR을 모두 고려하여 코스트가 결정될 수 있다.
비교부(1350)는 다이렉트 모드 코스트 계산부(1341) 및 탐색 모드 코스트 계산부(1343)에서 계산된 결과를 비교하여, 비교 결과를 모드 선택부(1360)에 전달한다. 비교부(1350)는 다이렉트 모드 코스트와 탐색 모드 코스트의 차이를 소정의 임계치와 비교할 수 있다. 비교 결과, 다이렉트 모드 코스트와 탐색 모드 코스트의 차이가 소정의 임계치 이상인 경우, 비교부(1350)는 본 발명의 시차 벡터 보간에 의한 시차 벡터와 종래의 시차 벡터 탐색 방법에 의해 시차 벡터와의 차이를 소정의 임계치와 비교하여 비교 결과를 모드 선택부(1360)에 전달한다.
모드 선택부(1360)는 비교 결과에 기초하여 플래그를 결정하고 결정된 플래그에 따른 부호화 모드를 결정한다. 모드 선택부(1360)는 비교부(1350)로부터 2개의 코스트 함수 사이의 차이가 소정의 임계치보다 작다는 결과가 수신되면, 본 발명에 따른 다이렉트 모드로 부호화하기 위하여 flag_direct를 1로 설정할 수 있다. 또한, 모드 선택부(1360)는 2개의 코스트 함수의 차이가 소정의 임계치 이상인 경우에는 종래의 방법에 따른 시차 벡터 탐색에 의하여 시차 벡터를 결정하여 다시점 영상을 부호화하기 위하여 flag_direct를 0으로 설정할 수 있다.
flag_direct를 0으로 설정한 경우, 모드 선택부(1360)는 비교부(1350)로부터 본 발명의 시차 벡터 보간에 의한 시차 벡터와 종래의 시차 벡터 탐색 방법에 의해 시차 벡터와의 차이를 소정의 임계치와 비교한 비교 결과를 수신하여 flag_diff도 결정한다. 모드 선택부(1360)는 상기의 차이가 소정의 임계치보다 작은 경우에는 flag_diff를 1로 설정하고, 상기의 차이가 소정의 임계치 이상인 경우에는 flag_diff를 0로 설정할 수 있다.
모드 선택부(1360)는 (flag_direct=1) & (flag_diff=0 또는 1)인 경우 제1 MODE로 설정하고, (flag_direct=0) & (flag_diff=1)인 경우 제2 MODE로 설정하고, (flag_direct=0) & (flag_diff=0)인 경우 제3 MODE로 설정할 수 있다.
부호화부(1370)는 결정된 플래그 정보와 함께 결정된 모드에 따라 다시점 동영상을 부호화하여 송신한다. flag_direct = 1(제1 MODE)인에는, 부호화부(1370)는 플래그 정보와 잔차 영상만을 부호화한다. flag_direct = 0이고, flag_diff = 1(MODE 2)인 경우, 잔차 영상 및 다이렉트 모드에 의한 시차 벡터와 탐색 모드에 의한 시차 벡터 사이의 차이를 부호화하여 전달한다. flag_direct = 0이고, flag_diff = 0(제3 MODE 2)인 경우 잔차 영상 및 탐색 모드에 의한 시차 벡터를 부호화하여 전달한다.
도 14는 본 발명의 다른 실시예에 따른 다시점 동영상 부호화 방법을 나타내는 흐름도이다.
미리 부호화된 소정의 개수의 매크로블록 즉, 시드-MB에 대한 시차 벡터를 종래의 시차 벡터 예측 방법에 의하여 결정한다(S 1410). 다이렉트 모드 수행부(1310)에는 소정의 보간식을 이용하여 시차 벡터 보간에 의해 시차 벡터를 계산한 다(S 1420). 다이렉트 모드 코스트 계산부(1341)는 다이렉트 모드 수행부(1310)에서 생성되어 전달되는 DV_d와 잔차 영상을 수신하여, 논-시드 MB와 시차 벡터 보간에 의한 DV_d를 이용하여 보상된 MB 사이의 코스트를 계산한다(S 1430).
한편, 탐색 모드 수행부(1330)에서 시차 벡터 DV_f를 종래의 시차 탐색 방법에 의해 결정한다(S 1440). 탐색 모드 코스트 계산부(1343)는 탐색 모드 수행부(1330)에서 생성되어 전달되는 DV_f와 잔차 영상을 수신하여, 논-시드 MB와 시차 벡터 탐색에 의한 DV_f를 이용하여 보상된 MB 사이의 코스트를 계산한다(S 1450).
비교부(1350)는 다이렉트 모드 코스트 계산부(1341) 및 탐색 모드 코스트 계산부(1343)에서 계산된 결과를 비교하여, 비교 결과를 모드 선택부(1360)에 전달한다(S 1460). 모드 선택부(1360)는 비교 결과에 기초하여 플래그를 결정하고, 결정된 플래그에 따른 부호화 모드를 결정한다(S 1470). 부호화부(1370)는 결정된 플래그 정보와 함께 부호화 모드에 따라 다시점 동영상을 부호화한다(S 1480).
도 15는 본 발명의 일 실시예에 따른 다시점 동영상 복호화 장치를 나타내는 블록도이다. 본 발명의 일 실시예에 따른 다시점 동영상 복호화 장치는 모드 확인부(1510), 시차 벡터 결정부(1520), 시차 보간식 제공부(1530) 및 복호화부(1540)를 포함한다.
모드 확인부(1510)로 수신되는 다시점 동영상 비트스트림에 포함되는 다시점 동영상 부호화 모드를 나타내는 플래그 즉, flag_direct 및 flag_diff를 확인하여 다시점 동영상의 부호화 모드를 확인한다.
시차 벡터 결정부(1520)는 확인된 부호화 모드에 따라 시차 벡터를 결정하 다. 시차 보간식 제공부(1530)는 다시점 동영상 부호화 장치와 동일한 시차 보간식을 저장하고 있으며, 시차 벡터 결정부(1520)에 시차 보간식을 제공한다. 시차 벡터 결정부(1520)는 시차 보간식을 이용하여 다이렉트 모드에 따라 부호화된 다시점 동영상에 대한 시차 벡터를 계산할 수 있다. 시차 보간식 제공부(1530)는 시차 벡터 결정부(1520)에 포함되어 구성될 수 있다.
시차 벡터 결정부(1520)는 제1 MODE 즉, 다이렉트 모드로 시차 벡터를 결정할 경우, 잔차 영상이 전달되므로, 다시점 동영상 부호화 장치와 동일한 보간식을 이용하여 시차 벡터를 계산할 수 있다.
제2 MODE의 경우에는, 잔차 영상 및 다이렉트 모드에 의한 시차 벡터 DV_d와 탐색 모드에 의한 시차 벡터 DV_f 사이의 차이값이 전달된다. 제2 MODE의 경우 DV_f는 다이렉트 모드에 의한 시차 벡터와 탐색 모드에 의한 시차 벡터 사이의 차이값과 DV_d의 합이고, DV_d는 시차 보간식 제공부(1530)에 의해 제공된 시차 보간식을 이용하여 시차를 계산할 수 있으므로, DV_f를 구할 수 있다.
제3 MODE의 경우에는, 잔차 영상 및 탐색 모드에 의한 시차 벡터가 전달되므로, 전달된 시차 벡터가 복호에 이용된다.
복호화부(1540)는 각 모드에 따라 결정된 시차 벡터와 모드 확인부(1510)로 수신되어 전달되는 다시점 동영상 비트스트림에 포함된 잔차 영상 데이터를 이용하여 다시점 동영상을 복호한다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
전술한 바와 같이, 본 발명에 따르면 매크로블록 단위의 시차를 예측할 때, 모든 매크로블록에 대하여 시차를 예측하지 않고, 소정의 개수의 매크로블록에 대해 예측된 시차를 이용하여 나머지 매크로블록에 대한 시차를 계산함으로써 다시점 동영상의 부호화 속도를 향상시킬 수 있다.
또한, 본 발명에 따르면, 각각의 매크로블록에 대한 시차 벡터를 모두 부호화하지 않아도 되므로 다시점 영상의 압축률을 향상시킬 수 있다.
또한, 본 발명에 따르면, 다시점 영상에 대한 시차 벡터 간의 관련성을 이용하여 부호화된 다시점 동영상을 복호화하기 위한 다시점 동영상 복호화 방법 및 장치를 제공할 수 있다.

Claims (26)

  1. 다시점 동영상을 부호화하기 위하여 시차 벡터를 예측하는 방법에 있어서,
    소정의 개수의 부호화된 매크로 블록에 대한 시차 벡터를 예측하는 단계;
    상기 예측된 시차 벡터를 이용하여 상기 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 계산하는 단계를 포함하며,
    상기 시차 벡터를 계산하는 단계는 상기 부호화된 매크로블록들에 대해 결정된 시차벡터들의 특성에 따라 소정의 보간식을 선택하고, 상기 선택된 보간식을 이용해서 상기 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차벡터를 보간하여 계산하는 단계를 포함하는 것을 특징으로 하는 시차 벡터 예측 방법.
  2. 제1항에 있어서,
    상기 시차 벡터를 예측하는 단계는, 완전 탐색 방법 또는 고속 탐색 방법에 의해 상기 소정의 개수의 부호화된 매크로블록에 대한 시차 벡터를 예측하는 단계를 포함하는 것을 특징으로 하는 시차 벡터 예측 방법.
  3. 제1항에 있어서,
    상기 시차 벡터들의 특성은 상기 예측된 시차 벡터들의 편차가 일정한지 여부를 포함하는 것을 특징으로 하는 시차 벡터 예측 방법.
  4. 현재의 프레임과 참조 프레임을 수신하고, 소정의 개수의 부호화된 매크로 블록에 대한 시차 벡터를 예측하고, 상기 예측된 시차 벡터를 이용하여 상기 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 계산하는 다이렉트 모드 수행부;
    상기 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 계산하기 위한 보간식을 상기 다이렉트 모드 수행부에 제공하는 보간식 제공부;
    상기 현재의 프레임과 참조 프레임을 수신하고, 상기 프레임들을 탐색하여 시차 벡터를 예측하는 탐색 모드 수행부;
    상기 다이렉트 모드 수행부 및 상기 탐색 모드 수행부에서 수행된 시차 벡터 결정 방법에 따른 코스트를 각각 계산하는 코스트 계산부;
    상기 계산된 코스트를 비교하는 비교부;
    상기 비교 결과에 따른 부호화 모드를 선택하는 모드 선택부; 및
    상기 선택된 부호화 모드에 따른 다시점 동영상의 부호화를 수행하는 부호화부를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  5. 제4항에 있어서, 상기 다이렉트 모드 수행부는,
    완전 탐색 방법 또는 고속 탐색 방법에 의해 상기 소정의 개수의 부호화된 매크로블록에 대한 시차 벡터를 예측하고, 소정의 보간식을 이용하여 상기 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 보간하여 계산 하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  6. 제5항에 있어서,
    상기 보간식 제공부는 상기 소정의 개수의 부호화된 매크로 블록에 대하여 예측된 시차 벡터들의 특성에 따라 선택될 수 있는 적어도 1 이상의 보간식을 저장하고 있는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  7. 제4항에 있어서, 상기 코스트 계산부는,
    상기 다이렉트 모드 수행부에서 계산된 시차 벡터(DV_d)를 이용하여 다이렉트 모드 코스트를 계산하는 다이렉트 모드 코스트 계산부; 및
    상기 탐색 모드 수행부에서 예측된 시차 벡터(DV_f)를 이용하여 탐색 모드 코스트를 계산하는 탐색 모드 코스트 계산부를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  8. 제4항에 있어서,
    상기 코스트 계산부는 다이렉트 모드 및 탐색 모드 각각에 대한 비트레이트 및 PSNR 중 적어도 하나를 계산하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  9. 제7항에 있어서,
    상기 비교부는 상기 다이렉트 모드 코스트 및 상기 탐색 모드 코스트의 차이 와 소정의 임계치를 비교하고,
    상기 모드 선택부는 상기 비교 결과에 따라 플래그를 설정하여 설정된 플래그에 따라 부호화 모드를 선택하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  10. 제9항에 있어서,
    상기 비교부는, 상기 다이렉트 모드 코스트 및 상기 탐색 모드 코스트의 차이가 소정의 임계치 이상인 경우, 상기 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 상기 탐색 모드에 따라 결정된 시차 벡터(DV_f)와의 차이를 소정의 임계치와 비교하고,
    상기 모드 선택부는 상기 비교 결과에 따라 상기 부호화 모드에 따른 플래그를 설정하고 설정된 플래그에 따라 부호화 모드를 선택하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  11. 제4항에 있어서, 상기 부호화부는,
    상기 선택된 부호화 모드가 다이렉트 모드인 경우, 잔차 영상를 부호화하고,
    상기 선택된 부호화 모드가 탐색 모드이고, 상기 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 상기 탐색 모드에 따라 결정된 시차 벡터(DV_f)와의 차이가 소정의 임계치보다 작은 경우, 잔차 영상 및 상기 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 상기 탐색 모드에 따라 결정된 시차 벡터(DV_f) 사이의 차이를 부 호화하고,
    상기 선택된 부호화 모드가 탐색 모드이고, 상기 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 상기 탐색 모드에 따라 결정된 시차 벡터(DV_f)와의 차이가 소정의 임계치 이상인 경우, 잔차 영상 및 상기 탐색 모드에 의한 시차 벡터를 부호화하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
  12. 현재의 프레임과 참조 프레임을 수신하는 단계;
    소정의 개수의 부호화된 매크로 블록에 대한 시차 벡터를 예측하고, 상기 예측된 시차 벡터를 이용하여 상기 부호화된 매크로블록들에 인접하게 위치하는 매크로블로들의 시차 벡터를 계산하는 다이렉트 모드를 수행하는 단계;
    상기 현재의 프레임과 참조 프레임을 탐색하여 시차 벡터를 예측하는 탐색 모드를 수행하는 단계;
    상기 다이렉트 모드 수행에 의한 코스트와 상기 탐색 모드 수행에 의한 코스트를 각각 계산하는 단계;
    상기 계산된 코스트를 비교하는 단계;
    상기 비교 결과에 따른 부호화 모드를 선택하는 단계; 및
    상기 선택된 부호화 모드에 따라 다시점 동영상을 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  13. 제12항에 있어서, 상기 다이렉트 모드를 수행하는 단계는,
    완전 탐색 방법 또는 고속 탐색 방법에 의해 상기 소정의 개수의 부호화된 매크로블록에 대한 시차 벡터를 예측하는 단계; 및
    소정의 보간식을 이용하여 상기 부호화된 매크로블록들에 인접하게 위치하는 매크로블록들의 시차 벡터를 보간하여 계산하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  14. 제13항에 있어서, 상기 시차 벡터를 보간하여 계산하는 단계는,
    상기 소정의 개수의 부호화된 매크로블록에 대하여 예측된 시차 벡터들의 특성에 따라 선택될 수 있는 적어도 1 이상의 보간식 중 하나를 이용하여 시차 벡터를 계산하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  15. 제12항에 있어서, 상기 코스트를 계산하는 단계는,
    상기 다이렉트 모드에 따라 계산된 시차 벡터(DV_d)를 이용하여 다이렉트 모드 코스트를 계산하는 단계; 및
    상기 탐색 모드에 따라 예측된 시차 벡터(DV_f)를 이용하여 탐색 모드 코스트를 계산하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  16. 제12항에 있어서, 상기 코스트를 계산하는 단계는,
    상기 다이렉트 모드 또는 상기 탐색 모드 각각에 대한 비트레이트 및 PSNR 중 적어도 하나를 계산하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  17. 제15항에 있어서, 상기 코스트를 비교하는 단계는,
    상기 다이렉트 모드 코스트와 상기 탐색 모드 코스트의 차이와 소정의 임계치를 비교하는 단계를 포함하고,
    상기 부호화 모드를 선택하는 단계는,
    상기 비교 결과에 따라 플래그를 설정하고, 설정된 플래그에 따라 부호화 모드를 선택하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  18. 제17항에 있어서, 상기 코스트를 비교하는 단계는,
    상기 다이렉트 모드 코스트와 상기 탐색 모드 코스트의 차이가 소정의 임계치 이상인 경우, 상기 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 상기 탐색 모드에 따라 결정된 시차 벡터(DV_f)와의 차이를 소정의 임계치와 비교하고,
    상기 부호화 모드를 선택하는 단계는,
    상기 비교 결과에 따라 플래그를 설정하고 설정된 플래그에 따라 부호화 모드를 선택하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  19. 제12항에 있어서, 상기 부호화하는 단계는,
    상기 선택된 부호화 모드가 다이렉트 모드인 경우, 잔차 영상를 부호화하는 단계를 포함하고,
    상기 선택된 부호화 모드가 탐색 모드이고, 상기 다이렉트 모드에 따라 결정 된 시차 벡터(DV_d)와 상기 탐색 모드에 따라 결정된 시차 벡터(DV_f)와의 차이가 소정의 임계치보다 작은 경우, 잔차 영상 및 상기 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 탐색 모드에 의한 시차 벡터(DV_f) 사이의 차이를 부호화하는 단계를 포함하고,
    상기 선택된 부호화 모드가 탐색 모드이고, 상기 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 상기 탐색 모드에 따라 결정된 시차 벡터(DV_f)와의 차이가 소정의 임계치 이상인 경우, 잔차 영상 및 상기 탐색 모드에 의한 시차 벡터를 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
  20. 수신되는 다시점 동영상 비트스트림에 포함되는 부호화 모드를 나타내는 플래그들을 확인하여 부호화 모드를 확인하는 부호화 모드 확인부;
    상기 확인된 부호화 모드에 따라 시차 벡터를 결정하는 시차 벡터 결정부;
    상기 확인된 부호화 모드에 따라 결정된 시차와 상기 다시점 동영상 비트스트림에 포함된 잔차 영상 데이터를 이용하여 다시점 동영상을 복호하는 복호화부를 포함하고,
    상기 시차 벡터를 결정부는, 다시점 동영상 부호화 장치와 동일한 시차 보간식을 이용하여 시차 벡터를 계산하는 것을 특징으로 하는 다시점 동영상 복호화 장치.
  21. 제20항에 있어서,
    상기 모드 확인부에서 확인된 부호화 모드가 잔차 영상이 수신되는 제1 모드인 경우, 상기 시차 벡터 결정부는 상기 시차 보간식을 이용하여 시차를 계산하고,
    상기 모드 확인부에서 확인된 부호화 모드가 잔차 영상 및 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 탐색 모드에 따라 결정된 시차 벡터(DV_f) 사이의 차이값이 전달되는 제2 모드인 경우, 상기 시차 벡터 결정부는 상기 차이값 및 상기 시차 보간식을 이용하여 계산된 시차를 합하여 시차 벡터를 계산하는 것을 특징으로 하는 다시점 동영상 복호화 장치.
  22. 수신되는 다시점 동영상 비트스트림에 포함되는 부호화 모드를 나타내는 플래그들을 확인하여 부호화 모드를 확인하는 단계;
    상기 확인된 부호화 모드에 따라 시차 벡터를 결정하는 단계;
    상기 확인된 부호화 모드에 따라 결정된 시차와 상기 다시점 동영상 비트스트림에 포함된 잔차 영상 데이터를 이용하여 다시점 동영상을 복호하는 복호화하는 단계를 포함하고,
    상기 시차 벡터를 결정하는 단계는,
    다시점 동영상 부호화 장치와 동일한 시차 보간식을 이용하여 시차 벡터를 계산하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 복호화 방법.
  23. 제22항에 있어서, 상기 시차 벡터를 결정하는 단계는,
    상기 확인된 부호화 모드가 잔차 영상이 수신되는 제1 모드인 경우, 상기 시 차 보간식을 이용하여 시차를 계산하는 단계를 포함하고,
    상기 확인된 부호화 모드가 잔차 영상 및 다이렉트 모드에 따라 결정된 시차 벡터(DV_d)와 탐색 모드에 따라 결정된 시차 벡터(DV_f) 사이의 차이값이 전달되는 제2 모드인 경우, 상기 차이값 및 상기 시차 보간식을 이용하여 계산된 시차를 합하여 시차 벡터를 계산하는 단계를 포함하는 것을 특징으로 하는 다시점 동영상 복호화 방법.
  24. 제1항 내지 제3항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  25. 제12항 내지 제19항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  26. 제22항 또는 제23항에 기재된 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060026984A 2005-09-22 2006-03-24 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치 KR101227601B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
MX2008003375A MX2008003375A (es) 2005-09-22 2006-09-22 Metodo para calcular vector de disparidad y metodo y aparato para codificar y descodificar pelicula de vision multiple utilizando el metodo de calculo de vector de disparidad.
PCT/KR2006/003771 WO2007035054A1 (en) 2005-09-22 2006-09-22 Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
CN200680030828.5A CN101248670B (zh) 2005-09-22 2006-09-22 视差矢量估计方法及对运动图像编码和解码的方法和设备
US11/525,081 US8644386B2 (en) 2005-09-22 2006-09-22 Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
JP2008532162A JP5059766B2 (ja) 2005-09-22 2006-09-22 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
EP06798854A EP1927250A4 (en) 2005-09-22 2006-09-22 DISPARITE VECTOR ESTIMATING METHOD, AND METHOD AND DEVICE FOR MULTIVISION MOTION IMAGE CODING AND DECODING BASED ON ESTIMATION METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US71919305P 2005-09-22 2005-09-22
US60/719,193 2005-09-22

Publications (2)

Publication Number Publication Date
KR20070033863A KR20070033863A (ko) 2007-03-27
KR101227601B1 true KR101227601B1 (ko) 2013-01-29

Family

ID=39947968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060026984A KR101227601B1 (ko) 2005-09-22 2006-03-24 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101227601B1 (ko)
CN (1) CN101248670B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894377B2 (en) 2013-04-05 2018-02-13 Samsung Electronics Co., Ltd. Method for predicting disparity vector for interlayer video decoding and encoding apparatus and method
US10469866B2 (en) 2013-04-05 2019-11-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video with respect to position of integer pixel

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8395709B2 (en) * 2009-03-04 2013-03-12 ATI Technology ULC 3D video processing
US8428122B2 (en) * 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
CN102055968B (zh) * 2009-10-28 2012-08-29 中国移动通信集团公司 多视点视频中丢失的视频数据的恢复方法、系统及设备
KR20120118780A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN103597837B (zh) * 2011-06-15 2018-05-04 寰发股份有限公司 推导运动和视差矢量的方法及装置
CN102263957B (zh) * 2011-07-25 2013-07-03 北京航空航天大学 一种基于搜索窗口自适应的视差估计方法
WO2013113134A1 (en) * 2012-02-02 2013-08-08 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US9602831B2 (en) 2012-03-07 2017-03-21 Lg Electronics Inc. Method and apparatus for processing video signals
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) * 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
US20150201215A1 (en) * 2012-07-27 2015-07-16 Mediatek Inc. Method of constrain disparity vector derivation in 3d video coding
US9351011B2 (en) * 2012-11-28 2016-05-24 Intel Corporation Video pipeline with direct linkage between decoding and post processing
US9544566B2 (en) * 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
WO2014109547A1 (ko) * 2013-01-08 2014-07-17 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN103916652B (zh) * 2013-01-09 2018-01-09 浙江大学 视差矢量生成方法及装置
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056267A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화장치와 복호화 장치 및 그 방법
KR20030083285A (ko) * 2002-04-20 2003-10-30 전자부품연구원 다 시점 동영상 부호화 장치
KR20040070892A (ko) * 2003-02-05 2004-08-11 삼성전자주식회사 영상 블록 분할 방법 및 그 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
KR100508798B1 (ko) * 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
KR100524077B1 (ko) * 2003-11-13 2005-10-26 삼성전자주식회사 중간 영상 합성을 위한 시간적 평활화 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056267A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화장치와 복호화 장치 및 그 방법
KR20030083285A (ko) * 2002-04-20 2003-10-30 전자부품연구원 다 시점 동영상 부호화 장치
KR20040070892A (ko) * 2003-02-05 2004-08-11 삼성전자주식회사 영상 블록 분할 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:SIGNAL PROCESSING *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894377B2 (en) 2013-04-05 2018-02-13 Samsung Electronics Co., Ltd. Method for predicting disparity vector for interlayer video decoding and encoding apparatus and method
US10469866B2 (en) 2013-04-05 2019-11-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video with respect to position of integer pixel

Also Published As

Publication number Publication date
KR20070033863A (ko) 2007-03-27
CN101248670A (zh) 2008-08-20
CN101248670B (zh) 2014-07-16

Similar Documents

Publication Publication Date Title
KR101227601B1 (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR100728009B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
JP5059766B2 (ja) 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
KR101276720B1 (ko) 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR100481732B1 (ko) 다 시점 동영상 부호화 장치
Kim et al. Fast disparity and motion estimation for multi-view video coding
US11516475B2 (en) Image encoding/decoding method and device for performing PROF, and method for transmitting bitstream
JP2009505604A (ja) 多視点動映像を符号化する方法及び装置
WO2007035042A1 (en) Apparatus and method for encoding and decoding multi-view video
JP2024040349A (ja) 加重予測を行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
CN115428448A (zh) 基于帧间预测的图像编码/解码方法和设备及存储比特流的记录介质
EP1929783A1 (en) Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method
KR20220110284A (ko) 머지 후보들의 최대 개수 정보를 포함하는 시퀀스 파라미터 세트를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US20230199175A1 (en) Method and device for subpicture-based image encoding/decoding, and method for transmitting bitstream
KR101261577B1 (ko) 다시점 동영상을 부호화 및 복호화하는 장치 및 방법
KR101672008B1 (ko) 변이 벡터 예측 방법 및 장치
Lim et al. Motion/disparity compensated multiview sequence coding
Ai et al. A Polarization Restraint Based Fast Motion Estimation Approach to H. 264 Stereoscopic Video Coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee