KR20070036611A - 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체 - Google Patents

카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체 Download PDF

Info

Publication number
KR20070036611A
KR20070036611A KR1020060033209A KR20060033209A KR20070036611A KR 20070036611 A KR20070036611 A KR 20070036611A KR 1020060033209 A KR1020060033209 A KR 1020060033209A KR 20060033209 A KR20060033209 A KR 20060033209A KR 20070036611 A KR20070036611 A KR 20070036611A
Authority
KR
South Korea
Prior art keywords
frame
viewpoint
view
vector
camera
Prior art date
Application number
KR1020060033209A
Other languages
English (en)
Other versions
KR101276720B1 (ko
Inventor
하태현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to MX2008003215A priority Critical patent/MX2008003215A/es
Priority to PCT/KR2006/003913 priority patent/WO2007037645A1/en
Priority to US11/529,404 priority patent/US8542739B2/en
Priority to EP06798996.2A priority patent/EP1929783B1/en
Priority to CN2006800308321A priority patent/CN101248671B/zh
Priority to JP2008533250A priority patent/JP5268645B2/ja
Publication of KR20070036611A publication Critical patent/KR20070036611A/ko
Application granted granted Critical
Publication of KR101276720B1 publication Critical patent/KR101276720B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 시차 벡터 예측 방법, 이 방법을 이용하는 다시점 영상 부호화 및 복호화 장치에 관한 것이다. 본 발명의 일 특징에 따른 다시점 영상의 시차 벡터를 예측하는 방법은, 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임들 사이의 시차 벡터를 결정하는 단계; 및 결정된 시차 벡터 및 소정의 트랜슬레이션 파라미터를 이용하여 현재의 시점 프레임의 시차 벡터를 계산하는 단계를 포함한다. 본 발명에 따르면 다시점 영상을 효율적으로 부호화할 수 있다.
시차 벡터, 다시점 영상, 다시점 카메라, 카메라 파라미터, 트랜슬레이션 파라미터

Description

카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법, 그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는 장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체{Method for predicting disparity vector using camera parameter, apparatus for encoding and decoding muti-view image using method thereof, and a recording medium having a program to implement thereof}
도 1은 B 픽처의 다이렉트 모드를 설명하는 도면.
도 2는 공간 영역에서 움직임 벡터를 예측하는 방법을 설명하는 도면.
도 3은 본 발명의 일 실시예에 따른 다시점 영상 부호화 장치의 구성을 나타내는 블록도.
도 4는 본 발명의 일 실시예에 따른 카메라 셋업에 의해 촬영된 다시점 영상에서 대응 포인트(corresponding point)을 나타내는 도면.
도 5는 본 발명의 일 실시예에 따른 순수-트랜슬레이션(pure-translation) 카메라 셋업에 의해 촬영된 다시점 영상에서 대응 포인트를 나타내는 도면.
도 6a는 다시점 카메라로부터 촬영된 인접한 3개의 영상을 나타내는 도면.
도 6b는 도 6a에 도시된 3개의 영상을 중첩시킨 화면을 나타내는 도면.
도 7은 본 발명의 일 실시예에 따른 멀티뷰 카메라 사이의 거리에 따른 대응 포인트들 간의 관계를 나타내는 도면.
도 8은 본 발명의 일 실시예에 따른 대응 포인트를 찾기 위한 방법을 나타내는 도면.
도 9는 본 발명의 일 실시예에 따른 공간적 다이렉트 모드에 따른 시차 벡터 예측 방법을 나타내는 도면.
도 10은 본 발명의 일 실시예에 따른 공간적 다이렉트 모드를 수행하는 다시점 영상 부호화 장치를 나타내는 블록도.
도 11은 본 발명의 일 실시예에 따른 공간적 다이렉트 모드를 수행하는 다시점 영상 복호화 장치를 나타내는 블록도.
본 발명은 다시점 영상 부호화 및 복호화 장치에 관한 것으로, 다시점 영상 부호화를 신속하게 수행하고 압축률을 향상시키기 위한 시차 벡터 예측 방법, 그리고, 시차 벡터 예측 방법을 이용하는 다시점 영상 부호화 및 복호화 장치에 관한 것이다.
최근에 새로운 H.264 비디오 코딩 표준이 이전 표준에 비해 높은 부호화 효율로 인해 주목을 받고 있다. 이 새로운 표준은 일반적인 양방향 B 예측 슬라이스를 고려할 뿐만 아니라 16×16에서 4×4에 걸친 가변 블록 사이즈 및, 루프 디블록킹 필터에서 움직임 보상을 위한 쿼드트리(quadtree) 구조, 다중 참조 프레임, 인트라 예측, 컨텍스트 적응성 엔트로피 코딩을 고려하는 것과 같이 여러가지 새로운 특성에 의존한다. MPEG-2 및 MPEG-4 파트 2와 같은 표준과 달리, B 슬라이스들은 동일한 방향(순방향 또는 역방향)으로부터 나오는 영상들로부터 다중 예측을 이용하면서, 이들은 다른 슬라이스들의 참조 영상으로 이용될 수 있다. 그러나, 이 표준에 관한 상술한 바와 같은 특징은 예측 모드, 움직임 벡터 및/또는 참조 영상을 포함하는 움직임 정보를 부호화하는데 많은 비트량이 요구되는 문제점이 있다.
이 문제를 완화하기 위해서, 스킵(SKIP) 및 직접(DIRECT) 모드가 P 슬라이스와 B 슬라이스에 각각 도입되었다. 이들 모드는 이전에 부호화된 움직임 벡터 정보를 이용하여 현재 부호화하고자 하는 픽처의 임의의 블록의 움직임의 예측을 가능하게 한다. 따라서, 매크로블록 또는 소정의 블록에 대한 어떤 부가적인 움직임 데이터를 부호화하지 않는다. 이들 모드를 위한 움직임은 인접한 MB 또는 픽처의 움직임의 공간적 (SKIP) 또는 시간적 (DIRECT) 관련성을 이용하여 획득된다.
도 1은 B 픽처의 다이렉트 모드를 설명하는 도면이다.
다이렉트 모드는 현재 부호화하고자 하는 B 픽처의 임의의 블록의 움직임을 예측하는데 있어서, 시간적으로 다음 픽처인 P 픽처의 대응 블록(co-located block)의 움직임 벡터를 이용하여 순방향 움직임 벡터 및 역방향 움직임 벡터를 구하는 것이다.
B 픽처(110)에서의 움직임을 예측하고자 하는 다이렉트 모드 블록(102)의 순방향 움직임 벡터 MVLO 및 역방향 움직임 벡터 MVL1를 계산하기 위하여, 시간적으로 다음 픽처인 참조 리스트 1 픽처(120)에서의 다이렉트 모드 블록(102)과 동일한 위 치의 블록인 대응 블록(co-located block; 104)이 움직임 벡터에 의해 참조하고 있는 참조 리스트 0 픽처(130)에 대한 움직임 벡터 MV를 찾는다. 그러면, B 픽처(110)의 다이렉트 모드 블록(102)의 순방향 움직임 벡터 MVLO 및 역방향 움직임 벡터 MVL1는 다음 식에 의해 계산된다.
Figure 112006025364831-PAT00001
Figure 112006025364831-PAT00002
여기에서, MV는 참조 리스트 1 픽처(120)의 대응 블록(104)의 움직임 벡터를 나타낸다. TDD는 참조 리스트 0 픽처(130)와 참조 리스트 1 픽처(120)까지의 거리를 나타내고, TDB는 B 픽처(110)와 참조 리스트 픽처 0(130)까지의 거리를 나타내고, 낸다.
도 2는 공간 영역에서 움직임 벡터를 예측하는 방법을 설명하는 도면이다.
동영상 데이터를 부호화하기 위해 사용되는 H.264 표준에 따르면 하나의 프레임을 소정 크기의 블록으로 나누어 이미 부호화가 끝난 인접한 프레임을 참조하여 가장 유사한 블록을 검색하는 움직임 검색을 수행한다. 즉, 현재 매크로 블록(c)의 좌측(4)과 상단(2), 그리고 상단 우측(3)의 세 매크로 블록의 움직임 벡터 중에서 중간값을 움직임 벡터의 예측 값으로 정한다. 이러한 움직임 벡터 예측은 다음 식으로 나타낼 수 있다.
Figure 112006025364831-PAT00003
이와 같이 시간적인 관련성 뿐만 아니라 공간적 관련성을 이용하여 동영상을 부호화하는 방법이 제시되고 있으며, 일반적인 동영상보다 정보량이 훨씬 많은 다시점 영상에 대하여도 압축률을 향상시키고 처리 속도를 빠르게 하는 방법이 필요한 실정이다.
본 발명이 이루고자 하는 기술적 과제는, 카메라 파라미터를 이용하여 시차를 예측함으로써 다시점 영상의 압축률을 향상시키고 다시점 영상 부호화를 신속하게 수행하기 위한 다시점 영상 부호화 방법 및 장치를 제공하는 데 있다.
본 발명은 상기의 기술적 과제를 해결하기 위한 것으로, 본 발명의 일 특징에 따른 다시점 영상의 시차 벡터를 예측하는 방법은, 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임들 사이의 시차 벡터를 결정하는 단계; 및 결정된 시차 벡터 및 소정의 트랜슬레이션 파라미터를 이용하여 현재의 시점 프레임의 시차 벡터를 계산하는 단계를 포함한다.
본 발명의 다른 특징에 따른 다시점 영상 부호화 장치는 다시점 영상 및 소정의 카메라 파라미터를 수신하는 다시점 영상 입력부; 및 소정의 카메라 파라미터 및 다시점 영상을 포함하는 부호화된 다시점 비트스트림을 생성하는 부호화부를 포함하고, 부호화부는, 소정의 카메라 파라미터가 트랜슬레이션 파라미터일 때, 현재 의 시점과는 서로 다른 시점을 가지는 2개의 프레임들 사이의 시차 벡터 및 소정의 트랜슬레이션 파라미터를 이용하여 현재의 시점 프레임의 시차 벡터를 계산하는 공간적 다이렉트 모드로 시차를 예측하는 공간적 다이렉트 모드 수행부를 포함한다.
본 발명의 또 다른 특징에 따른 부호화된 다시점 영상 비트스트림을 수신하고, 다시점 영상 비트스트림에 포함된 시차 벡터 예측 방법을 나타내는 정보를 확인하는 정보 확인부; 확인된 정보에 따라 부호화된 다시점 영상을 복호화하는 복호화부를 포함하고, 복호화부는 확인된 정보가 공간적 다이렉트 모드를 나타낼 때, 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임들 사이의 시차 벡터 및 소정의 트랜슬레이션 파라미터를 이용하여 현재의 시점 프레임의 시차 벡터를 계산하여 시차를 예측하는 공간적 다이렉트 모드 수행부를 포함한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
도 3은 본 발명의 일 실시예에 따른 다시점 영상 부호화 장치의 구성을 나타내는 블록도이다.
본 발명의 일 실시예에 따른 다시점 영상 부호화 장치는 다시점 영상 버퍼(310), 예측부(320), 시차/움직임 보상부(330), 차영상 부호화부(340) 및 엔트로피 부호화부(350)를 포함한다.
도 3에서, 다시점 영상 부호화 장치는 다수의 카메라 시스템 또는 다른 가능한 방법으로부터 통상 획득되는 다시점 비디오 소스를 수신한다. 입력된 다시점 비디오는 다시점 영상 버퍼(310)로 저장된다. 다시점 영상 버퍼(310)는 저장된 다 시점 영상 소스 데이터를 예측부(320) 및 차영상 부호화부(340)에 제공한다.
예측부(320)는 시차 예측부(322) 및 움직임 예측부(324)를 포함하여, 저장된 다시점 비디오 소스에 대해 움직임 예측 및 시차 예측을 실행한다.
시차/움직임 보상부(330)에서 시차 및 움직임 보상은 시차 예측부(322) 및 움직임 예측부(324)에서 예측된 움직임 벡터 및 시차 벡터를 이용하여 실행된다. 시차/움직임 보상부(330)는 예측된 움직임 및 시차 벡터를 이용하여 복원된 영상을 차영상 부호화부(340)에 제공한다.
차영상 부호화부(340)는 다시점 영상 버퍼(310)로부터 제공되는 원래 영상과 시차/움직임 보상부(330)에 의해 보상된 복원 영상의 차 정보를 보다 나은 화질과 입체감을 제공하기 위하여 차 영상 부호화를 수행하여 엔트로피 부호화부(350)에 제공한다.
엔트로피 부호화부(350)는 예측부(320)에서 생성된 시차 벡터 및 움직임 벡터에 대한 정보와 차영상 부호화부(340)로부터의 잔차 영상를 입력받아서 다시점 영상 소스 데이터에 대한 비트 스트림을 생성한다.
H.264 및 MPEG 2/4와 같은 종래의 코덱에서 이용되는 움직임 예측 및 움직임 보상을 위한 움직임 정보와 같이, 도 3의 시차 예측부(322)에서 예측되는 시차 정보는, 시차 보상을 위해 이용된다. H.264에서 움직임 정보를 줄이고 부호화 효율을 증가시키기 위한 시도가 이루어진 바와 같이 MVC에서도 시차 정보를 줄이고 부호화 효율을 증가시키기 위한 시도가 이루어져야 한다.
도 4는 본 발명의 일 실시예에 따른 카메라 셋업에 의해 촬영된 다시점 영상 에서 대응 포인트(corresponding point)를 나타내는 도면이다.
3개의 다시점 카메라가 대응 포인트를 촬영했을 때, 대응 포인트가 3개의 다시점 카메라에 의해 촬영된 영상은 도 4에 도시된 바와 같다. 영상 1에서 대응 포인트는 X로 나타나고, 영상 2에서 대응 포인트는 X'로 나타나고, 영상 3에서 대응 포인트는 X"로 나타난다.
도 4에서 영상 1의 X-Y-Z 좌표계의 3차원 공간상의 소정의 픽셀 위치에 있는 영상 포인트 X의 위치를 X=(x, y, 1)T로 가정한다. 여기에서, x 및 y는 각각 x-y 평면의 x 좌표 및 y 좌표에 대한 값을 Z축에 해당하는 값으로 정규화한 값을 의미한 것이다. 그러면, 영상 2에서의 대응 포인트 X'와 영상 3에서의 대응 포인트 X"는 각각 다음 수학식 1 및 수학식 2로 나타낼 수 있다.
Figure 112006025364831-PAT00004
Figure 112006025364831-PAT00005
수학식 1 및 2에서 K, K' 및 K"는 영상 1, 영상 2 및 영상 3에 대한 카메라 내부의 파라미터(camera intrinsic parameter)이다. R12, R13은 영상 1에 대한 영상 2 및 영상 3의 카메라 로테이션 파라미터이다. t12 및 t13은 영상 1에 대한 영상 2 및 영상 3의 카메라 트랜슬레이션 파라미터이다. Z는 소정의 포인트의 Z좌표에 대 한 값이다.
도 5는 본 발명의 일 실시예에 따른 순수-트랜슬레이션(pure-translation) 카메라 셋업에 의해 촬영된 다시점 영상에서 대응 포인트를 나타내는 도면이다.
카메라 고유의 특성이 모두 동일한 다시점 카메라가 소정의 물체에 대하여 일직선상에 평행하게 배열되어 있을 때를 순수-트랜슬레이션 셋업이라고 할 때, 3개의 다시점 카메라에서 촬영된 영상은 도 2에 도시된 바와 같다. 이 경우에 수학식 1 및 2에서, R=I(단위 매트릭스), K=K'=K"가 성립된다.
도 5에서, X' 및 X"가 영상 1의 포인트 X에 대한 대응 포인트이다. 순수-트랜슬레이션 셋업일 때에는, X와 X' 사이의 위치의 차이는 X와 X' 사이의 시차 벡터dv1에 대응하고, X'와 X" 사이의 위치의 차이는 X'와 X" 사이의 시차 벡터 dv2에 대응하고, X와 X" 사이의 위치의 차이는 X와 X" 사이의 시차 벡터 dv3에 대응한다. 순수-트랜슬레이션 셋업일 때 X, X' 및 X" 사이의 관계는 다음과 같은 수학식 3, 수학식 4 및 수학식 5로 나타낼 수 있다.
Figure 112006025364831-PAT00006
Figure 112006025364831-PAT00007
Figure 112006025364831-PAT00008
수학식 3 및 수학식 4로부터 다음의 수학식 6이 유도된다.
Figure 112006025364831-PAT00009
t12, t13 및 X"-X 즉, dv3의 값을 알 때, X'-X 즉, dv1의 값을 종래의 시차 벡터 탐색 방법에 의하지 않고 수학식 6을 이용하여 얻을 수 있다.
한편, 수학식 3 및 수학식 5로부터 다음의 수학식 7을 유도할 수 있다.
Figure 112006025364831-PAT00010
t12, t23 및 X'-X 즉, dv1의 값을 알 때, X"-X' 즉, dv2의 값을 종래의 시차 벡터 탐색 방법에 의하지 않고 수학식 7을 이용하여 얻을 수 있다.
결과적으로, 다시점 카메라의 셋업에서 순수-트랜슬레이션만이 존재하고, 카메라 트랜슬레이션 파라미터의 값이 알려져 있을 때, 현재 부호화 프레임의 소정의 포인트 X'와 제1 참조 프레임의 대응 포인트 X" 사이의 시차 벡터는, 현재 부호화 프레임의 소정의 포인트 X와 제2 참조 프레임의 대응 포인트 X' 사이의 시차 벡터를 이용하여 예측할 수 있다.
순수-트랜슬레이션 다시점 카메라 셋업 외에도 다른 형태로 다시점 카메라를 설치할 수 있다. 그러나, 다른 형태로 다시점 카메라를 설치하여 다시점 영상을 촬영하는 경우에도, 다시점 영상을 부호화하기 위한 전처리 또는 후처리로서 보 정(rectification) 과정을 거치는 경우에는 순수-트랜슬레이션 다시점 카메라 셋업과 동일한 조건이 성립된다. 따라서, 순수-트랜슬레이션 다시점 카메라 셋업이 성립되는 경우 상술한 바와 같이 시차 벡터를 예측하는 것이 가능해지므로, 트랜슬레이션에 해당하는 카메라 파라미터를 이용하여 다시점 영상을 부호화할 필요가 있다.
도 6a는 다시점 카메라로부터 촬영된 인접한 3개의 영상을 나타내는 도면이고, 도 6b는 도 6a에 도시된 3개의 영상을 중첩시킨 화면을 나타내는 도면이다.
3개의 다시점 카메라로 도 6a에 도시된 바와 같은 물체를 촬영했을 때, 영상(601)은 좌측에 위치한 카메라에서 촬영한 제1 시점의 영상이고, 영상(602)은 중간에 위치한 카메라에서 촬영한 제2 시점의 영상이고, 영상(603)은 우측에 위치한 카메라에서 촬영한 제3 시점의 영상이다. 제1 시점의 영상(601)의 좌측면에서 소정의 블록(MB1)까지의 거리는 X1이다. 제2 시점의 영상(602)의 좌측면에서 제1 시점의 영상(601)의 소정의 블록(MB1)에 대응하는 블록(MB2)까지의 거리는 X2이다. 제3 시점의 영상(603)의 좌측면에서 제1 시점의 영상(601)의 소정의 블록(MB1)에 대응하는 블록(MB3)까지의 거리는 X3이다.
도 6b에서 영상(611)은 제1 시점의 영상(601)과 제2 시점의 영상(602)을 겹쳐놓은 영상이고, 영상(612)은 제2 시점의 영상(602)과 제3 시점의 영상(603)을 겹쳐놓은 영상이다. 영상(611)에서 X12는 제1 시점의 영상(601)의 MB1과 제2 시점의 영상(602)의 MB2 사이의 시차이고, 영상(612)에서 X23은 제2 시점의 영상(602)의 MB2와 제3 시점의 영상(603)의 MB3 사이의 시차이다. 즉, X12=X1-X2이고, X23=X2- X3이다. 다시점 카메라가 동일한 간격으로 평행하게 배열되어 있을 때, 시차 X12와 시차 X23은 동일하다. 이러한 경우를 일반화시켜 도 7과 같이 나타낼 수 있다.
도 7은 본 발명의 일 실시예에 따른 멀티뷰 카메라 사이의 거리에 따른 대응 포인트들 간의 관계를 나타내는 도면이다.
도 7에서 cd1은 시점n-1과 시점n 사이의 카메라의 거리를 나타내고, cd2는 시점n과 시점n+1 사이의 카메라의 거리를 나타낸다. dv1은 시점n-1과 시점n의 소정의 대응 블록 또는 대응 포인트에 대한 시차 벡터를 나타내고, dv2는 시점n과 시점n+1의 소정의 대응 블록 또는 대응 포인트에 대한 시차 벡터를 나타낸다.
도 7에 도시된 바와 같이, dv1과 dv2가 일직선상이 위치하는 것으로 나타낼 수 있을 때, 다음과 같은 수학식 8이 성립한다.
dv2 = dv1 × cd2 / cd1
따라서, dv1, cd1 및 cd2가 미리 알려져 있거나 예측될 수 있는 경우, dv2는 종래의 예측 방법에 의하지 않고, 이들 값에 의해 계산될 수 있다. 또한, 도 7 및 수학식 8로부터 cd1 = cd2이면 dv2 = dv1이라는 관계가 성립됨을 알 수 있다. 또한, cd2/cd1의 값은 트랜슬레이션 파라미터에 대응하는 값이다.
도 8은 본 발명의 일 실시예에 따른 대응 포인트를 찾기 위한 방법을 나타내는 도면이다.
도 7을 참조하여 설명한 바와 같이 수학식 8을 이용하여 시차 벡터가 계산될 수 있는 대응 블록 또는 대응 포인트을 찾는 것은 쉽지 않다. 그러나, 현재 예측하고자 하는 현재의 블록에 인접한 블록들은 현재의 블록과 유사한 시차 벡터를 가진다. 따라서, 도 7은 도 8과 같이 변형하여 이용할 수 있다.
도 8에서 cd3은 시점n-1과 시점n 사이의 카메라의 거리를 나타내고, cd4는 시점n과 시점n+1 사이의 카메라의 거리를 나타낸다. dv3은 시점n-1과 시점n의 소정의 대응 블록 또는 대응 포인트에 대한 시차 벡터를 나타내고, dv4는 시점n+1의 현재의 블록의 시점n에 대한 시차 벡터를 나타낸다.
본 발명의 일 실시예에 따르면, 시점n+1에 위치하는 현재의 블록의 시점n에 대한 시차 벡터 dv4는, 시점n의 현재의 블록과 동일 위치의(co-located) 블록과, 시점n-1에 존재하는 시점n의 동일 위치의(co-located) 블록의 대응 블록에 사이의 시차 벡터 dv3을 이용하여 예측할 수 있다. 따라서, 현재의 블록에 대한 시차 벡터는 수학식 8과 유사한 수학식 9와 같이 계산될 수 있다.
dv4 = dv3 × cd4 / cd3
cd4/cd3의 값은 트랜슬레이션 파라미터에 대응하는 값이다. 도 7 및 도 8를 참조하여 시점n-1, 시점n 및 시점n+1 의 영상들에 대한 시차 벡터의 관계를 설명하였지만, 수학식 8 및 9는 도 7 및 도 8에 도시된 바와 같이 직접적으로 인접한 영상들 뿐만 아니라, 소정의 간격으로 떨어져 있는 영상들 사이에도 이용될 수 있다. 본 명세서에서는 본 발명의 일 실시예에 따라 시차 벡터를 예측하는 방법을 공간적 다이렉트 모드라 한다.
도 9는 본 발명의 일 실시예에 따른 공간적 다이렉트 모드에 따른 시차 벡터 예측 방법을 나타내는 도면이다.
단계 S 910에서 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임들 사이의 시차 벡터를 결정한다. 단계 S 920에서 이와 같이 결정된 시차 벡터 및 소정의 트랜슬레이션 파라미터를 이용하여 현재의 시점 프레임의 시차 벡터를 계산한다.
더 상세하게 설명하면, 예를 들어, 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임이 제1 시점 프레임 및 제2 시점 프레임이고, 현재의 시점 프레임의 시차 벡터를 dv2라고 할 때, dv2는 수학식 8 즉, dv2 = dv1 × cd2 / cd1 에 의해서 계산된다. 여기에서, dv1은 2개의 프레임 사이의 시차 벡터로서 제1 시점 프레임의 소정의 블록과 제2 시점 프레임의 소정의 블록에 대응하는 제1 대응 블록 사이의 시차 벡터이고, dv2는 제2 시점 프레임의 제1 대응 블록과 현재 시점 프레임의 제1 대응 블록에 대응하는 제2 대응 블록 사이의 시차 벡터이다. 또한, 전술한 바와 같이, cd1은 제1 시점 프레임 및 제2 시점 프레임을 각각 촬영한 카메라 사이의 거리이고, cd2는 제2 시점 프레임 및 현재의 시점 프레임을 각각 촬영한 카메라 사이의 거리이고, cd2 / cd1은 트랜슬레이션 파라미터에 대응하는 값이다.
한편, 본 발명의 시차 벡터 예측 방법은 현재 예측하고자 하는 현재의 블록에 인접한 블록들은 현재의 블록과 유사한 시차 벡터를 가진다는 점을 고려할 때, 다음과 같은 경우에도 이용될 수 있다. 예를 들어, 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임이 제1 시점 프레임 및 제2 시점 프레임이고, 현재 시점 프레임의 시차 벡터를 dv4라고 할 때, dv4는 수학식 9 즉, dv4 = dv3 × cd4 / cd3 에 의해서 계산된다.
여기에서, dv3은 2개의 프레임 사이의 시차 벡터로서 제1 시점 프레임의 소정의 블록과 제2 시점 프레임의 소정의 블록에 대응하는 제1 대응 블록 사이의 시차 벡터이고, dv4는 현재 시점 프레임의 제1 대응 블록과 동일한 위치에 존재하는 제2 블록의 제2 시점 프레임에 대한 시차 벡터이다. 전술한 바와 같이, cd3은 제1 시점 프레임 및 제2 시점 프레임을 각각 촬영한 카메라 사이의 거리이고, cd4는 제2 시점 프레임 및 현재의 시점 프레임을 각각 촬영한 카메라 사이의 거리이고, cd4 / cd3은 트랜슬레이션 파라미터에 대응하는 값이다.
본 발명의 일 실시예에 따른 제1 시점 프레임, 제2 시점 프레임 및 현재 시점 프레임은, 제1 카메라, 제2 카메라 및 제3 카메라 순으로 평행하게 배열되어 있는 제1 카메라, 제2 카메라 및 제3 카메라로부터 각각 촬영된 영상이다. 또한, 본 발명에서 이용되는 트랜슬레이션 파라미터는 전술한 cd2/cd1 또는 cd4/cd3와 같이 다시점 카메라들 사이의 거리와 관련되는 값으로 다시점 카메라 시스템으로부터 전달될 수 있다.
본 발명의 일 실시예에 따른 공간적 다이렉트 모드는 다시점 영상 부호화 장치 및 다시점 영상 복호화 장치에서 각각 수행될 수 있다. 본 발명의 시차 벡터 예측 방법을 이용하는 경우에는 다시점 영상 부호화 장치는 모든 시차 벡터를 부호 화하여 전송할 필요가 없고, 다시점 영상 복호화 장치에서도 본 발명의 공간적 다이렉트 모드에 따른 시차 벡터 예측 방법에 의해 시차 벡터를 결정할 수 있으므로 다시점 영상 부호화 및 복호화를 효율적으로 수행할 수 있다.
도 10은 본 발명의 일 실시예에 따른 공간적 다이렉트 모드를 수행하는 다시점 영상 부호화 장치를 나타내는 블록도이다.
본 발명의 일 실시예에 따른 적어도 3개의 다시점 영상을 수신하여 부호화하는 다시점 영상의 부호화 장치는 다시점 영상 입력부(1010) 및 부호화부(1020)를 포함한다.
다시점 영상 입력부(1010)는 다수개의 카메라로 구성된 다시점 카메라 시스템으로부터 다시점 영상 및 소정의 카메라 파라미터를 수신한다. 부호화부(1020)는 소정의 카메라 파라미터 및 다시점 영상을 포함하는 부호화된 다시점 영상 비트스트림을 생성한다.
부호화부(1020)는 시차 벡터를 예측할 때, 본 발명의 일 실시예에 따른 공간적 다이렉트 모드를 수행하기 위하여 공간적 다이렉트 모드 수행부(1021)를 포함한다. 공간적 다이렉트 모드 수행부(1021)는 소정의 카메라 파라미터가 트랜슬레이션 파라미터일 때, 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임들 사이의 시차 벡터 및 소정의 트랜슬레이션 파라미터를 이용하여 현재의 시점 프레임의 시차 벡터를 계산하는 공간적 다이렉트 모드로 시차를 예측한다.
공간적 다이렉트 모드 수행부(1021)의 동작은 도 9을 참조하여 전술한 바와 같다. 공간적 다이렉트 모드 수행부(1021)는, 수학식 8 또는 수학식 9를 이용하여 시차 벡터를 계산할 수 있다.
부호화부(1020)는, 다시점 영상 부호화에 이용된 시차 벡터 예측 방법을 나타내는 정보를 설정하여 다시점 영상 비트스트림을 전송한다. 또한, 부호화부(1020)는, 이전에 전송한 트랜슬레이션 파라미터와 동일한 값을 이용하여 다시점 영상을 부호화하는 경우, 트랜슬레이션 행렬에 변화가 없음을 나타내는 정보를 더 설정하여 다시점 영상 비트스트림을 전송할 수 있다. 따라서, 본 발명의 다시점 영상 부호화 장치는 미리 전송된 트랜슬레이션 파라미터를 다시 보낼 필요가 없으므로 다시점 영상 부호화 효율이 향상될 수 있다. 시차 벡터 예측 방법을 나타내는 정보나 트랜슬레이션 행렬에 변화가 없을 나타내는 정보는 각각 다시점 영상 비트스트림에 포함되는 플래그 정보로 설정될 수 있다.
또한, 본 발명의 일 실시예에 따른 다시점 영상 부호화 장치는 종래의 다시점 영상 부호화 방법 및 본 발명의 공간적 다이렉트 모드를 수행하는 다시점 영상 부호화 방법을 각각 수행하고, 수행한 결과 다시점 영상의 부호화 효율이 높은 방법을 선택하여 다시점 영상을 부호화하도록 구성될 수도 있다.
도 11은 본 발명의 일 실시예에 따른 공간적 다이렉트 모드를 수행하는 다시점 영상 복호화 장치를 나타내는 블록도이다.
본 발명의 일 실시예에 따른 다시점 영상을 복호화하는 장치는 정보 확인부(1110) 및 복호화부(1120)를 포함한다. 정보 확인부(1110)는 부호화된 다시점 영상 비트스트림을 수신하고, 수신된 다시점 영상 비트스트림에 포함된 시차 벡터 예측 방법을 나타내는 정보를 확인한다. 그리고, 복호화부(1120)는 확인된 정보에 따라 부호화된 다시점 영상을 복호화한다.
상기 복호화부(1120)는, 본 발명의 일 실시예에 따른 공간적 다이렉트 모드를 수행하여 시차 벡터를 결정하기 위하여, 공간적 다이렉트 모드 수행부(1021)를 포함한다. 공간적 다이렉트 모드 수행부(1021)는, 확인된 정보가 공간적 다이렉트 모드를 나타낼 때, 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임들 사이의 시차 벡터 및 소정의 트랜슬레이션 파라미터를 이용하여 현재의 시점 프레임의 시차 벡터를 계산하여 시차를 결정한다.
공간적 다이렉트 모드 수행부(1021)의 동작은 도 9을 참조하여 전술한 바와 같다. 공간적 다이렉트 모드 수행부(1021)는, 수학식 8 또는 수학식 9를 이용하여 시차 벡터를 계산할 수 있다.
한편, 트랜슬레이션 파라미터는 다시점 카메라들 사이의 거리와 관련된 값으로 다시점 영상 부호화 장치로부터 전달된다. 다시점 영상 부호화 장치로부터 트랜슬레이션 파라미터가 전송되지 않고 미리 수신된 트랜슬레이션 파라미터가 변경되지 않았음을 나타내는 정보가 전송되는 경우, 복호화부(1120)는 미리 전송되어 수신된 트랜슬레이션 파라미터를 이용하여 다시점 영상을 복호화할 수 있다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매 체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
전술한 바와 같이, 본 발명에 따르면, 다시점 영상의 압축률을 향상시키고 다시점 영상 부호화를 신속하게 수행하기 위하여 카메라 파라미터 특히 트랜슬레이션 파라미터를 이용하여 시차를 예측하는 방법을 제공할 수 있다.
또한, 본 발명에 따르면, 카메라 파라미터를 이용하여 시차를 예측하는 방법을 이용하여 다시점 영상 부호화 및 복호화 장치를 제공할 수 있다.

Claims (18)

  1. 다시점 영상의 시차 벡터를 예측하는 방법에 있어서,
    현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임들 사이의 시차 벡터를 결정하는 단계; 및
    상기 결정된 시차 벡터 및 소정의 트랜슬레이션 파라미터를 이용하여 현재의 시점 프레임의 시차 벡터를 계산하는 단계를 포함하는 것을 특징으로 하는 시차 벡터 예측 방법.
  2. 제1항에 있어서,
    상기 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임이 제1 시점 프레임 및 제2 시점 프레임이고, 상기 현재의 시점 프레임의 시차 벡터를 dv2라고 할 때, dv2는 다음 식
    dv2 = dv1 × cd2 / cd1 에 의해서 계산되고,
    여기에서, dv1은 상기 2개의 프레임 사이의 시차 벡터로서 제1 시점 프레임의 소정의 블록과 제2 시점 프레임의 상기 소정의 블록에 대응하는 제1 대응 블록에 사이의 시차 벡터이고, dv2는 상기 제2 시점 프레임의 상기 제1 대응 블록과 현재 시점 프레임의 상기 제1 대응 블록에 대응하는 제2 대응 블록 사이의 시차 벡터이고, cd2 / cd1은 상기 트랜슬레이션 파라미터에 대응하는 값인 것을 특징으로 하는 시차 벡터 예측 방법.
  3. 제1항에 있어서,
    상기 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임이 제1 시점 프레임 및 제2 시점 프레임이고, 상기 현재 시점 프레임의 시차 벡터를 dv4라고 할 때,
    dv4는 다음 식
    dv4 = dv3 × cd4 / cd3 에 의해서 계산되고,
    여기에서, dv3은 상기 2개의 프레임 사이의 시차 벡터로서 제1 시점 프레임의 소정의 블록과 제2 시점 프레임의 상기 소정의 블록에 대응하는 제1 대응 블록 사이의 시차 벡터이고, dv4는 현재 시점 프레임의 상기 제1 대응 블록과 동일한 위치에 존재하는 제2 블록의 제2 시점 프레임에 대한 시차 벡터이고, cd4 / cd3은 상기 트랜슬레이션 파라미터에 대응하는 값인 것을 특징으로 하는 시차 벡터 예측 방법.
  4. 제1항에 있어서,
    상기 제1 시점 프레임, 상기 제2 시점 프레임 및 상기 현재 시점 프레임은, 제1 카메라, 제2 카메라 및 제3 카메라 순으로 평행하게 배열되어 있는 제1 카메라, 제2 카메라 및 제3 카메라로부터 각각 촬영된 영상인 것을 특징으로 하는 시차 벡터 예측 방법.
  5. 제1항에 있어서,
    상기 트랜슬레이션 파라미터는 상기 다시점 카메라들 사이의 거리와 관련된 값으로 다수의 카메라를 포함하는 다시점 카메라 시스템으로부터 전달되는 것을 특징으로 하는 시차 벡터 예측 방법.
  6. 다시점 영상 및 소정의 카메라 파라미터를 수신하는 다시점 영상 입력부; 및
    상기 소정의 카메라 파라미터 및 상기 다시점 영상을 포함하는 부호화된 다시점 영상 비트스트림을 생성하는 부호화부를 포함하고,
    상기 부호화부는, 상기 소정의 카메라 파라미터가 트랜슬레이션 파라미터일 때, 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임들 사이의 시차 벡터 및 소정의 트랜슬레이션 파라미터를 이용하여 현재의 시점 프레임의 시차 벡터를 계산하는 공간적 다이렉트 모드로 시차를 예측하는 공간적 다이렉트 모드 수행부를 포함하는 것을 특징으로 하는 다시점 영상 부호화 장치.
  7. 제6항에 있어서,
    상기 공간적 다이렉트 모드 수행부는,
    상기 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임이 제1 시점 프레임 및 제2 시점 프레임이고, 상기 현재의 시점 프레임의 시차 벡터를 dv2라고 할 때, dv2는 다음 식
    dv2 = dv1 × cd2 / cd1 를 이용하여 계산하고,
    여기에서, dv1은 상기 2개의 프레임 사이의 시차 벡터로서 제1 시점 프레임의 소정의 블록과 제2 시점 프레임의 상기 소정의 블록에 대응하는 제1 대응 블록사이의 시차 벡터이고, dv2는 상기 제2 시점 프레임의 상기 제1 대응 블록과 현재 시점 프레임의 상기 제1 대응 블록에 대응하는 제2 대응 블록 사이의 시차 벡터이고, cd2 / cd1은 상기 트랜슬레이션 파라미터에 대응하는 값인 것을 특징으로 하는 다시점 영상 부호화 장치.
  8. 제6항에 있어서,
    상기 공간적 다이렉트 모드 수행부는,
    상기 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임이 제1 시점 프레임 및 제2 시점 프레임이고, 상기 현재 시점 프레임의 시차 벡터를 dv4라고 할 때,
    dv4는 다음 식
    dv4 = dv3 × cd4 / cd3 를 이용하여 계산하고,
    여기에서, dv3은 상기 2개의 프레임 사이의 시차 벡터로서 제1 시점 프레임의 소정의 블록과 제2 시점 프레임의 상기 소정의 블록에 대응하는 제1 대응 블록 사이의 시차 벡터이고, dv4는 현재 시점 프레임의 상기 제1 대응 블록과 동일한 위치에 존재하는 제2 블록의 제2 시점 프레임에 대한 시차 벡터이고, cd4 / cd3은 상기 트랜슬레이션 파라미터에 대응하는 값인 것을 특징으로 하는 다시점 영상 부호화 장치.
  9. 제6항에 있어서,
    상기 제1 시점 프레임, 상기 제2 시점 프레임 및 상기 현재 시점 프레임은 제1 카메라, 제2 카메라 및 제3 카메라 순으로 평행하게 배열되어 있는 제1 카메라, 제2 카메라 및 제3 카메라로부터 각각 촬영된 영상인 것을 특징으로 하는 다시점 영상 부호화 장치.
  10. 제6항에 있어서,
    상기 트랜슬레이션 파라미터는 상기 다시점 카메라들 사이의 거리와 관련된 값으로 다수의 카메라를 포함하는 다시점 카메라로부터 전달되는 것을 특징으로 하는 다시점 영상 부호화 장치.
  11. 제6항에 있어서,
    상기 부호화부는, 상기 다시점 영상 부호화에 이용된 시차 벡터 예측 방법을 나타내는 정보를 설정하여 상기 다시점 영상 비트스트림을 전송하는 것을 특징으로 하는 것을 특징으로 하는 다시점 영상 부호화 장치.
  12. 제11항에 있어서,
    상기 부호화부는, 이전에 전송한 트랜슬레이션 파라미터와 동일한 값을 이용하여 다시점 영상을 부호화하는 경우, 상기 트랜슬레이션 행렬에 변화가 없음을 나 타내는 정보를 더 설정하여 상기 다시점 영상 비트스트림을 전송하는 것을 특징으로 하는 다시점 영상 부호화 장치.
  13. 부호화된 다시점 영상 비트스트림을 수신하고, 상기 다시점 영상 비트스트림에 포함된 시차 벡터 예측 방법을 나타내는 정보를 확인하는 정보 확인부;
    상기 확인된 정보에 따라 상기 부호화된 다시점 영상을 복호화하는 복호화부를 포함하고,
    상기 복호화부는, 상기 확인된 정보가 공간적 다이렉트 모드를 나타낼 때, 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임들 사이의 시차 벡터 및 소정의 트랜슬레이션 파라미터를 이용하여 현재의 시점 프레임의 시차 벡터를 계산하여 시차를 예측하는 공간적 다이렉트 모드 수행부를 포함하는 것을 특징으로 하는 다시점 영상 복호화 장치.
  14. 제13항에 있어서,
    상기 공간적 다이렉트 모드 수행부는,
    상기 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임이 제1 시점 프레임 및 제2 시점 프레임이고, 상기 현재의 시점 프레임의 시차 벡터를 dv2라고 할 때, dv2는 다음 식
    dv2 = dv1 × cd2 / cd1 를 이용하여 계산하고,
    여기에서, dv1은 상기 2개의 프레임 사이의 시차 벡터로서 제1 시점 프레임 의 소정의 블록과 제2 시점 프레임의 상기 소정의 블록에 대응하는 제1 대응 블록사이의 시차 벡터이고, dv2는 상기 제2 시점 프레임의 상기 제1 대응 블록과 현재 시점 프레임의 상기 제1 대응 블록에 대응하는 제2 대응 블록 사이의 시차 벡터이고, cd2 / cd1은 상기 트랜슬레이션 파라미터에 대응하는 값인 것을 특징으로 하는 다시점 영상 복호화 장치.
  15. 제13항에 있어서,
    상기 공간적 다이렉트 모드 수행부는,
    상기 현재의 시점과는 서로 다른 시점을 가지는 2개의 프레임이 제1 시점 프레임 및 제2 시점 프레임이고, 상기 현재 시점 프레임의 시차 벡터를 dv4라고 할 때,
    dv4는 다음 식
    dv4 = dv3 × cd4 / cd3 를 이용하여 계산하고,
    여기에서, dv3은 상기 2개의 프레임 사이의 시차 벡터로서 제1 시점 프레임의 소정의 블록과 제2 시점 프레임의 상기 소정의 블록에 대응하는 제1 대응 블록 사이의 시차 벡터이고, dv4는 현재 시점 프레임의 상기 제1 대응 블록과 동일한 위치에 존재하는 제2 블록의 제2 시점 프레임에 대한 시차 벡터이고, cd4 / cd3은 상기 트랜슬레이션 파라미터에 대응하는 값인 것을 특징으로 하는 다시점 영상 복호화 장치.
  16. 제13항에 있어서,
    상기 트랜슬레이션 파라미터는 상기 다시점 카메라들 사이의 거리와 관련된 값으로 다시점 영상 부호화 장치로부터 전달되는 것을 특징으로 하는 다시점 영상 복호화 장치.
  17. 제13항에 있어서,
    다시점 영상 부호화 장치로부터 상기 트랜슬레이션 파라미터가 수신되지 않고 미리 수신된 트랜슬레이션 파라미터가 변경되지 않았음을 나타내는 정보가 전송되는 경우, 상기 복호화부는 상기 수신된 트랜슬레이션 파라미터를 이용하여 다시점 영상을 복호화하는 것을 특징으로 하는 다시점 영상 복호화 장치.
  18. 제1항 내지 제5항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060033209A 2005-09-29 2006-04-12 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체 KR101276720B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
MX2008003215A MX2008003215A (es) 2005-09-29 2006-09-29 Metodo para estimar el vector de disparidad que utiliza parametros de camara, aparato para codificar y descodificar imagenes de vistas multiples que utiliza el metodo para estimar el vector de disparidad que utiliza parametros de camara, aparato para
PCT/KR2006/003913 WO2007037645A1 (en) 2005-09-29 2006-09-29 Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method
US11/529,404 US8542739B2 (en) 2005-09-29 2006-09-29 Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vector estimation method, and computer-readable recording medium storing a program for executing the method
EP06798996.2A EP1929783B1 (en) 2005-09-29 2006-09-29 Method and apparatus for encoding a multi-view picture using disparity vectors, and computer readable recording medium storing a program for executing the method
CN2006800308321A CN101248671B (zh) 2005-09-29 2006-09-29 视差矢量估计方法以及对多视点画面编码和解码的设备
JP2008533250A JP5268645B2 (ja) 2005-09-29 2006-09-29 カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US72157805P 2005-09-29 2005-09-29
US60/721,578 2005-09-29

Publications (2)

Publication Number Publication Date
KR20070036611A true KR20070036611A (ko) 2007-04-03
KR101276720B1 KR101276720B1 (ko) 2013-06-19

Family

ID=38158745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060033209A KR101276720B1 (ko) 2005-09-29 2006-04-12 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체

Country Status (5)

Country Link
US (1) US8542739B2 (ko)
JP (1) JP5268645B2 (ko)
KR (1) KR101276720B1 (ko)
CN (1) CN101248671B (ko)
MX (1) MX2008003215A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140018968A (ko) * 2011-04-20 2014-02-13 퀄컴 인코포레이티드 비디오 코딩에서의 모션 벡터 예측
KR20140043757A (ko) * 2011-06-30 2014-04-10 소니 주식회사 화상 처리 장치 및 방법
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI239474B (en) * 2004-07-28 2005-09-11 Novatek Microelectronics Corp Circuit for counting sum of absolute difference
TWI295540B (en) * 2005-06-15 2008-04-01 Novatek Microelectronics Corp Motion estimation circuit and operating method thereof
TWI296091B (en) * 2005-11-15 2008-04-21 Novatek Microelectronics Corp Motion estimation circuit and motion estimation processing element
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
EP1977593A4 (en) 2006-01-12 2010-06-16 Lg Electronics Inc PROCESSING MORE VIEW VIDEO
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
US20070217515A1 (en) * 2006-03-15 2007-09-20 Yu-Jen Wang Method for determining a search pattern for motion estimation
TWI344791B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
WO2008035665A1 (fr) * 2006-09-20 2008-03-27 Nippon Telegraph And Telephone Corporation procédé DE CODAGE D'IMAGE, PROCÉDÉ DE DÉCODAGE, DISPOSITIF associÉ, DISPOSITIF DE DÉCODAGE D'IMAGE, programme associÉ, et support de stockage contenant le programme
US8385628B2 (en) * 2006-09-20 2013-02-26 Nippon Telegraph And Telephone Corporation Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
KR20090113281A (ko) * 2007-01-24 2009-10-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2009005626A2 (en) * 2007-06-28 2009-01-08 Thomson Licensing Single loop decoding of multi-vieuw coded video
US20090060043A1 (en) * 2007-08-29 2009-03-05 Geert Nuyttens Multiviewer based on merging of output streams of spatio scalable codecs in a compressed domain
JP5627860B2 (ja) * 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
KR101483750B1 (ko) 2009-07-24 2015-01-19 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20120112724A (ko) 2010-02-09 2012-10-11 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
BR112012019671A2 (pt) * 2010-02-09 2019-09-24 Nippon Telegraph & Telephone método de codificação de previsão de vetor de movimento, método de decodificação de previsão de vetor de movimento, aparelho de codificação de gravura em movimento, aparelho de decodificação de gravura em movimento e programas dos mesmos.
KR20120112723A (ko) 2010-02-09 2012-10-11 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
JP5645450B2 (ja) * 2010-04-16 2014-12-24 キヤノン株式会社 画像処理装置および方法
KR101825768B1 (ko) 2010-11-24 2018-02-05 벨로스 미디어 인터내셔널 리미티드 움직임 벡터 산출 방법, 화상 부호화 방법, 화상 복호 방법, 움직임 벡터 산출 장치 및 화상 부호화 복호 장치
HU1000640D0 (en) * 2010-11-29 2011-02-28 Holografika Hologrameloeallito Fejlesztoe Es Forgalmazo Kft Image coding and decoding method and apparatus for efficient encoding and decoding of 3d field content
KR101852811B1 (ko) * 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
KR101820997B1 (ko) 2011-01-12 2018-01-22 선 페이턴트 트러스트 동화상 부호화 방법 및 동화상 복호화 방법
WO2012108315A1 (ja) * 2011-02-07 2012-08-16 シャープ株式会社 予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム
KR20120095610A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2012114694A1 (ja) 2011-02-22 2012-08-30 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
KR101878008B1 (ko) 2011-03-03 2018-07-13 선 페이턴트 트러스트 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치
JP2013034171A (ja) * 2011-06-30 2013-02-14 Sony Corp 画像処理装置および方法
CN103891290B (zh) 2011-08-19 2018-02-02 瑞典爱立信有限公司 运动矢量处理
WO2013108613A1 (ja) * 2012-01-17 2013-07-25 パナソニック株式会社 動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置および動画像符号化復号化装置
WO2013111551A1 (ja) 2012-01-27 2013-08-01 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
US9602831B2 (en) * 2012-03-07 2017-03-21 Lg Electronics Inc. Method and apparatus for processing video signals
US9525861B2 (en) * 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US9445076B2 (en) * 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US9549180B2 (en) 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
US20130336405A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding
KR102186605B1 (ko) 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
CN104104933B (zh) * 2013-04-12 2016-12-28 浙江大学 一种视差矢量生成方法及装置
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
KR20160132862A (ko) * 2014-03-13 2016-11-21 퀄컴 인코포레이티드 3d-hevc 를 위한 단순화된 진보된 잔차 예측
CN106464899A (zh) * 2014-03-20 2017-02-22 日本电信电话株式会社 活动图像编码装置及方法和活动图像解码装置及方法
KR102298652B1 (ko) 2015-01-27 2021-09-06 삼성전자주식회사 시차 결정 방법 및 장치
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding
CN112308887B (zh) * 2020-09-30 2024-03-22 西北工业大学 一种多源图像序列实时配准方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08201941A (ja) 1995-01-12 1996-08-09 Texas Instr Inc <Ti> ３次元画像形成方法
JP3579162B2 (ja) 1995-06-29 2004-10-20 松下電器産業株式会社 立体ｃｇ画像生成装置
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JP3733358B2 (ja) 1996-04-05 2006-01-11 松下電器産業株式会社 画像伝送装置、送信装置、受信装置、送信方法および受信方法
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JPH1013860A (ja) * 1996-04-26 1998-01-16 Victor Co Of Japan Ltd 立体画像補間装置及びその方法
EP0931420A4 (en) * 1996-10-11 2002-06-26 Sarnoff Corp METHOD AND DEVICE FOR CODING AND DECODING STEREOSCOPIC VIDEO SIGNALS
US7050646B2 (en) * 1999-12-10 2006-05-23 British Telecommunications Public Limited Company Image processing system and method for image segmentation using intensity contrast and depth contrast values
US6911995B2 (en) * 2001-08-17 2005-06-28 Mitsubishi Electric Research Labs, Inc. Computer vision depth segmentation using virtual surface
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP2004200814A (ja) * 2002-12-16 2004-07-15 Sanyo Electric Co Ltd 立体映像生成方法及び立体映像生成装置
US7373004B2 (en) * 2003-05-23 2008-05-13 Silicon Integrated Systems Corp. Apparatus for constant quality rate control in video compression and target bit allocator thereof
KR100524077B1 (ko) * 2003-11-13 2005-10-26 삼성전자주식회사 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
KR100517517B1 (ko) 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
CN101248669B (zh) 2005-09-21 2011-01-12 三星电子株式会社 对多视点视频编码和解码的设备和方法
WO2007035054A1 (en) 2005-09-22 2007-03-29 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584823B2 (en) 2011-04-20 2017-02-28 Qualcomm Incorporated Determining motion vectors for motion vector prediction based on motion vector type in video coding
KR20140018967A (ko) * 2011-04-20 2014-02-13 퀄컴 인코포레이티드 비디오 코딩에서의 모션 벡터 예측
KR20140018968A (ko) * 2011-04-20 2014-02-13 퀄컴 인코포레이티드 비디오 코딩에서의 모션 벡터 예측
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
KR20170071607A (ko) * 2011-06-30 2017-06-23 소니 주식회사 화상 처리 장치 및 방법
KR20170071608A (ko) * 2011-06-30 2017-06-23 소니 주식회사 화상 처리 장치 및 방법
KR20140043757A (ko) * 2011-06-30 2014-04-10 소니 주식회사 화상 처리 장치 및 방법
KR20180124146A (ko) * 2011-06-30 2018-11-20 소니 주식회사 화상 처리 장치 및 방법
US10158877B2 (en) 2011-06-30 2018-12-18 Sony Corporation High efficiency video coding device and method based on reference picture type of co-located block
US10187652B2 (en) 2011-06-30 2019-01-22 Sony Corporation High efficiency video coding device and method based on reference picture type
US10484704B2 (en) 2011-06-30 2019-11-19 Sony Corporation High efficiency video coding device and method based on reference picture type
US10764600B2 (en) 2011-06-30 2020-09-01 Sony Corporation High efficiency video coding device and method based on reference picture type
US11405634B2 (en) 2011-06-30 2022-08-02 Sony Corporation High efficiency video coding device and method based on reference picture type
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding

Also Published As

Publication number Publication date
US20070071107A1 (en) 2007-03-29
KR101276720B1 (ko) 2013-06-19
CN101248671B (zh) 2010-09-22
JP5268645B2 (ja) 2013-08-21
CN101248671A (zh) 2008-08-20
JP2009510892A (ja) 2009-03-12
MX2008003215A (es) 2008-03-25
US8542739B2 (en) 2013-09-24

Similar Documents

Publication Publication Date Title
KR101276720B1 (ko) 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101227601B1 (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
JP5021739B2 (ja) 信号処理方法及び装置
JP4663792B2 (ja) 多視点動映像を符号化及び復号化する装置及び方法
KR101653118B1 (ko) 3d 장면의 하나 이상의 비디오를 처리하는 방법
US20070064799A1 (en) Apparatus and method for encoding and decoding multi-view video
JP2009509454A (ja) 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
KR101893559B1 (ko) 다시점 비디오 부호화/복호화 장치 및 방법
KR101631183B1 (ko) 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치 및 그 프로그램
JP6039178B2 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
KR20150085027A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
EP1929783B1 (en) Method and apparatus for encoding a multi-view picture using disparity vectors, and computer readable recording medium storing a program for executing the method
KR20120083209A (ko) 깊이 영상 부호화/복호화 장치 및 방법
KR20080006494A (ko) 비디오 신호의 디코딩 방법 및 장치
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
KR101261577B1 (ko) 다시점 동영상을 부호화 및 복호화하는 장치 및 방법
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP6232117B2 (ja) 画像符号化方法、画像復号方法、及び記録媒体
KR101672008B1 (ko) 변이 벡터 예측 방법 및 장치
KR20150010249A (ko) 제한적인 움직임 정보 유도를 통한 메모리 효율성을 향상시키는 방법 및 장치
WO2015056647A1 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
KR20080007177A (ko) 비디오 신호 처리 방법 및 장치
JP2013179554A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
KR20160002194A (ko) 적응적 병합후보 선택방법 및 장치
KR20080029788A (ko) 비디오 신호의 디코딩 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160530

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee