KR100775871B1 - 영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기위한 방법 및 장치 - Google Patents

영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기위한 방법 및 장치 Download PDF

Info

Publication number
KR100775871B1
KR100775871B1 KR1020050033477A KR20050033477A KR100775871B1 KR 100775871 B1 KR100775871 B1 KR 100775871B1 KR 1020050033477 A KR1020050033477 A KR 1020050033477A KR 20050033477 A KR20050033477 A KR 20050033477A KR 100775871 B1 KR100775871 B1 KR 100775871B1
Authority
KR
South Korea
Prior art keywords
image
viewpoint
view
encoding
center
Prior art date
Application number
KR1020050033477A
Other languages
English (en)
Other versions
KR20060047399A (ko
Inventor
조숙희
윤국진
김대희
안충현
이수인
손광훈
김용태
Original Assignee
한국전자통신연구원
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 연세대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to JP2007536607A priority Critical patent/JP4562774B2/ja
Priority to US11/576,964 priority patent/US8204133B2/en
Priority to PCT/KR2005/003361 priority patent/WO2006080739A1/en
Publication of KR20060047399A publication Critical patent/KR20060047399A/ko
Application granted granted Critical
Publication of KR100775871B1 publication Critical patent/KR100775871B1/ko
Priority to US13/474,158 priority patent/US8855210B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다시점 동영상을 부호화 및 복호화하기 위한 방법 및 장치를 제공한다. 본 발명에 따른 다시점 동영상 부호화 방법은, 상기 다시점 동영상을 이루는 각 시점 영상을 다른 시점 영상과 겹쳐지는 영역 및 겹쳐지지 않는 영역으로 분류하는 단계와, 가운데 시점 영상과 상기 겹쳐지지 않는 영역을 조합하여 합성영상을 생성하는 단계와, 상기 합성영상을 제1 부호화 방식에 기반하여 부호화하는 단계와, 상기 합성영상을 기준으로 각 시점 영상의 상기 겹쳐지는 영역의 영상을 제2 부호화 방식에 기반하여 부호화하는 단계를 포함한다. 일실시예에서, 상기 분류 단계는, 상기 다시점 동영상을 이루는 각 시점 영상에 대하여 선정된 다른 시점 영상을 기준으로 하는 변이값을 추정하는 단계와, 상기 추정된 변이값을 이용하여 각 시점 영상을 상기 다른 시점 영상과 겹쳐지는 영역 및 겹쳐지지 않는 영역으로 분류하는 단계를 포함한다.
다시점 동영상, 가운데 시점 영상, 합성 영상, 부호화, 복호화

Description

영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기 위한 방법 및 장치{Method and apparatus for encoding and decoding multi-view video images using image stitching}
도 1(a) 내지 1(d)는 다시점 영상을 획득하기 위한 다시점 카메라의 배치 형태를 도시한다.
도 2는 본원발명의 일실시예에 따른 동영상 부호화 장치의 블록도를 도시한다.
도 3(a)(b)는 본원발명의 일실시예에 따라 전역변이벡터를 추정하는 두가지 방식을 각각 도시한다.
도 4는 본원발명의 일실시예에 따른 전역변이 추정기의 세부 구조의 블록도를 도시한다.
도 5(a) 및 도 5(b)는 각각 4x4 블록 및 8x8 블록 단위의 서브 샘플링 예를 도시한다.
도 6은 첫 번째 시점 영상과 두 번째 시점 영상에서의 초기전역변이벡터를 기준으로 하는 경계영역에 대한 예를 나타낸다.
도 7(a)(b)는 본 발명에 따른 두가지 방식에 따라 병렬형 다시점 카메라 배치에 의해 획득된 다시점 영상이 겹쳐지는 영역과 겹쳐지지 않는 영역으로 분류된 상태를 각각 도시한다.
도8(a)(b)는 본 발명에 따른 두가지 방식에 따라 배열형 다시점 카메라 배치에 의해 획득된 다시점 영상이 겹쳐지는 영역과 겹쳐지지 않는 영역으로 분류된 상태를 각각 도시한다.
도 9(a)(b)는 병렬형 다시점 카메라 배치에 의해 획득된 다시점 영상으로부터 본 발명에 따라 합성된 영상의 예를 도시한다.
도 10(a)(b)는 배열형 다시점 카메라 배치에 의해 획득된 다시점 영상으로부터 본 발명에 따라 합성된 영상의 예를 도시한다.
도 11 및 도 12는 도 9 및 도 10 각각에 도시된 바와 같은 합성 영상(기준 영상)에서 각 시점별 겹치는 영역의 영상이 위치하는 영역을 각각 도시한다.
도 13은 움직임 보상기반 부호화기의 세부 구조를 도시한다.
도 14는 겹쳐지지 않는 영역에 대하여, I-VOP, P-VOP 및 B-VOP에 대한 움직임 보상 기반 부호화의 일예를 도시한다.
도 15는 각 시점별 겹쳐지는 영역의 영상에 대한 움직임 및 변이 보상기반 부호화 구조를 도시한다.
도 16은 겹쳐지는 영역에 대하여, I-VOP, P-VOP 및 B-VOP에 대한 움직임 및 변이 보상 기반 부호화의 일예를 도시한다.
도 17(a)(b)은 본원발명의 일실시예에 따라 각 시점의 겹쳐지지 않는 영상을 시점별로 부호화하는 경우에, 가운데 시점 영상의 부호화시의 매크로블록 스캔 순서 및 가운데 시점 영상의 슬라이스 구조를 각각 도시한다.
도 18은 본 발명의 일실시예에 따라 각 시점의 겹쳐지지 않는 영역의 영상을 시점별로 부호화할 경우에 가운데 시점 영상의 부호화시에 헤더정보로서 각 시점에서 겹쳐지는 영역에 대한 슬라이스 주소를 도시한다.
도 19는 본원발명의 일실시예에 따른 영상합성기반 다시점 동영상 복호화 장치의 구조를 블록도로 도시한다.
도 20은 움직임 보상기반 복호화기의 세부 구조를 도시한다.
도 21은 움직임 및 변이보상 기반 복호화기의 세부 구조를 도시한다.
본 발명은 다시점 동영상(multi-view video) 부호화 및 복호화 방법 및 장치에 관한 것으로서, 보다 구체적으로는 합성영상을 기반으로 하여 시점간의 상관정보를 이용하는 다시점 동영상 부호화 및 복호화 방법 및 장치에 관한 것이다.
일반적으로, 다시점 동영상 처리 기술은 동일한 대상에 대하여 여러대의 카메라에서 동시에 들어오는 다시점 비디오 신호의 압축, 복원, 합성, 재생 등에 관한 기술을 의미한다. 다시점 동영상 처리 기술은 인간에게 보다 현실에 가까운 영상을 제공할 뿐만 아니라 입체감을 제공하여 현재 많은 응용분야에서 사용되기 시작하였다. 그러나, N(N>=2)개의 시점 동영상으로 구성되는 다시점 동영상은 기존의 한개 시점으로 된 동영상보다 N배의 데이터량을 갖게 되므로, 종래의 영상처리 시스템에서 요구되는 신호의 대역폭보다 월등히 많은 대역폭을 요구하게 된다.
이와 관련하여, 다시점 영상의 각 시점별 영상간에는 서로 일정부분 겹쳐지는 영역이 있으므로 이들 영역의 상관정보를 이용하는 압축기술에 대한 기술 개발이 많이 진행되고 있다.
종래의 다시점 동영상 부호화 기술과 관련하여, 2003년 1월 13일에 출원된 국내특허출원 제10-2003-0002116호(발명의 명칭: "다시점 영상의 압축/복원 장치 및 방법") 및 2003년 10월 30일에 출원된 국내특허출원 제2003-83285호(발명의 명칭: "다시점 동영상 부호화 장치")는 두 시점의 영상을 갖는 스테레오스코픽 동영상을 부호화할 때 많이 이용되는 MPEG-2 MVP(Multi-View Profile) 및 MPEG-4 TS(Temporal Scalability) 부호화 기술을 확장하여 다시점 동영상을 부호화하는 기술을 개시하고 있다. 이들 특허출원에 개시된 동영상 부호화 기술은 시점간의 상관정보인 변이(disparity) 정보 및 시간축상의 상관정보인 움직임(motion) 정보를 이용하여 부호화를 수행함으로써 압축 효율을 개선한 것이기는 하지만, 항상 모든 시점의 영상을 복원해야 하며, 일부 시점의 영상만을 복원하는 것이 불가능하다는 문제점이 있다. 또한, 부호화 스트림의 전송시 한 개의 오류라도 발생하면, 이 오류가 모든 시점의 영상에 영향을 미친다는 문제점이 있다.
따라서, 전술한 문제점을 해결하기 위하여, 본원 발명은 가운데 시점 영상을 중심으로 각 시점의 영상을 겹쳐지는 영역(즉, 다른 시점 영상과 상관정보가 있는 영역)과 겹쳐지지 않는 영역(즉, 다른 시점 영상과 상관정보가 없는 영역)으로 분류하여, 각 영역의 특성에 따라, 겹쳐지는 영역은 움직임 및 변이 정보를 이용한 부복호화를 수행하고, 겹쳐지지 않는 영역은 움직임 정보만을 이용한 부복호화를 수행함으로써 보다 우수한 압축률을 제공하는데 그 목적이 있다.
또한, 본원 발명은, 시점간의 상관정보를 이용한 부호화를 수행하면서도, 사용자가 원하는 시점의 영상만을 복원하고자 하는 경우, 이에 필요로 하는 최소한의 부호화 스트림만을 전송받아 복호화할 수 있도록 함으로써 복호화 효율을 향상시킨다는데 또다른 목적이 있다.
또한, 본원 발명은 부호화 스트림의 전송시에 오류가 발생하더라도 오류 전파를 최소화할 수 있는 부호화를 제공하는데 또다른 목적이 있다.
전술한 목적을 달성하기 위해, 본원발명의 일 특징에 따른 다시점 동영상의 부호화 방법은, 상기 다시점 동영상을 이루는 각 시점 영상을 다른 시점 영상과 겹쳐지는 영역 및 겹쳐지지 않는 영역으로 분류하는 단계와, 가운데 시점 영상과 상기 겹쳐지지 않는 영역을 조합하여 합성영상을 생성하는 단계와, 상기 합성영상을 제1 부호화 방식에 기반하여 부호화하는 단계와, 상기 합성영상을 기준으로 각 시점 영상의 상기 겹쳐지는 영역의 영상을 제2 부호화 방식에 기반하여 부호화하는 단계를 포함한다. 일실시예에서, 상기 분류 단계는, 상기 다시점 동영상을 이루는 각 시점 영상에 대하여 선정된 다른 시점 영상을 기준으로 하는 변이값을 추정하는 단계와, 상기 추정된 변이값을 이용하여 각 시점 영상을 상기 다른 시점 영상과 겹쳐지는 영역 및 겹쳐지지 않는 영역으로 분류하는 단계를 포함한다. 또한, 상기 합성영상 생성 단계는 가운데 시점 영상을 중심으로 각 시점 영상의 상기 겹쳐지지 않는 영역을 경계영역에 이어나감으로써 합성 영상을 생성할 수 있다. 상기 제1 부호화 방식은 움직임 보상 기반 부호화 방식이고, 상기 제2 부호화 방식은 움직임 및 변이 보상 기반 방식에 해당할 수 있다.
상기 각 시점 영상의 변이값을 추정하는 단계는 가운데 시점 방향으로 인접한 시점 영상을 기준으로 각 시점 영상의 전역변이값을 추정하는 방식과, 가운데 시점 영상을 기준으로 각 시점 영상의 전역변이값을 추정하는 두가지 방식이 있다. 또한, 상기 전역변이값을 추정하는 단계는, 선정된 크기의 블록 단위로 1개씩 화소를 추출하는 서브샘플링을 통해 상기 각 시점의 영상 크기를 축소하는 단계와,상기 축소된 각 시점 영상의 초기 전역변이값을 추정하는 단계와,상기 추정된 초기전역변이값에 상기 서브샘플링 비율을 곱한 값의 경계영역에서 변이값을 추정하는 단계를 포함할 수 있다.
본 발명의 또다른 특징에 따르면 다시점 동영상을 복호화하는 방법이 개시된다. 복호화 방법은 가운데 시점 영상과 각 시점 영상의 겹쳐지지 않는 영역의 영상에 대한 부호화 스트림을 움직임 보상기반으로 복호화하는 단계와, 상기 가운데 시점 영상을 중심으로 각 시점 영상의 상기 겹쳐지지 않는 영역을 경계영역에 이어나감으로써 생성된 합성 영상을 기준 영상으로 하여 각 시점 영상의 겹쳐지는 영역의 영상에 대한 부호화 스트림을 움직임 및 변이 보상 기반으로 복호화하는 단계와, 상기 복호화된 각 시점의 상기 겹쳐지지 않는 영역의 영상과 상기 겹쳐지는 영역의 영상을 조합하여 시점별 영상을 복원하는 단계를 포함한다.
본 발명의 또다른 특징에 따르면, 사용자에 의해 선택된 특정 시점 영상만을 복원할 수 있으며, 이는 특정 시점 영상의 겹쳐지지 않는 영역의 영상에 대한 부호화 스트림을 복호화하고, 선정된 크기의 슬라이스별로 분할되어 부호화된 가운데 시점 영상의 부호화 스트림의 헤더 정보에 포함된 슬라이스 주소를 이용하여 상기 가운데 시점 영상의 부호화 스트림중 상기 특정 시점 영상과 겹쳐지는 영역의 슬라이스만을 복호화함으로서 이루어질 수 있다.
본 발명의 전술한 특징 및 장점들은 도면과 관련된 이하의 설명으로부터 더욱 명확히 이해되어질 수 있을 것이다.
우선, 도 1(a) 내지 1(d)을 참조하면, 다시점 영상을 획득하기 위한 복수개의 카메라 배치 형태가 도시되어 있다. 일반적으로, 도 1(a)에 도시된 배치 형태는 "병렬형(parallel type)", 도 1(b)는 "배열형(array type)", 도 1(c)는 "집중형(convergent type)", 그리고, 도 1(d)는 "발산형(divergent type)"이라 지칭된다. 이외에도, 복수개의 카메라들은 여러 가지 형태로 배치될 수 있으며, 본원발명이 카메라의 특정 배치 형태에 국한되는 것은 아님을 이해할 수 있을 것이다.
이와 같은 다양한 배치 형태의 카메라들로부터 획득된 다시점 영상 사이에 존재하는 상관 정보는 변이 정보로 표현될 수 있다. "변이(disparity)"란 두 시점 영상사이에 동일한 화소가 떨어져 있는 거리를 화소 단위로 나타낸 것을 의미한다. 따라서, 다시점 영상이 획득되는 카메라의 배치 형태에 따라, 가로축 또는 세로축에 대한 변이값이 0일 수 있다.
예를 들어, 병렬형 배치에 의해 획득되는 다시점 영상의 경우에 세로축에 대 한 변이값은 0이므로, 가로축에 대한 변이값만 추정하면 된다. 반면 배열형 배치에 의해 획득되는 다시점 영상은 각 시점의 영상에 따라 가로축에 대한 변이값만 0인 영상, 세로축에 대한 변이값만 0 인 영상 및 가로축 및 세로축의 변이값이 모두 0이 아닌 영상이 있으므로, 영상의 위치에 따라 가로축 및 세로축에 대한 변이값을 모두 추정하여야 한다. 이외에, 분산형 또는 집중형으로 배치는 카메라에 의해 획득되는 다시점 영상의 경우에도 가로축 및 세로축에 대한 변이값을 추정한다.
본 발명에서는 다시점 영상 각각에 대한 변이값을 추정하는데 있어서 위치적으로 가운데 위치하는 영상(이하,"가운데 시점 영상"이라 함)을 기준으로 한다. 변이값 추정 방식에 대해서는 후술하기로 한다.
이제, 도 2를 참조하면, 본원발명의 일실시예에 따른 동영상 부호화 장치의 블록도가 도시되어 있다. 동영상 부호화 장치는, 전역변이 추정기(210), 영역분류기(220), 영상합성기(230), 움직임 보상기반 부호화기(240) 및 움직임 및 변이 보상기반 부호화기(250)를 포함한다.
전역변이 추정기(210)는 두 시점 영상 사이의 변이를 추정하여 하나의 영상 전체에 대한 하나의 대표 변이벡터, 즉, 전역변이 벡터를 구한다. 전역변이 추정기(210)는 N(N>=2)개 시점 영상을 입력받아, 두 시점 영상 전체에 대한 하나의 전역변이벡터를 추정하는 기능을 수행한다. 전역변이 추정기(210)는 GOP(Group of Picture) 단위로 수행한다. 따라서, 한 GOP 내에서는 동일한 전역변이벡터를 이용하여 영역분류 및 영상합성을 수행하게 된다.
일실시예에서, 가운데 시점 영상을 중심으로 각 시점별 인접하는 두 시점 영 상 사이의 전역변이벡터가 구해질 수 있다. 예를 들어, 도 3(a)에 도시된 바와 같이, 가운데 시점 영상이 세 번째 영상인 경우에, 두 번째 시점 영상에 대한 전역변이벡터는 세 번째 시점 영상을 기준으로 구해지는 반면에, 첫 번째 시점 영상에 대한 전역변이벡터는 이에 인접한 두 번째 시점 영상을 기준으로 구해진다. 네 번째 및 다섯 번째 시점 영상에 대한 전역변이벡터도 이와 유사한 방식으로 구해질 것이다. 또다른 실시예에서는, 가운데 시점 영상을 기준으로 가운데 시점 영상과 각 시점 영상 사이의 전역변이벡터가 추정된다. 도 3(b)에 도시된 바와 같이, 가운데 시점 영상이 세 번째 영상인 경우에, 세 번째 시점 영상을 기준으로 하여, 첫 번째, 두 번째, 네 번째 및 다섯번째 영상 각각에 대한 전역변이벡터가 추정된다.
도 4를 참조하면, 본원발명의 일실시예에 따른 전역변이 추정기의 세부 구조를 나타낸 블록도가 도시되어 있다. 도시된 바와 같이, 전역변이 추정기는, 서브샘플링기(410), 초기변이추정기(420) 및 경계영역기반 변이추정기(430)를 포함한다. 서브샘플링기(410)는 입력되는 N 개의 영상에 대하여 원래 영상크기를 축소하기 위해, 임의의 블록 단위로 1개씩의 화소를 추출하는 역할을 한다. 이와 같이, 서브샘플링을 통해 원래 영상 크기를 축소함으로써 초기전역변이벡터를 추정하는 시간 및 복잡도를 줄일 수 있다. 도 5(a) 및 도 5(b)를 참조하면, 각각 4x4 블록 및 8x8 블록 단위의 서브 샘플링 예가 도시되어 있다.
초기 변이 추정기(420)는 서브샘플링된 N 개 시점의 영상에 대하여, 가운데 시점 영상을 중심으로 각각 2 시점 영상에 대하여 초기전역변이 벡터를 추정한다. 일실시예에서, 초기전역변이벡터(IDVglobal)는 다음 수식에 따라 구해진다.
Figure 112005021048273-pat00001
여기서,
Figure 112005021048273-pat00002
경계영역기반변이추정기(430)는 초기변이벡터값에 서브샘플링된 비율을 곱한 값의 경계영역에 대하여 변이추정을 다시 수행함으로써 보다 정확한 전역변이벡터를 추정하는 기능을 수행한다. 도 6은 첫 번째 시점 영상과 두 번째 시점 영상에서의 초기전역변이벡터를 기준으로 하는 경계영역에 대한 예를 나타낸다. 경계 영역의 크기는 임의로 설정된다. 도 6에 도시된 굵은 선으로 표시된 경계 영역에 대하여 상기 수학식 1과 같은 방식에 의하여 전역변이벡터값을 구한다.
다시, 도 2로 되돌아가서, 영역분류기(220)는 전역변이 추정기(210)에 의해 각 시점별로 구해진 전역변이벡터를 이용하여, 가운데 시점 영상을 중심으로 좌우 및 상하에 위치한 시점의 영상을 겹치는 영역의 영상과 겹쳐지지 않는 영역의 영상으로 분류하는 기능을 수행한다.
도 7(a) 및 (b)에 도시된 바와 같이, 병렬형 다시점 카메라 배치에 의해 획 득된 다시점 영상은 2가지 형태로 겹치는 영역과 겹쳐지지 않는 영역의 영상으로 분류될 수 있다. 도 7(a)는 도 3(a)에 도시된 바와 같이 가운데 시점 영상을 중심으로 인접하는 두 시점 영상사이에 구해진 전역변이벡터를 이용하여 영역을 분류하는 방식이다. 도시된 바와 같이, 가운데 영상과 2번째 시점의 영상에 대해 겹쳐지지 않는 영역과 겹쳐지는 영역으로 분류하고, 2번째 시점의 영상과 과 1번째 시점의 영상에 대해 겹쳐지지 않는 영역과 겹쳐지는 영역을 분류한다. 마찬가지로, 가운데 시점 영상과 4번째 시점의 영상 및 4번째 시점의 영상과 5번째 시점의 영상에 대하여 각각 겹쳐지지 않는 영역과 겹쳐지는 영역으로 분류한다. 이와 같은 경우, 가운데 시점 영상과 2번째 시점 영상에서 겹쳐지지 않는 영역의 영상은 1번째 시점의 영상과 겹쳐지는 영역의 영상과 겹쳐지게 된다. 마찬가지로, 4번째 시점은 겹쳐지지 않는 영역의 영상은 5번째 시점의 겹쳐지는 영역의 영상과 겹쳐지게 된다.
한편, 도 7(b)는 도 3(b)에 도시된 바와 같이 가운데 시점 영상을 중심으로 가운데 시점 영상과 각 시점 영상사이에 구해진 전역변이벡터를 이용하여 영역을 분류한 방식이다. 이 방식에서, 가운데 시점 영상과 1번째 시점의 영상 사이에 대하여 전역변이를 구하게 되면, 2번째 시점에 대해서는 겹쳐지는 영역의 영상만 존재하게 된다. 마찬가지로, 가운데 시점 영상과 5번째 시점의 영상사이에 대하여 전역변이를 구하면, 4번째 시점에 대해서는 겹쳐지는 영역의 영상만 존재하게 된다. 즉, 가운데 시점을 중심으로 모든 시점에 대한 영상과의 전역변이를 구하여, 가운데 시점 영상과 가장 좌우 및 가장 상하를 기준으로 그 사이에 위치한 시점의 영상사이에서 서로 겹쳐지지 않는 영역과 겹쳐지는 영역을 분류한다. 다시점 동영상의 특성에 따라, 겹쳐지는 영역과 겹쳐지지 않는 영역은 도 7 a) 또는 도 7 b)로 분류될 수 있다.
도 8(a) 및 (b)는 배열형 다시점 카메라 배치에 의해 획득된 다시점 영상이 분류된 예를 도시한 것으로서, 도 8(a)는 가운데 시점 영상을 중심으로 각 시점별 인접하는 두시점 사이의 전역변이벡터를 이용한 경우를 도시한 것이고, 도 8(b)는 가운데 시점 영상을 중심으로 가운데 시점 영상과 각 시점 영상사이의 전역변이벡터를 이용한 경우를 도시한다.
영상합성기(230)는 가운데 시점 영상을 중심으로 좌우 및 상하에 각 시점별 겹쳐지지 않는 영역의 영상을 경계영역에 이어나감으로써 하나의 큰 합성 영상을 생성한다. 이렇게 생성된 큰 합성 영상은 각 시점에서 겹치는 영역의 영상을 부호화할 때 변이 정보를 얻는 기준 영상으로 사용될 것이다.
도 9(a) 및 9(b)는 병렬형 다시점 카메라 배치에 의해 획득된 다시점 영상에 대하여 본 발명에 따라 합성된 영상의 예를 도시한 것으로서, 도 9(a)는 도 7(a)에 도시된 방식에 따라 분류된 영상을 합성한 예이고, 도 9(b)는 도 7(b)에 도시된 방식에 따라 분류된 영상을 합성한 예이다.
도 10(a) 및 10(b)는 배열형 다시점 카메라 배치에 의해 획득된 다시점 영상에 대하여 본 발명에 따라 합성된 영상의 예를 도시한 것으로서, 도 10(a)는 도 8(a)에 도시된 방식에 따라 분류된 영상을 합성한 예이고, 도 10(b)는 도 8(b)에 도시된 방식에 따라 분류된 영상을 합성한 예이다.
도 11 및 도 12는 도 9 및 도 10 각각에 도시된 바와 같은 합성 영상(기준 영상)에서 각 시점별 겹치는 영역의 영상이 위치하는 영역을 각각 도시한다.
다시, 도 2를 참조하면, 움직임 보상기반 부호화기(240)는 영상합성기(230)에 의해 생성된 겹쳐지지 않은 영역의 영상들로 이루어진 합성 영상에 대한 부호화를 수행한다. 움직임 보상기반 부호화기(240)는 MPEG-2, MPEG-4 부호화 알고리즘과 같은 움직임 보상기반 알고리즘을 이용하여 합성 영상에 대한 부호화를 수행한다. 즉, 도 13에 도시된 바와 같이, DCT, 양자화, 움직임 추정 및 보상을 수행하여 이로부터 출력되는 정보를 엔트로피 부호화하여 부호화된 스트림을 생성한다.
도 14는 겹쳐지지 않는 영역에 대하여, I-VOP, P-VOP 및 B-VOP에 대한 움직임 보상 기반 부호화의 일예를 나타내고 있다. 이는 기존의 MEPG-2, MPEG-4 Part 2 및 Part 10(AVC)과 동일한 움직임 추정 및 보상과 동일한 구조이다. 즉, I-VOP일 경우는 인트라 부호화를 수행하고, P-VOP일 경우는 시간축상으로 이전에 존재하는 영상으로부터 움직임 추정 및 보상을 수행하여 부호화한다. B-VOP일 경우는 시간축상으로 이전과 이후에 존재하는 영상으로부터 움직임 추정 및 보상을 수행하여 부호화한다.
한편, 각 시점에서 겹쳐지는 영역의 영상은 움직임 및 변이보상 기반 부호화기(250)를 통해 부호화된다. 움직임 및 변이보상 기반 부호화기(250)는 MPEG-2 MVP(Multi-View Profile) 또는 MPEG-4 TS(Temporal Scalability)와 같이 시간적 공간적 리던던시(redundancy)를 줄일 수 있는 움직임 및 변이 보상 기반 부호화 알고 리즘을 이용하여 각 시점에서 겹치는 영역의 영상에 부호화를 수행한다. 도 15는 각 시점별 겹쳐지는 영역의 영상에 대한 움직임 및 변이 보상기반 부호화 구조를 도시한다. 도시된 바와 같이, 움직임 및 변이보상 기반 부호화는 DCT, 양자화, 움직임 추정/보상, 변이 추정/보상을 수행하여 이로부터 출력되는 정보를 엔트로피 부호화하여 부호화된 비트 스트림을 생성한다.
도 16은 겹쳐지는 영역에 대하여, I-VOP, P-VOP 및 B-VOP에 대한 움직임 및 변이 보상 기반 부호화의 일예를 도시한다. 이는 기존의 MPEG-2 MVP 및 MPEG-4 TS(Temporal Scalability)에서 상위층(Enhancement Layer)을 부호화하는 구조와 동일한 움직임 추정 및 보상과 동일한 구조이다. 즉, I-VOP일 경우는 동일 시간축상에 있는 합성영상을 참조영상으로 하여 변이벡터를 추정하여 부호화하고, P-VOP및 B-VOP일 경우는 시간축상으로 이전에 존재하는 영상으로부터 움직임 추정 및 보상을 수행하고, 동일 시간축상에 있는 합성영상을 참조영상으로 하여 변이벡터를 추정하여 부호화한다.
한편, 다시점 동영상 응용 모델에 따라, 사용자가 모든 시점의 영상 에 대한 부호화 스트림을 전송받아 복원하도록 요구할 수도 있고, 사용자가 원하는 일부 시점의 영상에 대한 부호화 스트림만을 전송받아 복원하도록 요구할 수도 있다. 모든 시점의 영상 모두를 복원하는 경우에는 합성된 큰 영상 전체에 대하여 움직임 보상기반 부호화를 수행하면 된다. 그러나, 일부 시점의 영상만을 복원하기 위해서는 각 시점별 부호화스트림을 다른 시점 영상과 상관성없이 부호화하여 서로 구별될 수 있어야 한다. 따라서, 본 발명의 일실시예에 따른 부호화는 각 시점에 서 겹쳐지지 않는 영역 각각에 대하여 움직임 보상기반 부호화를 수행한다. 또한, 가운데 시점 영상에 대해서도, 세로축 방향으로 슬라이스를 정의하여 부호화함으로써, 시점별 영상을 복호화시에 가운데 시점 영상중 필요한 슬라이스만을 복호화할 수 있도록 해준다.
예를 들어, 병렬형의 다시점 영상인 경우는 가운데 시점 영상에 대하여, 세로축 방향으로 매크로블록을 교번(alternative) 스캐닝하고(도 17(a) 참조), 세로축 방향으로 한 줄씩 슬라이스(slice)를 정의하여(도 17(b) 참조), 움직임 보상기반 부호화를 수행한다. 가운데 시점 영상에서 다른 시점의 영상과 겹치는 위치를 슬라이스 주소로 나타내어 가운데 시점 영상의 부호화 스트림의 헤더정보에 포함시킴으로써, 이후에 시점별 영상을 복호화시에, 가운데 시점의 영상중 필요한 슬라이스만을 복호화할 수 있도록 해준다. 즉, 사용자가 일부 시점의 영상만을 복원하고자 할 경우, 가운데 시점 영상의 일부 영역만이 복원될 수 있다.
도 18은 본 발명의 일실시예에 따라 각 시점의 겹쳐지지 않는 영역의 영상을 시점별로 부호화할 경우에 가운데 시점 영상의 부호화시에 헤더정보로서 각 시점에서 겹쳐지는 영역에 대한 슬라이스 주소를 도시한다. 도시된 바와 같이, 가운에 시점 영상기준으로 좌측에 위치하고 있는 첫번째 시점 영상을 복원하기 위해서는 첫번째와 두번째 시점에서의 겹쳐지지 않는 영역의 영상과 가운데 시점 영상에서 좌측에서부터 A1 주소까지의 슬라이스에 대한 부호화 스트림을 복호화한다. 유사하게, 가운데 시점 영상에서 좌측에 위치하고 있는 두번째 시점 영상을 복원하기 위해서는 두번째 시점에서의 겹쳐지지 않는 영역의 영상과 가운데 시점 영상에서 좌측에서부터 A2 주소까지의 슬라이스에 대한 부호화 스트림을 복호화한다.
또한, 가운데 시점의 영상 기준으로 우측에 위치하고 있는 네번째 시점의 영상을 복원하기 위해서는 네번째 시점에서의 겹쳐지지 않는 영역의 영상과 가운데 시점 영상에서 A4 주소의 슬라이스부터 우측 끝까지의 영상에 대한 부호화스트림을 복호화한다. 마찬가지로, 중간 영상 기준으로 우측에 위치하고 있는 다섯번째 시점의 영상을 복원하기 위해서는 네번째 및 다섯번째 시점에서의 겹쳐지지 않는 영역의 영상과 가운데 시점 영상에서 A5 주소의 슬라이스로부터 우측 끝까지의 영상에 대한 부호화 스트림을 복호화한다.
도 19는 본원발명의 일실시예에 따른 영상합성기반 다시점 동영상 복호화 장치의 구조를 블록도로 도시한다. 도시된 바와 같이, 복호화 장치는, 움직임 보상기반 복호화기(1910), 움직임 및 변이보상 기반 복호화기(1920) 및 시점영상 생성기(1930)를 포함한다. 움직임 보상기반 복호화기(1910)는 본원발명에 따라 겹쳐지지 않는 영역의 영상인 합성영상으로부터 (움직임 보상기반 부호화를 통해) 생성된 합성영상 부호화 스트림에 대한 복호화를 수행한다. 도 20에 도시된 바와 같이, 합성영상의 부호화 스트림은, MPEG-2, MPEG-4 방식의 복호화와 동일하게 움직임 보상기반 복호화된다. 즉, 부호화된 비트스트림을 입력받아서 엔트로피 복호화, 역양자화, IDCT 및 움직임 보상을 수행하여 영상을 복원한다.
반면에, 움직임 및 변이 보상기반 부호화로 수행된 각 시점의 겹쳐지는 영역의 영상에 대한 부호화 스트림은 움직임 및 변이보상 기반 복호화기(1920)를 통해 복호화된다. 움직임 및 변이보상 기반 복호화기(1920)의 세부 구조는 도 21에 도 시되어 있다. 도 21에 도시된 바와 같이, 움직임 및 변이보상 기반 복호화기(1920)의 구조는 MPEG-2 MVP 및 MPEG-4 TS(Temporal Scalability)에서 상위층(Enhancement Layer)을 복호화하는 구조와 동일한 복호화 구조이다. 즉, 부호화된 비트스트림을 입력받아 엔트로피 복호화, 역양자화, IDCT 및 움직임 보상과 변이 보상을 수행하여 영상을 복원한다
도시된 움직임 및 변이보상 기반 복호화기(1920)의 구조는 움직임 보상기반 복호화기(1910)에 의해 복원된 합성영상을 변이정보를 얻기 위한 기준 영상으로 이용하는 점을 제외하고는 본 기술분야에 당업자들에 공지된 구조이므로, 이에 대한 구체적인 설명은 생략하겠다.
다시, 도 19를 참조하면, 시점영상 생성기(1930)는 겹쳐지지 않는 영역의 복호화된 영상과 겹치는 영역의 복호화된 영상을 입력받아 각 시점별 영상을 복원하는 기능을 수행한다. 도 17과 관련하여 전술한 바와 같이, 본원발명에 따른 복호화 장치는, 사용자가 일부분의 시점만을 복원하기 원하는 경우에, 원하는 시점 영상의 겹쳐지지 않는 영역에 대한 부호화 스트림과, 가운데 시점 영상의 부호화스트림중에서 상기 원하는 시점 영상과 겹치는 슬라이스의 부호화 스트림만을 전송받아 복호화할 수 있다.
본 발명의 실시예가 첨부된 도면을 참조하여 설명되었지만, 본 발명은 전술한 실시예에 국한되는 것이 아니며, 본 발명의 정신 및 범위를 벗어나지 않고 기타 다양한 변화 및 변경이 당업자에 의해 이루어질 수 있음을 이해하여야 할 것이다.
본 발명은 각 시점의 영상을 서로 겹치는 영역(다른 시점과 상관정보가 있는 영역)과 겹쳐지지 않는 영역(다른 시점과 상관정보가 없는 영역)으로 분류하여, 각 영역의 특성에 맞추어 부복호화를 수행함으로써 보다 우수한 압축률을 제공할 수 있도록 한다.
또한, 본 발명에 따르면, 사용자가 원하는 시점의 영상만을 복원하고자 하는 경우 이에 필요로 하는 최소한의 부호화 스트림만을 전송받아 복호화할 수 있으므로, 부호화스트림 전송 및 복호화 효율이 향상된다.

Claims (23)

  1. 다시점 동영상을 부호화하기 위한 방법에 있어서,
    상기 다시점 동영상을 이루는 각 시점 영상에 대하여 선정된 다른 시점 영상을 기준으로 하는 변이값을 추정하는 단계와,
    상기 추정된 변이값을 이용하여 각 시점 영상을 상기 다른 시점 영상과 겹쳐지는 영역 및 겹쳐지지 않는 영역으로 분류하는 단계와,
    가운데 시점 영상과 상기 겹쳐지지 않는 영역을 조합하여 합성영상을 생성하는 단계와,
    상기 합성영상을 제1 부호화 방식에 기반하여 부호화하는 단계와,
    상기 합성영상을 기준으로 각 시점 영상의 상기 겹쳐지는 영역의 영상을 제2 부호화 방식에 기반하여 부호화하는 단계
    를 포함하는 다시점 동영상 부호화 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 합성영상 생성 단계는 가운데 시점 영상을 중심으로 각 시점 영상의 상기 겹쳐지지 않는 영역을 경계영역에 이어나감으로써 합성 영상을 생성하는 다시점 동영상 부호화 방법.
  4. 제1항에 있어서, 상기 제1 부호화 방식은 움직임 보상 기반 부호화 방식인 다시점 동영상 부호화 방법.
  5. 제1항에 있어서, 상기 제2 부호화 방식은 움직임 및 변이 보상 기반 방식인 다시점 동영상 부호화 방법.
  6. 제1항에 있어서, 상기 변이값 추정 단계는 가운데 시점 방향으로 인접한 시점 영상을 기준으로 한 전역변이값을 추정하는 다시점 동영상 부호화 방법.
  7. 제1항에 있어서, 상기 변이값 추정 단계는 가운데 시점 영상을 기준으로 한 전역변이값을 추정하는 다시점 동영상 부호화 방법.
  8. 제6항 또는 제7항에 있어서, 상기 전역변이값 추정 단계는,
    선정된 크기의 블록 단위로 1개씩 화소를 추출하는 서브샘플링을 통해 상기 각 시점의 영상 크기를 축소하는 단계와,
    상기 축소된 각 시점 영상의 초기 전역변이값을 추정하는 단계와,
    상기 추정된 초기전역변이값에 상기 서브샘플링 비율을 곱한 값의 경계영역 에서 변이값을 추정하는 단계
    를 포함하는 다시점 동영상 부호화 방법.
  9. 제8항에 있어서, 상기 선정된 크기의 블록 단위는 4x4 및 8x8 블록에서 선택되는 다시점 동영상 부호화 방법.
  10. 제1항에 있어서, 상기 합성영상을 제1 부호화 방식에 기반하여 부호화하는 단계는,
    상기 가운데 시점 영상을 선정된 크기의 슬라이스로 분할하여 슬라이스별로 부호화하는 단계와,
    각 시점의 상기 겹쳐지지 않는 영역의 영상을 시점별로 부호화하는 단계
    를 포함하는 다시점 동영상 부호화 방법.
  11. 제10항에 있어서, 상기 가운데 시점 영상이 다른 시점 영상과 겹쳐지는 영역의 슬라이스 주소는 상기 가운데 시점 영상의 부호화 스트림의 헤더 정보에 포함되는 다시점 동영상 부호화 방법.
  12. 다시점 동영상을 복호화하는 방법에 있어서,
    가운데 시점 영상과, 각 시점 영상의 다른 시점 영상과 겹쳐지지 않는 영역의 영상에 대한 부호화 스트림을 움직임 보상기반으로 복호화하는 단계와,
    상기 가운데 시점 영상을 중심으로 각 시점 영상의 상기 겹쳐지지 않는 영역을 경계영역에 이어나감으로써 생성된 합성 영상을 기준 영상으로 하여 각 시점 영상의 겹쳐지는 영역의 영상에 대한 부호화 스트림을 움직임 및 변이 보상 기반으로 복호화하는 단계와,
    상기 복호화된 각 시점의 상기 겹쳐지지 않는 영역의 영상과 상기 겹쳐지는 영역의 영상을 조합하여 시점별 영상을 복원하는 단계
    를 포함하는 다시점 동영상 복호화 방법.
  13. 제12항에 있어서, 사용자에 의해 선택된 특정 시점 영상만을 복원하는 단계를 더 포함하고, 상기 특정 시점 영상의 복원화 단계는,
    특정 시점 영상의 겹쳐지지 않는 영역의 영상에 대한 부호화 스트림을 복호화하는 단계와,
    선정된 크기의 슬라이스별로 분할되어 부호화된 상기 가운데 시점 영상의 부호화 스트림의 헤더 정보에 포함된 슬라이스 주소를 이용하여 상기 가운데 시점 영상의 부호화 스트림중 상기 특정 시점 영상과 겹쳐지는 영역의 슬라이스만을 복호화하는 단계
    를 포함하는 다시점 동영상 복호화 방법.
  14. 다시점 동영상을 부호화하기 위한 장치에 있어서,
    상기 다시점 동영상을 이루는 각 시점 영상에 대하여 선정된 시점 영상을 기준으로 하는 변이값을 추정하기 위한 변이추정수단과,
    상기 변이추정수단에 의해 추정된 각 시점 영상의 변이값을 이용하여 각 시점 영상을 상기 다른 시점 영상과 겹쳐지는 영역 및 겹쳐지지 않는 영역으로 분류하기 위한 영역분류수단과,
    가운데 시점 영상과 상기 겹쳐지지 않는 영역을 조합하여 합성영상을 생성하기 위한 합성영상생성수단과,
    상기 합성영상을 제1 부호화 방식에 기반하여 부호화하기 위한 제1 부호화 수단과,
    상기 합성영상을 기준으로 각 시점 영상의 상기 겹쳐지는 영역의 영상을 제2 부호화 방식에 기반하여 부호화하기 위한 제2 부호화 수단
    를 포함하는 다시점 동영상 부호화 장치.
  15. 삭제
  16. 제14항에 있어서, 상기 합성영상생성수단은 가운데 시점 영상을 중심으로 각 시점 영상의 상기 겹쳐지지 않는 영역을 경계영역에 이어나감으로써 합성 영상을 생성하는 다시점 동영상 부호화 장치.
  17. 제14항에 있어서, 상기 변이추정수단은 각 시점 영상에 대하여 가운데 시점 방향으로 자신에 인접한 시점 영상을 기준으로 한 전역변이값을 추정하는 다시점 동영상 부호화 장치.
  18. 제14항에 있어서, 상기 변이추정수단은 각 시점 영상에 대하여 가운데 시점 영상을 기준으로 한 전역변이값을 추정하는 다시점 동영상 부호화 장치.
  19. 제17항 또는 제18항에 있어서, 상기 변이추정수단은,
    선정된 크기의 블록 단위로 1개씩 화소를 추출하는 서브샘플링을 통해 상기 각 시점의 영상 크기를 축소하는 샘플링수단과,
    상기 축소된 각 시점 영상의 초기 전역변이값을 추정하기 위한 초기전역변이추정수단과,
    상기 추정된 초기전역변이값에 상기 서브샘플링 비율을 곱한 값의 경계영역에서 변이값을 추정하기 위한 경계영역기반변이추정수단
    을 포함하는 다시점 동영상 부호화 장치.
  20. 제14항에 있어서, 상기 제1 부호화 수단은,
    상기 가운데 시점 영상을 선정된 크기의 슬라이스로 분할하여 슬라이스별로 부호화하기 위한 수단과,
    각 시점의 상기 겹쳐지지 않는 영역의 영상을 시점별로 부호화하기 위한 수 단
    를 포함하는 다시점 동영상 부호화 장치.
  21. 제20항에 있어서, 상기 가운데 시점 영상이 다른 시점 영상과 겹쳐지는 영역의 슬라이스 주소는 상기 가운데 시점 영상의 부호화 스트림의 헤더 정보에 포함되는 다시점 동영상 부호화 장치.
  22. 다시점 동영상을 복호화하기 위한 장치에 있어서,
    각 시점 영상이 다른 시점 영상과 겹쳐지는 영역 및 겹쳐지지 않는 영역으로 분류되어 부호화된 스트림을 수신하기 위한 수단과,
    가운데 시점 영상과 각 시점 영상의 겹쳐지지 않는 영역의 영상에 대한 부호화 스트림을 움직임 보상기반으로 복호화하기 위한 제1 복호화 수단과,
    가운데 시점 영상을 중심으로 각 시점 영상의 상기 겹쳐지지 않는 영역을 경계영역에 이어나감으로써 생성된 합성 영상을 기준 영상으로 하여 각 시점 영상의 겹쳐지는 영역의 영상에 대한 부호화 스트림을 움직임 및 변이 보상 기반으로 복호화하기 위한 제2 복호화 수단과,
    상기 제1 및 제2 복호화 수단에 의해 복호화된 각 시점의 상기 겹쳐지지 않는 영역의 영상과 상기 겹쳐지는 영역의 영상을 조합하여 시점별 영상을 복원하기 위한 복원수단
    를 포함하는 다시점 동영상 복호화 장치.
  23. 제22항에 있어서, 상기 다시점 동영상 복호화 장치는 사용자에 의해 선택된 특정 시점 영상만을 복원할 수 있고, 상기 특정 시점 영상의 복원화는, 상기 제1 복호화 수단이 선정된 크기의 슬라이스별로 분할되어 부호화된 가운데 시점 영상의 부호화 스트림의 헤더 정보에 포함된 슬라이스 주소를 이용하여 상기 가운데 시점 영상의 부호화 스트림중 상기 특정 시점 영상과 겹쳐지는 영역의 슬라이스만을 복호화하고, 상기 제2 복호화 수단이 상기 특정 시점 영상의 겹쳐지지 않는 영역의 영상에 대한 부호화 스트림을 복호화함으로써 이루어지는 다시점 동영상 복호화 장치.
KR1020050033477A 2004-10-12 2005-04-22 영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기위한 방법 및 장치 KR100775871B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007536607A JP4562774B2 (ja) 2004-10-12 2005-10-10 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置
US11/576,964 US8204133B2 (en) 2004-10-12 2005-10-10 Method and apparatus for encoding and decoding multi-view video using image stitching
PCT/KR2005/003361 WO2006080739A1 (en) 2004-10-12 2005-10-10 Method and apparatus for encoding and decoding multi-view video using image stitching
US13/474,158 US8855210B2 (en) 2004-10-12 2012-05-17 Method and apparatus for encoding and decoding multi-view video using image stitching

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040081240 2004-10-12
KR20040081240 2004-10-12

Publications (2)

Publication Number Publication Date
KR20060047399A KR20060047399A (ko) 2006-05-18
KR100775871B1 true KR100775871B1 (ko) 2007-11-13

Family

ID=37149775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050033477A KR100775871B1 (ko) 2004-10-12 2005-04-22 영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기위한 방법 및 장치

Country Status (2)

Country Link
KR (1) KR100775871B1 (ko)
CN (1) CN100579220C (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738867B1 (ko) * 2005-04-13 2007-07-12 연세대학교 산학협력단 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
KR100739785B1 (ko) * 2006-01-09 2007-07-13 삼성전자주식회사 관심 영역 기반 영상 부호화, 복호화 방법 및 장치
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
KR101315295B1 (ko) * 2007-03-27 2013-10-07 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
CN101222636B (zh) * 2008-01-24 2011-05-11 杭州华三通信技术有限公司 图像编解码方法和图像编解码装置
RU2689191C2 (ru) * 2009-01-26 2019-05-24 Томсон Лайсенсинг Упаковка кадров для кодирования видео
CN104243851B (zh) * 2014-09-28 2017-11-03 联想(北京)有限公司 图像生成方法和电子设备
US10873733B2 (en) * 2017-06-23 2020-12-22 Mediatek Inc. Methods and apparatus for deriving composite tracks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020032954A (ko) * 2000-10-28 2002-05-04 김춘호 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR20040013540A (ko) * 2002-08-07 2004-02-14 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR20040020537A (ko) * 2002-08-30 2004-03-09 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반송수신 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020032954A (ko) * 2000-10-28 2002-05-04 김춘호 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR20040013540A (ko) * 2002-08-07 2004-02-14 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR20040020537A (ko) * 2002-08-30 2004-03-09 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반송수신 시스템 및 그 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
1020020032954
1020040013540
1020040020537

Also Published As

Publication number Publication date
KR20060047399A (ko) 2006-05-18
CN100579220C (zh) 2010-01-06
CN101084675A (zh) 2007-12-05

Similar Documents

Publication Publication Date Title
JP4562774B2 (ja) 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置
Conti et al. HEVC-based 3D holoscopic video coding using self-similarity compensated prediction
CN109691110B (zh) 利用空间布局信息的同步多视点影像的编码/解码方法以及其装置
KR102014240B1 (ko) 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
KR100775871B1 (ko) 영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기위한 방법 및 장치
Ho et al. Overview of multi-view video coding
Oh et al. H. 264-based depth map sequence coding using motion information of corresponding texture video
KR101450670B1 (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US20090103616A1 (en) Method and device for generating depth image using reference image, method for encoding/decoding depth image, encoder or decoder for the same, and recording medium recording image generated using the method
US20070041443A1 (en) Method and apparatus for encoding multiview video
WO2007035054A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
EP1917814A1 (en) Method and apparatus for encoding multiview video
Khattak et al. Temporal and inter-view consistent error concealment technique for multiview plus depth video
Yang et al. An MPEG-4-compatible stereoscopic/multiview video coding scheme
Farid et al. Panorama view with spatiotemporal occlusion compensation for 3D video coding
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
KR100737808B1 (ko) 2차원 구조의 다시점 영상 압축 방법
Conti et al. Using self-similarity compensation for improving inter-layer prediction in scalable 3D holoscopic video coding
WO2014053087A1 (en) Method and apparatus of motion data buffer reduction for three-dimensional video coding
KR20180028298A (ko) 공간적 구조 정보를 이용한 동기화된 다시점 영상의 부호화/복호화 방법 및 그 장치
KR102127212B1 (ko) 다시점 영상 정보의 복호화 방법 및 장치
Yang et al. MPEG-4 based stereoscopic and multiview video coding
Nikitin et al. Exploiting View Synthesis for Super-multiview Video Compression

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee