KR100714068B1 - 계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치 - Google Patents

계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치 Download PDF

Info

Publication number
KR100714068B1
KR100714068B1 KR1020050096700A KR20050096700A KR100714068B1 KR 100714068 B1 KR100714068 B1 KR 100714068B1 KR 1020050096700 A KR1020050096700 A KR 1020050096700A KR 20050096700 A KR20050096700 A KR 20050096700A KR 100714068 B1 KR100714068 B1 KR 100714068B1
Authority
KR
South Korea
Prior art keywords
ldi
video data
view video
pixel
encoding
Prior art date
Application number
KR1020050096700A
Other languages
English (en)
Other versions
KR20060053268A (ko
Inventor
윤국진
김대희
조숙희
안충현
이수인
호요성
윤승욱
김성열
Original Assignee
한국전자통신연구원
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020050031715A external-priority patent/KR20060045798A/ko
Application filed by 한국전자통신연구원, 광주과학기술원 filed Critical 한국전자통신연구원
Publication of KR20060053268A publication Critical patent/KR20060053268A/ko
Application granted granted Critical
Publication of KR100714068B1 publication Critical patent/KR100714068B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Abstract

본 발명은 계층적 깊이 영상(Layered Depth Image: LDI)에 기반한 다시점 동영상 부호화/복호화 방법 및 장치를 제공한다. 구체적으로, 부호화의 압축 효율을 높이기 위한 선형 역상관 과정 및 LDI를 이용한 실사 다시점 영상 부호화/복호화 방법을 제안한다. 본 발명의 일실시예에 따른 계층적 깊이 영상 부호화 방법은, (i) 상기 다시점 동영상으로부터 각 시점 영상의 색상 및 깊이 정보를 이용하여 복수의 계층을 포함하는 LDI를 생성하는 단계와, (ii) 상기 LDI 계층 각각에 대하여 선형적 역상관을 수행하는 단계와, (iii) 상기 선형적 역상관이 수행된 상기 LDI 계층 각각에 대하여 데이터 모으기를 수행하는 단계와, (iv) 상기 계층별로 모여진 데이터를 부호화하여 부호화된 LDI 비트스트림을 생성하는 단계를 포함한다.
계층적 깊이 영상, 다시점 동영상 부호화/복호화, 선형 역상관

Description

계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화 방법 및 장치{Method and system for encoding/decoding multi-view video based on layered-depth image}
도 1은 계층적 깊이 영상(Layered Depth Image: LDI)의 구조를 도시한다.
도 2는 본 발명의 일실시예에 따른 계층적 깊이 영상 기반 다시점 동영상 부호화/복호화 장치를 개략적으로 도시한다.
도 3은 다시점 동영상으로부터 계층적 깊이 영상(LDI)을 생성하는 과정을 나타낸다.
도 4는 모든 화소에 대한 깊이 값이 존재하는 LDI 계층에 대하여 수행되는 본원 발명에 따른 선형 역상관 과정을 개념적으로 설명한 도면이다.
도 5는 일부 화소에 대한 깊이 값이 존재하지 않는 LDI 계층에 대하여 수행되는 본원 발명에 따른 선형 역상관 과정을 개념적으로 설명한 도면이다.
도 6은 본 발명의 일실시예에 따른 선형 역상관 프로세스를 흐름도로 도시한다.
본 발명은 계층적 깊이 영상(Layered Depth Image: LDI)의 부호화 및 복호화를 수행하는 데 있어 압축 효율을 높이기 위하여 계층적 깊이 영상의 확률 분포를 변환하는 선형 역상관(Linear de correlator) 방법 및 그 장치에 관한 것이다.
다시점 동영상(Multi-view video)은 보다 현실감있는 서비스를 제공하기 위하여 다양한 응용분야에서 사용되고 있으나, 방대한 양의 데이터를 요구하므로 이를 전송하기 위해서는 막대한 대역폭이 필요하다. 따라서 이를 해결하고자 상대적으로 적은 대역폭을 필요로 하는 계층적 깊이 영상 기법을 활용할 수 있다.
계층적 깊이 영상은 일반적으로 메쉬를 이용하여 3차원 모델을 표현하는 방식과 달리 단일 카메라 위치에서 보여지는 화소의 배열을 사용해서 객체를 표현하는 방법으로, 각 화소는 색상, 화소에서 카메라까지의 거리를 나타내는 깊이 정보, 기타 랜더링을 지원하는 몇 가지 다른 특성 정보들로 표현된다. 즉, 계층적 깊이 영상은 일반적인 2차원 영상과 비슷하게 화소들로 이루어지지만, 각 화소는 색상 정보 뿐만 아니라 깊이 정보 및 렌더링에 사용되는 부가 정보를 갖는다. 따라서, 한 시점에서 구성된 LDI를 이용하여 일정한 시야각 내에 있는 임의 시점의 영상을 손쉽게 생성할 수 있다. 구체적으로 LDI를 구성하는 정보는 Y, Cb, Cr, Alpha의 색상 정보, 카메라와 물체사이의 거리를 나타내는 깊이 정보, 그리고 렌더링시에 화소의 크기를 결정하는데 사용되는 스플랫 테이블 인덱스(splat table index)를 포함한다. 하나의 LDI 화소는 이 모든 정보를 포함하기 위해 총 63bit를 사용하므로, 한 장의 LDI는 적게는 수 MB에서 많게는 수십 MB에 달하는 데이터를 포함한다
LDI는 복수개의 층으로 나뉘어지며, 각 층은 해당 층에서의 화소 존재 여부 를 나타내는 마스크(mask)를 포함한다. LDI는 화소의 분포가 후미 계층으로 갈수록 희소해지는 특성을 갖는다. 특히, 계층 수가 많은 경우에 계층의 후미로 갈수록 이러한 현상이 두드러진다.
제이. 듀안(J.Duan) 및 제이. 라이(J. Li)의 계층적 깊이 이미지 압축(" compression of the layered depth image", IEEE TRANSACTIONS OF IMAGE PROCESSING, VOL., 12, NO.3, 2003/3) 논문은 전술한 계층적 깊이 영상의 특징을 이용하여 압축하기 이전의 전처리 과정으로서 데이터 모으기 기법을 사용하는 부호화 방식을 개시한다. 데이터 모으기 기법은 후미 계층으로 갈수록 화소의 밀도가 낮아지는 계층적 깊이 영상의 특징을 이용하여 산재해 있는 화소들을 한 방향으로 모으는 작업을 수행하는 것이다. 그러나, 계층적 깊이 정보의 상관성을 고려하지 않는 단순 데이터 모으기로 인하여 압축 효율성은 떨어지는 문제점이 있다.
상관성이 높은 데이터 집합에서 잉여(중복) 정보를 제거하고 상관성이 없는 데이터로 변환한 후에 이를 부호화함으로써 압축 부호화율을 향상시킬 필요가 있다.
따라서, 본 발명은 데이터 모으기를 수행하기 이전에 깊이 정보의 잉여 정보를 제거하는 새로운 전처리 과정인 선형 역상관 과정 및 LDI를 이용한 실사 다시점 영상 부호화 방법을 제안하는 것을 목적으로 한다. 본 발명은 선형 역상관을 통해 계층적 깊이 영상 데이터의 깊이 정보의 분포를 중간값 근처로 몰리게 함으로써 계층적 깊이 영상을 이용한 다시점 동영상부호화시에 압축율을 향상시키는데 그 목적 이 있다.
상기 목적을 달성하기 위하여, 본 발명은 계층적 깊이 영상을 이용한 다시점 동영상의 부호화/복호화 방법 및 장치를 제공한다.
구체적으로, 본 발명의 일 특징에 따르면, 계층적 깊이 영상(LDI)을 이용하여 다시점 동영상 데이터를 부호화하기 위한 방법이 제공된다. 상기 방법은, (i) 상기 다시점 동영상으로부터 각 시점 영상의 색상 및 깊이 정보를 이용하여 복수의 계층을 포함하는 LDI를 생성하는 단계와, (ii) 상기 LDI 계층 각각에 대하여 선형적 역상관을 수행하는 단계와, (iii) 상기 선형적 역상관이 수행된 상기 LDI 계층 각각에 대하여 데이터 모으기를 수행하는 단계와, (iv) 상기 계층별로 모여진 데이터를 부호화하여 부호화된 LDI 비트스트림을 생성하는 단계를 포함한다.
상기 (ii) 단계는, 상기 각각의 LDI 계층의 모든 화소 각각에 대하여, 이전의 두 화소를 잇는 직선과 현재 화소의 깊이 값 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 최단 거리로 대체하는 단계를 포함할 수 있다. 또한, (ii) 단계에서, 상기 현재 화소의 깊이 값이 존재하지 않는 경우에, 상기 현재 화소의 이전 두 화소 깊이의 평균값을 상기 화소의 깊이 값으로 이용할 수 있다.
또한, LDI 생성시에 발생할 수 있는 정보 손실을 보상하기 위한 정보를 상기 부호화된 LDI 비트스트림과 함께 전송함으로써, 복호화 장치에서 원래 영상에 가까운 영상을 복원할 수 있도록 한다.
본 발명의 다른 특징에 따르면, 부호화된 LDI 비트스트림을 복호화하는 단계 와, 상기 부호화된 LDI 스트림으로부터 복원된 다시점 동영상 데이터와 원래 다시점 동영상 데이터간의 오차 정보의 비트스트림을 복호화하는 단계와, 상기 복호화된 LDI 비트스트림 및 오차 정보에 기반하여 다시점 동영상 데이터를 복원하는 단계를 포함하는 다시점 동영상 데이터 복호화 방법이 제공된다.
일 실시예에 따르면, 사용자로부터 복원하고자 하는 시점 선택 명령을 수신하는 경우에는 해당 시점 영상 데이터만을 선택적으로 복원할 수 있다.
이하, 도면을 참조하여 본원발명에 따른 실시예를 설명하며, 이러한 실시예에 관한 설명은 단지 예시적인 목적으로 기재된 것이며, 본 발명의 범위를 제한하려는 의도는 아님을 밝힌다.
도 1은 전형적인 계층적 깊이 영상의 구조를 도시한다. 계층적 깊이 영상은 시각 위치에 따라 가능한 다수의 계층과 더불어 단일 카메라 위치에서 보여지는 화소의 배열로 이루어져 있다. 도 1에서 도시된 바와 같이, 광선들이 카메라 위치 P에서 투과한다면, 광선은 객체와 다수의 점에서 교차하게 되는데, 그 점들은 앞에서 뒤쪽으로 정렬된다. 모든 광선 중에서 첫번째 교차점은 첫번째 계층을 이루게 되며, 두 번째 교차점은 두 번째 계층을 이루게 되고 나머지 계층도 이와 같은 방식으로 이루어지게 된다. 또한, 계층적 깊이 영상의 각 계층은 개별적인 구성요소인 휘도성분, 색상 성분, 투명도 및 깊이 정보로 분리되며, 각 계층의 구성 요소 영상은 독립적으로 압축되는데, 압축율을 높이기 위해 같은 계층의 데이터가 조밀한 분포를 갖도록 데이터 모으기를 수행한다.
도 2는 본 발명의 일실시예에 따른 계층적 깊이 영상 기반 다시점 동영상 부호화/복호화 장치를 개략적으로 도시한다. 도시된 바와 같이, 다시점 동영상 부호화 장치(210)는, 계층적 깊이 영상 생성부(201), 선형 역상관부(202), 데이터 모으기부(203), LDI 부호화부(204), LDI 복호화부(205), 다시점 영상 생성부(206) 및 오차정보 부호화부(207)를 포함한다.
계층적 깊이 영상 생성부(201)는 깊이 정보를 갖는 다시점 동영상에 대하여 각 시점 영상의 색상과 깊이 정보를 이용하여 임의의 시점으로 3D 워핑(Warping)을 통해 복수개의 계층으로 이루어진 계층적 깊이 영상(LDI)을 생성한다. 일 예로, 도 3에 도시된 바와 같이 카메라 시점 C2와 C3의 위치에 있는 깊이 정보를 갖는 영상을 공통 시점 C1으로 워핑하는 동안 두 개 이상의 화소 값이 같은 계층으로 매핑되면, 그 두개의 화소 위치에서 각 화소의 깊이 정보를 비교하여 그 차이 값이 초기에 설정한 임계치보다 작은 경우에는 2개의 화소가 병합된다. 그렇지 않을 경우, 2개 화소 값의 평균값을 갖는 하나의 새로운 계층을 만든다. 전자의 경우가 도 3에서의 c와 d이다. c와 d의 화소는 입력 카메라에서 공통의 카메라 시점인 C1으로 워핑되는데 두개의 깊이 정보값이 거의 일치한다. 계층적 깊이 영상(LDI)을 생성하기 위한 알고리즘들은 해당 기술분야에 이미 공지되어 있으므로 본 명세서에서 이에 대한 상세한 설명은 생략한다.
선형 역상관부(202)는, 기존 LDI 데이터 모으기 과정의 전처리 과정을 수행 하는 모듈로서, LDI 계층별 모든 화소들의 깊이 값을 중간값으로 몰리게 함으로써 깊이 정보의 분산을 줄이는 기능을 수행한다. 구체적으로, 선형 역상관부(202)는 LDI를 구성하는 복수의 계층(이하, LDI 계층) 각각에 대하여 선형 역상관 과정을 수행한다. 선형 역상관의 세부 과정은 이하에서 도 3 내지 5를 참조하여 후술하기로 한다.
다음, 데이터 모으기부(203)는 LDI 계층별로 깊이 값의 분산 분포가 줄어든 LDI 데이터 모으기를 수행한다. 이러한 데이터 모으기 과정은, 앞서 설명한 바와 같이, 제이. 듀안(J.Duan) 및 제이. 라이(J. Li)의 계층적 깊이 이미지 압축(" compression of the layered depth image", IEEE TRANSACTIONS OF IMAGE PROCESSING, VOL., 12, NO.3, 2003/3) 논문에 공지되어 있으므로, 본 명세서에서는 생략한다.
LDI 부호화부(204)는 데이터 모으기를 통해 공간상에서 일정 방향으로 모여진 데이터를 부호화한다. 이렇게 부호화된 LDI 비트스트림은 통신 채널 또는 저장매체를 통해 다시점 동영상 복호화 장치(220)로 전송될 것이다.
한편, 계층적 깊이 영상 생성부(201)에서 생성된 LDI 데이터로부터 원래의 영상을 복원하는 경우에 원래 영상과 오차를 갖게 된다. 이는 LDI 생성 과정에서 발생하는 정보의 손실 때문이다. 따라서, 원래 영상에 근접한 고화질 영상을 복원하기 위해서는 이러한 정보 손실을 보상하는 데이터가 다시점 동영상 복호화 장치(220)에 별도로 전송될 필요가 있다.
이를 위해, 본 발명의 일실시예에 따르면, 다시점 동영상 부호화 장치(210)는 LDI 복호화부(205), 다시점 영상 생성부(206) 및 오차정보 부호화부(207)를 추가적으로 포함할 수 있다. LDI 복호화부(205)는 LDI 부호화부(204)로부터 부호화된 LDI 비트스트림을 전달받아 복호화하고, 다시점 영상 생성부(206)는 복호화된 LDI 데이터로부터 시점별 영상을 생성한다. 오차정보 부호화부(207)는 다시점 영상 생성부(206)에 의해 생성된 시점별 영상과 원래의 영상간의 차이 정보(Resiudal Information)를 구하고, 이를 부호화하여 다시점 동영상 복호화 장치(220)에 전송한다.
다시점 동영상 복호화 장치(220)는, LDI 복호화부(221), 다시점 영상 생성부(222) 및 오차정보 복호화부(223)를 포함한다. LDI 복호화부(221)는 다시점 동영상 부호화 장치(220)로부터 부호화된 LDI 비트스트림을 수신하고 이를 복호화하고, 오차정보 복호화부(223)는 다시점 동영상 부호화 장치(220)로부터 부호화된 차이 정보 비트스트림을 수신하고 이를 복호화한다. 다시점 영상 생성부(222)는 LDI 복호화부(221)에 의해 복호화된 LDI 데이터와 오차정보 복호화부(223)에 의해 복호화된 차이 정보를 이용하여 원래 영상에 근접한 시점별 영상을 생성한다. 다른 실시예에서, 사용자는 복원하고자 하는 시점을 선택할 수 있으며, 다시점 영상 생성부(222)는 상기 선택에 응답하여 선택된 시점의 영상을 생성할 수 있다.
도 4는 모든 화소에 대한 깊이 값이 존재하는 LDI 계층에 대하여 수행되는 본원 발명에 따른 선형 역상관 과정을 개념적으로 설명한 도면이다. 상기 도면에 서, 1차원상의 깊이 값은 2차원상의 점으로 표현된다. 도시된 바와 같이, 선형 역상관을 수행하기 위해, 이전 두 화소를 연결하는(즉, 두 화소의 깊이 값을 나타내는 두 점)을 연결하는 직선과 현재 화소의 깊이 값(즉, 깊이 정보를 나타내는 점) 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 계산된 최단 거리로 대체한다.
반면에, 도 5는 일부 화소에 대한 깊이 값이 존재하지 않는 LDI 계층에 대하여 수행되는 본원 발명에 따른 선형 역상관 과정을 개념적으로 설명한 도면이다. 도시된 바와 같이, LDI 계층의 임의의 화소가 깊이 값을 갖고 있지 않은 경우에, 해당 화소의 이전 두 화소의 깊이 평균값을 해당 화소의 깊이 값으로 삽입한다. 그런 후에, 마찬가지로 이전 두 화소를 잇는 직선과 현재 깊이 값 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 최단 거리로 대체할 수 있다.
한편, 이전의 두 화소의 깊이 값이 존재하지 않는 경우가 있다. 예를 들어, 첫번째 화소의 깊이 값이 존재하지 않는 경우에는 첫번째 화소의 깊이 값을 "0"으로 채우고, 두번째 화소의 깊이 값이 존재하지 않는 경우에는, 첫번째 화소의 깊이 값으로 채운다. 그러면, 세 번째 화소의 깊이 값은 이전 두 화소의 깊이 평균값으로 채울 수 있다. 그런 후에, 이 평균값을 현재 화소의 깊이 값으로 사용하여 최단 거리를 계산한다. 즉, 계층별로 모든 화소에 대한 깊이 값을 모두 채우고 난 후, 최단거리 계산을 수행하게 된다. 이때, 최단거리 d는 이전 두 화소의 깊이 값 을 나타내는 두 점(예, A(x0, z0), B(x1,z1))을 잇는 직선과 현재 화소의 깊이 값을 나타내는 점(예, C(x2, z2))사이의 최단 거리를 나타낸다. 최단 거리를 구하는 식은 다음과 같다.
Figure 112005057975721-pat00001
여기서,
Figure 112005057975721-pat00002
는 (-z0, x0)을 나타내며, C의 위치에는 깊이 값이 존재하지 않으므로, 상기 기술된 바와 같이, 이전 두 화소의 깊이 값의 평균값을 z2에 넣어준다. 이를 통하여 깊이 값의 분산 분포를 줄일 수 있다.
도 6은 본 발명의 일실시예에 따른 선형적 역상관 프로세스의 흐름도를 도시한다. 도시된 바와 같이, 단계(610)에서, 임의의 LDI 계층의 모든 화소에 대하여 깊이 값이 존재하는지를 판단한다. 모든 화소에 대하여 깊이 값이 존재하지 않는 경우에는, 단계(620)에서 첫 번째 화소의 깊이 값이 존재하지 않는지를 판단하고, 그렇다면 그 값을 "0"으로 채운다(단계 630). 다음, 단계(630)에서, 두 번째 화소의 깊이 값이 존재하지 않는지를 판단하고, 그렇다면, 그 값을 첫 번째 화소의 깊이 값으로 채운다(단계 650). 첫 번째 및 두 번째 화소가 아닌 다른 화소의 깊이 값이 존재하지 않는 경우에는 이전 두화소의 깊이의 평균값으로 해당 화소의 깊이 값을 채운다(단계 660). 따라서, 일부 화소들에 대한 깊이 값이 존재하지 않는 경우에, 단계(620) 내지 단계(660)를 수행함으로써, 해당 화소들에 대한 깊이 값을 채우게 된다.
다음, 단계(670)에서, 이전의 두 화소를 연결하는 직선과 현재 화소의 깊이 값 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 최단 거리로 대체한다.
LDI 계층 각각에 대하여 전술한 단계(610 내지 670)들을 반복 수행함으로써 각 계층의 깊이 정보에 대한 선형 역상관이 이루어지도록 한다.
본 발명은 하나 이상의 제조물상에 구현된 하나 이상의 컴퓨터 판독가능 매체로서 제공될 수 있다. 제조물은, 플로피 디스크, 하드 디스크, CD ROM, 플래시 메모리 카드,PROM, RAM, ROM, 또는 자기 테이프를 들 수 있다. 일반적으로, 컴퓨터 판독가능 프로그램은 임의의 프로그래밍 언어로 구현될 수 있다. 사용될 수 있는 언어의 일부 예에는 C, C++, 또는 JAVA가 포함된다.
이상에서, 특정 실시예와 관련하여 본 발명을 설명하였으나, 본 발명은 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 여러 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
본 발명에서 제안하는 LDI 기반 다시점 동영상 부호화/복호화 방법에 따르면, 부호화 효율이 향상될 뿐만 아니라, 복원시에 원래 영상에 근접한 고화질의 시 점별 영상이 복원될 수 있다.

Claims (16)

  1. 계층적 깊이 영상(Layered Depth Image: LDI)을 이용하여 다시점 동영상 데이터를 부호화하기 위한 방법에 있어서, 상기 방법은,
    (i) 상기 다시점 동영상으로부터 각 시점 영상의 색상 및 깊이 정보를 이용하여 복수의 계층을 포함하는 LDI를 생성하는 단계와,
    (ii) 상기 LDI 계층 각각에 대하여 선형적 역상관을 수행하는 단계와,
    (iii) 상기 선형적 역상관이 수행된 상기 LDI 계층 각각에 대하여 데이터 모으기를 수행하는 단계와,
    (iv) 상기 계층별로 모여진 데이터를 부호화하여 부호화된 LDI 비트스트림을 생성하는 단계
    를 포함하는 다시점 동영상 데이터 부호화 방법.
  2. 제1항에 있어서, 상기 (ii) 단계는, 상기 각각의 LDI 계층의 모든 화소 각각에 대하여, 이전의 두 화소를 잇는 직선과 현재 화소의 깊이 값 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 최단 거리로 대체하는 단계를 포함하는 다시점 동영상 데이터 부호화 방법.
  3. 제2항에 있어서, 상기 (ii) 단계에서, 상기 현재 화소의 깊이 값이 존재하지 않는 경우에, 상기 현재 화소의 이전 두 화소 깊이의 평균값을 상기 화소의 깊이 값으로 이용하는 다시점 동영상 데이터 부호화 방법.
  4. 제3항에 있어서, 상기 깊이 값이 존재하지 않는 화소가 첫 번째 화소인 경우에, 상기 첫 번째 화소의 깊이 값을 0으로 채우는 단계를 더 포함하는 다시점 동영상 데이터 부호화 방법.
  5. 제3항에 있어서, 상기 깊이 값이 존재하지 않는 화소가 두 번째 화소인 경우에, 상기 두 번째 화소의 깊이 값을 첫번째 화소의 값으로 채우는 단계를 더 포함하는 다시점 동영상 데이터 부호화 방법.
  6. 제1항에 있어서, 상기 (i) 단계에서 LDI 생성시에 발생하는 정보 손실을 보상하기 위한 정보를 상기 부호화된 LDI 비트스트림과 함께 전송하는 단계를 더 포함하는 다시점 동영상 데이터 부호화 방법.
  7. 제6항에 있어서, 상기 정보 손실을 보상하기 위한 정보는 상기 부호화된 LDI 스트림에 기반하여 복원된 다시점 동영상과 원래 다시점 동영상간의 오차 정보이고, 상기 차이 정보는 부호화되어 복호화 장치에 전송되는 다시점 동영상 데이터 부호화 방법.
  8. 부호화된 LDI 비트스트림을 복호화하는 단계와,
    상기 부호화된 LDI 스트림으로부터 복원된 다시점 동영상 데이터와 원래 다시점 동영상 데이터간의 오차 정보의 비트스트림을 복호화하는 단계와,
    상기 복호화된 LDI 비트스트림 및 오차 정보에 기반하여 다시점 동영상 데이터를 복원하는 단계
    를 포함하는 다시점 동영상 데이터 복호화 방법.
  9. 제8항에 있어서, 사용자로부터 복원하고자 하는 시점 선택 명령을 수신하는 단계와,
    상기 수신된 시점 선택 명령에 응답하여, 해당 시점 영상 데이터를 복원하는 단계
    를 포함하는 다시점 동영상 데이터 복호화 방법.
  10. 계층적 깊이 영상(LDI)을 이용하여 다시점 동영상 데이터를 부호화하기 위한 장치에 있어서, 상기 장치는,
    상기 다시점 동영상으로부터 각 시점의 색상 및 깊이 정보를 이용하여 복수의 계층을 포함하는 LDI를 생성하기 위한 수단과,
    상기 LDI 계층 각각에 대하여 선형적 역상관을 수행하기 위한 수단과,
    상기 선형적 역상관이 수행된 상기 LDI 계층 각각에 대하여 데이터 모으기를 수행하기 위한 수단과,
    상기 계층별로 모여진 데이터를 부호화하여 부호화된 LDI 비트스트림을 생성 하기 위한 수단
    을 포함하는 다시점 동영상 데이터 부호화 장치.
  11. 제10항에 있어서, 상기 선형적 역상관 수단은, 상기 각각의 LDI 계층의 모든 화소 각각에 대하여, 이전의 두 화소를 잇는 직선과 현재 화소의 깊이 값 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 최단 거리로 대체하는 다시점 동영상 데이터 부호화 장치.
  12. 제10항에 있어서, 상기 LDI 생성 수단에 의해 LDI 생성시에 발생하는 정보 손실을 보상하기 위해 부호화된 LDI 비트스트림에 기반하여 복원된 다시점 동영상과 원래 다시점 동영상간의 오차 정보를 계산하고 부호화하기 위한 수단을 더 포함하는 다시점 동영상 데이터 부호화 장치.
  13. 제12항에 있어서,
    상기 부호화된 LDI 비트스트림을 복호화하기 위한 수단과,
    상기 LDI 복호화 수단에 의해 복호화된 LDI 데이터에 기반하여 다시점 동영상 데이터를 복원하기 위한 수단과,
    상기 복원된 다시점 동영상 데이터와 원래 다시점 동영상 데이터간의 오차 정보를 계산하고 부호화하기 위한 수단
    을 포함하는 다시점 동영상 부호화 장치.
  14. 부호화된 LDI 비트스트림을 복호화하기 위한 수단과,
    상기 부호화된 LDI 스트림으로부터 복원된 다시점 동영상 데이터와 원래 다시점 동영상 데이터간의 오차 정보의 비트스트림을 복호화하기 위한 수단과,
    상기 복호화된 LDI 비트스트림 및 오차 정보에 기반하여 다시점 동영상 데이터를 복원하기 위한 수단
    을 포함하는 다시점 동영상 데이터 복호화 장치.
  15. 제1항 내지 제7항중 어느 하나의 항에 따른 다시점 동영상 데이터 부호화 방법을 수행하는 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록매체.
  16. 제8항 또는 제9항에 따른 다시점 동영상 데이터 복호화 방법을 수행하는 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록매체.
KR1020050096700A 2004-10-16 2005-10-13 계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치 KR100714068B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20040082927 2004-10-16
KR1020040082927 2004-10-16
KR1020050031715 2005-04-16
KR1020050031715A KR20060045798A (ko) 2004-10-16 2005-04-16 다시점 동영상의 계층적 깊이 영상 부호화를 위한 방법 및장치

Publications (2)

Publication Number Publication Date
KR20060053268A KR20060053268A (ko) 2006-05-19
KR100714068B1 true KR100714068B1 (ko) 2007-05-02

Family

ID=36148536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050096700A KR100714068B1 (ko) 2004-10-16 2005-10-13 계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치

Country Status (3)

Country Link
EP (1) EP1800493A4 (ko)
KR (1) KR100714068B1 (ko)
WO (1) WO2006041261A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964057B2 (en) 2011-05-02 2015-02-24 Samsung Electronics Co., Ltd. Apparatus and method for selective pixel binning

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100780840B1 (ko) * 2006-06-14 2007-11-29 광주과학기술원 다시점 동영상의 계층적 깊이 영상 부호화를 위한 시간적예측 장치 및 방법
PT3758381T (pt) 2007-04-12 2021-04-13 Dolby Int Ab Disposição em mosaico na codificação e descodificação de vídeo
US8953684B2 (en) 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
KR100943634B1 (ko) * 2008-08-07 2010-02-24 한국전자통신연구원 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오콘텐츠 제공 방법 및 장치
EP2328337A4 (en) 2008-09-02 2011-08-10 Huawei Device Co Ltd 3D VIDEO COMMUNICATION, TRANSMISSION DEVICE, SYSTEM AND IMAGE RECONSTRUCTION, SYSTEM
TWI542190B (zh) * 2008-11-04 2016-07-11 皇家飛利浦電子股份有限公司 編碼三維影像信號的方法及系統、經編碼之三維影像信號、解碼三維影像信號的方法及系統
WO2010053332A2 (ko) * 2008-11-10 2010-05-14 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
EP2365694B1 (en) * 2008-11-18 2017-01-04 LG Electronics Inc. Method and apparatus for processing image signal
WO2010085361A2 (en) * 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
JP5722349B2 (ja) 2010-01-29 2015-05-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ブロックに基づくインターリーブ
US8428372B2 (en) * 2010-04-09 2013-04-23 The Boeing Company Method, apparatus and computer program product for compressing data
JPWO2012114975A1 (ja) * 2011-02-24 2014-07-07 ソニー株式会社 画像処理装置および画像処理方法
CN106210722B (zh) * 2016-07-08 2019-06-25 上海大学 基于hevc的分层深度视频残差层数据的编码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
KR20030056997A (ko) * 2001-12-28 2003-07-04 엘지전자 주식회사 스테레오 영상의 압축 방법
KR20040070892A (ko) * 2003-02-05 2004-08-11 삼성전자주식회사 영상 블록 분할 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
KR20030056997A (ko) * 2001-12-28 2003-07-04 엘지전자 주식회사 스테레오 영상의 압축 방법
KR20040070892A (ko) * 2003-02-05 2004-08-11 삼성전자주식회사 영상 블록 분할 방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964057B2 (en) 2011-05-02 2015-02-24 Samsung Electronics Co., Ltd. Apparatus and method for selective pixel binning

Also Published As

Publication number Publication date
EP1800493A1 (en) 2007-06-27
WO2006041261A1 (en) 2006-04-20
KR20060053268A (ko) 2006-05-19
EP1800493A4 (en) 2012-10-10

Similar Documents

Publication Publication Date Title
KR100714068B1 (ko) 계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치
US10972737B2 (en) Layered scene decomposition CODEC system and methods
CN103828359B (zh) 用于产生场景的视图的方法、编码系统以及解码系统
EP3286916A1 (en) Methods and apparatus for full parallax light field display systems
WO2014057988A1 (ja) 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラム、および装置、ならびに、互いに類似した情報を含む複数画像を表現するデータ構造
US20070064275A1 (en) Apparatus and method for compressing images
CN104838648A (zh) 用于创建和重建视频流的装置和方法
WO2017020806A1 (en) A multi-overlay variable support and order kernel-based representation for image deformation and view synthesis
US20150237323A1 (en) 3d video representation using information embedding
KR20060045798A (ko) 다시점 동영상의 계층적 깊이 영상 부호화를 위한 방법 및장치
CN113853796A (zh) 用于体积视频编码和解码的方法、装置和计算机程序产品
CN109937573A (zh) 使用差异预测替换的光场压缩
US10939138B1 (en) Quality control engine for video decompression
CN101977320B (zh) 一种符合多视点视频标准的视频编码方法
CN104904199A (zh) 深度查找表的高效编码方法及装置
US11477429B2 (en) Method for processing immersive video and method for producing immersive video
US20200396485A1 (en) Video encoding method and video decoding method
WO2011094164A1 (en) Image enhancement system using area information
KR20170044028A (ko) 비디오 발췌를 이용하여 이미지의 잡음을 제거하기 위한 방법 및 장치
CN101969565B (zh) 一种符合多视点视频标准的视频解码方法
KR20200111643A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
WO2012128209A1 (ja) 画像符号化装置、画像復号装置、プログラムおよび符号化データ
US11558597B2 (en) Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
EP3767959B1 (en) Device and method for image processing
JP3696104B2 (ja) ステレオ動画像符号化方法および装置と、ステレオ動画像符号化処理用プログラムおよびそのプログラムの記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120330

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee