KR100806201B1

KR100806201B1 - 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체

Info

Publication number: KR100806201B1
Application number: KR1020060105480A
Authority: KR
Inventors: 김성열; 호요성
Original assignee: 광주과학기술원
Priority date: 2006-10-30
Filing date: 2006-10-30
Publication date: 2008-02-22

Abstract

본 발명은 메쉬 기반 표현법을 이용하여 깊이영상을 표현하여 삼차원 비디오의 실시간 렌더링을 가능하게 하고, 깊이영상을 복수의 계층으로 분해하여 삼차원 비디오의 품질 향상 및 품질 조절을 가능하게 하며, 깊이값에 관계없이 깊이영상이 일정한 위치정보를 가지도록 하여 삼차원 비디오의 신호처리를 가능하게 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법, 이를 위한 장치, 및 그 시스템과 기록 매체에 관한 것이다.

본 발명은, 깊이영상을 이용하여 삼차원 비디오를 생성하는 방법에 있어서, 깊이영상 취득부(710)가 삼차원 객체로부터 깊이영상을 취득하면, 깊이영상 처리부(720)가 이로부터 노이즈를 제거한 후 바탕이 되는 규칙메쉬 계층 영상(212), 삼차원 객체의 경계 영역을 표시하는 경계 계층 영상(214) 및 두 영상(212, 214)의 위치 또는 모드를 결정하는 계층의 수 영상(230)으로 분해하는 단계를 구비하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법을 제공한다.

본 발명에 의하면, 깊이영상을 규칙메쉬 계층 영상, 경계 계층 영상, 특징점 계층 영상 및 계층의 수 영상으로, 포괄적으로는 기본계층 영상과 향상계층 영상으로 분해하여 고품질의 삼차원 비디오를 제공하며, 복잡한 삼차원 비디오도 용이하게 표현하는 효과가 있다.

깊이영상, 계층 분해, 삼차원 비디오, 실시간 렌더링, DIBR

Description

깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법, 이를 위한 장치, 및 그 시스템과 기록 매체 {Generating Method for Three-dimensional Video Formation Using Hierarchical Decomposition of Depth Image, and Device for The Same, and System and Storage Medium Therefor}

도 1a 내지 도 1c는 종래의 메쉬 기반 표현법을 이용하여 삼차원 비디오를 표현하는 방법을 설명하기 위한 도면들,

도 2는 본 발명의 바람직한 실시예에 따른 깊이영상의 계층적 분해를 나타낸 개념도,

도 3은 본 발명의 바람직한 실시예에 따른 깊이영상으로부터 규칙메쉬 계층 영상을 생성하는 방법을 설명하기 위한 도면,

도 4a 및 도 4g는 본 발명의 바람직한 실시예에 따른 깊이영상으로부터 경계 계층 영상을 생성하는 방법을 설명하기 위한 도면,

도 5a 내지 도 5c는 본 발명의 바람직한 실시예에 따른 깊이영상으로부터 특징점 계층 영상을 생성하는 방법을 설명하기 위한 도면,

도 6a 및 도 6d는 본 발명의 바람직한 실시예에 따른 깊이영상으로부터 계층의 수 영상을 생성하는 방법을 설명하기 위한 도면,

도 7은 본 발명의 바람직한 실시예에 따른 삼차원 비디오 전송 시스템의 블 록도,

도 8은 본 발명의 바람직한 실시예에 따른 삼차원 비디오 전송 시스템의 운용 방법을 도시한 순서도이다.

<도면의 주요 부분에 대한 부호의 설명>

200 : 깊이영상 210 : 기본계층 영상

212 : 규칙메쉬 계층 영상 214 : 경계 계층 영상

220 : 향상계층 영상 222 : 특징점 계층 영상

230 : 계층의 수 영상 300 : 그리드 셀

700 : 삼차원 비디오 생성 시스템 710 : 깊이영상 취득부

720 : 깊이영상 처리부 730 : 부호화부

740 : 통신부 750 : 복호화부

760 : 삼차원 비디오 처리부 770 : 디스플레이부

본 발명은 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법, 이를 위한 장치, 및 그 시스템과 기록 매체에 관한 것이다. 보다 상세하게는, 메쉬 기반 표현법(Mesh-Based Representation)을 이용하여 깊이영상을 표현하여 삼차원 비디오의 실시간 렌더링(Real-Time Rendering)을 가능하게 하고, 깊이영상을 복수의 계층으로 분해하여 삼차원 비디오의 품질 향상 및 품질 조절을 가능하게 하며, 깊이 값에 관계없이 깊이영상이 일정한 위치정보를 가지도록 하여 삼차원 비디오의 신호처리를 가능하게 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법, 이를 위한 장치, 및 그 시스템과 기록 매체에 관한 것이다.

삼차원 비디오 처리기술은 차세대 정보통신 서비스 분야의 핵심기술로서, 정보산업 사회로의 발달과 더불어 수요 및 기술개발 경쟁이 치열한 최첨단 기술이다. 이러한 삼차원 비디오 처리기술은 멀티미디어 응용에서 고품질의 영상 서비스를 제공하기 위해 필수적인 요소인데, 오늘날에는 이러한 정보통신 분야 뿐만 아니라 방송, 의료, 교육(또는 훈련), 군사, 게임, 애니메이션, 가상현실 등 그 응용 분야가 매우 다양화되고 있다. 게다가, 삼차원 비디오 처리기술은 여러 분야에서 공통적으로 요구하는 차세대 실감 삼차원 입체 멀티미디어 정보통신의 핵심 기반기술로도 자리잡아 선진국을 중심으로 이에 대한 연구가 활발히 진행되고 있다.

일반적으로 삼차원 비디오는 다음과 같이 두가지 관점에서 정의내릴 수 있다. 첫번째로, 삼차원 비디오는 영상에 깊이에 대한 정보를 적용시켜 영상의 일부가 화면으로부터 돌출되는 느낌을 사용자가 느낄 수 있도록 구성되는 비디오로 정의할 수 있다. 두번째로, 삼차원 비디오는 사용자에게 다양한 시점을 제공하여 이로부터 사용자가 영상에서 현실감(즉, 입체감)을 느낄 수 있도록 구성되는 비디오로 정의할 수 있다. 이러한 삼차원 비디오는 획득 방식, 깊이감(Depth Impression), 디스플레이 방식 등에 따라 양안식, 다안식, IP(Integral Photography), 다시점(옴니(Omni), 파노라마(Panorama)), 홀로그램 등으로 분류할 수 있다. 그리고, 이러한 삼차원 비디오를 표현하는 방법으로는 크게 영상 기반 표 현법(Image-Based Reconstruction)과 메쉬 기반 표현법이 있다.

그런데, 최근 들어 이러한 삼차원 비디오를 깊이영상(Depth Image(or Depth Map))과 텍스처 영상(Texture Image(or Color Image))을 이용하여 표현하는 깊이영상 기반 렌더링(DIBR; Depth Image-Based Rendering)이 각광을 받고 있다. 깊이영상 기반 렌더링은 관련된 각 화소마다 깊이나 차이각 등의 정보를 가진 참조 영상들을 이용하여 다른 시점에서의 장면들을 창출하는 방법을 말한다.

이러한 깊이영상 기반 렌더링을 실현하기 위해 보편적으로 사용되는 영상 기반 표현법은 여러 시점에서의 깊이영상을 이용하여 삼차원 공간의 임의 시점에서 본 영상을 생성하는 방법을 말한다. 이러한 영상 기반 표현법을 이용하면 삼차원 모델의 표현하기 어렵고 복잡한 형상도 용이하게 렌더링할 수 있게 된다. 또한, 깊이영상에 존재하는 모든 깊이값을 사용하기 때문에 고품질의 삼차원 비디오를 생성하는 것이 가능하게 된다. 또한, 깊이영상을 이차원 영상으로 간주하여 삼차원 비디오를 표현하기 때문에 일반적인 영상 필터링(Filtering)과 같은 신호처리 방법을 적용하는 것이 가능하게 된다.

그러나, 이러한 종래의 영상 기반 표현법은 삼차원 정보를 얻기 위해(즉, 깊이를 표현하기 위해) 본 영상 외에 복수의 참조 영상을 요구한다. 특히, 복잡한 삼차원 정보를 획득하고자 하는 경우에는 더 많은 참조 영상을 요구하게 된다. 이로 인하여 데이터의 용량이 매우 크게 되어 렌더링시 그 속도가 저하되어 삼차원 비디오의 실시간 렌더링에는 적합하지 않게 된다.

또한, 종래의 영상 기반 표현법은 사용자의 삼차원 객체를 바라보는 시각에 따라서 중첩되는 데이터를 고려하지 않고 그대로 렌더링을 수행한다. 이도 또한, 렌더링 속도를 저하시키는 요인이 되며, 오히려 삼차원 비디오의 품질을 떨어뜨리는 문제점을 노출시키기도 한다.

최근에는 이러한 문제점들을 해결하기 위해 하나의 참조 영상만을 요구하는 그림 속의 여행 기법(TIP; Tour Into the Picture)이 제안되기도 하였다. 그러나, 이 기법은 영상 하나에 하나의 소실점만 존재한다는 가정을 바탕으로 하기 때문에 복수의 소실점이 존재하거나 소실점이 나타나지 않게 되면 곤란하게 되며, 오히려 많은 수정 작업을 요구하게 되는 난점(難點)을 발생시킨다.

반면, 메쉬 기반 표현법은 삼차원 렌더링 가속기(Graphic Accelerator)를 사용하기 때문에 삼차원 비디오를 실시간으로 렌더링할 수 있는 장점을 가지고 있다. 그러나, 이러한 종래의 메쉬 기반 표현법은 메쉬 정보의 불규칙성(즉, 깊이값에 따라 메쉬의 위치정보가 변동됨)으로 인하여 신호처리 방법을 적용하는 것이 곤란하다. 이를 도면을 참조하여 보다 상세하게 설명하면 다음과 같다.

도 1a 내지 도 1c는 종래의 메쉬 기반 표현법을 이용하여 삼차원 비디오를 표현하는 방법을 설명하기 위한 도면들이다. 먼저, 도 1a를 참조하여 특정 메쉬가 깊이값에 따라 그 위치가 어떻게 변동되는지를 설명하면 다음과 같다. 도 1a 좌측의 이차원 영상(100)에 구비되는 메쉬들을 각각 제1 메쉬(110), 제2 메쉬(112), 제3 메쉬(114) 및 제4 메쉬(116)라고 하자. 이를 좌표를 통하여 표시하면 제1 메쉬(110) 내지 제4 메쉬(116)의 위치정보는 도 1a 우측 상단의 좌표에 나타난 바와 같다. 즉, 제1 메쉬(110) 내지 제4 메쉬(116)의 위치정보는 각각 (a, b), (a+1, b), (a+1, b-1) 및 (a, b-1)가 된다.

한편, 제1 메쉬(110) 내지 제4 메쉬(116)에 부여되는 깊이값을 각각 D(a, b), D(a+1, b), D(a+1, b-1) 및 D(a, b-1)라고 하자. 이차원 영상(100)에 구비되는 각각의 메쉬들에 이러한 깊이값이 부여되면 도 1b에서 보는 바와 같이 삼차원 표면(3D Surface; 120)을 생성하는 것이 가능하게 된다. 그러면, 이러한 삼차원 표면(120)에 텍스처 영상을 매핑(Mapping)하여 도 1c에서 보는 바와 같은 삼차원 비디오(130)를 렌더링할 수 있게 된다.

제1 메쉬(110) 내지 제4 메쉬(116)에 깊이값이 부여되면 제1 메쉬(110) 내지 제4 메쉬(116)의 삼차원 정보를 획득할 수 있게 된다. 제1 메쉬(110) 내지 제4 메쉬(116)의 삼차원 정보는 도 1a 우측 하단의 좌표에서 보는 바와 같이 각각 {a, b, D(a, b)}, {a+1, b, D(a+1, b)}, {a+1, b-1, D(a+1, b-1)} 및 {a, b-1, D(a, b-1)}로 나타낼 수 있다.

그런데, 도 1a에 나타난 바와 같이 제1 메쉬(110) 내지 제4 메쉬(116)에 깊이값이 부여되면 제1 메쉬(110) 내지 제4 메쉬(116)의 위치는 변동된다. 이와 같이 깊이값에 따른 메쉬의 위치 변동으로 인해(즉, 매 프레임(Frame)마다 메쉬와 메쉬를 연결하는 정보인 연결성 정보가 다르기 때문에) 메쉬 기반 표현법에 의해 제작되는 삼차원 비디오는 신호처리 방법을 적용하는 것이 어렵다.

뿐만 아니라, 종래의 메쉬 기반 표현법을 이용하게 되면 삼차원 표면의 특정 부분(예컨대, 도 1b의 도면부호 122가 표시하는 부분)에 다수의 메쉬가 밀집되어 몇몇 메쉬가 서로 중첩(重疊)되거나, 메쉬들을 상호 연결하는 연결성 정보가 크로 스(Cross)되는 경우가 발생하기도 한다. 이로 인하여 종래의 메쉬 기반 표현법으로는 복잡한 삼차원 비디오를 제대로 표현하는 것이 불가능하였다. 이를 해결하기 위한 방법으로 메쉬 단순화가 제안되기도 하였으나, 이는 복잡한 알고리즘의 수행을 요구할 뿐만 아니라 편집시 수반되는 작업량이 상당하여 많은 불편을 초래하였다.

또한, 종래의 메쉬 기반 표현법은 렌더링되는 삼차원 모델의 표면 광택, 시선 방향에 따른 음영의 변화 등 물체의 고유한 표면성질을 제대로 표현하지 못하여 현실감이 다소 떨어지는 문제점도 있었다. 또한, 영상의 부호화 측면에서 볼 때 이차원 비디오 부호기(예컨대, MPEG-1, MPEG-2, MPEG-4, H.264 등)의 적용이 불가하여 삼차원 비디오 부호기(예컨대, 3D Mesh Coder, 3DMC 등)를 사용해야 하는 불편도 따랐다.

상기와 같은 문제점을 해결하기 위하여 본 발명은, 메쉬 기반 표현법을 이용하여 깊이영상을 표현하여 삼차원 비디오의 실시간 렌더링을 가능하게 하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법, 이를 위한 장치, 및 그 시스템과 기록 매체를 제공함을 그 목적으로 한다.

또한, 본 발명은, 깊이영상을 규칙메쉬 계층(Regular Mesh Layer) 영상, 경계 계층(Boundary Layer) 영상, 특징점 계층(Feature Point Layer) 영상 및 계층의 수(NOL; Number Of Layer) 영상으로, 포괄적으로는 기본계층(Base Layer) 영상과 향상계층(Enhancement Layer) 영상으로 분해하여 고품질의 삼차원 비디오를 제공하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방 법, 이를 위한 장치, 및 그 시스템과 기록 매체를 제공함을 그 목적으로 한다.

또한, 본 발명은, 상기와 같은 깊이영상의 계층적 분해를 통하여 삼차원 비디오 구성시 품질 계위성(Quality Scalability)을 제공하는 것은 물론, 복잡한 삼차원 비디오도 용이하게 표현하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법, 이를 위한 장치, 및 그 시스템과 기록 매체를 제공함을 그 목적으로 한다.

또한, 본 발명은, 깊이영상이 깊이값에 관계없이 일정한 위치정보를 가지게 되어 삼차원 비디오의 신호처리를 가능하게 하며, 깊이영상을 일정 크기의 그리드 셀로 분할하여 이를 메쉬로써 이용하여 알고리즘의 단순화 및 편집 작업량의 감소를 실현시키는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법, 이를 위한 장치, 및 그 시스템과 기록 매체를 제공함을 그 목적으로 한다.

상기한 목적을 달성하기 위해 본 발명은, 깊이영상을 이용하여 삼차원 비디오를 생성하는 방법에 있어서, 깊이영상 취득부(710)가 삼차원 객체로부터 상기 깊이영상을 취득하면, 깊이영상 처리부(720)가 이로부터 노이즈를 제거한 후 바탕이 되는 규칙메쉬 계층 영상(212), 상기 삼차원 객체의 경계 영역을 표시하는 경계 계층 영상(214) 및 상기 두 영상(212, 214)의 위치 또는 모드를 결정하는 계층의 수 영상(230)으로 분해하는 단계를 구비하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법을 제공한다.

구체적으로, 상기 깊이영상 취득부(710)가 취득하는 상기 깊이영상은, 수평방향 샘플링 비율(p)과 수직방향 샘플링 비율(q)의 곱으로 이루어진 단위셀인 그리드 셀의 크기(p×q)에 따라 분해되는 것을 특징으로 한다.

보다 구체적으로, 상기 깊이영상 처리부(720)가 생성하는 상기 규칙메쉬 계층 영상(212), 상기 경계 계층 영상(214) 및 상기 계층의 수 영상(230)은, 상기 깊이영상의 해상도가 W×H일 때 상기 그리드 셀의 크기에 의해 일정 해상도(

)를 가지도록 샘플링되는 것을 특징으로 한다.

보다 구체적으로, 상기 깊이영상 처리부(720)가 생성하는 상기 규칙메쉬 계층 영상(212)은, i와 j가 상기 깊이영상에 구비되는 그리드 셀의 위치정보이고, x와 y가 상기 규칙메쉬 계층 영상(212)에 구비되는 그리드 셀의 위치정보이며, N이 상기 깊이영상에 구비되는 상기 그리드 셀의 전체 갯수이고,

이 상기 깊이영상의 깊이값일 때,

(

)으로 정의되는 것을 특징으로 한다.

구체적으로, 상기 깊이영상 처리부(720)가 생성하는 상기 경계 계층 영상(214)은, 상기 경계 영역을 쿼드트리 구조를 이용하여 표현하는 것을 특징으로 한다.

구체적으로, 상기 깊이영상 처리부(720)는, 상기 경계 계층 영상(214)이 제 공하는 상기 삼차원 비디오의 품질을 향상시키는 특징점 계층 영상(222)을 상기 깊이영상으로부터 분해하는 단계를 추가로 구비하는 것을 특징으로 한다.

보다 구체적으로, 상기 깊이영상 처리부(720)가 생성하는 상기 특징점 계층 영상(222)은, 구비되는 그리드 셀에 형성되는 특징점이 상기 규칙메쉬 계층 영상(212), 상기 경계 계층 영상(214) 및 다른 특징점 계층 영상(222)에 구비되는 그리드 셀에 형성되는 특징점과 그 위치가 중첩되지 않는 것이 바람직하다.

구체적으로, 상기 깊이영상 처리부(720)는, (a) 상기 깊이영상 처리부(720)가 상기 깊이영상에 구비되는 특정 그리드 셀로부터 상기 규칙메쉬 계층 영상(212) 및 상기 경계 계층 영상(214)에 구비되는 그리드 셀의 특징점을 추출하는 단계; (b) 상기 깊이영상 처리부(720)가 상기 특징점을 하나의 그리드 셀에 집합시켜 상기 특정 그리드 셀에서의 제1 모 픽셀 세트를 생성하는 단계; (c) 상기 깊이영상 처리부(720)가 상기 특정 그리드 셀에 나열된 특징점을 상기 제1 모 픽셀 세트에 나열된 특징점과 비교하여 상기 제1 모 픽셀 세트에는 존재하지 않는 특징점이 있는지 여부를 판단하는 단계; (d) 상기 제1 모 픽셀 세트에 존재하지 않는 특징점이 있으면, 상기 깊이영상 처리부(720)가 이를 반영하여 제2 모 픽셀 세트를 생성하며, 이후 상기 (c) 단계를 다시 수행하는 단계; 및 (e) 상기 제1 모 픽셀 세트에 존재하지 않는 특징점이 없으면, 상기 깊이영상 처리부(720)가 상기 깊이영상의 각각의 그리드 셀에서 추출된 n(자연수)번째 특징점을 하나로 묶어 n번째 특징점 계층 영상(222)을 생성하는 단계를 이용하여 상기 특징점 계층 영상(222)에서의 상기 특징점을 추출하는 것을 특징으로 한다.

구체적으로, 상기 깊이영상 취득부(710)에 의해 의해 취득되는 상기 깊이영상 및 텍스처 영상은, (a1) 상기 깊이영상 취득부(710)가 상기 깊이영상을 취득한 후, 스테레오 매칭방법을 이용하여 상기 깊이영상의 깊이값을 보정하는 단계; (b1) 상기 깊이영상 처리부(720)가 상기 텍스처 영상을 영상크기 변환시키는 단계; (c1) 상기 깊이영상 처리부(720)가 분해된 영상들(212, 214, 222, 230) 및 상기 텍스처 영상을 컬러공간 변환시키는 단계; 및 (d1) 부호화부(730)가 상기 컬러공간 변환된 영상을 부호화시킨 후, 이를 통신부(740)를 통하여 전달하는 단계를 통하여 송수신되는 것을 특징으로 한다.

보다 구체적으로, 상기 깊이영상 처리부(720)에 의해 분해된 상기 영상들(212, 214, 222, 230) 및 상기 텍스처 영상은, (a2) 복호화부(750)가 상기 통신부(740)를 통해 전달된 영상 신호를 복호화시키는 단계; (b2) 삼차원 비디오 처리부(760)가 상기 복호화된 영상을 역 컬러공간변환시켜 상기 분해된 영상들(212, 214, 222, 230) 및 상기 텍스처 영상을 획득하며, 이를 이용하여 상기 삼차원 비디오를 렌더링하는 단계; 및 (c2) 디스플레이부(770)가 상기 삼차원 비디오를 표시하는 단계를 통하여 상기 삼차원 비디오로 표현되는 것을 특징으로 한다.

보다 구체적으로, 상기 깊이영상 처리부(720)에 의해 분해된 상기 영상들(212, 214, 222, 230)은, 메쉬 구조를 사용하는 메쉬 기반 표현법을 이용하여 상기 삼차원 비디오로 렌더링되는 것을 특징으로 한다.

또한, 본 발명은, 깊이영상을 이용하여 삼차원 비디오를 생성하는 장치에 있어서, 영상 필터를 이용하여 취득된 상기 깊이영상의 노이즈를 제거한 후, 상기 삼 차원 비디오 생성시 이의 품질에 계위성을 제공할 수 있도록 상기 깊이영상을 복수의 영상으로 분해하며, 이후 분해된 영상들 및 영상크기변환된 상기 텍스처 영상을 일정 포맷의 영상으로 컬러공간변환하는 깊이영상 처리부(720)를 포함하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치를 제공한다.

구체적으로, 상기 깊이영상 처리부(720)는, 상기 영상 필터로 컨벌루션 마스크를 이용하는 필터, 특정 알고리즘을 이용하는 필터 및 가우시안 필터 중 어느 하나를 이용하는 것을 특징으로 한다.

구체적으로, 상기 깊이영상 처리부(720)는, 상기 깊이영상을 상기 삼차원 비디오에 최소한의 품질을 제공하는 기본계층 영상(210) 및 상기 기본계층 영상(210)을 구성하는 요소들의 위치나 모드를 결정하는 계층의 수 영상(230)으로 분해하는 것을 특징으로 한다.

보다 구체적으로, 상기 깊이영상 처리부(720)는, 상기 깊이영상을 상기 삼차원 비디오의 상기 품질을 향상시키는 향상계층 영상(220)으로 추가 분해하는 것을 특징으로 한다.

보다 구체적으로, 상기 기본계층 영상(210)은, 상기 깊이영상을 상기 그리드 셀의 크기에 따라 다운 샘플링하여 취득되는 규칙메쉬 계층 영상(212); 및 상기 규칙메쉬 계층 영상(212)의 경계 영역을 표시하는 경계 계층 영상(214)을 구비하는 것을 특징으로 한다. 또한, 상기 향상계층 영상(220)은, 상기 깊이영상의 상기 품질에 영향력 있는 특징점들이 집합하여 이루어지는 특징점 계층 영상(222)을 하나 이상 구비하는 것을 특징으로 한다.

보다 구체적으로, 상기 깊이영상 처리부(720)가 생성하는 상기 특징점 계층 영상(222)은, 변량의 아는 값을 이용하여 그 사이에 놓일 값을 근사치로 계산하는 보간 방법을 이용하여 상기 기본계층 영상(210) 위에 표현되는 것을 특징으로 한다.

또한, 본 발명은, 깊이영상을 이용하여 생성되는 삼차원 비디오를 전송하는 시스템에 있어서, 깊이 카메라(712) 및 멀티뷰 카메라(714)를 이용하여 상기 깊이영상 및 텍스처 영상을 취득하는 깊이영상 취득부(710); 컨벌루션 마스크를 이용하는 필터 또는 특정 알고리즘을 이용하는 필터를 이용하여 상기 깊이영상의 노이즈를 제거한 후, 상기 삼차원 비디오 생성시 이의 품질에 계위성을 제공할 수 있도록 상기 깊이영상을 복수의 영상으로 분해하며, 이후 분해된 영상들 및 영상크기변환된 상기 텍스처 영상을 일정 포맷의 영상으로 컬러공간변환하는 깊이영상 처리부(720); 및 상기 컬러공간변환된 영상을 인코더(732) 및 멀티플렉서(734)를 이용하여 부호화시킨 후 이를 통신 기능을 하는 통신부(740)를 통하여 전달하는 부호화부(730)를 구비하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 전송 시스템을 제공한다.

구체적으로, 상기 삼차원 비디오 전송 시스템은, 상기 부호화부(730)로부터 전달된 영상 신호를 디코더(752)와 디멀티플렉서(754)를 이용하여 복호화시키는 복호화부(750); 상기 복호화된 영상을 역 컬러공간변환시켜 상기 분해된 영상들 및 상기 텍스처 영상을 획득하며, 이들을 이용하여 상기 삼차원 비디오를 렌더링하는 삼차원 비디오 처리부(760); 및 상기 삼차원 비디오를 표시하는 디스플레이부(770)를 추가로 구비하는 것을 특징으로 한다.

또한, 본 발명은, 깊이영상을 이용하여 생성되는 삼차원 비디오를 저장하는 매체에 있어서, 상술한 방법에 따라 생성되는 상기 삼차원 비디오를 기록하며, 컴퓨터로 읽을 수 있는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 기록 매체를 제공한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

본 발명은 다음과 같이 크게 2가지 특징을 가지고 있다. 첫째, 본 발명은 깊이영상으로부터 메쉬 기반 표현법을 이용하여 삼차원 비디오를 생성하기 때문에 삼차원 비디오의 실시간 렌더링을 가능하게 한다. 둘째, 본 발명은 깊이영상을 규칙메쉬 계층 영상, 경계 계층 영상, 특징점 계층 영상 및 계층의 수 영상으로 분해하 여 이를 메쉬로써 이용하기 때문에 종래 메쉬 기반 표현법의 단점인 메쉬 정보의 불규칙성을 해결하는 것이 가능하게 된다. 게다가, 이를 통해 이차원 비디오 부호기를 이용한 영상의 부호화도 가능하게 된다. 이하에서는 이를 보다 구체적으로 설명하기로 한다.

도 2는 본 발명의 바람직한 실시예에 따른 깊이영상의 계층적 분해를 나타낸 개념도이다. 상기 도 2에 도시한 바에 따르면, 본 발명의 바람직한 실시예에 따른 깊이영상(200)은 계층적 분해를 통하여 상기 깊이영상(200)의 최소한의 품질을 나타내는 계층 영상인 기본계층 영상(210), 상기 깊이영상(200)의 품질을 향상시키는 기능을 하는 계층 영상인 향상계층 영상(220) 및 상기 기본계층 영상(210)과 상기 향상계층 영상(220)의 전체 갯수를 표시하는 기능을 하는 계층의 수(NOL; Number Of Layer) 영상(230)으로 분할되는 것을 특징으로 한다. 보다 구체적으로, 본 발명의 바람직한 실시예에 따른 깊이영상은 규칙메쉬 계층(Regular Mesh Layer) 영상(212), 경계 계층(Boundary Layer) 영상(214), 특징점 계층(Feature Point Layer) 영상(222) 및 계층의 수 영상(230)으로 세분할되는 것을 특징으로 한다.

본 발명에 따른 기본계층 영상(210)은 규칙메쉬 계층 영상(212)과 경계 계층 영상(214)을 구비한다.

규칙메쉬 계층 영상(212)은 카메라 파라미터(Camera Parameter)를 통하여 취득한 깊이영상(200)을 계층 분해하는 경우 생성되는 영상으로, 바탕이 되는 기본영상을 말한다. 여기에서, 카메라 파라미터는 예컨대, S.M.Kim, J.Cha, J.Ryu 및 K.H.Lee가 'IEICE Transactions on Information and Systems, vol. E89-D, pp37- 44, 2006'에 발표한 "Depth Video Enhancement of Haptic Interaction Using a Smooth Surface Reconstruction"에 나타난 바가 이용될 수 있다.

경계 계층 영상(214)은 규칙메쉬 계층 영상(212)에 최소한의 품질을 제공하는 기능을 하는 영상을 말한다. 이를 위해 경계 계층 영상(214)에는 깊이영상(200)에 나타난 사람이나 사물의 형태를 용이하게 구별할 수 있도록 사람이나 사물의 윤곽선이 표현된다.

특징점 계층 영상(222)은 경계 계층 영상(214)이 제공하는 품질을 향상시키는 기능을 하는 영상을 말한다. 이러한 특징점 계층 영상(222)은 깊이영상(200)에 나타난 사람이나 사물의 현재 상태를 보다 구체적으로 표현하기 위해 일련의 점들의 집합으로 이루어진다. 이러한 특징점 계층 영상(222)을 이용하게 되면 예컨대, 얼굴에 형성된 점이나 잔주름, 눈동자의 크기, 광대뼈의 돌출 상태 등 세부적인 표현이 가능하게 되어 특정인이 누구인지를 명확하게 파악하는 것이 가능하게 된다. 반면, 특징점 계층 영상(222)의 반영 없이 경계 계층 영상(214)만을 이용하게 되면, 이러한 세부적인 표현이 불가하여 특정인이 누구인지를 명확하게 파악하는 것이 용이하지 않게 된다.

이와 같이 깊이영상(200)을 계층 분해하게 되면 삼차원 비디오의 품질을 조절하는 것이 가능하게 된다. 또한, 삼차원 비디오를 표시하는 디스플레이 창의 크기나 사용자의 요구에 따라 삼차원 비디오의 품질을 조절할 수 있게 된다. 예컨대, 휴대폰이나 PDA와 같이 작은 디스플레이 창을 구비하는 단말기에는 규칙메쉬 계층 영상(212) 및 경계 계층 영상(214)을 이용하여 이에 적절한 품질의 삼차원 비디오 를 제공하는 것이 가능하게 된다. 또한, LCD나 PDP와 같이 크기가 큰 디스플레이 창을 구비하여 세심한 표현이 요구되는 기기에는 규칙메쉬 계층 영상(212), 경계 계층 영상(214) 및 특징점 계층 영상(222)을 이용하여 고품질의 삼차원 비디오를 제공하는 것이 가능하게 된다.

본 발명에 따른 향상계층 영상(220)은 이러한 특징점 계층 영상(222)들의 집합으로 구성된다. 통상 향상계층 영상(220)에는 복수개의 특징점 계층 영상(222)이 구비되나, 본 발명의 실시에 있어서 하나의 특징점 계층 영상(222)이 구비되는 것도 가능하다.

계층의 수 영상(230)은 깊이영상(200)이 분해되어 형성한 계층의 수를 나타내는 영상을 말한다.

이하에서는, 깊이영상(200)을 분해시 생성되는 본 발명에 따른 각각의 영상들(212, 214, 222, 230)을 도면을 참조하여 보다 상세하게 설명하기로 한다.

도 3은 본 발명의 바람직한 실시예에 따른 깊이영상으로부터 규칙메쉬 계층 영상을 생성하는 방법을 설명하기 위한 도면이다. 먼저, 카메라 파라미터를 통하여 취득되는 깊이영상(200)을 수학식을 이용하여 정의하면 다음과 같다.

여기에서, i와 j는 깊이영상(200)에 구비되는 특정 메쉬의 위치정보(또는, 깊이영상(200)에 구비되는 특정 그리드 셀(이는 아래에서 구체적으로 설명할 것임)의 위치정보)를 나타낸다. 또한, D(i, j)는 위치정보가 (i, j)인 메쉬의 깊이값을, N은 깊이영상(200)에 구비되는 메쉬의 전체 갯수(또는, 깊이영상(200)에 구비되는 그리드 셀의 전체 갯수)를, W와 H는 위치정보의 최대 변이, 즉 해상도를 각각 나타낸다. 그리고,

는 위치정보를 가지는 메쉬들의 집합으로 형성되는 깊이영상을 나타낸다. 상기에서, 깊이값은 통상 픽셀값으로부터 획득할 수 있다. 이는 본 발명에서 전범위적으로 적용되는 것이기도 하다.

다음으로, 상기한 깊이영상(200)에서 분해되는 규칙메쉬 계층 영상(212)에 대해 설명한다.

본 발명의 바람직한 실시예에 따른 규칙메쉬 계층 영상(212)은 깊이영상(200)을 샘플링 비율(Sampling Rate)에 따라 분할한 다음 이를 다운 샘플링(Down-Sampling)하여 취득되는 이차원 영상이다. 여기에서, 샘플링 비율은 수평방향 샘플링 비율과 수직방향 샘플링 비율을 고려할 수 있다. 이하, 도 3을 참조하여 설명하면 다음과 같다.

수평방향 샘플링 비율을 p, 수직방향 샘플링 비율을 q라고 하면, p×q 사이즈(Size)의 단위 셀을 획득할 수 있다. 본 발명에서는 이를 그리드 셀(Grid Cell; 300)로 정의한다. 본 발명에서 그리드 셀(300)의 크기는 2^m×2ⁿ 해상도(Resolution)로 나타낼 수 있다. 예컨대, 그리드 셀(300)의 크기는 16×16 해상도, 8×8 해상도, 16×8 해상도 등이 될 수 있겠다. 그런데, 본 발명의 실시예에서 깊이영 상(200)으로부터 분해되는 규칙메쉬 계층 영상(212), 경계 계층 영상(214), 특징점 계층 영상(222) 및 계층의 수 영상(230)이 디스플레이 기기에 제대로 표현되기 위해서는 동일한 크기를 유지하는 것이 바람직하다. 즉, 본 발명에서는 깊이영상(200)에서 분해되는 모든 영상(212, 214, 222, 230)에 구비되는 그리드 셀(300)의 크기가 항상 일정하게 유지됨이 바람직하다.

깊이영상(200)을 그리드 셀(300)의 크기에 따라 분할하게 되면 도 3 우측 상단에서 보는 바와 같이 규칙메쉬 계층 영상(212)에 구비되는 그리드 셀(이하, 이를 제1 그리드 셀(310)이라 칭함)을 획득하는 것이 가능하게 된다. 이러한 제1 그리드 셀(310)은 본 발명의 실시예에서 4개의 꼭지점 정보(312)(즉, 꼭지점 위치에서의 픽셀값)를 가지는 것을 특징으로 한다. 그러면, 제1 그리드 셀(310)은 4개의 꼭지점 정보(312)로부터 그 위치를 파악하는 것이 가능하게 된다. 보통 제1 그리드 셀(310)은 샘플링 비율에 따라 규칙메쉬 계층 영상(212)에 복수개가 구비된다. 따라서, 이들의 배열이 제대로 이루어지기 위해서는 각각의 제1 그리드 셀(310)의 위치를 파악하는 것이 바람직하다.

한편, 본 발명의 실시예에서 제1 그리드 셀(310)은 규칙메쉬 계층 영상(212)에 1개만 구비되는 것도 가능하다. 또한, 제1 그리드 셀(310)은 꼭지점 정보(312)를 4개 이외의 갯수만큼 가지는 것도 가능하다. 예컨대, 제1 그리드 셀(310)이 삼각형 형태인 경우 꼭지점 정보(312)는 3개가 될 수 있다. 즉, 본 발명에 따른 제1 그리드 셀(310)은 그 위치를 용이하게 파악하는 것이 가능하도록 적절한 갯수의 꼭지점 정보(312)가 구비되는 것이 바람직하다.

그런데, 제1 그리드 셀(310)은 다운 샘플링을 통하여 도 3 우측 하단에서 보는 바와 같이 4개의 꼭지점 정보(312)만을 가지도록 하여 그 크기가 축소된다. 즉, 상기에서 언급한 바와 같이 규칙메쉬 계층 영상(212)은 본 발명의 실시예에서 샘플링 비율에 의해 분할된 다음 다운 샘플링되어 그 크기가 축소된다. 이를 수식을 이용하여 정의하면 다음과 같다. 깊이영상(200)의 해상도를 W×H라고 하고, 그리드 셀(300)의 크기를 p×q라고 하면, 규칙메쉬 계층 영상(212)의 크기는

로 나타낼 수 있다. 예컨대, 깊이영상(200)의 해상도가 1024×768이고 그리드 셀(300)의 크기가 16×16이면, 본 발명에 따른 규칙메쉬 계층 영상(212)은 65×49의 크기를 가지게 된다. 이와 같이 규칙메쉬 계층 영상(212)은 깊이영상(200)에 비해 크기가 상당히 축소된다. 그러면, 규칙메쉬 계층 영상(212)은 그 데이터 용량의 감소로 인해 디스플레이 기기로의 원활한 전송이 가능하게 되며, 삼차원 비디오로의 렌더링시 그 전송속도의 향상으로 실시간 렌더링도 가능하게 된다.

이러한 규칙메쉬 계층 영상(212)을 상기 샘플링 비율(p, q)을 이용하여 수학식으로 정의하면 다음과 같다.

여기에서, x와 y는 규칙메쉬 계층 영상(212)에 구비되는 특정 제1 그리드 셀(310)의 위치정보를 나타낸다. 그리고,

는 위치정보를 가지는 그리드 셀들의 집합으로 형성되는 규칙메쉬 계층 영상을 나타낸다.

한편, 삼차원 모델의 위상(Topology)을 나타내는 연결성 정보(Connectivity Information)와 삼차원 모델의 꼭지점 좌표를 나타내는 기하학 정보(Geometry Information)로 구성되는 통상의 삼차원 메쉬 정보를 이용하여 본 발명에 따른 규칙메쉬 계층 영상(212)을 생성하는 것도 가능하다. 이러한 경우에는 삼차원 비디오의 실시간 렌더링을 위해 더 많은 정보량을 가진 기하학 정보의 압축률을 향상시켜야 한다는 데에 주의를 기울여야 한다. 이때에는 예컨대, Z. Karni와 C. Gotsman이 2001년 'Proceedings of Graphics Interface, pp.1-8'에 발표한 "3D mesh compression using fixed spectral basis"에 제안된 바와 같이 모든 메쉬의 위상을 차수가 6인 규칙메쉬로 가정하여 기저를 생성하고, 이를 통해 메쉬의 기하학 정보를 향상시키는 것이 바람직하다.

다음으로, 경계 계층 영상(214)에 대해 설명한다. 도 4a 및 도 4g는 본 발명의 바람직한 실시예에 따른 깊이영상으로부터 경계 계층 영상을 생성하는 방법을 설명하기 위한 도면들이다.

경계 계층 영상(214)은 규칙메쉬 계층 영상(212)에 최소한의 품질을 제공하기 위해 경계 영역(Edge Region)을 표시하는 기능을 한다. 즉, 경계 계층 영 상(214)은 이차원 영상인 규칙메쉬 계층 영상(212)에 형성되는 객체의 입체적 표현을 달성하기 위해 상기 객체가 일면으로부터 돌출되어 보이도록 경계 영역을 쿼드트리 구조(Quad-Tree Structure)를 이용하여 표현하는 기능을 한다. 이러한 경계 계층 영상(214)은 규칙메쉬 계층 영상(212) 상에 표현되어 본 발명의 바람직한 실시예에 따른 기본계층 영상(210)을 생성하게 된다. 이하에서는, 경계 영역을 표현하는 방법에 대해 설명하기로 한다.

통상 영상에서의 경계 영역은 화소값의 변화가 큰 부분을 말한다. 이러한 경계 영역을 검출하는 방법 중 가장 보편적인 방법은 소벨 필터(Sobel Filter)에 의한 방법이다. 소벨 필터는 영상의 각 픽셀을 경계 픽셀과 그 이외의 픽셀(기타 픽셀)로 나눈 다음 이들을 1과 0의 이진 데이터로써 표시한다. 그런 다음, 소벨 필터는 데이터 1로 표시되는 픽셀들을 상호 연결시켜 영상에서 경계 영역을 검출하게 된다. 그러나, 본 발명의 실시에 있어서 경계 영역을 검출하는 필터로 소벨 필터만이 사용되는 것은 아니다. 예컨대, 본 발명의 실시예에서 소벨 필터 대신 로버츠 필터(Roberts Filter), 라플라시안 필터(Laplacian Filter), 방향 필터(Directional Filter), 경사 필터(Gradiant Filter), 차 필터(Difference Filter), 프리위트 필터(Prewitte Filter) 등이 사용되는 것도 가능하다.

소벨 필터에 의해 깊이영상(200)으로부터 경계 영역에 대한 정보를 검출하게 되면, 상기 경계 영역을 규칙메쉬 계층 영상(212)에 구비되는 각각의 제1 그리드 셀(310)에 표현한다. 이때, 경계 영역은 도 4a에 제안된 쿼드트리 구조 모드(400 내지 406) 또는 풀 모델링 모드(Full Modeling Mode; 408)를 사용하여 제1 그리드 셀(310) 상에 표현된다. 예컨대, 도 4a에 제안된 제1 모드(400) 내지 제5 모드(408)가 규칙메쉬 계층 영상(212)의 특정 제1 그리드 셀(310) 상에 경계 영역을 실제 구현한 형태(410)는 도 4b에 나타난 바와 같다. 그런데, 하나의 제1 그리드 셀(310) 상에 표현되는 모드가 도 4a에 제안된 제1 모드(400) 내지 제4 모드(406)에 한정되는 것은 아니다. 예컨대, 도 4b에 도시된 제6 모드(412)처럼 하나의 제1 그리드 셀(310) 상에 제2 모드(402)와 제3 모드(404)가 결합되어 표현하는 것도 가능하다.

한편, 깊이영상(200)으로부터 경계 계층 영상(214)을 생성하는 방법을 도 4c 및 도 4d를 참조하여 구체적으로 설명하면 다음과 같다. 깊이영상(200)을 그리드 셀(300)의 크기에 따라 분할하게 되면, 도 4c 및 도 4d 우측 상단에서 보는 바와 같이 경계 계층 영상(214)에 구비되는 그리드 셀(이하, 이를 제2 그리드 셀(420)이라 칭함, 제2 그리드 셀(420)은 제1 그리드 셀(310) 상에 표현됨)을 획득하는 것이 가능하게 된다. 이러한 제2 그리드 셀(420)은 본 발명의 실시예에서 t(10≤t≤21)개의 특징점 정보(이하, 이를 제1 특징점 정보로 칭함)(422)를 가진다. 예컨대, 도 4c에서 보면, 제1 모드(400) 형태를 가지는 제2 그리드 셀(420)은 10개의 제1 특징점 정보(422)를 가진다. 그리고, 도 4d에서 보면, 제5 모드(408) 형태를 가지는 제2 그리드 셀(420)은 21개의 제1 특징점 정보(422)를 가지게 된다. 그러면, 이를 다운 샘플링하여 도 4c 및 도 4d 우측 하단에서 보는 바와 같이 크기가 축소된 제2 그리드 셀(420)을 획득하는 것이 가능하게 된다. 제2 그리드 셀(420)의 크기가 축소되어 발생되는 효과는 제1 그리드 셀(310)의 경우와 같으므로 이에 대한 설명은 생략한다. 이때, 본 발명에 따른 제2 그리드 셀(420)은 다운 샘플링될 경우 제1 그리드 셀(310)에 대한 정보(예컨대, 제1 그리드 셀(310)의 꼭지점 정보(312)들)를 구비하는 것이 바람직하다. 그러면, 디스플레이 기기에서 삼차원 비디오를 구현하는 경우 격행 주사(Interlaced Scanning) 방식에 따라 주사되더라도 삼차원 비디오가 원활하게 실시간 구현되는 것을 가능하게 한다. 그러나, 통상 순차 주사(Progressive Scanning) 방식에 따라 주사되므로 이를 구비하지 않아도 무방하다.

그런데, 본 발명의 실시예에서는 제2 그리드 셀(420)이 제1 모드(400) 내지 제5 모드(408) 중 어느 형태인지에 따라서 구비되는 제1 특징점 정보(422)의 갯수가 결정된다. 즉, 경계 계층 영상(214)에 구비되는 각각의 제2 그리드 셀(420)에서의 제1 특징점 정보(422) 갯수를 파악하는 것이 가능하게 되면, 그리드 셀(300)의 크기를 결정짓는 것이 가능하게 된다. 뿐만 아니라, 이로부터 깊이영상(200)의 해상도를 구하는 것도 가능하게 된다.

한편, 제2 그리드 셀(420)은 본 발명의 실시예에서 제1 모드(400) 내지 제5 모드(408)와 같은 형태로 구비된다는 것은 이미 설명하였다. 그런데, 이러한 모드들(400 내지 408)이 가능하려면 제2 그리드 셀(420)의 가로 크기와 세로 크기가 동일한 것이 바람직하다. 즉, 본 발명의 실시예에서 그리드 셀(300)의 수평방향 샘플링 비율과 수직방향 샘플링 비율은 서로 동일한 것이 바람직하다.

상기한 바에 따라 깊이영상(200)으로부터 규칙메쉬 계층 영상(212) 및 경계 계층 영상(214)을 생성하면, 이들을 규합하여 삼차원 표면을 제작할 수 있게 된다. 즉, 규칙메쉬 계층 영상(212) 및 경계 계층 영상(214)으로부터 본 발명에 따른 기본계층 영상(200)을 구현하는 것이 가능하게 된다. 예컨대, 경계 계층 영상(214)이 실제 구현된 실시예는 도 4e에 도시된 (a)와 같다. 또한, 기본계층 영상(200)이 실제 구현된 실시예는 도 4e에 도시된 (b)와 같다. 그러면, 이러한 기본계층 영상(200)에 텍스처 영상을 매핑하여 본 발명의 바람직한 실시예에 따른 삼차원 비디오를 생성하는 것이 가능하게 된다. 이의 실제 구현된 실시예는 예컨대, 도 4e에 도시된 (c)와 같다.

그런데, 규칙메쉬 계층 영상(212) 및 경계 계층 영상(214)을 이용하여 기본계층 영상(200)을 구현하는 과정에서 도 4f에서 보는 바와 같은 왜곡(Distortion)되는 홀스(Holes; 430)가 발생할 수 있다. 이는 제1 그리드 셀(310)을 형성하는 정보들의 픽셀값과 제2 그리드 셀(420)을 형성하는 정보들의 픽셀값이 삼차원 비디오 렌더링시 그리드 셀간의 크기 차이를 보이는 데서 발생된다. 따라서, 본 발명에서는 이를 방지하기 위해 홀스를 메우는 기능을 하는 메쉬 트라이앵귤레이션(Mesh Triangulation)을 수행하는 것이 바람직하다. 그러면, 도 4g에서 보는 바와 같이 왜곡됨이 없는(즉, 홀스(430)가 형성되지 않는) 기본계층 영상(200)을 얻는 것이 가능하게 된다.

한편, 사용자의 욕구만족, 디스플레이 기기의 실감있는 영상실현 등 다양한 요인으로 인해 기본계층 영상(200)으로부터 생성된 삼차원 비디오보다 고품질의 삼차원 비디오를 요구하는 경우가 발생할 수 있다(이는 이미 위에서 언급한 바 있다 ). 이의 실현을 위해 본 발명에서는 향상계층 영상(220)의 개념을 도입한다. 이하, 향상계층 영상(220)에 대해 설명한다. 도 5a 내지 도 5c는 본 발명의 바람직한 실시예에 따른 깊이영상으로부터 특징점 계층 영상을 생성하는 방법을 설명하기 위한 도면들이다.

도 2를 참조하면, 본 발명에서 향상계층 영상(220)은 하나 이상의 특징점 계층 영상(222)을 구비한다. 그런데, 보통 향상계층 영상(220)이 2개 또는 3개의 특징점 계층 영상(222)을 구비하게 되면 고품질의 삼차원 비디오를 실시간으로 구현하는 것이 무난하게 된다. 따라서, 본 발명에서는 향상계층 영상(220)이 2개 또는 3개의 특징점 계층 영상(222)들의 결합으로 이루어진다고 보면 될 것이다.

특징점 계층 영상(222)은 깊이영상(200)으로부터 규칙메쉬 계층 영상(212) 및 경계 계층 영상(214)을 생성한 후, 보다 실감있는 삼차원 비디오의 실현을 위해 깊이영상(200)으로부터 생성되는 영상이다. 이러한 특징점 계층 영상(222)은 구비되는 각각의 그리드 셀(이하, 이를 제3 그리드 셀이라 칭함)에서 영향력이 있는 특징점 정보들의 집합으로 이루어진다. 즉, 제1 특징점 계층 영상(500)은 각각의 제3 그리드 셀에서 가장 영향력이 큰 특징점 정보들이 집합하여 이루어진다. 그리고, 제2 특징점 계층 영상(502)은 각각의 제3 그리드 셀에서 두번째로 영향력이 큰 특징점 정보들이 집합하여 이루어진다. 제3 특징점 계층 영상(504)도 상기와 같은 방법으로 이루어진다. 예컨대, 이와 같이 생성되는 제1 특징점 계층 영상(500), 제2 특징점 계층 영상(502) 및 제3 특징점 계층 영상(504)을 실제 구현한 영상은 도 5a에서 보는 바와 같다. 한편, 여기에서 영향력이 있는 특징점 정보라 함은 규칙메쉬 계층 영상(212) 및 경계 계층 영상(214)에 의해 생성된 기본계층 영상(210)이 삼차원 객체를 좀더 사실적으로 표현할 수 있도록 강조되는 특징점에 대한 정보를 말한다.

한편, 도 5a를 참조하면, 특징점 계층 영상(222)의 갯수가 증가할수록 상기 특징점 계층 영상(222)에 구비되는 특징점 정보의 갯수는 감소함을 알 수 있게 된다. 이러한 특징점 정보를 깊이영상(200)으로부터 추출하는 구체적인 방법은 후술하도록 한다.

결과적으로 말하면, 본 발명에서는 깊이영상(200)에 구비되는 특정 그리드 셀(300)에 s개의 특징점 정보가 존재하게 되면, 이로부터 생성되는 특징점 계층 영상(222)의 갯수는 s개가 된다. 여기에서, 제3 그리드 셀에 형성되는 특징점 정보(이하, 이를 제2 특징점 정보라 칭함)는 제1 그리드 셀(310) 또는 제2 그리드 셀(420)에 형성되는 꼭지점 정보(312) 및 제1 특징점 정보(422)와는 중첩되지 않는 픽셀값을 가진 정보인 것을 특징으로 한다. 또한, 특정 제3 그리드 셀에 형성되는 제2 특징점 정보는 다른 제3 그리드 셀에 형성되는 제2 특징점 정보와도 중첩되지 않는 것을 특징으로 한다. 이하, 도 5b를 참조하여 이에 대해 보다 상세하게 설명한다.

도 5b를 참조하면, 깊이영상(200)으로부터 제3 그리드 셀(510)을 획득하는 것이 가능하게 된다. 이러한 제3 그리드 셀(510)은 제1 그리드 셀(310) 및 제2 그리드 셀(420)과 동일한 크기를 가짐은 물론이다. 이는 곧, 다수의 제3 그리드 셀(510)을 구비하는 특징점 계층 영상(222)이 규칙메쉬 계층 영상(212) 및 경계 계 층 영상(214)과 동일한 해상도를 가지게 하여 이들의 결합이 수월토록 하게 만든다. 이러한 제3 그리드 셀(510)은 제1 그리드 셀(310)이 가지는 꼭지점 정보(312)를 수반하는 것도 가능하다.

제3 그리드 셀(510)에 s개의 제2 특징점 정보(512)가 존재하는 경우, 이로부터 순서대로 하나의 제2 특징점 정보(512)를 추출 및 다운 샘플링하게 되면 본 발명에 따른 복수의 특징점 계층 영상(222)을 생성하는 것이 가능하게 된다.

그런데, 제3 그리드 셀(510)에 구비되는 제2 특징점 정보(512)는 위치가 일정하지 않은 정보인 것을 특징으로 한다. 이에 반해, 제2 그리드 셀(420)에 구비되는 제1 특징점 정보(422)는 갯수에 따라 위치가 일정한 정보이다. 따라서, 본 발명에서는 제3 그리드 셀(510)을 구비하는 특징점 계층 영상(222)들을 다운 샘플링할 때에는 제3 그리드 셀(510)에서의 제2 특징점 정보(512)의 위치 정보를 수반하도록 하는 것이 바람직하다. 통상 다운 샘플링을 하게 되면, 영상에서의 딥값(Depth Value)(즉, 깊이영상(200)에서 분해된 영상(212, 214, 222)들에 구비되는 꼭지점 정보(312), 제1 특징점 정보(422) 및 제2 특징점 정보(512))만을 추출하여 이를 디스플레이 기기로 전달하여 빠른 전송으로 인한 삼차원 비디오의 실시간 렌더링을 가능하게 한다.

그러나, 본 발명의 실시에 있어서 제2 특징점 정보(512)가 제3 그리드 셀(510)에서의 위치 정보를 수반하지 않는 것도 가능하다. 이러한 경우에는 다운 샘플링을 실시하지 않은 상태로 전송을 수행하는 것이 바람직하다. 이때, 다운 샘플링을 실시하지 않게 되면, 영상에서의 딥값 외에 디폴트값(Default Value; 514) 도 함께 전달하게 되므로 데이터 용량의 과다로 인해 삼차원 비디오의 실시간 렌더링에 장애가 생길 수 있다. 따라서, 본 발명에서는 이러한 경우를 감안하여 상기에서 기술한 바와 같이 2개 또는 3개의 특징점 계층 영상(222)들을 이용하여 향상계층 영상(220)을 제작함이 바람직하다. 2개 또는 3개의 특징점 계층 영상(222)들로도 고품질의 삼차원 비디오를 생성할 수 있음은 상기에서 이미 설명하였다.

다음으로, 깊이영상(200)으로부터 제2 특징점 정보(512)를 추출하여 이로부터 특징점 계층 영상(222)을 생성하는 방법을 설명한다. 깊이영상(200)으로부터 제2 특징점 정보(512)를 추출하는 방법으로는 J. T. Tou와 R. C. Gonzalez가 1974년 'Pattern Recognition Principles, Addison-Wesley Publishing Company'에 발표한 "Maximum Distance Algorithm"을 이용할 수 있다. 이하, 도 5c를 참조하여 이를 설명한다.

먼저, 깊이영상(200)의 특정 그리드 셀(300)로부터 꼭지점 정보(312) 및 제1 특징점 정보(422)를 추출한다. 그런 다음, 추출된 정보들을 하나의 그리드 셀에 집합시켜 특정 그리드 셀(300)에서의 모 픽셀 세트(Parent Pixel Set) "{P0}"를 생성한다(S500). 모 픽셀 세트 "{P0}"가 생성되면, 이를 상기 특정 그리드 셀(300)과 비교하여 제2 특징점 정보(512)가 존재하는지를 판단한다(S510). 예컨대, 판단 방법은 모 픽셀 세트 "{P0}"에서는 디폴트값을 가지는 포인트(Point)가 특정 그리드 셀(300)에서는 딥값을 가지는지 여부를 측정하는 형태가 될 수 있다. 이때, 알고리즘에 의해 주사방법에 따라 선주사되는 위치에 놓인 포인트가 제2 특징점 정보(512)로써 우선선택된다.

제2 특징점 정보(512)가 존재하면, 이를 모 픽셀 세트 "{P0}"에 반영하여 새로운 모 픽셀 세트 "{P1}"를 생성한다(S520). 그런 다음, 상기 S510 단계를 다시 수행한다. 본 발명에서는 이와 같이 제2 특징점 정보(512)의 존재가 확인되면 상기 S510 단계 및 상기 S520 단계를 반복 수행한다.

그러나, 더이상 제2 특징점 정보(512)의 존재가 확인되지 않으면, 깊이영상(200)의 각각의 그리드 셀(300)에서 추출된 n번째(예컨대, 첫번째, 두번째 등등) 제2 특징점 정보(512)를 하나로 묶어 n번째 특징점 계층 영상(222)을 생성한다(S530). 이후, 알고리즘에 의해 특징점 계층 영상(222)을 생성하는 것을 종료한다.

상기에서 보는 바와 같이, 깊이영상(200)으로부터 하나 이상의 특징점 계층 영상(222)을 포함하는 향상계층 영상(220)을 생성하게 되면, 이를 기본계층 영상(210)에 반영하여 고품질의 삼차원 비디오를 생성할 수 있다. 그런데, 깊이영상(200)을 여러 계층의 영상으로 분해한 후 이를 결합시켜 고품질의 삼차원 비디오를 생성하려면 깊이영상(200)에 구비되는 각각의 그리드 셀(300)이 몇개의 계층을 구비하는지를 알아야 한다. 또한, 특정 그리드 셀(300)이 제1 모드(400) 내지 제5 모드(408) 중 어떠한 형태의 경계 계층을 구성하는지도 알아야 한다. 본 발명에서는 이러한 문제점을 해결하기 위해 깊이영상(200)으로부터 계층의 수 영상(230)을 취득하는 것을 특징으로 한다. 이하에서는, 계층의 수 영상(230)에 대해서 설명한다. 도 6a 및 도 6d는 본 발명의 바람직한 실시예에 따른 깊이영상으로부터 계층의 수 영상을 생성하는 방법을 설명하기 위한 도면들이다.

계층의 수 영상(230)은 본 발명의 실시예에서 깊이영상(200)의 각각의 그리드 셀(300)에 형성되는 계층의 수에 대한 정보를 가지는 것을 특징으로 한다. 이를 위해 계층의 수 영상(230)은 상기에서 설명한 그리드 셀(300), 제1 그리드 셀(310), 제2 그리드 셀(420) 및 제3 그리드 셀(510)과 동일한 크기를 가지게 된다. 이하, 계층의 수 영상(230)에 구비되는 이러한 그리드 셀을 제4 그리드 셀(600)로 칭한다.

도 6a를 참조하면, 계층의 수 영상(230)은 도면 좌측에서 보는 바와 같이 나타내어진다. 이는 또한 도면 우측에서 보는 바와 같이 나타내어질 수도 있다. 여기에서, 좌측도 및 우측도는 서로 대응된다. 이하, 좌측도를 이용하여 설명하기로 한다.

좌측도를 보면, 제a 그리드 셀(602)은 데이터 1을 가지며, 제b 그리드 셀(604)은 데이터 0을 가진다. 그리고, 제c 그리드 셀(606)은 데이터 4를 가진다. 데이터 1은 제a 그리드 셀(602)이 제1 그리드 셀(310) 및 1개의 제3 그리드 셀(510)을 구비함을 의미한다. 그리고, 데이터 0은 제b 그리드 셀(604)이 제1 그리드 셀(310)만을 구비함을 의미한다. 그리고, 데이터 4는 제c 그리드 셀(606)이 제1 그리드 셀(310), 1개의 제3 그리드 셀(510) 및 제3 모드(404) 형태의 제2 그리드 셀(420)을 구비함을 의미한다.

즉, 본 발명의 실시예에서 제4 그리드 셀(600)에 표현되는 데이터가 0인 경우 해당 제4 그리드 셀(600)의 자리에는 제1 그리드 셀(310)만이 위치하면 된다. 또한, 제4 그리드 셀(600)에 표현되는 데이터가 n(여기서, n은 계층의 수 영상(230)에 표현되는 데이터 중에서 0을 제외한 최소값)인 경우 해당 제4 그리드 셀(600)의 자리에는 제1 그리드 셀(310) 및 n개의 제3 그리드 셀(510)이 위치하면 된다. 또한, 제4 그리드 셀(600)에 표현되는 데이터가 n+r인 경우 해당 제4 그리드 셀(600)의 자리에는 제1 그리드 셀(310), n개의 제3 그리드 셀(510) 및 제r(여기서, r은 1≤r≤5) 모드 형태의 제2 그리드 셀(420)이 위치하면 된다. 이와 같이 실현되는 계층의 수 영상(230)의 실제 구현된 모습(610)은 도 6b에서 보는 바와 같다.

깊이영상(200)으로부터 생성된 기본계층 영상(210) 및 향상계층 영상(220)은 계층의 수 영상(230)에 수록된 정보에 따라 표현되어 고품질의 삼차원 비디오를 생성할 수 있다. 본 발명에서는 이를 다해상도 표현(Multi-Layer Representation)이라 정의한다. 이의 구체적인 실시예는 도 6c에서 보는 바와 같다. 도 6c를 참조하면, 먼저 규칙메쉬 계층 영상(212), 경계 계층 영상(214) 및 계층의 수 영상(230)으로부터 기본계층 영상(200)을 생성한다. 그런 다음, 다해상도 표현이 가능하도록 복수의 특징점 계층 영상(222)을 계층의 수 영상(230)에 수록된 정보에 따라 순서대로 기본계층 영상(200) 상에 표현한다. 즉, 제1 특징점 계층 영상(500)을 삽입시키면 제1 삼차원 표면(620)을 생성할 수 있게 된다. 그리고, 여기에 제2 특징점 계층 영상(502)을 삽입시키면 제2 삼차원 표면(622)을 생성할 수 있게 된다. 그런 다음, 제2 삼차원 표면(622)에 텍스처 매핑 작업을 수행하면 본 발명에 따른 고품질의 삼차원 비디오(624)를 생성할 수 있게 된다.

이때, 기본계층 영상(210)에 향상계층 영상(220)을 반영시키는 방법으로는 들로네 트라이앵귤레이션(Delaunay Triangulation) 방법이 이용될 수 있다. 들로네 트라이앵귤레이션 방법이란 기존의 삼각형화 구조 외부에 새로운 점을 추가하면서 상기 삼각형화 구조를 수정하는 형태로 알고리즘을 진행시키는 방법을 말한다. 이를 보다 상세하게 설명하면 다음과 같다. 먼저, 상기 삼각형화 구조에 구비되는 삼각형을 검색하여 상기 삼각형의 외접원이 상기 새로운 점을 포함하는 경우를 모두 파악한다. 그러면, 외접원 상호간에 만나는 점을 획득할 수 있게 되는데, 이들을 집합시키면 하나의 폴리곤(Polygon)을 형성하게 된다. 그러면, 내부의 변들을 모두 제거하고 상기 새로운 점과 폴리곤의 꼭지점을 연결하여 삼각형을 생성할 수 있는데, 이로부터 새로운 삼각형화 구조를 취득할 수 있게 된다.

따라서, 본 발명에서는 이러한 들로네 트라이앵귤레이션 방법을 이용하여 기본계층 영상(210)에 향상계층 영상(220)의 제2 특징점 정보(512)를 하나씩 삽입시켜 나가면 본 발명의 바람직한 실시예에 따른 삼차원 표면을 생성하는 것이 가능하게 된다. 그런데, 본 발명의 실시에 있어서 기본계층 영상(210)에 향상계층 영상(220)을 반영시키는 방법으로 들로네 트라이앵귤레이션 방법만이 이용되는 것은 아니다. 예컨대, 웨이티드 에버리지(Weighted Average) 방법이나 리스트 스퀘어스 피트(Least Squares Fit) 방법과 같은 보간 방법(Interpolation Type Method)이 이용되는 것도 가능하다.

한편, 깊이영상(200)으로부터 생성된 규칙메쉬 계층 영상(212) 및 경계 계층 영상(214)을 계층의 수 영상(230)에 수록된 정보에 따라 표현하여 본 발명에 따른 삼차원 비디오를 생성하는 것도 가능하다.

그런데, 본 발명에서는 이러한 계층의 수 영상(230)을 이용하여 기본계층 영상(210) 및 향상계층 영상(220)을 연속적으로 표현하는 것이 가능하다. 즉, 삼차원 비디오의 실시간 렌더링이 가능하다. 이를 도 6d를 이용하여 설명하면 다음과 같다.

도 6d를 참조하면, 일정시간 간격으로 형성된 깊이영상(200)으로부터 규칙메쉬 계층 영상(212), 경계 계층 영상(214), 계층의 수 영상(230), 제1 특징점 계층 영상(500) 및 제2 특징점 계층 영상(502)을 순서대로 생성한 다음 이들을 결합시키면 삼차원 비디오(624)를 순차적으로 생성하는 것이 가능하게 된다. 즉, 삼차원 비디오(624)의 연속적인 표현이 가능하게 된다. 또한, 깊이영상(200)으로부터 분해되는 모든 영상들(212, 214, 230, 500, 502 및 624)은 그리드 셀에 의해 항상 일정한 크기를 가지게 된다. 따라서, 본 발명에서는 이와 같이 깊이영상을 일정 크기의 그리드 셀로 분할하여 이를 메쉬로 이용함으로써 알고리즘의 단순화 및 편집 작업량의 감소를 실현시키는 효과를 거두는 것이 가능하게 된다.

다음으로, 이와 같이 구성된 본 발명의 바람직한 실시예에 따른 깊이영상(200)을 이용한 삼차원 비디오 전송 시스템을 설명한다.

도 7은 본 발명의 바람직한 실시예에 따른 삼차원 비디오 전송 시스템의 블록도이다. 상기 도 7에 도시한 바에 따르면, 본 발명의 바람직한 실시예에 따른 삼차원 비디오 생성 시스템(700)은 깊이영상 취득부(710), 깊이영상 처리부(720), 부 호화부(730), 통신부(740), 복호화부(750), 삼차원 비디오 처리부(760) 및 디스플레이부(770)를 포함한다.

깊이영상 취득부(710)는 깊이 카메라(Depth Camera; 712) 및 멀티뷰 카메라(Multi-view Camera; 714)를 이용하여 깊이영상(200) 및 텍스처 영상을 취득하는 기능을 수행한다. 이러한 깊이영상 취득부(710)는 멀티뷰 카메라(714)를 통하여 취득된 정보를 스테레오 매칭방법(Stereo Matching Method)을 이용하여 깊이영상(200)에 적용시키는 기능도 수행한다. 그러면, 깊이영상(200)이 보다 정확한 깊이값이 반영되어 고품질의 삼차원 비디오를 생성하는 것이 가능하게 된다. 여기에서, 스테레오 매칭방법이란 공간적으로 서로 다른 평면으로부터 획득된 이차원 이미지들을 이용하여 삼차원 영상을 생성하는 방법을 말한다.

한편, 깊이영상 취득부(710)는 상기 깊이영상(200)에 상응하는 음성/음향 정보를 취득하는 것도 가능하다.

깊이영상 처리부(720)는 통상의 영상 필터(722)(본 발명에서는 특히, 가우시안 필터(Gaussian Filter))를 이용하여 깊이영상 취득부(710)가 취득한 깊이영상(200)의 노이즈를 제거하는 기능을 수행한다. 이때, 깊이영상 처리부(720)는 평균값 필터(Average Filter)나 중간값 필터(Median Filter) 등과 같이 컨벌루션 마스크(Convolution Mask)를 이용하는 필터(General Filter) 및 시그마 필터(Sigma Filter)와 같이 특정한 알고리즘을 이용하는 적응필터(Adaptive Filter)를 이용하여 깊이영상(200)의 노이즈를 제거하는 것도 가능하다.

깊이영상 처리부(720)는 필터링 처리된 깊이영상(200)을 복수의 계층 영상 (즉, 규칙메쉬 계층 영상(212), 경계 계층 영상(214), 특징점 계층 영상(222) 및 계층의 수 영상(230))으로 분해하는 기능을 수행한다.

그런 다음, 깊이영상 처리부(720)는 이들을 YUV 포맷(Format)의 영상으로 변환시키는 컬러공간변환(Color Space Transform) 기능을 수행한다. YUV는 사람의 눈이 색상보다는 밝기에 민감하다는 사실에 착안한 것으로, 통상 TV에 사용되는 컬러표현 방법을 말한다. 이러한 YUV는 컬러를 밝기(Luminance)인 Y성분과 색상(Chrominance)인 U성분 및 V성분으로 구분한다. Y성분은 오차에 민감하므로 U성분과 V성분보다 많은 비트를 코딩하게 된다. 따라서, 전형적인 Y:U:V의 비율은 4:2:2 이다. 이와 같이 YUV는 컬러의 중요도에 따라 가중치를 적용할 수 있고(즉, 이로 인해 자연의 컬러중 가장 높은 비중을 차지하는 녹색의 특성을 잘 살려줄 수 있고), 영상의 압축률이 매우 뛰어나며, 영상의 화질 저하를 최소로 유지할 수 있기 때문에 보편적으로 이용된다.

그러나, 본 발명의 실시에 있어서 컬러공간변환시 변환되는 영상의 포맷이 YUV에 한정되는 것은 아니다. 예컨대, 컬러의 Y성분에 이차원으로 UV성분으로 서브캐리어로 넣는 NTSC(National Television Systems Committee) 포맷의 YIQ, 컬러를 휘도, 포화도 및 명도로 나타내는 HSB(Hue-Saturation-Brightness) 또는 HSL(Hue-Saturation-Lightness), 랩 컬러(Lab Color) 등도 가능하다. 또한, 깊이영상 처리부(720)가 컬러공간변환 기능을 수행하지 않는 것도 가능하다. 이러한 경우에는 영상이 RGB 포맷을 유지하게 되는데, 이때에는 상기와 같은 디지털 변환과정 없이 직접 영상을 압축한 후 전송하는 '레지듀얼 컬러변환 방법'이 이용되는 것도 가능하 다. 그러면, 컬러의 왜곡이나 전송효율을 보다 향상시키는 것이 가능하게 된다.

한편, 깊이영상 처리부(720)는 텍스처 영상을 영상크기변환(Image Size Conversion)한 후 이를 YUV 포맷의 영상으로 변환하게 된다. 이때, 깊이영상 처리부(720)는 텍스처 영상을 규칙메쉬 계층 영상(212)과 동일한 크기로 영상크기변환함이 바람직하다.

한편, 깊이영상 처리부(720)는 주성분분석(Principle Component Analysis) 알고리즘을 이용하여 영상을 압축하거나 잡음을 제거하는 것도 가능하다.

부호화부(730)는 상기 YUV 포맷의 영상을 인코더(Encoder; 732)와 멀티플렉서(Multiplexer; 734)를 이용하여 부호화시키는 기능을 수행한다.

통신부(740)는 부호화부(730)에 의해 부호화된 신호를 복호화부(750)로 전달하는 기능을 수행한다.

복호화부(750)는 전달된 부호화 신호를 디코더(Decoder; 752)와 디멀티플렉서(Demultiplexer; 754)를 이용하여 복호화시키는 기능을 수행한다.

삼차원 비디오 처리부(760)는 YUV 포맷의 영상인 복호화된 신호를 RGB 포맷의 영상으로 변환시키는 기능을 수행한다(YUV Deformat). 그러면, 이로부터 규칙메쉬 계층 영상(212), 경계 계층 영상(214), 특징점 계층 영상(222), 계층의 수 영상(230) 및 텍스처 영상을 획득하는 것이 가능하게 된다. 이후, 삼차원 비디오 처리부(760)는 텍스처 영상을 원래 크기로 복원(Resizing)시킨다. 그런 다음, 삼차원 비디오 처리부(760)는 동기화(Synchronize) 단계, 계층 선택(Layer Selection) 단계 및 메쉬 트라이앵귤레이션 단계를 거쳐 이들로부터 삼차원 비디오를 렌더링하는 기능을 수행한다.

디스플레이부(770)는 휴대폰(772)이나 LCD(774) 등을 통하여 삼차원 비디오 처리부(760)에 의해 렌더링된 삼차원 비디오를 표시하는 기능을 수행한다(Multi-view Generation, 3D Video, Stereo Video).

다음으로, 본 발명의 바람직한 실시예에 따른 삼차원 비디오 전송 시스템의 운용 방법을 설명한다. 도 8은 본 발명의 바람직한 실시예에 따른 삼차원 비디오 전송 시스템의 운용 방법을 도시한 순서도이다.

도 8을 참조하면, 깊이영상 취득부(710)는 삼차원 객체로부터 깊이영상(200) 및 텍스처 영상을 취득한다(S800). 그런 다음, 깊이영상 취득부(710)는 스테레오 매칭방법을 이용하여 취득된 깊이영상(200)의 깊이값을 보정한다(S802).

깊이영상 처리부(720)는 상기 깊이영상(200)의 노이즈를 제거한다(S810). 그런 다음, 깊이영상 처리부(720)는 깊이영상(200)을 규칙메쉬 계층 영상(212), 경계 계층 영상(214), 특징점 계층 영상(222) 및 계층의 수 영상(230)으로 계층 분해한다(S812). 이때, 깊이영상 처리부(720)는 계층 분해에 그리드 셀의 크기(Grid Cell Size)나 사용자 허용 오차(User Tolerance) 등을 참작하게 된다. 한편, 깊이영상 처리부(720)는 텍스처 영상을 영상크기변환시킨다(S814). 이후, 깊이영상 처리부(720)는 계층 분해된 영상들(212, 214, 222, 230)과 텍스처 영상을 컬러공간변환시킨다(S816).

부호화부(730)는 상기 컬러공간변환된 영상을 부호화시킨다(S820). 그런 다 음, 부호화된 영상 신호를 HNTMS(Hierarchical Natural Textured Mesh Stream) 코딩(Coding) 및 HNTMS 전송(Transmission)을 거쳐 통신부(740)를 통하여 복호화부(750)로 전달한다(S822).

복호화부(750)는 전달된 영상 신호를 복호화시킨다(S830).

삼차원 비디오 처리부(760)는 복호화된 영상 신호로부터 규칙메쉬 계층 영상(212), 경계 계층 영상(214), 특징점 계층 영상(222), 계층의 수 영상(230) 및 텍스처 영상을 획득한다(S840). 그런 다음, 삼차원 비디오 처리부(760)는 동기화 단계, 계층 선택 단계 및 메쉬 트라이앵귤레이션 단계를 통하여 상기 영상들로부터 삼차원 비디오를 렌더링한다(S842).

디스플레이부(770)는 상기 삼차원 비디오를 표시한다(S850).

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명에 의하면, 메쉬 기반 표현법을 이용하여 깊이영상을 표현하여 삼차원 비디오의 실시간 렌더링을 가능하게 하는 효과가 있다.

또한, 본 발명에 의하면, 깊이영상을 규칙메쉬 계층 영상, 경계 계층 영상, 특징점 계층 영상 및 계층의 수 영상으로, 포괄적으로는 기본계층 영상과 향상계층 영상으로 분해하여 고품질의 삼차원 비디오를 제공하는 효과가 있다.

또한, 본 발명에 의하면, 상기와 같은 깊이영상의 계층적 분해를 통하여 삼차원 비디오 구성시 품질 계위성을 제공하는 것은 물론, 복잡한 삼차원 비디오도 용이하게 표현하는 것이 가능한 효과가 있다.

또한, 본 발명에 의하면, 깊이영상이 깊이값에 관계없이 일정한 위치정보를 가지게 되어 삼차원 비디오의 신호처리를 가능하게 하며, 깊이영상을 일정 크기의 그리드 셀로 분할하여 이를 메쉬로써 이용하여 알고리즘의 단순화 및 편집 작업량의 감소를 실현시키는 효과가 있다.

Claims

깊이영상을 이용하여 삼차원 비디오를 생성하는 방법에 있어서,

깊이영상 취득부(710)가 삼차원 객체로부터 상기 깊이영상을 취득하면, 깊이영상 처리부(720)가 이로부터 노이즈를 제거한 후 바탕이 되는 규칙메쉬 계층 영상(212), 상기 삼차원 객체의 경계 영역을 표시하는 경계 계층 영상(214) 및 상기 두 영상(212, 214)의 위치 또는 모드를 결정하는 계층의 수 영상(230)으로 분해하는 단계를 구비하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 1 항에 있어서,

상기 깊이영상 취득부(710)가 취득하는 상기 깊이영상은, 수평방향 샘플링 비율(p)과 수직방향 샘플링 비율(q)의 곱으로 이루어진 단위셀인 그리드 셀의 크기(p×q)에 따라 분해되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 1 항 또는 제 2 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 규칙메쉬 계층 영상(212), 상기 경계 계층 영상(214) 및 상기 계층의 수 영상(230)은, 상기 깊이영상의 해상도가 W ×H일 때 상기 그리드 셀의 크기에 의해 일정 해상도(
)를 가지도록 샘플링되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 3 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 규칙메쉬 계층 영상(212)은, i와 j가 상기 깊이영상에 구비되는 그리드 셀의 위치정보이고, x와 y가 상기 규칙메쉬 계층 영상(212)에 구비되는 그리드 셀의 위치정보이며, N이 상기 깊이영상에 구비되는 상기 그리드 셀의 전체 갯수이고,
이 상기 깊이영상의 깊이값일 때,
(
)으로 정의되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 3 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 규칙메쉬 계층 영상(212)은, 구비되는 그리드 셀이 꼭지점 위치에서의 픽셀값을 나타내는 꼭지점 정보만을 가지도록 샘플링되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디 오 생성 방법.
제 2 항에 있어서,

상기 깊이영상 취득부(710)가 취득하는 상기 깊이영상에서의 상기 그리드 셀은, 그 크기를 결정하는 두 샘플링 비율(p, q)이 동일한 값을 가지는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 1 항 또는 제 2 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 경계 계층 영상(214)은, 상기 경계 영역을 쿼드트리 구조를 이용하여 표현하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 7 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 경계 계층 영상(214)은, 상기 영상(214)에 구비되는 그리드 셀마다 상기 경계 영역을 표현하는 특징점의 갯수가 10개 내지 21개 중 어느 한 값으로 구비되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 8 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 경계 계층 영상(214)은, 상기 특징점의 갯수에 따라 상기 모드가 결정되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 8 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 경계 계층 영상(214)은, 상기 그리드 셀마다 꼭지점 위치에서의 픽셀값을 나타내는 꼭지점 정보를 가지는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 1 항에 있어서,

상기 깊이영상 처리부(720)는, 상기 경계 계층 영상(214)이 제공하는 상기 삼차원 비디오의 품질을 향상시키는 특징점 계층 영상(222)을 상기 깊이영상으로부터 분해하는 단계를 추가로 구비하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 11 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 특징점 계층 영상(222)은, 구비되는 그리드 셀에 형성되는 특징점이 상기 규칙메쉬 계층 영상(212), 상기 경계 계층 영상(214) 및 다른 특징점 계층 영상(222)에 구비되는 그리드 셀에 형성되는 특징점과 그 위치가 중첩되지 않는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 11 항 또는 제 12 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 계층의 수 영상(230)은, 상기 특징점 계층 영상(222)의 갯수를 결정하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 11 항 또는 제 12 항에 있어서,

상기 깊이영상 처리부(720)는,

(a) 상기 깊이영상 처리부(720)가 상기 깊이영상에 구비되는 특정 그리드 셀로부터 상기 규칙메쉬 계층 영상(212) 및 상기 경계 계층 영상(214)에 구비되는 그리드 셀의 특징점을 추출하는 단계;

(b) 상기 깊이영상 처리부(720)가 상기 특징점을 하나의 그리드 셀에 집합시켜 상기 특정 그리드 셀에서의 제1 모 픽셀 세트를 생성하는 단계;

(c) 상기 깊이영상 처리부(720)가 상기 특정 그리드 셀에 나열된 특징점을 상기 제1 모 픽셀 세트에 나열된 특징점과 비교하여 상기 제1 모 픽셀 세트에는 존재하지 않는 특징점이 있는지 여부를 판단하는 단계;

(d) 상기 제1 모 픽셀 세트에 존재하지 않는 특징점이 있으면, 상기 깊이영상 처리부(720)가 이를 반영하여 제2 모 픽셀 세트를 생성하며, 이후 상기 (c) 단계를 다시 수행하는 단계; 및

(e) 상기 제1 모 픽셀 세트에 존재하지 않는 특징점이 없으면, 상기 깊이영 상 처리부(720)가 상기 깊이영상의 각각의 그리드 셀에서 추출된 n(자연수)번째 특징점을 하나로 묶어 n번째 특징점 계층 영상(222)을 생성하는 단계

를 이용하여 상기 특징점 계층 영상(222)에서의 상기 특징점을 추출하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 1 항 또는 제 11 항에 있어서,

상기 깊이영상 취득부(710)에 의해 의해 취득되는 상기 깊이영상 및 텍스처 영상은,

(a1) 상기 깊이영상 취득부(710)가 상기 깊이영상을 취득한 후, 스테레오 매칭방법을 이용하여 상기 깊이영상의 깊이값을 보정하는 단계;

(b1) 상기 깊이영상 처리부(720)가 상기 텍스처 영상을 영상크기 변환시키는 단계;

(c1) 상기 깊이영상 처리부(720)가 분해된 영상들(212, 214, 222, 230) 및 상기 텍스처 영상을 컬러공간 변환시키는 단계; 및

(d1) 부호화부(730)가 상기 컬러공간 변환된 영상을 부호화시킨 후, 이를 통신부(740)를 통하여 전달하는 단계

를 통하여 송수신되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 15 항에 있어서,

상기 깊이영상 처리부(720)에 의해 분해된 상기 영상들(212, 214, 222, 230) 및 상기 텍스처 영상은,

(a2) 복호화부(750)가 상기 통신부(740)를 통해 전달된 영상 신호를 복호화시키는 단계;

(b2) 삼차원 비디오 처리부(760)가 상기 복호화된 영상을 역 컬러공간변환시켜 상기 분해된 영상들(212, 214, 222, 230) 및 상기 텍스처 영상을 획득하며, 이를 이용하여 상기 삼차원 비디오를 렌더링하는 단계; 및

(c2) 디스플레이부(770)가 상기 삼차원 비디오를 표시하는 단계

를 통하여 상기 삼차원 비디오로 표현되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
제 16 항에 있어서,

상기 깊이영상 처리부(720)에 의해 분해된 상기 영상들(212, 214, 222, 230)은, 메쉬 구조를 사용하는 메쉬 기반 표현법을 이용하여 상기 삼차원 비디오로 렌더링되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 방법.
깊이영상을 이용하여 삼차원 비디오를 생성하는 장치에 있어서,

영상 필터를 이용하여 취득된 상기 깊이영상의 노이즈를 제거한 후, 상기 삼차원 비디오 생성시 이의 품질에 계위성을 제공할 수 있도록 상기 깊이영상을 복수 의 영상으로 분해하며, 이후 분해된 영상들 및 영상크기변환된 상기 텍스처 영상을 일정 포맷의 영상으로 컬러공간변환하는 깊이영상 처리부(720)

를 포함하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 18 항에 있어서,

상기 깊이영상 처리부(720)는, 상기 영상 필터로 컨벌루션 마스크를 이용하는 필터, 특정 알고리즘을 이용하는 필터 및 가우시안 필터 중 어느 하나를 이용하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 18 항에 있어서,

상기 깊이영상 처리부(720)는, 상기 깊이영상을 상기 삼차원 비디오에 최소한의 품질을 제공하는 기본계층 영상(210) 및 상기 기본계층 영상(210)을 구성하는 요소들의 위치나 모드를 결정하는 계층의 수 영상(230)으로 분해하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 20 항에 있어서,

상기 깊이영상 처리부(720)는, 상기 깊이영상을 상기 삼차원 비디오의 상기 품질을 향상시키는 향상계층 영상(220)으로 추가 분해하는 것을 특징으로 하는 깊 이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 21 항에 있어서,

상기 깊이영상 처리부(720)에 의해 생성되는 상기 계층의 수 영상(230)은, 상기 향상계층 영상(220)을 구성하는 요소들의 갯수를 결정하는 정보를 추가로 구비하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 20 항 내지 제 22 항 중 어느 한 항에 있어서,

상기 깊이영상 처리부(720)는, 상기 깊이영상을 수평방향 샘플링 비율(p)과 수직방향 샘플링 비율(q)의 곱으로 이루어진 단위셀인 그리드 셀의 크기(p×q)에 따라 분해되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 23 항에 있어서,

상기 깊이영상 처리부(720)는, 상기 깊이영상의 해상도가 W×H일 때 상기 그리드 셀의 크기에 의해 상기 깊이영상으로부터 분해되는 영상들이 일정 해상도(
)를 가지도록 샘플링하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 23 항에 있어서,

상기 기본계층 영상(210)은,

상기 깊이영상을 상기 그리드 셀의 크기에 따라 다운 샘플링하여 취득되는 규칙메쉬 계층 영상(212); 및

상기 규칙메쉬 계층 영상(212)의 경계 영역을 표시하는 경계 계층 영상(214)

을 구비하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 23 항에 있어서,

상기 향상계층 영상(220)은,

상기 깊이영상의 상기 품질에 영향력 있는 특징점들이 집합하여 이루어지는 특징점 계층 영상(222)

을 구비하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 25 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 규칙메쉬 계층 영상(212)은, i와 j가 상기 깊이영상에 구비되는 그리드 셀의 위치정보이고, x와 y가 상기 규칙메쉬 계층 영상(212)에 구비되는 그리드 셀의 위치정보이며, N이 상기 깊이영상에 구 비되는 상기 그리드 셀의 전체 갯수이고,
이 상기 깊이영상의 깊이값일 때,
(
)으로 정의되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 25 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 규칙메쉬 계층 영상(212)은, 구비되는 그리드 셀이 꼭지점 위치에서의 픽셀값을 나타내는 꼭지점 정보만을 가지도록 샘플링되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 25 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 경계 계층 영상(214)은, 상기 경계 영역을 쿼드트리 구조를 이용하여 표현하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 29 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 경계 계층 영상(214)은, 상기 영상(214)에 구비되는 그리드 셀마다 상기 경계 영역을 표현하는 특징점의 갯수가 10개 내지 21개 중 어느 한 값으로 구비되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 30 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 경계 계층 영상(214)은, 상기 특징점의 갯수에 따라 상기 모드가 결정되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 29 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 경계 계층 영상(214)은, 상기 그리드 셀마다 꼭지점 위치에서의 픽셀값을 나타내는 꼭지점 정보를 가지는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 26 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 특징점 계층 영상(222)은, 구비되는 그리드 셀에 형성되는 특징점이 상기 기본계층 영상(210) 및 다른 특징점 계층 영상(222)에 구비되는 그리드 셀에 형성되는 특징점과 그 위치가 중첩되지 않는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 33 항에 있어서,

상기 깊이영상 처리부(720)가 생성하는 상기 특징점 계층 영상(222)은, 변량의 아는 값을 이용하여 그 사이에 놓일 값을 근사치로 계산하는 보간 방법을 이용하여 상기 기본계층 영상(210) 위에 표현되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 34 항에 있어서,

상기 기본계층 영상(210) 위에 상기 향상계층 영상(220)을 표현하는 상기 보간 방법은, 들로네 트라이앵귤레이션 방법인 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 20 항 내지 제 22 항 중 어느 한 항에 있어서,

상기 깊이영상 처리부(720)에 의해 분해되는 상기 영상들(210, 220, 230)은, 메쉬 구조를 사용하는 메쉬 기반 표현법을 이용하여 상기 삼차원 비디오로 렌더링되는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
제 23 항에 있어서,

상기 깊이영상 처리부(720)가 상기 분해된 영상들(210, 220, 230)을 생성시 이용하는 상기 그리드 셀은, 그 크기를 결정하는 두 샘플링 비율(p, q)이 동일한 값을 가지는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성 장치.
깊이영상을 이용하여 생성되는 삼차원 비디오를 전송하는 시스템에 있어서,

깊이 카메라(712) 및 멀티뷰 카메라(714)를 이용하여 상기 깊이영상 및 텍스처 영상을 취득하는 깊이영상 취득부(710);

컨벌루션 마스크를 이용하는 필터 또는 특정 알고리즘을 이용하는 필터를 이용하여 상기 깊이영상의 노이즈를 제거한 후, 상기 삼차원 비디오 생성시 이의 품질에 계위성을 제공할 수 있도록 상기 깊이영상을 복수의 영상으로 분해하며, 이후 분해된 영상들 및 영상크기변환된 상기 텍스처 영상을 일정 포맷의 영상으로 컬러공간변환하는 깊이영상 처리부(720); 및

상기 컬러공간변환된 영상을 인코더(732) 및 멀티플렉서(734)를 이용하여 부호화시킨 후 이를 통신 기능을 하는 통신부(740)를 통하여 전달하는 부호화부(730)

를 구비하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 전송 시스템.
제 38 항에 있어서,

상기 부호화부(730)로부터 전달된 영상 신호를 디코더(752)와 디멀티플렉서(754)를 이용하여 복호화시키는 복호화부(750);

상기 복호화된 영상을 역 컬러공간변환시켜 상기 분해된 영상들 및 상기 텍 스처 영상을 획득하며, 이들을 이용하여 상기 삼차원 비디오를 렌더링하는 삼차원 비디오 처리부(760); 및

상기 삼차원 비디오를 표시하는 디스플레이부(770)

를 추가로 구비하는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 전송 시스템.
제 39 항에 있어서,

상기 깊이영상 처리부(720)는, 상기 컬러공간변환시 YUV 포맷의 영상으로 변환시키는 것을 특징으로 하는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 전송 시스템.
깊이영상을 이용하여 생성되는 삼차원 비디오를 저장하는 매체에 있어서,

제 1 항에 따른 방법에 의해 생성되는 상기 삼차원 비디오를 기록하며, 컴퓨터로 읽을 수 있는 깊이영상의 계층적 분해를 이용한 삼차원 비디오 기록 매체.