KR102407729B1

KR102407729B1 - 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법

Info

Publication number: KR102407729B1
Application number: KR1020200043985A
Authority: KR
Inventors: 이재희; 변수진; 이정숙; 최지희
Original assignee: 주식회사 엘지유플러스
Priority date: 2020-04-10
Filing date: 2020-04-10
Publication date: 2022-06-13
Also published as: KR20220080060A; KR20210126318A; KR102575567B1

Abstract

부분적으로 높은 선명도를 갖는 3차원 입체 콘텐츠를 제공할 수 있는 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법에 관한 것으로, 소정 객체를 촬영하여 콘텐츠 영상을 획득하는 영상 획득 장치와, 획득한 콘텐츠 영상을 3차원 입체 영상으로 가공하는 입체 영상 생성 장치를 포함하고, 입체 영상 생성 장치는, 콘텐츠 영상이 수신되면 콘텐츠 영상 중 특정 부분을 인식하고, 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출하며, 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정하고, 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하여 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공할 수 있다.

Description

3차원 입체 콘텐츠 서비스 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING THREE DIMENSIONAL VOLUMETRIC CONTENT SERVICE}

본 발명은 3차원 입체 콘텐츠 서비스 제공 시스템에 관한 것으로, 보다 상세하게는 부분적으로 높은 선명도를 갖는 3차원 입체 콘텐츠를 제공할 수 있는 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법에 관한 것이다.

일반적으로, 3차원 입체 콘텐츠 제작 기술은, 증강 현실(Augmented Reality; AR) 서비스 및 가상 현실(Virtual Reality; VR) 서비스 등에 활용되고 있다.

여기서, 가상 현실은, 자신(객체)과 배경, 환경 모두 현실이 아닌 가상의 이미지를 사용하는데 반해, 증강 현실은, 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술로서, 혼합 현실(Mixed Reality, MR)이라고도 한다.

최근, 기업체에서는, 아이돌 가수나 운동 선수 등의 3차원 입체 콘텐츠를 제작하여 스마트폰과 같은 디스플레이 화면에 증강 현실로 제공하는 다양한 서비스가 시행되기도 하였다.

3차원 입체 콘텐츠는, 다수의 카메라들을 통해 액터(actor)를 촬영하고, 촬영된 2차원 이미지로부터 3차원 위치 정보와 색상 정보를 추출하여 제작하는 방식으로 진행될 수 있다.

이러한 제작 방식은, 복셀(voxel: volumetric pixel) 기반으로 3차원 입체 콘텐츠가 생성되는데, 복셀의 크기가 작을수록 세밀한 입체 정보와 색상 정보를 표현할 수 있어 콘텐츠의 선명도를 높일 수 있다.

하지만, 기존의 3차원 입체 콘텐츠 제작 방식에 의해 제작된 3차원 입체 콘텐츠는, 전체적으로 선명도가 균일하지 못하고, 2차원 이미지에 비해 일부 영역의 선명도가 저하되어 뭉개져 보이는 현상이 나타나는 문제가 있었다.

또한, 현재 제공 중인 3차원 입체 콘텐츠는, 데이터량이 크기 때문에 콘텐츠의 선명도를 높이기 위하여 데이터량을 증가시키는데에는 한계가 있었다.

따라서, 향후, 데이터량을 증가시키지 않으면서도 부분적으로 낮은 선명도가 개선된 3차원 입체 콘텐츠를 제공할 수 있는 3차원 입체 콘텐츠 서비스 제공 시스템의 개발이 요구되고 있다.

본 발명은, 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분의 복셀 크기를 작도록 복셀 데이터를 생성함으로써, 데이터량을 증가시키지 않으면서도 선명도가 개선된 3차원 입체 콘텐츠를 제공할 수 있는 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법을 제공하고자 한다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 3차원 입체 콘텐츠 서비스 제공 시스템은, 소정 객체를 촬영하여 콘텐츠 영상을 획득하는 영상 획득 장치와, 획득한 콘텐츠 영상을 3차원 입체 영상으로 가공하는 입체 영상 생성 장치를 포함하고, 입체 영상 생성 장치는, 콘텐츠 영상이 수신되면 콘텐츠 영상 중 특정 부분을 인식하고, 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출하며, 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정하고, 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하여 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공할 수 있다.

또한, 본 발명의 일 실시예에 따른 3차원 입체 콘텐츠 서비스 제공 방법은, 영상 획득 장치와 입체 영상 재생 장치에 통신 연결되는 입체 영상 생성 장치를 포함하는 3차원 입체 콘텐츠 서비스 제공 시스템의 3차원 입체 콘텐츠 서비스 제공 방법으로서, 영상 획득 장치가 소정 객체를 촬영하여 콘텐츠 영상을 획득하는 단계와, 입체 영상 생성 장치가 획득한 콘텐츠 영상 중 특정 부분을 인식하는 단계와, 입체 영상 생성 장치가 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출하는 단계와, 입체 영상 생성 장치가 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정하는 단계와, 입체 영상 생성 장치가 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하는 단계와, 입체 영상 생성 장치가 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩하는 단계와, 입체 영상 재생 장치가 3차원 입체 영상에 대한 데이터를 디코딩하고 렌더링을 수행하는 단계와, 그리고 입체 영상 재생 장치가 렌더링이 수행된 3차원 입체 영상을 재생하는 단계를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 입체 영상 생성 장치는, 영상 획득 장치와 입체 영상 재생 장치에 통신 연결되는 입체 영상 생성 장치로서, 영상 획득 장치로부터 획득한 콘텐츠 영상 중 특정 부분을 인식하는 특정 부분 인식부와, 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출하는 포인트 클라우드 추출부와, 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정하는 복셀 크기 결정부와, 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하는 복셀 데이터 생성부와, 그리고 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩하는 인코딩부를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법은, 특정 부분 인식부, 포인트 클라우드 추출부, 복셀 크기 결정부, 복셀 데이터 생성부, 그리고 인코딩부를 포함하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법으로서, 특정 부분 인식부가 영상 획득 장치로부터 획득한 콘텐츠 영상 중 특정 부분을 인식하는 단계와, 포인트 클라우드 추출부가 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출하는 단계와, 복셀 크기 결정부가 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정하는 단계와, 복셀 데이터 생성부가 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하는 단계와, 그리고 인코딩부가 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩하는 단계를 포함할 수 있다.

한편, 본 발명의 일 실시예는, 상기 3차원 입체 콘텐츠 서비스 제공 방법들 중 어느 하나의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램 및 상기 프로그램이 기록된 기록매체를 더 제공할 수도 있다.

상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법은, 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분의 복셀 크기를 작도록 복셀 데이터를 생성함으로써, 데이터량을 증가시키지 않으면서도 선명도가 개선된 3차원 입체 콘텐츠를 제공할 수 있다.

즉, 본 발명은, 콘텐츠 용량의 증가를 최소화하면서 콘텐츠 국소 부위의 선명도를 향상시킬 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 3차원 입체 콘텐츠 서비스 제공 시스템을 설명하기 위한 블럭 구성도이다.
도 2는 도 1의 영상 획득 장치를 설명하기 위한 도면이다.
도 3은 콘텐츠 영상의 특정 부분 인식 과정을 설명하기 위한 도면이다.
도 4는 콘텐츠 영상의 포인트 클라우드 추출 과정을 설명하기 위한 도면이다.
도 5 및 도 6은 콘텐츠 영상의 복셀 크기 결정 과정을 설명하기 위한 도면이다.
도 7(a) 및 도 7(b)는 복셀 크기에 상응하는 입체 영상을 보여주는 도면이다.
도 8은 도 1의 입체 영상 생성 장치를 설명하기 위한 블럭 구성도이다.
도 9는 본 발명에 따른 3차원 입체 콘텐츠 서비스 제공 시스템의 3차원 입체 콘텐츠 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 10 내지 도 13은 콘텐츠 영상의 특정 부분 인식 방법을 설명하기 위한 흐름도이다.

이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

실시예의 설명에 있어서, 각 구성 요소의 " 상(위) 또는 하(아래)", “전(앞) 또는 후(뒤)”에 형성되는 것으로 기재되는 경우에 있어, “상(위) 또는 하(아래)” 및“전(앞) 또는 후(뒤)”는 두 개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

그리고 본 발명을 설명함에 있어서 관련된 공지기술에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

본 발명의 3차원 입체 콘텐츠 서비스 제공 시스템은, AI 인식기술을 활용한 입체(Volumetric) 컨텐츠의 선명도를 향상시킴으로써, 선명도가 개선된 입체 콘텐츠 서비스를 제공하기 위한 시스템이다.

도 1은 본 발명에 따른 3차원 입체 콘텐츠 서비스 제공 시스템을 설명하기 위한 블럭 구성도이다.

도 1에 도시된 바와 같이, 소정 객체를 촬영하여 콘텐츠 영상을 획득하는 영상 획득 장치(100), 획득한 콘텐츠 영상을 3차원 입체 영상으로 가공하는 입체 영상 생성 장치(200), 그리고 3차원 입체 영상을 재생하는 입체 영상 재생 장치(300)를 포함할 수 있다.

여기서, 영상 획득 장치(100)는, 다수의 카메라들을 포함할 수 있는데, 다수의 카메라들을 통해 객체를 서로 다른 방향에서 동시에 촬영하여 콘텐츠 영상을 획득할 수 있다.

그리고, 입체 영상 생성 장치(200)는, 콘텐츠 영상이 수신되면 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분을 인식하고, 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드(point cloud)를 각각 분리하여 추출하며, 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀(voxel: volumetric pixel) 크기를 서로 다르게 결정하고, 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하여 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공할 수 있다.

여기서, 입체 영상 생성 장치(200)는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고, 특정 부분에 대한 정보가 미리 설정되어 있으면 설정된 정보를 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다.

이때, 입체 영상 생성 장치(200)는, 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인할 때, 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.

일 예로, 입체 영상 생성 장치(200)는, 콘텐츠 영상에 대한 정보와 선명도를 높이고자 하는 특정 부분에 대한 정보를 포함하는 데이터 테이블이 저장된 저장부를 포함할 수 있다.

경우에 따라, 입체 영상 생성 장치(200)는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분을 선택하는 사용자 입력이 있는지를 확인하고, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수도 있다.

여기서, 입체 영상 생성 장치(200)는, 사용자 입력이 있는지를 확인할 때, 사용자 입력이 없으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.

다른 경우로서, 입체 영상 생성 장치(200)는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고, 특정 부분에 대한 정보가 미리 설정되어 없으면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분을 선택하는 사용자 입력이 있는지를 확인하며, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수도 있다.

여기서, 입체 영상 생성 장치(200)는, 특정 부분에 대한 정보가 미리 설정되어 있지 않고 사용자 입력이 없으면, 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.

또한, 입체 영상 생성 장치(200)는, 포인트 클라우드를 추출할 때, 제1 영역과 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 더 분리하여 추출할 수도 있다.

여기서, 입체 영상 생성 장치(200)는, 제3 영역에 대한 포인트 클라우드를 분리할 때, 제1 영역의 위치를 토대로 제3 영역의 위치를 결정하고, 결정된 위치에 상응하는 제3 영역의 포인트 클라우드를 분리하여 추출할 수 있다.

그리고, 입체 영상 생성 장치(200)는, 제3 영역의 위치를 결정할 때, 제1 영역의 주변을 따라 둘러싸는 영역을 제3 영역의 위치로 결정할 수 있다.

이어, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 제1 영역에 대한 복셀 크기와 제2 영역에 대한 복셀 크기를 서로 다르게 결정할 수 있다.

여기서, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 제1 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작게 결정할 수 있다.

그 이유는, 콘텐츠 영상의 전체 부분에 대한 선명도를 높일 경우, 데이터량이 증가하여 전송 속도가 낮은 문제가 있지만, 콘텐츠 영상의 특정 부분에 대해서만 선명도를 높임으로써, 데이터량의 증가를 최소화하여 전송 속도가 빠르고 원하는 특정 부분의 선명도가 향상되므로 속도 및 화질면에서 사용자의 만족도를 높일 수 있기 때문이다.

경우에 따라, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 제1 영역과 제2 영역 사이에 위치하는 제3 영역에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 제3 영역에 대한 포인트 클라우드가 추출되면 포인트 클라우드를 토대로 제1, 제2, 제3 영역에 대한 복셀 크기를 서로 다르게 결정할 수도 있다.

여기서, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 제3 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작고 제1 영역에 대한 복셀 크기보다 더 크게 결정할 수 있다.

그 이유는, 제3 영역의 복셀 크기값이 제1 영역의 복셀 크기와 제2 영역의 복셀 크기 사이의 복셀 크기값을 갖지 않을 경우, 제1 영역과 제2 영역 사이에 복셀 크기 차로 인하여 경계선이 발생하여 콘텐츠 영상의 품질 저하를 가져올 수 있기 때문이다.

일 예로, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 제1 영역에 대한 복셀 크기값과 제2 영역에 대한 복셀 크기값 사이의 중간값을 갖도록 제3 영역에 대한 복셀 크기를 결정할 수 있다.

그리고, 입체 영상 생성 장치(200)는, 콘텐츠 영상을 3차원 입체 영상으로 가공할 때, 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하여 콘텐츠 영상을 3차원 입체 영상으로 가공하며, 가공된 3차원 입체 영상에 대한 데이터를 인코딩하여 전송할 수 있다.

한편, 입체 영상 재생 장치(200)는, 3차원 입체 영상을 재생할 때, 가공된 3차원 입체 영상에 대한 데이터가 수신되면 데이터를 디코딩하고 렌더링을 수행하여 3차원 입체 영상을 재생할 수 있다.

일 예로, 입체 영상 재생 장치(200)는, 사용자 스피커를 포함할 수 있는데, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함되는 이동 단말기에 적용될 수도 있고, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에 적용될 수도 있다.

이와 같이, 본 발명은, 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분의 복셀 크기를 작도록 복셀 데이터를 생성함으로써, 데이터량을 증가시키지 않으면서도 선명도가 개선된 3차원 입체 콘텐츠를 제공할 수 있다.

도 2는 도 1의 영상 획득 장치를 설명하기 위한 도면이다.

도 2에 도시된 바와 같이, 본 발명의 영상 획득 장치는, 소정 객체(110)를 촬영하여 콘텐츠 영상을 획득하는 다수의 카메라(120)들을 포함할 수 있다.

즉, 영상 획득 장치는, 다수의 카메라(120)들을 포함할 수 있는데, 다수의 카메라(120)들을 통해 객체(110)를 서로 다른 방향에서 동시에 촬영하여 콘텐츠 영상을 획득할 수 있다.

예를 들면, 본 발명은, 크로마키된 스튜디오에서, 30대 이상의 카메라를 통해 액터를 촬영하고, 촬영된 2차원 이미지로부터 3차원 위치 정보와 색상 정보를 추출하여 3차원 입체 콘텐츠를 제작할 수 있는데, 이에 한정되는 것은 아니다.

도 3은 콘텐츠 영상의 특정 부분 인식 과정을 설명하기 위한 도면이다.

도 3에 도시된 바와 같이, 본 발명의 입체 영상 생성 장치는, 콘텐츠 영상이 수신되면 콘텐츠 영상(130) 중 선명도를 높이고자 하는 특정 부분(140)을 인식할 수 있다.

일 실시예로서, 입체 영상 생성 장치는, 콘텐츠 영상(130)을 수신하면 수신한 콘텐츠 영상(130)에서 선명도를 높이고자 하는 특정 부분(140)에 대한 정보가 미리 설정되어 있는지를 확인하고, 특정 부분(140)에 대한 정보가 미리 설정되어 있으면 설정된 정보를 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다.

여기서, 입체 영상 생성 장치는, 특정 부분(140)에 대한 정보가 미리 설정되어 있지 않으면 콘텐츠 영상(130)의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.

입체 영상 생성 장치는, 콘텐츠 영상(130)에 대한 정보와 선명도를 높이고자 하는 특정 부분(140)에 대한 정보를 포함하는 데이터 테이블을 저장할 수 있다.

일 예로, 데이터 테이블은, 객체의 형상, 크기, 움직임 정도에 따라 분류되는 다수의 콘텐츠 영상(130)들에 대한 정보를 포함할 수 있는데, 분류된 각 콘텐츠 영상(130)에 상응하여 하나 또는 다수의 특정 부분(140)에 대한 정보를 포함할 수 있다.

예를 들면, 다수의 콘텐츠 영상들에 대한 정보는, 객체의 형상에 따라 분류되는 사람, 동물, 무생물에 상응하는 콘텐츠 영상(130)들에 대한 정보, 객체의 크기에 따라 분류되는 대형, 중형, 소형에 상응하는 콘텐츠 영상(130)들에 대한 정보, 그리고 객체의 움직임 정도에 따라 분류되는 고속, 중속, 저속, 움직임이 없는 고정에 상응하는 콘텐츠 영상(130)들에 대한 정보를 포함할 수 있다.

도 3과 같이, 콘텐츠 영상(130)이 댄서일 경우, 댄서의 전체 영역 중 얼굴 영역(142) 및 손 영역(144)을 특정 부분(140)으로 미리 설정될 수 있다.

즉, 콘텐츠 영상(130)이 댄서일 경우, 콘텐츠 영상에 대한 정보는, 객체 형상이 사람이고, 객체 크기가 중형 크기이며, 움직임 정도가 중간 속도를 포함할 수 있으며, 이러한 정보들을 토대로 콘텐츠 영상(130)의 전체 영역 중 선명도를 높일 특정 부분이 미리 설정될 수 있다.

다른 실시 예로서, 본 발명의 입체 영상 생성 장치는, 특정 부분(140)을 인식할 때, 콘텐츠 영상(130)을 수신하면 수신한 콘텐츠 영상(130)에서 선명도를 높이고자 하는 특정 부분(140)을 선택하는 사용자 입력이 있는지를 확인하고, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상(130)을 분석하여 콘텐츠 영상(130) 중 특정 부분(140)을 인식할 수도 있다.

여기서, 입체 영상 생성 장치는, 사용자 입력이 있는지를 확인할 때, 사용자 입력이 없으면 콘텐츠 영상(130)의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.

또한, 입체 영상 생성 장치는, 사용자 입력이 있는지를 확인할 때, 콘텐츠 영상(130)에서 선명도를 높이고자 하는 특정 부분(140)에 대한 선택 여부를 문의하는 질문창을 생성하고, 생성된 질문창을 미리 설정된 사용자 디바이스로 전송하며, 사용자 디바이스로부터 특정 부분(140)을 선택하는 사용자 입력이 있는지를 확인할 수 있다.

또 다른 실시 예로서, 본 발명의 입체 영상 생성 장치는, 특정 부분(140)을 인식할 때, 콘텐츠 영상(130)을 수신하면 수신한 콘텐츠 영상(130)을 분석하고, 분석 결과를 토대로 선명도를 높이고자 하는 특정 부분(130)을 자동 결정하여 인식할 수도 있다.

여기서, 입체 영상 생성 장치는, 수신한 콘텐츠 영상(130)을 분석할 때, 콘텐츠 영상(130)을 다수의 서브 영역으로 나누고, 각 서브 영역에 대한 객체의 복잡도를 분석할 수 있다.

일 예로, 입체 영상 생성 장치는, 선명도를 높이고자 하는 특정 부분(140)을 자동 결정할 때, 분석 결과를 토대로 다수의 서브 영역으로 나누어진 콘텐츠 영상(130) 중 복잡도가 기준값 이상인 서브 영역을 추출하고, 추출한 서브 영역을 선명도를 높이고자 하는 특정 부분(140)으로 자동 결정할 수 있다.

즉, 입체 영상 생성 장치는, 수신한 콘텐츠 영상(130)을 분석할 때, 콘텐츠 영상(130)에 대한 콘텐츠 타입을 분석할 수 있다.

그리고, 입체 영상 생성 장치는, 선명도를 높이고자 하는 특정 부분을 자동 결정할 때, 분석 결과를 토대로 콘텐츠 영상에 대한 콘텐츠 타입에 상응하여 선명도를 높이고자 하는 특정 부분을 자동 결정할 수 있다.

예를 들면, 입체 영상 생성 장치는, 콘텐츠 영상(130)의 콘텐츠 타입이 댄스이면 얼굴, 팔, 다리 등이 선명도를 높이고자 하는 특정 부분일 수 있고, 콘텐츠 영상(130)의 콘텐츠 타입이 축구이면 다리, 백넘버 등이 선명도를 높이고자 하는 특정 부분일 수 있으며, 콘텐츠 영상(130)의 콘텐츠 타입이 강의이면 칠판, 손 등이 선명도를 높이고자 하는 특정 부분일 수 있다.

이처럼, 본 발명은, 콘텐츠 영상(130)에 대한 콘텐츠 타입을 분석하여 그에 상응하는 특정 부분을 자동 결정할 수도 있다.

또 다른 실시 예로서, 본 발명의 입체 영상 생성 장치는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고, 특정 부분에 대한 정보가 미리 설정되어 없으면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분을 선택하는 사용자 입력이 있는지를 확인하며, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수도 있다.

여기서, 입체 영상 생성 장치는, 특정 부분에 대한 정보가 미리 설정되어 있지 않고 사용자 입력이 없으면, 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.

그리고, 입체 영상 생성 장치는, 사용자 입력이 있는지를 확인할 때, 사용자 입력이 없으면 콘텐츠 영상(130)에서 선명도를 높이고자 하는 특정 부분(140)에 대한 선택 여부를 문의하는 질문창을 생성하고, 생성된 질문창을 미리 설정된 사용자 디바이스로 전송하며, 사용자 디바이스로부터 특정 부분(140)을 선택하는 사용자 입력이 있는지를 확인할 수 있다.

도 4는 콘텐츠 영상의 포인트 클라우드 추출 과정을 설명하기 위한 도면이다.

도 4에 도시된 바와 같이, 본 발명의 입체 영상 생성 장치는, 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드(point cloud)(202)를 각각 분리하여 포인트 클라우드(202)에 상응하는 (X, Y, Z, T) 좌표 데이터를 추출할 수 있다.

경우에 따라, 입체 영상 생성 장치는, 포인트 클라우드를 추출할 때, 제1 영역과 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 더 분리하여 추출할 수도 있다.

그 이유는, 제1 영역과 제2 영역 사이의 버퍼 영역인 제3 영역을 배치함으로써, 복셀 크기를 결정할 때, 제1 영역과 제2 영역 사이의 복셀 크기 차이를 줄여 제1 영역과 제2 영역 사이에 발생하는 경계선과 같은 노이즈 제거 및 콘텐츠 영상의 품질을 향상시킬 수 있기 때문이다.

여기서, 입체 영상 생성 장치는, 제3 영역에 대한 포인트 클라우드를 분리할 때, 제1 영역의 위치를 토대로 제3 영역의 위치를 결정하고, 결정된 위치에 상응하는 제3 영역의 포인트 클라우드를 분리하여 추출할 수 있다.

즉, 입체 영상 생성 장치는, 제3 영역의 위치를 결정할 때, 제1 영역의 주변을 따라 둘러싸는 영역을 제3 영역의 위치로 결정할 수 있다.

경우에 따라, 입체 영상 생성 장치는, 제3 영역의 위치를 결정할 때, 제1 영역의 면적을 토대로 제3 영역의 면적을 결정할 수도 있다.

일 예로, 입체 영상 생성 장치는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적이 증감하면 제1 영역의 면적 증감 비율에 비례하여 제3 영역의 면적을 증감할 수 있다.

여기서, 입체 영상 생성 장치는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적보다 더 작은 면적을 갖도록 제3 영역의 면적을 결정할 수 있다.

예를 들면, 입체 영상 생성 장치는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적 대비 약 10% ~ 약 60% 인 면적을 갖도록 제3 영역의 면적을 결정할 수 있지만, 이에 한정되지는 않는다.

도 5 및 도 6은 콘텐츠 영상의 복셀 크기 결정 과정을 설명하기 위한 도면이다.

도 5에 도시된 바와 같이, 본 발명의 입체 영상 생성 장치는, 포인트 클라우드를 토대로 제1 영역(520)과 제2 영역(510)에 대한 복셀(voxel: volumetric pixel) 크기를 서로 다르게 결정하고, 결정된 복셀 크기에 상응하는 복셀 데이터를 생성할 수 있다.

여기서, 입체 영상 생성 장치는, 복셀 크기를 결정할 때, 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 제1 영역(520)에 대한 복셀 크기와 제2 영역(510)에 대한 복셀 크기를 서로 다르게 결정할 수 있다.

일 예로, 입체 영상 생성 장치는, 복셀 크기를 결정할 때, 제1 영역(520)에 대한 복셀 크기를 제2 영역(510)에 대한 복셀 크기보다 더 작게 결정할 수 있다.

예를 들면, 입체 영상 생성 장치는, 복셀 크기를 결정할 때, 제2 영역에 대한 복셀 크기 대비 약 1% ~ 약 60%인 복셀 크기를 갖도록 제1 영역에 대한 복셀 크기를 작게 결정할 수 있다.

그 이유는, 콘텐츠 영상의 복셀 크기가 작을수록 세밀한 입체 정보와 색상 정보를 표현할 수 있어 콘텐츠 영상의 선명도가 증가하기 때문이다.

한편, 도 6에 도시된 바와 같이, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 제1 영역(520)과 제2 영역(510) 사이에 위치하는 제3 영역(530)에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 제3 영역(530)에 대한 포인트 클라우드가 추출되면 포인트 클라우드를 토대로 제1, 제2, 제3 영역(520, 510, 530)에 대한 복셀 크기를 서로 다르게 결정할 수도 있다.

여기서, 입체 영상 생성 장치는, 복셀 크기를 결정할 때, 제3 영역(530)에 대한 복셀 크기를 제2 영역(510)에 대한 복셀 크기보다 더 작고 제1 영역(520)에 대한 복셀 크기보다 더 크게 결정할 수 있다.

그 이유는, 제3 영역(530)의 복셀 크기값이 제1 영역(520)의 복셀 크기와 제2 영역(510)의 복셀 크기 사이의 복셀 크기값을 갖지 않을 경우, 제1 영역(520)과 제2 영역(510) 사이에 경계선이 발생하여 콘텐츠 영상의 품질 저하를 가져올 수 있기 때문이다.

일 예로, 입체 영상 생성 장치는, 복셀 크기를 결정할 때, 제1 영역(520)에 대한 복셀 크기값과 제2 영역(510)에 대한 복셀 크기값 사이의 중간값을 갖도록 제3 영역(530)에 대한 복셀 크기를 결정할 수 있다.

도 7(a) 및 도 7(b)는 복셀 크기에 상응하는 입체 영상을 보여주는 도면이다.

도 7(a)에 도시된 바와 같이, 콘텐츠 영상의 전체 부분을 동일한 복셀 크기로 결정하여 생성된 복셀 데이터를 토대로 콘텐츠 영상을 가공하여 재생할 경우, 재생되는 콘텐츠 영상의 선명도가 저하되어 입체 영상의 품질 저하를 가져올 수 있다.

일 예로, 도 7(a)와 같이, 약 3mm 복셀 크기를 갖는 약 65만개의 콘텐츠 영상을 가공하여 재생할 경우, 재생되는 콘텐츠 영상의 선명도가 저하될 수 있다.

이에 비해, 도 7(b)와 같이, 약 1.25mm 복셀 크기를 갖는 약 150만개의 콘텐츠 영상을 가공하여 재생할 경우, 재생되는 콘텐츠 영상의 선명도가 향상될 수 있다.

하지만, 도 7(b)와 같이, 콘텐츠 영상의 전체 부분에 대한 복셀 크기가 작을수록 선명도가 향상될 수 있지만, 데이터량이 증가하여 재생 속도가 매우 느려질 수 있다.

따라서, 본 발명은, 콘텐츠 영상의 전체 부분 중 특정 부분에 대해서만 복셀 크기를 작게 구현함으로써, 데이터량을 최소화하면서도 재생되는 콘텐츠 영상의 선명도를 개선시켜 사용자 만족도를 높일 수 있다.

일 예로, 본 발명은, 콘텐츠 영상의 전체 부분 중 특정 부분인 얼굴 영역에 대해 약 1.25mm 복셀 크기로 가공하고, 특정 부분 이외의 다른 영역에 대해 약 3mm 복셀 크기로 가공할 경우, 콘텐츠 영상의 데이터량을 최소화하면서도 콘텐츠 영상의 선명도를 개선시킬 수 있다.

경우에 따라, 본 발명은, 약 1.25mm 복셀 크기를 갖는 얼굴 영역과 약 3mm 복셀 크기를 갖는 다른 영역 사이에 약 2mm 복셀 크기를 갖는 버퍼 영역을 배치할 수도 있다.

즉, 버퍼 영역은, 콘텐츠 영상의 얼굴 영역 주변에 위치할 수 있다.

여기서, 버퍼 영역의 면적은, 얼굴 영역의 면적을 토대로 결정될 수 있다.

일 예로, 버퍼 영역의 면적은, 얼굴 영역의 면적이 증감하면 얼굴 영역의 면적 증감 비율에 비례하여 증감할 수 있다.

즉, 버퍼 영역의 면적은, 얼굴 영역의 면적보다 더 작은 면적을 갖도록 결정할 수 있다.

예를 들면, 버퍼 영역의 면적은, 얼굴 영역의 면적 대비 약 10% ~ 약 60% 인 면적을 갖도록 결정할 수 있지만, 이에 한정되지는 않는다.

이와 같이, 본 발명은, 콘텐츠 영상의 얼굴 영역 주변에 위치하는 버퍼 영역에 대해 약 2mm 복셀 크기로 가공할 경우, 약 1.25mm 복셀 크기를 갖는 얼굴 영역과 약 3mm 복셀 크기를 갖는 다른 영역 사이에 경계선과 같은 노이즈 발생을 제거하여 콘텐츠 영상의 품질을 향상시킬 수 있다.

도 8은 도 1의 입체 영상 생성 장치를 설명하기 위한 블럭 구성도이다.

도 8에 도시된 바와 같이, 입체 영상 생성 장치(200)는, 영상 획득 장치로부터 획득한 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분을 인식하는 특정 부분 인식부(210), 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출하는 포인트 클라우드 추출부(220), 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정하는 복셀 크기 결정부(230), 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하는 복셀 데이터 생성부(240), 그리고 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩하는 인코딩부(250)를 포함할 수 있다.

특정 부분 인식부(210)는, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고, 특정 부분에 대한 정보가 미리 설정되어 있으면 설정된 정보를 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다.

여기서, 특정 부분 인식부(210)는, 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인할 때, 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.

경우에 따라, 입체 영상 생성 장치(200)는, 콘텐츠 영상에 대한 정보와 선명도를 높이고자 하는 특정 부분에 대한 정보를 포함하는 데이터 테이블이 저장된 저장부를 더 포함할 수도 있다.

여기서, 데이터 테이블은, 객체의 형상, 크기, 움직임 정도에 따라 분류되는 다수의 콘텐츠 영상들에 대한 정보를 포함하고, 분류된 각 콘텐츠 영상에 상응하여 하나 또는 다수의 특정 부분에 대한 정보를 포함할 수 있다.

일 예로, 다수의 콘텐츠 영상들에 대한 정보는, 객체의 형상에 따라 분류되는 사람, 동물, 무생물에 상응하는 콘텐츠 영상들에 대한 정보, 객체의 크기에 따라 분류되는 대형, 중형, 소형에 상응하는 콘텐츠 영상들에 대한 정보, 그리고 객체의 움직임 정도에 따라 분류되는 고속, 중속, 저속, 움직임이 없는 고정에 상응하는 콘텐츠 영상들에 대한 정보를 포함할 수 있다.

또한, 특정 부분 인식부(210)는, 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인할 때, 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 특정 부분을 선택하는 사용자 입력이 있는지를 확인하고, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수도 있다.

여기서, 특정 부분 인식부(210)는, 사용자 입력이 있는지를 확인할 때, 사용자 입력이 없으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.

경우에 따라, 특정 부분 인식부(210)는, 사용자 입력이 있는지를 확인할 때, 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 선택 여부를 문의하는 질문창을 생성하고, 생성된 질문창을 미리 설정된 사용자 디바이스로 전송하며, 사용자 디바이스로부터 특정 부분을 선택하는 사용자 입력이 있는지를 확인할 수도 있다.

다른 실시 예로서, 특정 부분 인식부(210)는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분을 선택하는 사용자 입력이 있는지를 확인하고, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다.

또 다른 실시 예로서, 특정 부분 인식부(210)는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상을 분석하고, 분석 결과를 토대로 선명도를 높이고자 하는 특정 부분을 자동 결정하여 인식할 수 있다.

여기서, 특정 부분 인식부(210)는, 수신한 콘텐츠 영상을 분석할 때, 콘텐츠 영상을 다수의 서브 영역으로 나누고, 각 서브 영역에 대한 객체의 복잡도를 분석할 수 있다.

그리고, 특정 부분 인식부(210)는, 선명도를 높이고자 하는 특정 부분을 자동 결정할 때, 분석 결과를 토대로 다수의 서브 영역으로 나누어진 콘텐츠 영상 중 복잡도가 기준값 이상인 서브 영역을 추출하고, 추출한 서브 영역을 상기 선명도를 높이고자 하는 특정 부분으로 자동 결정할 수 있다.

여기서, 특정 부분 인식부(210)는, 수신한 콘텐츠 영상을 분석할 때, 콘텐츠 영상에 대한 콘텐츠 타입을 분석할 수 있다.

그리고, 특정 부분 인식부(210)는, 선명도를 높이고자 하는 특정 부분을 자동 결정할 때, 분석 결과를 토대로 콘텐츠 영상에 대한 콘텐츠 타입에 상응하여 선명도를 높이고자 하는 특정 부분을 자동 결정할 수 있다.

다음, 포인트 클라우드 추출부(220)는, 제1 영역과 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 더 분리하여 추출할 수 있다.

여기서, 포인트 클라우드 추출부(220)는, 제3 영역에 대한 포인트 클라우드를 분리할 때, 제1 영역의 위치를 토대로 제3 영역의 위치를 결정하고, 결정된 위치에 상응하는 제3 영역의 포인트 클라우드를 분리하여 추출할 수 있다.

그리고, 포인트 클라우드 추출부(220)는, 제3 영역의 위치를 결정할 때, 제1 영역의 주변을 따라 둘러싸는 영역을 제3 영역의 위치로 결정할 수 있다.

경우에 따라, 포인트 클라우드 추출부(220)는, 제3 영역의 위치를 결정할 때, 제1 영역의 면적을 토대로 제3 영역의 면적을 결정할 수도 있다.

일 예로, 포인트 클라우드 추출부(220)는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적이 증감하면 제1 영역의 면적 증감 비율에 비례하여 제3 영역의 면적을 증감할 수 있다.

여기서, 포인트 클라우드 추출부(220)는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적보다 더 작은 면적을 갖도록 제3 영역의 면적을 결정할 수 있다.

예를 들면, 포인트 클라우드 추출부(220)는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적 대비 약 10% ~ 약 60% 인 면적을 갖도록 제3 영역의 면적을 결정할 수 있다.

이어, 복셀 크기 결정부(230)는, 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 제1 영역에 대한 복셀 크기와 제2 영역에 대한 복셀 크기를 서로 다르게 결정할 수 있다.

즉, 복셀 크기 결정부(230)는, 제1 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작게 결정할 수 있다.

일 예로, 복셀 크기 결정부(230)는, 제2 영역에 대한 복셀 크기 대비 약 1% ~ 약 60%인 복셀 크기를 갖도록 제1 영역에 대한 복셀 크기를 작게 결정할 수 있다.

그리고, 복셀 크기 결정부(230)는, 제1 영역과 제2 영역 사이에 위치하는 제3 영역에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 제3 영역에 대한 포인트 클라우드가 추출되면 포인트 클라우드를 토대로 제1, 제2, 제3 영역에 대한 복셀 크기를 서로 다르게 결정할 수 있다.

여기서, 복셀 크기 결정부(230)는, 제3 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작고 제1 영역에 대한 복셀 크기보다 더 크게 결정할 수 있다.

일 예로, 복셀 크기 결정부(230)는, 제1 영역에 대한 복셀 크기값과 제2 영역에 대한 복셀 크기값 사이의 중간값을 갖도록 제3 영역에 대한 복셀 크기를 결정할 수 있다.

도 9는 본 발명에 따른 3차원 입체 콘텐츠 서비스 제공 시스템의 3차원 입체 콘텐츠 서비스 제공 방법을 설명하기 위한 흐름도이고, 도 10 내지 도 13은 콘텐츠 영상의 특정 부분 인식 방법을 설명하기 위한 흐름도이다.

도 9에 도시된 바와 같이, 본 발명은, 소정 객체를 촬영하여 콘텐츠 영상을 획득할 수 있다(S10).

그리고, 본 발명은, 획득한 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분을 인식할 수 있다(S20).

제1 실시 예로서, 본 발명은, 도 10과 같이, 특정 부분을 인식하는 단계(S20)에서, 획득한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고(S22), 특정 부분에 대한 정보가 미리 설정되어 있으면 설정된 정보를 토대로 상기 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다(S26).

여기서, 본 발명은, 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다(S28).

경우에 따라, 제2 실시 예로서, 본 발명은, 도 11과 같이, 특정 부분을 인식하는 단계(S20)에서, 획득한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고(S22), 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 특정 부분을 선택하는 사용자 입력이 있는지를 확인하며(S24), 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다(S26).

여기서, 본 발명은, 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인할 때, 특정 부분에 대한 정보가 미리 설정되어 있으면 설정된 정보를 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다(S26).

그리고, 본 발명은, 사용자 입력이 없으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다(S28).

또한, 본 발명은, 사용자 입력이 있는지를 확인할 때, 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 선택 여부를 문의하는 질문창을 생성하고, 생성된 질문창을 미리 설정된 사용자 디바이스로 전송하며, 사용자 디바이스로부터 특정 부분을 선택하는 사용자 입력이 있는지를 확인할 수도 있다.

제3 실시 예로서, 본 발명은, 도 12와 같이, 특정 부분을 인식하는 단계(S20)에서, 획득한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분을 선택하는 사용자 입력이 있는지를 확인하고(S21), 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하며(S23), 분석된 콘텐츠 영상을 토대로 콘텐츠 영상 중 특정 부분을 인식할 수 있다(S26).

여기서, 본 발명은, 사용자 입력이 없으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다(S28).

또한, 본 발명은, 사용자 입력이 있는지를 확인할 때, 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 선택 여부를 문의하는 질문창을 생성하고, 생성된 질문창을 미리 설정된 사용자 디바이스로 전송하며, 사용자 디바이스로부터 특정 부분을 선택하는 사용자 입력이 있는지를 확인할 수도 있다.

제4 실시 예로서, 도 13과 같이, 특정 부분을 인식하는 단계(S20)에서, 획득한 콘텐츠 영상을 분석하고(S23), 분석 결과를 토대로 선명도를 높이고자 하는 특정 부분을 자동 결정하며(S25), 자동 결정에 따라 콘텐츠 영상 중 특정 부분을 인식할 수 있다(S26).

여기서, 본 발명은, 획득한 콘텐츠 영상을 분석할 때, 콘텐츠 영상을 다수의 서브 영역으로 나누고, 각 서브 영역에 대한 객체의 복잡도를 분석할 수 있다.

그리고, 본 발명은, 선명도를 높이고자 하는 특정 부분을 자동 결정할 때, 분석 결과를 토대로 다수의 서브 영역으로 나누어진 콘텐츠 영상 중 복잡도가 기준값 이상인 서브 영역을 추출하고, 추출한 서브 영역을 선명도를 높이고자 하는 특정 부분으로 자동 결정할 수 있다.

그 이유는, 콘텐츠 영상 중 복잡도가 높은 부분이 복잡도가 낮은 부분에 비해 선명도가 저하되고 뭉개지는 노이즈 현상이 발생할 수 있기 때문이다.

따라서, 콘텐츠 영상 중 복잡도가 높은 부분을 특정 부분으로 인식하여 복셀 크기를 작게 가공할 경우, 콘텐츠 영상의 품질을 개선할 수 있다.

경우에 따라, 본 발명은, 획득한 콘텐츠 영상을 분석할 때, 콘텐츠 영상에 대한 콘텐츠 타입을 분석할 수도 있다.

그 이유는, 콘텐츠 타입에 적합하게 선명도를 높여야 할 특정 부분들을 효과적으로 인식하여 복셀 크기를 작게 가공할 경우, 콘텐츠 영상의 품질을 개선할 수 있다.

예를 들면, 콘텐츠 타입이 축구에 관련된 스포츠이면 콘텐츠 영상 중 축구 선수의 다리 및 축구공 등에 특정 부분을 인식하고, 콘텐츠 타입이 강의에 관련된 교육이면 콘텐츠 영상 중 강사의 손 및 칠판 등에 특정 부분을 인식할 수 있다.

그리고, 본 발명은, 선명도를 높이고자 하는 특정 부분을 자동 결정할 때, 분석 결과를 토대로 콘텐츠 영상에 대한 콘텐츠 타입에 상응하여 선명도를 높이고자 하는 특정 부분을 자동 결정할 수 있다.

이어, 본 발명은, 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출할 수 있다(S30, S40).

경우에 따라, 본 발명은, 제1 영역과 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 더 분리하여 추출할 수도 있다.

여기서, 본 발명은, 제1 영역의 위치를 토대로 제3 영역의 위치를 결정하고, 결정된 위치에 상응하는 제3 영역의 포인트 클라우드를 분리하여 추출할 수 있다.

일 예로, 본 발명은, 제3 영역의 위치를 결정할 때, 제1 영역의 주변을 따라 둘러싸는 영역을 제3 영역의 위치로 결정할 수 있다.

다른 예로, 본 발명은, 제3 영역의 위치를 결정할 때, 제1 영역의 면적을 토대로 제3 영역의 면적을 결정할 수 있다.

여기서, 본 발명은, 제3 영역의 면적을 결정할 때, 제1 영역의 면적이 증감하면 제1 영역의 면적 증감 비율에 비례하여 제3 영역의 면적을 증감할 수 있다.

즉, 본 발명은, 제1 영역의 면적보다 더 작은 면적을 갖도록 제3 영역의 면적을 결정할 수 있다.

그 이유는, 제3 영역의 면적이 너무 크면 데이터량이 증가하고, 제2 영역의 면적이 너무 작으면 제1 영역과 제2 영역 사이에 경계선 등의 노이즈 발생이 제거되지 않을 수 있기 때문이다.

예를 들면, 본 발명은, 제1 영역의 면적 대비 약 10% ~ 약 60% 인 면적을 갖도록 제3 영역의 면적을 결정할 수 있다.

다음, 본 발명은, 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정할 수 있다(S50, S60).

여기서, 본 발명은, 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 제1 영역에 대한 복셀 크기와 제2 영역에 대한 복셀 크기를 서로 다르게 결정할 수 있다.

즉, 본 발명은, 제1 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작게 결정할 수 있다.

일 예로, 본 발명은, 제2 영역에 대한 복셀 크기 대비 약 1% ~ 약 60%인 복셀 크기를 갖도록 제1 영역에 대한 복셀 크기를 작게 결정할 수 있다.

경우에 따라, 본 발명은, 복셀 크기를 결정할 때, 제1 영역과 제2 영역 사이에 위치하는 제3 영역에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 제3 영역에 대한 포인트 클라우드가 추출되면 포인트 클라우드를 토대로 제1, 제2, 제3 영역에 대한 복셀 크기를 서로 다르게 결정할 수도 있다.

여기서, 본 발명은, 제3 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작고 제1 영역에 대한 복셀 크기보다 더 크게 결정할 수 있다.

따라서, 본 발명은, 제1 영역에 대한 복셀 크기값과 제2 영역에 대한 복셀 크기값 사이의 중간값을 갖도록 제3 영역에 대한 복셀 크기를 결정할 수 있다.

그리고, 본 발명은, 결정된 복셀 크기에 상응하는 복셀 데이터를 생성할 수 있다.

이어, 본 발명은, 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩할 수 있다(S70).

다음, 본 발명은, 3차원 입체 영상에 대한 데이터를 디코딩하고 렌더링을 수행할 수 있다(S80).

그리고, 본 발명은, 렌더링이 수행된 3차원 입체 영상을 재생할 수 있다(S90).

여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다.

상술한 실시예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 형태로 구현되는 것도 포함된다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상술한 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

100: 영상 획득 장치
200: 입체 영상 생성 장치
210: 특정 부분 인식부
220: 포인트 클라우드 추출부
230: 복셀 크기 결정부
240: 복셀 데이터 생성부
250: 인코딩부
300: 입체 영상 재생 장치

Claims

소정의 단일 객체를 촬영하여 콘텐츠 영상을 획득하는 영상 획득 장치; 그리고,
상기 획득한 콘텐츠 영상을 3차원 입체 영상으로 가공하는 입체 영상 생성 장치를 포함하고,
상기 입체 영상 생성 장치는,
상기 콘텐츠 영상이 수신되면 선명도를 높이고자 하는 미리 설정된 특정 부분을 인식하고, 상기 콘텐츠 영상 중 상기 특정 부분에 상응하는 제1 영역과 상기 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출하며, 상기 포인트 클라우드를 토대로 제1 영역의 복셀 크기를 제2 영역의 복셀 크기에 비해 작게 결정하고, 상기 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하여 상기 복셀 데이터를 토대로 상기 콘텐츠 영상을 3차원 입체 영상으로 가공하며, 상기 포인트 클라우드를 추출할 때 상기 제1 영역과 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 더 분리하여 추출하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 시스템.
제1 항에 있어서, 상기 영상 획득 장치는,
다수의 카메라들을 포함하고,
상기 다수의 카메라들을 통해 상기 객체를 서로 다른 방향에서 동시에 촬영하여 상기 콘텐츠 영상을 획득하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 시스템.
삭제
제1항에 있어서, 상기 입체 영상 생성 장치는,
상기 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인할 때, 상기 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 상기 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 시스템.
삭제
제1 항에 있어서, 상기 입체 영상 생성 장치는,
상기 복셀 크기를 결정할 때, 상기 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 상기 제1 영역에 대한 복셀 크기와 상기 제2 영역에 대한 복셀 크기를 서로 다르게 결정하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 시스템.
제1 항에 있어서, 상기 입체 영상 생성 장치는,
상기 복셀 크기를 결정할 때, 상기 제1 영역에 대한 복셀 크기를 상기 제2 영역에 대한 복셀 크기보다 더 작게 결정하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 시스템.
제1 항에 있어서, 상기 입체 영상 생성 장치는,
상기 복셀 크기를 결정할 때, 상기 제1 영역과 제2 영역 사이에 위치하는 제3 영역에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 상기 제3 영역에 대한 포인트 클라우드가 추출되면 상기 포인트 클라우드를 토대로 상기 제1, 제2, 제3 영역에 대한 복셀 크기를 서로 다르게 결정하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 시스템.
제8 항에 있어서, 상기 입체 영상 생성 장치는,
상기 복셀 크기를 결정할 때, 상기 제3 영역에 대한 복셀 크기를 상기 제2 영역에 대한 복셀 크기보다 더 작고 상기 제1 영역에 대한 복셀 크기보다 더 크게 결정하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 시스템.
제1 항에 있어서, 상기 입체 영상 생성 장치는,
상기 콘텐츠 영상을 3차원 입체 영상으로 가공할 때, 상기 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하여 상기 콘텐츠 영상을 3차원 입체 영상으로 가공하며, 상기 가공된 3차원 입체 영상에 대한 데이터를 인코딩하여 전송하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 시스템.
제1 항에 있어서,
상기 3차원 입체 영상을 재생하는 입체 영상 재생 장치를 더 포함하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 시스템.
제11 항에 있어서, 상기 입체 영상 재생 장치는,
상기 3차원 입체 영상을 재생할 때, 상기 가공된 3차원 입체 영상에 대한 데이터가 수신되면 상기 데이터를 디코딩하고 렌더링을 수행하여 3차원 입체 영상을 재생하는 3차원 입체 콘텐츠 서비스 제공 시스템.
영상 획득 장치와 입체 영상 재생 장치에 통신 연결되는 입체 영상 생성 장치를 포함하는 3차원 입체 콘텐츠 서비스 제공 시스템의 3차원 입체 콘텐츠 서비스 제공 방법에 있어서,
상기 영상 획득 장치가, 소정의 단일 객체를 촬영하여 콘텐츠 영상을 획득하는 단계;
상기 입체 영상 생성 장치가, 상기 획득한 콘텐츠 영상 중 선명도를 높이고자 하는 미리 설정된 특정 부분을 인식하는 단계;
상기 입체 영상 생성 장치가, 상기 콘텐츠 영상 중 상기 특정 부분에 상응하는 제1 영역과 상기 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출하는 단계;
상기 입체 영상 생성 장치가, 상기 포인트 클라우드를 토대로 제1 영역의 복셀 크기를 제2 영역의 복셀 크기에 비해 작게 결정하는 단계;
상기 입체 영상 생성 장치가, 상기 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하는 단계;
상기 입체 영상 생성 장치가, 상기 복셀 데이터를 토대로 상기 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩하는 단계;
상기 입체 영상 재생 장치가, 상기 3차원 입체 영상에 대한 데이터를 디코딩하고 렌더링을 수행하는 단계; 그리고,
상기 입체 영상 재생 장치가, 상기 렌더링이 수행된 3차원 입체 영상을 재생하는 단계를 포함하며,
상기 포인트 클라우드를 추출하는 단계는,
상기 제1 영역과 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 더 분리하여 추출하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 방법.
삭제
제13항에 있어서, 상기 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하는 단계는,
상기 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 상기 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 방법.
삭제
제13 항에 있어서, 상기 복셀 크기를 결정하는 단계는,
상기 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 상기 제1 영역에 대한 복셀 크기와 상기 제2 영역에 대한 복셀 크기를 서로 다르게 결정하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 방법.
제13 항에 있어서, 상기 복셀 크기를 결정하는 단계는,
상기 제1 영역에 대한 복셀 크기를 상기 제2 영역에 대한 복셀 크기보다 더 작게 결정하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 방법.
제13 항에 있어서, 상기 복셀 크기를 결정하는 단계는,
상기 제1 영역과 제2 영역 사이에 위치하는 제3 영역에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 상기 제3 영역에 대한 포인트 클라우드가 추출되면 상기 포인트 클라우드를 토대로 상기 제1, 제2, 제3 영역에 대한 복셀 크기를 서로 다르게 결정하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 방법.
제19 항에 있어서, 상기 복셀 크기를 결정하는 단계는,
상기 제3 영역에 대한 복셀 크기를 상기 제2 영역에 대한 복셀 크기보다 더 작고 상기 제1 영역에 대한 복셀 크기보다 더 크게 결정하는 것을 특징으로 하는 3차원 입체 콘텐츠 서비스 제공 방법.
영상 획득 장치와 입체 영상 재생 장치에 통신 연결되는 입체 영상 생성 장치에 있어서,
상기 영상 획득 장치로부터 획득한 소정의 단일 객체에 대한 콘텐츠 영상 중 선명도를 높이고자 하는 미리 설정된 특정 부분을 인식하는 특정 부분 인식부;
상기 콘텐츠 영상 중 상기 특정 부분에 상응하는 제1 영역과 상기 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출하고, 상기 제1 영역과 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 분리하여 추출하는 포인트 클라우드 추출부;
상기 포인트 클라우드를 토대로 제1 영역의 복셀 크기를 제2 영역의 복셀 크기에 비해 작게 결정하는 복셀 크기 결정부;
상기 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하는 복셀 데이터 생성부; 그리고,
상기 복셀 데이터를 토대로 상기 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩하는 인코딩부를 포함하는 것을 특징으로 하는 입체 영상 생성 장치.
삭제
제21항에 있어서, 상기 특정 부분 인식부는,
상기 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인할 때, 상기 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 상기 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출하는 것을 특징으로 하는 입체 영상 생성 장치.
제21 항에 있어서,
상기 콘텐츠 영상에 대한 정보와 상기 특정 부분에 대한 정보를 포함하는 데이터 테이블이 저장된 저장부를 더 포함하는 것을 특징으로 하는 입체 영상 생성 장치.
제21 항에 있어서, 상기 특정 부분 인식부는,
상기 특정 부분을 인식할 때, 상기 콘텐츠 영상을 수신하면 상기 수신한 콘텐츠 영상에서 특정 부분을 선택하는 사용자 입력이 있는지를 확인하고, 상기 사용자 입력이 있으면 상기 사용자 입력을 토대로 상기 콘텐츠 영상을 분석하여 상기 콘텐츠 영상 중 특정 부분을 인식하는 것을 특징으로 하는 입체 영상 생성 장치.
제25 항에 있어서, 상기 특정 부분 인식부는,
상기 사용자 입력이 있는지를 확인할 때, 상기 사용자 입력이 없으면 상기 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출하는 것을 특징으로 하는 입체 영상 생성 장치.
삭제
제21 항에 있어서, 상기 포인트 클라우드 추출부는,
상기 제3 영역에 대한 포인트 클라우드를 분리할 때, 상기 제1 영역의 위치를 토대로 상기 제3 영역의 위치를 결정하고, 상기 결정된 위치에 상응하는 제3 영역의 포인트 클라우드를 분리하여 추출하는 것을 특징으로 하는 입체 영상 생성 장치.
제21 항에 있어서, 상기 복셀 크기 결정부는,
상기 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 상기 제1 영역에 대한 복셀 크기와 상기 제2 영역에 대한 복셀 크기를 서로 다르게 결정하는 것을 특징으로 하는 입체 영상 생성 장치.
제21 항에 있어서, 상기 복셀 크기 결정부는,
상기 제1 영역에 대한 복셀 크기를 상기 제2 영역에 대한 복셀 크기보다 더 작게 결정하는 것을 특징으로 하는 입체 영상 생성 장치.
제21 항에 있어서, 상기 복셀 크기 결정부는,
상기 제1 영역과 제2 영역 사이에 위치하는 제3 영역에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 상기 제3 영역에 대한 포인트 클라우드가 추출되면 상기 포인트 클라우드를 토대로 상기 제1, 제2, 제3 영역에 대한 복셀 크기를 서로 다르게 결정하는 것을 특징으로 하는 입체 영상 생성 장치.
제31 항에 있어서, 상기 복셀 크기 결정부는,
상기 제3 영역에 대한 복셀 크기를 상기 제2 영역에 대한 복셀 크기보다 더 작고 상기 제1 영역에 대한 복셀 크기보다 더 크게 결정하는 것을 특징으로 하는 입체 영상 생성 장치.
제32 항에 있어서, 상기 복셀 크기 결정부는,
상기 제1 영역에 대한 복셀 크기값과 상기 제2 영역에 대한 복셀 크기값 사이의 중간값을 갖도록 상기 제3 영역에 대한 복셀 크기를 결정하는 것을 특징으로 하는 입체 영상 생성 장치.
특정 부분 인식부, 포인트 클라우드 추출부, 복셀 크기 결정부, 복셀 데이터 생성부, 그리고 인코딩부를 포함하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법에 있어서,
상기 특정 부분 인식부가, 영상 획득 장치로부터 획득한 소정의 단일 객체에 대한 콘텐츠 영상 중 선명도를 높이고자 하는 미리 설정된 특정 부분을 인식하는 단계;
상기 포인트 클라우드 추출부가, 상기 콘텐츠 영상 중 상기 특정 부분에 상응하는 제1 영역과 상기 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출하고, 상기 제1 영역과 상기 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 분리하여 추출하는 단계;
상기 복셀 크기 결정부가, 상기 포인트 클라우드를 토대로 제1 영역의 복셀 크기를 제2 영역의 복셀 크기에 비해 작게 결정하는 단계;
상기 복셀 데이터 생성부가, 상기 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하는 단계; 그리고,
상기 인코딩부가, 상기 복셀 데이터를 토대로 상기 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩하는 단계를 포함하는 것을 특징으로 하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법.
삭제
제34항에 있어서, 상기 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하는 단계는,
상기 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 상기 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출하는 것을 특징으로 하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법.
제34 항에 있어서, 상기 특정 부분을 인식하는 단계는,
상기 획득한 콘텐츠 영상에서 특정 부분을 선택하는 사용자 입력이 있는지를 확인하고, 상기 사용자 입력이 있으면 상기 사용자 입력을 토대로 상기 콘텐츠 영상을 분석하여 상기 콘텐츠 영상 중 특정 부분을 인식하는 것을 특징으로 하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법.
제37 항에 있어서, 상기 사용자 입력이 있는지를 확인하는 단계는,
상기 사용자 입력이 없으면 상기 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출하는 것을 특징으로 하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법.
삭제
제34항에 있어서, 상기 제3 영역에 대한 포인트 클라우드를 분리하는 단계는,
상기 제1 영역의 위치를 토대로 상기 제3 영역의 위치를 결정하고, 상기 결정된 위치에 상응하는 제3 영역의 포인트 클라우드를 분리하여 추출하는 것을 특징으로 하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법.
제40 항에 있어서, 상기 제3 영역의 위치를 결정하는 단계는,
상기 제1 영역의 주변을 따라 둘러싸는 영역을 상기 제3 영역의 위치로 결정하는 것을 특징으로 하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법.
제34 항에 있어서, 상기 복셀 크기를 결정하는 단계는,
상기 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 상기 제1 영역에 대한 복셀 크기와 상기 제2 영역에 대한 복셀 크기를 서로 다르게 결정하는 것을 특징으로 하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법.
제34 항에 있어서, 상기 복셀 크기를 결정하는 단계는,
상기 제1 영역에 대한 복셀 크기를 상기 제2 영역에 대한 복셀 크기보다 더 작게 결정하는 것을 특징으로 하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법.
제34 항에 있어서, 상기 복셀 크기를 결정하는 단계는,
상기 제1 영역과 제2 영역 사이에 위치하는 제3 영역에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 상기 제3 영역에 대한 포인트 클라우드가 추출되면 상기 포인트 클라우드를 토대로 상기 제1, 제2, 제3 영역에 대한 복셀 크기를 서로 다르게 결정하는 것을 특징으로 하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법.
제44 항에 있어서, 상기 복셀 크기를 결정하는 단계는,
상기 제3 영역에 대한 복셀 크기를 상기 제2 영역에 대한 복셀 크기보다 더 작고 상기 제1 영역에 대한 복셀 크기보다 더 크게 결정하는 것을 특징으로 하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법.
제45 항에 있어서, 상기 복셀 크기를 결정하는 단계는,
상기 제1 영역에 대한 복셀 크기값과 상기 제2 영역에 대한 복셀 크기값 사이의 중간값을 갖도록 상기 제3 영역에 대한 복셀 크기를 결정하는 것을 특징으로 하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법.
제13항, 제15항, 제17항 내지 제20항 및 제34항, 제36항 내지 제38항 및 제40항 내지 46항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.