KR20220080060A

KR20220080060A - System and method for providing three dimensional volumetric content service

Info

Publication number: KR20220080060A
Application number: KR1020220067976A
Authority: KR
Inventors: 이재희; 변수진; 이정숙; 최지희
Original assignee: 주식회사 엘지유플러스
Priority date: 2020-04-10
Filing date: 2022-06-03
Publication date: 2022-06-14
Also published as: KR102407729B1; KR20210126318A; KR102575567B1

Abstract

본 발명은 본 발명은 3차원 입체 콘텐츠 서비스 제공 시스템에 관한 것으로, 보다 상세하게는 부분적으로 높은 선명도를 갖는 3차원 입체 콘텐츠를 제공할 수 있는 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법에 관한 것으로, 영상 획득 장치로 획득한 콘텐츠 영상을 3개의 영역으로 구분하고 각 영역에 대한 포인트 클라우드를 각각 분리 추출하고, 각 영역에 대한 복셀 크기를 서로 다르게 결정하고, 결정된 복셀 크기에 상응하는 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공하는 기술이다. The present invention relates to a system for providing a 3D stereoscopic content service, and more particularly, to a system and method for providing a 3D stereoscopic content service capable of providing 3D stereoscopic content with high clarity in part. The content image acquired by the acquisition device is divided into three regions, point clouds for each region are separately extracted, voxel sizes for each region are determined differently, and the content image is based on voxel data corresponding to the determined voxel size. It is a technology that processes 3D stereoscopic images.

Description

System and method for providing 3D stereoscopic content service {SYSTEM AND METHOD FOR PROVIDING THREE DIMENSIONAL VOLUMETRIC CONTENT SERVICE}

본 발명은 3차원 입체 콘텐츠 서비스 제공 시스템에 관한 것으로, 보다 상세하게는 부분적으로 높은 선명도를 갖는 3차원 입체 콘텐츠를 제공할 수 있는 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법에 관한 것이다. The present invention relates to a 3D stereoscopic content service providing system, and more particularly, to a 3D stereoscopic content service providing system and method capable of partially providing 3D stereoscopic content with high clarity.

일반적으로, 3차원 입체 콘텐츠 제작 기술은, 증강 현실(Augmented Reality; AR) 서비스 및 가상 현실(Virtual Reality; VR) 서비스 등에 활용되고 있다.In general, 3D stereoscopic content production technology is being utilized for an augmented reality (AR) service, a virtual reality (VR) service, and the like.

여기서, 가상현실은, 자신(객체)과 배경, 환경 모두 현실이 아닌 가상의 이미지를 사용하는데 반해, 증강 현실은, 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술로서, 혼합 현실(Mixed Reality, MR)이라고도 한다.Here, while virtual reality uses a virtual image rather than a real one for both itself (object), the background, and the environment, augmented reality is a technology that shows a three-dimensional virtual image over a real image or background as a single image, Also called Mixed Reality (MR).

최근, 기업체에서는, 아이돌 가수나 운동선수 등의 3차원 입체 콘텐츠를 제작하여 스마트폰과 같은 디스플레이 화면에 증강 현실로 제공하는 다양한 서비스가 시행되기도 하였다.In recent years, various services have been implemented in companies, such as idol singers and athletes, by producing 3D stereoscopic contents and providing them in augmented reality on a display screen such as a smartphone.

3차원 입체 콘텐츠는, 다수의 카메라를 통해 액터(actor)를 촬영하고, 촬영된 2차원 이미지로부터 3차원 위치 정보와 색상 정보를 추출하여 제작하는 방식으로 진행될 수 있다.The 3D stereoscopic content may be produced by photographing an actor through a plurality of cameras, and extracting 3D position information and color information from the captured 2D image.

이러한 제작 방식은, 복셀(voxel: volumetric pixel) 기반으로 3차원 입체 콘텐츠가 생성되는데, 복셀의 크기가 작을수록 세밀한 입체 정보와 색상 정보를 표현할 수 있어 콘텐츠의 선명도를 높일 수 있다. In this production method, 3D stereoscopic content is generated based on a voxel (volumetric pixel), and the smaller the voxel size, the more detailed stereoscopic information and color information can be expressed, so that the clarity of the content can be increased.

그러나 기존의 3차원 입체 콘텐츠 제작 방식에 의해 제작된 3차원 입체 콘텐츠는, 전체적으로 선명도가 균일하지 못하고, 2차원 이미지에 비해 일부 영역의 선명도가 저하되어 뭉개져 보이는 현상이 나타나는 문제가 있었다. However, the 3D stereoscopic content produced by the existing 3D stereoscopic content production method has a problem in that the overall clarity is not uniform, and the sharpness of some areas is lowered compared to the 2D image, so that the appearance is squashed.

또한, 현재 제공 중인 3차원 입체 콘텐츠는, 데이터량이 크기 때문에 콘텐츠의 선명도를 높이기 위하여 데이터량을 증가시키는 데에는 한계가 있었다.In addition, since the currently provided 3D stereoscopic content has a large amount of data, there is a limit in increasing the amount of data in order to increase the clarity of the content.

따라서, 향후, 데이터량을 증가시키지 않으면서도 부분적으로 낮은 선명도가 개선된 3차원 입체 콘텐츠를 제공할 수 있는 3차원 입체 콘텐츠 서비스 제공 시스템의 개발이 요구되고 있다. Accordingly, there is a need for a system for providing a 3D stereoscopic content service capable of providing 3D stereoscopic content with partially improved low definition without increasing the amount of data in the future.

본 발명이 해결하고자 하는 기술적 과제는, 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분의 복셀 크기를 작도록 복셀 데이터를 생성함으로써, 데이터량을 증가시키지 않으면서도 선명도가 개선된 3차원 입체 콘텐츠를 제공할 수 있는 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법을 제공하는 것이다. The technical problem to be solved by the present invention is to provide 3D stereoscopic content with improved clarity without increasing the amount of data by generating voxel data such that the voxel size of a specific part of the content image to be improved is small. It is to provide a system and method for providing a three-dimensional stereoscopic content service.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. will be able

상기 기술적 과제를 달성하기 위한 본 발명에 따른 3차원 입체 콘텐츠 서비스 제공 시스템은, 영상 획득 장치 및 입체 영상 생성 장치를 포함한다. 상기 영상 획득 장치는 소정 객체를 촬영하여 콘텐츠 영상을 획득한다. 상기 입체 영상 생성장치는 상기 획득한 콘텐츠 영상을 3차원 입체 영상으로 가공하며, 상기 콘텐츠 영상이 수신되면 특정 부분을 인식하고, 상기 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역, 상기 특정부분 이외의 부분에 상응하는 제2 영역 및 상기 제1 영역과 상기 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 각각 분리하여 추출하며, 상기 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정하고, 상기 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하여 상기 복셀 데이터를 토대로 상기 콘텐츠 영상을 3차원 입체 영상으로 가공한다. A system for providing a 3D stereoscopic content service according to the present invention for achieving the above technical problem includes an image acquisition device and a stereoscopic image generating device. The image acquisition device acquires a content image by photographing a predetermined object. The stereoscopic image generating apparatus processes the obtained content image into a three-dimensional stereoscopic image, recognizes a specific part when the content image is received, and selects a first area corresponding to the specific part of the content image, other than the specific part. Point clouds for the second area corresponding to the portion and the third area located at the boundary between the first area and the second area are separated and extracted, respectively, and based on the point cloud, the first area and the second area are Different voxel sizes are determined, voxel data corresponding to the determined voxel size is generated, and the content image is processed into a 3D stereoscopic image based on the voxel data.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 3차원 입체 콘텐츠 서비스 제공 방법은, 영상 획득 장치와 입체 영상 재생 장치에 통신 연결되는 입체 영상 생성 장치를 포함하는 3차원 입체 콘텐츠 서비스 제공 시스템의 3차원 입체 콘텐츠 서비스 제공 방법으로, 상기 영상 획득 장치가, 소정 객체를 촬영하여 콘텐츠 영상을 획득하는 단계, 상기 입체 영상 생성 장치가, 상기 획득한 콘텐츠 영상 중 특정 부분을 인식하는 단계, 상기 입체 영상 생성 장치가, 상기 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역, 상기 특정부분 이외의 부분에 상응하는 제2 영역 및 상기 제1 영역 및 상기 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 각각 분리하여 추출하는 단계, 상기 입체 영상 생성 장치가, 상기 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정하는 단계, 상기 입체 영상 생성 장치가, 상기 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하는 단계, 상기 입체 영상 생성 장치가, 상기 복셀 데이터를 토대로 상기 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩하는 단계, 상기 입체 영상 재생 장치가, 상기 3차원 입체 영상에 대한 데이터를 디코딩하고 렌더링을 수행하는 단계 및 상기 입체 영상 재생 장치가, 상기 렌더링이 수행된 3차원 입체 영상을 재생하는 단계를 포함한다. According to an aspect of the present invention, there is provided a method for providing a 3D stereoscopic content service in a 3D stereoscopic content service providing system including a stereoscopic image generating device communicatively connected to an image acquisition device and a stereoscopic image reproducing device. A method for providing a content service, comprising the steps of: acquiring, by the image acquisition device, a content image by photographing a predetermined object; recognizing, by the stereoscopic image generating device, a specific part of the acquired content image; , a point cloud for a first area corresponding to a specific portion of the content image, a second area corresponding to a portion other than the specific portion, and a third area located at a boundary between the first area and the second area extracting each separately; determining, by the stereoscopic image generating device, different voxel sizes for the first region and the second region based on the point cloud; and the stereoscopic image generating device corresponding to the determined voxel size. generating voxel data, wherein the stereoscopic image generating device processes the content image into a 3D stereoscopic image based on the voxel data to encode data for the 3D stereoscopic image, the stereoscopic image reproducing apparatus comprising: and decoding data on the 3D stereoscopic image and rendering, and reproducing, by the stereoscopic image reproducing apparatus, the rendered 3D stereoscopic image.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 입체 영상 생성 장치는, 영상 획득 장치와 입체 영상 재생 장치에 통신 연결되는 입체 영상 생성 장치이며, 특정 부분 인식부, 포인트 클라우드 추출부, 복셀 크기 결정부, 복셀 데이터 생성부 및 인코딩부를 포함한다. 상기 특정 부분 인식부는 상기 영상 획득 장치로부터 획득한 콘텐츠 영상 중 특정 부분을 인식한다. 상기 포인트 클라우드 추출부는 상기 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역, 상기 특정부분 이외의 부분에 상응하는 제2 영역 및 상기 제1 영역과 상기 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 각각 분리하여 추출한다. 상기 복셀 크기 결정부는 상기 포인트 클라우드를 토대로 상기 제1 영역과 상기 제2 영역에 대한 복셀 크기를 서로 다르게 결정한다. 상기 복셀 데이터 생성부는 상기 결정된 복셀 크기에 상응하는 복셀 데이터를 생성한다. 상기 인코딩부는 상기 복셀 데이터를 토대로 상기 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩한다. A stereoscopic image generating apparatus according to the present invention for achieving the above technical object is a stereoscopic image generating apparatus communicatively connected to an image acquisition apparatus and a stereoscopic image reproducing apparatus, and includes a specific part recognition unit, a point cloud extractor, a voxel size determiner; It includes a voxel data generation unit and an encoding unit. The specific part recognizer recognizes a specific part of the content image acquired from the image acquisition device. The point cloud extracting unit is located in a first area corresponding to a specific portion of the content image, a second area corresponding to a portion other than the specific portion, and a third area located at a boundary between the first area and the second area. Each point cloud is extracted separately. The voxel size determiner determines different voxel sizes for the first region and the second region based on the point cloud. The voxel data generator generates voxel data corresponding to the determined voxel size. The encoding unit processes the content image into a 3D stereoscopic image based on the voxel data and encodes data for the 3D stereoscopic image.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법은, 특정 부분 인식부, 포인트 클라우드 추출부, 복셀 크기 결정부, 복셀 데이터 생성부, 및 인코딩부를 포함하는 입체 영상 생성 장치의 3차원 입체 콘텐츠 서비스 제공 방법으로, 상기 특정 부분 인식부가, 영상 획득 장치로부터 획득한 콘텐츠 영상 중 특정 부분을 인식하는 단계, 상기 포인트 클라우드 추출부가, 상기 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역, 상기 특정부분 이외의 부분에 상응하는 제2 영역 및 상기 제1 영역과 상기 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 각각 분리하여 추출하는 단계, 상기 복셀 크기 결정부가, 상기 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정하는 단계, 상기 복셀 데이터 생성부가, 상기 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하는 단계 및 상기 인코딩부가, 상기 복셀 데이터를 토대로 상기 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩하는 단계를 포함한다. According to an aspect of the present invention, there is provided a method for providing a 3D stereoscopic content service of a stereoscopic image generating apparatus according to the present invention, including a specific part recognizer, a point cloud extractor, a voxel size determiner, a voxel data generator, and an encoding unit. A method of providing a 3D stereoscopic content service of a stereoscopic image generating device, the step of recognizing, by the specific part recognition unit, a specific part of a content image acquired from an image acquisition device, the point cloud extracting unit corresponding to a specific part of the content image separating and extracting point clouds for a first region, a second region corresponding to a portion other than the specific portion, and a third region positioned at a boundary between the first region and the second region, respectively, and extracting the voxel determining, by the size determiner, different voxel sizes for the first region and the second region based on the point cloud; generating, by the voxel data generator, voxel data corresponding to the determined voxel size; and the encoding unit , processing the content image into a 3D stereoscopic image based on the voxel data and encoding data for the 3D stereoscopic image.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 기록매체는, 제12 항 내지 제18 항 및 제31 항 내지 제42 항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있다. The recording medium according to the present invention for achieving the above technical problem can be read by a computer in which a program for executing the method according to any one of claims 12 to 18 and 31 to 42 is recorded.

상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법은, 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분의 복셀 크기를 작도록 복셀 데이터를 생성함으로써, 데이터량을 증가시키지 않으면서도 선명도가 개선된 3차원 입체 콘텐츠를 제공할 수 있다. The system and method for providing a 3D stereoscopic content service according to at least one embodiment of the present invention configured as described above generates voxel data such that the voxel size of a specific portion of a content image for which clarity is to be increased is small, thereby providing a data amount It is possible to provide 3D stereoscopic content with improved sharpness without increasing .

즉, 본 발명은, 콘텐츠 용량의 증가를 최소화하면서 콘텐츠 국소 부위의 선명도를 향상시킬 수 있다. That is, according to the present invention, it is possible to improve the sharpness of a local area of content while minimizing an increase in content capacity.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.

도 1은 본 발명에 따른 3차원 입체 콘텐츠 서비스 제공 시스템을 설명하기 위한 블럭 구성도이다.
도 2는 도 1의 영상 획득 장치를 설명하기 위한 도면이다.
도 3은 콘텐츠 영상의 특정 부분 인식 과정을 설명하기 위한 도면이다.
도 4는 콘텐츠 영상의 포인트 클라우드 추출 과정을 설명하기 위한 도면이다.
도 5 및 도 6은 콘텐츠 영상의 복셀 크기 결정 과정을 설명하기 위한 도면이다.
도 7(a) 및 도 7(b)는 복셀 크기에 상응하는 입체 영상을 보여주는 도면이다.
도 8은 도 1의 입체 영상 생성 장치를 설명하기 위한 블럭 구성도이다.
도 9는 본 발명에 따른 3차원 입체 콘텐츠 서비스 제공 시스템의 3차원 입체 콘텐츠 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 10 내지 도 13은 콘텐츠 영상의 특정 부분 인식 방법을 설명하기 위한 흐름도이다.1 is a block diagram illustrating a system for providing a 3D stereoscopic content service according to the present invention.
FIG. 2 is a diagram for explaining the image acquisition device of FIG. 1 .
3 is a diagram for explaining a process of recognizing a specific part of a content image.
4 is a diagram for explaining a process of extracting a point cloud of a content image.
5 and 6 are diagrams for explaining a process of determining a voxel size of a content image.
7(a) and 7(b) are diagrams illustrating a stereoscopic image corresponding to a voxel size.
FIG. 8 is a block diagram illustrating the apparatus for generating a stereoscopic image of FIG. 1 .
9 is a flowchart illustrating a 3D stereoscopic content service providing method of the 3D stereoscopic content service providing system according to the present invention.
10 to 13 are flowcharts for explaining a method of recognizing a specific part of a content image.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 예시적인 실시 예를 설명하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings describing exemplary embodiments of the present invention and the contents described in the accompanying drawings.

이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings. Like reference numerals in each figure indicate like elements.

이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.One or more of these may be selectively combined to operate. In addition, although all the components may be implemented as one independent hardware, some or all of the components are selectively combined to perform some or all of the functions of the combined hardware in one or a plurality of hardware program modules It may be implemented as a computer program having Codes and code segments constituting the computer program can be easily inferred by those skilled in the art of the present invention. Such a computer program is stored in a computer readable storage medium (Computer Readable Media), read and executed by the computer, thereby implementing the embodiment of the present invention. The storage medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.

실시예의 설명에 있어서, 각 구성 요소의 " 상(위) 또는 하(아래)", “전(앞) 또는 후(뒤)”에 형성되는 것으로 기재되는 경우에 있어, “상(위) 또는 하(아래)” 및“전(앞) 또는 후(뒤)”는 두 개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다.In the description of the embodiment, in the case where it is described as being formed in "above (above) or below (below)", "before (front) or after (rear)" of each component, "above (above) or below" “(below)” and “before (front) or after (rear)” include both components formed by direct contact with each other or one or more other components disposed between the two components.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, terms such as "comprises", "comprises" or "have" described above mean that the corresponding component may be embedded, unless otherwise specified, excluding other components. Rather, it should be construed as being able to further include other components. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless otherwise defined. Terms commonly used, such as those defined in the dictionary, should be interpreted as being consistent with the meaning of the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present invention.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is between each component. It should be understood that elements may also be “connected,” “coupled,” or “connected.”

그리고, 본 발명을 설명함에 있어서 관련된 공지기술에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.And, in the description of the present invention, if it is determined that the subject matter of the present invention may be unnecessarily obscured as it is obvious to a person skilled in the art with respect to related known techniques, the detailed description thereof will be omitted.

본 발명의 3차원 입체 콘텐츠 서비스 제공 시스템은, AI 인식기술을 활용한 입체(Volumetric) 컨텐츠의 선명도를 향상시킴으로써, 선명도가 개선된 입체 콘텐츠 서비스를 제공하기 위한 시스템이다.The system for providing a three-dimensional three-dimensional content service of the present invention is a system for providing a three-dimensional content service with improved clarity by improving the clarity of volumetric content using AI recognition technology.

도 1은 본 발명에 따른 3차원 입체 콘텐츠 서비스 제공 시스템을 설명하기 위한 블럭 구성도이다.1 is a block diagram illustrating a system for providing a 3D stereoscopic content service according to the present invention.

도 1에 도시된 바와 같이, 소정 객체를 촬영하여 콘텐츠 영상을 획득하는 영상 획득 장치(100), 획득한 콘텐츠 영상을 3차원 입체 영상으로 가공하는 입체 영상 생성 장치(200), 그리고 3차원 입체 영상을 재생하는 입체 영상 재생 장치(300)를 포함할 수 있다.As shown in FIG. 1 , an image acquisition device 100 for acquiring a content image by photographing a predetermined object, a stereoscopic image generating device 200 for processing the acquired content image into a 3D stereoscopic image, and a 3D stereoscopic image may include a stereoscopic image reproducing apparatus 300 that reproduces

여기서, 영상 획득 장치(100)는, 다수의 카메라들을 포함할 수 있는데, 다수의 카메라들을 통해 객체를 서로 다른 방향에서 동시에 촬영하여 콘텐츠 영상을 획득할 수 있다.Here, the image acquisition apparatus 100 may include a plurality of cameras, and may acquire a content image by simultaneously photographing an object in different directions through the plurality of cameras.

그리고, 입체 영상 생성 장치(200)는, 콘텐츠 영상이 수신되면 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분을 인식하고, 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드(point cloud)를 각각 분리하여 추출하며, 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀(voxel: volumetric pixel) 크기를 서로 다르게 결정하고, 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하여 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공할 수 있다.And, when the content image is received, the stereoscopic image generating apparatus 200 recognizes a specific part of the content image for which the sharpness is to be increased, and a first area corresponding to the specific part of the content image and a portion other than the specific part of the content image. Point clouds for the second region are separately extracted, and voxel (volumetric pixel) sizes of the first region and the second region are determined differently based on the point cloud, and corresponding to the determined voxel size. voxel data can be generated and the content image can be processed into a 3D stereoscopic image based on the voxel data.

여기서, 입체 영상 생성 장치(200)는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고, 특정 부분에 대한 정보가 미리 설정되어 있으면 설정된 정보를 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다.Here, when recognizing a specific part, the stereoscopic image generating apparatus 200 checks whether information on a specific part to increase clarity in the received content image is preset in the received content image when recognizing a specific part, and If information about the content is preset, a specific part of the content image may be recognized by analyzing the content image based on the set information.

이때, 입체 영상 생성 장치(200)는, 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인할 때, 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.At this time, when the stereoscopic image generating apparatus 200 determines whether information on a specific part for which the sharpness is to be increased is preset, if the information on the specific part is not preset, the point cloud for the entire part of the content image can be extracted.

일 예로, 입체 영상 생성 장치(200)는, 콘텐츠 영상에 대한 정보와 선명도를 높이고자 하는 특정 부분에 대한 정보를 포함하는 데이터 테이블이 저장된 저장부를 포함할 수 있다.For example, the stereoscopic image generating apparatus 200 may include a storage unit in which a data table including information on a content image and information on a specific part to be sharpened is stored.

경우에 따라, 입체 영상 생성 장치(200)는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분을 선택하는 사용자 입력이 있는지를 확인하고, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수도 있다.In some cases, when recognizing a specific part, the stereoscopic image generating apparatus 200 checks whether there is a user input for selecting a specific part to increase clarity in the received content image upon receiving the content image, and the user input If there is, a specific part of the content image may be recognized by analyzing the content image based on the user input.

여기서, 입체 영상 생성 장치(200)는, 사용자 입력이 있는지를 확인할 때, 사용자 입력이 없으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.Here, when checking whether there is a user input, the stereoscopic image generating apparatus 200 may extract a point cloud for the entire portion of the content image if there is no user input.

다른 경우로서, 입체 영상 생성 장치(200)는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고, 특정 부분에 대한 정보가 미리 설정되어 없으면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분을 선택하는 사용자 입력이 있는지를 확인하며, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수도 있다.In another case, when the stereoscopic image generating apparatus 200 recognizes a specific part, when receiving a content image, it is checked whether information on a specific part whose clarity is to be increased is preset in the received content image, and If the information on the part is not set in advance, it is checked whether there is a user input to select a specific part to increase clarity in the received content image, and if there is a user input, the content image is analyzed based on the user input to analyze a specific part of the content image may be recognized.

여기서, 입체 영상 생성 장치(200)는, 특정 부분에 대한 정보가 미리 설정되어 있지 않고 사용자 입력이 없으면, 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.Here, the stereoscopic image generating apparatus 200 may extract a point cloud for the entire part of the content image when information on a specific part is not preset and there is no user input.

또한, 입체 영상 생성 장치(200)는, 포인트 클라우드를 추출할 때, 제1 영역과 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 더 분리하여 추출할 수도 있다.Also, when extracting the point cloud, the stereoscopic image generating apparatus 200 may further separate and extract the point cloud for the third region positioned at the boundary between the first region and the second region.

여기서, 입체 영상 생성 장치(200)는, 제3 영역에 대한 포인트 클라우드를 분리할 때, 제1 영역의 위치를 토대로 제3 영역의 위치를 결정하고, 결정된 위치에 상응하는 제3 영역의 포인트 클라우드를 분리하여 추출할 수 있다.Here, the stereoscopic image generating apparatus 200 determines the position of the third region based on the position of the first region when separating the point cloud for the third region, and determines the point cloud of the third region corresponding to the determined position. can be isolated and extracted.

그리고, 입체 영상 생성 장치(200)는, 제3 영역의 위치를 결정할 때, 제1 영역의 주변을 따라 둘러싸는 영역을 제3 영역의 위치로 결정할 수 있다.Also, when determining the position of the third region, the stereoscopic image generating apparatus 200 may determine a region surrounding the periphery of the first region as the position of the third region.

이어, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 제1 영역에 대한 복셀 크기와 제2 영역에 대한 복셀 크기를 서로 다르게 결정할 수 있다.Next, when determining the voxel size, the apparatus 200 for generating a stereoscopic image may determine a voxel size for the first region and a voxel size for the second region to be different from each other after noise is removed based on the point cloud.

여기서, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 제1 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작게 결정할 수 있다.Here, when determining the voxel size, the stereoscopic image generating apparatus 200 may determine the voxel size of the first region to be smaller than the voxel size of the second region.

그 이유는, 콘텐츠 영상의 전체 부분에 대한 선명도를 높일 경우, 데이터량이 증가하여 전송 속도가 낮은 문제가 있지만, 콘텐츠 영상의 특정 부분에 대해서만 선명도를 높임으로써, 데이터량의 증가를 최소화하여 전송 속도가 빠르고 원하는 특정 부분의 선명도가 향상되므로 속도 및 화질면에서 사용자의 만족도를 높일 수 있기 때문이다.The reason is that when the sharpness of the entire part of the content image is increased, the data amount increases and the transmission speed is low. This is because the user's satisfaction can be increased in terms of speed and image quality because the sharpness of a specific part desired is improved quickly.

경우에 따라, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 제1 영역과 제2 영역 사이에 위치하는 제3 영역에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 제3 영역에 대한 포인트 클라우드가 추출되면 포인트 클라우드를 토대로 제1, 제2, 제3 영역에 대한 복셀 크기를 서로 다르게 결정할 수도 있다.In some cases, when determining the voxel size, the stereoscopic image generating apparatus 200 checks whether a point cloud for a third region positioned between the first region and the second region is separated and extracted, and When the point cloud for the 'A' is extracted, the voxel sizes of the first, second, and third regions may be determined differently based on the point cloud.

여기서, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 제3 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작고 제1 영역에 대한 복셀 크기보다 더 크게 결정할 수 있다.Here, when determining the voxel size, the stereoscopic image generating apparatus 200 may determine the voxel size of the third region to be smaller than the voxel size for the second region and larger than the voxel size for the first region.

그 이유는, 제3 영역의 복셀 크기값이 제1 영역의 복셀 크기와 제2 영역의 복셀 크기 사이의 복셀 크기값을 갖지 않을 경우, 제1 영역과 제2 영역 사이에 복셀 크기 차로 인하여 경계선이 발생하여 콘텐츠 영상의 품질 저하를 가져올 수 있기 때문이다.The reason is that when the voxel size value of the third region does not have a voxel size value between the voxel size of the first region and the voxel size of the second region, the boundary line is changed due to the voxel size difference between the first region and the second region. This is because the quality of the content image may be deteriorated.

일 예로, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 제1 영역에 대한 복셀 크기값과 제2 영역에 대한 복셀 크기값 사이의 중간값을 갖도록 제3 영역에 대한 복셀 크기를 결정할 수 있다.For example, when determining the voxel size, the stereoscopic image generating apparatus 200 determines the voxel size of the third region to have an intermediate value between the voxel size value of the first region and the voxel size value of the second region. can

그리고, 입체 영상 생성 장치(200)는, 콘텐츠 영상을 3차원 입체 영상으로 가공할 때, 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하여 콘텐츠 영상을 3차원 입체 영상으로 가공하며, 가공된 3차원 입체 영상에 대한 데이터를 인코딩하여 전송할 수 있다.In addition, the stereoscopic image generating apparatus 200 generates voxel data corresponding to the determined voxel size when processing the content image into a 3D stereoscopic image, processes the content image into a 3D stereoscopic image, and processes the processed 3D stereoscopic image. Data for an image may be encoded and transmitted.

한편, 입체 영상 재생 장치(200)는, 3차원 입체 영상을 재생할 때, 가공된 3차원 입체 영상에 대한 데이터가 수신되면 데이터를 디코딩하고 렌더링을 수행하여 3차원 입체 영상을 재생할 수 있다.Meanwhile, the stereoscopic image reproducing apparatus 200 may reproduce a 3D stereoscopic image by decoding the data and performing rendering when the processed 3D stereoscopic image data is received when playing the 3D stereoscopic image.

일 예로, 입체 영상 재생 장치(200)는, 사용자 스피커를 포함할 수 있는데, 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기(smartwatch), 글래스형 단말기(smart glass), HMD(head mounted display)) 등이 포함되는 이동 단말기에 적용될 수도 있고, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에 적용될 수도 있다. For example, the stereoscopic image reproducing apparatus 200 may include a user speaker, and may include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, personal digital assistants (PDA), and a portable device (PMP). multimedia player), navigation, slate PC, tablet PC, ultrabook, wearable device, for example, watch-type terminal (smartwatch), glass-type terminal (smart glass) , may be applied to a mobile terminal including a head mounted display (HMD), and the like, or may be applied to a fixed terminal such as a digital TV, a desktop computer, and a digital signage.

이와 같이, 본 발명은, 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분의 복셀 크기를 작도록 복셀 데이터를 생성함으로써, 데이터량을 증가시키지 않으면서도 선명도가 개선된 3차원 입체 콘텐츠를 제공할 수 있다.As described above, according to the present invention, 3D stereoscopic content with improved clarity can be provided without increasing the amount of data by generating voxel data such that the voxel size of a specific portion of the content image to be enhanced is small.

즉, 본 발명은, 콘텐츠 용량의 증가를 최소화하면서 콘텐츠 국소 부위의 선명도를 향상시킬 수 있다.That is, according to the present invention, it is possible to improve the sharpness of a local area of content while minimizing an increase in content capacity.

도 2는 도 1의 영상 획득 장치를 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining the image acquisition device of FIG. 1 .

도 2에 도시된 바와 같이, 본 발명의 영상 획득 장치는, 소정 객체(110)를 촬영하여 콘텐츠 영상을 획득하는 다수의 카메라(120)들을 포함할 수 있다.As shown in FIG. 2 , the image acquisition apparatus of the present invention may include a plurality of cameras 120 that acquire a content image by photographing a predetermined object 110 .

즉, 영상 획득 장치는, 다수의 카메라(120)들을 포함할 수 있는데, 다수의 카메라(120)들을 통해 객체(110)를 서로 다른 방향에서 동시에 촬영하여 콘텐츠 영상을 획득할 수 있다.That is, the image acquisition apparatus may include a plurality of cameras 120 , and may acquire a content image by simultaneously photographing the object 110 in different directions through the plurality of cameras 120 .

예를 들면, 본 발명은, 크로마키 된 스튜디오에서, 30대 이상의 카메라를 통해 액터를 촬영하고, 촬영된 2차원 이미지로부터 3차원 위치 정보와 색상 정보를 추출하여 3차원 입체 콘텐츠를 제작할 수 있는데, 이에 한정되는 것은 아니다.For example, the present invention can produce three-dimensional content by photographing an actor through 30 or more cameras in a chroma keyed studio, and extracting three-dimensional position information and color information from the photographed two-dimensional image, However, the present invention is not limited thereto.

도 3은 콘텐츠 영상의 특정 부분 인식 과정을 설명하기 위한 도면이다.3 is a diagram for explaining a process of recognizing a specific part of a content image.

도 3에 도시된 바와 같이, 본 발명의 입체 영상 생성 장치는, 콘텐츠 영상이 수신되면 콘텐츠 영상(130) 중 선명도를 높이고자 하는 특정 부분(140)을 인식할 수 있다.As shown in FIG. 3 , the apparatus for generating a stereoscopic image of the present invention may recognize a specific portion 140 of the content image 130 for which clarity is to be increased when the content image is received.

일 실시 예로서, 입체 영상 생성 장치는, 콘텐츠 영상(130)을 수신하면 수신한 콘텐츠 영상(130)에서 선명도를 높이고자 하는 특정 부분(140)에 대한 정보가 미리 설정되어 있는지를 확인하고, 특정 부분(140)에 대한 정보가 미리 설정되어 있으면 설정된 정보를 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다.As an embodiment, when the stereoscopic image generating apparatus receives the content image 130 , it checks whether information on the specific part 140 for which clarity is to be increased in the received content image 130 is set in advance, If information on the part 140 is preset, a specific part of the content image may be recognized by analyzing the content image based on the set information.

여기서, 입체 영상 생성 장치는, 특정 부분(140)에 대한 정보가 미리 설정되어 있지 않으면 콘텐츠 영상(130)의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.Here, the stereoscopic image generating apparatus may extract a point cloud for the entire portion of the content image 130 if information on the specific portion 140 is not previously set.

입체 영상 생성 장치는, 콘텐츠 영상(130)에 대한 정보와 선명도를 높이고자 하는 특정 부분(140)에 대한 정보를 포함하는 데이터 테이블을 저장할 수 있다.The apparatus for generating a stereoscopic image may store a data table including information on the content image 130 and information on a specific portion 140 for which sharpness is to be increased.

일 예로, 데이터 테이블은, 객체의 형상, 크기, 움직임 정도에 따라 분류되는 다수의 콘텐츠 영상(130)들에 대한 정보를 포함할 수 있는데, 분류된 각 콘텐츠 영상(130)에 상응하여 하나 또는 다수의 특정 부분(140)에 대한 정보를 포함할 수 있다.For example, the data table may include information on a plurality of content images 130 classified according to the shape, size, and degree of movement of an object. It may include information about a specific part 140 of .

예를 들면, 다수의 콘텐츠 영상들에 대한 정보는, 객체의 형상에 따라 분류되는 사람, 동물, 무생물에 상응하는 콘텐츠 영상(130)들에 대한 정보, 객체의 크기에 따라 분류되는 대형, 중형, 소형에 상응하는 콘텐츠 영상(130)들에 대한 정보, 그리고 객체의 움직임 정도에 따라 분류되는 고속, 중속, 저속, 움직임이 없는 고정에 상응하는 콘텐츠 영상(130)들에 대한 정보를 포함할 수 있다.For example, information on a plurality of content images includes information on content images 130 corresponding to people, animals, and inanimate objects classified according to the shape of an object, large, medium, and It may include information on content images 130 corresponding to the small size, and information on content images 130 corresponding to high-speed, medium-speed, low-speed, and non-movement fixation classified according to the degree of movement of an object. .

도 3과 같이, 콘텐츠 영상(130)이 댄서일 경우, 댄서의 전체 영역 중 얼굴 영역(142) 및 손 영역(144)을 특정 부분(140)으로 미리 설정될 수 있다.As shown in FIG. 3 , when the content image 130 is a dancer, the face region 142 and the hand region 144 among the entire region of the dancer may be preset as a specific part 140 .

즉, 콘텐츠 영상(130)이 댄서일 경우, 콘텐츠 영상에 대한 정보는, 객체 형상이 사람이고, 객체 크기가 중형 크기이며, 움직임 정도가 중간 속도를 포함할 수 있으며, 이러한 정보들을 토대로 콘텐츠 영상(130)의 전체 영역 중 선명도를 높일 특정 부분이 미리 설정될 수 있다.That is, when the content image 130 is a dancer, the information on the content image may include an object shape of a human, a medium size of an object, and an intermediate speed, and based on such information, the content image ( 130), a specific part to increase the sharpness may be preset.

다른 실시 예로서, 본 발명의 입체 영상 생성 장치는, 특정 부분(140)을 인식할 때, 콘텐츠 영상(130)을 수신하면 수신한 콘텐츠 영상(130)에서 선명도를 높이고자 하는 특정 부분(140)을 선택하는 사용자 입력이 있는지를 확인하고, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상(130)을 분석하여 콘텐츠 영상(130) 중 특정 부분(140)을 인식할 수도 있다.As another embodiment, when the stereoscopic image generating apparatus of the present invention recognizes the specific part 140 , when the content image 130 is received, the specific part 140 for which clarity is to be increased in the received content image 130 . It is checked whether there is a user input for selecting , and if there is a user input, a specific portion 140 of the content image 130 may be recognized by analyzing the content image 130 based on the user input.

여기서, 입체 영상 생성 장치는, 사용자 입력이 있는지를 확인할 때, 사용자 입력이 없으면 콘텐츠 영상(130)의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.Here, when checking whether there is a user input, the stereoscopic image generating apparatus may extract a point cloud for the entire portion of the content image 130 if there is no user input.

또한, 입체 영상 생성 장치는, 사용자 입력이 있는지를 확인할 때, 콘텐츠 영상(130)에서 선명도를 높이고자 하는 특정 부분(140)에 대한 선택 여부를 문의하는 질문창을 생성하고, 생성된 질문창을 미리 설정된 사용자 디바이스로 전송하며, 사용자 디바이스로부터 특정 부분(140)을 선택하는 사용자 입력이 있는지를 확인할 수 있다.Also, when confirming whether there is a user input, the stereoscopic image generating apparatus generates a question window for inquiring whether to select a specific part 140 to increase clarity in the content image 130 , and returns the generated question window. It is transmitted to a preset user device, and it can be checked whether there is a user input for selecting a specific part 140 from the user device.

또 다른 실시 예로서, 본 발명의 입체 영상 생성 장치는, 특정 부분(140)을 인식할 때, 콘텐츠 영상(130)을 수신하면 수신한 콘텐츠 영상(130)을 분석하고, 분석 결과를 토대로 선명도를 높이고자 하는 특정 부분(130)을 자동 결정하여 인식할 수도 있다.As another embodiment, the apparatus for generating a stereoscopic image of the present invention analyzes the received content image 130 upon receiving the content image 130 when recognizing the specific part 140 , and determines sharpness based on the analysis result. A specific part 130 to be raised may be automatically determined and recognized.

여기서, 입체 영상 생성 장치는, 수신한 콘텐츠 영상(130)을 분석할 때, 콘텐츠 영상(130)을 다수의 서브 영역으로 나누고, 각 서브 영역에 대한 객체의 복잡도를 분석할 수 있다.Here, when analyzing the received content image 130 , the apparatus for generating a stereoscopic image may divide the content image 130 into a plurality of sub-regions and analyze the complexity of an object for each sub-region.

일 예로, 입체 영상 생성 장치는, 선명도를 높이고자 하는 특정 부분(140)을 자동 결정할 때, 분석 결과를 토대로 다수의 서브 영역으로 나누어진 콘텐츠 영상(130) 중 복잡도가 기준 값 이상인 서브 영역을 추출하고, 추출한 서브 영역을 선명도를 높이고자 하는 특정 부분(140)으로 자동 결정할 수 있다.For example, when the stereoscopic image generating apparatus automatically determines the specific portion 140 for which the sharpness is to be increased, based on the analysis result, the stereoscopic image generating apparatus extracts a sub-region having a complexity greater than or equal to a reference value from among the content image 130 divided into a plurality of sub-regions. Then, the extracted sub-region may be automatically determined as a specific part 140 for which the sharpness is to be increased.

즉, 입체 영상 생성 장치는, 수신한 콘텐츠 영상(130)을 분석할 때, 콘텐츠 영상(130)에 대한 콘텐츠 타입을 분석할 수 있다.That is, the stereoscopic image generating apparatus may analyze the content type of the content image 130 when analyzing the received content image 130 .

그리고, 입체 영상 생성 장치는, 선명도를 높이고자 하는 특정 부분을 자동 결정할 때, 분석 결과를 토대로 콘텐츠 영상에 대한 콘텐츠 타입에 상응하여 선명도를 높이고자 하는 특정 부분을 자동 결정할 수 있다.In addition, when the stereoscopic image generating apparatus automatically determines the specific part for which sharpness is to be increased, based on the analysis result, the stereoscopic image generating apparatus may automatically determine the specific part for which the sharpness is to be increased according to the content type of the content image.

예를 들면, 입체 영상 생성 장치는, 콘텐츠 영상(130)의 콘텐츠 타입이 댄스이면 얼굴, 팔, 다리 등이 선명도를 높이고자 하는 특정 부분일 수 있고, 콘텐츠 영상(130)의 콘텐츠 타입이 축구이면 다리, 백넘버 등이 선명도를 높이고자 하는 특정 부분일 수 있으며, 콘텐츠 영상(130)의 콘텐츠 타입이 강의이면 칠판, 손 등이 선명도를 높이고자 하는 특정 부분일 수 있다.For example, in the stereoscopic image generating apparatus, if the content type of the content image 130 is dance, the face, arms, legs, etc. may be specific parts to increase clarity, and if the content type of the content image 130 is soccer Legs, back numbers, etc. may be specific parts for which sharpness is to be increased, and if the content type of the content image 130 is lecture, a blackboard, hand, etc. may be specific parts for which sharpness is to be increased.

이처럼, 본 발명은, 콘텐츠 영상(130)에 대한 콘텐츠 타입을 분석하여 그에 상응하는 특정 부분을 자동 결정할 수도 있다.As such, according to the present invention, a specific part corresponding thereto may be automatically determined by analyzing the content type of the content image 130 .

또 다른 실시 예로서, 본 발명의 입체 영상 생성 장치는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고, 특정 부분에 대한 정보가 미리 설정되어 없으면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분을 선택하는 사용자 입력이 있는지를 확인하며, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수도 있다.As another embodiment, the apparatus for generating a stereoscopic image of the present invention, upon receiving a content image when recognizing a specific part, checks whether information on a specific part whose clarity is to be increased in the received content image is preset, and , if information on a specific part is not set in advance, it is checked whether there is a user input to select a specific part to increase clarity in the received content image, and if there is a user input, the content image is analyzed based on the user input and It can also recognize specific parts.

여기서, 입체 영상 생성 장치는, 특정 부분에 대한 정보가 미리 설정되어 있지 않고 사용자 입력이 없으면, 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.Here, the apparatus for generating a stereoscopic image may extract a point cloud for the entire part of the content image when information on the specific part is not preset and there is no user input.

그리고, 입체 영상 생성 장치는, 사용자 입력이 있는지를 확인할 때, 사용자 입력이 없으면 콘텐츠 영상(130)에서 선명도를 높이고자 하는 특정 부분(140)에 대한 선택 여부를 문의하는 질문창을 생성하고, 생성된 질문창을 미리 설정된 사용자 디바이스로 전송하며, 사용자 디바이스로부터 특정 부분(140)을 선택하는 사용자 입력이 있는지를 확인할 수 있다.And, when checking whether there is a user input, the stereoscopic image generating apparatus generates a question window inquiring whether to select a specific part 140 to increase clarity in the content image 130 if there is no user input, and generates, The question window is transmitted to a preset user device, and it can be checked whether there is a user input for selecting a specific part 140 from the user device.

도 4는 콘텐츠 영상의 포인트 클라우드 추출 과정을 설명하기 위한 도면이다.4 is a diagram for explaining a process of extracting a point cloud of a content image.

도 4에 도시된 바와 같이, 본 발명의 입체 영상 생성 장치는, 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드(point cloud, 202)를 각각 분리하여 포인트 클라우드(202)에 상응하는 (X, Y, Z, T) 좌표 데이터를 추출할 수 있다.As shown in FIG. 4 , the apparatus for generating a stereoscopic image of the present invention includes a point cloud 202 for a first area corresponding to a specific portion of a content image and a second area corresponding to a portion other than the specific portion of the content image. It is possible to extract (X, Y, Z, T) coordinate data corresponding to the point cloud 202 by separating each.

경우에 따라, 입체 영상 생성 장치는, 포인트 클라우드를 추출할 때, 제1 영역과 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 더 분리하여 추출할 수도 있다.In some cases, when extracting the point cloud, the apparatus for generating a stereoscopic image may further separate and extract the point cloud for the third area positioned at the boundary between the first area and the second area.

그 이유는, 제1 영역과 제2 영역 사이의 버퍼 영역인 제3 영역을 배치함으로써, 복셀 크기를 결정할 때, 제1 영역과 제2 영역 사이의 복셀 크기 차이를 줄여 제1 영역과 제2 영역 사이에 발생하는 경계선과 같은 노이즈 제거 및 콘텐츠 영상의 품질을 향상시킬 수 있기 때문이다.The reason is that by arranging a third region that is a buffer region between the first region and the second region, a difference in voxel size between the first region and the second region is reduced when a voxel size is determined, so that the first region and the second region This is because it is possible to remove noise, such as a boundary line, and to improve the quality of the content image.

여기서, 입체 영상 생성 장치는, 제3 영역에 대한 포인트 클라우드를 분리할 때, 제1 영역의 위치를 토대로 제3 영역의 위치를 결정하고, 결정된 위치에 상응하는 제3 영역의 포인트 클라우드를 분리하여 추출할 수 있다.Here, the stereoscopic image generating apparatus determines the position of the third region based on the position of the first region when separating the point cloud for the third region, and separates the point cloud of the third region corresponding to the determined position. can be extracted.

즉, 입체 영상 생성 장치는, 제3 영역의 위치를 결정할 때, 제1 영역의 주변을 따라 둘러싸는 영역을 제3 영역의 위치로 결정할 수 있다.That is, when determining the position of the third region, the 3D image generating apparatus may determine a region surrounding the periphery of the first region as the position of the third region.

경우에 따라, 입체 영상 생성 장치는, 제3 영역의 위치를 결정할 때, 제1 영역의 면적을 토대로 제3 영역의 면적을 결정할 수도 있다.In some cases, the apparatus for generating a stereoscopic image may determine the area of the third region based on the area of the first region when determining the position of the third region.

일 예로, 입체 영상 생성 장치는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적이 증감하면 제1 영역의 면적 증감 비율에 비례하여 제3 영역의 면적을 증감할 수 있다.For example, when determining the area of the third region, the apparatus for generating a stereoscopic image may increase or decrease the area of the third region in proportion to an area increase/decrease ratio of the first region if the area of the first region increases or decreases.

여기서, 입체 영상 생성 장치는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적보다 더 작은 면적을 갖도록 제3 영역의 면적을 결정할 수 있다.Here, when determining the area of the third region, the apparatus for generating a stereoscopic image may determine the area of the third region to have an area smaller than that of the first region.

예를 들면, 입체 영상 생성 장치는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적 대비 약 10% ~ 약 60%의 면적을 갖도록 제3 영역의 면적을 결정할 수 있지만, 이에 한정되지는 않는다.For example, when determining the area of the third region, the apparatus for generating a stereoscopic image may determine the area of the third region to have an area of about 10% to about 60% of the area of the first region, but is not limited thereto. does not

도 5 및 도 6은 콘텐츠 영상의 복셀 크기 결정 과정을 설명하기 위한 도면이다.5 and 6 are diagrams for explaining a process of determining a voxel size of a content image.

도 5에 도시된 바와 같이, 본 발명의 입체 영상 생성 장치는, 포인트 클라우드를 토대로 제1 영역(520)과 제2 영역(510)에 대한 복셀(voxel: volumetric pixel) 크기를 서로 다르게 결정하고, 결정된 복셀 크기에 상응하는 복셀 데이터를 생성할 수 있다.5, the apparatus for generating a stereoscopic image of the present invention determines different voxel (volumetric pixel) sizes for the first area 520 and the second area 510 based on the point cloud, Voxel data corresponding to the determined voxel size may be generated.

여기서, 입체 영상 생성 장치는, 복셀 크기를 결정할 때, 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 제1 영역(520)에 대한 복셀 크기와 제2 영역(510)에 대한 복셀 크기를 서로 다르게 결정할 수 있다.Here, the apparatus for generating a stereoscopic image may determine the voxel size of the first region 520 and the voxel size of the second region 510 differently from each other after noise is removed based on the point cloud when determining the voxel size. have.

일 예로, 입체 영상 생성 장치는, 복셀 크기를 결정할 때, 제1 영역(520)에 대한 복셀 크기를 제2 영역(510)에 대한 복셀 크기보다 더 작게 결정할 수 있다.For example, when determining the voxel size, the apparatus for generating a stereoscopic image may determine the voxel size of the first region 520 to be smaller than the voxel size of the second region 510 .

그 이유는, 콘텐츠 영상의 전체 부분에 대한 선명도를 높일 경우, 데이터량이 증가하여 전송 속도가 낮은 문제가 있지만, 콘텐츠 영상의 특정 부분에 대해서만 선명도를 높임으로써, 데이터량의 증가를 최소화하여 전송 속도가 빠르고 원하는 특정 부분의 선명도가 향상되므로 속도 및 화질 면에서 사용자의 만족도를 높일 수 있기 때문이다.The reason is that when the sharpness of the entire part of the content image is increased, the data amount increases and the transfer rate is low. However, by increasing the sharpness only for a specific part of the content image, the data amount increases by This is because it can increase the user's satisfaction in terms of speed and picture quality because it is fast and the sharpness of a desired specific part is improved.

예를 들면, 입체 영상 생성 장치는, 복셀 크기를 결정할 때, 제2 영역에 대한 복셀 크기 대비 약 1% ~ 약 60%인 복셀 크기를 갖도록 제1 영역에 대한 복셀 크기를 작게 결정할 수 있다.For example, when determining the voxel size, the apparatus for generating a stereoscopic image may determine the voxel size of the first region to be small such that the voxel size is about 1% to about 60% of the voxel size of the second region.

그 이유는, 콘텐츠 영상의 복셀 크기가 작을수록 세밀한 입체 정보와 색상 정보를 표현할 수 있어 콘텐츠 영상의 선명도가 증가하기 때문이다.The reason is that the smaller the voxel size of the content image, the more detailed stereoscopic information and color information can be expressed, so that the sharpness of the content image increases.

한편, 도 6에 도시된 바와 같이, 입체 영상 생성 장치(200)는, 복셀 크기를 결정할 때, 제1 영역(520)과 제2 영역(510) 사이에 위치하는 제3 영역(530)에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 제3 영역(530)에 대한 포인트 클라우드가 추출되면 포인트 클라우드를 토대로 제1, 제2, 제3 영역(520, 510, 530)에 대한 복셀 크기를 서로 다르게 결정할 수도 있다.Meanwhile, as shown in FIG. 6 , when determining the voxel size, the stereoscopic image generating apparatus 200 applies the third region 530 between the first region 520 and the second region 510 . It is checked whether the point cloud is separated and extracted, and when the point cloud for the third region 530 is extracted, the voxel sizes of the first, second, and third regions 520 , 510 , and 530 are determined from each other based on the point cloud. You may decide differently.

여기서, 입체 영상 생성 장치는, 복셀 크기를 결정할 때, 제3 영역(530)에 대한 복셀 크기를 제2 영역(510)에 대한 복셀 크기보다 더 작고 제1 영역(520)에 대한 복셀 크기보다 더 크게 결정할 수 있다.Here, when the 3D image generating apparatus determines the voxel size, the voxel size of the third region 530 is smaller than the voxel size of the second region 510 and larger than the voxel size of the first region 520 . can be largely determined.

그 이유는, 제3 영역(530)의 복셀 크기값이 제1 영역(520)의 복셀 크기와 제2 영역(510)의 복셀 크기 사이의 복셀 크기값을 갖지 않을 경우, 제1 영역(520)과 제2 영역(510) 사이에 경계선이 발생하여 콘텐츠 영상의 품질 저하를 가져올 수 있기 때문이다.The reason is that when the voxel size value of the third region 530 does not have a voxel size value between the voxel size of the first region 520 and the voxel size of the second region 510 , the first region 520 . This is because a boundary line is generated between the second region 510 and the second region 510 , and thus the quality of the content image may be deteriorated.

일 예로, 입체 영상 생성 장치는, 복셀 크기를 결정할 때, 제1 영역(520)에 대한 복셀 크기값과 제2 영역(510)에 대한 복셀 크기값 사이의 중간 값을 갖도록 제3 영역(530)에 대한 복셀 크기를 결정할 수 있다.For example, when determining a voxel size, the apparatus for generating a stereoscopic image may have an intermediate value between a voxel size value of the first region 520 and a voxel size value of the second region 510 in the third region 530 . It is possible to determine the voxel size for .

도 7(a) 및 도 7(b)는 복셀 크기에 상응하는 입체 영상을 보여주는 도면이다.7(a) and 7(b) are diagrams illustrating a stereoscopic image corresponding to a voxel size.

도 7(a)에 도시된 바와 같이, 콘텐츠 영상의 전체 부분을 동일한 복셀 크기로 결정하여 생성된 복셀 데이터를 토대로 콘텐츠 영상을 가공하여 재생할 경우, 재생되는 콘텐츠 영상의 선명도가 저하되어 입체 영상의 품질 저하를 가져올 수 있다.As shown in FIG. 7A , when the content image is processed and reproduced based on voxel data generated by determining the entire portion of the content image to have the same voxel size, the clarity of the reproduced content image is reduced and the quality of the stereoscopic image may lead to deterioration.

일 예로, 도 7(a)와 같이, 약 3mm 복셀 크기를 갖는 약 65만개의 콘텐츠 영상을 가공하여 재생할 경우, 재생되는 콘텐츠 영상의 선명도가 저하될 수 있다.For example, as shown in FIG. 7A , when about 650,000 content images having a voxel size of about 3 mm are processed and reproduced, the clarity of the reproduced content images may be deteriorated.

이에 비해, 도 7(b)와 같이, 약 1.25mm 복셀 크기를 갖는 약 150만개의 콘텐츠 영상을 가공하여 재생할 경우, 재생되는 콘텐츠 영상의 선명도가 향상될 수 있다.In contrast, as shown in FIG. 7B , when about 1.5 million content images having a voxel size of about 1.25 mm are processed and reproduced, the clarity of the reproduced content images may be improved.

하지만, 도 7(b)와 같이, 콘텐츠 영상의 전체 부분에 대한 복셀 크기가 작을수록 선명도가 향상될 수 있지만, 데이터량이 증가하여 재생 속도가 매우 느려질 수 있다.However, as shown in FIG. 7B , as the voxel size of the entire portion of the content image decreases, the sharpness may be improved, but the reproduction speed may be very slow due to an increase in the amount of data.

따라서, 본 발명은, 콘텐츠 영상의 전체 부분 중 특정 부분에 대해서만 복셀 크기를 작게 구현함으로써, 데이터량을 최소화하면서도 재생되는 콘텐츠 영상의 선명도를 개선시켜 사용자 만족도를 높일 수 있다.Accordingly, according to the present invention, by reducing the voxel size of only a specific portion of the entire content image, the amount of data is minimized and the clarity of the reproduced content image is improved, thereby increasing user satisfaction.

일 예로, 본 발명은, 콘텐츠 영상의 전체 부분 중 특정 부분인 얼굴 영역에 대해 약 1.25mm 복셀 크기로 가공하고, 특정 부분 이외의 다른 영역에 대해 약 3mm 복셀 크기로 가공할 경우, 콘텐츠 영상의 데이터량을 최소화하면서도 콘텐츠 영상의 선명도를 개선시킬 수 있다.As an example, according to the present invention, when a face region, which is a specific part of the entire content image, is processed to have a voxel size of about 1.25 mm and a region other than the specific part is processed to a size of about 3 mm voxel, data of the content image It is possible to improve the clarity of the content image while minimizing the amount.

경우에 따라, 본 발명은, 약 1.25mm 복셀 크기를 갖는 얼굴 영역과 약 3mm 복셀 크기를 갖는 다른 영역 사이에 약 2mm 복셀 크기를 갖는 버퍼 영역을 배치할 수도 있다.In some cases, the present invention may dispose a buffer region having a size of about 2 mm voxels between a face region having a size of about 1.25 mm voxels and another region having a size of about 3 mm voxels.

즉, 버퍼 영역은, 콘텐츠 영상의 얼굴 영역 주변에 위치할 수 있다.That is, the buffer area may be located around the face area of the content image.

여기서, 버퍼 영역의 면적은, 얼굴 영역의 면적을 토대로 결정될 수 있다.Here, the area of the buffer area may be determined based on the area of the face area.

일 예로, 버퍼 영역의 면적은, 얼굴 영역의 면적이 증감하면 얼굴 영역의 면적 증감 비율에 비례하여 증감할 수 있다.For example, the area of the buffer region may increase or decrease in proportion to an area increase/decrease ratio of the face region when the area of the face region increases or decreases.

즉, 버퍼 영역의 면적은, 얼굴 영역의 면적보다 더 작은 면적을 갖도록 결정할 수 있다.That is, the area of the buffer area may be determined to have a smaller area than the area of the face area.

예를 들면, 버퍼 영역의 면적은, 얼굴 영역의 면적 대비 약 10% ~ 약 60% 인 면적을 갖도록 결정할 수 있지만, 이에 한정되지는 않는다.For example, the area of the buffer region may be determined to have an area of about 10% to about 60% of the area of the face region, but is not limited thereto.

이와 같이, 본 발명은, 콘텐츠 영상의 얼굴 영역 주변에 위치하는 버퍼 영역에 대해 약 2mm 복셀 크기로 가공할 경우, 약 1.25mm 복셀 크기를 갖는 얼굴 영역과 약 3mm 복셀 크기를 갖는 다른 영역 사이에 경계선과 같은 노이즈 발생을 제거하여 콘텐츠 영상의 품질을 향상시킬 수 있다.As described above, according to the present invention, when the buffer region located around the face region of the content image is processed to have a voxel size of about 2 mm, a boundary line between a face region having a voxel size of about 1.25 mm and another region having a voxel size of about 3 mm It is possible to improve the quality of the content image by removing noise generation such as

도 8은 도 1의 입체 영상 생성 장치를 설명하기 위한 블럭 구성도이다.FIG. 8 is a block diagram illustrating the apparatus for generating a stereoscopic image of FIG. 1 .

도 8에 도시된 바와 같이, 입체 영상 생성 장치(200)는, 영상 획득 장치로부터 획득한 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분을 인식하는 특정 부분 인식부(210), 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출하는 포인트 클라우드 추출부(220), 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정하는 복셀 크기 결정부(230), 결정된 복셀 크기에 상응하는 복셀 데이터를 생성하는 복셀 데이터 생성부(240), 그리고 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩하는 인코딩부(250)를 포함할 수 있다.As shown in FIG. 8 , the stereoscopic image generating apparatus 200 includes a specific part recognition unit 210 for recognizing a specific part for which clarity is to be increased among content images acquired from the image acquisition device, and a specific part of the content image. The point cloud extraction unit 220 that separates and extracts point clouds for the corresponding first region and the second region corresponding to a portion other than the specific portion, and voxel sizes for the first region and the second region based on the point cloud The voxel size determiner 230 that determines the voxel size differently from each other, the voxel data generator 240 that generates voxel data corresponding to the determined voxel size, and processes the content image into a 3D stereoscopic image based on the voxel data to form a 3D stereoscopic image It may include an encoding unit 250 for encoding data for the image.

특정 부분 인식부(210)는, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고, 특정 부분에 대한 정보가 미리 설정되어 있으면 설정된 정보를 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다.When receiving the content image, the specific part recognition unit 210 checks whether information on a specific part for which clarity is to be increased is preset in the received content image, and if the information on the specific part is preset, the set information Based on the content image, it is possible to recognize a specific part of the content image.

여기서, 특정 부분 인식부(210)는, 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인할 때, 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.Here, when the specific part recognition unit 210 determines whether information on a specific part for which the sharpness is to be increased is preset, if the information on the specific part is not preset, the point cloud for the entire part of the content image can be extracted.

경우에 따라, 입체 영상 생성 장치(200)는, 콘텐츠 영상에 대한 정보와 선명도를 높이고자 하는 특정 부분에 대한 정보를 포함하는 데이터 테이블이 저장된 저장부를 더 포함할 수도 있다.In some cases, the stereoscopic image generating apparatus 200 may further include a storage unit in which a data table including information on a content image and information on a specific part to be sharpened is stored.

여기서, 데이터 테이블은, 객체의 형상, 크기, 움직임 정도에 따라 분류되는 다수의 콘텐츠 영상들에 대한 정보를 포함하고, 분류된 각 콘텐츠 영상에 상응하여 하나 또는 다수의 특정 부분에 대한 정보를 포함할 수 있다.Here, the data table may include information on a plurality of content images classified according to the shape, size, and degree of movement of an object, and may include information on one or more specific parts corresponding to each classified content image. can

일 예로, 다수의 콘텐츠 영상들에 대한 정보는, 객체의 형상에 따라 분류되는 사람, 동물, 무생물에 상응하는 콘텐츠 영상들에 대한 정보, 객체의 크기에 따라 분류되는 대형, 중형, 소형에 상응하는 콘텐츠 영상들에 대한 정보, 그리고 객체의 움직임 정도에 따라 분류되는 고속, 중속, 저속, 움직임이 없는 고정에 상응하는 콘텐츠 영상들에 대한 정보를 포함할 수 있다.For example, the information on the plurality of content images may include information on content images corresponding to people, animals, and inanimate objects classified according to the shape of the object, and corresponding to large, medium, and small images classified according to the size of the object. It may include information on content images and content images corresponding to high-speed, medium-speed, low-speed, and non-movement fixation classified according to the degree of movement of an object.

또한, 특정 부분 인식부(210)는, 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인할 때, 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 특정 부분을 선택하는 사용자 입력이 있는지를 확인하고, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수도 있다.In addition, the specific part recognizing unit 210, when checking whether information on a specific part for which the sharpness is to be increased is preset, whether there is a user input for selecting a specific part if the information on the specific part is not preset , and if there is a user input, a specific part of the content image may be recognized by analyzing the content image based on the user input.

여기서, 특정 부분 인식부(210)는, 사용자 입력이 있는지를 확인할 때, 사용자 입력이 없으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다.Here, the specific part recognizer 210 may extract a point cloud for the entire part of the content image when there is no user input when checking whether there is a user input.

경우에 따라, 특정 부분 인식부(210)는, 사용자 입력이 있는지를 확인할 때, 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 선택여부를 문의하는 질문창을 생성하고, 생성된 질문창을 미리 설정된 사용자 디바이스로 전송하며, 사용자 디바이스로부터 특정 부분을 선택하는 사용자 입력이 있는지를 확인할 수도 있다.In some cases, when confirming whether there is a user input, the specific part recognition unit 210 generates a question window inquiring whether to select a specific part to increase clarity in the content image, and previews the generated question window in advance. It is transmitted to the set user device, and it can also be checked whether there is a user input for selecting a specific part from the user device.

다른 실시 예로서, 특정 부분 인식부(210)는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분을 선택하는 사용자 입력이 있는지를 확인하고, 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다.As another embodiment, when recognizing a specific part, the specific part recognizing unit 210 checks whether there is a user input for selecting a specific part for which clarity is to be increased from the received content image when receiving a content image, and the user If there is an input, a specific part of the content image may be recognized by analyzing the content image based on the user input.

또 다른 실시 예로서, 특정 부분 인식부(210)는, 특정 부분을 인식할 때, 콘텐츠 영상을 수신하면 수신한 콘텐츠 영상을 분석하고, 분석 결과를 토대로 선명도를 높이고자 하는 특정 부분을 자동 결정하여 인식할 수 있다.As another embodiment, when recognizing a specific part, the specific part recognition unit 210 analyzes the received content image when receiving a content image, and automatically determines a specific part to increase clarity based on the analysis result. can recognize

여기서, 특정 부분 인식부(210)는, 수신한 콘텐츠 영상을 분석할 때, 콘텐츠 영상을 다수의 서브 영역으로 나누고, 각 서브 영역에 대한 객체의 복잡도를 분석할 수 있다.Here, when analyzing the received content image, the specific part recognition unit 210 may divide the content image into a plurality of sub-regions and analyze the complexity of an object for each sub-region.

그리고 특정 부분 인식부(210)는, 선명도를 높이고자 하는 특정 부분을 자동 결정할 때, 분석 결과를 토대로 다수의 서브 영역으로 나누어진 콘텐츠 영상 중 복잡도가 기준값 이상인 서브 영역을 추출하고, 추출한 서브 영역을 상기 선명도를 높이고자 하는 특정 부분으로 자동 결정할 수 있다.In addition, the specific part recognition unit 210 extracts a sub-region having a complexity greater than or equal to a reference value from among the content images divided into a plurality of sub-regions based on the analysis result when automatically determining a specific part to increase sharpness, and selects the extracted sub-region. It can be automatically determined as a specific part to increase the sharpness.

여기서, 특정 부분 인식부(210)는, 수신한 콘텐츠 영상을 분석할 때, 콘텐츠 영상에 대한 콘텐츠 타입을 분석할 수 있다.Here, the specific part recognition unit 210 may analyze the content type of the content image when analyzing the received content image.

그리고, 특정 부분 인식부(210)는, 선명도를 높이고자 하는 특정 부분을 자동 결정할 때, 분석 결과를 토대로 콘텐츠 영상에 대한 콘텐츠 타입에 상응하여 선명도를 높이고자 하는 특정 부분을 자동 결정할 수 있다.In addition, when the specific part recognition unit 210 automatically determines the specific part to increase the sharpness, based on the analysis result, the specific part recognizer 210 may automatically determine the specific part to increase the sharpness corresponding to the content type of the content image.

다음, 포인트 클라우드 추출부(220)는, 제1 영역과 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 더 분리하여 추출할 수 있다.Next, the point cloud extractor 220 may further separate and extract the point cloud for the third area located at the boundary between the first area and the second area.

여기서, 포인트 클라우드 추출부(220)는, 제3 영역에 대한 포인트 클라우드를 분리할 때, 제1 영역의 위치를 토대로 제3 영역의 위치를 결정하고, 결정된 위치에 상응하는 제3 영역의 포인트 클라우드를 분리하여 추출할 수 있다.Here, the point cloud extractor 220 determines the position of the third region based on the position of the first region when separating the point cloud for the third region, and the point cloud of the third region corresponding to the determined position. can be isolated and extracted.

그리고, 포인트 클라우드 추출부(220)는, 제3 영역의 위치를 결정할 때, 제1 영역의 주변을 따라 둘러싸는 영역을 제3 영역의 위치로 결정할 수 있다.In addition, when determining the location of the third area, the point cloud extractor 220 may determine an area surrounding the periphery of the first area as the location of the third area.

경우에 따라, 포인트 클라우드 추출부(220)는, 제3 영역의 위치를 결정할 때, 제1 영역의 면적을 토대로 제3 영역의 면적을 결정할 수도 있다.In some cases, when determining the location of the third area, the point cloud extractor 220 may determine the area of the third area based on the area of the first area.

일 예로, 포인트 클라우드 추출부(220)는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적이 증감하면 제1 영역의 면적 증감 비율에 비례하여 제3 영역의 면적을 증감할 수 있다.For example, when determining the area of the third region, the point cloud extractor 220 may increase or decrease the area of the third region in proportion to an area increase/decrease ratio of the first region if the area of the first region increases or decreases.

여기서, 포인트 클라우드 추출부(220)는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적보다 더 작은 면적을 갖도록 제3 영역의 면적을 결정할 수 있다.Here, when determining the area of the third region, the point cloud extractor 220 may determine the area of the third region to have an area smaller than the area of the first region.

예를 들면, 포인트 클라우드 추출부(220)는, 제3 영역의 면적을 결정할 때, 제1 영역의 면적 대비 약 10% ~ 약 60% 인 면적을 갖도록 제3 영역의 면적을 결정할 수 있다.For example, when determining the area of the third region, the point cloud extractor 220 may determine the area of the third region to have an area of about 10% to about 60% of the area of the first region.

이어, 복셀 크기 결정부(230)는, 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 제1 영역에 대한 복셀 크기와 제2 영역에 대한 복셀 크기를 서로 다르게 결정할 수 있다.Next, the voxel size determiner 230 may determine a voxel size for the first region and a voxel size for the second region to be different from each other after noise is removed based on the point cloud.

즉, 복셀 크기 결정부(230)는, 제1 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작게 결정할 수 있다.That is, the voxel size determiner 230 may determine the voxel size of the first region to be smaller than the voxel size of the second region.

일 예로, 복셀 크기 결정부(230)는, 제2 영역에 대한 복셀 크기 대비 약 1% ~ 약 60%인 복셀 크기를 갖도록 제1 영역에 대한 복셀 크기를 작게 결정할 수 있다.For example, the voxel size determiner 230 may determine the voxel size of the first region to be small to have a voxel size of about 1% to about 60% of the voxel size of the second region.

그리고, 복셀 크기 결정부(230)는, 제1 영역과 제2 영역 사이에 위치하는 제3 영역에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 제3 영역에 대한 포인트 클라우드가 추출되면 포인트 클라우드를 토대로 제1, 제2, 제3 영역에 대한 복셀 크기를 서로 다르게 결정할 수 있다.Then, the voxel size determiner 230 checks whether the point cloud for the third region positioned between the first region and the second region is separated and extracted, and when the point cloud for the third region is extracted, the point cloud Based on , voxel sizes for the first, second, and third regions may be determined differently.

여기서, 복셀 크기 결정부(230)는, 제3 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작고 제1 영역에 대한 복셀 크기보다 더 크게 결정할 수 있다.Here, the voxel size determiner 230 may determine the voxel size of the third region to be smaller than the voxel size for the second region and larger than the voxel size for the first region.

일 예로, 복셀 크기 결정부(230)는, 제1 영역에 대한 복셀 크기값과 제2 영역에 대한 복셀 크기값 사이의 중간값을 갖도록 제3 영역에 대한 복셀 크기를 결정할 수 있다.For example, the voxel size determiner 230 may determine the voxel size of the third region to have an intermediate value between the voxel size value of the first region and the voxel size value of the second region.

도 9는 본 발명에 따른 3차원 입체 콘텐츠 서비스 제공 시스템의 3차원 입체 콘텐츠 서비스 제공 방법을 설명하기 위한 흐름도이고, 도 10 내지 도 13은 콘텐츠 영상의 특정 부분 인식 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a 3D stereoscopic content service providing method of the 3D stereoscopic content service providing system according to the present invention, and FIGS. 10 to 13 are flowcharts illustrating a method for recognizing a specific part of a content image.

도 9에 도시된 바와 같이, 본 발명은, 소정 객체를 촬영하여 콘텐츠 영상을 획득할 수 있다(S10).As shown in FIG. 9 , according to the present invention, a content image may be obtained by photographing a predetermined object (S10).

그리고, 본 발명은, 획득한 콘텐츠 영상 중 선명도를 높이고자 하는 특정 부분을 인식할 수 있다(S20).And, according to the present invention, it is possible to recognize a specific part of the acquired content image for which the sharpness is to be increased (S20).

제1 실시 예로서, 본 발명은, 도 10과 같이, 특정 부분을 인식하는 단계(S20)에서, 획득한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고(S22), 특정 부분에 대한 정보가 미리 설정되어 있으면 설정된 정보를 토대로 상기 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다(S26).As a first embodiment, in the present invention, as shown in FIG. 10 , in the step of recognizing a specific part ( S20 ), it is checked whether information on a specific part for which clarity is to be increased in the acquired content image is preset ( S22), if information on a specific part is set in advance, the specific part of the content image may be recognized by analyzing the content image based on the set information (S26).

여기서, 본 발명은, 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다(S28).Here, in the present invention, if the information on a specific part is not set in advance, it is possible to extract a point cloud for the entire part of the content image (S28).

경우에 따라, 제2 실시 예로서, 본 발명은, 도 11과 같이, 특정 부분을 인식하는 단계(S20)에서, 획득한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인하고(S22), 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 특정 부분을 선택하는 사용자 입력이 있는지를 확인하며(S24), 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다(S26).In some cases, as a second embodiment, the present invention, as shown in FIG. 11 , in the step of recognizing a specific part ( S20 ), determines whether information on a specific part for which clarity is to be increased in the acquired content image is preset. is checked (S22), and if information on a specific part is not set in advance, it is checked whether there is a user input for selecting a specific part (S24), and if there is a user input, the content image is analyzed based on the user input to analyze the content image. A specific part can be recognized (S26).

여기서, 본 발명은, 특정 부분에 대한 정보가 미리 설정되어 있는지를 확인할 때, 특정 부분에 대한 정보가 미리 설정되어 있으면 설정된 정보를 토대로 콘텐츠 영상을 분석하여 콘텐츠 영상 중 특정 부분을 인식할 수 있다(S26).Here, in the present invention, when checking whether information on a specific part is preset, if information on a specific part is preset, the content image can be analyzed based on the set information to recognize a specific part of the content image ( S26).

그리고, 본 발명은, 사용자 입력이 없으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다(S28).And, in the present invention, if there is no user input, it is possible to extract a point cloud for the entire portion of the content image (S28).

또한, 본 발명은, 사용자 입력이 있는지를 확인할 때, 특정 부분에 대한 정보가 미리 설정되어 있지 않으면 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 선택여부를 문의하는 질문창을 생성하고, 생성된 질문창을 미리 설정된 사용자 디바이스로 전송하며, 사용자 디바이스로부터 특정 부분을 선택하는 사용자 입력이 있는지를 확인할 수도 있다.In addition, the present invention, when checking whether there is a user input, if information on a specific part is not set in advance, a question window is created to inquire whether to select a specific part to increase clarity in the content image, and the generated The question window may be transmitted to a preset user device, and it may be checked whether there is a user input for selecting a specific part from the user device.

제3 실시 예로서, 본 발명은, 도 12와 같이, 특정 부분을 인식하는 단계(S20)에서, 획득한 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분을 선택하는 사용자 입력이 있는지를 확인하고(S21), 사용자 입력이 있으면 사용자 입력을 토대로 콘텐츠 영상을 분석하며(S23), 분석된 콘텐츠 영상을 토대로 콘텐츠 영상 중 특정 부분을 인식할 수 있다(S26).As a third embodiment, in the present invention, as shown in FIG. 12 , in the step of recognizing a specific part ( S20 ), it is checked whether there is a user input for selecting a specific part for which clarity is to be increased in the acquired content image ( S21 ) ), if there is a user input, the content image is analyzed based on the user input (S23), and a specific part of the content image can be recognized based on the analyzed content image (S26).

여기서, 본 발명은, 사용자 입력이 없으면 콘텐츠 영상의 전체 부분에 대한 포인트 클라우드를 추출할 수 있다(S28).Here, in the present invention, if there is no user input, it is possible to extract a point cloud for the entire part of the content image (S28).

또한, 본 발명은, 사용자 입력이 있는지를 확인할 때, 콘텐츠 영상에서 선명도를 높이고자 하는 특정 부분에 대한 선택여부를 문의하는 질문창을 생성하고, 생성된 질문창을 미리 설정된 사용자 디바이스로 전송하며, 사용자 디바이스로부터 특정 부분을 선택하는 사용자 입력이 있는지를 확인할 수도 있다.In addition, the present invention, when checking whether there is a user input, generates a question window inquiring whether to select a specific part to increase clarity in the content image, and transmits the generated question window to a preset user device, It may also be checked whether there is a user input for selecting a specific part from the user device.

제4 실시 예로서, 도 13과 같이, 특정 부분을 인식하는 단계(S20)에서, 획득한 콘텐츠 영상을 분석하고(S23), 분석 결과를 토대로 선명도를 높이고자 하는 특정 부분을 자동 결정하며(S25), 자동 결정에 따라 콘텐츠 영상 중 특정 부분을 인식할 수 있다(S26).As a fourth embodiment, as shown in FIG. 13 , in the step of recognizing a specific part (S20), the acquired content image is analyzed (S23), and a specific part to be sharpened based on the analysis result is automatically determined (S25) ), it is possible to recognize a specific part of the content image according to the automatic determination (S26).

여기서, 본 발명은, 획득한 콘텐츠 영상을 분석할 때, 콘텐츠 영상을 다수의 서브 영역으로 나누고, 각 서브 영역에 대한 객체의 복잡도를 분석할 수 있다.Here, in the present invention, when analyzing the acquired content image, the content image may be divided into a plurality of sub-regions and the complexity of the object for each sub-region may be analyzed.

그리고, 본 발명은, 선명도를 높이고자 하는 특정 부분을 자동 결정할 때, 분석 결과를 토대로 다수의 서브 영역으로 나누어진 콘텐츠 영상 중 복잡도가 기준값 이상인 서브 영역을 추출하고, 추출한 서브 영역을 선명도를 높이고자 하는 특정 부분으로 자동 결정할 수 있다.In addition, the present invention extracts a sub-region having a complexity greater than or equal to a reference value from among content images divided into a plurality of sub-regions based on the analysis result when automatically determining a specific part for which sharpness is to be increased, and to increase the sharpness of the extracted sub-region It can be automatically determined as a specific part of

그 이유는, 콘텐츠 영상 중 복잡도가 높은 부분이 복잡도가 낮은 부분에 비해 선명도가 저하되고 뭉개지는 노이즈 현상이 발생할 수 있기 때문이다.The reason for this is that the high-complexity portion of the content image may have lowered sharpness and crushed noise compared to the low-complexity portion.

따라서, 콘텐츠 영상 중 복잡도가 높은 부분을 특정 부분으로 인식하여 복셀 크기를 작게 가공할 경우, 콘텐츠 영상의 품질을 개선할 수 있다.Accordingly, when a part of the content image with high complexity is recognized as a specific part and the voxel size is reduced, the quality of the content image can be improved.

경우에 따라, 본 발명은, 획득한 콘텐츠 영상을 분석할 때, 콘텐츠 영상에 대한 콘텐츠 타입을 분석할 수도 있다.In some cases, the present invention may analyze the content type of the content image when analyzing the acquired content image.

그 이유는, 콘텐츠 타입에 적합하게 선명도를 높여야 할 특정 부분들을 효과적으로 인식하여 복셀 크기를 작게 가공할 경우, 콘텐츠 영상의 품질을 개선할 수 있다.The reason is that the quality of the content image can be improved when the voxel size is reduced by effectively recognizing specific portions to be sharpened appropriately for the content type.

예를 들면, 콘텐츠 타입이 축구에 관련된 스포츠이면 콘텐츠 영상 중 축구 선수의 다리 및 축구공 등에 특정 부분을 인식하고, 콘텐츠 타입이 강의에 관련된 교육이면 콘텐츠 영상 중 강사의 손 및 칠판 등에 특정 부분을 인식할 수 있다.For example, if the content type is sports related to soccer, specific parts such as the legs and soccer ball of a soccer player are recognized in the content image, and if the content type is education related to lecture, specific parts such as the instructor's hand and blackboard are recognized in the content image can do.

그리고, 본 발명은, 선명도를 높이고자 하는 특정 부분을 자동 결정할 때, 분석 결과를 토대로 콘텐츠 영상에 대한 콘텐츠 타입에 상응하여 선명도를 높이고자 하는 특정 부분을 자동 결정할 수 있다.And, according to the present invention, when a specific part for which sharpness is to be increased is automatically determined, based on the analysis result, it is possible to automatically determine a specific part for which sharpness is to be increased according to the content type of the content image.

이어, 본 발명은, 콘텐츠 영상 중 특정 부분에 상응하는 제1 영역과 특정부분 이외의 부분에 상응하는 제2 영역에 대한 포인트 클라우드를 각각 분리하여 추출할 수 있다(S30, S40).Next, according to the present invention, the point clouds for the first region corresponding to a specific part of the content image and the second region corresponding to a part other than the specific part may be separated and extracted (S30, S40).

경우에 따라, 본 발명은, 제1 영역과 제2 영역 사이의 경계에 위치하는 제3 영역에 대한 포인트 클라우드를 더 분리하여 추출할 수도 있다.In some cases, the present invention may further separate and extract the point cloud for the third area located at the boundary between the first area and the second area.

여기서, 본 발명은, 제1 영역의 위치를 토대로 제3 영역의 위치를 결정하고, 결정된 위치에 상응하는 제3 영역의 포인트 클라우드를 분리하여 추출할 수 있다.Here, in the present invention, the position of the third region may be determined based on the position of the first region, and the point cloud of the third region corresponding to the determined position may be separated and extracted.

일 예로, 본 발명은, 제3 영역의 위치를 결정할 때, 제1 영역의 주변을 따라 둘러싸는 영역을 제3 영역의 위치로 결정할 수 있다.For example, in the present invention, when determining the location of the third area, an area surrounding the periphery of the first area may be determined as the location of the third area.

다른 예로, 본 발명은, 제3 영역의 위치를 결정할 때, 제1 영역의 면적을 토대로 제3 영역의 면적을 결정할 수 있다.As another example, when determining the location of the third area, the present invention may determine the area of the third area based on the area of the first area.

여기서, 본 발명은, 제3 영역의 면적을 결정할 때, 제1 영역의 면적이 증감하면 제1 영역의 면적 증감 비율에 비례하여 제3 영역의 면적을 증감할 수 있다.Here, in the present invention, when the area of the third region is determined, if the area of the first region increases or decreases, the area of the third region may be increased or decreased in proportion to the area increase/decrease ratio of the first region.

즉, 본 발명은, 제1 영역의 면적보다 더 작은 면적을 갖도록 제3 영역의 면적을 결정할 수 있다.That is, according to the present invention, the area of the third region may be determined to have an area smaller than that of the first region.

그 이유는, 제3 영역의 면적이 너무 크면 데이터량이 증가하고, 제2 영역의 면적이 너무 작으면 제1 영역과 제2 영역 사이에 경계선 등의 노이즈 발생이 제거되지 않을 수 있기 때문이다.This is because, if the area of the third region is too large, the amount of data increases, and if the area of the second region is too small, noise generation such as a boundary line between the first region and the second region may not be removed.

예를 들면, 본 발명은, 제1 영역의 면적 대비 약 10% ~ 약 60% 인 면적을 갖도록 제3 영역의 면적을 결정할 수 있다.For example, in the present invention, the area of the third region may be determined to have an area of about 10% to about 60% of the area of the first region.

다음, 본 발명은, 포인트 클라우드를 토대로 제1 영역과 제2 영역에 대한 복셀 크기를 서로 다르게 결정할 수 있다(S50, S60).Next, according to the present invention, the voxel sizes of the first region and the second region may be determined differently based on the point cloud ( S50 and S60 ).

여기서, 본 발명은, 포인트 클라우드를 토대로 노이즈를 제거한 다음에, 제1 영역에 대한 복셀 크기와 제2 영역에 대한 복셀 크기를 서로 다르게 결정할 수 있다.Here, in the present invention, after noise is removed based on the point cloud, the voxel size of the first region and the voxel size of the second region may be determined differently from each other.

즉, 본 발명은, 제1 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작게 결정할 수 있다.That is, according to the present invention, the voxel size of the first region may be determined to be smaller than the voxel size of the second region.

그 이유는, 콘텐츠 영상의 전체 부분에 대한 선명도를 높일 경우, 데이터량이 증가하여 전송 속도가 낮은 문제가 있지만, 콘텐츠 영상의 특정 부분에 대해서만 선명도를 높임으로써, 데이터량의 증가를 최소화하여 전송 속도가 빠르고 원하는 특정 부분의 선명도가 향상되므로 속도 및 화질면에서 사용자의 만족도를 높일 수 있기 때문이다.The reason is that when the sharpness of the entire part of the content image is increased, the data amount increases and the transmission speed is low. This is because the user's satisfaction can be increased in terms of speed and image quality because the sharpness of a desired specific part is improved quickly.

일 예로, 본 발명은, 제2 영역에 대한 복셀 크기 대비 약 1% ~ 약 60%인 복셀 크기를 갖도록 제1 영역에 대한 복셀 크기를 작게 결정할 수 있다.For example, in the present invention, the voxel size of the first region may be determined to be small to have a voxel size of about 1% to about 60% compared to the voxel size of the second region.

경우에 따라, 본 발명은, 복셀 크기를 결정할 때, 제1 영역과 제2 영역 사이에 위치하는 제3 영역에 대한 포인트 클라우드가 분리되어 추출되었는지를 확인하고, 제3 영역에 대한 포인트 클라우드가 추출되면 포인트 클라우드를 토대로 제1, 제2, 제3 영역에 대한 복셀 크기를 서로 다르게 결정할 수도 있다.In some cases, in the present invention, when determining the voxel size, it is checked whether the point cloud for the third region positioned between the first region and the second region is separated and extracted, and the point cloud for the third region is extracted. Then, the voxel sizes for the first, second, and third regions may be determined differently based on the point cloud.

여기서, 본 발명은, 제3 영역에 대한 복셀 크기를 제2 영역에 대한 복셀 크기보다 더 작고 제1 영역에 대한 복셀 크기보다 더 크게 결정할 수 있다.Here, in the present invention, the voxel size of the third region may be determined to be smaller than the voxel size for the second region and larger than the voxel size for the first region.

따라서, 본 발명은, 제1 영역에 대한 복셀 크기값과 제2 영역에 대한 복셀 크기값 사이의 중간값을 갖도록 제3 영역에 대한 복셀 크기를 결정할 수 있다.Accordingly, according to the present invention, the voxel size of the third region may be determined to have an intermediate value between the voxel size value of the first region and the voxel size value of the second region.

그리고, 본 발명은, 결정된 복셀 크기에 상응하는 복셀 데이터를 생성할 수 있다.And, according to the present invention, voxel data corresponding to the determined voxel size may be generated.

이어, 본 발명은, 복셀 데이터를 토대로 콘텐츠 영상을 3차원 입체 영상으로 가공하여 3차원 입체 영상에 대한 데이터를 인코딩할 수 있다(S70).Next, according to the present invention, data on the 3D stereoscopic image can be encoded by processing the content image into a 3D stereoscopic image based on the voxel data ( S70 ).

다음, 본 발명은, 3차원 입체 영상에 대한 데이터를 디코딩하고 렌더링을 수행할 수 있다(S80).Next, according to the present invention, data for a 3D stereoscopic image may be decoded and rendering may be performed ( S80 ).

그리고, 본 발명은, 렌더링이 수행된 3차원 입체 영상을 재생할 수 있다(S90).And, according to the present invention, a 3D stereoscopic image on which rendering has been performed can be reproduced (S90).

한편, 본 발명의 일 실시예는, 상기 3차원 입체 콘텐츠 서비스 제공 방법들 중 어느 하나의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램 및 상기 프로그램이 기록된 기록매체를 더 제공할 수도 있다.Meanwhile, an embodiment of the present invention may further provide a computer-readable program for executing any one of the three-dimensional stereoscopic content service providing methods, and a recording medium in which the program is recorded.

여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.Various embodiments described herein may be implemented in a computer-readable recording medium using, for example, software, hardware, or a combination thereof.

소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다.According to the software implementation, embodiments such as a procedure or function may be implemented together with a separate software module for performing at least one function or operation. The software code may be implemented by a software application written in a suitable programming language.

상술한 실시예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 형태로 구현되는 것도 포함된다.The method according to the above-described embodiment may be produced as a program to be executed by a computer and stored in a computer-readable recording medium, and examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape. , a floppy disk, an optical data storage device, etc. are also included.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상술한 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer-readable recording medium is distributed in network-connected computer systems, so that the computer-readable code can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the above-described method can be easily inferred by programmers in the technical field to which the embodiment belongs.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.It is apparent to those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit and essential characteristics of the present invention.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. Accordingly, the above detailed description should not be construed as restrictive in all respects but as exemplary. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.

100: 영상 획득 장치
200: 입체 영상 생성 장치
210: 특정 부분 인식부
220: 포인트 클라우드 추출부
230: 복셀 크기 결정부
240: 복셀 데이터 생성부
250: 인코딩부
300: 입체 영상 재생 장치100: image acquisition device
200: stereoscopic image generating device
210: specific part recognition unit
220: point cloud extraction unit
230: voxel size determiner
240: voxel data generator
250: encoding unit
300: stereoscopic image playback device

Claims

an image acquisition device for acquiring a content image by photographing a predetermined object; and
and a stereoscopic image generating device that processes the obtained content image into a three-dimensional stereoscopic image,
The stereoscopic image generating device comprises:
When the content image is received, a specific part is recognized, a first area corresponding to a specific part of the content image, a second area corresponding to a part other than the specific part, and a boundary between the first area and the second area point clouds for the third region located in . to process the content image into a 3D stereoscopic image based on the voxel data.

According to claim 1, wherein the image acquisition device,
including multiple cameras;
The system for providing a three-dimensional stereoscopic content service, characterized in that the plurality of cameras simultaneously photograph the object in different directions to obtain the content image.

According to claim 1, wherein the stereoscopic image generating device,
When recognizing the specific part, when the content image is received, it is checked whether information on a specific part for which clarity is to be increased is preset in the received content image, and if the information on the specific part is preset 3D stereoscopic content service providing system, characterized in that by analyzing the content image based on the set information, a specific part of the content image is recognized.

The method of claim 3, wherein the stereoscopic image generating device comprises:
3, characterized in that when it is checked whether the information on the specific part for which the sharpness is to be increased is preset, if the information on the specific part is not preset, the point cloud for the entire part of the content image is extracted 3D content service provision system.

According to claim 1, wherein the stereoscopic image generating device,
When determining the voxel size, after noise is removed based on the point cloud, the voxel size of the first region and the voxel size of the second region are determined differently from each other. system.

According to claim 1, wherein the stereoscopic image generating device,
and determining the voxel size of the first region to be smaller than the voxel size of the second region when determining the voxel size.

According to claim 1, wherein the stereoscopic image generating device,
When determining the voxel size, it is checked whether the point cloud for the third region is separated and extracted, and when the point cloud for the third region is extracted, the first, second, and third regions based on the point cloud A system for providing a 3D stereoscopic content service, characterized in that different voxel sizes are determined.

The apparatus of claim 7, wherein the stereoscopic image generating device comprises:
and determining the voxel size for the third region to be smaller than the voxel size for the second region and larger than the voxel size for the first region when determining the voxel size. system.

According to claim 1, wherein the stereoscopic image generating device,
When the content image is processed into a 3D stereoscopic image, voxel data corresponding to the determined voxel size is generated, the content image is processed into a 3D stereoscopic image, and data for the processed 3D stereoscopic image is encoded. 3D stereoscopic content service providing system, characterized in that it is transmitted.

According to claim 1,
3D stereoscopic content service providing system, characterized in that it further comprises a stereoscopic image reproducing apparatus for reproducing the 3D stereoscopic image.

The apparatus of claim 10, wherein the stereoscopic image reproducing apparatus comprises:
When the 3D stereoscopic image is reproduced, when the processed 3D stereoscopic image data is received, the 3D stereoscopic content service providing system decodes the data and performs rendering to reproduce the 3D stereoscopic image.

A method for providing a 3D stereoscopic content service in a 3D stereoscopic contents service providing system, comprising a stereoscopic image generating device communicatively connected to an image acquisition device and a stereoscopic image reproducing device, the method comprising:
acquiring, by the image acquisition device, a content image by photographing a predetermined object;
recognizing, by the stereoscopic image generating apparatus, a specific part of the acquired content image;
a first region corresponding to a specific part of the content image, a second region corresponding to a part other than the specific part, and a third region positioned at a boundary between the first region and the second region in the stereoscopic image generating apparatus Separating and extracting each point cloud for the region;
determining, by the stereoscopic image generating apparatus, different voxel sizes for the first region and the second region based on the point cloud;
generating, by the stereoscopic image generating apparatus, voxel data corresponding to the determined voxel size;
encoding, by the stereoscopic image generating apparatus, data on the 3D stereoscopic image by processing the content image into a 3D stereoscopic image based on the voxel data;
decoding, by the stereoscopic image reproducing apparatus, data on the 3D stereoscopic image and rendering; and
and reproducing, by the stereoscopic image reproducing apparatus, the rendered 3D stereoscopic image.

The method of claim 12, wherein recognizing the specific part comprises:
In the acquired content image, it is checked whether information on a specific part to increase clarity is preset, and if information on the specific part is preset, the content image is analyzed based on the set information to analyze the content image. 3D stereoscopic content service providing method, characterized in that recognizing a specific part of the.

14. The method of claim 13, wherein the step of determining whether information on a specific part to increase the sharpness is preset,
3D stereoscopic content service providing method, characterized in that if the information on the specific part is not set in advance, a point cloud for the entire part of the content image is extracted.

The method of claim 12, wherein determining the voxel size comprises:
3D stereoscopic content service providing method, characterized in that after noise is removed based on the point cloud, the voxel size of the first region and the voxel size of the second region are determined to be different from each other.

The method of claim 12, wherein determining the voxel size comprises:
and determining a voxel size for the first region to be smaller than a voxel size for the second region.

The method of claim 12, wherein determining the voxel size comprises:
It is checked whether the point cloud for the third region is separated and extracted, and when the point cloud for the third region is extracted, the voxel sizes of the first, second, and third regions are set differently based on the point cloud. 3D stereoscopic content service providing method, characterized in that determining.

The method of claim 17, wherein determining the voxel size comprises:
and determining a voxel size of the third region to be smaller than a voxel size for the second region and larger than a voxel size for the first region.

A stereoscopic image generating device communicatively connected to an image acquisition device and a stereoscopic image reproducing device, comprising:
a specific part recognition unit for recognizing a specific part of the content image acquired from the image acquisition device;
Point clouds for a first area corresponding to a specific portion of the content image, a second area corresponding to a portion other than the specific portion, and a third area located at a boundary between the first area and the second area, respectively a point cloud extraction unit that separates and extracts;
a voxel size determiner configured to determine different voxel sizes for the first region and the second region based on the point cloud;
a voxel data generator configured to generate voxel data corresponding to the determined voxel size; and
and an encoding unit that processes the content image into a 3D stereoscopic image based on the voxel data and encodes data for the 3D stereoscopic image.

The method of claim 19, wherein the specific part recognition unit,
When the content image is received, it is checked whether information on a specific part for which clarity is to be increased in the received content image is preset, and if information on the specific part is preset, the content image based on the set information A stereoscopic image generating apparatus, characterized in that by analyzing a specific part of the content image is recognized.

The method of claim 20, wherein the specific part recognition unit,
When it is checked whether the information on the specific part to increase the sharpness is preset, if the information on the specific part is not preset, the point cloud for the entire part of the content image is extracted image generating device.

20. The method of claim 19,
and a storage unit storing a data table including information on the content image and information on the specific part.

The method of claim 19, wherein the specific part recognition unit,
When recognizing the specific part, when the content image is received, it is checked whether there is a user input for selecting a specific part from the received content image, and if there is the user input, the content image is analyzed based on the user input and the content image is analyzed. A stereoscopic image generating apparatus, characterized in that it recognizes a specific part of the content image.

The method of claim 23, wherein the specific part recognition unit,
The apparatus for generating a stereoscopic image, characterized in that when it is checked whether there is the user input, and if there is no user input, a point cloud for the entire portion of the content image is extracted.

The method of claim 24, wherein the point cloud extraction unit,
When separating the point cloud for the third region, the position of the third region is determined based on the position of the first region, and the point cloud of the third region corresponding to the determined position is separated and extracted. A stereoscopic image generating device.

The method of claim 19, wherein the voxel size determiner comprises:
The apparatus of claim 1, wherein after noise is removed based on the point cloud, the voxel size of the first region and the voxel size of the second region are determined to be different from each other.

The method of claim 19, wherein the voxel size determiner comprises:
and determining a voxel size of the first region to be smaller than a voxel size of the second region.

The method of claim 19, wherein the voxel size determiner comprises:
It is checked whether the point cloud for the third region is separated and extracted, and when the point cloud for the third region is extracted, the voxel sizes of the first, second, and third regions are set differently based on the point cloud. A stereoscopic image generating apparatus, characterized in that it is determined.

The method of claim 28, wherein the voxel size determiner comprises:
and determining a voxel size of the third region to be smaller than a voxel size for the second region and larger than a voxel size for the first region.

30. The method of claim 29, wherein the voxel size determiner comprises:
and determining the voxel size of the third region to have an intermediate value between the voxel size value of the first region and the voxel size value of the second region.

A method for providing a 3D stereoscopic content service in a stereoscopic image generating apparatus comprising a specific part recognition unit, a point cloud extractor, a voxel size determiner, a voxel data generation unit, and an encoding unit, the method comprising:
recognizing, by the specific part recognition unit, a specific part of the content image acquired from the image acquisition device;
The point cloud extracting unit may include a first area corresponding to a specific portion of the content image, a second area corresponding to a portion other than the specific portion, and a third area positioned at a boundary between the first area and the second area. Separately extracting each point cloud for ;
determining, by the voxel size determiner, different voxel sizes for the first region and the second region based on the point cloud;
generating, by the voxel data generator, voxel data corresponding to the determined voxel size; and
and encoding, by the encoding unit, data on the 3D stereoscopic image by processing the content image into a 3D stereoscopic image based on the voxel data. .

The method of claim 31, wherein recognizing the specific part comprises:
In the acquired content image, it is checked whether information on a specific part to increase clarity is preset, and if information on the specific part is preset, the content image is analyzed based on the set information to analyze the content image. A method of providing a 3D stereoscopic content service by a stereoscopic image generating apparatus, characterized in that a specific part is recognized.

33. The method of claim 32, wherein the step of determining whether information on a specific part to increase the sharpness is preset,
The 3D stereoscopic content service providing method of the apparatus for generating a stereoscopic image, characterized in that when the information on the specific part is not set in advance, a point cloud for the entire part of the content image is extracted.

The method of claim 31, wherein recognizing the specific part comprises:
3D image characterized in that it is checked whether there is a user input for selecting a specific part from the obtained content image, and if there is a user input, the content image is analyzed based on the user input to recognize a specific part of the content image A method of providing a 3D stereoscopic content service by a generating device.

The method of claim 31, wherein the step of determining whether there is a user input comprises:
The method of providing a 3D stereoscopic content service of a stereoscopic image generating apparatus, characterized in that when there is no user input, a point cloud for the entire portion of the content image is extracted.

40. The method of claim 39, wherein separating the point cloud for the third area comprises:
3D stereoscopic content service of a stereoscopic image generating apparatus, characterized in that the position of the third region is determined based on the position of the first region, and a point cloud of the third region corresponding to the determined position is separated and extracted Way.

37. The method of claim 36, wherein determining the location of the third region comprises:
and determining an area surrounding the periphery of the first area as the location of the third area.

The method of claim 31, wherein determining the voxel size comprises:
The method for providing a 3D stereoscopic content service for a stereoscopic image generating apparatus, characterized in that after noise is removed based on the point cloud, a voxel size for the first region and a voxel size for the second region are determined to be different from each other.

The method of claim 31, wherein determining the voxel size comprises:
and determining a voxel size of the first region to be smaller than a voxel size of the second region.

The method of claim 31, wherein determining the voxel size comprises:
It is checked whether the point cloud for the third region located between the first region and the second region is separated and extracted, and when the point cloud for the third region is extracted, the first and second regions based on the point cloud , a 3D stereoscopic content service providing method of a stereoscopic image generating apparatus, characterized in that different voxel sizes are determined for the third region.

41. The method of claim 40, wherein determining the voxel size comprises:
and determining a voxel size of the third region to be smaller than a voxel size for the second region and larger than a voxel size for the first region.

42. The method of claim 41, wherein determining the voxel size comprises:
and determining the voxel size of the third region to have an intermediate value between the voxel size value of the first region and the voxel size value of the second region. How to provide.

A computer-readable recording medium in which a program for executing the method according to any one of claims 12 to 18 and 31 to 42 is recorded.