KR102622709B1

KR102622709B1 - Method and Apparatus for generating 360 degree image including 3-dimensional virtual object based on 2-dimensional image

Info

Publication number: KR102622709B1
Application number: KR1020220071563A
Authority: KR
Inventors: 정일회; 이정은; 김대명
Original assignee: 태나다 주식회사
Priority date: 2022-06-13
Filing date: 2022-06-13
Publication date: 2024-01-08
Also published as: KR20230171237A

Abstract

2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법에 관한 것으로, 사용자로부터 2차원 확장대상 영상에 대한 선택 및 360도 영상에 포함시킬 가상객체에 대한 가상객체 입력을 수신하고, 2차원 확장대상 영상을 획득하고, 2차원 확장대상 영상과 연관된 360도 가상공간을 생성하고, 가상객체 입력 및 2차원 확장대상 영상에 기초하여 가상객체를 렌더링하고 360도 가상공간에 가상객체를 삽입하고, 360도 가상공간에서 가상 카메라의 위치 및 방향을 설정하고, 그리고 가상 카메라의 위치 및 방향에 따라 가상 카메라가 비추는 360도 가상공간의 영역을 나타내는 영상을 출력함으로써, 사용자로 하여금 간단한 조작만으로 2차원 영상과 매우 비슷한 360도 영상을 생성할 수 있다. It relates to a method of generating a 360-degree image including a 3-dimensional virtual object based on a 2-dimensional image, and includes selecting a 2-dimensional expansion target image from the user and receiving a virtual object input for a virtual object to be included in the 360-degree image. Obtain a 2D expansion target image, create a 360-degree virtual space associated with the 2D expansion target image, render the virtual object based on the virtual object input and the 2D expansion target image, and create a virtual object in the 360-degree virtual space. By inserting and setting the position and direction of the virtual camera in the 360-degree virtual space, and outputting an image representing the area of the 360-degree virtual space illuminated by the virtual camera according to the position and direction of the virtual camera, the user can perform simple operations. It is possible to create a 360-degree image that is very similar to a 2-dimensional image.

Description

Method and apparatus for generating 360 degree image including 3-dimensional virtual object based on 2-dimensional image}

2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치에 관한 것이다. It relates to a method and device for generating a 360-degree image including a 3D virtual object based on a 2D image.

가상현실(VR: Virtual Reality) 기술은 현실 세계의 객체 및 배경 등을 컴퓨터로 시뮬레이션하고 시뮬레이션된 가상객체 및 가상 배경을 사용자에 제공하고, 증강현실(AR: Augmented Reality) 기술은 현실 세계의 영상 상에 가상으로 만들어진 가상객체를 함께 제공하고, 혼합현실(MR: Mixed Reality) 기술은 현실세계에 가상현실이 접목되어 현실의 물리적 객체와 가상객체가 상호작용하는 환경을 제공한다. Virtual reality (VR) technology simulates real world objects and backgrounds on a computer and provides simulated virtual objects and virtual backgrounds to users, while augmented reality (AR) technology provides images of the real world. It provides virtual objects created virtually, and mixed reality (MR: Mixed Reality) technology combines virtual reality with the real world to provide an environment where real physical objects and virtual objects interact.

가상현실(VR) 기술은 현실 세계의 객체 및 배경을 모두 가상객체로 변환하고 가상객체만으로 구성된 영상을 제공하기 때문에 객체 및 배경 모두를 렌더링한다. 이에 반하여, 증강현실(AR) 기술은 대상 객체만이 렌더링되고 그외의 객체 및 배경은 렌더링 되지 않은 영상을 제공하기 때문에 대상 객체만을 렌더링하고 그외에는 렌더링하지 않는다. 다시 말해, 가상현실(VR) 화면은 객체 및 배경이 모두 3D 렌더링에 의해 생성된 가상객체를 나타내는 데에 반하여, 증강현실(AR) 화면은 일부 객체만이 3D 렌더링에 의해 생성된 가상객체이고 그 외에는 카메라 모듈에 의해 촬영된 현실세계의 실제 객체 및 실제 공간을 나타낸다. Virtual reality (VR) technology renders both objects and backgrounds because it converts all objects and backgrounds in the real world into virtual objects and provides images composed only of virtual objects. In contrast, augmented reality (AR) technology provides images in which only the target object is rendered and other objects and backgrounds are not rendered, so only the target object is rendered and nothing else is rendered. In other words, while the virtual reality (VR) screen represents virtual objects in which both objects and backgrounds are created by 3D rendering, the augmented reality (AR) screen shows that only some objects are virtual objects created by 3D rendering. Other than that, it represents real objects and real spaces in the real world captured by the camera module.

상술한 바와 같이, 증강현실(AR)은 현실세계의 이미지나 배경에 3차원 가상객체를 겹쳐서 하나의 영상으로 보여주는 기술이다. 예를 들어, 현실세계를 나타내는 데이터는 카메라에 의해 촬영된 이미지 또는 영상 데이터일 수 있고, 가상현실을 나타내는 데이터, 즉 가상객체는 현실세계와 관련되는 정보 예컨대 현실세계의 가상객체를 설명하는 텍스트 설명일 수 있다. 구체적인 예를 들어, 사용자가 카메라를 포함하는 스마트폰으로 남대문을 촬영하는 경우, 스마트폰은 디스플레이부에 남대문을 나타내는 이미지 데이터 상에 남대문에 대한 설명이 기재된 텍스트를 함께 표시하여 사용자에게 제공한다. 이처럼, 증강현실(AR)은 현실세계의 현실객체와 가상현실의 가상객체가 동시에 디스플레이되기 때문에 가상객체가 현실세계를 나타내는 이미지 데이터 상에 현실성있게 통합되어야 한다. As described above, augmented reality (AR) is a technology that displays a single image by superimposing a 3D virtual object on an image or background of the real world. For example, data representing the real world may be images or video data captured by a camera, and data representing virtual reality, that is, virtual objects, may be information related to the real world, such as text descriptions that describe virtual objects in the real world. It can be. For example, when a user takes a picture of Namdaemun with a smartphone including a camera, the smartphone displays text with a description of Namdaemun on the display unit along with image data representing Namdaemun and provides the image to the user. As such, augmented reality (AR) displays real objects in the real world and virtual objects in virtual reality simultaneously, so virtual objects must be realistically integrated into image data representing the real world.

또한, 근래에는 스마트폰을 이용하여 촬영한 영상을 바로 스마트폰에서 편집하는 사용자들이 증가하고 있다. 그러나, 기존의 영상 편집 프로그램이나 어플리케이션의 경우 프로세서 처리량이 많아 데스크톱 컴퓨터나 노트북에서만 사용할 수 있는 문제점이 있었다. 스마트폰과 같은 모바일 기기를 이용한 영상 편집 어플리케이션은 간단한 편집만 가능하다. Additionally, in recent years, the number of users who edit videos captured using smartphones directly on their smartphones is increasing. However, existing video editing programs or applications have a problem in that they can only be used on desktop computers or laptops due to the high processor processing requirements. Video editing applications using mobile devices such as smartphones allow only simple editing.

이와 관련하여, 대한민국등록특허 제10-0901111호 “삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템”은 삼차원 가상공간상에 사용자가 연출한 영상을 맵핑하여 표시하는 삼차원 가상 공간 콘텐츠를 제공하는 기술에 대하여 개시하고 있다. 그러나, 이 종래 기술은 3차원 가상 공간 영상에 단순히 2차원 영상을 합성하여 출력하는 것에 불과하여 3차원 가상 공간과 합성된 2차원 영상 사이의 상호작용을 표현하기 어려우며 영상의 현실성이 떨어지는 문제점이 있었다. In this regard, Republic of Korea Patent No. 10-0901111, “Image provision system using three-dimensional virtual space content,” discloses a technology for providing three-dimensional virtual space content that maps and displays images created by the user on a three-dimensional virtual space, there is. However, this prior art simply synthesizes and outputs a 2-dimensional image with a 3-dimensional virtual space image, making it difficult to express the interaction between the 3-dimensional virtual space and the synthesized 2-dimensional image, and has the problem of lowering the realism of the image. .

또한, 대한민국등록특허 제10-2192412호 “3D 가상공간에 실시간 영상을 합성하는 방법 및 그를 이용한 컴퓨팅 장치”는 가상 오배젝트를 포함하는 가상공간을 생성하고, 생성된 가상공간에 리얼 카메라를 통하여 촬영된 촬영 대상을 포함시켜 나타내는 기술에 대하여 개시하고 있다. 그러나, 이 종래 기술은 사용자가 3차원 영상을 편집하거나 카메라로 촬영한 영상과 가상 현실 영상 사이의 상화작용을 표현하기 어려운 문제점이 있었다. In addition, Republic of Korea Patent No. 10-2192412, “Method for compositing real-time images in 3D virtual space and computing device using the same,” creates a virtual space including virtual objects, and captures images in the created virtual space using a real camera. A technology for representing a photographed subject is disclosed. However, this prior art had a problem in that it was difficult for a user to edit a 3D image or express interaction between an image captured by a camera and a virtual reality image.

대한민국등록특허 제10-0901111호Republic of Korea Patent No. 10-0901111 대한민국등록특허 제10-2192412호Republic of Korea Patent No. 10-2192412

2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치를 제공하는 데에 있다. 또한, 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있다.The object is to provide a method and device for generating a 360-degree image including a 3D virtual object based on a 2D image. In addition, the present invention is not limited to the technical challenges described above, and other technical challenges may be derived from the following description.

본 발명의 일 실시예에 따른 2차원 영상 기반 3차원 가상객체를 포함하는 360도 영상생성 방법은, 사용자로부터 2차원 확장대상 영상에 대한 선택을 포함하는 확장대상 영상 선택 및 360도 영상에 포함시킬 가상객체의 합성객체정보, 합성위치 및 합성방향(orientation)을 포함하는 가상객체 입력을 수신하는 단계; 상기 확장대상 영상 선택에 기초하여, 스토리지로부터 상기 2차원 확장대상 영상을 획득하는 단계; 상기 2차원 확장대상 영상에 기초하여, 상기 2차원 확장대상 영상을 포함하는 상기 2차원 확장대상 영상과 연관된 360도 가상공간을 생성하는 단계; 상기 가상객체 입력 및 상기 2차원 확장대상 영상에 기초하여, 가상객체를 렌더링하고 상기 360도 가상공간에 상기 가상객체를 삽입하는 단계; 360도 가상공간에 배치된 가상객체 및 2차원 확장대상 영상에 기초하여, 360도 가상공간에서 가상 카메라의 위치 및 방향을 설정하는 단계; 및 상기 가상 카메라의 위치 및 방향에 따라 상기 가상 카메라가 비추는 상기 360도 가상공간의 영역을 나타내는 영상을 출력하는 단계를 포함한다. A 360-degree image generation method including a 3D virtual object based on a 2D image according to an embodiment of the present invention includes selecting an expansion target image including selection of a 2D expansion target image from the user and including a 360-degree image. Receiving a virtual object input including composite object information, composite location, and composite orientation of the virtual object; Based on the selection of the expansion target image, obtaining the two-dimensional expansion target image from storage; Based on the two-dimensional expansion target image, generating a 360-degree virtual space associated with the two-dimensional expansion target image including the two-dimensional expansion target image; Based on the virtual object input and the two-dimensional expansion target image, rendering a virtual object and inserting the virtual object into the 360-degree virtual space; Setting the position and direction of a virtual camera in a 360-degree virtual space based on a virtual object and a two-dimensional expansion target image placed in the 360-degree virtual space; and outputting an image representing an area of the 360-degree virtual space illuminated by the virtual camera according to the position and direction of the virtual camera.

상기 2차원 확장대상 영상과 연관된 360도 가상공간을 생성하는 단계는 상기 2차원 확장대상 영상의 특징 데이터를 추출하는 단계; 상기 2차원 확장대상 영상의 특징 데이터에 기초하여, 상기 2차원 확장대상 영상과 연관된 360도 기본 영상을 결정하는 단계; 및 상기 2차원 확장대상 및 상기 360도 기본 영상을 포함하는 상기 2차원 확장대상 영상과 연관된 360도 가상공간을 생성하는 단계를 포함한다. The step of generating a 360-degree virtual space associated with the two-dimensional expansion target image includes extracting feature data of the two-dimensional expansion target image; determining a 360-degree base image associated with the two-dimensional expansion target image based on feature data of the two-dimensional expansion target image; and generating a 360-degree virtual space associated with the 2-dimensional expansion target image, including the 2-dimensional expansion target and the 360-degree basic image.

상기 특징 데이터는 상기 2차원 확장대상 영상의 색깔, 포함된 사물의 형태, 영상이 촬영된 계절, 시간 및 위치를 포함한다. The feature data includes the color of the 2D expansion target image, the shape of the included object, and the season, time, and location in which the image was captured.

상기 2차원 확장대상 영상의 특징 데이터에 기초하여, 상기 2차원 확장대상 영상과 연관된 360도 기본 영상을 결정하는 단계는 상기 스토리지에 저장된 복수 개의 360도 기본 영상 중 상기 2차원 확장대상 영상의 특징 데이터와 동일한 특징 데이터를 갖는 360도 기본 영상을 상기 2차원 확장대상 영상과 연관된 360도 기본 영상으로 결정한다. Based on the feature data of the two-dimensional expansion target image, the step of determining a 360-degree basic image associated with the two-dimensional expansion target image includes feature data of the two-dimensional expansion target image among a plurality of 360-degree basic images stored in the storage. A 360-degree base image having the same feature data as is determined as the 360-degree base image associated with the 2D expansion target image.

상기 2차원 확장대상 및 상기 360도 기본 영상을 포함하는 상기 2차원 확장대상 영상과 연관된 360도 가상공간을 생성하는 단계는 상기 360도 가상공간에 상기 360도 기본 영상을 맵핑하고, 상기 2차원 확장대상 영상의 테두리 색깔에 기초하여, 상기 상기 360도 가상공간 상에 상기 2차원 확장대상 영상의 맵핑 위치를 결정하고, 상기360도 가상공간에 상기 결정된 위치로 상기 2차원 확장대상 영상을 삽입함으로써 상기 2차원 확장대상 영상과 연관된 360도 가상공간을 생성한다. The step of generating a 360-degree virtual space associated with the 2-dimensional expansion target image including the 2-dimensional expansion object and the 360-degree basic image includes mapping the 360-degree basic image to the 360-degree virtual space, and Based on the border color of the target image, the mapping position of the two-dimensional expansion target image is determined on the 360-degree virtual space, and the two-dimensional expansion target image is inserted into the 360-degree virtual space at the determined position. Create a 360-degree virtual space associated with the 2D expansion target image.

상기 2차원 확장대상 영상의 맵핑 위치를 결정하는 것은 상기 2차원 확장대상 영상의 테두리를 추출하고, 상기 연관된 360도 기본영상으로부터 상기 2차원 확장대상 영상과 동일한 가로세로 비(ratio)를 갖는 복수 개의 영상조각을 추출하고, 상기 2차원 확장대상 영상의 테두리 및 상기 복수 개의 영상조각의 테두리 각각과 비교하여 유사도를 산출하고, 가장 높은 유사도를 갖는 영상조각을 결정하고, 상기 360도 가상공간에서 상기 결정된 영상조각이 맵핑된 위치를 상기 2차원 확장대상 영상의 맵핑 위치로 결정한다. Determining the mapping position of the 2D expansion target image extracts the border of the 2D expansion target image, and extracts a plurality of images having the same aspect ratio as the 2D expansion target image from the associated 360-degree base image. Extract an image fragment, calculate the similarity by comparing it with the border of the two-dimensional expansion target image and each of the borders of the plurality of image fragments, determine the image fragment with the highest similarity, and determine the determined image fragment in the 360-degree virtual space. The location where the image fragment is mapped is determined as the mapping location of the 2D expansion target image.

본 발명의 일실시예에 따른 2차원 영상 기반 3차원 가상객체를 포함하는 360도 영상생성 방법은 상기 가상객체를 렌더링하고 상기 360도 가상공간에 상기 가상객체를 삽입하는 단계 이전에, 상기 360도 가상공간에서 상기 2차원 확장대상 영상 및 상기 360도 기본영상이 서로 맞닿은 영역을 블러링(blurring) 처리하는 단계를 더 포함한다. A 360-degree image generation method including a 3D virtual object based on a 2D image according to an embodiment of the present invention includes: prior to rendering the virtual object and inserting the virtual object into the 360-degree virtual space, It further includes blurring an area where the two-dimensional expansion target image and the 360-degree basic image are in contact with each other in virtual space.

본 발명의 다른 실시예에 따른 컴퓨터 판독 가능한 기록매체는 본 발명의 일 실시예에 따른 방법을 수행하는 프로그램이 기록된다. A computer-readable recording medium according to another embodiment of the present invention records a program that performs a method according to an embodiment of the present invention.

360도 영상생성 방법은 사용자로 하여금 간단한 조작만으로 2차원 영상을 가상객체를 포함하는 360도 영상으로 합성할 수 있다. 360도 영상합성 방법은 사용자가 2차원 확장대상 영상을 선택하고, 영상에 삽입할 이미지, 텍스트 및 효과를 입력하면, 2차원 확장대상 영상과 유사한 360도 영상을 검색하고, 가장 유사한 360도 영상에 사용자가 선택한 2차원 확장대상 영상, 이미지, 텍스트 및 효과를 삽입한다. 이처럼, 본 발명에 따른 360도 영상합성 방법은 사용자로 하여금 간단한 조작만으로 2차원 영상과 유사한 360도 영상으로 편집할 수 있다. The 360-degree image creation method allows users to composite a 2-dimensional image into a 360-degree image including virtual objects with simple operations. In the 360-degree video synthesis method, the user selects a 2D expansion target image, inputs images, text, and effects to be inserted into the video, searches for 360-degree images similar to the 2D expansion target image, and selects the most similar 360-degree video. Inserts the 2D expansion target video, image, text, and effects selected by the user. As such, the 360-degree video synthesis method according to the present invention allows the user to edit a 360-degree video similar to a two-dimensional video with simple operations.

또한, 본 발명에 따른 360도 영상생성 방법은 2차원 영상에 기초하여 360도 영상을 생성할 때, 2차원 영상으로부터 특징 데이터를 추출하고, 추출된 특징 데이터를 이용하여 2차원 영상과 유사도가 높은 360도 영상을 획득한다. 360도 영상생성 방법은 360도 가상공간 상에서 높은 유사도를 갖는 360도 영상에 2차원 영상을 삽입함으로써, 사용자가 선택한 2차원 영상과 비슷한 느낌을 가진 360도 영상을 생성할 수 있다. In addition, the 360-degree image generation method according to the present invention extracts feature data from the 2-dimensional image when generating a 360-degree image based on a 2-dimensional image, and uses the extracted feature data to create a 360-degree image with a high degree of similarity to the 2-dimensional image. Acquire 360-degree video. The 360-degree image generation method inserts a 2-dimensional image into a 360-degree image with high similarity in a 360-degree virtual space, thereby creating a 360-degree image with a similar feeling to the 2-dimensional image selected by the user.

추가적으로, 본 발명에 따른 360도 영상생성 방법은 360도 가상공간에서 360도 영상 내에 2차원 영상을 삽입할 때, 360도 영상 내에서 2차원 영상과 유사한 영역을 결정한다. 그리고 360도 영상생성 방법은 360도 영상에서 2차원 영상과 유사한 영역으로 결정된 영역에 2차원 영상을 삽입함으로써, 2차원 영상을 360도 영상에 자연스럽게 삽입할 수 있다. Additionally, the 360-degree image generation method according to the present invention determines an area similar to the 2-dimensional image within the 360-degree image when inserting a 2-dimensional image into a 360-degree image in a 360-degree virtual space. Additionally, the 360-degree image generation method inserts a 2-dimensional image into an area determined to be similar to the 2-dimensional image in the 360-degree image, thereby allowing the 2-dimensional image to be naturally inserted into the 360-degree image.

이에 더하여, 360도 영상생성 방법은 360도 가상공간 상에서 360도 영상 내에 삽입된 2차원 영상이 360도 영상과 맞닿은 영역을 블러링처리하여, 2차원 영상과 360도 영상 사이의 이질감을 감소시킨다. 이에 따라, 본 발명은 사용자로 하여금 2차원 영상이 합성된 360도 영상을 더욱 자연스럽게 느낄 수 있게 한다. In addition, the 360-degree image generation method reduces the sense of heterogeneity between the 2-dimensional image and the 360-degree image by blurring the area where the 2-dimensional image inserted into the 360-degree image touches the 360-degree image in a 360-degree virtual space. Accordingly, the present invention allows users to feel a 360-degree image synthesized from a two-dimensional image more naturally.

도 1은 본 발명의 일 실시예에 따른 360도 영상생성 시스템을 도시한 도면이다.
도 2는 도 1에 도시된 360도 영상생성 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 2차원 영상 기반 3차원 가상객체를 포함하는 360도 영상생성 방법의 흐름도이다.
도 4는 도 3에 도시된 연관된 360도 가상공간을 생성하는 단계의 예시를 나타내는 도면이다.
도 5는 2차원 확장대상 영상과 연관된 360도 가상공간을 생성하는 단계의 상세흐름도이다.
도 6은 360도 가상공간에서 3차원 가상객체가 합성되는 합성위치 및 합성방향을 나타내는 예시화면이다.Figure 1 is a diagram illustrating a 360-degree image generation system according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of the 360-degree image generating device shown in FIG. 1.
Figure 3 is a flowchart of a 360-degree image generation method including a 3D virtual object based on a 2D image according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of the step of creating the associated 360-degree virtual space shown in FIG. 3.
Figure 5 is a detailed flowchart of the step of creating a 360-degree virtual space associated with a two-dimensional expansion target image.
Figure 6 is an example screen showing the composition position and direction in which a 3D virtual object is synthesized in a 360-degree virtual space.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 할 것이다.The present invention can be modified in various ways and can have various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.

또한, 본 실시예들을 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Additionally, in describing the present embodiments, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, order, or order of the component is not limited by the term. Throughout the specification, when a part is said to 'include' or 'have' a certain component, this means that it does not exclude other components but may further include other components, unless specifically stated to the contrary. .

이하의 본 발명의 실시예들에 대한 상세한 설명에서 기재된 용어는 다음과 같은 의미를 갖는다. “실제현실(real world)”은 물리적인 현실 공간을 의미하고, “가상현실”은 실제현실의 공간의 일부 또는 전체를 반영하는(mirroring) 3차원의 가상의 공간을 의미한다. “실제객체”는 물리적인 현실 공간에 존재하는 물리적인 객체를 의미하고, “가상객체”는 물리적인 객체가 복제되어 가상 공간에 존재하는 비물리적인 객체를 의미한다. “증강현실(AR: Augmented Reality)”은 실제현실과 가상현실이 혼합된 공간으로, 실제현실의 이미지 또는 배경에 3차원의 가상객체가 겹쳐져 하나의 이미지를 사용자에게 제공한다.Terms used in the detailed description of embodiments of the present invention below have the following meanings. “Real world” refers to a physical real space, and “virtual reality” refers to a three-dimensional virtual space that mirrors part or all of the real space. “Real object” refers to a physical object that exists in physical real space, and “virtual object” refers to a non-physical object that exists in a virtual space by replicating a physical object. “Augmented Reality (AR: Augmented Reality)” is a space where real reality and virtual reality are mixed, and three-dimensional virtual objects are superimposed on the image or background of real reality to provide a single image to the user.

또한, 본 명세서에서 기재된 “영상”은 사진과 같은 정적인 이미지 및 동적인 이미지 모두를 포함하는 영상을 의미한다. “2차원 영상”은 촬영자가 선택한 시점에 고정되어 재생되는 영상을 의미한다. “360도 영상”은 사용자가 보고 싶은 방향이나 지점을 선택하고, 선택한 방향이나 지점에서 영상을 볼 수 있는 영상으로, 360도 회전하면서 볼 수 있는 영상을 의미한다. 본 발명의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자라면, 상술한 용어에 대하여 용이하게 이해할 수 있다. Additionally, “video” as used herein refers to video that includes both static images such as photographs and dynamic images. “2D video” refers to a video that is fixed and played at a point in time selected by the photographer. “360-degree video” refers to a video that allows the user to select the direction or point they want to view and view the video from the selected direction or point, meaning a video that can be viewed while rotating 360 degrees. Those of ordinary skill in the technical field to which the embodiments of the present invention pertain can easily understand the above-mentioned terms.

도 1은 본 발명의 일 실시예에 따른 360도 영상생성 시스템을 도시한 도면이다. 도 1을 참고하면, 본 발명의 일 실시예에 따른 360도 영상생성 시스템은 360도 영상생성 서버(1) 및 360도 영상생성 장치(2)를 포함한다. 360도 영상생성 서버(1)는 360도 영상생성 장치(2)로 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법을 수행하는 어플리케이션을 제공한다. 360도 영상생성 서버(1)는 인터넷 등과 같은 통신 네트워크를 통하여 상술한 어플리케이션을 360도 영상생성 장치(2)로 제공한다. Figure 1 is a diagram illustrating a 360-degree image generation system according to an embodiment of the present invention. Referring to FIG. 1, a 360-degree image generation system according to an embodiment of the present invention includes a 360-degree image generation server 1 and a 360-degree image generation device 2. The 360-degree image generation server (1) is a 360-degree image creation device (2) that provides an application that performs a method of generating a 360-degree image including a 3D virtual object based on a 2-dimensional image. The 360-degree image creation server 1 provides the above-described application to the 360-degree image creation device 2 through a communication network such as the Internet.

360도 영상생성 장치(2)는 360도 영상을 생성하는 방법을 수행하는 어플리케이션을 실행하고, 어플리케이션을 통하여 사용자에게 가상객체를 포함하는 360도 영상을 제공한다. 360도 영상생성 장치(2)는 통신기능을 가지고 다양한 어플리케이션을 실행할 수 있는 컴퓨팅 디바이스로서, 그 예로는 스마트폰(smart phone), 태블릿 PC(tablet pc) 등을 들 수 있다. 360도 영상생성 장치(1)는 생성된 360도 영상을 출력할 수 있는 디스플레이 모듈을 포함한다. The 360-degree image generating device 2 runs an application that performs a method of generating a 360-degree image, and provides a 360-degree image including a virtual object to the user through the application. The 360-degree image generating device 2 is a computing device that has a communication function and can run various applications, examples of which include a smart phone and a tablet PC. The 360-degree image generating device 1 includes a display module capable of outputting the generated 360-degree image.

본 발명의 다른 실시예에 따른 360도 영상생성 시스템은 360도 영상 출력장치(미도시)를 더 포함할 수 있다. 360도 영상 출력장치는 360도 영상생성 장치(2)에서 생성된 가상객체를 포함하는 360도 영상을 전송받고, 전송된 360도 영상을 출력한다. 360도 영상 출력장치는 사용자에게 360도 영상을 제공할 수 있는 장치로서, 그 예로는 HMD(Head Mount Display), 스마트 글라스 등을 들 수 있다. The 360-degree image generation system according to another embodiment of the present invention may further include a 360-degree image output device (not shown). The 360-degree video output device receives a 360-degree video including a virtual object generated by the 360-degree video generating device 2 and outputs the transmitted 360-degree video. A 360-degree video output device is a device that can provide a 360-degree video to a user, and examples include HMD (Head Mount Display) and smart glasses.

본 발명의 일 실시예에 따른 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법을 구성하는 단계들은 360도 영상생성 서버(2) 및 360도 영상생성 장치(1)에서 수행될 수 있다. 예를 들어, 360도 영상생성 장치(1)는 사용자로부터 입력을 수신하고, 수신된 사용자 입력을 통신 네트워크를 통하여 360도 영상생성 서버(2)로 전송한다. 360도 영상생성 서버(2)는 전송된 사용자 입력에 기초하여 가상객체를 포함하는 360도 영상을 생성하고, 생성된 360도 영상을 360도 영상생성 장치(1)로 전송한다. 360도 영상생성 장치(1)는 전송된 360도 영상을 디스플레이를 통하여 사용자에게 제공한다. The steps constituting the method for generating a 360-degree image including a 3-dimensional virtual object based on a 2-dimensional image according to an embodiment of the present invention include a 360-degree image generation server (2) and a 360-degree image generation device (1) It can be performed in For example, the 360-degree image generating device 1 receives input from the user and transmits the received user input to the 360-degree image generating server 2 through a communication network. The 360-degree image creation server 2 generates a 360-degree image including a virtual object based on the transmitted user input, and transmits the generated 360-degree image to the 360-degree image creation device 1. The 360-degree image generating device 1 provides the transmitted 360-degree image to the user through a display.

본 발명의 다른 실시예에 따른 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법을 구성하는 단계들은 360도 영상생성 장치(1)에서 수행될 수 있다. 360도 영상생성 장치(1)는 360도 영상생성 방법을 수행하는 어플리케이션과 관련된 데이터를 360도 영상생성 서버(2)로부터 수신하고, 해당 어플리케이션을 360도 영상생성 장치(1)에 설치하고 실행할 수 있다. 360도 영상생성 장치(1)는 360 영상생성 방법을 수행하는 어플리케이션을 통하여 2차원 영상으로부터 2차원 영상과 연관된 360도 가상공간을 생성하고, 360도 가상공간 상에 3차원 가상객체를 합성하여 3차원 가상객체를 포함하는 360도 영상을 생성한다. 360도 영상생성 장치(1)는 생성된 360도 영상을 디스플레이 모듈을 통하여 사용자에게 제공한다. 이하에서는 360도 영상생성 장치(1)에서 수행되는 360도 영상생성 방법에 대하여 상세하게 설명하기로 한다. Steps for configuring a method for generating a 360-degree image including a 3-dimensional virtual object based on a 2-dimensional image according to another embodiment of the present invention may be performed in the 360-degree image generating device 1. The 360-degree image creation device (1) can receive data related to an application that performs a 360-degree image creation method from the 360-degree image creation server (2), and install and run the application on the 360-degree image creation device (1). there is. The 360-degree image generation device 1 generates a 360-degree virtual space associated with the 2-dimensional image from the 2-dimensional image through an application that performs a 360-degree image generation method, and synthesizes 3-dimensional virtual objects on the 360-degree virtual space. Create a 360-degree image containing 3D virtual objects. The 360-degree image generating device 1 provides the generated 360-degree image to the user through a display module. Hereinafter, the 360-degree image generation method performed in the 360-degree image generation device 1 will be described in detail.

도 2는 도 1에 도시된 360도 영상생성 장치의 구성도이다. 도 2를 참고하면, 360도 영상생성 장치(1)는 프로세서(101), 입력모듈(102), 스토리지(103), 360도 공간확장모듈(104), 가상객체렌더링모듈(105), 가상카메라모듈(106) 및 디스플레이모듈(107)을 포함한다. FIG. 2 is a configuration diagram of the 360-degree image generating device shown in FIG. 1. Referring to Figure 2, the 360-degree image generation device 1 includes a processor 101, an input module 102, a storage 103, a 360-degree space expansion module 104, a virtual object rendering module 105, and a virtual camera. It includes a module 106 and a display module 107.

프로세서(101)는 360도 영상생성 장치(1)에서 수행되는 일반적인 테스크를 처리한다. 입력모듈(102)은 사용자로부터 3차원 가상객체를 포함하는 360도 영상을 생성하기 위한 2차원 확장대상 영상에 대한 선택 및 영상에 합성하고자 하는 가상객체의 합성객체정보, 합성위치 및 합성방향(orientation)을 포함하는 가상객체 입력을 사용자로부터 수신한다. 입력모듈(102)의 예로는 키보드, 마우스, 터치스크린 패널, 모션 컨트롤러 등을 들 수 있다. The processor 101 processes general tasks performed in the 360-degree image generating device 1. The input module 102 selects a 2D expansion target image for generating a 360-degree image including a 3D virtual object from the user, and composite object information, synthesis location, and synthesis direction of the virtual object to be synthesized into the image. ) Receives virtual object input containing ) from the user. Examples of the input module 102 include a keyboard, mouse, touch screen panel, motion controller, etc.

스토리지(103)는 2차원 영상 기반 3차원 가상객체를 포함하는 360도 영상 생성 방법을 실행하기 위하여 필요한 데이터를 저장한다. 스토리지(103)는 다수의 2차원 영상 및 다수의 360도 영상을 저장한다. 보다 구체적으로, 스토리지(103)는 360도 영상을 생성하기 위하여 필요한 다수의 360도 기본 영상, 각 360도 기본 영상의 특징데이터 등을 저장한다. 360도 기본 영상은 360도 영상생성 장치(2) 또는 다른 장치에 의하여 미리 촬영되고 스토리지(103)에 저장된 360도 영상을 의미한다. 또한, 스토리지(103)는 360도 공간확장모듈(104)의 특징추출서브모듈을 사전에 트레이닝하기 위한 학습용 데이터 세트를 저장한다. The storage 103 stores data necessary to execute a 360-degree image generation method including a 3D virtual object based on a 2D image. The storage 103 stores multiple two-dimensional images and multiple 360-degree images. More specifically, the storage 103 stores a plurality of 360-degree basic images and characteristic data of each 360-degree basic image required to generate a 360-degree image. The 360-degree basic video refers to a 360-degree video captured in advance by the 360-degree image generating device 2 or another device and stored in the storage 103. Additionally, the storage 103 stores a learning data set for pre-training the feature extraction sub-module of the 360-degree spatial expansion module 104.

360도 공간확장모듈(104)은 사용자가 선택한 2차원 확장대상 영상과 연관된 360도 가상공간을 생성한다. 360도 공간확장모듈(104)은 2차원 확장대상 영상과 유사한 360도 기본 영상을 스토리지(104)로부터 획득한다. 360도 공간확장모듈(104)은 렌더링된 3차원 가상객체, 2차원 확장대상 영상 및 360도 기본 영상을 포함하는 360도 가상공간을 생성한다. The 360-degree space expansion module 104 creates a 360-degree virtual space associated with the 2D expansion target image selected by the user. The 360-degree spatial expansion module 104 obtains a 360-degree basic image similar to the 2D expansion target image from the storage 104. The 360-degree space expansion module 104 creates a 360-degree virtual space including a rendered 3D virtual object, a 2D expansion target image, and a 360-degree basic image.

360도 공간확장모듈(104)은 특징추출서브모듈, 360도 영상결정서브모듈 및 가상공간생성서브모듈을 포함한다. 특징추출서브모듈은 2차원 확장대상 영상의 특징데이터를 추출하고, 360도 영상결정서브모듈은 2차원 확장대상 영상의 특징데이터에 기초하여 2차원 확장대상 영상과 연관되 360도 기본영상을 결정한다. 가상공산생성서브모듈은 2차원 확장대상 영상과 연관된 360도 가상공간을 생성한다. 360도 공간확장모듈(104)에서 360도 가상공간을 생성하는 구체적인 방법 및 각 서브모듈의 동작에 대하여는 이하에서 상세하게 설명하기로 한다. The 360-degree space expansion module 104 includes a feature extraction sub-module, a 360-degree image determination sub-module, and a virtual space creation sub-module. The feature extraction submodule extracts the feature data of the 2D expansion target image, and the 360-degree image determination submodule determines the 360-degree basic image associated with the 2D expansion target image based on the feature data of the 2D expansion target image. . The virtual space creation submodule creates a 360-degree virtual space associated with the two-dimensional expansion target image. The specific method of creating a 360-degree virtual space in the 360-degree space expansion module 104 and the operation of each sub-module will be described in detail below.

가상객체렌더링모듈(105)은 3차원 가상객체를 렌더링하고, 렌더링된 3차원 가상객체를 360도 가상공간에 배치한다. 가상객체렌더링모듈(105)은 가상객체 요청에 포함된 합성객체정보에 기초하여 가상객체를 렌더링한다. 가상객체렌더링모듈(105)은 가상객체 요청에 포함된 3차원 가상객체의 합성위치, 합성방향(orientation) 및 360도 가상공간에서 2차원 확장대상 영상의 위치에 기초하여, 렌더링된 3차원 가상객체의 합성위치 및 합성방향을 결정하고, 결정된 합성위치 및 합성방향에 따라 3차원 가상객체를 360도 가상공간에 삽입한다. The virtual object rendering module 105 renders a 3D virtual object and places the rendered 3D virtual object in a 360-degree virtual space. The virtual object rendering module 105 renders a virtual object based on composite object information included in the virtual object request. The virtual object rendering module 105 creates a rendered 3D virtual object based on the composite position and orientation of the 3D virtual object included in the virtual object request and the location of the 2D expansion target image in the 360-degree virtual space. The composition position and direction are determined, and the 3D virtual object is inserted into the 360-degree virtual space according to the determined composition position and direction.

가상카메라모듈(106)은 생성된 360도 가상공간에서 가상 카메라의 위치 및 방향을 설정하고, 설정된 위치 및 방향에 따라 가상 카메라를 360도 가상공간에 배치한다. 가상 카메라의 위치 및 방향에 따라 가상 카메라가 360도 가상공간에서 비추는 영역이 상이해진다. 360도 영상생성 장치(1)는 360도 가상공간에서 가상 카메라가 비추는 영역을 나타내는 영상을 디스플레이 모듈(107)을 통하여 사용자에게 제공한다. 이에 따라, 360도 가상공간에 배치된 가상 카메라의 방향 및 위치에 따라, 사용자에게 출력되는 영상이 상이하다. The virtual camera module 106 sets the position and direction of the virtual camera in the created 360-degree virtual space and places the virtual camera in the 360-degree virtual space according to the set position and direction. Depending on the location and direction of the virtual camera, the area that the virtual camera illuminates in the 360-degree virtual space varies. The 360-degree image generating device 1 provides the user with an image representing the area illuminated by the virtual camera in the 360-degree virtual space through the display module 107. Accordingly, the image output to the user is different depending on the direction and location of the virtual camera placed in the 360-degree virtual space.

디스플레이모듈(107)은 영상을 출력하여 사용자에게 영상을 제공한다. 디스플레이 모듈(107)의 예로는 터치스크린 패널, LCD 패널 등을 포함한다. 디스플레이모듈(107)은 360도 가상공간에서 가상카메라가 비추는 영역을 나타내는 영상을 출력한다. The display module 107 outputs an image and provides the image to the user. Examples of the display module 107 include a touch screen panel, LCD panel, etc. The display module 107 outputs an image representing the area illuminated by the virtual camera in a 360-degree virtual space.

360도 영상생성 장치(1)는 이상에서 설명된 구성요소들 외에 추가적인 구성요소를 더 포함할 수 있다. 예를 들어, 360도 영상생성 장치(1)는 도 2에 도시된 바와 같이, 구성요소들 간에 데이터를 전송하기 위한 버스를 포함하고, 도 2에는 생략되어 있으나 각 구성요소에 구동전원을 공급하는 전력모듈을 더 포함한다. 또한, 360도 영상생성 장치(1)는 동영상 데이터를 생성할 수 있는 카메라 모듈(미도시) 및/또는 360도 영상생성 서버(2) 또는 다른 통신장치와 데이터를 송수신할 수 있는 통신모듈(미도시)을 더 포함할 수 있다. The 360-degree image generating device 1 may further include additional components in addition to the components described above. For example, the 360-degree image generating device 1 includes a bus for transmitting data between components, as shown in FIG. 2, and, although omitted in FIG. 2, a bus for supplying driving power to each component. It further includes a power module. In addition, the 360-degree image generating device (1) includes a camera module (not shown) capable of generating video data and/or a communication module (not shown) capable of transmitting and receiving data with the 360-degree image generating server (2) or other communication devices. poetry) may be further included.

이와 같이, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 구성요소에 대한 설명은 본 실시예의 특징을 흐려지게 함에 따라 생략하기로 한다. 이하에서는 본 발명의 일 실시예에 따른 360도 영상생성 방법을 설명하는 과정에서 360도 영상생성 장치(2)의 각 구성요소에 대해 상세하게 설명하기로 한다.As such, descriptions of components that are obvious to those skilled in the art to which this embodiment belongs will be omitted as they may obscure the characteristics of this embodiment. Hereinafter, in the process of explaining the 360-degree image generation method according to an embodiment of the present invention, each component of the 360-degree image generation device 2 will be described in detail.

도 3은 본 발명의 실시예에 따른 2차원 영상 기반 3차원 가상객체를 포함하는 360도 영상생성 방법의 흐름도이다. 도 3을 참고하면, 301 단계에서, 360도 영상생성 장치(1)의 입력모듈(102)은 사용자로부터 360도 영상을 생성할 대상인 2차원 확장대상 영상에 대한 선택을 포함하는 확장대상 영상 선택 및 360도 영상에 포함시킬 가상객체에 대한 가상객체 입력을 수신한다. Figure 3 is a flowchart of a 360-degree image generation method including a 3D virtual object based on a 2D image according to an embodiment of the present invention. Referring to FIG. 3, in step 301, the input module 102 of the 360-degree image generating device 1 selects an expansion target image including selection of a two-dimensional expansion target image for generating a 360-degree image from the user, and Receives virtual object input for the virtual object to be included in the 360-degree video.

입력모듈(102)은 사용자로부터 가상객체를 포함하는 360도 영상을 생성하려는 2차원 영상에 대한 선택을 입력받는다. 예를 들어, 사용자가 파리에서 독립문을 촬영한 영상을 가상객체를 포함하는 360도 영상으로 생성하려는 경우, 사용자는 스마트폰의 터치 디스플레이 패널에서 파리를 촬영한 영상을 선택하는 방식으로 확장대상 영상 선택을 입력할 수 있다. The input module 102 receives from the user a selection of a two-dimensional image for which a 360-degree image including a virtual object is to be generated. For example, if a user wants to create a 360-degree video containing virtual objects by capturing an image of Dongnimmun in Paris, the user selects the image to be expanded by selecting an image of Paris on the smartphone's touch display panel. You can enter .

입력모듈(102)은 사용자로부터 360도 영상에 포함되는 가상객체에 대한 가상객체 입력을 수신한다. 보다 구체적으로, 입력모듈(102)은 사용자로부터 360도 영상에 합성하려는 3차원 가상객체의 합성객체정보, 합성위치 및 합성방향(orientation) 중 적어도 하나를 포함하는 가상객체 입력을 수신한다. 여기에서, 합성객체정보는 영상에 합성하고자 하는 가상객체의 텍스트, 이미지, 애니메이션, 물리효과에 대한 정보를 포함한다. 합성위치는 360도 영상 내에서 가상객체가 합성되는 위치를 의미하고, 합성방향은 360도 영상 내에서 가상객체가 배치되는 방위를 의미한다. 사용자는 360도 영상 내에서 가상객체를 삽입하기 위한 가상객체 입력을 입력할 수 있다. 사용자는 복수 개의 가상객체 입력을 360도 영상생성 장치(1)로 입력할 수 있고, 서로 상이한 복수 개의 가상객체를 360도 영상 내에 삽입할 수 있다. The input module 102 receives a virtual object input for a virtual object included in a 360-degree video from the user. More specifically, the input module 102 receives a virtual object input from the user including at least one of composite object information, composite position, and composite orientation of a 3D virtual object to be composited into a 360-degree image. Here, the composite object information includes information about the text, image, animation, and physical effects of the virtual object to be composited into the image. The composite position refers to the position where the virtual object is composited within the 360-degree image, and the composite direction refers to the direction in which the virtual object is placed within the 360-degree video. Users can enter virtual object input to insert a virtual object within a 360-degree video. The user can input a plurality of virtual objects into the 360-degree image generating device 1, and insert a plurality of different virtual objects into the 360-degree image.

예를 들어, 입력모듈(102)이 터치스크린인 경우, 사용자는 입력하고자 하는 가상객체를 합성시키고자 하는 영상이 디스플레이되는 터치스크린 상에서 가상객체를 합성하고자 하는 위치 및 방향으로 배열할 수 있다. 입력모듈(102)인 터치스크린은 터치스크린 상에 입력된 가상객체의 위치 및 방향 정보를 획득한다. For example, if the input module 102 is a touch screen, the user can arrange the virtual object to be input in the desired position and direction on the touch screen where the image to be synthesized is displayed. The touch screen, which is the input module 102, acquires location and direction information of the virtual object input on the touch screen.

302 단계에서, 360도 영상생성 장치(1)의 프로세서(101)는 확장대상 영상 선택에 기초하여, 360도 영상을 생성하려는 2차원 확장대상 영상을 획득한다. 보다 구체적으로, 프로세서(101)는 사용자로부터 입력된 확장대상 영상 선택에 기초하여, 스토리지(103)에 미리 저장된 2차원 영상 중 2차원 확장대상 영상을 획득한다. 또는, 프로세서(101)는 360도 영상생성 장치(1)의 카메라 모듈(미도시)를 통하여 생성된 2차원 영상을 획득할 수 있다. 프로세서(101)는 입력모듈(102)을 통하여 입력된 사용자의 확장대상 영상 선택에 기초하여 2차원 확장대상 영상을 스토리지(103) 또는 카메라 모듈로부터 획득한다. 프로세서(101)는 획득한 2차원 확장대상 영상을 360도 공간확장모듈(104)로 입력한다. In step 302, the processor 101 of the 360-degree image generating device 1 acquires a two-dimensional expansion target image for generating a 360-degree image based on the selection of the expansion target image. More specifically, the processor 101 obtains a 2D expansion target image from among the 2D images previously stored in the storage 103 based on the selection of the expansion target image input from the user. Alternatively, the processor 101 may acquire a two-dimensional image generated through a camera module (not shown) of the 360-degree image generating device 1. The processor 101 obtains a two-dimensional expansion target image from the storage 103 or a camera module based on the user's selection of the expansion target image input through the input module 102. The processor 101 inputs the acquired 2D expansion target image to the 360-degree spatial expansion module 104.

303 단계에서, 360도 영상생성 장치(1)의 360도 공간확장모듈(104)은 2차원 확장대상 영상에 기초하여, 2차원 확장대상 영상과 연관된 360도 가상공간을 생성한다. 보다 구체적으로, 360도 공간확장모듈(104)은 스토리지(104)에 저장된 복수 개의 360도 기본영상 중 2차원 확장대상 영상과 유사한 360도 기본영상을 획득하고, 2차원 확장대상 영상 및 360도 기본 영상을 360도 가상공간에 맵핑하여 2차원 확장대상 영상과 연관된 360도 가상공간을 생성한다. 2차원 확장대상 영상과 연관된 360도 가상공간은 2차원 확장대상 영상 및 360도 기본영상을 포함한다. 이와 관련하여 도 4를 참고하여 설명하기로 한다. In step 303, the 360-degree space expansion module 104 of the 360-degree image generating device 1 generates a 360-degree virtual space associated with the 2-dimensional expansion target image based on the 2-dimensional expansion target image. More specifically, the 360-degree spatial expansion module 104 acquires a 360-degree basic image similar to the 2-dimensional expansion target image among the plurality of 360-degree basic images stored in the storage 104, and By mapping the image to a 360-degree virtual space, a 360-degree virtual space associated with the 2D expansion target image is created. The 360-degree virtual space associated with the 2-dimensional expansion target image includes the 2-dimensional expansion target image and the 360-degree basic image. This will be explained with reference to FIG. 4.

도 4는 도 3에 도시된 연관된 360도 가상공간을 생성하는 단계의 예시를 나타내는 도면이다. 보다 구체적으로, 도 4(a)는 2차원 영상의 예시를 나타내는 도면이고, 도 4(b)는 도 4(a)의 2차원 영상과 연관된 360도 가상공간의 예시를 나타내는 도면이다. 도 4에 도시된 예시에 따르면, 사용자가 선택한 2차원 확장대상 영상은 파리의 독립문을 촬영한 2차원 영상이고, 사용자가 선택한 파리의 독립문을 나타내는 2차원 확장대상 영상에 기초하여 생성된 360도 가상공간이다. 360도 영상생성 장치(1)의 360도 공간확장모듈(104)은 선택된 2차원 영상과 가장 유사한 360도 기본영상인 프랑스 파리를 나타내는 영상을 스토리지(103)로부터 획득하고, 획득한 프랑스 파리를 나타내는 360도 기본영상 및 독립문을 나타내는 2차원 확장대상 영상을 360도 가상공간에 맵핑한다. 도 4(b)는 직육면체 형상의 360도 가상공간에 맵핑된 파리의 독립문을 나타내는 2차원 영상 및 파리를 나타내는 360도 기본영상이 맵팽된 360도 가상공간을 나타낸다.FIG. 4 is a diagram illustrating an example of the step of creating the associated 360-degree virtual space shown in FIG. 3. More specifically, FIG. 4(a) is a diagram showing an example of a two-dimensional image, and FIG. 4(b) is a diagram showing an example of a 360-degree virtual space associated with the two-dimensional image of FIG. 4(a). According to the example shown in Figure 4, the two-dimensional expansion target image selected by the user is a two-dimensional image of the Dongnimmun Gate in Paris, and a 360-degree virtual image created based on the two-dimensional expansion target image representing the Dongnimmun Gate in Paris selected by the user. It is space. The 360-degree space expansion module 104 of the 360-degree image generating device 1 acquires an image representing Paris, France, which is the 360-degree basic image most similar to the selected two-dimensional image, from the storage 103, and displays the acquired image representing Paris, France. The 360-degree basic image and the 2D extended target image representing the independent sentence are mapped into a 360-degree virtual space. Figure 4(b) shows a 360-degree virtual space in which a two-dimensional image representing the Independence Gate of Paris and a 360-degree basic image representing Paris are mapped to a 360-degree virtual space in the shape of a rectangular parallelepiped.

360도 공간확장모듈(104)은 획득한 2차원 확장대상 영상 내의 주요 색깔, 색깔 패턴, 영상에 포함된 사물의 형태, 계절, 밤낮, 위치를 나타내는 특징 데이터를 추출한다. 360도 공간확장모듈(104)은 2차원 확장대상 영상으로부터 추출된 특징 데이터에 기초하여 2차원 확장대상 영상과 유사한 360도 기본영상을 스토리지(103)로부터 검색 및 획득한다. The 360-degree spatial expansion module 104 extracts feature data representing the main colors, color patterns, and shape, season, day and night, and location of objects included in the acquired two-dimensional expansion target image. The 360-degree spatial expansion module 104 searches for and obtains a 360-degree basic image similar to the 2-dimensional expansion target image from the storage 103 based on feature data extracted from the 2-dimensional expansion target image.

도 5는 2차원 확장대상 영상과 연관된 360도 가상공간을 생성하는 단계의 상세흐름도이다. 도 5를 참고하면, 3031 단계에서, 360도 공간확장모듈(104)은 2차원 확장대상 영상에 기초하여 2차원 확장대상 영상의 특징 데이터를 추출한다. 특징 데이터는 2차원 영상의 특징을 나타내는 데이터로서, 2차원 영상의 주요 색깔, 색깔 패턴, 영상에 포함된 사물의 형태, 영상이 촬영된 계절, 시간 및 위치 등을 나타내는 데이터를 포함한다. Figure 5 is a detailed flowchart of the step of creating a 360-degree virtual space associated with a two-dimensional expansion target image. Referring to FIG. 5, in step 3031, the 360-degree spatial expansion module 104 extracts feature data of the 2D expansion target image based on the 2D expansion target image. Feature data is data representing the characteristics of a two-dimensional image and includes data representing the main colors of the two-dimensional image, color patterns, the shape of objects included in the image, and the season, time, and location in which the image was captured.

360도 공간확장모듈(104)은 2차원 영상의 특징 데이터를 출력하는 특징추출서브모듈(미도시)을 포함한다. 특징추출서브모듈은 2차원 확장대상 영상을 분석하고, 2차원 확장대상 영상의 특징 데이터를 출력한다. 특징추출서브모듈는 입력된 2차원 영상으로부터 2차원 영상의 특징 데이터를 출력하도록 사전에 트레이닝된 인공신경망일 수 있다. 특징추출서브모듈은 복수 개의 2차원 영상 및 각 2차원 영상의 특징 데이터를 포함하는 학습용 데이터 세트에 의하여 사전에 트레이닝된 인공신경망이다. The 360-degree spatial expansion module 104 includes a feature extraction sub-module (not shown) that outputs feature data of a two-dimensional image. The feature extraction submodule analyzes the 2D expansion target image and outputs feature data of the 2D expansion target image. The feature extraction submodule may be an artificial neural network trained in advance to output feature data of a two-dimensional image from an input two-dimensional image. The feature extraction submodule is an artificial neural network pre-trained by a learning data set containing a plurality of two-dimensional images and feature data of each two-dimensional image.

도 4(a)에 도시된 예시를 참고하면, 파리의 독립문을 나타내는 2차원 영상에서 특징 데이터는 주요 색깔은 파란색과 상아색이고, 색깔 패턴은 파란색과 상아색이 위아래 병렬로 배열되는 패턴이며, 영상에 포함된 사물의 형태는 직육면체이고, 영상이 촬영된 계절은 여름, 영상이 촬영된 시간은 낮 시간, 촬영된 위치는 프랑스 파리이다. Referring to the example shown in Figure 4(a), in the two-dimensional image showing the Independence Gate in Paris, the main colors of the feature data are blue and ivory, and the color pattern is a pattern in which blue and ivory are arranged in parallel up and down, and in the image The shape of the object included is a rectangular parallelepiped, the season in which the video was filmed was summer, the time the video was filmed was daytime, and the filmed location was Paris, France.

3032 단계에서, 360도 공간확장모듈(104)은 추출된 2차원 확장대상 영상의 특징 데이터에 기초하여, 2차원 확장대상 영상과 연관된 360도 기본 영상을 결정한다. 360도 공간확장모듈(104)은 2차원 확장대상 영상과 연관된 360도 기본 영상을 결정하는 360도 영상결정서브모듈(미도시)을 더 포함한다. 360도 영상결정서브모듈은 특징추출서브모듈로부터 입력된 2차원 확장대상 영상의 특징 데이터에 기초하여 2차원 확장대상 영상과 연관된 360도 기본 영상을 결정한다. In step 3032, the 360-degree spatial expansion module 104 determines a 360-degree basic image associated with the 2-dimensional expansion target image based on the feature data of the extracted 2-dimensional expansion target image. The 360-degree spatial expansion module 104 further includes a 360-degree image determination submodule (not shown) that determines a 360-degree basic image associated with the 2D expansion target image. The 360-degree image determination submodule determines a 360-degree basic image associated with the 2D extension target image based on the feature data of the 2D extension target image input from the feature extraction submodule.

보다 구체적으로, 360도 영상결정서브모듈은 스토리지(104)에 저장된 복수 개의 360도 기본 영상 중 2차원 확장대상 영상의 특징 데이터와 동일 또는 유사한 특징 데이터를 갖는 360도 기본 영상을 결정한다. 여기에서, 360도 영상결정서브모듈은 2차원 합성대상 영상의 특징 데이터와 가장 높은 유사도를 갖는 360도 기본 영상을 2차원 확장대상 영상과 연관된 360도 기본 영상으로 결정한다. More specifically, the 360-degree image determination submodule determines a 360-degree basic image having feature data that is the same or similar to feature data of the 2D expansion target image among a plurality of 360-degree basic images stored in the storage 104. Here, the 360-degree image determination submodule determines the 360-degree base image with the highest similarity to the feature data of the 2-dimensional synthesis target image as the 360-degree base image associated with the 2-dimensional expansion target image.

도 4(b)에 도시된 예시를 참고하면, 360도 영상결정서브모듈은 여름 낮 시간에 파리의 에펠탑을 나타내는 360도 영상을 도 4(a)에 예시된 2차원 합성대상 영상과 연관된 360도 기본 영상으로 결정한다. Referring to the example shown in FIG. 4(b), the 360-degree image determination submodule converts a 360-degree image representing the Eiffel Tower in Paris during the summer day into a 360-degree image associated with the two-dimensional composite target image illustrated in FIG. 4(a). It is also decided as the basic video.

3033 단계에서, 360도 공간확장모듈(104)은 2차원 확장대상 영상 및 연관된 360도 기본 영상에 기초하여, 2차원 확장대상 영상과 연관된 360도 가상공간을 생성한다. 360도 공간확장모듈(104)은 2차원 확장대상 영상과 연관된 360도 가상공간을 생성하는 가상공간생성서브모듈(미도시)을 더 포함한다. 가상공간생성서브모듈은 먼저 360도 가상공간을 생성한다. 360도 가상공간은 3차원의 가상공간으로 전 방향(omnidirectional)에서 영상을 출력할 수 있는 가상의 공간이다. 여기에서, 360도 가상공간은 구, 반구, 다면체(4면체, 6면체(큐브), 8면체 등), 원통 등의 형태를 가질 수 있다. In step 3033, the 360-degree space expansion module 104 generates a 360-degree virtual space associated with the 2-dimensional expansion target image based on the 2-dimensional expansion target image and the associated 360-degree base image. The 360-degree space expansion module 104 further includes a virtual space creation submodule (not shown) that generates a 360-degree virtual space associated with the two-dimensional expansion target image. The virtual space creation submodule first creates a 360-degree virtual space. The 360-degree virtual space is a three-dimensional virtual space that can output images in omnidirectional directions. Here, the 360-degree virtual space may have the form of a sphere, hemisphere, polyhedron (tetrahedron, hexahedron (cube), octahedron, etc.), cylinder, etc.

가상공간생성서브모듈은 생성된 360도 가상공간 상에 2차원 확장대상 영상 및 3032 단계에서 결정된 2차원 확장대상 영상과 연관된 360도 기본 영상을 맵핑함으로써, 2차원 확장대상 영상과 연관된 360도 가상공간을 생성한다. The virtual space creation submodule maps the 2D expansion target image and the 360-degree basic image associated with the 2D expansion target image determined in step 3032 onto the generated 360-degree virtual space, creating a 360-degree virtual space associated with the 2D expansion target image. creates .

여기에서, 가상공간생성서브모듈은 2차원 확장대상 영상과 연관된 360도 기본 영상을 360도 가상공간에 맵핑하고, 2차원 확장대상 영상을 맵핑할 위치를 결정한다. 가상공간생성서브모듈은 2차원 확장대상 영상의 테두리 색깔에 기초하여 2차원 확장대상 영상을 360도 가상공간 상에서 맵핑할 위치를 결정한다. Here, the virtual space creation submodule maps the 360-degree basic image associated with the 2-dimensional expansion target image to the 360-degree virtual space and determines the location to map the 2-dimensional expansion target image. The virtual space creation submodule determines where to map the 2D expansion target image in the 360-degree virtual space based on the border color of the 2D expansion target image.

보다 구체적으로, 가상공간생성서브모듈은 2차원 확장대상 영상의 테두리를 추출한다. 가상공간생성서브모듈은 360도 기본영상으로부터 2차원 확장대상 영상과 동일한 가로세로 비(ratio)를 갖는 복수 개의 영상조각으로 추출한다. 여기에서, 복수 개의 영상조각 중 서로 인접하는 영상조각들은 서로 유사하다. 예를 들어, 서로 좌우로 인접하는 2개의 영상조각의 경우 각각 좌측 모서리 및 우측 모서리 부근의 영상을 제외한 나머지 부분의 영상은 서로 동일한 영상이다. More specifically, the virtual space creation submodule extracts the border of the 2D expansion target image. The virtual space creation submodule extracts a plurality of image fragments from a 360-degree basic image with the same aspect ratio as the 2D expansion target image. Here, among the plurality of video pieces, adjacent video pieces are similar to each other. For example, in the case of two image fragments that are adjacent to each other left and right, the remaining images except for the images near the left and right corners, respectively, are the same image.

가상공간생성서브모듈은 추출된 복수 개의 영상조각의 테두리를 추출한다. 가상공간생성서브모듈은 2차원 확장대상 영상의 테두리를 복수 개의 영상조각의 테두리 각각과 비교하고, 가장 높은 유사도를 갖는 영상조각의 테두리를 결정한다. 가상공간생성서브모듈은 2차원 확장대상 영상의 테두리와 복수 개의 영상조각의 테두리 각각과 유사도를 산출하고, 산출된 유사도 중 가장 높은 유사도를 갖는 영상조각의 테두리를 결정한다. 여기에서 유사도는 2차원 확장대상 영상의 테두리와 영상조각의 테두리 사이의 비슷한 정도를 나타내는 값으로, 각 테두리의 색깔, 색깔 배열 등에 기초하여 산출된다. 테두리 사이의 유사도는 2개의 영상의 유사도를 산출하도록 사전에 트레이닝된 인공신경망에 의하여 산출될 수 있다. 유사도 산출을 위한 인공신경망은 복수 개의 트레이닝 영상 및 각 트레이닝 영상 사이의 유사도를 포함하는 학습용 데이터 세트에 의하여 사전에 트레이닝된 인공신경망이다. The virtual space creation submodule extracts the borders of the plurality of extracted image fragments. The virtual space creation submodule compares the border of the two-dimensional expansion target image with the borders of each of the plurality of image fragments, and determines the border of the image fragment with the highest similarity. The virtual space creation submodule calculates the similarity between the border of the two-dimensional expansion target image and the border of each of the plurality of image fragments, and determines the border of the image fragment with the highest similarity among the calculated similarities. Here, the similarity is a value that indicates the degree of similarity between the border of the 2D expansion target image and the border of the image fragment, and is calculated based on the color and color arrangement of each border. The similarity between borders can be calculated by an artificial neural network previously trained to calculate the similarity of two images. The artificial neural network for calculating similarity is an artificial neural network pre-trained by a learning data set that includes a plurality of training images and the similarity between each training image.

가상공간생성서브모듈은 가장 높은 유사도를 갖는 영상조각의 테두리로 결정된 영상조각이 360도 가상공간에 맵핑된 위치를 2차원 확장대상 영상을 맵핑할 위치로 결정한다. The virtual space creation submodule determines the position where the image fragment determined by the border of the image fragment with the highest similarity is mapped in the 360-degree virtual space as the position to map the 2D expansion target image.

가상공간생성서브모듈은 360도 가상공간에서 결정된 위치로 2차원 확장대상 영상을 삽입함으로써, 2차원 확장대상 영상과 연관된 360도 가상공간을 생성한다. The virtual space creation submodule creates a 360-degree virtual space associated with the 2-dimensional expansion target image by inserting the 2-dimensional expansion target image into a determined position in the 360-degree virtual space.

304 단계에서, 360도 영상생성 장치(1)의 360도 공간확장모듈(104)은 생성된 360도 가상공간에서 2차원 확장대상 영상과 360도 기본영상이 서로 맞닿은 영역을 블러링(blurring) 처리한다. 303 단계에서 생성된 360도 가상공간은 360도 기본영상 및 360도 기본영상의 소정의 위치에 삽입된 2차원 확장대상 영상을 포함한다. 2차원 확장대상 영상과 360도 기본영상은 서로 유사한 영상이지만, 2차원 확장대상 영상과 360도 기본영상이 서로 맞닿은 부분은 색깔 및 색깔 배치가 자연스럽지 않아 이질감이 느껴진다. In step 304, the 360-degree space expansion module 104 of the 360-degree image generating device 1 performs blurring on the area where the 2D expansion target image and the 360-degree basic image meet each other in the generated 360-degree virtual space. do. The 360-degree virtual space created in step 303 includes a 360-degree basic image and a two-dimensional expansion target image inserted at a predetermined position in the 360-degree basic image. The 2D expansion target image and the 360-degree basic video are similar images, but the color and color arrangement are not natural in the area where the 2D expansion target image and the 360-degree basic video meet, so a sense of heterogeneity is felt.

360도 공간확장모듈(104)의 가상공간생성서브모듈은 360도 가상공간에서 360도 기본영상에 삽입된 2차원 확장대상 영상과 360도 기본영상이 서로 맞닿은 영역을 블러링 처리한다. 블러링처리하여 2차원 확장대상 영상과 360도 기본영상이 맞닿은 영역의 색깔을 흐릿하게 처리하여 2차원 확장대상 영상 및 360도 기본영상이 자연스럽게 합성된 것처럼 보이게 한다. The virtual space creation submodule of the 360-degree space expansion module 104 blurs the area where the 360-degree basic image and the two-dimensional expansion target image inserted into the 360-degree basic image in the 360-degree virtual space are in contact. By blurring, the color of the area where the 2D expansion target image and the 360-degree basic image meet is blurred, making it look as if the 2D expansion target image and the 360-degree basic image were naturally synthesized.

305 단계에서, 360도 영상생성 장치(1)의 가상객체렌더링모듈(105)은 가상객체 입력 및 2차원 확장대상 영상의 맵핑 위치에 기초하여, 가상객체를 렌더링하고 360도 가상공간에 렌더링된 가상객체를 삽입한다. 가상객체렌더링모듈(105)은 가상객체 요청에 포함된 3차원 가상객체의 합성객체정보에 기초하여 360도 가상공간 상에 삽입될 가상객체를 렌더링한다.In step 305, the virtual object rendering module 105 of the 360-degree image generating device 1 renders the virtual object based on the virtual object input and the mapping position of the two-dimensional expansion target image and renders the virtual object rendered in the 360-degree virtual space. Insert an object. The virtual object rendering module 105 renders a virtual object to be inserted into a 360-degree virtual space based on composite object information of the 3D virtual object included in the virtual object request.

가상객체렌더링모듈(105)은 가상객체 요청에 포함된 3차원 가상객체의 합성위치 및 합성방향(orientation), 그리고 360도 가상공간에서 2차원 확장대상 영상의 삽입 위치에 기초하여, 360도 가상공간 상에서 렌더링된 3차원 가상객체의 합성위치 및 합성방향을 결정한다. The virtual object rendering module 105 creates a 360-degree virtual space based on the composite position and orientation of the 3D virtual object included in the virtual object request and the insertion position of the 2D expansion target image in the 360-degree virtual space. Determine the composition position and direction of the 3D virtual object rendered on the screen.

보다 구체적으로, 가상객체렌더링모듈(105)은 360도 가상공간 상에서 2차원 확장대상 영상의 전방에 사용자가 입력한 합성위치 및 합성방향으로 배치되도록 3차원 가상객체의 합성위치 및 합성방향을 결정한다. 가상객체렌더링모듈(105)은 사용자가 입력한 가상객체 요청 및 선택된 2차원 확장대상 영상 사이의 배치 관계에 따라 3차원 가상객체의 합성위치 및 합성방향을 결정한다. More specifically, the virtual object rendering module 105 determines the composition position and direction of the 3D virtual object so that it is placed in front of the 2D expansion target image in the 360-degree virtual space according to the composition position and direction entered by the user. . The virtual object rendering module 105 determines the synthesis position and direction of the 3D virtual object according to the arrangement relationship between the virtual object request input by the user and the selected 2D expansion target image.

가상객체렌더링모듈(105)은 결정된 3차원 가상객체의 합성위치 및 합성방향으로 3차원 가상객체를 2차원 확장대상 영상과 연관된 360도 가상공간에 합성한다. The virtual object rendering module 105 synthesizes the 3D virtual object into a 360-degree virtual space associated with the 2D extended target image based on the determined composition position and direction of the 3D virtual object.

이와 관련하여, 도 6은 360도 가상공간에서 3차원 가상객체가 합성되는 합성위치 및 합성방향을 나타내는 예시화면이다. 보다 구체적으로, 도 6(a)는 스마트폰 화면에서 선택된 확장대상 영상에 합성하고자 하는 3차원 가상객체를 입력한 상태를 나타내는 예시화면이고, 도 6(b)는 가상공간에서 입력된 3차원 가상객체의 합성위치 및 합성방향을 나타내는 예시화면이다. 도 6을 참고하면, 사용자가 360도 영상생성 장치(예를 들어, 스마트폰)에 “I Love” 및 “PARIS”라는 텍스트를 파리의 독립문을 나타내는 2차원 영상에 삽입하기 위하여 확장대상 영상 선택 및 가상객체 입력을 입력할 수 있다. 이러한 입력을 입력한 경우, 360도 영상생성 장치(1)에서 선택한 파리의 독립문을 나타내는 2차원 확장대상 영상의 전방에 사용자가 입력한 “I Love” 및 “PARIS”란 텍스트를 사용자가 설정한 위치 및 방향으로 배치한다. 사용자가 영문자 “I L”은 독립문의 좌측에 배치하고, 영문자 “ove”는 독립문 앞에 배치되도록 입력함에 따라, 360도 가상공간 상에서도 360도 가상공간의 중심을 기준으로 사용자가 입력한 위치 및 방향에 따라 3차원 가상객체를 배치한다. In relation to this, Figure 6 is an example screen showing the synthesis position and direction in which a 3D virtual object is synthesized in a 360-degree virtual space. More specifically, Figure 6(a) is an example screen showing the state of inputting a 3D virtual object to be synthesized into the expansion target image selected on the smartphone screen, and Figure 6(b) is an example screen showing a 3D virtual object input in virtual space. This is an example screen showing the composition position and direction of the object. Referring to FIG. 6, the user selects an image to be expanded in order to insert the text “I Love” and “PARIS” into a two-dimensional image representing the Dongnimmun Gate in Paris on a 360-degree image generating device (e.g., a smartphone). You can enter virtual object input. When these inputs are entered, the user-set position of the text “I Love” and “PARIS” entered by the user is placed in front of the two-dimensional expansion target image representing the Dongnimmun Gate in Paris selected in the 360-degree image generating device (1). and placed in the direction. As the user inputs the English letter “I L” to be placed on the left side of the independent sentence and the English letter “ove” to be placed in front of the independent sentence, in the 360-degree virtual space, the position and direction entered by the user are based on the center of the 360-degree virtual space. Place a 3D virtual object.

가상객체렌더링모듈(105)은 사용자가 입력한 3차원 가상객체의 합성객체 정보와 대응되는 가상객체를 사용자가 입력한 합성위치 및 합성방향에 따라 303 단계에서 생성된 360도 가상공간에 생성한다. 가상객체렌더링모듈(105)은 상술한 방식으로 가상객체를 포함하는 360도 가상공간을 생성한다. 가상객체렌더링모듈(105)은 가상객체가 포함된 360도 가상공간을 가상객체렌더링모듈(105)로 입력한다.The virtual object rendering module 105 creates a virtual object corresponding to the composite object information of the 3D virtual object input by the user in the 360-degree virtual space created in step 303 according to the composite position and composite direction input by the user. The virtual object rendering module 105 creates a 360-degree virtual space including virtual objects in the above-described manner. The virtual object rendering module 105 inputs a 360-degree virtual space containing a virtual object to the virtual object rendering module 105.

306 단계에서, 360도 영상생성 장치(1)의 가상카메라모듈(106)은 360도 가상공간에 배치된 가상객체 및 2차원 확장대상 영상의 삽입 위치에 기초하여, 360도 가상공간에서 가상 카메라의 위치 및 방향을 설정한다. 가상카메라모듈(106)은 360도 가상공간 상에서 360도 가상공간의 중심을 가상 카메라의 위치로 설정하고, 2차원 확대영상을 바라보는 방향으로 가상 카메라의 방향을 설정한다. 여기에서, 가상 카메라의 위치 및 방향은 사용자의 입력에 따라 가변될 수 있다. 가상카메라모듈(106)은 360도 가상공간에서 가상 카메라가 비추는 영역을 나타내는 영상을 디스플레이모듈(107)로 입력한다. In step 306, the virtual camera module 106 of the 360-degree image generating device 1 displays the virtual camera in the 360-degree virtual space based on the insertion position of the virtual object and the 2D extended target image placed in the 360-degree virtual space. Set location and direction. The virtual camera module 106 sets the center of the 360-degree virtual space as the position of the virtual camera in the 360-degree virtual space and sets the direction of the virtual camera in the direction toward which the two-dimensional enlarged image is viewed. Here, the position and direction of the virtual camera may vary depending on the user's input. The virtual camera module 106 inputs an image representing the area illuminated by the virtual camera in a 360-degree virtual space to the display module 107.

307 단계에서, 360도 영상생성 장치(1)의 디스플레이모듈(107)은 생성된 360도 가상공간 상에서 설정된 가상 카메라 위치 및 방향에서 따라 가상 카메라가 비추는 360도 가상공간 영역을 나타내는 영상을 출력한다. 디스플레이모듈(107)은 사용자가 입력한 3차원 가상객체 및 2차원 확장대상 영상을 포함하는 360도 가상공간을 출력하여 사용자에게 제공한다. 디스플레이모듈(107)은 306 단계에서 설정된 가상 카메라의 위치 및 방향에 따라 가상 카메라가 비추는 360도 가상공간의 영역을 나타내는 영상을 출력한다. 디스플레이모듈(107)에 의하여 출력되는 영상은 3차원 가상객체, 2차원 합성대상 영상 및 360도 기본 영상 중 적어도 하나를 포함한다. 디스플레이모듈(107)은 360도 영상을 출력하여 사용자에게 제공한다. In step 307, the display module 107 of the 360-degree image generating device 1 outputs an image representing the 360-degree virtual space area illuminated by the virtual camera according to the virtual camera position and direction set in the generated 360-degree virtual space. The display module 107 outputs a 360-degree virtual space including a 3D virtual object and a 2D expanded target image input by the user and provides it to the user. The display module 107 outputs an image representing the area of the 360-degree virtual space illuminated by the virtual camera according to the position and direction of the virtual camera set in step 306. The image output by the display module 107 includes at least one of a 3D virtual object, a 2D composite image, and a 360-degree basic image. The display module 107 outputs a 360-degree image and provides it to the user.

360도 영상생성 장치(1)의 가상카메라모듈(106)은 사용자가 입력모듈(102)을 통하여 입력한 관찰시점 변화 명령에 따라 가상 카메라의 위치 및 방향을 변경한다. 여기에서, 관찰시점 변화 명령은 360도 영상생성 장치(1)를 통하여 360도 영상을 시청 중인 사용자가 디스플레이를 통하여 출력되는 영상에서 다른 영역을 관찰하기 위하여 입력하는 입력을 의미한다. 예를 들어, 사용자가 스마트폰을 이용하여 360 영상을 시청 중인 경우 터치스크린을 손가락을 이용하여 스와이프(swipe)하는 방식으로 관찰시점 변화 명령을 입력할 수 있다. The virtual camera module 106 of the 360-degree image generating device 1 changes the position and direction of the virtual camera according to the observation point change command input by the user through the input module 102. Here, the observation point change command refers to an input made by a user watching a 360-degree video through the 360-degree image generating device 1 to observe a different area in the image output through the display. For example, if a user is watching a 360 video using a smartphone, a command to change the viewing point can be input by swiping the touch screen with a finger.

디스플레이모듈(107)은 변경된 가상 카메라의 위치 및 방향에 따라 가상 카메라가 비추는 360도 가상공간 영역을 나타내는 영상을 출력한다. The display module 107 outputs an image representing the 360-degree virtual space area illuminated by the virtual camera according to the changed position and direction of the virtual camera.

상술한 본 발명의 일 실시예에 따른 2차원 영상 기반 3차원 가상객체를 포함하는 360도 영상생성 방법은 상술한 예시와 같이 3차원 영상생성 장치(1)에서 수행될 수 있다. 또 다른 실시예에 따르면, 360도 영상생성 장치(1)는 사용자로부터 확장대상 영상 선택 및 가상객체 입력을 수신하고, 수신한 확장대상 영상 선택 및 가상객체 입력을 360도 영상생성 서버(2)로 전송하고, 360도 영상생성 서버(2)에서 상술한 방법과 대응되는 방법으로 3차원 가상객체, 2차원 확장대상 영상 및 360도 기본 영상을 포함하는 360도 가상공간을 생성하고, 가상 카메라가 비추는 360도 가상공간의 영역을 나타내는 영상을 360도 영상생성 장치(1)로 전송한다. 360도 영상생성 장치(1)는 360도 영상생성 서버(2)로부터 전송된 영상을 디스플레이모듈(107)을 통하여 사용자에게 제공한다. The 360-degree image generation method including a 3D virtual object based on a 2D image according to an embodiment of the present invention described above can be performed in the 3D image generating device 1 as in the above-described example. According to another embodiment, the 360-degree image generation device 1 receives expansion target image selection and virtual object input from the user, and transmits the received expansion target image selection and virtual object input to the 360-degree image generation server 2. Transmit, the 360-degree image creation server (2) generates a 360-degree virtual space including a 3D virtual object, a 2-dimensional extended target image, and a 360-degree basic image using a method corresponding to the method described above, and the 360-degree virtual space projected by the virtual camera is An image representing an area of a 360-degree virtual space is transmitted to the 360-degree image generating device (1). The 360-degree image generating device 1 provides the image transmitted from the 360-degree image generating server 2 to the user through the display module 107.

상술한 본 발명의 실시예들에 따르면, 360도 영상생성 방법은 사용자로 하여금 간단한 조작만으로 2차원 영상을 가상객체를 포함하는 360도 영상으로 합성할 수 있다. 360도 영상합성 방법은 사용자가 2차원 확장대상 영상을 선택하고, 영상에 삽입할 이미지, 텍스트 및 효과를 입력하면, 2차원 확장대상 영상과 유사한 360도 영상을 검색하고, 가장 유사한 360도 영상에 사용자가 선택한 2차원 확장대상 영상, 이미지, 텍스트 및 효과를 삽입한다. 이처럼, 본 발명에 따른 360도 영상합성 방법은 사용자로 하여금 간단한 조작만으로 2차원 영상을 3차원 가상객체를 갖는 360도 영상으로 편집할 수 있다. According to the above-described embodiments of the present invention, the 360-degree image generation method allows the user to synthesize a two-dimensional image into a 360-degree image including a virtual object with a simple operation. In the 360-degree video synthesis method, the user selects a 2D expansion target image, inputs images, text, and effects to be inserted into the video, searches for 360-degree images similar to the 2D expansion target image, and selects the most similar 360-degree video. Inserts the 2D expansion target video, image, text, and effects selected by the user. As such, the 360-degree image synthesis method according to the present invention allows the user to edit a 2-dimensional image into a 360-degree image with a 3-dimensional virtual object with a simple operation.

한편 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체 (예를 들면 롬 플로피 디스크 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)같은 저장매체를 포함한다. 컴퓨터 판독 가능한 기록매체에는 본 발명의 실시예들에 따른 3차원 실내지도 구축 방법을 수행하는 프로그램을 기록된다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. Additionally, the data structure used in the above-described embodiments of the present invention can be recorded on a computer-readable recording medium through various means. The computer-readable recording media includes storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical readable media (eg, CD-ROM, DVD, etc.). A program for performing a method for constructing a 3D indoor map according to embodiments of the present invention is recorded on a computer-readable recording medium.

이제까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로해석되어야 할 것이다.So far, the present invention has been looked at with a focus on preferred embodiments. A person skilled in the art to which the present invention pertains will understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative rather than a restrictive perspective. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.

1: 360도 영상생성 장치
101: 프로세서 102: 입력모듈
103: 스토리지 104: 360도 공간확장모듈
105: 가상객체 렌더링모듈 106: 가상카메라모듈
107: 디스플레이모듈
2: 3차원 가상객체 합성 서버1: 360-degree image generation device
101: processor 102: input module
103: Storage 104: 360-degree space expansion module
105: Virtual object rendering module 106: Virtual camera module
107: Display module
2: 3D virtual object synthesis server

Claims

In a 360-degree image generation method including a 2D image-based 3D virtual object,
Receiving a virtual object input including selecting an expansion target image including selection of a two-dimensional expansion target image from the user and composite object information, composite location, and composite orientation of a virtual object to be included in a 360-degree image;
Based on the selection of the expansion target image, obtaining the two-dimensional expansion target image from storage;
Based on the two-dimensional expansion target image, generating a 360-degree virtual space associated with the two-dimensional expansion target image including the two-dimensional expansion target image;
Based on the virtual object input and the two-dimensional expansion target image, rendering a virtual object and inserting the virtual object into the 360-degree virtual space;
Setting the position and direction of a virtual camera in a 360-degree virtual space based on a virtual object and a two-dimensional expansion target image placed in the 360-degree virtual space; and
Outputting an image representing an area of the 360-degree virtual space illuminated by the virtual camera according to the position and direction of the virtual camera,
The step of creating a 360-degree virtual space associated with the two-dimensional expansion target image is
extracting feature data of the two-dimensional expansion target image;
determining a 360-degree base image associated with the two-dimensional expansion target image based on feature data of the two-dimensional expansion target image; and
Generating a 360-degree virtual space associated with the two-dimensional expansion target image including the two-dimensional expansion target and the 360-degree basic image,
The step of generating a 360-degree virtual space associated with the 2-dimensional expansion target image including the 2-dimensional expansion target and the 360-degree basic image
Map the 360-degree basic image to the 360-degree virtual space,
Based on the border color of the two-dimensional expansion target image, determine a mapping position of the two-dimensional expansion target image in the 360-degree virtual space,
A 360-degree image generation method characterized by generating a 360-degree virtual space associated with the 2-dimensional expansion target image by inserting the 2-dimensional expansion target image into the 360-degree virtual space at the determined position.

delete

According to claim 1,
The feature data includes the color of the two-dimensional expansion target image, the shape of the included object, and the season, time, and location in which the image was captured.

According to claim 1,
The step of determining a 360-degree basic image associated with the two-dimensional expansion target image based on the feature data of the two-dimensional expansion target image
Among the plurality of 360-degree basic images stored in the storage, a 360-degree basic image having the same feature data as the feature data of the two-dimensional expansion target image is determined as the 360-degree basic image associated with the two-dimensional expansion target image. How to create a 360-degree video.

delete

According to claim 1,
Determining the mapping position of the 2D expansion target image is
Extract the border of the 2D expansion target image,
Extracting a plurality of image fragments having the same aspect ratio as the 2D expansion target image from the associated 360-degree basic image,
Calculating similarity by comparing the border of the two-dimensional expansion target image with the border of each of the plurality of image fragments, and determining the image fragment with the highest similarity,
A 360-degree image generation method, characterized in that the location where the determined image piece is mapped in the 360-degree virtual space is determined as the mapping location of the two-dimensional expansion target image.

According to claim 6,
Before rendering the virtual object and inserting the virtual object into the 360-degree virtual space, blurring an area where the two-dimensional expansion target image and the 360-degree basic image are in contact with each other in the 360-degree virtual space. A 360-degree image generation method further comprising a processing step.

A computer-readable recording medium recording a program for performing the method according to any one of claims 1, 3, 4, 6, and 7.