KR102505666B1 - A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content - Google Patents

A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content Download PDF

Info

Publication number
KR102505666B1
KR102505666B1 KR1020210192822A KR20210192822A KR102505666B1 KR 102505666 B1 KR102505666 B1 KR 102505666B1 KR 1020210192822 A KR1020210192822 A KR 1020210192822A KR 20210192822 A KR20210192822 A KR 20210192822A KR 102505666 B1 KR102505666 B1 KR 102505666B1
Authority
KR
South Korea
Prior art keywords
exhibition
virtual
space
viewer
projection surface
Prior art date
Application number
KR1020210192822A
Other languages
Korean (ko)
Inventor
이재운
정해운
Original Assignee
주식회사 닷밀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 닷밀 filed Critical 주식회사 닷밀
Priority to KR1020210192822A priority Critical patent/KR102505666B1/en
Application granted granted Critical
Publication of KR102505666B1 publication Critical patent/KR102505666B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Remote Sensing (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a device performing rendering optimized for a viewer's viewpoint at a specific location to provide ultra-realistic content which provides ultra-realistic content including a projected image optimized for a viewpoint of a viewer located in an exhibition space and comprises the following: an exhibition object generating unit which generates an exhibition object implemented in three dimensions in a virtual space; a photographing object generation unit which generates a photographing object for photographing the exhibition object at a specific location in the virtual space; a virtual projection surface generation unit which generates a virtual projection surface on which a scene photographed by the photographing object is output in the virtual space; a viewing point generation unit which generates a viewing point looking at the virtual projection surface in the virtual space; a rendering unit which remodels the exhibition object based on the set viewing point. Accordingly, the ultra-realistic content can be implemented with high perfection.

Description

초실감 콘텐츠를 제공하기 위해 특정 위치의 관람객 시점에 최적화된 렌더링을 수행하는 장치{A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content}A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content}

본 발명은 초실감 콘텐츠를 제공하기 위해 특정 위치의 관람객 시점에 최적화된 렌더링을 수행하는 장치에 관한 것으로, 보다 상세하게는, 전시 공간에 투사되는 투사 영상을 이용해 초실감 콘텐츠를 제공할 수 있도록, 가상 공간을 이용하여 관람객의 위치에 최적화된 렌더링을 수행하는 렌더링 기술에 관한 것이다. The present invention relates to an apparatus for performing rendering optimized for a viewer's point of view in a specific location in order to provide ultra-realistic content, and more particularly, to provide ultra-realistic content using a projected image projected on an exhibition space, It relates to a rendering technology that performs rendering optimized for a viewer's position using a virtual space.

메타버스를 포함하는 초실감 콘텐츠는 일반적으로 가상 현실 및 증강 현실 등을 이용한 방법을 통해 유저들에게 제공될 수 있지만, 영상 투사를 이용한 방법도 존재한다. 예를 들면, 3차원 객체를 입체감 있게 렌더링하고, 이를 준비된 영상 투사면에 투사하는 방법으로 유저들에게 초실감 콘텐츠 또는 그 일부를 제공할 수 있다.Ultra-realistic content including the metaverse can generally be provided to users through methods using virtual reality and augmented reality, but methods using image projection also exist. For example, ultra-realistic content or a part thereof may be provided to users by rendering a 3D object in a three-dimensional sense and projecting the 3D object onto a prepared image projection surface.

한편, 종래의 영상 투사를 이용한 초실감 콘텐츠 구현 방법은 원근투영기법을 기본적으로 사용하고 있으며, 이러한 방법은 관람객이 이동하는 경우와 같이 투사 영상을 바라보는 시점이 변화하는 상황에 적절히 대응할 수 없으므로 초실감 콘텐츠를 완벽하게 구현할 수 없는 문제점이 있었다.On the other hand, the conventional hyper-realistic content implementation method using image projection basically uses a perspective projection technique, and this method cannot properly respond to situations in which the viewpoint of viewing the projected image changes, such as when a viewer moves, so it is super-realistic. There was a problem that the immersive content could not be perfectly implemented.

이에 본 발명의 발명자는 그런 문제점을 해결하기 위해서 오랫동안 연구하고 시행착오를 거치며 개발한 끝에 본 발명을 완성하기에 이르렀다.Accordingly, the inventor of the present invention has completed the present invention after long research and development through trial and error in order to solve such problems.

본 발명은 상술한 바와 같은 문제점을 해결하기 위해, 가상 공간 상에 가상 투사면을 생성하고, 가상 투사면을 바라보되 관람객의 관람 위치와 대응되는 위치에 생성되는 관람 시점을 이용하여 렌더링을 수행하는, 초실감 콘텐츠를 제공하기 위해 특정 위치의 관람객 시점에 최적화된 렌더링을 수행하는 장치를 제공하는 것을 목적으로 한다.In order to solve the above problems, the present invention creates a virtual projection surface in a virtual space, and performs rendering using a viewing point created at a position corresponding to the viewer's viewing position while looking at the virtual projection surface. , To provide ultra-realistic content, it is an object of the present invention to provide a device that performs rendering optimized for a viewer's point of view in a specific location.

상술한 문제점을 해결하기 위한 본 발명의 일 국면은, 전시 공간에 위치한 관람객의 시점에 최적화된 투사 영상으로 구성되는 초실감 콘텐츠를 제공하기 위한 것으로서,One aspect of the present invention to solve the above problems is to provide ultra-realistic content composed of projection images optimized for the viewpoint of a viewer located in an exhibition space,

가상 공간에 3차원으로 구현되는 전시 객체를 생성하는 전시 객체 생성부;an exhibition object creation unit that creates a three-dimensional exhibition object in a virtual space;

가상 공간 상의 특정 위치에서 전시 객체를 촬영하기 위한 촬영 객체를 생성하는 촬영 객체 생성부;a photographing object creation unit generating a photographing object for photographing an exhibition object at a specific location in a virtual space;

가상 공간에서 촬영 객체가 촬영하는 장면이 출력되는 가상 투사면을 생성하는 가상 투사면 생성부;a virtual projection surface generating unit generating a virtual projection surface on which a scene captured by a photographing object is output in a virtual space;

가상 공간 상에 가상 투사면을 바라보는 관람 시점을 생성하는 관람 시점 생성부; 및a viewing viewpoint generating unit generating a viewing viewpoint looking at a virtual projection surface in a virtual space; and

상기 설정된 관람 시점에 기초하여 전시 객체를 리모델링하는 렌더링부를 포함하고,A rendering unit for remodeling an exhibition object based on the set viewing point of view;

상기 렌더링부는,The rendering unit,

상기 촬영 객체로부터 관람객에게 제공되어야 하는 기준 투사 영상을 전달받으며, 상기 생성된 관람 시점에서 가상 투사면을 바라보았을 때 상기 기준 투사 영상에 나타나는 전시 객체와 동질감을 갖는 전시 객체가 출력되도록 전시 객체를 리모델링할 수 있다.A reference projection image to be provided to the viewer is received from the photographing object, and the exhibition object is remodeled so that an exhibition object having a sense of identity with the exhibition object appearing in the reference projection image is output when looking at the virtual projection surface at the viewing point of view. can do.

바람직한 실시예에서, 상기 관람 시점 생성부는,In a preferred embodiment, the viewing point generation unit,

상기 전시 공간에 위치하는 관람객의 위치와 대응되는 가상 공간 좌표에 관람 시점을 생성하고, Creating a viewing viewpoint at virtual space coordinates corresponding to the position of the visitor located in the exhibition space;

가상 공간 상에 생성된 관람 시점을 상기 전시 공간에 위치하는 관람객의 위치 정보에 기초하여 실시간으로 이동시킬 수 있다.The viewing point created in the virtual space may be moved in real time based on location information of the viewer located in the exhibition space.

바람직한 실시예에서, 상기 관람 시점 생성부는,In a preferred embodiment, the viewing point generation unit,

상기 전시 공간에 복수의 관람객이 위치하는 경우, 군집된 관람객에 대해서 산출된 평균 위치 정보에 기초하는 관람 시점을 생성할 수 있다.When a plurality of visitors are located in the exhibition space, a viewing viewpoint based on average location information calculated for the crowd of visitors may be created.

바람직한 실시예에서, 상기 가상 투사면 및 관람 시점은,In a preferred embodiment, the virtual projection surface and viewing point,

상기 전시 공간과 대응되도록 좌표계가 구성된 별도의 가상 공간에 생성되는 것이 좋다.It is preferable to create a separate virtual space in which a coordinate system is configured to correspond to the exhibition space.

바람직한 실시예에서, 상기 렌더링부는,In a preferred embodiment, the rendering unit,

비축상(off-axis) 투영법을 이용해 전시 객체에 대한 위치, 형태 및 색상 중 적어도 하나를 변화시키는 리모델링을 수행할 수 있다.Remodeling that changes at least one of a position, shape, and color of an exhibition object may be performed using an off-axis projection method.

바람직한 실시예에서, 상기 전시 공간에 위치하는 관람객의 위치 정보를 수신하는 위치 정보 수신부; 및In a preferred embodiment, a location information receiving unit for receiving location information of visitors located in the exhibition space; and

상기 촬영 객체가 촬영하는 장면을 실시간으로 전시 공간의 영상 투사 장치에 전송하는 투사 영상 전송부를 더 포함할 수 있다.A projected image transmitter may further include a projection image transmission unit that transmits a scene captured by the photographing object to an image projection device in an exhibition space in real time.

본 발명은 관람객 시점에 따라 왜곡되지 않는 투사 영상을 이용하여 초실감 콘텐츠를 완성도 높게 구현할 수 있도록 하는 효과가 있다.The present invention has an effect of enabling ultra-realistic content to be implemented with a high level of perfection by using a projection image that is not distorted according to the viewer's point of view.

본 발명은 관람객 시점에 기초하여 전시 객체에 대한 렌더링을 실시간으로 수행할 수 있는 효과가 있다.The present invention has an effect of performing rendering of an exhibition object in real time based on a viewer's point of view.

도 1은 종래의 원근투영기법을 이용한 렌더링을 통해 제공되는 초실감 콘텐츠를 설명하기 위한 참조도이다.
도 2는 본 발명에 따른 렌더링 수행 시스템을 설명하기 위한 구성도이다.
도 3 및 도 4는 본 발명에 따른 렌더링 수행 장치의 구성을 나타내는 블록도이다.
도 5 및 도 6은 본 발명에 따른 촬영 객체에 의해 촬영되는 장면을 나타내는 참조도이다.
도 7은 본 발명에 따른 가상 투사면의 생성 예시를 설명하기 위한 참조도이다.1 is a reference diagram for explaining ultra-realistic content provided through rendering using a conventional perspective projection technique.
2 is a configuration diagram for explaining a rendering performance system according to the present invention.
3 and 4 are block diagrams showing the configuration of a rendering apparatus according to the present invention.
5 and 6 are reference views illustrating scenes captured by a capturing object according to the present invention.
7 is a reference diagram for explaining an example of generating a virtual projection surface according to the present invention.

본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.In describing the present invention, a detailed description thereof will be omitted if it is determined that a related known function may unnecessarily obscure the subject matter of the present invention as it is obvious to those skilled in the art.

도 1은 종래의 원근투영기법을 이용한 렌더링을 통해 제공되는 초실감 콘텐츠를 설명하기 위한 참조도이다.1 is a reference diagram for explaining ultra-realistic content provided through rendering using a conventional perspective projection technique.

도 1을 참조하면, 종래의 원근투영기법을 이용한 렌더링을 수행하는 경우, 특정 시점에서 렌더링이 최적화되어 실감형 콘텐츠인 투사 영상을 바라보았을 때 객체의 원근감 및 형태가 왜곡되지 않고 정상적으로 보여지는 특징이 있다. 이러한 방법은 도 1의 (A)와 같이 전시 공간에 설치된 실제 구조물 사이에 영상을 투사하여 실감형 콘텐츠를 구성하는 경우 적절하게 이용될 수 있다. 상술한 실제 구조물 사이에 위치한 관람객은 투사 영상이 왜곡되어 보이지 않는 범위 내의 위치에서 실감형 콘텐츠를 관람하게 되므로, 도 1의 (B)와 같이 위화감 없는 정상적인 실감형 콘텐츠를 관람할 수 있다. 하지만, 관람객에게 더 넓은 공간이 허용되는 전시 공간 등에서 이러한 방법을 적용하여 실감형 콘텐츠를 구성하는 경우에는 관람객이 바라보는 시점에 따라 투사 영상이 왜곡되어 보이게 되므로, 실감형 콘텐츠가 의도된 대로 제공되지 못한다는 문제점이 있다.Referring to FIG. 1, when rendering is performed using a conventional perspective projection technique, the rendering is optimized at a specific point in time, and when viewing a projected image, which is immersive content, the perspective and shape of an object are normally displayed without being distorted. there is. This method can be appropriately used when constructing immersive content by projecting an image between actual structures installed in an exhibition space as shown in (A) of FIG. 1 . Since the viewer located between the above-mentioned real structures watches the realistic content at a position within the range where the projected image is distorted and cannot be seen, it is possible to view the normal realistic content without discomfort as shown in FIG. 1(B). However, when realistic content is configured by applying this method in an exhibition space where a wider space is allowed for visitors, the projected image is distorted depending on the viewer's point of view, so the realistic content is not provided as intended. There is a problem with not being able to.

도 2는 본 발명에 따른 렌더링 수행 시스템을 설명하기 위한 구성도이다.2 is a configuration diagram for explaining a rendering performance system according to the present invention.

도 2를 참조하면, 본 발명에 따른 렌더링 수행 시스템은 단말(10), 영상 투사 장치(20) 및 초실감 콘텐츠를 제공하기 위해 특정 위치의 관람객 시점에 최적화된 렌더링을 수행하는 장치(100)(이하, 렌더링 수행 장치라 칭함)를 포함하여 구성된다.Referring to FIG. 2 , the rendering system according to the present invention includes a terminal 10, an image projection device 20, and a device 100 performing rendering optimized for a viewer's viewpoint at a specific location to provide ultra-realistic content ( Hereinafter referred to as a rendering execution device).

단말(10)은 관람객의 위치 정보를 렌더링 수행 장치(100)에 전송하기 위한 장치로서, 예를 들면, 관람객이 휴대하는 스마트폰, 위치 정보를 송신하는 기능을 수행하는 태그(tag) 및 이들과 동등한 기능을 수행하는 다른 장치를 포함할 수 있다. 일반적으로 각 관람객은 하나의 단말(10)을 소지하게 되며, 전시 공간에 위치한 관람객이 복수인 경우에는 복수의 관람객 위치 정보가 렌더링 수행 장치(100)에 전송될 수 있다.The terminal 10 is a device for transmitting the viewer's location information to the rendering device 100, and includes, for example, a smartphone carried by the viewer, a tag that performs a function of transmitting location information, and Other devices performing equivalent functions may be included. In general, each visitor has one terminal 10, and when there are a plurality of visitors located in the exhibition space, location information of a plurality of visitors may be transmitted to the rendering device 100.

본 발명에 따른 렌더링 수행 장치(100)는 단말(10)로부터 전송받은 관람객 위치 정보에 기초하여 가상 공간에 3차원으로 구현된 전시 객체를 2차원 평면으로 나타내는 렌더링 작업을 수행하며, 렌더링 작업의 결과물인 투사 영상을 전시 공간에 설치된 영상 투사 장치(20)로 제공할 수 있다. 여기에서, 관람객에게 제공되는 초실감 콘텐츠가 여러 개의 투사 영상으로 구성되는 것일 경우, 복수의 영상 투사 장치(20-1, 20-2, 20-3 …)의 설치가 요구될 수 있으며, 렌더링 수행 장치(100) 또한 각각의 영상 투사 장치(20)에 적합한 렌더링을 수행하여 서로 다른 투사 영상을 제공할 수 있다.The rendering apparatus 100 according to the present invention performs a rendering operation to represent an exhibition object implemented in 3D in a virtual space as a 2D plane based on the visitor location information transmitted from the terminal 10, and the result of the rendering operation The projection image may be provided to the image projection device 20 installed in the exhibition space. Here, when the ultra-realistic content provided to the viewer consists of multiple projected images, installation of a plurality of image projection devices (20-1, 20-2, 20-3...) may be required, and rendering is performed. The device 100 may also provide different projection images by performing rendering suitable for each image projection device 20 .

도 3 및 도 4는 본 발명에 따른 렌더링 수행 장치(100)의 구성을 나타내는 블록도이다.3 and 4 are block diagrams showing the configuration of the rendering apparatus 100 according to the present invention.

도 3을 참조하면, 본 발명에 따른 렌더링 수행 장치(100)는 전시 객체 생성부(110), 촬영 객체 생성부(120), 가상 투사면 생성부(130), 관람 시점 생성부(140) 및 렌더링부(150)를 포함하여 구성된다. 또한, 도 4를 참조하면, 본 발명의 일 실시예에 따른 렌더링 수행 장치(100)는 위치 정보 수신부(160) 및 투사 영상 전송부(170)를 더 포함하여 구성될 수 있다.Referring to FIG. 3 , the rendering apparatus 100 according to the present invention includes an exhibition object generator 110, a photographing object generator 120, a virtual projection surface generator 130, a viewing viewpoint generator 140, and It is configured to include a rendering unit 150 . Also, referring to FIG. 4 , the rendering apparatus 100 according to an embodiment of the present invention may further include a location information receiver 160 and a projection image transmitter 170.

전시 객체 생성부(110)는 가상 공간에 3차원으로 구현되는 전시 객체를 생성할 수 있다. 여기에서, 상기 전시 객체는 사용자 단말로부터 렌더링 수행 장치(100)로 직접 입력되는 전시 객체 데이터에 기초하여 생성될 수 있다. 또한, 상기 전시 객체는 초실감 콘텐츠를 구현하기 위해 전시 공간에 투사되는 투사 영상을 구성하는 가상 객체로서, 특정한 사물만을 의미하는 것은 아니며, 가상 공간 상에 모델링되는 모든 가상 객체를 의미할 수 있다. 예를 들어, 도 1의 (B)는 실제 투사된 투사 영상을 도시한 것이며, 암석 구조물, 구현된 날씨 및 지면 등으로 구성된 전시 객체를 포함하고 있다.The exhibition object creation unit 110 may create a 3D exhibition object in a virtual space. Here, the exhibition object may be created based on exhibition object data directly input from the user terminal to the rendering apparatus 100 . In addition, the exhibition object is a virtual object constituting a projected image projected on an exhibition space to implement ultra-realistic content, and does not mean only a specific object, but may mean all virtual objects modeled on the virtual space. For example, (B) of FIG. 1 shows an actual projected image, and includes an exhibition object composed of a rock structure, embodied weather, and the ground.

촬영 객체 생성부(120)는 가상 공간 상의 특정 위치에서 전시 객체를 촬영하기 위한 촬영 객체를 생성할 수 있다. 상기 촬영 객체는 전시 공간에 투사할 투사 영상 자체를 촬영하기 위한 목적으로 생성되는 것으로, 사용자 입력에 기초하여 변경되는 촬영 객체의 위치에 따라서 어떠한 투사 영상을 전시 공간에 투사할 것인지 결정할 수 있게 된다. 이와 관련하여 도 5 및 도 6은 본 발명에 따른 촬영 객체(121)에 의해 촬영되는 장면을 나타내는 참조도이다. 도 5 및 도 6을 참조하여 설명하면, (A)는 촬영 객체(121)가 가상 공간에 구현된 전시 객체(111-1, 111-2, 111-3)를 촬영하는 모습을 3인칭 시점으로 나타낸 것이며, (B)는 촬영 객체(121) 시점에서 촬영되는 장면(즉, 전시 공간에 제공되는 투사 영상)을 나타낸 것이다. 도 5 및 도 6을 비교해보면, 촬영 객체(121)의 촬영 위치가 변화함에 따라 촬영되는 전시 객체(111-1, 111-2, 111-3)의 위치 및 형태 또한 변화하게 된다.The capturing object creation unit 120 may create a capturing object for capturing an exhibition object at a specific location in the virtual space. The photographing object is created for the purpose of photographing the projected image itself to be projected onto the exhibition space, and it is possible to determine which projected image to project into the exhibition space according to the position of the photographed object that is changed based on a user input. In this regard, FIGS. 5 and 6 are reference views illustrating scenes captured by the capturing object 121 according to the present invention. Referring to FIGS. 5 and 6, (A) is a third-person view of a photographing object 121 photographing exhibition objects 111-1, 111-2, and 111-3 implemented in a virtual space. (B) shows a scene captured from the viewpoint of the photographing object 121 (ie, a projection image provided to the exhibition space). Comparing FIGS. 5 and 6 , as the photographing position of the photographing object 121 changes, the positions and shapes of the photographed exhibition objects 111-1, 111-2, and 111-3 also change.

가상 투사면 생성부(130)는 가상 공간에서 촬영 객체가 촬영하는 장면이 출력되는 가상 투사면을 생성할 수 있다. 상기 가상 투사면은 전시 공간에 위치한 관람객의 위치에 따라 왜곡되어 보일 수 있는 투사 영상의 왜곡 상태를 확인하고, 확인된 결과에 따라 전시 객체를 리모델링하여 왜곡을 보정하기 위한 것이다.The virtual projection surface generating unit 130 may generate a virtual projection surface on which a scene captured by a photographing object is output in a virtual space. The virtual projection surface is for checking the distortion state of the projection image, which may appear distorted according to the position of the viewer located in the exhibition space, and correcting the distortion by remodeling the exhibition object according to the checked result.

일 실시예에서, 상기 가상 투사면은 전시 공간과 대응되도록 좌표계가 구성된 별도의 가상 공간에 생성될 수 있다. 구체적으로, 상술한 전시 객체 및 촬영 객체가 구현되는 가상 공간을 제1 가상 공간이라고 정의하고, 가상 투사면이 구현되는 가상 공간을 제2 가상 공간이라고 정의할 수 있다. 이와 관련하여, 도 7은 본 발명에 따른 가상 투사면(131)의 생성 예시를 설명하기 위한 참조도이다.In one embodiment, the virtual projection surface may be created in a separate virtual space in which a coordinate system is configured to correspond to the exhibition space. Specifically, a virtual space in which the above-described exhibition object and photographing object are implemented may be defined as a first virtual space, and a virtual space in which a virtual projection surface is implemented may be defined as a second virtual space. In this regard, FIG. 7 is a reference diagram for explaining an example of generating a virtual projection surface 131 according to the present invention.

도 7을 참조하면, 도 7의 (B)는 가상 투사면(131)이 생성되는 제2 가상 공간이며, 상기 제2 가상 공간에는 가상 투사면(131)에 출력되는 장면(투사 영상)이 실제 전시 공간에 투사되었을 경우의 상황을 시뮬레이션할 수 있는 전시 보조 객체(도 7의 (B))가 구현될 수 있다. 상술한 도 1의 예시와 같이 영상 투사 방식을 이용한 실감형 콘텐츠는 전시 공간에 마련되는 실제 구조물과 같이 구성될 수 있으며, 상기 전시 보조 객체는 제2 가상 공간에서 상기 실제 구조물과 같은 역할을 함으로써, 사용자가 관람객에게 제공할 초실감 컨텐츠를 전시하기에 앞서 시뮬레이션할 수 있도록 한다(도 7의 (A) 참조). 제2 가상 공간은 상술한 바와 같이 실제 전시 공간과 대응되도록 좌표계가 구성되므로, 전시 보조 객체 및 가상 투사면(131)을 실제 크기와 동일한 비율로 구현하여 시뮬레이션 할 수 있는 장점이 있다.Referring to FIG. 7, (B) of FIG. 7 is a second virtual space in which a virtual projection surface 131 is created, and in the second virtual space, a scene (projected image) output on the virtual projection surface 131 is actually displayed. An exhibition auxiliary object ((B) of FIG. 7) capable of simulating a situation when projected on an exhibition space may be implemented. As in the example of FIG. 1 described above, realistic content using an image projection method may be configured like a real structure provided in an exhibition space, and the exhibition auxiliary object plays the same role as the real structure in a second virtual space, Allows the user to simulate the ultra-realistic content to be provided to the audience before displaying it (see (A) in FIG. 7). As described above, since the coordinate system of the second virtual space is configured to correspond to the actual exhibition space, there is an advantage in that the exhibition auxiliary object and the virtual projection surface 131 can be implemented and simulated in the same ratio as the actual size.

일 실시예에서, 가상 투사면 생성부(130)는 생성하는 가상 투사면에 대한 질감을 구현하여 적용할 수 있다. 구체적으로, 투사 영상이 투사되는 전시 공간의 영상 투사면은 초실감 콘텐츠를 구현하기 위해 특정한 질감을 나타낼 수 있으며, 이러한 질감 또한 가상 공간 상에서 적용하여 투사 영상을 시뮬레이션 할 수 있도록 한다. 예를 들어, 가상 투사면의 질감을 거친 질감으로 구현하여 적용한 상태에서, 촬영 객체가 모래 또는 자갈로 구성된 지면을 포함하는 전시 객체를 촬영하게 되면, 더 실감있는 투사 영상을 제공할 수 있다.In one embodiment, the virtual projection surface generating unit 130 may implement and apply a texture to the virtual projection surface to be created. Specifically, the image projection surface of the exhibition space on which the projected image is projected may exhibit a specific texture to realize ultra-realistic content, and this texture can also be applied in virtual space to simulate the projected image. For example, when an exhibition object including a ground made of sand or gravel is photographed in a state in which the texture of the virtual projection surface is implemented and applied as a rough texture, a more realistic projection image can be provided.

관람 시점 생성부(140)는 가상 공간 상에 가상 투사면을 바라보는 관람 시점을 생성할 수 있다. 상기 관람 시점은 가상 공간의 특정 위치에서 가상 투사면을 바라보았을 경우 전시되어야 하는 투사 영상 대비 어떠한 왜곡이 발생하는지 확인하기 위한 것이다. 상술한 실시예에 따르면, 가상 투사면이 제2 가상 공간에 생성됨에 따라, 관람 시점 또한 제2 가상 공간에 생성된다. 또한, 관람 시점은 실제 전시 공간과 대응되도록 좌표계가 구성되는 제2 가상 공간 상에 생성되므로, 실제 전시 공간에 있는 관람객의 위치에서 초실감 콘텐츠를 구성하는 투사 영상을 바라보았을 때의 왜곡을 확인할 수 있도록 한다. 상기 과정을 통해 확인된 왜곡은 렌더링부(150)를 통해 보정되며, 이에 대한 구체적인 부분은 후술하기로 한다.The viewing viewpoint generating unit 140 may create a viewing viewpoint looking at a virtual projection surface in a virtual space. The viewing point is to check what kind of distortion occurs compared to the projected image to be displayed when the virtual projection surface is viewed from a specific position in the virtual space. According to the above-described embodiment, as the virtual projection surface is created in the second virtual space, the viewing viewpoint is also created in the second virtual space. In addition, since the viewpoint of viewing is created on the second virtual space in which the coordinate system is configured to correspond to the actual exhibition space, it is possible to check the distortion when viewing the projected image constituting the ultra-realistic content from the viewer's position in the actual exhibition space. let it be The distortion confirmed through the above process is corrected through the rendering unit 150, and details thereof will be described later.

본 발명의 바람직한 실시예에 따르면, 관람 시점 생성부(140)는 전시 공간에 위치하는 관람객의 위치와 대응되는 가상 공간 좌표(제2 가상 공간 좌표)에 관람 시점을 생성하고, 가상 공간(제2 가상 공간) 상에 생성된 관람 시점을 상기 전시 공간에 위치하는 관람객의 위치 정보에 기초하여 실시간으로 이동시킨다. 이에 따라, 관람객이 전시 공간 내에서 이동하여도 이동 위치에 기초하여 실시간으로 보정된 투사 영상을 전시 공간에 제공할 수 있게 된다.According to a preferred embodiment of the present invention, the viewing viewpoint generation unit 140 creates a viewing viewpoint at virtual space coordinates (second virtual space coordinates) corresponding to the position of the visitor located in the exhibition space, and creates a viewing viewpoint in the virtual space (second virtual space coordinates). The viewing point created in the virtual space) is moved in real time based on the location information of the viewer located in the exhibition space. Accordingly, even if the viewer moves within the exhibition space, a projection image corrected in real time based on the movement position can be provided to the exhibition space.

또한, 관람 시점 생성부(140)는 전시 공간에 복수의 관람객이 위치하는 경우, 군집된 관람객에 대해서 산출된 평균 위치 정보에 기초하는 관람 시점을 생성할 수 있다. 구체적으로, 동일한 전시 공간에 여러 관람객이 각각의 위치에서 투사 영상을 관람하게 되는 경우, 관람객 각각에 맞춰 완벽하게 보정된 투사 영상을 제공하기는 어렵게 된다. 따라서, 군집된 관람객에 대한 평균 위치를 산출하여 관람 시점을 생성하는 방법을 적용할 수 있다.In addition, when a plurality of visitors are located in the exhibition space, the viewing viewpoint generation unit 140 may generate a viewing viewpoint based on average location information calculated for the crowd of visitors. Specifically, in the case where several visitors watch a projection image at their respective locations in the same exhibition space, it is difficult to provide a perfectly calibrated projection image for each viewer. Therefore, a method of generating a viewing point by calculating an average position for the clustered spectators can be applied.

렌더링부(150)는 상기 설정된 관람 시점에 기초하여 전시 객체를 리모델링할 수 있다. 여기에서, 렌더링부(150)는 상기 촬영 객체로부터 관람객에게 제공되어야 하는 기준 투사 영상을 전달받으며, 상기 생성된 관람 시점에서 가상 투사면을 바라보았을 때 상기 기준 투사 영상에 나타나는 전시 객체와 동질감을 갖는 전시 객체가 출력되도록 전시 객체를 리모델링할 수 있다. 여기에서, 관람 시점의 위치에 따라 가상 투사면에서의 왜곡이 확인되는 전시 객체에 대한 리모델링은 상기 기준 투사 영상에 나타나는 전시 객체의 정보에 기초하여 수행된다. 상기 전시 객체 정보는 전시 객체의 명암, 색상, 위치 및 형태 정보를 포함할 수 있다.The rendering unit 150 may remodel the exhibition object based on the set viewing viewpoint. Here, the rendering unit 150 receives a reference projection image to be provided to the viewer from the photographing object, and has a sense of identity with the exhibition object appearing in the reference projection image when looking at the virtual projection surface at the generated viewing point. The exhibition object may be remodeled so that the exhibition object is output. Here, remodeling of an exhibition object whose distortion is confirmed on the virtual projection surface according to the location of the viewing point is performed based on information about the exhibition object appearing in the reference projection image. The exhibition object information may include contrast, color, location, and shape information of the exhibition object.

일 실시예에서, 렌더링부(150)는 비축상(off-axis) 투영법을 이용해 전시 객체에 대한 위치, 형태 및 색상 중 적어도 하나를 변화시키는 리모델링을 수행할 수 있으며, 이를 통해, 특히 투사 영상의 원근감을 보정하여 관람객의 투사 영상에 대한 이질감을 제거할 수 있다.In one embodiment, the rendering unit 150 may perform remodeling that changes at least one of the position, shape, and color of the exhibition object using an off-axis projection method, and through this, in particular, the projection image It is possible to remove the sense of heterogeneity of the viewer's projected image by correcting the sense of perspective.

결과적으로, 렌더링부(150)에 의해 전시 객체 리모델링이 수행된 후, 촬영 객체가 촬영하는 장면 또는 가상 투사면에는 왜곡된 전시 객체가 나타나게 되며, 관람 시점에 따라 왜곡된 전시 객체를 포함하는 투사 영상이 전시 공간에 제공되어 초실감 콘텐츠를 구현할 수 있게 된다.As a result, after the exhibition object remodeling is performed by the rendering unit 150, the distorted exhibition object appears on the scene captured by the shooting object or on the virtual projection surface, and the projected image including the exhibition object is distorted according to the viewing point of view. It is provided in this exhibition space to realize ultra-realistic content.

위치 정보 수신부(160)는 전시 공간에 위치하는 관람객의 위치 정보를 수신할 수 있다. 예를 들어, 무선 통신을 통해 단말(10)(도2 참조)로부터 직접 위치 정보를 수신할 수 있으며, 별도로 구비된 위치 정보 수집 장치로부터 관람객의 위치 정보를 수신할 수 있다.The location information receiving unit 160 may receive location information of visitors located in the exhibition space. For example, location information may be directly received from the terminal 10 (see FIG. 2 ) through wireless communication, and location information of a spectator may be received from a separately provided location information collecting device.

투사 영상 전송부(170)는 상기 촬영 객체가 촬영하는 장면을 실시간으로 전시 공간의 영상 투사 장치(20)(도 2 참조)에 전송할 수 있다. 정리하면, 관람객의 위치 정보 수신 과정에서부터 관람 시점의 생성 및 이동, 렌더링 및 촬영 장면(투사 영상)을 영상 투사 장치(20)에 전송하기까지의 과정은 실시간으로 이루어짐으로써, 전시 공간에 초실감 콘텐츠가 구현될 수 있도록 한다. The projected image transmission unit 170 may transmit a scene captured by the photographing object to the image projection device 20 (see FIG. 2 ) of the exhibition space in real time. In summary, the process from receiving the location information of the visitor to generating and moving the viewing point, rendering, and transmitting the shooting scene (projection image) to the image projection device 20 is performed in real time, providing ultra-realistic content in the exhibition space. to be implemented.

본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.It is apparent to those skilled in the art that the present invention can be embodied in other specific forms without departing from the characteristics of the present invention. Accordingly, the above detailed description should not be construed as limiting in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims (6)

전시 공간에 위치한 관람객의 시점에 최적화된 투사 영상으로 구성되는 초실감 콘텐츠를 제공하기 위한 것으로서,
가상 공간에 3차원으로 구현되는 전시 객체를 생성하는 전시 객체 생성부;
가상 공간 상의 특정 위치에서 전시 객체를 촬영하기 위한 촬영 객체를 생성하는 촬영 객체 생성부;
가상 공간에서 촬영 객체가 촬영하는 장면이 출력되는 가상 투사면을 생성하는 가상 투사면 생성부;
가상 공간 상에 가상 투사면을 바라보는 관람 시점을 생성하는 관람 시점 생성부;
상기 생성된 관람 시점에 기초하여 전시 객체를 리모델링하는 렌더링부;
상기 전시 공간에 위치하는 관람객의 위치 정보를 수신하는 위치 정보 수신부; 및
상기 촬영 객체가 촬영하는 장면을 실시간으로 전시 공간의 영상 투사 장치에 전송하는 투사 영상 전송부를 포함하고,
상기 렌더링부는,
상기 촬영 객체로부터 관람객에게 제공되어야 하는 기준 투사 영상을 전달받으며, 상기 생성된 관람 시점에서 가상 투사면을 바라보았을 때 상기 기준 투사 영상에 나타나는 전시 객체와 동질감을 갖는 전시 객체가 출력되도록 전시 객체를 리모델링하고,
가상 투사면 생성부는
투사 영상이 투사되는 전시 공간의 영상 투사면이 초실감 콘텐츠를 구현하기 위한 특정 질감을 나타내는 경우, 영상 투사면의 질감과 대응되는 질감이 구현된 가상 투사면을 생성하여 영상 투사면의 질감과 대응되는 질감이 구현된 장면을 전시 공간의 영상 투사 장치에 전송하는,
초실감 콘텐츠를 제공하기 위해 특정 위치의 관람객 시점에 최적화된 렌더링을 수행하는 장치.It is intended to provide ultra-realistic content composed of projection images optimized for the viewpoint of the viewer located in the exhibition space,
an exhibition object creation unit that creates a three-dimensional exhibition object in a virtual space;
a photographing object creation unit generating a photographing object for photographing an exhibition object at a specific location in a virtual space;
a virtual projection surface generating unit generating a virtual projection surface on which a scene captured by a photographing object is output in a virtual space;
a viewing viewpoint generating unit generating a viewing viewpoint looking at a virtual projection surface in a virtual space;
a rendering unit that remodels an exhibition object based on the generated viewing viewpoint;
a location information receiving unit for receiving location information of visitors located in the exhibition space; and
A projection image transmission unit for transmitting a scene captured by the shooting object to an image projection device in an exhibition space in real time;
The rendering unit,
A reference projection image to be provided to the viewer is received from the photographing object, and the exhibition object is remodeled so that an exhibition object having a sense of identity with the exhibition object appearing in the reference projection image is output when looking at the virtual projection surface at the viewing point of view. do,
The virtual projection surface generator
If the image projection surface of the exhibition space on which the projected image is projected exhibits a specific texture for realizing ultra-realistic content, a virtual projection surface with a texture corresponding to that of the image projection surface is created to correspond with the texture of the image projection surface. transmits the scene in which the texture is implemented to the image projection device in the exhibition space,
A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content. 제1항에 있어서,
상기 관람 시점 생성부는,
상기 전시 공간에 위치하는 관람객의 위치와 대응되는 가상 공간 좌표에 관람 시점을 생성하고,
가상 공간 상에 생성된 관람 시점을 상기 전시 공간에 위치하는 관람객의 위치 정보에 기초하여 실시간으로 이동시키는 것을 특징으로 하는,
초실감 콘텐츠를 제공하기 위해 특정 위치의 관람객 시점에 최적화된 렌더링을 수행하는 장치.According to claim 1,
The viewing point generation unit,
Creating a viewing viewpoint at virtual space coordinates corresponding to the position of the visitor located in the exhibition space;
Characterized in that the viewing point created on the virtual space is moved in real time based on the location information of the visitor located in the exhibition space,
A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content. 제2항에 있어서,
상기 관람 시점 생성부는,
상기 전시 공간에 복수의 관람객이 위치하는 경우, 군집된 관람객에 대해서 산출된 평균 위치 정보에 기초하는 관람 시점을 생성하는 것을 특징으로 하는,
초실감 콘텐츠를 제공하기 위해 특정 위치의 관람객 시점에 최적화된 렌더링을 수행하는 장치.According to claim 2,
The viewing point generation unit,
Characterized in that when a plurality of visitors are located in the exhibition space, a viewing point based on the average location information calculated for the crowded visitors is generated.
A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content. 제1항에 있어서,
상기 가상 투사면 및 관람 시점은,
상기 전시 공간과 대응되도록 좌표계가 구성된 별도의 가상 공간에 생성되는 것을 특징으로 하는,
초실감 콘텐츠를 제공하기 위해 특정 위치의 관람객 시점에 최적화된 렌더링을 수행하는 장치.According to claim 1,
The virtual projection surface and viewing point,
Characterized in that the coordinate system is created in a separate virtual space configured to correspond to the exhibition space,
A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content. 제1항에 있어서,
상기 렌더링부는,
비축상(off-axis) 투영법을 이용해 전시 객체에 대한 위치, 형태 및 색상 중 적어도 하나를 변화시키는 리모델링을 수행하는 것을 특징으로 하는,
초실감 콘텐츠를 제공하기 위해 특정 위치의 관람객 시점에 최적화된 렌더링을 수행하는 장치.According to claim 1,
The rendering unit,
Characterized in that performing remodeling that changes at least one of the position, shape and color of the exhibition object using an off-axis projection method,
A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content. 삭제delete
KR1020210192822A 2021-12-30 2021-12-30 A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content KR102505666B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210192822A KR102505666B1 (en) 2021-12-30 2021-12-30 A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210192822A KR102505666B1 (en) 2021-12-30 2021-12-30 A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content

Publications (1)

Publication Number Publication Date
KR102505666B1 true KR102505666B1 (en) 2023-03-03

Family

ID=85510510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210192822A KR102505666B1 (en) 2021-12-30 2021-12-30 A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content

Country Status (1)

Country Link
KR (1) KR102505666B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116449956A (en) * 2023-04-21 2023-07-18 广州市大迈文化传播有限公司 Virtual simulation display system and platform based on multiple information fusion technology
KR102620333B1 (en) * 2023-06-20 2024-01-03 주식회사 닷밀 System for Controlling Media Art Content by using Viewing data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210001489A (en) * 2019-06-28 2021-01-06 한국전자기술연구원 AR Showcase with Transparent OLED Display
KR102263133B1 (en) * 2021-01-15 2021-06-09 (주)제주넷 Device for providing 3d virtual exhibition space production service

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210001489A (en) * 2019-06-28 2021-01-06 한국전자기술연구원 AR Showcase with Transparent OLED Display
KR102263133B1 (en) * 2021-01-15 2021-06-09 (주)제주넷 Device for providing 3d virtual exhibition space production service

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116449956A (en) * 2023-04-21 2023-07-18 广州市大迈文化传播有限公司 Virtual simulation display system and platform based on multiple information fusion technology
KR102620333B1 (en) * 2023-06-20 2024-01-03 주식회사 닷밀 System for Controlling Media Art Content by using Viewing data

Similar Documents

Publication Publication Date Title
CN112205005B (en) Adapting acoustic rendering to image-based objects
KR102505666B1 (en) A device that performs rendering optimized for the viewer's point of view in a specific location to provide ultra-realistic content
US10692288B1 (en) Compositing images for augmented reality
US9613463B2 (en) Augmented reality extrapolation techniques
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US20220264068A1 (en) Telepresence system and method
US20070291035A1 (en) Horizontal Perspective Representation
CN107277494A (en) three-dimensional display system and method
CN106030335A (en) Determination of mobile display position and orientation using micropower impulse radar
US20100091036A1 (en) Method and System for Integrating Virtual Entities Within Live Video
JP2000503177A (en) Method and apparatus for converting a 2D image into a 3D image
CN109640070A (en) A kind of stereo display method, device, equipment and storage medium
KR101881295B1 (en) Video system based on layer mixer using augmented reality
Li et al. Enhancing 3d applications using stereoscopic 3d and motion parallax
CN113012299A (en) Display method and device, equipment and storage medium
CN107846584B (en) The adaptive desktop synchronized projection method of virtual reality based on scene management development library
CN109104632A (en) A kind of realization method and system of television terminal AR scene
US11587284B2 (en) Virtual-world simulator
KR102492989B1 (en) A digital theme park simulation device that provides a digital twin-based metaverse
KR102316714B1 (en) Method for providing augmented reality based on multi-user and apparatus using the same
CN109996060B (en) Virtual reality cinema system and information processing method
KR20170073937A (en) Method and apparatus for transmitting image data, and method and apparatus for generating 3dimension image
CN108492381A (en) A kind of method and system that color in kind is converted into 3D model pinup pictures
KR102492985B1 (en) A digital theme park implementation system that provides a digital twin-based metaverse
CN116075860A (en) Information processing apparatus, information processing method, video distribution method, and information processing system