KR20170013704A - Method and system for generation user's vies specific VR space in a Projection Environment - Google Patents

Method and system for generation user's vies specific VR space in a Projection Environment Download PDF

Info

Publication number
KR20170013704A
KR20170013704A KR1020150106750A KR20150106750A KR20170013704A KR 20170013704 A KR20170013704 A KR 20170013704A KR 1020150106750 A KR1020150106750 A KR 1020150106750A KR 20150106750 A KR20150106750 A KR 20150106750A KR 20170013704 A KR20170013704 A KR 20170013704A
Authority
KR
South Korea
Prior art keywords
screen
user
projector
pixel
virtual space
Prior art date
Application number
KR1020150106750A
Other languages
Korean (ko)
Other versions
KR101713875B1 (en
Inventor
위대현
김영휘
차승훈
이정진
권재환
강수련
Original Assignee
주식회사 카이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카이 filed Critical 주식회사 카이
Priority to KR1020150106750A priority Critical patent/KR101713875B1/en
Publication of KR20170013704A publication Critical patent/KR20170013704A/en
Application granted granted Critical
Publication of KR101713875B1 publication Critical patent/KR101713875B1/en

Links

Images

Classifications

    • H04N13/0459—
    • H04N13/0203—
    • H04N13/0468—

Abstract

The present invention relates to a method and a system for generating a virtual space in consideration of users view in a projection environment. The method for generating a virtual space in consideration of users view in a projection environment includes the steps of: after obtaining a relative position between a projector and a screen and three-dimensional shape information of the screen using a depth camera, calibrating the projector to obtain screen curved surface information that defines position information of an image projection area of the screen in units of pixels of a projector input image; tracking a user view point through the depth camera in real time; generating a cube map using three-dimensional scene data corresponding to contents requested to be reproduced by a user; acquiring a view point vector for each pixel by comparing and analyzing the screen curved surface information and the user view point by pixel; and generating a virtual space image corresponding to the user view point by acquiring and collecting a texture for each pixel from the texture of the cube map using the view point vector for each pixel.

Description

프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템{Method and system for generation user's vies specific VR space in a Projection Environment}TECHNICAL FIELD The present invention relates to a method and system for implementing a virtual space in consideration of a user's viewpoint in a projector-

본 발명은 프로젝터를 통해 스크린에 영상을 투사하는 환경에서도 사용자 시점을 고려한 가상공간을 생성 및 제공할 수 있도록 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템에 관한 것이다. The present invention relates to a method and system for implementing a virtual space in consideration of a user's viewpoint in a projector-projected environment, which can create and provide a virtual space in consideration of a user's viewpoint even in an environment of projecting an image on a screen through a projector.

최근에 들어 HMD(Head Mounted Display, Head Mount Display) 등과 같은 가상현실 기기가 보급됨에 따라 사람들이 영상 콘텐츠를 즐기는 양상이 변화하고 있다. 이러한 가상현실 기기는 사용자 시점에 따라 시점 변환 가능한 컨텐츠를 제공하는 것을 주요 기능으로 하며, 이에 따라 사용자는 마치 본인이 가상공간상에 있는 듯한 느낌을 받을 수 있도록 하는 한다. 이에 가상현실 기기를 이용하여 보다 몰입감있는 파노라마 영상 재생을 지원하거나 비디오 게임 서비스를 제공할 수 있는 어플리케이션 또한 많이 등장하고 있다. Recently, as virtual reality devices such as HMD (Head Mounted Display) have become popular, the way that people enjoy video contents is changing. Such a virtual reality device has a main function of providing content that can be converted into a point of view according to a user's point of view. Accordingly, the user can feel as though he or she is in a virtual space. Therefore, there are many applications that can provide more immersive panoramic image playback or provide video game service by using a virtual reality device.

다만, 이러한 종래의 가상현실기기는 고글과 같은 형태의 웨어러블 장치로 한정되어 구현된다는 제약 상황으로 인해, 그 적용 분야 또한 한정된다는 단점을 가진다. However, such a conventional virtual reality device has a disadvantage that its application field is also limited due to the restriction that the virtual reality device is limited to a wearable device in the form of goggles.

한편, 영상 콘텐츠를 향유하기 위한 가장 대중적이고 오래된 방법은 프로젝터를 통해 큰 화면에 투사하는 것이다. 이전의 프로젝터를 이용한 방법은 한 개의 스크린을 대상으로 했지만, 최근에는 여러 대의 프로젝터를 이용하여 여러 면에 영상을 투사하는 기법이 도입되기 시작되었다. 이러한 연구들을 통해 프로젝터를 이용한 방식이 단순히 영상을 재생하는데 그치는 것이 아니라 사용자의 몰입감을 끌어올릴 수 있음이 알려졌다. On the other hand, the most popular and oldest way to enjoy visual content is to project a large screen through a projector. In the past, the method of using the projector was one screen, but recently, a technique of projecting images on various sides using several projectors has been introduced. Through these studies, it is known that the projector-based method can not only stop the reproduction of the image but also enhance the immersion feeling of the user.

그럼에도 불구하고, 프로젝터 기반의 영상 재생 시스템은 사용자 시점을 고려하여 영상 제공 시점을 변경할 수가 없어, 가상현실기기에서와 같은 몰입감을 사용자에게 제공하지는 못하는 한계를 가지게 된다. Nevertheless, the projector-based video reproduction system can not change the video presentation time in consideration of the user's viewpoint, and has a limitation that it can not provide the user with the same immersion feeling as in the virtual reality apparatus.

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 프로젝터를 통해 스크린에 영상을 투사하는 환경에서도 사용자 시점을 고려한 가상공간을 생성 및 제공할 수 있도록 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템을 제공하고자 한다. In order to solve the above problems, the present invention provides a virtual space considering a user's viewpoint in a projector-projecting environment, which can create and provide a virtual space considering a user's viewpoint even in an environment of projecting an image on a screen through a projector Method and system.

또한, 스크린이 곡면 스크린으로 구현되는 경우에도 사용자 시점을 고려한 가상공간을 생성 및 제공할 수 있도록 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템을 제공하고자 한다. Another object of the present invention is to provide a method and system for realizing a virtual space in consideration of a user's viewpoint in a projector projection environment, which can generate and provide a virtual space considering a user's view even when the screen is implemented as a curved screen.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따른 스크린을 마주보도록 설치된 적어도 하나의 프로젝터와 깊이 카메라와 연동되는 프로세서의 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법은, 상기 프로세서가 깊이 카메라를 이용하여 프로젝터와 스크린간 상대적 위치와 스크린의 3차원 형상정보를 획득한 후 상기 프로젝터를 캘리브레이션하여, 상기 스크린의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득하는 단계; 상기 깊이 카메라를 통해 사용자 시점을 실시간 추적하는 단계; 사용자에 의해 재생 요청된 콘텐츠에 대응되는 3차원 장면 데이터를 이용하여 큐브맵을 생성하는 단계; 상기 스크린 곡면정보와 상기 사용자 시점을 픽셀 단위로 비교 분석하여 픽셀별 시점 벡터를 획득하는 단계; 및 상기 픽셀별 시점 벡터를 이용하여 상기 큐브맵의 텍스쳐로부터 픽셀별 텍스쳐를 획득 및 수집함으로써, 사용자 시점에 대응되는 가상공간 영상을 생성하는 단계;를 포함할 수 있다. As a means for solving the above problems, a method of implementing a virtual space in consideration of a user's viewpoint in a projector projection environment of a processor interlocked with at least one projector and a depth camera installed so as to face a screen according to an embodiment of the present invention, Which is used to calibrate the projector after acquiring the relative position between the projector and the screen and the three-dimensional shape information of the screen using a depth camera, and defining position information on the image projection area of the screen in pixel units of the projector input image Obtaining surface information; Real time tracking of the user's point of view through the depth camera; Generating a cubemap using three-dimensional scene data corresponding to a content requested to be reproduced by a user; Acquiring a viewpoint vector for each pixel by comparing and analyzing the screen surface information and the user viewpoint in pixel units; And generating and acquiring a pixel-by-pixel texture from the texture of the cube map using the pixel-by-pixel viewpoint vector to generate a virtual space image corresponding to the user's viewpoint.

상기 스크린 곡면정보를 획득하는 단계는 상기 프로젝터를 통해 상기 스크린에 테스트 영상을 투사시키고, 상기 깊이 카메라를 통해 상기 투사된 테스트 영상을 획득한 후, 상기 테스트 영상과 상기 투사된 테스트 영상을 비교 분석하여 상기 깊이 카메라에 대한 상기 프로젝터의 상대적 위치를 파악하는 단계; 상기 깊이 카메라를 통해 상기 스크린을 스캐닝하여 상기 깊이 카메라에 대한 상기 스크린의 상대적 위치와 상기 스크린의 3차원 형상정보를 획득하는 단계; 상기 깊이 카메라에 대한 상기 프로젝터의 상대적 위치와 상기 깊이 카메라에 대한 상기 스크린의 상대적 위치를 이용하여 상기 프로젝터와 스크린간 상대적 위치를 계산하는 단계; 및 상기 프로젝터와 스크린간 상대적 위치와 상기 스크린의 3차원 형상정보를 기반으로 상기 프로젝터를 캘리브레이션하여, 스크린 곡면정보를 획득하는 단계를 포함하는 것을 특징으로 한다. Wherein the acquiring of the screen curved surface information includes projecting a test image on the screen through the projector and acquiring the projected test image through the depth camera and then comparing and analyzing the test image and the projected test image Determining a relative position of the projector with respect to the depth camera; Scanning the screen through the depth camera to obtain a relative position of the screen to the depth camera and three-dimensional shape information of the screen; Calculating a relative position between the projector and the screen using the relative position of the projector with respect to the depth camera and the relative position of the screen with respect to the depth camera; And calibrating the projector on the basis of the relative position between the projector and the screen and the three-dimensional shape information of the screen to obtain screen surface information.

상기 픽셀별 시점 벡터를 획득하는 단계는 오픈 지엘(Open GL)의 버텍스 쉐이더(vertex shader)를 이용하여 상기 스크린 곡면정보와 상기 사용자 머리 위치에 기반한 픽셀별 시점 벡터를 획득하는 것을 특징으로 한다. The acquiring of the pixel-by-pixel viewpoint vector may be performed by using a vertex shader of OpenGL (Open GL) to acquire the screen surface information and the viewpoint vector for each pixel based on the user's head position.

상기 가상공간 영상을 생성하는 단계는 오픈 지엘(Open GL)의 프로그먼트 쉐이더(fragment shader)를 이용하여 상기 스크린 곡면정보와 상기 사용자 시점에 기반한 픽셀별 시점 벡터를 획득하는 것을 특징으로 한다. The step of generating the virtual space image is characterized by acquiring the screen surface information and the viewpoint vector for each pixel based on the user view point using a fragment shader of OpenGL (Open GL).

상기 스크린은 기 설정된 곡률로 구부러진 형태를 가지는 스크린인 것을 특징으로 한다. And the screen is a screen having a curved shape with predetermined curvature.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따른 스크린에 영상을 투사하는 적어도 하나의 프로젝터와, 상기 스크린에 투사된 영상을 촬영하거나, 상기 스크린의 3차원 위치 및 형상정보를 획득하거나, 상기 스크린의 전방에 위치하는 사용자의 신체부위별 위치를 실시간 추적하는 깊이 카메라와 연동되는 프로세서는, 상기 깊이 카메라를 이용하여 상기 프로젝터와 상기 스크린간 상대적 위치와 상기 스크린의 3차원 형상정보를 획득한 후 상기 프로젝터를 캘리브레이션하여, 상기 스크린의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득하는 스크린 곡면 정보 획득부; 상기 깊이 카메라를 통해 실시간 획득된 사용자의 신체부위별 위치를 기반으로 사용자 시점을 실시간 추적하는 사용자 시점 추적부; 사용자에 의해 재생 요청된 콘텐츠에 대응되는 3차원 장면 데이터를 이용하여 큐브맵을 생성한 후, 상기 스크린 곡면정보와 상기 사용자 시점을 픽셀 단위로 비교 분석하여 픽셀별 시점 벡터를 획득하고, 상기 픽셀별 시점 벡터를 이용하여 상기 큐브맵의 텍스쳐로부터 픽셀별 텍스쳐를 획득 및 수집함으로써, 사용자 시점에 대응되는 가상공간 영상을 생성하는 가상 공간 생성부; 및 상기 가상공간 영상을 상기 프로젝터를 통해 상기 스크린상에 투사시키는 영상 제공부를 포함할 수 있다. According to another aspect of the present invention, there is provided an image processing apparatus including at least one projector for projecting an image onto a screen, a projector for capturing an image projected on the screen, acquiring three-dimensional position and shape information of the screen Or a depth camera for tracking a location of a user's body part located in front of the screen in real time, the depth camera is used to calculate a relative position between the projector and the screen and three-dimensional shape information of the screen A screen surface information acquiring unit for acquiring screen surface information for calibrating the projector after acquiring and defining position information on the image projection area of the screen in units of pixels of the projector input image; A user's viewpoint tracking unit for real-time tracking of a user's point of view based on a position of a user's body part obtained in real time through the depth camera; Dimensional scene data corresponding to the content requested to be reproduced by the user and then compares the screen surface information and the user view point by pixel to obtain a viewpoint vector for each pixel, A virtual space generation unit for generating a virtual space image corresponding to a user time point by acquiring and collecting a pixel-by-pixel texture from the texture of the cube map using a viewpoint vector; And an image providing unit for projecting the virtual space image on the screen through the projector.

본 발명에 따르면, 깊이 카메라를 활용하여 프로젝터와 스크린간 위치 관계 등과 같은 프로젝터 투사 환경 조건을 파악하고, 이를 통해 프로젝터를 캘리브레이션하도록 함으로써, 스크린의 위치 및 형상과 상관없이 항상 안정적인 영상 투사 동작이 수행될 수 있도록 한다. According to the present invention, a projecting environment condition such as a positional relationship between a projector and a screen is grasped by using a depth camera, and a projector is calibrated through the depth projection camera, whereby a stable image projection operation is always performed irrespective of the position and shape of the screen .

뿐 만 아니라, 깊이 카메라를 통해 사용자 시점을 파악하고, 이를 기반으로 가상 공간 제공 시점을 수시로 변경할 수 있도록 함으로써, 사용자의 몰입감이 극대화될 수 있도록 한다. In addition, it is possible to grasp the user's point of view through the depth camera and to change the point of providing the virtual space from time to time based on the point of view, thereby maximizing the immersion feeling of the user.

도1은 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 시스템을 도시한 도면이다.
도2은 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법을 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법의 스크린 곡면 정보 획득 단계를 보다 상세히 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법의 가상공간 영상 생성 및 투사 단계를 보다 상세히 설명하기 위한 도면이다.
도5는 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법의 픽셀별 시점 벡터를 설명하기 위한 도면이다.
도6는 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법의 픽셀별 텍스쳐 계산 과정을 설명하기 위한 도면이다.
도7은 본 발명의 사용자 시점 기반의 가상공간 구현 방법의 동작 일례를 도시한 도면이다. FIG. 1 is a diagram illustrating a virtual space implementation system based on a user view according to an embodiment of the present invention.
FIG. 2 is a view for explaining a method for implementing a virtual space based on a user view according to an embodiment of the present invention.
3 is a diagram for explaining the screen surface information acquisition step of the user space-based virtual space implementation method according to an embodiment of the present invention in more detail.
4 is a diagram for explaining in greater detail a virtual space image generation and projection step of a user space-based virtual space implementation method according to an embodiment of the present invention.
FIG. 5 is a view for explaining a pixel-by-pixel viewpoint vector in a method of implementing a user viewpoint-based virtual space according to an embodiment of the present invention.
FIG. 6 is a diagram for explaining a pixel-by-pixel texture calculation process in the method of implementing a user viewpoint-based virtual space according to an exemplary embodiment of the present invention.
7 is a diagram illustrating an exemplary operation of a method of implementing a user-view-based virtual space according to the present invention.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.The following terms are defined in consideration of the functions of the present invention, and these may be changed according to the intention of the user, the operator, or the like.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. These embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art to which the present invention pertains. Only. Therefore, the definition should be based on the contents throughout this specification.

도1은 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 시스템을 도시한 도면이다. FIG. 1 is a diagram illustrating a virtual space implementation system based on a user view according to an embodiment of the present invention.

도1을 참고하면, 본 발명의 시스템(100)은 스크린(S)을 마주보도록 설치된 적어도 하나의 프로젝터(110)와 깊이 카메라(120), 그리고 프로젝터(110) 및 깊이 카메라(120)과 유선 또는 무선 방식으로 데이터 통신하는 프로세서(130) 등을 포함할 수 있다. 1, the system 100 of the present invention includes at least one projector 110 and a depth camera 120 installed to face the screen S, a projector 110 and a depth camera 120, A processor 130 for data communication in a wireless manner, and the like.

본 발명에 적용되는 스크린(S)는 평면 형태의 일반 스크린 뿐 만 아니라 기 설정된 곡률로 구부러진 형태를 가지는 곡면 스크린일 수도 있을 것이다. 즉, 본 발명에서는 스크린(S)이 곡면 스크린으로 구현되는 경우, 스크린의 3차원 형상을 함께 고려하여, 곡면 스크린으로 투사되는 영상의 왜곡이 최소화되도록 한다. 또한, 사용자 시점을 실시간 추적한 후, 이에 따라 스크린에 투사되는 영상의 시점을 실시간 변경해줌으로써, 사용자가 실제 가상공간에 존재하는 듯한 느낌을 받을 수 있는 시스템을 구현할 수 있도록 한다. The screen S applied to the present invention may be a curved screen having a curved shape with predetermined curvature as well as a general screen having a flat shape. That is, in the present invention, when the screen S is implemented as a curved screen, the three-dimensional shape of the screen is considered together to minimize the distortion of the image projected onto the curved screen. In addition, by real-time tracking of a user's point of view, and thus real-time change of the point of view of the image projected on the screen, a system can be realized that allows the user to feel that the user exists in an actual virtual space.

프로젝터(110)는 스크린(S)과 소정 거리 이격되도록 스크린(S)의 정면 방향에 배치되어, 프로세서(130)로부터 제공되는 영상을 스크린(S)에 실시간 투사하도록 한다. The projector 110 is disposed in the front direction of the screen S so as to be spaced apart from the screen S by a predetermined distance so that the image provided from the processor 130 is projected on the screen S in real time.

깊이 카메라(120)는 키넥트(kinect) 등으로 구현될 수 있으며, 이는 스크린(S)의 3차원 위치 및 형상정보를 획득하거나, 스크린(S)의 전방에 위치하는 사용자의 3차원 위치를 실시간 추적하도록 한다. The depth camera 120 may be implemented with a kinect or the like which acquires the three-dimensional position and shape information of the screen S or acquires the three-dimensional position of the user located in front of the screen S in real time Track it.

프로세서(130)는 스크린 곡면 정보 획득부(131), 사용자 시점 추적부(132), 가상 공간 생성부(133), 영상 제공부(134), 및 메모리(135) 등을 포함할 수 있다. The processor 130 may include a screen surface information obtaining unit 131, a user viewpoint tracking unit 132, a virtual space generating unit 133, an image providing unit 134, a memory 135, and the like.

스크린 곡면 정보 획득부(131)는 가상공간 구현 시스템이 최초로 구축되거나 스크린(S), 프로젝터(110), 및 깊이 카메라(120) 중 적어도 하나가 위치 가변되거나 교체되면, 프로젝터 캘리브레이션 동작을 수행하도록 한다. 즉, 깊이 카메라(120)를 이용하여 프로젝터와 스크린간 상대적 위치와 스크린의 3차원 형상정보를 획득하고, 이들을 기반으로 프로젝터(110) 각각을 캘리브레이션하여 스크린(S)의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득하도록 한다. The screen surface information acquiring unit 131 causes the projector calibration operation to be performed when the virtual space realizing system is first constructed or when at least one of the screen S, the projector 110, and the depth camera 120 is displaced or replaced . That is, the relative position between the projector and the screen and the three-dimensional shape information of the screen are obtained using the depth camera 120, and each of the projectors 110 is calibrated based on the obtained position to obtain position information on the image projection area of the screen S To obtain the screen surface information defining the pixel unit of the projector input image.

그리고 사용자 시점 추적부(132)는 프로젝터 캘리브레이션이 완료된 상태에서 사용자에 의해 특정 콘텐츠가 선택 및 재생 요청되면, 깊이 카메라(120)을 통해 사용자 머리 위치(즉, 사용자 시점)을 실시간 추적하도록 한다. The user's viewpoint tracking unit 132 allows real time tracking of the user's head position (i.e., user's point of view) through the depth camera 120 when the user selects and reproduces a specific content in a state in which the projector calibration is completed.

가상 공간 생성부(133)는 스크린 곡면정보와 사용자 시점 정보를 이용하여, 사용자 시점에 대응되는 가상공간 영상을 실시간 생성한 후, 영상 제공부(134)를 통해 프로젝터(110)에 제공함으로써, 프로젝터(110)가 사용자가 가상공간내에 실제 위치하는 듯한 느낌을 제공받을 수 있도록 하는 영상을 스크린(S)에 투사하도록 한다. The virtual space generation unit 133 generates the virtual space image corresponding to the user's viewpoint in real time using the screen surface information and the user viewpoint information and provides the virtual space image to the projector 110 through the image providing unit 134, (110) to project an image on the screen (S) so that the user can feel that the user is actually located in the virtual space.

본 발명의 가상공간 영상은 프로세서(130)가 해당 콘텐츠의 3차원 장면 데이터를 이용하여 큐브맵을 생성한 후, 프로젝터 캘리브레이션 동작을 통해 획득된 스크린 곡면정보와 사용자 시점을 픽셀 단위로 비교 분석하여 픽셀별 시점 벡터를 획득하고, 이를 이용하여 큐브맵의 텍스쳐로부터 픽셀별 텍스쳐를 획득 및 수집함으로써, 생성될 수 있다. In the virtual space image of the present invention, the processor 130 generates the cubic map using the three-dimensional scene data of the corresponding content, and then compares and analyzes the screen surface information obtained through the projector calibration operation and the user viewpoint in pixel units, By obtaining a starpoint vector and using it to obtain and collect pixel-by-pixel textures from the texture of the cube map.

더하여, 메모리(135)는 콘텐츠, 테스트 영상 등 프로세서 구동에 필요한 정보를 저장 및 관리하도록 한다. In addition, the memory 135 stores and manages information necessary for driving the processor, such as contents and test images.

도2은 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법을 설명하기 위한 도면이다. FIG. 2 is a view for explaining a method for implementing a virtual space based on a user view according to an embodiment of the present invention.

도2을 참고하면, 본 발명의 가상공간 구현 방법은 크게 스크린 곡면정보 획득 단계(S10), 콘텐츠 재생 요청 여부 확인 단계(S20), 사용자 시점 추적 단계(S30), 스크린 곡면정보와 사용자 시점에 기반한 가상공간 영상 생성 및 투사 단계(S40), 및 콘텐츠 재생 종료 여부 확인 단계(S50)를 포함하여 구성된다. Referring to FIG. 2, the virtual space realizing method of the present invention includes a screen surface information acquisition step (S10), a content playback request confirmation step (S20), a user time point tracking step (S30), a screen surface information A virtual space image generation and projection step S40, and a content reproduction end confirmation step S50.

이하, 도3 및 도4를 참고하여, 본 발명의 방법을 보다 상세히 설명하면 다음과 같다. Hereinafter, with reference to FIG. 3 and FIG. 4, the method of the present invention will be described in more detail as follows.

프로젝터 캘리브레이션 동작이 요청되면, 프로세서(130)는 기 설정된 화면 크기와 패턴을 가지는 테스트 영상을 해당 프로젝터(110)를 통해 스크린(S)상에 투사시킨다(S11). 본 발명의 테스트 영상의 일예로는 흰색의 사각형과 검은색의 사각형이 교차 배치된 체스판 영상이 있을 수 있다. When the projector calibration operation is requested, the processor 130 projects a test image having a preset screen size and pattern on the screen S through the corresponding projector 110 (S11). As an example of the test image of the present invention, there may be a chessboard image in which a white square and a black square are cross-arranged.

그리고 프로세서(130)는 깊이 카메라(120)를 통해 스크린(S)에 투사된 테스트 영상을 촬영하도록 한다(S12). 이러한 경우, 스크린(S)에 투사된 테스트 영상에는 프로젝터(130)와 깊이 카메라(120)의 상대적 위치값에 상응하는 왜곡이 발생하게 된다. Then, the processor 130 causes the depth camera 120 to shoot a test image projected on the screen S (S12). In this case, a distortion corresponding to the relative position value between the projector 130 and the depth camera 120 is generated in the test image projected on the screen S.

이에 프로세서(130)는 깊이 카메라(120)의 테스트 영상 촬영 결과와 테스트 영상 원본을 비교하여 영상 차이값을 획득하고, 영상 차이값을 기반으로 프로젝터(130)와 깊이 카메라(120)간 상대적 위치를 파악하도록 한다(S13). The processor 130 compares the test image capturing result of the depth camera 120 with the original test image to obtain the image difference value and determines the relative position between the projector 130 and the depth camera 120 based on the image difference value (S13).

그리고 프로세서(130)는 깊이 카메라(120)를 통해 스크린(S)을 스캐닝하여 깊이 카메라(120)에 대한 스크린(S)의 상대적 위치와, 스크린의 3차원 형상(예를 들어, 크기, 곡률 등)을 파악하도록 한다(S14). The processor 130 then scans the screen S through the depth camera 120 to determine the relative position of the screen S to the depth camera 120 and the relative position of the screen S to the depth camera 120 and the three dimensional shape of the screen, (S14).

그리고 프로세서(130)는 깊이 카메라(120)에 대한 프로젝터의 상대적 위치와 깊이 카메라(120)에 대한 스크린의 상대적 위치를 이용하여 프로젝터(110)에 대한 스크린의 상대적 위치를 유추하도록 한다. 즉, 깊이 카메라(120)를 매개로하여 프로젝터(110)와 스크린(S)간 상대적 위치를 유추하도록 한다. 그러고 나서 프로젝터(110)에 대한 스크린의 상대적 위치와 스크린(S)의 3차원 형상을 함께 고려하여, 스크린(S)의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득한 후, 프로젝터 캘리브레이션 동작을 종료하도록 한다(S15). 본 발명의 스크린 곡면 정보는 다수의 픽셀별 위치 정보로 구성되며, 이에 따라 프로젝터가 투사하는 각 픽셀의 곡면정보가 결정된다. The processor 130 then uses the relative position of the projector relative to the depth camera 120 and the relative position of the screen relative to the depth camera 120 to approximate the relative position of the screen to the projector 110. That is, the relative position between the projector 110 and the screen S is inferred through the depth camera 120. Then, considering the relative position of the screen with respect to the projector 110 and the three-dimensional shape of the screen S, the position information on the image projection area of the screen S is defined as a screen curve After acquiring the information, the projector calibration operation is ended (S15). The screen curved surface information of the present invention is constituted by a plurality of pieces of positional information per pixel, and thus the curved surface information of each pixel projected by the projector is determined.

다만, 상기의 단계 S11 내지 S15을 통해 하나의 프로젝터에 대한 캘리브레이션 동작에 관련된 것으로, 만약, 본 발명의 시스템에 구비된 프로젝터가 다수개이면, 상기의 단계 S11 내지 S15을 다수개의 프로젝터 각각에 대해 반복 수행함으로써, 다수개의 프로젝터 각각에 대한 스크린 곡면정보 모두를 파악해야 할 것이다. However, if the number of projectors included in the system of the present invention is plural, the steps S11 to S15 are repeated for each of the plurality of projectors through the steps S11 to S15, It is necessary to grasp all of the screen surface information for each of the plurality of projectors.

프로젝터 캘리브레이션 동작이 완료되면, 사용자에 의해 특정 콘텐츠가 선택 및 재생 요청되는 지를 수시로 확인하도록 한다(S20). When the projector calibration operation is completed, the user is made to check frequently whether a specific content is selected and reproduced (S20).

단계 S20을 통해 특정 콘텐츠가 선택 및 재생 요청되면, 프로세서(130)는 깊이 카메라(120)을 통해 스크린(S)의 정면에 위치하는 사용자의 신체 부위별 위치값을 실시간 획득하고, 신체 부위별 위치 중 사용자 머리 위치를 기준으로 사용자 시점을 실시간 추적하기 시작한다(S30). When a specific content is requested to be selected and reproduced through step S20, the processor 130 obtains the position value of the user's body part located in front of the screen S in real time through the depth camera 120, And starts to track the user's point of view in real time based on the user's head position (S30).

단계 S30을 통해 사용자 시점이 파악되면, 프로세서(130)는 사용자 시점과 스크린 곡면정보에 기반한 가상공간 영상 생성을 획득 및 제공하는 동작을 수행하기 시작한다(S40). If the user's viewpoint is recognized through step S30, the processor 130 starts performing the operation of acquiring and providing the virtual space image based on the user viewpoint and the screen surface information (S40).

이를 위해, 프로세서(130)는 먼저 오픈 지엘(Open GL)을 이용하여 재생 요청된 콘텐츠의 3차원 장면 데이터를 로드하여, 해당 콘텐츠에 대응되는 큐브맵을 자동 생성하도록 한다(S41). 이때, 오픈 지엘(Open GL)은 2D와 3D를 정의한 컴퓨터 산업 표준 응용 프로그램 인터페이스(API)이다. 이는 큐브맵의 각 성분에 해당하는 텍스쳐 버퍼를 제공하며, 6개의 카메라를 큐브의 각 면을 보도록 같은 위치에 배치하고, 차례대로 적용시켜가면서 프레임버퍼 렌더링을 텍스쳐 버퍼에 실행하면 큐브맵을 생성한다. 단, 투영행렬의 시야각을 90도로 설정해야 카메라 사이에 겹치거나 빈 영역이 생기지 않게 큐브맵을 생성할 수 있다.To do this, the processor 130 first loads the 3D scene data of the content requested to be played back using OpenGL, and automatically generates a cube map corresponding to the content (S41). At this time, OpenGL is a computer industry standard application programming interface (API) that defines 2D and 3D. It provides a texture buffer for each component of the cube map, places six cameras at the same position to view each side of the cube, and applies the frame buffer rendering to the texture buffer while sequentially applying it to generate a cube map . However, it is necessary to set the viewing angle of the projection matrix to 90 degrees, so that a cubemap can be generated so that there is no overlap or empty area between cameras.

그리고 스크린 곡면정보를 기반으로 스크린 각 점 위치정보를 파악한 후 오픈 지엘(Open GL)의 버텍스 쉐이더(vertex shader)에 제공하도록 한다(S42).Then, the screen position information of the screen is obtained based on the screen surface information, and the information is provided to a vertex shader of OpenGL (S42).

오픈 지엘(Open GL)의 버텍스 쉐이더(vertex shader)는 도5에서와 같이 사용자 머리 위치(P)와 스크린 각 점 위치(P1'~Pn')와 3차원 공간상에서 비교함으로써, 픽셀 각각에 대응되는 3차원의 시점 벡터들(v1~vn)을 획득한 후, 오픈 지엘(Open GL)의 프래그먼트 쉐이더(fragment shader)에 제공하도록 한다(S43). A vertex shader of OpenGL is compared with the user's head position P and the screen point positions P1 'to Pn' in a three-dimensional space as shown in FIG. 5, Dimensional viewpoint vectors v1 to vn are obtained and provided to a fragment shader of OpenGL (S43).

그리고 오픈 지엘(Open GL)의 프래그먼트 쉐이더(fragment shader)는 도6에서와 같이 픽셀별 시점 벡터(v1~vn) 각각을 이용하여 큐브맵 텍스쳐로부터 스크린내 픽셀 위치들 각각에 대응되는 픽셀별 텍스쳐를 계산하여 화면 출력하도록 한다. 즉, 사용자 시점에 상응하는 시점을 가지는 가상공간 영상을 생성한 후 이를 프로젝터(110)를 통해 스크린상에 투사하도록 한다(S44).The fragment shader of OpenGL uses a pixel-by-pixel texture corresponding to each pixel position in the screen from the cubemap texture using each pixel-by-pixel view vector v1 to vn as shown in FIG. 6 And outputs it to the screen. That is, a virtual space image having a viewpoint corresponding to the user's viewpoint is generated and projected onto the screen through the projector 110 (S44).

이상에서 설명된 바와 같이, 본 발명은 가상공간 구현 시스템이 최초로 구축되거나 스크린(S), 프로젝터(110), 및 깊이 카메라(120) 중 적어도 하나가 위치 가변되거나 교체될 때에만 프로젝터 캘리브레이션 동작을 수행하고, 이에 따라 프로젝터 각각에 대응된 스크린 곡면 정보를 획득하도록 한다. As described above, the present invention performs the projector calibration operation only when the virtual space realization system is initially installed or when at least one of the screen S, the projector 110, and the depth camera 120 is displaced or replaced Thereby obtaining screen surface information corresponding to each of the projectors.

이러한 스크린 곡면정보는 처음에 계산되고 나면 시스템 구동중에 변하지 않으므로, 콘텐츠 재생 중에는 사용자의 머리 위치, 즉 사용자 시점만을 추가 고려하면 되도록 한다. Since such screen surface information is not changed during system operation once it is calculated at first, only the user's head position, i.e., the user's viewpoint, is considered during the content playback.

즉, 본 발명은 가상공간 생성을 통해 실시간 획득되어야 하는 정보의 개수를 최소화함으로써, 보다 신속한 영상 정보 제공 동작이 수행될 수 있도록 한다. That is, the present invention minimizes the number of pieces of information to be acquired in real time through creation of virtual space, thereby enabling a faster image information providing operation to be performed.

도7은 본 발명의 사용자 시점 기반의 가상공간 구현 방법의 동작 일례를 도시한 도면이다. 7 is a diagram illustrating an exemplary operation of a method of implementing a user-view-based virtual space according to the present invention.

도7에 도시된 바와 같이, 본 발명에 따르면 사용자의 시점이 변함에 따라서 스크린 상에 투사되는 영상의 시점 또한 실시간으로 변화되는 것을 확인할 수 있다. As shown in FIG. 7, according to the present invention, it can be confirmed that the viewpoint of the image projected on the screen changes in real time as the user's viewpoint changes.

시점을 고려하지 않은 일반적인 투사 환경에서는 3D장면 자체에 변화를 가하지 않는 이상 처음에 정해진 부분 이외의 부분을 볼 수 없었는데, 본 발명에서는 사용자의 시점이 움직이는 데로 사용자에 제공되는 영상 또한 변화되도록 한다. In a general projection environment that does not consider the viewpoint, portions other than the predetermined portion can not be seen unless the 3D scene itself is changed. In the present invention, the image provided to the user is changed as the viewpoint of the user moves.

이에 사용자가 프로젝션 환경하에서도 가상현실 기기와 같은 현장감을 체험할 수 있게 된다. 즉, 사용자가 프로젝션 환경하에서도 실제로 가상의 공간에 있는 것 같은 느낌을 받을 수 있는 효과를 제공할 수 있음을 확인할 수 있다.Therefore, the user can experience the same realism as a virtual reality device even in a projection environment. In other words, it can be seen that the user can feel the effect of being in a virtual space even in a projection environment.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

또한, 본 발명에 따른 가상공간 구현 방법 및 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치, 하드 디스크, 플래시 드라이브 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.In addition, the virtual space implementing method and system according to the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include a ROM, a RAM, a CD ROM, a magnetic tape, a floppy disk, an optical data storage device, a hard disk, a flash drive, and the like, and may be implemented in the form of a carrier wave . The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

Claims (7)

스크린을 마주보도록 설치된 적어도 하나의 프로젝터와 깊이 카메라와 연동되는 프로세서의 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법에 있어서,
상기 프로세서가
깊이 카메라를 이용하여 프로젝터와 스크린간 상대적 위치와 스크린의 3차원 형상정보를 획득한 후 상기 프로젝터를 캘리브레이션하여, 상기 스크린의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득하는 단계;
상기 깊이 카메라를 통해 사용자 시점을 실시간 추적하는 단계;
사용자에 의해 재생 요청된 콘텐츠에 대응되는 3차원 장면 데이터를 이용하여 큐브맵을 생성하는 단계;
상기 스크린 곡면정보와 상기 사용자 시점을 픽셀 단위로 비교 분석하여 픽셀별 시점 벡터를 획득하는 단계; 및
상기 픽셀별 시점 벡터를 이용하여 상기 큐브맵의 텍스쳐로부터 픽셀별 텍스쳐를 획득 및 수집함으로써, 사용자 시점에 대응되는 가상공간 영상을 생성하는 단계;를 포함하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법. A method for realizing a virtual space in consideration of a user's viewpoint in a projector projection environment of a processor interlocked with at least one projector and a depth camera installed so as to face the screen,
The processor
A depth camera for obtaining a relative position between the projector and the screen and three-dimensional shape information of the screen, and then calibrating the projector to calculate position information on the image projection area of the screen in units of pixels of the projector input image, Acquiring information;
Real time tracking of the user's point of view through the depth camera;
Generating a cubemap using three-dimensional scene data corresponding to a content requested to be reproduced by a user;
Acquiring a viewpoint vector for each pixel by comparing and analyzing the screen surface information and the user viewpoint in pixel units; And
Generating a virtual space image corresponding to a user's viewpoint by acquiring and collecting a pixel-by-pixel texture from the texture of the cube map using the pixel-by-pixel viewpoint vector; and implementing a virtual space in consideration of a user's viewpoint in a projector projection environment Way. 제1항에 있어서, 상기 스크린 곡면정보를 획득하는 단계는
상기 프로젝터를 통해 상기 스크린에 테스트 영상을 투사시키고, 상기 깊이 카메라를 통해 상기 투사된 테스트 영상을 획득한 후, 상기 테스트 영상과 상기 투사된 테스트 영상을 비교 분석하여 상기 깊이 카메라에 대한 상기 프로젝터의 상대적 위치를 파악하는 단계;
상기 깊이 카메라를 통해 상기 스크린을 스캐닝하여 상기 깊이 카메라에 대한 상기 스크린의 상대적 위치와 상기 스크린의 3차원 형상정보를 획득하는 단계;
상기 깊이 카메라에 대한 상기 프로젝터의 상대적 위치와 상기 깊이 카메라에 대한 상기 스크린의 상대적 위치를 이용하여 상기 프로젝터와 스크린간 상대적 위치를 계산하는 단계; 및
상기 프로젝터와 스크린간 상대적 위치와 상기 스크린의 3차원 형상정보를 기반으로 상기 프로젝터를 캘리브레이션하여, 스크린 곡면정보를 획득하는 단계를 포함하는 것을 특징으로 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법.The method of claim 1, wherein obtaining the screen surface information comprises:
A test image is projected onto the screen through the projector, and the projected test image is obtained through the depth camera. Then, the test image and the projected test image are compared and analyzed, Determining a position;
Scanning the screen through the depth camera to obtain a relative position of the screen to the depth camera and three-dimensional shape information of the screen;
Calculating a relative position between the projector and the screen using the relative position of the projector with respect to the depth camera and the relative position of the screen with respect to the depth camera; And
And a step of calibrating the projector based on the relative position between the projector and the screen and the three-dimensional shape information of the screen to obtain screen curved surface information. . 제1항에 있어서, 상기 픽셀별 시점 벡터를 획득하는 단계는
오픈 지엘(Open GL)의 버텍스 쉐이더(vertex shader)를 이용하여 상기 스크린 곡면정보와 상기 사용자 머리 위치에 기반한 픽셀별 시점 벡터를 획득하는 것을 특징으로 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법.2. The method of claim 1, wherein obtaining the pixel-
A method for implementing a virtual space in consideration of a user's viewpoint in a projector projection environment, characterized by obtaining a screen-surface information and a viewpoint vector for each pixel based on the user's head position using a vertex shader of OpenGL (Open GL) . 제1항에 있어서, 상기 가상공간 영상을 생성하는 단계는
오픈 지엘(Open GL)의 프로그먼트 쉐이더(fragment shader)를 이용하여 상기 스크린 곡면정보와 상기 사용자 시점에 기반한 픽셀별 시점 벡터를 획득하는 것을 특징으로 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법.2. The method of claim 1, wherein generating the virtual space image comprises:
A method for implementing a virtual space in consideration of a user's viewpoint in a projector projection environment, characterized by acquiring the screen surface information and a viewpoint vector for each pixel based on the user view using a fragment shader of OpenGL (Open GL) . 제1항에 있어서, 상기 스크린은
기 설정된 곡률로 구부러진 형태를 가지는 스크린인 것을 특징으로 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법.The apparatus of claim 1, wherein the screen
Wherein the screen is a screen having a predetermined curvature curvature. 제1항 내지 제5항 중 어느 한 항에 기재된 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법을 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing a method for implementing a virtual space in consideration of a user's viewpoint in a projector projection environment according to any one of claims 1 to 5. 스크린에 영상을 투사하는 적어도 하나의 프로젝터와, 상기 스크린에 투사된 영상을 촬영하거나, 상기 스크린의 3차원 위치 및 형상정보를 획득하거나, 상기 스크린의 전방에 위치하는 사용자의 신체부위별 위치를 실시간 추적하는 깊이 카메라와 연동되는 프로세서에 있어서,
상기 깊이 카메라를 이용하여 상기 프로젝터와 상기 스크린간 상대적 위치와 상기 스크린의 3차원 형상정보를 획득한 후 상기 프로젝터를 캘리브레이션하여, 상기 스크린의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득하는 스크린 곡면 정보 획득부;
상기 깊이 카메라를 통해 실시간 획득된 사용자의 신체부위별 위치를 기반으로 사용자 시점을 실시간 추적하는 사용자 시점 추적부;
사용자에 의해 재생 요청된 콘텐츠에 대응되는 3차원 장면 데이터를 이용하여 큐브맵을 생성한 후, 상기 스크린 곡면정보와 상기 사용자 시점을 픽셀 단위로 비교 분석하여 픽셀별 시점 벡터를 획득하고, 상기 픽셀별 시점 벡터를 이용하여 상기 큐브맵의 텍스쳐로부터 픽셀별 텍스쳐를 획득 및 수집함으로써, 사용자 시점에 대응되는 가상공간 영상을 생성하는 가상 공간 생성부; 및
상기 가상공간 영상을 상기 프로젝터를 통해 상기 스크린상에 투사시키는 영상 제공부를 포함하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 시스템. And a display unit for displaying the position of the user's body part located in front of the screen in real time, A processor coupled to a tracking depth camera,
The depth camera is used to acquire the relative position between the projector and the screen and the three-dimensional shape information of the screen, and then the projector is calibrated so that the position information on the image projection area of the screen is obtained A screen surface information acquiring unit for acquiring screen surface information defining the screen surface information;
A user's viewpoint tracking unit for real-time tracking of a user's point of view based on a position of a user's body part obtained in real time through the depth camera;
Dimensional scene data corresponding to the content requested to be reproduced by the user and then compares the screen surface information and the user view point by pixel to obtain a viewpoint vector for each pixel, A virtual space generation unit for generating a virtual space image corresponding to a user time point by acquiring and collecting a pixel-by-pixel texture from the texture of the cube map using a viewpoint vector; And
And a video providing unit for projecting the virtual space image on the screen through the projector.
KR1020150106750A 2015-07-28 2015-07-28 Method and system for generation user's vies specific VR space in a Projection Environment KR101713875B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150106750A KR101713875B1 (en) 2015-07-28 2015-07-28 Method and system for generation user's vies specific VR space in a Projection Environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150106750A KR101713875B1 (en) 2015-07-28 2015-07-28 Method and system for generation user's vies specific VR space in a Projection Environment

Publications (2)

Publication Number Publication Date
KR20170013704A true KR20170013704A (en) 2017-02-07
KR101713875B1 KR101713875B1 (en) 2017-03-09

Family

ID=58108090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150106750A KR101713875B1 (en) 2015-07-28 2015-07-28 Method and system for generation user's vies specific VR space in a Projection Environment

Country Status (1)

Country Link
KR (1) KR101713875B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004594A1 (en) * 2017-06-30 2019-01-03 (주)피엑스디 Curved display device and operating method therefor
KR20210023247A (en) * 2019-08-22 2021-03-04 주식회사 지엔아이씨티 Image projection system
CN113538318A (en) * 2021-08-24 2021-10-22 北京奇艺世纪科技有限公司 Image processing method, image processing device, terminal device and readable storage medium
US20220011096A1 (en) * 2018-10-29 2022-01-13 Samsung Electronics Co., Ltd. Three-dimensional depth measuring device and method
KR102613415B1 (en) * 2022-12-22 2023-12-13 주식회사 하스퍼 Visual field synchronization apparatus and method
KR102616646B1 (en) * 2022-12-15 2023-12-21 주식회사 글림시스템즈 Realtime dynamic image warping system for screen based glasses-free VR and its verification method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784691B (en) 2018-07-31 2022-02-18 中强光电股份有限公司 Projection device, projection system and image correction method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408295B1 (en) * 2013-05-31 2014-06-17 (주)린소프트 Projection device on nonflat screen and method therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408295B1 (en) * 2013-05-31 2014-06-17 (주)린소프트 Projection device on nonflat screen and method therefor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jens Garstka et al., "View-dependent 3D Projection using Depth-Image-based Head Tracking", 8th IEEE International Workshop on Projector-Camera Systems, June 24, 2011.* *
Robert Kooima et al., "Real-time Digital Dome Rendering", 2008 meeting of the International Planetarium Society, 2008. <인터넷: http://csc.lsu.edu/~kooima/ articles/realtimedome/index.html>* *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004594A1 (en) * 2017-06-30 2019-01-03 (주)피엑스디 Curved display device and operating method therefor
KR20190002908A (en) * 2017-06-30 2019-01-09 (주)피엑스디 Curved display apparatus and operation method thereof
US20220011096A1 (en) * 2018-10-29 2022-01-13 Samsung Electronics Co., Ltd. Three-dimensional depth measuring device and method
US11846500B2 (en) 2018-10-29 2023-12-19 Samsung Electronics Co., Ltd. Three-dimensional depth measuring device and method
KR20210023247A (en) * 2019-08-22 2021-03-04 주식회사 지엔아이씨티 Image projection system
CN113538318A (en) * 2021-08-24 2021-10-22 北京奇艺世纪科技有限公司 Image processing method, image processing device, terminal device and readable storage medium
CN113538318B (en) * 2021-08-24 2023-12-15 北京奇艺世纪科技有限公司 Image processing method, device, terminal equipment and readable storage medium
KR102616646B1 (en) * 2022-12-15 2023-12-21 주식회사 글림시스템즈 Realtime dynamic image warping system for screen based glasses-free VR and its verification method
KR102613415B1 (en) * 2022-12-22 2023-12-13 주식회사 하스퍼 Visual field synchronization apparatus and method

Also Published As

Publication number Publication date
KR101713875B1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
KR101713875B1 (en) Method and system for generation user's vies specific VR space in a Projection Environment
US10540818B2 (en) Stereo image generation and interactive playback
US10839591B2 (en) Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering
US11010958B2 (en) Method and system for generating an image of a subject in a scene
IL275447B2 (en) Methods and system for generating and displaying 3d videos in a virtual, augmented, or mixed reality environment
Maimone et al. General-purpose telepresence with head-worn optical see-through displays and projector-based lighting
EP3057066A1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
KR20170040342A (en) Stereo image recording and playback
US20100033479A1 (en) Apparatus, method, and computer program product for displaying stereoscopic images
US11562717B2 (en) Image processing apparatus, image processing method, and storage medium
US10444931B2 (en) Vantage generation and interactive playback
JP7459870B2 (en) Image processing device, image processing method, and program
KR102049456B1 (en) Method and apparatus for formating light field image
Meerits et al. Real-time diminished reality for dynamic scenes
US10453244B2 (en) Multi-layer UV map based texture rendering for free-running FVV applications
US11589027B2 (en) Methods, systems, and media for generating and rendering immersive video content
JP2020173529A (en) Information processing device, information processing method, and program
JP2014067372A (en) Motion parallax reproduction program and device and three-dimensional model generation program and device therefor
EP3982330A1 (en) Layered rendering with visibility graph
WO2020166376A1 (en) Image processing device, image processing method, and program
US9897806B2 (en) Generation of three-dimensional imagery to supplement existing content
Lee et al. Real time 3D avatar for interactive mixed reality
JP6679966B2 (en) Three-dimensional virtual space presentation system, three-dimensional virtual space presentation method and program
GB2565301A (en) Three-dimensional video processing
KR20230022153A (en) Single-image 3D photo with soft layering and depth-aware restoration

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 4