WO2019146830A1 - 공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법 - Google Patents

공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법 Download PDF

Info

Publication number
WO2019146830A1
WO2019146830A1 PCT/KR2018/001475 KR2018001475W WO2019146830A1 WO 2019146830 A1 WO2019146830 A1 WO 2019146830A1 KR 2018001475 W KR2018001475 W KR 2018001475W WO 2019146830 A1 WO2019146830 A1 WO 2019146830A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
show
server unit
coordinate
user terminals
Prior art date
Application number
PCT/KR2018/001475
Other languages
English (en)
French (fr)
Inventor
양정하
Original Assignee
(주)이지위드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이지위드 filed Critical (주)이지위드
Publication of WO2019146830A1 publication Critical patent/WO2019146830A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to an apparatus and method for providing augmented reality contents for an augmented reality (AR) experience.
  • AR augmented reality
  • Augmented reality technology is becoming popular and is being used in many fields.
  • the augmented reality technology is driven by a personal terminal such as a mobile phone, and the driven content is also personalized content.
  • Conventional augmented reality technology employs a method of creating augmented reality contents by projecting an augmented image on a predefined optically recognizable marker.
  • An object of the present invention is to provide an augmented reality contents providing apparatus and method capable of changing a position of a marker in which an augmented reality image is displayed so that various augmented reality contents can be implemented.
  • Another object of the present invention is to provide an apparatus and method for providing augmented reality contents in which a plurality of experients experiencing an augmented reality are grouped so that they can share a common experience related to a common theme.
  • the augmented reality contents providing apparatus for realizing the augmented reality show through communication with a plurality of user terminals located in the augmented reality space includes data for the augmented reality show, A management server unit including data and managing the augmented reality show, and a synchronization server unit for performing time synchronization with the user terminal for progressing the augmented reality show.
  • the management server unit distributes coordinate marker and augmented reality content data set to coordinates of a specific point on the augmented reality space and the synchronization server unit receives information on the position and the motion from the plurality of user terminals
  • the augmented reality show is operated through the time synchronization with the user terminal that approaches the coordinates corresponding to the coordinate marker within a certain distance among the terminals.
  • the synchronization server unit may be configured to implement the augmented reality show while moving the coordinate marker within the augmented reality space.
  • the synchronization server unit may perform time synchronization simultaneously with a plurality of user terminals located within a predetermined distance from the coordinate marker, and the management server unit may transmit show data for an augmented reality show to all of the plurality of user terminals, Can be transmitted.
  • the method for providing an AR content is a method for providing augmented reality contents through communication with a plurality of user terminals located in an AR space
  • the augmented reality contents providing apparatus includes a management server unit including data and managing augmented reality show and a synchronization server unit synchronizing time with the user terminal for progressing the augmented reality show, Distributing coordinate marker and augmented reality content data set as coordinates for a specific point on the augmented reality space, and receiving the information about the position and the motion from the plurality of user terminals, Users who approach within a certain distance of the coordinates corresponding to the coordinate markers And advancing the augmented reality show through time synchronization with the terminal.
  • the method of providing an augmented reality contents may further include a step of causing the synchronization server to move the coordinate marker in the augmented reality space while the augmented reality show proceeds.
  • the method of providing an augmented reality contents includes the steps of synchronizing the synchronization server with a plurality of user terminals located within a predetermined distance from the coordinate marker, And transmitting the show data for the augmented reality show to all of the plurality of user terminals.
  • an augmented reality content providing apparatus for realizing an augmented reality show through communication with a plurality of user terminals located in an augmented reality space includes: data for augmented reality show; A synchronization server unit for performing time synchronization with the user terminal for the progression of the augmented reality show, and a synchronization server unit for synchronizing the synchronization server unit and the synchronization server unit in the augmented reality space, And a user terminal for receiving and displaying content data for the augmented reality show from the management server unit.
  • the management server unit distributes coordinate marker and augmented reality content data set to coordinates of a specific point on the augmented reality space and the synchronization server unit receives information on the position and the motion from the plurality of user terminals,
  • the augmented reality show is operated through the time synchronization with the user terminal that approaches the coordinates corresponding to the coordinate marker within a certain distance among the terminals.
  • the user terminal may include an image capturing device, and the user terminal may include an augmented reality player that displays the composite image of the content data at a point corresponding to the coordinate marker on the image captured by the image capturing device.
  • a coordinate marker indicating a specific point of the augmented reality space as a marker to be displayed in the augmented reality contents and realizing the augmented reality show while changing the position of the coordinate marker, May vary.
  • a plurality of users in the augmented reality experience space can simultaneously experience the same augmented reality contents by time synchronization with a plurality of user terminals and provision of augmented reality contents.
  • FIG. 1 is a schematic block diagram of an augmented reality content providing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a view for explaining a case where the method of providing an augmented reality contents according to an embodiment of the present invention is implemented in an outdoor space.
  • FIG. 3 is a diagram for explaining a case where the method for providing an augmented reality contents according to an embodiment of the present invention is implemented in an artificial space.
  • the synchronization server unit 10, the management server unit 20, and the management UI unit 30 may be provided, and the plurality of user terminals 100 may be connected to the management server unit 20 through wireless communication, And the management UI unit 30, as shown in FIG.
  • a plurality of user terminals 100 can simultaneously participate in an augmented reality show.
  • Each user terminal 100 includes an augmented reality (AR) player 101 for playing augmented reality contents, And a synchronization algorithm 102 for the mobile terminal.
  • AR augmented reality
  • the synchronization server unit 10 may include a plurality of function modules, manages the overall operation of the augmented reality show, and when a show is started, a plurality of experients show the same show through the time synchronization of the user terminals 100 participating in the show And the like.
  • the synchronization server unit 10 includes a location server 11, a 3D animatic loader 12, a show scheduler 13, a tick generator 14, a receiver 15, and a transmitter 16 ).
  • the augmented reality (AR) player 101 of the user terminal 100 communicates with the show management CMS 23 at normal times, but is directly connected to the synchronization server unit 10 via a show start alarm, And the synchronization server unit 10 may perform execution control (start, stop, and end) of the show through the corresponding channel, and may perform synchronization among the participants of the show when the show proceeds.
  • AR augmented reality
  • the location server 101 determines the user terminal 100 that can participate in the augmented reality show based on the coordinates of each user terminal 100 transmitted from the user terminal 100 participating in the augmented reality show. For example, when the distance between the coordinates corresponding to the predetermined coordinate marker and the coordinates of each user terminal 100 becomes equal to or less than a predetermined distance, the location server 101 transmits the user terminal 100 to the augmented reality show It is possible to decide to be a terminal capable of proceeding.
  • the location server 101 can generate a show participation alarm event to the user terminals 100 that can participate in the show when receiving the request from the show management CMS 203 or receiving the show start preparation event from the show scheduler 103.
  • the 3D animatic loader 102 can read the corresponding show data after receiving the alarm event before the start of the show, and load the coordinates and timestamp of each 3D model on the memory.
  • the 3D animatic loader 102 may receive the tick event from the tick generator 104 when the show starts and transmit the coordinates and timestamp of each model to the AR player 101 of the user terminal 100 participating in the show .
  • the tick generator 104 may generate a tick event at regular time intervals for time synchronization. For example, when the show starts, the tick generator 104 generates a tick in a time period in which one second is divided by fps according to a frame rate set on the AR player 101, and transmits the tick to the 3D animatic loader 102 as an event have.
  • the show scheduler 103 may be a predefined scheduler and loads a list of shows based on absolute time and causes the show to start according to a time schedule.
  • the management server unit 20 may include a show DB 21 and a map / coordinate DB 22.
  • the show DB 21 stores data for a show to be executed
  • the map / coordinate DB 22 stores information about a map and coordinates of a space in which the augmented reality show is executed.
  • the management server unit 20 distributes the coordinate markers set to the coordinates of the specific point on the augmented reality space and the augmented reality content data (for example, 3D model, animation data) to the user terminal 100.
  • the show management CMS 23 can perform the registration of the edited show, the management of the show schedule, the monitoring of the show operation status, the report of the operation statistics, the management of the equipment and the status of the equipment, and the distribution of the show data to the user terminal 100 have. Also, the show management CMS 23 can perform management of the user terminal 100, monitoring equipment installed in the show space, communication with the user terminal 100, and signaling.
  • the management UI unit 30 may include a web browser 31 and a show editing UI 32.
  • the show editing UI 32 can be used to load and manage 3D models, animated loading and management of 3D models, coordinate marker generation and 3D model mapping, coordinate marker movement path editing, show generation and management, Can be performed.
  • the show editing UI 32 can perform the role of creating and managing the augmented reality show.
  • the AR player 101 of the user terminal 100 is connected to the show management CMS 203 at all times and distributes the changed show data file from the show management CMS 203.
  • the AR player 101 also manages the schedule of the show, Can be performed.
  • the AR player 101 performs a function of playing a show when the augmented reality show starts.
  • the AR player 101 receives the show start pre-alarm and receives show data from the show management CMS 203 when acquiring the show participation approval.
  • the AR player 101 transmits the location information of the user terminal 100 or the RSSI information received from the surrounding Wi-Fi to the show management CMS 23 so that the synchronization server unit 10 always stores the location of the AR player 101 So that it can be confirmed.
  • the AR player 101 confirms the position of the coordinate marker constituting the show and its position, and starts the 3D rendering when the visual distance is within the viewable distance, that is, when the coordinate marker is not included within the viewing angle
  • a guide for guiding the coordinate marker to the field of view on the display of the AR player 101 can be displayed.
  • the AR player 101 may display a navigation guide to the start point of the show (coordinate of the coordinate marker) on the display, and guide the user to a point where the viewer can view the show.
  • the user connects to the control channel of the synchronization server unit 10, and initializes and synchronizes the coordinate marker information and his / her own position information, and then performs 3D rendering to obtain a synthesized augmented reality show Display.
  • the user terminal 100 may include a photographing device for photographing an image, and a display device for displaying the augmented reality contents.
  • the user terminal 100 may be a portable communication device, such as a smart phone.
  • a spatial coordinate is used as a marker.
  • a determination as to whether or not the activation of the augmented reality is located within a predetermined distance range from the recognition of the current position information of the user terminal 100 and the coordinate marker.
  • the coordinate markers may be movable, rather than being fixed at a specific location.
  • the 3D model animatic loader 12 of the synchronization server unit 10 can move the coordinate marker. Thus, it is possible to produce an image in which the actual model moves.
  • the 3D model that is mapped and rendered on the corresponding coordinates can be realized as a stereoscopic image in association with the animation of the 3D model according to the movement of the coordinate marker.
  • the information of the coordinate marker is transmitted to the AR player 101 of the user terminal 100 in real time, and an image rendered in real time based on the 3D marker can be displayed.
  • FIG. 2 is a view for explaining a case where the method for providing an augmented reality contents according to an embodiment of the present invention is implemented in an outdoor space
  • FIG. 3 is a view for explaining a method for providing an augmented reality content according to an embodiment of the present invention.
  • the coordinate markers can include longitude and latitude, 3D model identifier, size (horizontal, vertical, height) of the 3D model, orientation of the 3D model, and time stamp.
  • the coordinate markers can include X and Y coordinates on the space, 3D model identifiers, size (horizontal, vertical, height) of the 3D model, orientation of the 3D model, have.
  • Such information can be a reference of a position in the 3D virtual coordinate system at the beginning of the show, and can be a reference on which the actual rendered result is displayed. For this reason, the coordinate markers and the actual 3D models can be matched and edited by placing them on a communal basis at the time of editing.
  • a plurality of coordinate markers can be provided, and these coordinate markers can be grouped and managed in one show.
  • each coordinate marker is mapped to one 3D model in the virtual world, and when it is displayed on the actual user terminal, the 3D model is positioned at the position of the coordinate marker and rendered and displayed.
  • a tracking function of a real-time coordinate marker can be implemented.
  • the user terminal 100 participating in the show must synthesize the rendered image with the coordinates on the coordinate markers.
  • coordinates of the current user terminal and coordinates of the coordinate marker can be obtained by the distance in meters using the Harversine algorithm.
  • the azimuth of the coordinates of the coordinate marker can be obtained from the coordinates of the user terminal.
  • the coordinates of the user terminal and the coordinates of the coordinate marker can be mapped and the coordinates of the coordinate markers can be mapped on the virtual space by using the azimuth angle and the distance.
  • the coordinate system is based on the X and Y axes, it is possible to set the X and Y coordinates of the space on the meter basis and the coordinate system on the 3D engine as the metric reference.
  • the coordinate of the coordinate marker and the coordinate value of the user can be set by mapping the coordinates on the 3D engine using the actual coordinates, respectively.
  • the user terminal 100 may include a gyroscope, an excelometer, a compass, a camera, and the like for obtaining data for coordinate setting.
  • the virtual reality 3D model is placed in the coordinate marker as shown in FIG.
  • the position of the 3D model of the coordinate marker and the coordinates of the image obtained from the camera of the user terminal 100 are combined. Since the coordinate system in the real world and the coordinate system in the virtual space can be set at a ratio of 1: 1, in order to obtain the rendered image from the camera view (view) on the 3D engine, Processing and synthesis to display the final result on the display of the user terminal.
  • Rendered images should be synthesized in real time. Therefore, the texture of the floor and wall structures excluding the model mapped to the coordinate markers in the 3D virtual space configuration is assigned to a single color, and the corresponding color is transparently processed And displays the synthesized image obtained from the camera.
  • the user of the user terminals participating in the show can simultaneously view the show started at the same time, and the user of the user terminal participating in the middle of the show watches from the middle of the show. This is the same as the case of the viewer who entered during the theater screening.
  • all participants see the same show, and the difference between the participants is a visual difference according to the difference of the view of the augmented reality image according to the position of each participant.
  • Synchronization through animation control through time stamp is used for this simultaneous viewing function.
  • the show start command is received using the 3D model and the animation data distributed before the start of the show, and arranged using the modeling data according to the position and orientation of the coordinate marker.
  • the synchronization server unit 10 can set a tick period for reading the set frame rate of the show before the show starts and also loads the coordinate markers constituting the show and the animation corresponding thereto and outputs each coordinate information .
  • the synchronization server unit 10 receives a time difference between itself and the user terminal participating in the show, and synchronizes the time of the participants with the time of the synchronization western part 10. Also, each synchronization server unit 10 transmits the coordinate marker ID and coordinate coordinate information of the coordinate marker, so that the player of the participant is initialized. This is the same for participants who have participated since the show started.
  • the synchronization server unit 10 transmits the offset timestamp and the coordinate orientation of the coordinate marker on the animation to the participating user terminal after the show start in accordance with the preset frame rate.
  • the AR player 101 of the user terminal 100 that has received the message compares the time stamp with the time stamp of the animation to be played, skips it if it is a past frame, and plays the next frame by reading it. On the other hand, when the current playing frame is later than the received time stamp, the AR player 101 displays the current frame and sets the next frame to be used next without discarding the frame.
  • the AR player 101 can set the model in accordance with the polygons of the 3D modeling on the animation, and the position orientation of each coordinate marker in accordance with the coordinates and orientation of the received coordinate markers such as the time stamp
  • the azimuth angle and the vertical gradient of the user's movement coordinates and the sight line can be set in the camera view on the 3D engine and rendered, and the current image can be created and synthesized to the image received from the camera.
  • all users participating at a specific location in the outdoor or indoor space can view the same augmented reality image at different viewing angle views according to their respective positions at the same time.
  • the present invention can be applied to an apparatus and method for experiencing an augmented reality, and is industrially applicable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하는 증강현실 콘텐츠 제공 장치는, 증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부, 그리고 상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부를 포함한다. 상기 관리 서버 부는 상기 증강현실 공간 상의 특정 지점에 대한 좌표를 좌표마커로 설정하고, 상기 동기화 서버 부는 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행되도록 작동한다.

Description

공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법
본 발명은 증강현실(AR, augmented reality) 체험을 위한 증강현실 콘텐츠를 제공하는 장치 및 방법에 관한 것이다.
증강현실 기술이 보편화되어 많은 분야에서 활용되고 있다. 일반적으로 증강현실 기술은 모바일 폰과 같은 개인 단말에서 구동되며, 구동되는 콘텐츠 역시 개인화된 콘텐츠이다. 기존의 증강현실 기술은 미리 정의된 광학적으로 인식될 수 있는 마커(marker)에 증강된 이미지를 투영하여 증강현실 콘텐츠를 만드는 방식을 채택한다.
이러한 기존의 증강현실 기술에 따르면 미리 설정된 광학적으로 인식 가능한 마커를 활용하기 때문에 마커가 고정되어 다양한 증강현실을 구현하기 어려운 한계가 있었다. 또한 이러한 방식의 증강현실은 여러 사람이 증강현실을 체험하는 경우에도 각 개인이 독자적으로 증강현실을 체험할 수 밖에 없었다.
[선행기술문헌]
- 대한민국 공개특허공보 10-2016-0020033 (공개일자: 2016년02월23일)
- 대한민국 등록특허공보 10-1380854 (등록일자: 2014년03월27일)
본 발명이 해결하고자 하는 과제는 다양한 증강현실 콘텐츠의 구현이 가능하도록 증강현실 이미지가 표시되는 마커의 위치 변화가 가능한 증강현실 콘텐츠 제공 장치 및 방법을 제공하는 것이다.
또한 본 발명이 해결하고자 하는 다른 과제는 증강현실을 체험하는 여러 체험자가 집단화되어 공통된 주제에 대해 서로 연관된 공통된 경험을 할 수 있도록 하는 증강현실 콘텐츠 제공 장치 및 방법을 제공하는 것이다.
본 발명의 실시예에 따른 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하는 증강현실 콘텐츠 제공 장치는, 증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부, 그리고 상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부를 포함한다. 상기 관리 서버 부는 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하고, 상기 동기화 서버 부는 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행되도록 작동한다.
상기 동기화 서버 부는 상기 좌표마커를 상기 증강현실 공간 내에서 이동시키면서 상기 증강현실 쇼가 구현될 수 있도록 구성될 수 있다.
상기 동기화 서버 부는 상기 좌표마커로부터 일정 거리 이내에 위치하는 복수의 사용자 단말과 동시에 시간 동기화를 수행할 수 있고, 상기 관리 서버 부는 상기 시간 동기화가 이루어진 상기 복수의 사용자 단말 모두로 증강현실 쇼를 위한 쇼 데이터를 전송할 수 있다.
본 발명의 실시예에 따른 증강현실 콘텐츠 제공 방법은 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하기 위해 증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부와 상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부를 포함하는 증강현실 콘텐츠 제공 장치를 이용하며, 상기 관리 서버 부가 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하는 단계, 그리고 상기 동기화 서버 부가 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행시키는 단계를 포함한다.
본 발명의 실시예에 따른 증강현실 콘텐츠 제공 방법은 상기 동기화 서버 부가 상기 증강현실 쇼가 진행되는 중 상기 좌표마커를 상기 증강현실 공간 내에서 이동시키는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 증강현실 콘텐츠 제공 방법은 상기 동기화 서버 부가 상기 좌표마커로부터 일정 거리 이내에 위치하는 복수의 사용자 단말과 동시에 시간 동기화를 수행하는 단계, 그리고 상기 관리 서버 부가 상기 시간 동기화가 이루어진 상기 복수의 사용자 단말 모두로 증강현실 쇼를 위한 쇼 데이터를 전송하는 단계를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하는 증강현실 콘텐츠 제공 장치는, 증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부, 상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부, 그리고 상기 증강현실 공간에서 상기 동기화 서버 부와 시간 동기화가 이루어지고 상기 관리 서버 부로부터 상기 증강현실 쇼를 위한 콘텐츠 데이터를 전송받아 표시하는 사용자 단말을 포함한다. 상기 관리 서버 부는 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하고, 상기 동기화 서버 부는 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행되도록 작동한다.
상기 사용자 단말은 영상 촬영 장치, 그리고 상기 사용자 단말은 상기 영상 촬영 장치에 의해 촬영된 영상 상에서 상기 좌표마커에 해당하는 지점에 상기 콘텐츠 데이터를 합성하여 표시하는 증강현실 플레이어를 포함할 수 있다.
본 발명에 의하면, 증강현실 공간의 특정 지점을 나타내는 좌표마커를 증강현실 콘텐츠가 표시될 마커로서 사용하고 또한 좌표마커의 위치를 변경시키면서 증강현실 쇼가 구현되도록 함으로써, 공간 내에서 증강현실 콘텐츠의 위치가 변화되도록 구현될 수 있다.
또한 복수의 사용자 단말과의 시간 동기화 및 증강현실 콘텐츠의 제공에 의해 증강현실 체험 공간 내의 다수의 사용자의 동시에 동일한 증강현실 콘텐츠를 체험할 수 있다.
도 1은 본 발명의 실시예에 따른 증강현실 콘텐츠 제공 장치의 개략적인 블록도이다.
도 2는 본 발명의 실시예에 다른 증강현실 콘텐츠 제공 방법이 실외 공간에서 구현되는 경우를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 다른 증강현실 콘텐츠 제공 방법이 인위적으로 만들어진 실내 공간에서 구현되는 경우를 설명하기 위한 도면이다.
이하에서 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다.
도 1을 참조하면, 동기화 서버 부(10), 관리 서버 부(20), 관리 UI 부(30)가 구비될 수 있고, 복수의 사용자 단말(100)은 무선 통신을 통해 관리 서버 부(20) 및 관리 UI 부(30)와 통신을 수행할 수 있다.
도 1에 도시된 바와 같이 복수의 사용자 단말(100)이 증강현실 쇼에 동시에 참여할 수 있으며, 각 사용자 단말(100)은 증강현실 콘텐츠를 플레이하기 위한 증강현실(AR) 플레이어(101) 및 시간 동기화를 위한 동기화 알고리즘(102)을 포함할 수 있다.
동기화 서버 부(10)는 복수의 기능 모듈을 포함할 수 있으며 증강현실 쇼의 운영 전반을 관리하며 쇼가 시작되었을 시 쇼에 참여한 사용자 단말들(100)의 시간 동기화를 통해 다수의 체험자가 동일한 쇼를 관람할 수 있도록 하는 기능을 한다. 예를 들어, 동기화 서버 부(10)는 로케이션 서버(11), 3D 애니메틱 로더(12), 쇼 스케쥴러(13), 틱 제네레이터(tick generator)(14), 수신부(15) 및 전송부(16)를 포함할 수 있다. 이용자들의 단말(100)의 증강현실(AR) 플레이어(101)는 평상 시에는 쇼 관리 CMS(23)와 연결되어 통신하지만 쇼 시작 알람을 통해 동기화 서버 부(10)에 직접 연결하여 쇼 제어 채널에 참가하게 할 수 있고, 동기화 서버 부(10)는 해당 채널을 통해 쇼의 실행 제어(시작, 멈춤, 종료)를 수행할 수 있고 쇼 진행 시 각 쇼 참가자간의 동기화를 수행할 수 있다.
로케이션 서버(101)는 증강현실 쇼에 참여한 사용자 단말(100)로부터 전송된 각 사용자 단말(100)의 좌표를 기초로 증강현실 쇼에 참여 가능한 사용자 단말(100)을 결정한다. 예를 들어, 로케이션 서버(101)는 미리 정해진 좌표 마커에 해당하는 좌표와 각 사용자 단말(100)의 좌표 사이의 거리가 미리 정해진 거리 이하가 되는 경우, 해당 사용자 단말(100)을 증강현실 쇼의 진행이 가능한 단말로 결정할 수 있다. 로케이션 서버(101)는 쇼 관리 CMS(203)로부터 요청받거나 쇼 스케쥴러(103)로부터 쇼 시작 준비 이벤트를 수신하는 경우 쇼 참여 가능한 사용자 단말(100)들에게 쇼 참여 알람 이벤트를 발생시킬 수 있다.
3D 애니메틱 로더(102)는 쇼 시작 전에 알람 이벤트를 수신한 후 해당 쇼 데이터를 읽어 각 3D 모델의 좌표와 타임 스탬프를 메모리 상에 적재할 수 있다. 3D 애니메틱 로더(102)는 쇼가 시작되면 틱 제네레이터(104)로부터 틱 이벤트를 수신하여 각 모델의 좌표와 타임 스탬프를 쇼에 참가하는 사용자 단말(100)의 AR 플레이어(101)로 전송할 수 있다.
틱 제네레이터(104)는 시간 동기화를 위해 일정 시간 간격으로 틱(tick) 이벤트를 생성할 수 있다. 예를 들어, 틱 제네레이터(104)는 쇼가 시작되면 AR 플레이어(101) 상에 설정된 프레임 레이트에 따라 1초를 fps로 나눈 시간 주기로 틱을 생성하여 3D 애니메틱 로더(102)에 이벤트로 전달할 수 있다.
쇼 스케쥴러(103)는 미리 정의된 스케쥴러일 수 있으며 절대 시간을 기준으로 쇼의 목록을 적재하고 타임 스케쥴에 따라 쇼가 시작되게 한다.
동기화 서버 부(10)의 수신부(105)와 송신부(106)의 데이터의 수신 및 송신을 담당한다.
관리 서버 부(20)는 쇼 DB(21) 및 맵/좌표 DB(22)를 포함할 수 있다. 쇼 DB(21)는 실행될 쇼에 대한 데이터를 저장하며, 맵/좌표 DB(22)는 증강현실 쇼가 실행되는 공간의 맵 및 좌표에 대한 정보를 저장한다. 관리 서버 부(20)는 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커, 그리고 증강현실 콘텐츠 데이터(예를 들어, 3D 모델, 애니메이션 데이터)를 사용자 단말(100)로 배포한다.
쇼 관리 CMS(23)는 편집된 쇼의 등록, 쇼 스케쥴링 관리, 쇼 운영 현황 모니터링, 요 운영 통계 보고서, 장비 관리 및 장비 현황 모니터링, 및 쇼 데이터의 사용자 단말(100)로의 배포 등을 수행할 수 있다. 또한 쇼 관리 CMS(23)는 사용자 단말(100)의 관리, 쇼 공간 내에 설치되어 있는 장비의 모니터링, 사용자 단말(100)과의 통신 및 시그널링 등을 수행할 수 있다.
관리 UI 부(30)는 웹 브라우저(31), 쇼 편집 UI(32)를 포함할 수 있다. 쇼 편집 UI(32)는 3D 모델 로딩 및 관리, 3D 모델의 애니메틱 로딩 및 관리, 좌표 마커 생성 및 3D 모델 매핑, 좌표 마커 이동 경로 편집, 쇼 생성 및 관리, 쇼 관리 CMS 연동을 통한 쇼 등록 등을 수행할 수 있다. 쇼 편집 UI(32)는 증강현실 쇼의 생성 및 관리 편집의 역할을 수행할 수 있다.
사용자 단말(100)의 AR 플레이어(101)는 쇼 관리 CMS(203)와 항상 연결되어 쇼 관리 CMS(203)로부터 변경된 쇼의 데이터 파일을 배포받고, 쇼의 일정 조회, 쇼 관람 예약 등의 관리 기능을 수행할 수 있다. 그리고 AR 플레이어(101)는 증강현실 쇼가 시작되면 쇼를 플레이하는 기능을 수행한다.
AR 플레이어(101)는 쇼 시작 사전 알람을 수신하고 쇼 참여 승인을 획득할 경우 쇼 관리 CMS(203)로부터 쇼 데이터를 수신한다. 또한 AR 플레이어(101)는 사용자 단말(100)의 위치 정보, 또는 주변 와이파이로부터 수신한 RSSI 정보를 쇼 관리 CMS(23)로 전송하여 동기화 서버 부(10)가 항상 AR 플레이어(101)의 위치를 확인할 수 있게 한다. 쇼가 시작되면 AR 플레이어(101)는 쇼를 구성하는 좌표 마커의 위치와 자신의 위치를 확인하여 가시거리, 즉 쇼 실행 가능 거리 이내일 경우 3D 렌더링을 시작하며, 좌표 마커가 시야각 내에 포함되지 않을 경우에 AR 플레이어(101)의 디스플레이 상에 좌표 마커가 시야에 들어오도록 안내하는 가이드를 표시할 수 있다. 쇼 시작 시점이 가시거리 내에 포함되지 않을 경우 AR 플레이어(101)는 쇼 시작 지점(좌표 마커의 좌표)으로의 네비게이션 안내를 디스플레이 상에 표시하여 체험자가 쇼를 관람할 수 있는 지점으로 안내할 수 있다. 이를 통해 사용자가 쇼의 가시거리 이내로 진입할 경우 동기화 서버 부(10)의 제어 채널에 접속하고 좌표 마커 정보와 자신의 위치 정보를 초기와 및 동기화한 후 3D 렌더링을 수행하여 합성된 증강현실 쇼를 표시한다.
사용자 단말(100)은 영상의 촬영을 위한 촬영 장치, 그리고 증강현실 콘텐츠를 표시하는 표시 장치를 구비할 수 있다. 예를 들어, 사용자 단말(100)은 스마트 폰과 같은 휴대형 통신 장치일 수 있다.
본 발명에 따르면, 일반적인 증강현실 기술에서 사용하는 카메라를 통해 인식되는 이미지 상의 마커가 아니라, 공간상의 좌표가 마커로 사용된다. 그리고 증강현실의 기동이 사용자 단말(100)의 현재 위치 정보에 대한 인식 및 좌표 마커로부터 미리 정해진 거리 범위 내에 위치하는지 여부의 판단에 따라 이루어진다. 또한 좌표 마커는 특정 위치에 고정되는 것이 아니라 이동 가능할 수 있다. 예를 들어, 동기화 서버 부(10)의 3D 모델 애니메틱 로더(12)는 좌표 마커를 이동시킬 수 있다. 이에 의해 실제 모델이 움직이는 형태의 영상을 연출할 수 있다. 이는 해당 좌표 상에 매핑되어 렌더링 되는 3D 모델이 좌표 마커의 이동에 따라 3D 모델의 애니메이션과 연계되어 입체적인 영상으로 구현될 수 있다. 좌표 마커의 정보는 실시간으로 사용자 단말(100)의 AR 플레이어(101)에 전송되며 이를 기반으로 3D 모델링의 실시간으로 렌더링된 이미지가 표시될 수 있다.
도 2는 본 발명의 실시예에 다른 증강현실 콘텐츠 제공 방법이 실외 공간에서 구현되는 경우를 설명하기 위한 도면이고, 도 3은 본 발명의 실시예에 다른 증강현실 콘텐츠 제공 방법이 인위적으로 만들어진 실내 공간에서 구현되는 경우를 설명하기 위한 도면이다. 증강현실 콘텐츠가 실외 공간에서 구현되는 경우, 좌표 마커는 경도 및 위도, 3D 모델 식별자, 3D 모델의 크기(가로, 세로, 높이), 3D 모델의 방위, 타임 스탬프를 포함할 수 있다. 한편, 증강현실 콘텐츠가 실내 공간에서 구현되는 경우, 좌표 마커는 공간 상의 X 및 Y 좌표, 3D 모델 식별자, 3D 모델의 크기(가로, 세로, 높이), 3D 모델의 방위, 타임 스탬프를 포함할 수 있다. 이러한 정보들은 최초에 쇼가 시작될 때 3D의 가상 좌표계에서의 위치의 기준이 될 수 있고 실제 렌더링 된 결과가 표시되는 기준이 될 수 있다. 이런 이유로 편집 시에는 좌표 마커와 실제 3D 모델을 매칭하여 공산 상에 배치하여 편집할 수 있다.
한편, 본 발명에 따르면, 좌표 마커가 복수로 구비될 수 있으며, 이들 복수의 좌표 마커는 하나의 쇼에 그룹화되어 관리될 수 있다. 이때 각 좌표 마커는 가상 세계에서의 하나의 3D 모델로 매핑되어 실제 사용자 단말에서 표출될 때는 각각 좌표 마커의 위치에 3D 모델을 위치시켜 렌더링을 하여 표시될 수 있다.
한편, 본 발명에 따르면, 실시간 좌표 마커의 추적 기능이 구현될 수 있다. 쇼에 참여한 사용자 단말(100)은 좌표 마커 상의 좌표에 렌더링 된 이미지를 합성해야 한다. 이때, GPS 좌표계에서는 현재 사용자 단말의 좌표와 좌표 마커의 좌표를 Harversine 알고리즘을 이용하여 미터 단위의 거리로 구할 수 있다. 또한 사용자 단말의 좌표로부터 좌표 마커의 좌표의 방위각을 구할 수 있다. 예를 들어, 사용자 단말의 좌표와 좌표 마커의 좌표 사이의 거리 값, 및 사용자 단말의 좌표로부터 좌표 마커의 좌포의 방위각 값을 이용하여 3D 엔진 상에 가상 공간에서 y축을 진북으로 하여 임의의 좌표를 사용자의 좌표를 매핑하고 방위각과 거리를 이용하여 좌표 마커의 좌표를 가상 공간 상에 매핑하여 설정할 수 있다. 한편, WIFI를 이용한 LBS 좌표계일 경우에는 좌표계가 X, Y축 기반으로 이루어져 있으므로 공간 상의 X, Y 좌료를 미터 기준으로 설정하고 3D 엔진 상의 좌표계도 미터 기준으로 설정할 수 있다. 그리고 좌표 마커의 좌표와 사용자의 좌표 값은 실제 좌표를 사용하여 3D 엔진 상의 좌표에 각각 매핑하여 설정할 수 있다. 사용자 단말(100)에는 좌표 설정을 위한 데이터를 얻기 위한 자이로스코프, 엑셀로미터, 콤파스, 카메라 등이 구비될 수 있다.
3D 가상 공간에 좌표 마커의 좌표의 사용자 단말의 좌표를 가상 공간 좌표로 변환한 후 도 3에 도시된 바와 같이 좌표 마커에 가상현실 3D 모델을 배치한다.
좌표 마커의 3D 모델의 위치와 사용자 단말(100)의 카메라로부터 획득한 이미지의 좌표를 합성한다. 현실 상의 좌표와 가상 공간 상의 좌표계는 1:1 비율로 설정될 수 있기 때문에 3D 엔진 상에서의 카메라 뷰(view)로부터 렌더링 된 이미지를 얻기 위해서 다음의 일련의 절차를 통해서 사전 작업의 수행과 렌더링, 후처리 및 합성을 수행하여 최종 결과물을 사용자 단말의 디스플레이 상에 표시한다.
1. 카메라의 촬영 프레임 레이트를 30fps로 설정하고 3D 엔진에서의 렌더링 프레임 레이트를 30fps로 설정한다.
2. 사용자의 모바일 기기의 콤파스 및 엑셀로미터를 이용하여 실제 사용자의 시선의 수평 방위각과 수직 기울기를 구한다.
3. 카메라로부터 실제 획득되는 이미지의 해상도와 수평 시야각, 수직 시야각을 얻어서 3D 엔진 상의 카메라에 시야각을 설정한다.
4. 실시간 시야의 수평 방위각과 수직 기울기 값을 실시간으로 3D 엔진 상의 카메라 뷰에 동기화한다. 이러한 과정을 거치게 되면, 실제 사용자의 모바일 단말의 카메라로부터 획득하는 이미지와 3D 엔진으로부터 획득한 렌더링 된 이미지는 동일한 시야각, 방위각을 가지게 되며, 카메라로부터 획득된 이미지 위에 렌더링 된 이미지를 겹쳤을 때 좌표의 매칭이 적절하게 이루어질 수 있다.
5. 렌더링 된 이미지는 실시간으로 합성되어야 하므로 3D 가상 공간 구성 시 좌표 마커에 매핑이 된 모델의 텍스쳐를 제외한 바닥 및 벽 구조물의 텍스쳐는 단일 색상으로 할당하고 크로마키 기법을 활용하여 해당 색상을 투명 처리한 후 카메라로부터 획득한 이미지의 합성하는 표시한다.
한편, 쇼에 참가한 사용자 단말들의 사용자는 동일한 시각에 시작한 쇼에 대해서 동시에 시청할 수 있으며 진행 중간에 참여한 사용자 단말의 사용자는 쇼의 중간 부분부터 시청하게 된다. 이는 극장의 영화 상영 중에 입장한 관람객의 경우와 동일하다. 실시간 동기화의 경우 참여자들은 모두 같은 쇼를 보게 되며 이때 각 참여자 사이의 다른 점은 각 참여자의 위치에 따른 증강현실 이미지의 뷰(view)의 차이에 따른 시각적인 차이이다.
이러한 동시 시청의 기능을 위해 타임 스탬프를 통한 애니메이션 제어를 통한 동기화가 사용된다. 쇼 시작 전에 배포된 3D 모델 및 애니메이션 데이터를 이용하여 쇼 시작 명령을 받고 좌표 마커의 위치와 방위에 따라 모델링 데이터를 이용하여 배치한다. 동기화 서버 부(10)는 쇼가 시작되기 전 해당 쇼의 설정 프레임 레이트를 읽어 틱(tick) 주기를 설정할 수 있고, 또한 쇼를 구성하는 좌표 마커와 그에 해당하는 애니메이션을 로드하여 각각의 좌표 정보를 획득한다.
쇼가 시작되면 동기화 서버 부(10)는 쇼에 참가한 사용자 단말과 자신과의 시간 차이를 주고받아 참자가들의 시간을 동기화 서부 부(10)의 시간과 동기화한다. 또한 각 동기화 서버 부(10)는 각각 좌표 마커의 아이디와 좌표 마커의 좌표 방위 정보를 전송하여 참여자의 플레이어가 초기화되도록 한다. 이는 쇼가 시작된 이후에 참여한 참가자에 대해서도 동일하게 수행된다.
쇼가 시작되고 참가자와 시간 정보를 이후 동기화 서버 부(10)는 사전에 설정한 프레임 레이트에 맞춰 쇼 시작 이후 오프셋 타임 스탬프와 애니메이션 상의 좌표 마커의 좌표 방위를 참가한 사용자 단말로 전송한다. 이를 수신한 사용자 단말(100)의 AR 플레이어(101)는 현재 플레이할 애니메이션의 타임 스탬프와 비교하여 이미 지나간 프레임이면 스킵하고 다음 프레임을 읽어서 플레이한다. 한편, AR 플레이어(101)는 수신한 타임 스탬프보다 현재 플레이하는 프레임이 더 나중일 경우 현재 프레임을 표시하고 프레임을 버리지 않고 다음에 사용할 프레임을 현재의 프레임으로 설정한다. 또한 AR 플에이어(101)는 타임 스탬프 조건에 맞춰 프레임을 그릴 때 애니메이션 상의 3D 모델링의 폴리곤에 맞춰 모델을 설정할 수 있고 타임 스탬프와 같이 수신한 각 좌표 마커의 좌표와 방위에 맞춰 각 좌표 마커의 위치 방위를 조절하고 사용자의 움직임의 좌표 및 시선의 방위각, 수직 기울기를 3D 엔진 상의 카메라 뷰에 설정한 후 렌더링 하여 현재의 이미지를 작성한 후 카메라로부터 수신한 이미지에 합성할 수 있다.
위에서 설명한 바와 같이 본 발명에 따르면 야외 또는 실내 공간 상에서 특정 위치에서 참여한 모든 사용자들이 같은 증강현실 이미지를 각각의 위치에 따른 다른 시야각 뷰로 동시에 관람할 수 있다.
이상에서 본 발명의 실시예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명의 실시예로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 용이하게 변경되어 균등한 것으로 인정되는 범위의 모든 변경 및 수정을 포함한다.
본 발명은 증강현실 체험을 위한 장치 및 방법에 적용될 수 있어 산업상 이용가능성이 있다.

Claims (8)

  1. 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하는 증강현실 콘텐츠 제공 장치로서,
    증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부, 그리고
    상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부를 포함하며,
    상기 관리 서버 부는 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하고,
    상기 동기화 서버 부는 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행되도록 작동하는
    증강현실 콘텐츠 제공 장치.
  2. 제1항에서,
    상기 동기화 서버 부는 상기 좌표마커를 상기 증강현실 공간 내에서 이동시키면서 상기 증강현실 쇼가 구현될 수 있도록 구성되는 증강현실 콘텐츠 제공 장치.
  3. 제1항에서,
    상기 동기화 서버 부는 상기 좌표마커로부터 일정 거리 이내에 위치하는 복수의 사용자 단말과 동시에 시간 동기화를 수행하고,
    상기 관리 서버 부는 상기 시간 동기화가 이루어진 상기 복수의 사용자 단말 모두로 증강현실 쇼를 위한 쇼 데이터를 전송하는 증강현실 콘텐츠 제공 장치.
  4. 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하기 위해 증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부와 상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부를 포함하는 증강현실 콘텐츠 제공 장치를 이용하는 증강현실 콘텐츠 제공 방법으로서,
    상기 관리 서버 부가 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하는 단계, 그리고
    상기 동기화 서버 부가 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행시키는 단계를 포함하는 증강현실 콘텐츠 제공 방법.
  5. 제4항에서,
    상기 동기화 서버 부가 상기 증강현실 쇼가 진행되는 중 상기 좌표마커를 상기 증강현실 공간 내에서 이동시키는 단계를 더 포함하는 증강현실 콘텐츠 제공 방법.
  6. 제4항에서,
    상기 동기화 서버 부가 상기 좌표마커로부터 일정 거리 이내에 위치하는 복수의 사용자 단말과 동시에 시간 동기화를 수행하는 단계, 그리고
    상기 관리 서버 부가 상기 시간 동기화가 이루어진 상기 복수의 사용자 단말 모두로 증강현실 쇼를 위한 쇼 데이터를 전송하는 단계를 더 포함하는 증강현실 콘텐츠 제공 방법.
  7. 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하는 증강현실 콘텐츠 제공 장치로서,
    증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부,
    상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부, 그리고
    상기 증강현실 공간에서 상기 동기화 서버 부와 시간 동기화가 이루어지고 상기 관리 서버 부로부터 상기 증강현실 쇼를 위한 콘텐츠 데이터를 전송받아 표시하는 사용자 단말을 포함하며,
    상기 관리 서버 부는 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하고,
    상기 동기화 서버 부는 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행되도록 작동하는
    증강현실 콘텐츠 제공 장치.
  8. 제7항에서,
    상기 사용자 단말은
    영상 촬영 장치, 그리고
    상기 사용자 단말은 상기 영상 촬영 장치에 의해 촬영된 영상 상에서 상기 좌표마커에 해당하는 지점에 상기 콘텐츠 데이터를 합성하여 표시하는 증강현실 플레이어를 포함하는 증강현실 콘텐츠 제공 장치.
PCT/KR2018/001475 2018-01-25 2018-02-05 공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법 WO2019146830A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180009331A KR20190090533A (ko) 2018-01-25 2018-01-25 공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법
KR10-2018-0009331 2018-01-25

Publications (1)

Publication Number Publication Date
WO2019146830A1 true WO2019146830A1 (ko) 2019-08-01

Family

ID=67396143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/001475 WO2019146830A1 (ko) 2018-01-25 2018-02-05 공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20190090533A (ko)
WO (1) WO2019146830A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024092890A1 (zh) * 2022-10-31 2024-05-10 那家全息互动(深圳)有限公司 用于混合现实的本地多设备快速空间锚点同步方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR20120125938A (ko) * 2011-05-09 2012-11-19 에릭슨 엘지 주식회사 가상현실 구현 방법 및 그를 위한 이동통신 시스템
KR20130068463A (ko) * 2011-12-15 2013-06-26 주식회사 유프레스토 위치 기반 정보 서비스를 이용한 역사 정보 제공 시스템 및 방법
KR20140056562A (ko) * 2012-10-29 2014-05-12 홍지명 복수의 모바일 단말을 이용한 영상 생성 방법 및 시스템 그 기록매체, 모바일 단말
US20160133230A1 (en) * 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101380854B1 (ko) 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
KR101994898B1 (ko) 2014-08-12 2019-07-01 전자부품연구원 모바일 단말을 이용한 증강현실 기반의 항공 경로 안내 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR20120125938A (ko) * 2011-05-09 2012-11-19 에릭슨 엘지 주식회사 가상현실 구현 방법 및 그를 위한 이동통신 시스템
KR20130068463A (ko) * 2011-12-15 2013-06-26 주식회사 유프레스토 위치 기반 정보 서비스를 이용한 역사 정보 제공 시스템 및 방법
KR20140056562A (ko) * 2012-10-29 2014-05-12 홍지명 복수의 모바일 단말을 이용한 영상 생성 방법 및 시스템 그 기록매체, 모바일 단말
US20160133230A1 (en) * 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024092890A1 (zh) * 2022-10-31 2024-05-10 那家全息互动(深圳)有限公司 用于混合现实的本地多设备快速空间锚点同步方法及系统

Also Published As

Publication number Publication date
KR20190090533A (ko) 2019-08-02

Similar Documents

Publication Publication Date Title
JP4738870B2 (ja) 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US6583808B2 (en) Method and system for stereo videoconferencing
EP2613296B1 (en) Mixed reality display system, image providing server, display apparatus, and display program
US20040041822A1 (en) Image processing apparatus, image processing method, studio apparatus, storage medium, and program
US7843470B2 (en) System, image processing apparatus, and information processing method
US10022626B2 (en) Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method, for performing augmented reality
CN104883557A (zh) 实时全息投影方法、装置及系统
US20180367787A1 (en) Information processing device, information processing system, control method of an information processing device, and parameter setting method
JP2000165831A (ja) 多地点テレビ会議システム
US10386633B2 (en) Virtual object display system, and display control method and display control program for the same
US20190156579A1 (en) Mixed reality video production with detached camera
CN114125301B (zh) 一种虚拟现实技术拍摄延迟处理方法及装置
US10803652B2 (en) Image generating apparatus, image generating method, and program for displaying fixation point objects in a virtual space
WO2019146830A1 (ko) 공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법
US11273374B2 (en) Information processing system, player-side apparatus control method, and program
US11847715B2 (en) Image processing apparatus, image distribution system, and image processing method
JPH1055257A (ja) ３次元仮想空間表示方法
KR101396008B1 (ko) 다시점 영상 획득을 위한 방법 및 장치
CN212231547U (zh) 混合现实虚拟预演拍摄系统
CN113093915A (zh) 多人互动的控制方法、装置、设备及存储介质
JP7129283B2 (ja) 処理装置、制御方法、及びプログラム
JP6916896B2 (ja) 情報処理装置および画像生成方法
WO2021015347A1 (ko) 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템
WO2019124802A1 (ko) 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
JPH0424914B2 (ko)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18902518

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18902518

Country of ref document: EP

Kind code of ref document: A1