KR20190090533A - 공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법 - Google Patents
공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법 Download PDFInfo
- Publication number
- KR20190090533A KR20190090533A KR1020180009331A KR20180009331A KR20190090533A KR 20190090533 A KR20190090533 A KR 20190090533A KR 1020180009331 A KR1020180009331 A KR 1020180009331A KR 20180009331 A KR20180009331 A KR 20180009331A KR 20190090533 A KR20190090533 A KR 20190090533A
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- show
- coordinate
- server unit
- user terminals
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 140
- 239000003550 marker Substances 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims description 19
- 230000001360 synchronised effect Effects 0.000 title description 2
- 238000004891 communication Methods 0.000 claims abstract description 10
- 230000033001 locomotion Effects 0.000 claims abstract description 10
- 238000013459 approach Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하는 증강현실 콘텐츠 제공 장치는, 증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부, 그리고 상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부를 포함한다. 상기 관리 서버 부는 상기 증강현실 공간 상의 특정 지점에 대한 좌표를 좌표마커로 설정하고, 상기 동기화 서버 부는 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행되도록 작동한다.
Description
본 발명은 증강현실(AR, augmented reality) 체험을 위한 증강현실 콘텐츠를 제공하는 장치 및 방법에 관한 것이다.
증강현실 기술이 보편화되어 많은 분야에서 활용되고 있다. 일반적으로 증강현실 기술은 모바일 폰과 같은 개인 단말에서 구동되며, 구동되는 콘텐츠 역시 개인화된 콘텐츠이다. 기존의 증강현실 기술은 미리 정의된 광학적으로 인식될 수 있는 마커(marker)에 증강된 이미지를 투영하여 증강현실 콘텐츠를 만드는 방식을 채택한다.
이러한 기존의 증강현실 기술에 따르면 미리 설정된 광학적으로 인식 가능한 마커를 활용하기 때문에 마커가 고정되어 다양한 증강현실을 구현하기 어려운 한계가 있었다. 또한 이러한 방식의 증강현실은 여러 사람이 증강현실을 체험하는 경우에도 각 개인이 독자적으로 증강현실을 체험할 수 밖에 없었다.
본 발명이 해결하고자 하는 과제는 다양한 증강현실 콘텐츠의 구현이 가능하도록 증강현실 이미지가 표시되는 마커의 위치 변화가 가능한 증강현실 콘텐츠 제공 장치 및 방법을 제공하는 것이다.
또한 본 발명이 해결하고자 하는 다른 과제는 증강현실을 체험하는 여러 체험자가 집단화되어 공통된 주제에 대해 서로 연관된 공통된 경험을 할 수 있도록 하는 증강현실 콘텐츠 제공 장치 및 방법을 제공하는 것이다.
본 발명의 실시예에 따른 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하는 증강현실 콘텐츠 제공 장치는, 증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부, 그리고 상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부를 포함한다. 상기 관리 서버 부는 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하고, 상기 동기화 서버 부는 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행되도록 작동한다.
상기 동기화 서버 부는 상기 좌표마커를 상기 증강현실 공간 내에서 이동시키면서 상기 증강현실 쇼가 구현될 수 있도록 구성될 수 있다.
상기 동기화 서버 부는 상기 좌표마커로부터 일정 거리 이내에 위치하는 복수의 사용자 단말과 동시에 시간 동기화를 수행할 수 있고, 상기 관리 서버 부는 상기 시간 동기화가 이루어진 상기 복수의 사용자 단말 모두로 증강현실 쇼를 위한 쇼 데이터를 전송할 수 있다.
본 발명의 실시예에 따른 증강현실 콘텐츠 제공 방법은 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하기 위해 증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부와 상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부를 포함하는 증강현실 콘텐츠 제공 장치를 이용하며, 상기 관리 서버 부가 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하는 단계, 그리고 상기 동기화 서버 부가 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행시키는 단계를 포함한다.
본 발명의 실시예에 따른 증강현실 콘텐츠 제공 방법은 상기 동기화 서버 부가 상기 증강현실 쇼가 진행되는 중 상기 좌표마커를 상기 증강현실 공간 내에서 이동시키는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 증강현실 콘텐츠 제공 방법은 상기 동기화 서버 부가 상기 좌표마커로부터 일정 거리 이내에 위치하는 복수의 사용자 단말과 동시에 시간 동기화를 수행하는 단계, 그리고 상기 관리 서버 부가 상기 시간 동기화가 이루어진 상기 복수의 사용자 단말 모두로 증강현실 쇼를 위한 쇼 데이터를 전송하는 단계를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하는 증강현실 콘텐츠 제공 장치는, 증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부, 상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부, 그리고 상기 증강현실 공간에서 상기 동기화 서버 부와 시간 동기화가 이루어지고 상기 관리 서버 부로부터 상기 증강현실 쇼를 위한 콘텐츠 데이터를 전송받아 표시하는 사용자 단말을 포함한다. 상기 관리 서버 부는 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하고, 상기 동기화 서버 부는 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행되도록 작동한다.
상기 사용자 단말은 영상 촬영 장치, 그리고 상기 사용자 단말은 상기 영상 촬영 장치에 의해 촬영된 영상 상에서 상기 좌표마커에 해당하는 지점에 상기 콘텐츠 데이터를 합성하여 표시하는 증강현실 플레이어를 포함할 수 있다.
본 발명에 의하면, 증강현실 공간의 특정 지점을 나타내는 좌표마커를 증강현실 콘텐츠가 표시될 마커로서 사용하고 또한 좌표마커의 위치를 변경시키면서 증강현실 쇼가 구현되도록 함으로써, 공간 내에서 증강현실 콘텐츠의 위치가 변화되도록 구현될 수 있다.
또한 복수의 사용자 단말과의 시간 동기화 및 증강현실 콘텐츠의 제공에 의해 증강현실 체험 공간 내의 다수의 사용자의 동시에 동일한 증강현실 콘텐츠를 체험할 수 있다.
도 1은 본 발명의 실시예에 따른 증강현실 콘텐츠 제공 장치의 개략적인 블록도이다.
도 2는 본 발명의 실시예에 다른 증강현실 콘텐츠 제공 방법이 실외 공간에서 구현되는 경우를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 다른 증강현실 콘텐츠 제공 방법이 인위적으로 만들어진 실내 공간에서 구현되는 경우를 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 다른 증강현실 콘텐츠 제공 방법이 실외 공간에서 구현되는 경우를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 다른 증강현실 콘텐츠 제공 방법이 인위적으로 만들어진 실내 공간에서 구현되는 경우를 설명하기 위한 도면이다.
이하에서 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다.
도 1을 참조하면, 동기화 서버 부(10), 관리 서버 부(20), 관리 UI 부(30)가 구비될 수 있고, 복수의 사용자 단말(100)은 무선 통신을 통해 관리 서버 부(20) 및 관리 UI 부(30)와 통신을 수행할 수 있다.
도 1에 도시된 바와 같이 복수의 사용자 단말(100)이 증강현실 쇼에 동시에 참여할 수 있으며, 각 사용자 단말(100)은 증강현실 콘텐츠를 플레이하기 위한 증강현실(AR) 플레이어(101) 및 시간 동기화를 위한 동기화 알고리즘(102)을 포함할 수 있다.
동기화 서버 부(10)는 복수의 기능 모듈을 포함할 수 있으며 증강현실 쇼의 운영 전반을 관리하며 쇼가 시작되었을 시 쇼에 참여한 사용자 단말들(100)의 시간 동기화를 통해 다수의 체험자가 동일한 쇼를 관람할 수 있도록 하는 기능을 한다. 예를 들어, 동기화 서버 부(10)는 로케이션 서버(11), 3D 애니메틱 로더(12), 쇼 스케쥴러(13), 틱 제네레이터(tick generator)(14), 수신부(15) 및 전송부(16)를 포함할 수 있다. 이용자들의 단말(100)의 증강현실(AR) 플레이어(101)는 평상 시에는 쇼 관리 CMS(23)와 연결되어 통신하지만 쇼 시작 알람을 통해 동기화 서버 부(10)에 직접 연결하여 쇼 제어 채널에 참가하게 할 수 있고, 동기화 서버 부(10)는 해당 채널을 통해 쇼의 실행 제어(시작, 멈춤, 종료)를 수행할 수 있고 쇼 진행 시 각 쇼 참가자간의 동기화를 수행할 수 있다.
로케이션 서버(101)는 증강현실 쇼에 참여한 사용자 단말(100)로부터 전송된 각 사용자 단말(100)의 좌표를 기초로 증강현실 쇼에 참여 가능한 사용자 단말(100)을 결정한다. 예를 들어, 로케이션 서버(101)는 미리 정해진 좌표 마커에 해당하는 좌표와 각 사용자 단말(100)의 좌표 사이의 거리가 미리 정해진 거리 이하가 되는 경우, 해당 사용자 단말(100)을 증강현실 쇼의 진행이 가능한 단말로 결정할 수 있다. 로케이션 서버(101)는 쇼 관리 CMS(203)로부터 요청받거나 쇼 스케쥴러(103)로부터 쇼 시작 준비 이벤트를 수신하는 경우 쇼 참여 가능한 사용자 단말(100)들에게 쇼 참여 알람 이벤트를 발생시킬 수 있다.
3D 애니메틱 로더(102)는 쇼 시작 전에 알람 이벤트를 수신한 후 해당 쇼 데이터를 읽어 각 3D 모델의 좌표와 타임 스탬프를 메모리 상에 적재할 수 있다. 3D 애니메틱 로더(102)는 쇼가 시작되면 틱 제네레이터(104)로부터 틱 이벤트를 수신하여 각 모델의 좌표와 타임 스탬프를 쇼에 참가하는 사용자 단말(100)의 AR 플레이어(101)로 전송할 수 있다.
틱 제네레이터(104)는 시간 동기화를 위해 일정 시간 간격으로 틱(tick) 이벤트를 생성할 수 있다. 예를 들어, 틱 제네레이터(104)는 쇼가 시작되면 AR 플레이어(101) 상에 설정된 프레임 레이트에 따라 1초를 fps로 나눈 시간 주기로 틱을 생성하여 3D 애니메틱 로더(102)에 이벤트로 전달할 수 있다.
쇼 스케쥴러(103)는 미리 정의된 스케쥴러일 수 있으며 절대 시간을 기준으로 쇼의 목록을 적재하고 타임 스케쥴에 따라 쇼가 시작되게 한다.
동기화 서버 부(10)의 수신부(105)와 송신부(106)의 데이터의 수신 및 송신을 담당한다.
관리 서버 부(20)는 쇼 DB(21) 및 맵/좌표 DB(22)를 포함할 수 있다. 쇼 DB(21)는 실행될 쇼에 대한 데이터를 저장하며, 맵/좌표 DB(22)는 증강현실 쇼가 실행되는 공간의 맵 및 좌표에 대한 정보를 저장한다. 관리 서버 부(20)는 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커, 그리고 증강현실 콘텐츠 데이터(예를 들어, 3D 모델, 애니메이션 데이터)를 사용자 단말(100)로 배포한다.
쇼 관리 CMS(23)는 편집된 쇼의 등록, 쇼 스케쥴링 관리, 쇼 운영 현황 모니터링, 요 운영 통계 보고서, 장비 관리 및 장비 현황 모니터링, 및 쇼 데이터의 사용자 단말(100)로의 배포 등을 수행할 수 있다. 또한 쇼 관리 CMS(23)는 사용자 단말(100)의 관리, 쇼 공간 내에 설치되어 있는 장비의 모니터링, 사용자 단말(100)과의 통신 및 시그널링 등을 수행할 수 있다.
관리 UI 부(30)는 웹 브라우저(31), 쇼 편집 UI(32)를 포함할 수 있다. 쇼 편집 UI(32)는 3D 모델 로딩 및 관리, 3D 모델의 애니메틱 로딩 및 관리, 좌표 마커 생성 및 3D 모델 매핑, 좌표 마커 이동 경로 편집, 쇼 생성 및 관리, 쇼 관리 CMS 연동을 통한 쇼 등록 등을 수행할 수 있다. 쇼 편집 UI(32)는 증강현실 쇼의 생성 및 관리 편집의 역할을 수행할 수 있다.
사용자 단말(100)의 AR 플레이어(101)는 쇼 관리 CMS(203)와 항상 연결되어 쇼 관리 CMS(203)로부터 변경된 쇼의 데이터 파일을 배포받고, 쇼의 일정 조회, 쇼 관람 예약 등의 관리 기능을 수행할 수 있다. 그리고 AR 플레이어(101)는 증강현실 쇼가 시작되면 쇼를 플레이하는 기능을 수행한다.
AR 플레이어(101)는 쇼 시작 사전 알람을 수신하고 쇼 참여 승인을 획득할 경우 쇼 관리 CMS(203)로부터 쇼 데이터를 수신한다. 또한 AR 플레이어(101)는 사용자 단말(100)의 위치 정보, 또는 주변 와이파이로부터 수신한 RSSI 정보를 쇼 관리 CMS(23)로 전송하여 동기화 서버 부(10)가 항상 AR 플레이어(101)의 위치를 확인할 수 있게 한다. 쇼가 시작되면 AR 플레이어(101)는 쇼를 구성하는 좌표 마커의 위치와 자신의 위치를 확인하여 가시거리, 즉 쇼 실행 가능 거리 이내일 경우 3D 렌더링을 시작하며, 좌표 마커가 시야각 내에 포함되지 않을 경우에 AR 플레이어(101)의 디스플레이 상에 좌표 마커가 시야에 들어오도록 안내하는 가이드를 표시할 수 있다. 쇼 시작 시점이 가시거리 내에 포함되지 않을 경우 AR 플레이어(101)는 쇼 시작 지점(좌표 마커의 좌표)으로의 네비게이션 안내를 디스플레이 상에 표시하여 체험자가 쇼를 관람할 수 있는 지점으로 안내할 수 있다. 이를 통해 사용자가 쇼의 가시거리 이내로 진입할 경우 동기화 서버 부(10)의 제어 채널에 접속하고 좌표 마커 정보와 자신의 위치 정보를 초기와 및 동기화한 후 3D 렌더링을 수행하여 합성된 증강현실 쇼를 표시한다.
사용자 단말(100)은 영상의 촬영을 위한 촬영 장치, 그리고 증강현실 콘텐츠를 표시하는 표시 장치를 구비할 수 있다. 예를 들어, 사용자 단말(100)은 스마트 폰과 같은 휴대형 통신 장치일 수 있다.
본 발명에 따르면, 일반적인 증강현실 기술에서 사용하는 카메라를 통해 인식되는 이미지 상의 마커가 아니라, 공간상의 좌표가 마커로 사용된다. 그리고 증강현실의 기동이 사용자 단말(100)의 현재 위치 정보에 대한 인식 및 좌표 마커로부터 미리 정해진 거리 범위 내에 위치하는지 여부의 판단에 따라 이루어진다. 또한 좌표 마커는 특정 위치에 고정되는 것이 아니라 이동 가능할 수 있다. 예를 들어, 동기화 서버 부(10)의 3D 모델 애니메틱 로더(12)는 좌표 마커를 이동시킬 수 있다. 이에 의해 실제 모델이 움직이는 형태의 영상을 연출할 수 있다. 이는 해당 좌표 상에 매핑되어 렌더링 되는 3D 모델이 좌표 마커의 이동에 따라 3D 모델의 애니메이션과 연계되어 입체적인 영상으로 구현될 수 있다. 좌표 마커의 정보는 실시간으로 사용자 단말(100)의 AR 플레이어(101)에 전송되며 이를 기반으로 3D 모델링의 실시간으로 렌더링된 이미지가 표시될 수 있다.
도 2는 본 발명의 실시예에 다른 증강현실 콘텐츠 제공 방법이 실외 공간에서 구현되는 경우를 설명하기 위한 도면이고, 도 3은 본 발명의 실시예에 다른 증강현실 콘텐츠 제공 방법이 인위적으로 만들어진 실내 공간에서 구현되는 경우를 설명하기 위한 도면이다. 증강현실 콘텐츠가 실외 공간에서 구현되는 경우, 좌표 마커는 경도 및 위도, 3D 모델 식별자, 3D 모델의 크기(가로, 세로, 높이), 3D 모델의 방위, 타임 스탬프를 포함할 수 있다. 한편, 증강현실 콘텐츠가 실내 공간에서 구현되는 경우, 좌표 마커는 공간 상의 X 및 Y 좌표, 3D 모델 식별자, 3D 모델의 크기(가로, 세로, 높이), 3D 모델의 방위, 타임 스탬프를 포함할 수 있다. 이러한 정보들은 최초에 쇼가 시작될 때 3D의 가상 좌표계에서의 위치의 기준이 될 수 있고 실제 렌더링 된 결과가 표시되는 기준이 될 수 있다. 이런 이유로 편집 시에는 좌표 마커와 실제 3D 모델을 매칭하여 공산 상에 배치하여 편집할 수 있다.
한편, 본 발명에 따르면, 좌표 마커가 복수로 구비될 수 있으며, 이들 복수의 좌표 마커는 하나의 쇼에 그룹화되어 관리될 수 있다. 이때 각 좌표 마커는 가상 세계에서의 하나의 3D 모델로 매핑되어 실제 사용자 단말에서 표출될 때는 각각 좌표 마커의 위치에 3D 모델을 위치시켜 렌더링을 하여 표시될 수 있다.
한편, 본 발명에 따르면, 실시간 좌표 마커의 추적 기능이 구현될 수 있다. 쇼에 참여한 사용자 단말(100)은 좌표 마커 상의 좌표에 렌더링 된 이미지를 합성해야 한다. 이때, GPS 좌표계에서는 현재 사용자 단말의 좌표와 좌표 마커의 좌표를 Harversine 알고리즘을 이용하여 미터 단위의 거리로 구할 수 있다. 또한 사용자 단말의 좌표로부터 좌표 마커의 좌표의 방위각을 구할 수 있다. 예를 들어, 사용자 단말의 좌표와 좌표 마커의 좌표 사이의 거리 값, 및 사용자 단말의 좌표로부터 좌표 마커의 좌포의 방위각 값을 이용하여 3D 엔진 상에 가상 공간에서 y축을 진북으로 하여 임의의 좌표를 사용자의 좌표를 매핑하고 방위각과 거리를 이용하여 좌표 마커의 좌표를 가상 공간 상에 매핑하여 설정할 수 있다. 한편, WIFI를 이용한 LBS 좌표계일 경우에는 좌표계가 X, Y축 기반으로 이루어져 있으므로 공간 상의 X, Y 좌료를 미터 기준으로 설정하고 3D 엔진 상의 좌표계도 미터 기준으로 설정할 수 있다. 그리고 좌표 마커의 좌표와 사용자의 좌표 값은 실제 좌표를 사용하여 3D 엔진 상의 좌표에 각각 매핑하여 설정할 수 있다. 사용자 단말(100)에는 좌표 설정을 위한 데이터를 얻기 위한 자이로스코프, 엑셀로미터, 콤파스, 카메라 등이 구비될 수 있다.
3D 가상 공간에 좌표 마커의 좌표의 사용자 단말의 좌표를 가상 공간 좌표로 변환한 후 도 3에 도시된 바와 같이 좌표 마커에 가상현실 3D 모델을 배치한다.
좌표 마커의 3D 모델의 위치와 사용자 단말(100)의 카메라로부터 획득한 이미지의 좌표를 합성한다. 현실 상의 좌표와 가상 공간 상의 좌표계는 1:1 비율로 설정될 수 있기 때문에 3D 엔진 상에서의 카메라 뷰(view)로부터 렌더링 된 이미지를 얻기 위해서 다음의 일련의 절차를 통해서 사전 작업의 수행과 렌더링, 후처리 및 합성을 수행하여 최종 결과물을 사용자 단말의 디스플레이 상에 표시한다.
1. 카메라의 촬영 프레임 레이트를 30fps로 설정하고 3D 엔진에서의 렌더링 프레임 레이트를 30fps로 설정한다.
2. 사용자의 모바일 기기의 콤파스 및 엑셀로미터를 이용하여 실제 사용자의 시선의 수평 방위각과 수직 기울기를 구한다.
3. 카메라로부터 실제 획득되는 이미지의 해상도와 수평 시야각, 수직 시야각을 얻어서 3D 엔진 상의 카메라에 시야각을 설정한다.
4. 실시간 시야의 수평 방위각과 수직 기울기 값을 실시간으로 3D 엔진 상의 카메라 뷰에 동기화한다. 이러한 과정을 거치게 되면, 실제 사용자의 모바일 단말의 카메라로부터 획득하는 이미지와 3D 엔진으로부터 획득한 렌더링 된 이미지는 동일한 시야각, 방위각을 가지게 되며, 카메라로부터 획득된 이미지 위에 렌더링 된 이미지를 겹쳤을 때 좌표의 매칭이 적절하게 이루어질 수 있다.
5. 렌더링 된 이미지는 실시간으로 합성되어야 하므로 3D 가상 공간 구성 시 좌표 마커에 매핑이 된 모델의 텍스쳐를 제외한 바닥 및 벽 구조물의 텍스쳐는 단일 색상으로 할당하고 크로마키 기법을 활용하여 해당 색상을 투명 처리한 후 카메라로부터 획득한 이미지의 합성하는 표시한다.
한편, 쇼에 참가한 사용자 단말들의 사용자는 동일한 시각에 시작한 쇼에 대해서 동시에 시청할 수 있으며 진행 중간에 참여한 사용자 단말의 사용자는 쇼의 중간 부분부터 시청하게 된다. 이는 극장의 영화 상영 중에 입장한 관람객의 경우와 동일하다. 실시간 동기화의 경우 참여자들은 모두 같은 쇼를 보게 되며 이때 각 참여자 사이의 다른 점은 각 참여자의 위치에 따른 증강현실 이미지의 뷰(view)의 차이에 따른 시각적인 차이이다.
이러한 동시 시청의 기능을 위해 타임 스탬프를 통한 애니메이션 제어를 통한 동기화가 사용된다. 쇼 시작 전에 배포된 3D 모델 및 애니메이션 데이터를 이용하여 쇼 시작 명령을 받고 좌표 마커의 위치와 방위에 따라 모델링 데이터를 이용하여 배치한다. 동기화 서버 부(10)는 쇼가 시작되기 전 해당 쇼의 설정 프레임 레이트를 읽어 틱(tick) 주기를 설정할 수 있고, 또한 쇼를 구성하는 좌표 마커와 그에 해당하는 애니메이션을 로드하여 각각의 좌표 정보를 획득한다.
쇼가 시작되면 동기화 서버 부(10)는 쇼에 참가한 사용자 단말과 자신과의 시간 차이를 주고받아 참자가들의 시간을 동기화 서부 부(10)의 시간과 동기화한다. 또한 각 동기화 서버 부(10)는 각각 좌표 마커의 아이디와 좌표 마커의 좌표 방위 정보를 전송하여 참여자의 플레이어가 초기화되도록 한다. 이는 쇼가 시작된 이후에 참여한 참가자에 대해서도 동일하게 수행된다.
쇼가 시작되고 참가자와 시간 정보를 이후 동기화 서버 부(10)는 사전에 설정한 프레임 레이트에 맞춰 쇼 시작 이후 오프셋 타임 스탬프와 애니메이션 상의 좌표 마커의 좌표 방위를 참가한 사용자 단말로 전송한다. 이를 수신한 사용자 단말(100)의 AR 플레이어(101)는 현재 플레이할 애니메이션의 타임 스탬프와 비교하여 이미 지나간 프레임이면 스킵하고 다음 프레임을 읽어서 플레이한다. 한편, AR 플레이어(101)는 수신한 타임 스탬프보다 현재 플레이하는 프레임이 더 나중일 경우 현재 프레임을 표시하고 프레임을 버리지 않고 다음에 사용할 프레임을 현재의 프레임으로 설정한다. 또한 AR 플에이어(101)는 타임 스탬프 조건에 맞춰 프레임을 그릴 때 애니메이션 상의 3D 모델링의 폴리곤에 맞춰 모델을 설정할 수 있고 타임 스탬프와 같이 수신한 각 좌표 마커의 좌표와 방위에 맞춰 각 좌표 마커의 위치 방위를 조절하고 사용자의 움직임의 좌표 및 시선의 방위각, 수직 기울기를 3D 엔진 상의 카메라 뷰에 설정한 후 렌더링 하여 현재의 이미지를 작성한 후 카메라로부터 수신한 이미지에 합성할 수 있다.
위에서 설명한 바와 같이 본 발명에 따르면 야외 또는 실내 공간 상에서 특정 위치에서 참여한 모든 사용자들이 같은 증강현실 이미지를 각각의 위치에 따른 다른 시야각 뷰로 동시에 관람할 수 있다.
이상에서 본 발명의 실시예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명의 실시예로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 용이하게 변경되어 균등한 것으로 인정되는 범위의 모든 변경 및 수정을 포함한다.
10: 동기화 서버 부
11: 로케이션 서버
12: 3D 애니메릭 로더
13: 쇼 스케쥴러
14: 틱 제네레이터
15: 수신부
16: 송신부
20: 관리 서버 부
21: 쇼 DB
22: 맵/좌표 DB
23: 쇼 관리 CMS
30: 관리 UI 부
31: 웹 브라우저
32: 쇼 편집 UI
11: 로케이션 서버
12: 3D 애니메릭 로더
13: 쇼 스케쥴러
14: 틱 제네레이터
15: 수신부
16: 송신부
20: 관리 서버 부
21: 쇼 DB
22: 맵/좌표 DB
23: 쇼 관리 CMS
30: 관리 UI 부
31: 웹 브라우저
32: 쇼 편집 UI
Claims (8)
- 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하는 증강현실 콘텐츠 제공 장치로서,
증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부, 그리고
상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부를 포함하며,
상기 관리 서버 부는 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하고,
상기 동기화 서버 부는 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행되도록 작동하는
증강현실 콘텐츠 제공 장치. - 제1항에서,
상기 동기화 서버 부는 상기 좌표마커를 상기 증강현실 공간 내에서 이동시키면서 상기 증강현실 쇼가 구현될 수 있도록 구성되는 증강현실 콘텐츠 제공 장치. - 제1항에서,
상기 동기화 서버 부는 상기 좌표마커로부터 일정 거리 이내에 위치하는 복수의 사용자 단말과 동시에 시간 동기화를 수행하고,
상기 관리 서버 부는 상기 시간 동기화가 이루어진 상기 복수의 사용자 단말 모두로 증강현실 쇼를 위한 쇼 데이터를 전송하는 증강현실 콘텐츠 제공 장치. - 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하기 위해 증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부와 상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부를 포함하는 증강현실 콘텐츠 제공 장치를 이용하는 증강현실 콘텐츠 제공 방법으로서,
상기 관리 서버 부가 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하는 단계, 그리고
상기 동기화 서버 부가 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행시키는 단계를 포함하는 증강현실 콘텐츠 제공 방법. - 제4항에서,
상기 동기화 서버 부가 상기 증강현실 쇼가 진행되는 중 상기 좌표마커를 상기 증강현실 공간 내에서 이동시키는 단계를 더 포함하는 증강현실 콘텐츠 제공 방법. - 제4항에서,
상기 동기화 서버 부가 상기 좌표마커로부터 일정 거리 이내에 위치하는 복수의 사용자 단말과 동시에 시간 동기화를 수행하는 단계, 그리고
상기 관리 서버 부가 상기 시간 동기화가 이루어진 상기 복수의 사용자 단말 모두로 증강현실 쇼를 위한 쇼 데이터를 전송하는 단계를 더 포함하는 증강현실 콘텐츠 제공 방법. - 증강현실 공간에 위치하는 복수의 사용자 단말과의 통신을 통해 증강현실 쇼를 구현하는 증강현실 콘텐츠 제공 장치로서,
증강현실 쇼에 대한 데이터, 상기 증간현실 공간의 맵 및 좌표 데이터를 포함하고 증강현실 쇼를 관리하는 관리 서버 부,
상기 증강현실 쇼의 진행을 위해 상기 사용자 단말과의 시간 동기화를 하는 동기화 서버 부, 그리고
상기 증강현실 공간에서 상기 동기화 서버 부와 시간 동기화가 이루어지고 상기 관리 서버 부로부터 상기 증강현실 쇼를 위한 콘텐츠 데이터를 전송받아 표시하는 사용자 단말을 포함하며,
상기 관리 서버 부는 상기 증강현실 공간 상의 특정 지점에 대한 좌표로 설정된 좌표마커 및 증강현실 콘텐츠 데이터를 배포하고,
상기 동기화 서버 부는 상기 복수의 사용자 단말로부터 위치 및 움직임에 대한 정보를 수신하여 상기 복수의 사용자 단말 중 상기 좌표마커에 해당하는 좌표에 일정 거리 이내로 접근한 사용자 단말과의 시간 동기화를 통해 상기 증강현실 쇼가 진행되도록 작동하는
증강현실 콘텐츠 제공 장치. - 제7항에서,
상기 사용자 단말은
영상 촬영 장치, 그리고
상기 사용자 단말은 상기 영상 촬영 장치에 의해 촬영된 영상 상에서 상기 좌표마커에 해당하는 지점에 상기 콘텐츠 데이터를 합성하여 표시하는 증강현실 플레이어를 포함하는 증강현실 콘텐츠 제공 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180009331A KR20190090533A (ko) | 2018-01-25 | 2018-01-25 | 공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법 |
| PCT/KR2018/001475 WO2019146830A1 (ko) | 2018-01-25 | 2018-02-05 | 공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180009331A KR20190090533A (ko) | 2018-01-25 | 2018-01-25 | 공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190090533A true KR20190090533A (ko) | 2019-08-02 |
Family
ID=67396143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180009331A KR20190090533A (ko) | 2018-01-25 | 2018-01-25 | 공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20190090533A (ko) |
| WO (1) | WO2019146830A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115834867A (zh) * | 2022-10-31 | 2023-03-21 | 那家全息互动(深圳)有限公司 | 用于混合现实的本地多设备快速空间锚点同步方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101380854B1 (ko) | 2013-03-21 | 2014-04-04 | 한국과학기술연구원 | 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법 |
| KR20160020033A (ko) | 2014-08-12 | 2016-02-23 | 전자부품연구원 | 모바일 단말을 이용한 증강현실 기반의 항공 경로 안내 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100963238B1 (ko) * | 2008-02-12 | 2010-06-10 | 광주과학기술원 | 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법 |
| KR20120125938A (ko) * | 2011-05-09 | 2012-11-19 | 에릭슨 엘지 주식회사 | 가상현실 구현 방법 및 그를 위한 이동통신 시스템 |
| KR20130068463A (ko) * | 2011-12-15 | 2013-06-26 | 주식회사 유프레스토 | 위치 기반 정보 서비스를 이용한 역사 정보 제공 시스템 및 방법 |
| KR20140056562A (ko) * | 2012-10-29 | 2014-05-12 | 홍지명 | 복수의 모바일 단말을 이용한 영상 생성 방법 및 시스템 그 기록매체, 모바일 단말 |
| US20160133230A1 (en) * | 2014-11-11 | 2016-05-12 | Bent Image Lab, Llc | Real-time shared augmented reality experience |
-
2018
- 2018-01-25 KR KR1020180009331A patent/KR20190090533A/ko active Search and Examination
- 2018-02-05 WO PCT/KR2018/001475 patent/WO2019146830A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101380854B1 (ko) | 2013-03-21 | 2014-04-04 | 한국과학기술연구원 | 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법 |
| KR20160020033A (ko) | 2014-08-12 | 2016-02-23 | 전자부품연구원 | 모바일 단말을 이용한 증강현실 기반의 항공 경로 안내 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019146830A1 (ko) | 2019-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10277813B1 (en) | Remote immersive user experience from panoramic video | |
| US10602121B2 (en) | Method, system and apparatus for capture-based immersive telepresence in virtual environment | |
| US9216347B2 (en) | Portable device, virtual reality system and method | |
| US6583808B2 (en) | Method and system for stereo videoconferencing | |
| CN100426218C (zh) | 信息处理方法和设备 | |
| US20040041822A1 (en) | Image processing apparatus, image processing method, studio apparatus, storage medium, and program | |
| US10022626B2 (en) | Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method, for performing augmented reality | |
| WO2012029576A1 (ja) | 複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム | |
| JP2000165831A (ja) | 多地点テレビ会議システム | |
| US10049496B2 (en) | Multiple perspective video system and method | |
| US10386633B2 (en) | Virtual object display system, and display control method and display control program for the same | |
| JP6739611B1 (ja) | 授業システム、視聴端末、情報処理方法及びプログラム | |
| US10803652B2 (en) | Image generating apparatus, image generating method, and program for displaying fixation point objects in a virtual space | |
| KR20110006976A (ko) | 전시관용 인터렉티브제어시스템 | |
| KR20190090533A (ko) | 공간상 좌표를 마커로 활용하는 실시간 동기화된 증강현실 콘텐츠 제공 장치 및 방법 | |
| US11847715B2 (en) | Image processing apparatus, image distribution system, and image processing method | |
| KR101770188B1 (ko) | 혼합 현실 체험 공간 제공 방법 및 시스템 | |
| CN109427095B (zh) | 一种显示混合现实场景的方法及系统 | |
| CN113093915A (zh) | 多人互动的控制方法、装置、设备及存储介质 | |
| JP2022043909A (ja) | コンテンツ提示装置、及びプログラム | |
| CN108574833B (zh) | 一种投影系统、方法和服务器 | |
| JP6916896B2 (ja) | 情報処理装置および画像生成方法 | |
| JP7129283B2 (ja) | 処理装置、制御方法、及びプログラム | |
| CN109474819B (zh) | 图像的呈现方法及装置 | |
| JP2001175886A (ja) | 仮想空間表示方法およびその表示プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment |