KR20220125536A - 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템 및 동작방법 - Google Patents
가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템 및 동작방법 Download PDFInfo
- Publication number
- KR20220125536A KR20220125536A KR1020210029491A KR20210029491A KR20220125536A KR 20220125536 A KR20220125536 A KR 20220125536A KR 1020210029491 A KR1020210029491 A KR 1020210029491A KR 20210029491 A KR20210029491 A KR 20210029491A KR 20220125536 A KR20220125536 A KR 20220125536A
- Authority
- KR
- South Korea
- Prior art keywords
- reality user
- augmented reality
- virtual reality
- user terminal
- interaction service
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 183
- 230000003993 interaction Effects 0.000 title claims abstract description 158
- 238000011017 operating method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000001360 synchronised effect Effects 0.000 claims description 35
- 238000000691 measurement method Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 abstract description 9
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Human Computer Interaction (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
디지털 트윈 기술로 구축된 가상 공간을 기반으로 가상현실 사용자와 증강현실 사용자간에 다양한 상호 인터랙션 서비스를 제공해 주도록 하는 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 장치 및 시스템을 제시한다. 가상현실 공간에서 수행되는 증강현실 사용자와의 상호 인터랙션을 처리하는 가상현실 사용자 단말, 증강현실 공간에서 수행되는 가상현실 사용자와의 상호 인터랙션을 처리하는 증강현실 사용자 단말 및 상기 가상현실 사용자 단말 및 상기 증강현실 사용자 단말의 위치 및 좌표계 동기화에 기초하여, 상기 가상현실 사용자 단말을 통해 가상현실 공간에서 수행되는 증강현실 사용자와의 상호 인터랙션 서비스를 제공하고, 상기 증강현실 사용자 단말을 통해 증강현실 공간에서 수행되는 가상현실 사용자와의 상호 인터랙션 서비스를 제공하는 서버를 포함한다.
Description
본 발명은 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 장치 및 시스템에 관한 것으로, 보다 상세하게는 디지털 트윈 기술을 기반으로 가상현실 사용자와 증강현실 사용와의 상호 인터랙션 서비스를 제공해 줄 수 있는 시스템 및 그 동작방법에 관한 것이다.
인간의 경험을 공유하고 확장하는 도구로써 최근 가상현실(Virtual Reality: VR)과 증강현실(Augmented Reality: AR)이 주목을 받고 있다.
가상현실(VR)은 배경과 객체로 구성된 가상의 이미지로 가상공간을 만들어내지만, 증강현실(AR)은 현실의 이미지에 3차원 가상 이미지를 겹쳐 하나의 영상으로 보여주는 기술이다.
가상현실 애플리케이션은 가상현실용 안경, 모션 인식장치 등 별도의 장비를 통해 전달된 사용자의 행위에 따라 가상의 공간에서 상호작용하며 사용자에게 체험환경을 제공한다. 증강현실 애플리케이션은 현실 세계의 객체와 가상의 객체가 상호작용하여 현실감이 높다.
최근에는 3차원 렌더링(Rendering) 등 컴퓨터 그래픽스(Computer Graphics) 기술, 고속/병렬 처리 기술 등 소프트웨어 및 하드웨어 기술의 발전으로 인해, 가상현실 및 증강현실 기술이 이용된 다양한 애플리케이션들이 개발되고 있다. 게임, 산업 등 다양한 업계에서도 가상현실과 증강현실 기술들을 이용한 애플리케이션 개발에 관심을 갖고 있다.
본 발명은 상기한 종래의 사정을 감안하여 제안된 것으로, 디지털 트윈 기술로 구축된 가상 공간을 기반으로 가상현실 사용자와 증강현실 사용자간에 다양한 상호 인터랙션 서비스를 제공해 주도록 하는 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템 및 그 동작 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템은, 가상현실 공간에서 수행되는 증강현실 사용자와의 상호 인터랙션을 처리하는 가상현실 사용자 단말; 증강현실 공간에서 수행되는 가상현실 사용자와의 상호 인터랙션을 처리하는 증강현실 사용자 단말; 및 상기 가상현실 사용자 단말을 통해 가상현실 공간에서 수행되는 증강현실 사용자와의 상호 인터랙션 서비스를 제공하고, 상기 증강현실 사용자 단말을 통해 증강현실 공간에서 수행되는 가상현실 사용자와의 상호 인터랙션 서비스를 제공하는 서버;를 포함한다.
상기 서버는, 상기 가상현실 사용자 단말 및 증강현실 사용자 단말의 위치와 좌표계를 각각 서로 동기화시켜 상기 가상현실 사용자 단말 및 증강현실 사용자 단말에게로 전송하고, 서로 동기화된 위치 정보가 속해 있는 해당 지역의 디지털 트윈 영상을 기저장된 디지털 트윈 영상에서 추출하여 상기 가상현실 사용자 단말 및 증강현실 사용자 단말에게로 전송할 수 있다.
상기 가상현실 사용자 단말은, 상기 가상현실 사용자의 현재 위치를 추적하는 위치 추적부; 및 상기 가상현실 사용자와 증강현실 사용자간의 동기화된 위치 및 좌표계 정보를 수신함에 따라, 서로의 위치가 동기화된 증강현실 사용자의 캐릭터를 서로 동기화된 좌표계에 근거하여 표시부상에 화면표시하는 인터랙션 서비스 제공부;를 포함할 수 있다. 이때, 상기 위치 추적부는, 통신 기지국을 통한 위도 및 경도 위치 측정 기법으로 해당 가상현실 사용자의 현재 위치를 실시간으로 추적하는 LBS 모듈부; 위성을 통한 위도 및 경도 위치 측정 기법으로 해당 가상현실 사용자의 현재 위치를 실시간으로 추적하는 GPS 모듈부; 및 상기 LBS 모듈부로부터의 LBS 좌표값과 상기 GPS 모듈부로부터의 GPS 좌표값의 오차를 지속적으로 연산하여 보정하는 오차 보정부;를 포함할 수 있다. 상기 위치 추적부는, 해당 가상현실 사용자의 위치를 추적함에 있어서 최초 LBS로 추적하고, LBS로 추적이 불가능할 경우에는 GPS로 추적할 수 있다.
상기 증강현실 사용자 단말은, 상기 증강현실 사용자의 현재 위치를 추적하는 위치 추적부; 및 상기 가상현실 사용자와 증강현실 사용자간의 동기화된 위치 및 좌표계 정보를 수신함에 따라, 서로의 위치가 동기화된 가상현실 사용자의 캐릭터를 서로 동기화된 좌표계에 근거하여 표시부상에 화면표시하는 인터랙션 서비스 제공부;를 포함할 수 있다. 이때, 상기 위치 추적부는 통신 기지국을 통한 위도 및 경도 위치 측정 기법으로 해당 증강현실 사용자의 현재 위치를 실시간으로 추적하는 LBS 모듈부; 위성을 통한 위도 및 경도 위치 측정 기법으로 해당 증강현실 사용자의 현재 위치를 실시간으로 추적하는 GPS 모듈부; 및 상기 LBS 모듈부로부터의 LBS 좌표값과 상기 GPS 모듈부로부터의 GPS 좌표값의 오차를 지속적으로 연산하여 보정하는 오차 보정부;를 포함할 수 있다. 상기 위치 추적부는 해당 증강현실 사용자의 위치를 추적함에 있어서 최초 LBS로 추적하고, LBS로 추적이 불가능할 경우에는 GPS로 추적할 수 있다.
한편, 인터랙션 서비스 제공 시스템의 동작 방법은, 서비스 대상지역에 대해 3D 모델링한 가상공간 디지털 트윈 영상을 구축하는 단계와, 가상공간 VR씬의 좌표를 현실세계의 위도 경도 좌표에 대입하여 좌표계를 맵핑시키고, 씬의 대입 비율을 맞추는 단계와, AR 사용자에게 서비스를 제공하기 위한 지역에 대응된 디지털 트윈 영상(VR 씬)을 로드시키고, 해당 채널에 접속된 VR 캐릭터와 AR 클라이언트 캐릭터를 VR 씬에 로드시키며, VR 캐릭터는 AR 화면에 로드시키는 단계와, VR 캐릭터와 AR 클라이언트 위치를 추적하여 VR씬의 VR 캐릭터와 AR클라이언트 캐릭터 및 AR 화면의 VR캐릭터의 위치를 동기화시키는 단계와, 위치가 출력된 VR캐릭터와 AR 클라이언트 캐릭터간의 네트워크를 통한 행동값을 주고받아 인터렉션 서비스를 제공하는 단계를 포함한다.
상기 동기화시키는 단계는, 증강현실 사용자 단말의 LBS 좌표로 위치를 추적하여 출력하되, GPS 좌표값을 계속 측정하고 기록하며, LBS 출력값과 GPS 측정값의 오차를 지속적으로 연산하여 프로그램 구동 이후 둘의 평균 오차율을 예측하고, 기지국 사이에 연결이 끊어졌다가 다시 접속되는 LBS 측정이 불가한 시간동안에 상기 예측값을 대입하여 위치 출력이 이어지도록 유지한다.
상기 인터렉션 서비스를 제공하는 단계는, 음성대화, 모션, 채팅, 이동을 포함하는 행동값을 상호 인터렉션 서비스로 제공한다.
또한, 하나의 채널의 VR씬에 VR캐릭터와 적어도 하나 이상의 AR클라이언트 캐릭터를 표시할 때, 미니맵을 더 포함시키고, VR씬에 대응된 미니맵에 모든 캐릭터들의 위치를 추적표시할 수 있다.
이러한 구성의 본 발명에 따르면, 디지털 트윈 기술로 구축된 가상 공간을 기반으로 가상현실 사용자와 증강현실 사용자간에 다양한 상호 인터랙션 서비스가 가능하므로, 사용자의 만족도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템의 구성도이다.
도 2는 도 1에 도시된 가상현실 사용자 단말의 내부 구성도이다.
도 3 및 도 4는 도 1에 도시된 가상현실 사용자 단말에 표시되는 화면예들이다.
도 5는 도 1에 도시된 증강현실 사용자 단말의 내부 구성도이다.
도 6 및 도 7은 도 1에 도시된 증강현실 사용자 단말에 표시되는 화면예들이다.
도 8은 도 1에 도시된 서버의 내부 구성도이다.
도 2는 도 1에 도시된 가상현실 사용자 단말의 내부 구성도이다.
도 3 및 도 4는 도 1에 도시된 가상현실 사용자 단말에 표시되는 화면예들이다.
도 5는 도 1에 도시된 증강현실 사용자 단말의 내부 구성도이다.
도 6 및 도 7은 도 1에 도시된 증강현실 사용자 단말에 표시되는 화면예들이다.
도 8은 도 1에 도시된 서버의 내부 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템의 구성도이다.
본 발명의 실시예에 따른 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템은, 가상현실 사용자 단말(10), 증강현실 사용자 단말(20), 네트워크(30), 및 서버(40)를 포함할 수 있다.
가상현실 사용자 단말(10)은 가상현실(Virtual Reality; VR) 공간을 통해 수행되는 가상현실 서비스를 제공할 수 있다.
특히, 가상현실 사용자 단말(10)은 가상현실(Virtual Reality; VR) 공간에서 수행되는 증강현실 사용자(즉, 증강현실 사용자 단말(20))와의 상호 인터랙션을 처리할 수 있다.
가상현실 사용자 단말(10)은 증강현실 사용자와의 상호 인터랙션이 가능한 서비스 앱을 서버(40)로부터 다운로드받아서 사용할 수 있다.
가상현실 사용자 단말(10)은 상호 인터랙션을 수행하는 증강현실 사용자의 캐릭터(예컨대, 3차원 객체)를 증강현실 사용자의 현재 위치를 기반으로 화면에 표시할 수 있다.
증강현실 사용자 단말(20)은 증강현실(Augmented Reality; AR) 공간을 통해 수행되는 증강현실 서비스를 제공할 수 있다.
특히. 증강현실 사용자 단말(20)은 증강현실(Augmented Reality; AR) 공간에서 수행되는 가상현실 사용자(즉, 가상현실 사용자 단말(10))와의 상호 인터랙션을 처리할 수 있다.
증강현실 사용자 단말(20)은 가상현실 사용자와의 상호 인터랙션이 가능한 서비스 앱을 서버(40)로부터 다운로드받아서 사용할 수 있다.
증강현실 사용자 단말(20)은 상호 인터랙션을 수행하는 가상현실 사용자의 캐릭터(예컨대, 3차원 객체)를 가상현실 사용자의 현재 위치를 기반으로 화면에 표시할 수 있다.
상술한 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)은 휴대용 단말기 또는 휴대용 컴퓨터로 구현될 수 있다. 여기서, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 휴대용 컴퓨터는 노트북, 랩톱(laptop) 등을 포함할 수 있다.
또한, 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)은 스마트폰, 스마트 노트, 태블릿 PC, 웨어러블(wearable) 컴퓨터 등의 각종 스마트 기기일 수도 있다.
한편, 상술한 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)은 네트워크(30)를 통해 서버(40)에 접속할 수 있다.
여기서, 네트워크(30)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network;WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크로 구현될 수 있다. 한편으로, 네트워크(30)는 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. 필요에 따라서, 네트워크(30)는 유선 및 무선이 혼용된 네트워크일 수 있다.
서버(40)는 가상현실 사용자 단말(10)을 통해 가상현실 공간에서 수행되는 증강현실 사용자와의 상호 인터랙션 서비스를 제공할 수 있다.
또한, 서버(40)는 증강현실 사용자 단말(20)을 통해 증강현실 공간에서 수행되는 가상현실 사용자와의 상호 인터랙션 서비스를 제공할 수 있다.
특히, 서버(40)는 가상현실 사용자와 증강현실 사용자간의 상호 인터랙션을 위해 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)의 현재 위치 및 좌표계를 서로 동기화시켜 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)에게로 전송할 수 있다.
그에 따라, 가상현실 사용자와 증강현실 사용자가 상호 인터랙션을 하는 동안에는, 가상현실 사용자 단말(10)에는 디지털 트윈 영상과 상대방(즉, 증강현실 사용자)의 캐릭터(3차원 모델)가 표시되고, 증강현실 사용자 단말(20)에는 카메라 영상(배경 영상)과 상대방(즉, 가상현실 사용자)의 캐릭터(3차원 모델)가 표시된다.
또한, 가상현실 사용자와 증강현실 사용자가 상호 인터랙션을 하는 동안에 어느 사용자가 이동하게 되면 각각의 단말에 화면표시되는 영상 및 상대방 캐릭터 역시 해당 사용자의 이동 위치에 따라 이동될 수 있다.
도 1에는 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)을 하나씩 도시하였으나, 실질적으로 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)은 각각 다수개가 있는 것으로 보아야 한다.
도 2는 도 1에 도시된 가상현실 사용자 단말의 내부 구성도이고, 도 3 및 도 4는 도 1에 도시된 가상현실 사용자 단말에 표시되는 화면예들이다.
가상현실 사용자 단말(10)은 위치 추적부(11), 인터랙션 서비스 제공부(12), 및 표시부(13)를 포함할 수 있다.
위치 추적부(11)는 가상현실 사용자의 현재 위치를 추적한다.
위치 추적부(11)는 LBS 모듈부(11a), GPS 모듈부(11b), 및 오차 보정부(11c)를 포함할 수 있다.
LBS 모듈부(11a)는 통신 기지국을 통한 위도 및 경도 위치 측정 기법으로 해당 가상현실 사용자의 현재 위치를 실시간으로 추적할 수 있다.
LBS 모듈부(11a)는 해당 가상현실 사용자에 대한 LBS 좌표값(예컨대, XYZ)을 출력한다.
GPS 모듈부(11b)는 위성을 통한 위도 및 경도 위치 측정 기법으로 해당 가상현실 사용자의 현재 위치를 실시간으로 추적할 수 있다.
GPS 모듈부(11b)는 해당 가상현실 사용자에 대한 GPS 좌표값(예컨대, XYZ)을 출력한다.
오차 보정부(11c)는 LBS 모듈부(11a)로부터의 LBS 좌표값과 GPS 모듈부(11b)로부터의 GPS 좌표값의 오차를 지속적으로 연산하여 보정할 수 있다.
다시 말해서, 위치 추적부(11)는 해당 가상현실 사용자의 위치를 추적함에 있어서 최초 LBS 모듈부(11a)로 추적하고, LBS 모듈부(11a)로 추적이 불가능할 경우에는 GPS 모듈부(11b)로 추적한다. 즉, 위치 추적부(11)는 LBS를 기준으로 해당 가상현실 사용자의 위치를 추적하되, GPS의 값은 뒤에서 계속 측정하고 기록한다.
또한, 위치 추적부(11)는 LBS 좌표값과 GPS 좌표값의 오차를 지속적으로 연산하여 프로그램 구동 이후 둘의 평균 오차율을 예측, LBS 특성상 기지국 사이에 연결이 끊어졌다가 다시 접속되는 동안에 이 예측값을 대입하여 자연스럽게 위치 출력이 이어지도록 유지한다.
인터랙션 서비스 제공부(12)는 네트워크(30)를 통해 서버(40)에 접속하여 로그인할 수 있다.
인터랙션 서비스 제공부(12)는 위치 추적부(11)를 통해 현재의 접속 좌표 및 최종 기록 좌표를 확인할 수 있다. 이때, 인터랙션 서비스 제공부(12)는 GPS 및 LBS로 동시 체크가능하고, 최초 실행의 경우 디폴트를 로드한다.
인터랙션 서비스 제공부(12)는 최종 기록 좌표(예컨대, 선행에 마지막으로 서버(40)와의 접속을 종료한 좌표)를 포함하는 3차원 월드 씬(scene)을 생성할 수 있다. 여기서, 씬은 가상공간의 단위를 의미한다. 가상공간은 디지털 트윈(digital twin)으로 제작된 3차원 월드를 의미한다. 좌표는 씬내의 위치정보(X,Y,Z)를 의미한다. 디지털 트윈은 실제 장비 또는 공간을 가상 세계(3차원 세계)에 쌍둥이처럼 똑같이 구현하는 기술을 의미하는 것으로서, 현실 공간의 물리적 객체(실제 사물 등)들에 대한 디지털 복제를 의미한다.
인터랙션 서비스 제공부(12)는 최종 기록 좌표가 디지털 트윈 미구현 지역에 속하는 경우에는 "서비스지역 아님" 이라는 표시를 할 수 있고, 임의의 가상 씬으로 이동할 수 있다.
인터랙션 서비스 제공부(12)는 네트워크 채널로 입장할 수도 있고 네트워크 채널을 생성할 수도 있다. 예를 들어, 인터랙션 서비스 제공부(12)는 동일 월드 기준 빠른 입장이 가능하고, 해당 네트워크 채널로 입장한 참가자가 n명 이상일 경우에는 해당 월드로 새로운 네트워크 채널을 생성할 수 있다.
인터랙션 서비스 제공부(12)는 해당 가상현실 사용자의 캐릭터 정보를 로드할 수 있다. 이때, 인터랙션 서비스 제공부(12)는 3차원 모델, 복장, 소지금, 인벤토리 테이블 등을 로드할 수 있다.
인터랙션 서비스 제공부(12)는 최종 기록 좌표값과 일치하는 3차원 월드 씬 위에 VR HMD 위치를 대응시키고 해당 가상현실 사용자의 캐릭터(3차원 모델)를 생성할 수 있다.
인터랙션 서비스 제공부(12)는 1인칭 시점으로 해당 가상현실 사용자의 캐릭터 뿐만 아니라 주위를 3차원으로 표시부(13)에 표현할 수 있다. 또한, 인터랙션 서비스 제공부(12)는 1인칭 시점에 부가하여 핸드 모션 트래킹이 가능할 수 있고, PC 또는 모바일의 경우 지정된 디폴트 애니메이션을 재생할 수 있다.
인터랙션 서비스 제공부(12)는 이동 입력값에 따라 LBS 및 GPS 좌표의 변동을 기록할 수 있다. 예를 들어, 인터랙션 서비스 제공부(12)는 변동되는 LBS 좌표값 및 GPS 좌표값을 n초 간격으로 기록할 수도 있고, 기지국 타입에 따라 유동적으로 기록할 수도 있다. 한편, 인터랙션 서비스 제공부(12)는 기록되는 LBS 좌표값 및 GPS 좌표값을 각각 누적 10회만 저장할 수 있고, 11회 초과 기록은 자동 삭제할 수 있다. 여기서, LBS 좌표값은 통신 기지국을 통한 위도 및 경도 위치 측정 기법에 의한 좌표값을 의미하고, GPS 좌표값은 위성을 통한 위도 및 경도 위치 측정 기법에 의한 좌표값을 의미한다.
인터랙션 서비스 제공부(12)는 플레이어(예컨대, 네트워크 채널이 연결된 가상현실 사용자 및 증강현실 사용자)의 좌표가 서비스 범위를 벗어날 수 없도록 이동 제한을 할 수 있다. 예를 들어, 인터랙션 서비스 제공부(12)는 가상현실 사용자 및 증강현실 사용자간의 캐릭터 충돌을 체크할 수 있고, 플레이어의 워프(warp)는 예외 처리한다.
한편, 인터랙션 서비스 제공부(12)는 네트워크 채널을 스캔하여 참여 플레이어의 좌표값을 로드(예컨대, n초 간격으로 로드)할 수 있다.
인터랙션 서비스 제공부(12)는 네트워크 채널에 입장(참여)한 증강현실 사용자의 캐릭터 정보(예컨대, 외형 중심(3D 모델, 복장))를 로드할 수 있다.
인터랙션 서비스 제공부(12)는 최종 기록 좌표값과 일치하는 3차원 월드 씬 위에 해당 증강현실 사용자의 캐릭터(3D 모델)를 생성할 수 있다.
인터랙션 서비스 제공부(12)는 네트워크 채널 스캔 결과에 따른 증강현실 사용자의 좌표 변동을 체크할 수 있고, 그에 따라 해당 증강현실 사용자의 캐릭터의 출력 위치를 변경할 수 있다.
인터랙션 서비스 제공부(12)는 증강현실 사용자에 대한 새로운 좌표 기록 시 이전 출력값과 차이점을 비교할 수 있다.
인터랙션 서비스 제공부(12)는 증강현실 사용자의 좌표 변동 이벤트가 발생한 경우에는 해당 증강현실 사용자의 캐릭터(3D 모델)에 "이동 애니메이션"을 재생하고, 그에 따른 경로를 연결 처리할 수 있다.
인터랙션 서비스 제공부(12)는 증강현실 사용자의 새로운 좌표와 이전의 좌표간에 차이가 없는 경우 해당 증강현실 사용자의 캐릭터(3D 모델)에 "디폴트 애니메이션"을 재생할 수 있다. 해당 플레이어가 가상현실(VR)일 경우 HMD 및 핸드 트래킹 모션을 출력할 수 있다.
인터랙션 서비스 제공부(12)는 위치가 출력된 가상현실 사용자와 증강현실 사용자간 네트워크(30)를 통한 행동값을 주고 받아 서로의 인터랙션(예컨대, 음성대화, 모션, 채팅, 이동 등)을 발생시킨다.
인터랙션 서비스 제공부(12)는 LBS 좌표 인식 불가시 기록된 GPS 데이터를 로드한다. 한편, 인터랙션 서비스 제공부(12)는 GPS 데이터 로드도 불가능한 경우, 최종 기록값에 3D 모델을 출력하고 디폴트 애니메이션을 재생하거나 HMD 및 핸드 트래킹 모션을 출력할 수 있다.
인터랙션 서비스 제공부(12)는 기록된 GPS 10회의 좌표 변경 방향 및 평균 이동 속도를 연산할 수 있다.
인터랙션 서비스 제공부(12)는 LBS 좌표 인식 불가 상태의 3D 모델에 적용하여 좌표의 가상 이동 경로 생성 및 "이동 애니메이션"을 재생할 수 있다.
인터랙션 서비스 제공부(12)는 신규 LBS 좌표값 수신시 가상 경로 처리를 중지하고, 정상 출력 프로세스로 보정 프로세스에 덮어쓰기를 수행한다(즉, 기존 연산값 삭제).
인터랙션 서비스 제공부(12)는 최초 네트워크 채널 생성시 예컨대 "채널 생성"과 같은 시스템 메시지를 표시부(13)의 화면 중앙에 전체적으로 출력할 수 있다.
인터랙션 서비스 제공부(12)는 해당 채널 플레이어의 참가시 예컨대 "#name 참가"와 같은 시스템 메시지를 표시부(13)의 화면 중앙에 전체적으로 출력할 수 있다.
인터랙션 서비스 제공부(12)는
해당 채널 플레이어의 이탈시 예컨대 "#name 이탈"과 같은 시스템 메시지를 표시부(13)의 화면 중앙에 전체적으로 출력할 수 있다.
특히, 인터랙션 서비스 제공부(12)는 서버(40)로부터 가상현실 사용자와 증강현실 사용자간의 동기화된 위치 및 좌표계 정보를 수신함에 따라, 서로의 위치가 동기화된 가상현실 사용자의 캐릭터와 증강현실 사용자의 캐릭터를 서로 동일한 좌표계에 근거하여 표시부(13)상에 화면표시할 수 있다.
표시부(13)는 내 캐릭터 화면 시야각 기준(디폴트 : ±60도) 안쪽에 플레이어가 존재하는 경우 도 3에 예시한 바와 같이 해당 캐릭터(3D 모델)의 머리 위에 "#name"와 같은 표시를 디스플레이할 수 있다.
표시부(13)는 내 캐릭터 화면 시야각 기준(디폴트 : ±60도)을 벗어난 플레이어가 존재하는 경우 도 4에 예시한 바와 같이 61도 ~ 180도는 시야각 우측 끝라인에 순서대로 정렬해서 오른쪽 화살표 및 "#name"와 같은 표시를 디스플레이할 수 있다. 이때, 표시부(13)는 해당 플레이어의 "#name"이 아닌 각 화살표 앞에 상태아이콘을 표시할 수 있다.
표시부(13)는 내 캐릭터 화면 시야각 기준(디폴트 : ±60도)을 벗어난 플레이어가 존재하는 경우 도 4에 예시한 바와 같이 181도 ~ 300도는 시야각 좌측 끝라인에 순서대로 정렬해서 왼쪽 화살표 및 "#name"와 같은 표시를 디스플레이할 수 있다. 이때, 표시부(13)는 해당 플레이어의 "#name"이 아닌 각 화살표 앞에 상태아이콘을 표시할 수 있다.
표시부(13)는 플레이어가 음성 출력 상태일 때 플레이어 #name 앞에 "확성기 아이콘"을 표시할 수 있다.
표시부(13)는 플레이어가 텍스트 채팅 박스 출력 상태일 때 플레이어 #name 앞에 "말풍선 아이콘"을 표시할 수 있다.
도 5는 도 1에 도시된 증강현실 사용자 단말의 내부 구성도이고, 도 6 및 도 7은 도 1에 도시된 증강현실 사용자 단말에 표시되는 화면예들이다.
증강현실 사용자 단말(20)은 위치 추적부(21), 인터랙션 서비스 제공부(22), 및 표시부(23)를 포함할 수 있다.
위치 추적부(21)는 증강현실 사용자의 현재 위치를 추적한다.
위치 추적부(21)는 LBS 모듈부(21a), GPS 모듈부(21b), 및 오차 보정부(21c)를 포함할 수 있다.
LBS 모듈부(21a)는 통신 기지국을 통한 위도 및 경도 위치 측정 기법으로 해당 증강현실 사용자의 현재 위치를 실시간으로 추적할 수 있다.
LBS 모듈부(21a)는 해당 증강현실 사용자에 대한 LBS 좌표값(예컨대, XYZ)을 출력한다.
GPS 모듈부(21b)는 위성을 통한 위도 및 경도 위치 측정 기법으로 해당 증강현실 사용자의 현재 위치를 실시간으로 추적할 수 있다.
GPS 모듈부(21b)는 해당 증강현실 사용자에 대한 GPS 좌표값(예컨대, XYZ)을 출력한다.
오차 보정부(21c)는 LBS 모듈부(21a)로부터의 LBS 좌표값과 GPS 모듈부(21b)로부터의 GPS 좌표값의 오차를 지속적으로 연산하여 보정할 수 있다.
다시 말해서, 위치 추적부(21)는 해당 증강현실 사용자의 위치를 추적함에 있어서 최초 LBS 모듈부(21a)로 추적하고, LBS 모듈부(21a)로 추적이 불가능할 경우에는 GPS 모듈부(21b)로 추적한다. 즉, 위치 추적부(21)는 LBS를 기준으로 해당 증강현실 사용자의 위치를 추적하되, GPS의 값은 뒤에서 계속 측정하고 기록한다.
또한, 위치 추적부(21)는 LBS 좌표값과 GPS 좌표값의 오차를 지속적으로 연산하여 프로그램 구동 이후 둘의 평균 오차율을 예측, LBS 특성상 기지국 사이에 연결이 끊어졌다가 다시 접속되는 동안에 이 예측값을 대입하여 자연스럽게 위치 출력이 이어지도록 유지한다.
인터랙션 서비스 제공부(22)는 네트워크(30)를 통해 서버(40)에 접속하여 로그인할 수 있다.
인터랙션 서비스 제공부(22)는 위치 추적부(21)를 통해 현재의 접속 좌표 및 최종 기록 좌표를 확인할 수 있다. 이때, 인터랙션 서비스 제공부(22)는 GPS 및 LBS로 동시 체크가능하고, 최초 실행의 경우 디폴트를 로드한다.
인터랙션 서비스 제공부(22)는 최종 기록 좌표(예컨대, 선행에 마지막으로 서버(40)와의 접속을 종료한 좌표)를 포함하는 3차원 월드 지역을 구분할 수 있고, 전방 카메라 기능을 온(ON)할 수 있다.
인터랙션 서비스 제공부(22)는 최종 기록 좌표가 디지털 트윈 미구현 지역에 속하는 경우에는 "서비스지역 아님" 이라는 표시 및 미확인 지역으로 별도 분류할 수 있다.
인터랙션 서비스 제공부(22)는 네트워크 채널로 입장할 수도 있고 네트워크 채널을 생성할 수도 있다. 예를 들어, 인터랙션 서비스 제공부(12)는 동일 월드 기준 빠른 입장이 가능하고, 해당 네트워크 채널로 입장한 참가자가 n명 이상일 경우에는 해당 월드로 새로운 네트워크 채널을 생성할 수 있다.
인터랙션 서비스 제공부(22)는 해당 가상현실 사용자의 캐릭터 정보를 로드할 수 있다. 이때, 인터랙션 서비스 제공부(22)는 3차원 모델, 복장, 소지금, 인벤토리 테이블 등을 로드할 수 있다.
인터랙션 서비스 제공부(22)는 이동 입력값에 따라 LBS 및 GPS 좌표의 변동을 기록할 수 있다. 예를 들어, 인터랙션 서비스 제공부(22)는 변동되는 LBS 좌표값 및 GPS 좌표값을 n초 간격으로 기록할 수도 있고, 기지국 타입에 따라 유동적으로 기록할 수도 있다. 한편, 인터랙션 서비스 제공부(22)는 기록되는 LBS 좌표값 및 GPS 좌표값을 각각 누적 10회만 저장할 수 있고, 11회 초과 기록은 자동 삭제할 수 있다. 여기서, LBS 좌표값은 통신 기지국을 통한 위도 및 경도 위치 측정 기법에 의한 좌표값을 의미하고, GPS 좌표값은 위성을 통한 위도 및 경도 위치 측정 기법에 의한 좌표값을 의미한다.
인터랙션 서비스 제공부(22)는 플레이어의 좌표가 디지털트윈 구현 지역 범위를 벗어날 경우 "서비스 지역 아님"이라는 메시지를 표시부(23)의 화면 중앙에 출력할 수 있다.
인터랙션 서비스 제공부(22)는 서비스 지역이 아닌 구역에 n초 이상 체류 시 미확인 지역으로 자동 이동 및 네트워크 채널을 변경할 수 있다.
한편, 인터랙션 서비스 제공부(22)는 네트워크 채널을 스캔하여 참여 플레이어의 좌표값을 로드(예컨대, n초 간격으로 로드)할 수 있다.
인터랙션 서비스 제공부(22)는 네트워크 채널에 입장(참여)한 가상현실 사용자의 캐릭터 정보(예컨대, 외형 중심(3D 모델, 복장))를 로드할 수 있다.
인터랙션 서비스 제공부(22)는 최종 기록 좌표값과 일치하는 실제 지점과 대응하는 화면상의 좌표에 가상현실 사용자의 캐릭터(3D 모델)를 생성할 수 있다. 이때, 인터랙션 서비스 제공부(22)는 자이로 센서(도시 생략)를 통해 가상현실 사용자의 캐릭터(3D 모델)가 세로로 서 있을 수 있도록 수평 조절한다.
인터랙션 서비스 제공부(22)는 네트워크 채널 스캔 결과에 따른 가상현실 사용자의 좌표 변동을 체크할 수 있고, 그에 따라 해당 가상현실 사용자의 캐릭터의 출력 위치를 변경할 수 있다.
인터랙션 서비스 제공부(22)는 가상현실 사용자에 대한 새로운 좌표 기록 시 이전 출력값과 차이점을 비교할 수 있다.
인터랙션 서비스 제공부(22)는 가상현실 사용자의 좌표 변동 이벤트가 발생한 경우에는 해당 가상현실 사용자의 캐릭터(3D 모델)에 "이동 애니메이션"을 재생하고, 그에 따른 경로를 연결 처리할 수 있다.
인터랙션 서비스 제공부(22)는 가상현실 사용자의 새로운 좌표와 이전의 좌표간에 차이가 없는 경우 해당 가상현실 사용자의 캐릭터(3D 모델)에 "디폴트 애니메이션"을 재생할 수 있다. 해당 플레이어가 가상현실(VR)일 경우 HMD 및 핸드 트래킹 모션을 출력할 수 있다.
인터랙션 서비스 제공부(22)는 위치가 출력된 가상현실 사용자와 증강현실 사용자간 네트워크(30)를 통한 행동값을 주고 받아 서로의 인터랙션(예컨대, 음성대화, 모션, 채팅, 이동 등)을 발생시킨다.
인터랙션 서비스 제공부(22)는 LBS 좌표 인식 불가시 기록된 GPS 데이터를 로드한다. 한편, 인터랙션 서비스 제공부(22)는 GPS 데이터 로드도 불가능한 경우, 최종 기록값에 3D 모델을 출력하고 디폴트 애니메이션을 재생하거나 HMD 및 핸드 트래킹 모션을 출력할 수 있다.
인터랙션 서비스 제공부(22)는 기록된 GPS 10회의 좌표 변경 방향 및 평균 이동 속도를 연산할 수 있다.
인터랙션 서비스 제공부(22)는 LBS 좌표 인식 불가 상태의 3D 모델에 적용하여 좌표의 가상 이동 경로 생성 및 "이동 애니메이션"을 재생할 수 있다.
인터랙션 서비스 제공부(22)는 신규 LBS 좌표값 수신시 가상 경로 처리를 중지하고, 정상 출력 프로세스로 보정 프로세스에 덮어쓰기를 수행한다(즉, 기존 연산값 삭제).
인터랙션 서비스 제공부(22)는 최초 네트워크 채널 생성시 예컨대 "채널 생성"과 같은 시스템 메시지를 표시부(23)의 화면 중앙에 전체적으로 출력할 수 있다.
인터랙션 서비스 제공부(22)는 해당 채널 플레이어의 참가시 예컨대 "#name 참가"와 같은 시스템 메시지를 표시부(23)의 화면 중앙에 전체적으로 출력할 수 있다.
인터랙션 서비스 제공부(22)는
해당 채널 플레이어의 이탈시 예컨대 "#name 이탈"과 같은 시스템 메시지를 표시부(23)의 화면 중앙에 전체적으로 출력할 수 있다.
특히, 인터랙션 서비스 제공부(22)는 서버(40)로부터 가상현실 사용자와 증강현실 사용자간의 동기화된 위치 및 좌표계 정보를 수신함에 따라, 서로의 위치가 동기화된 가상현실 사용자의 캐릭터와 증강현실 사용자의 캐릭터를 서로 동일한 좌표계에 근거하여 표시부(23)상에 화면표시할 수 있다.
표시부(23)는 해당 증강현실 사용자 단말(20)의 어플리케이션 화면안에 플레이어가 존재하는 경우 도 6에 예시한 바와 같이 해당 캐릭터(3D 모델)의 머리 위에 "#name"와 같은 표시를 디스플레이할 수 있다.
표시부(23)는 해당 증강현실 사용자 단말(20)의 어플리케이션 화면을 벗어난 플레이어가 존재하는 경우 도 7에 예시한 바와 같이 카메라 중앙값 기준 0도 ~ 180도는 시야각 우측 끝라인에 순서대로 정렬해서 오른쪽 화살표 및 "#name"와 같은 표시를 디스플레이할 수 있다. 이때, 표시부(23)는 해당 플레이어의 "#name"이 아닌 각 화살표 앞에 상태아이콘을 표시할 수 있다.
표시부(23)는 해당 증강현실 사용자 단말(20)의 어플리케이션 화면을 벗어난 플레이어가 존재하는 경우 도 7에 예시한 바와 같이 카메라 중앙값 기준 181도 ~ 360도는 시야각 좌측 끝라인에 순서대로 정렬해서 왼쪽 화살표 및 "#name"와 같은 표시를 디스플레이할 수 있다. 이때, 표시부(23)는 해당 플레이어의 "#name"이 아닌 각 화살표 앞에 상태아이콘을 표시할 수 있다.
표시부(23)는 플레이어가 음성 출력 상태일 때 플레이어 #name 앞에 "확성기 아이콘"을 표시할 수 있다.
표시부(23)는 플레이어가 텍스트 채팅 박스 출력 상태일 때 플레이어 #name 앞에 "말풍선 아이콘"을 표시할 수 있다.
도 8은 도 1에 도시된 서버의 내부 구성도이다.
서버(40)는 디지털 트윈 영상 저장부(41), 수신부(42), 네트워크 채널 연결부(43), 위치 및 좌표계 동기화부(44), 인터랙션 서비스 제공부(45), 및 제어부(46)를 포함할 수 있다. 이와 같은 서버(40)는 본 발명의 청구범위에 기재된 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 장치가 될 수 있다.
디지털 트윈 영상 저장부(41)는 지역별(구역별) 디지털 트윈 영상을 저장한다. 여기서, 디지털 트윈 영상은 실제 장비 또는 공간을 가상 세계(3차원 세계)에 쌍둥이처럼 똑같이 구현하는 디지털 트윈 기술로 제작된 영상으로서, 현실 공간의 물리적 객체(실제 사물 등)들에 대한 디지털 복제를 하여 만들어진 영상을 의미한다. 본 발명의 실시예에서는 이와 같은 디지털 트윈 영상으로 가상 공간(예컨대, 3차원 월드)이 구축된다.
상술한 지역별 디지털 트윈 영상은 축척 및 비율을 유지하는 것이 바람직하다.
예를 들어, 씬 내 임의의 좌표 A와 B를 특정하였다면 좌표 A와 B에 현실 세계에 대응하는 위도와 경도를 대입하여 전체 씬의 대입비율을 맞출 수 있다. 여기서, 씬은 가상공간의 단위를 의미한다. 가상공간은 디지털 트윈(digital twin)으로 제작된 3차원 월드를 의미한다.
수신부(42)는 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)로부터의 로그인 정보를 수신할 수 있다.
또한, 수신부(42)는 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)로부터의 실시간적인 위치 정보를 수신할 수 있다.
또한, 수신부(42)는 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)로부터의 네트워크 채널 생성 요청, 생성된 네트워크 채널로의 참여 요청, 참여한 네트워크 채널에서의 연결 해제(탈퇴) 요청 등을 수신할 수 있다.
네트워크 채널 연결부(43)는 수신부(42)에 수신된 네트워크 채널 생성 요청에 따라 해당하는 가상현실 사용자 단말(10) 또는 증강현실 사용자 단말(20)의 네트워크 채널을 생성하고, 다른 플레이어(즉, 다른 사용자 단말)과의 네트워크 채널 연결을 수행할 수 있다.
물론, 네트워크 채널 연결부(43)는 가상현실 사용자 단말(10) 또는 증강현실 사용자 단말(20)의 연결 해제(탈퇴) 요청이 있게 되면 해당 사용자 단말의 네트워크 채널을 연결 해제시킬 수 있다.
위치 및 좌표계 동기화부(44)는 가상현실 사용자 단말(10)과 증강현실 사용자 단말(20)간의 보다 효과적인 상호 인터랙션을 위해 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)의 현재 위치를 서로 동기화하고 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)의 좌표계를 서로 동기화시킨다.
위치 및 좌표계 동기화부(44)는 동기화된 위치 및 좌표계 정보를 상호 인터랙션을 하는 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)에게로 전송할 수 있다.
다시 말해서, 가상현실 사용자 단말(10)에 증강현실 사용자의 캐릭터의 위치를 정확하게 표시하고 증강현실 사용자 단말(20)에 가상현실 사용자의 캐릭터의 위치를 정확하게 표시하기 위해서는, 가상현실 사용자와 증강현실 사용자의 캐릭터의 위치 정보는 서로 동기화되어야 하고, 가상현실 사용자 단말(10)과 증강현실 사용자 단말(20)의 좌표계는 서로 동일하여야 한다. 따라서 이를 위해, 위치 및 좌표계 동기화부(44)가 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)의 현재 위치 및 서로의 좌표계를 서로 동기화시킨다.
이와 같이 하면 가상현실 사용자의 캐릭터와 증강현실 사용자의 캐릭터의 위치는 서로 동기화되고, 서로의 위치가 동기화된 가상현실 사용자의 캐릭터와 증강현실 사용자의 캐릭터는 서로 동일한 좌표계로 동기화되어 상대방의 단말에 화면표시될 수 있다.
만약, 서로간의 좌표계가 상이하다면 서로의 단말에는 상대방의 캐릭터가 제대로 동기화되지 않을 것이고, 이로 인해 상대방의 위치식별이 어렵게 될 것이다.
예를 들어, A 사무실에서 디지털 트윈을 통해 가상 공간으로 만들어진 "하늘역" 2번 출구에 온라인으로 접속해 있는 가상현실 사용자와 현실 공간인 실제의 "하늘역" 근처에서 스마트폰 증강현실 앱으로 접속해 있는 증강현실 사용자가 서로의 캐릭터를 통해서 네트워크 커뮤니케이션을 하는 것으로 가정하고 부연설명한다.
가상현실 사용자의 캐릭터와 증강현실 사용자의 캐릭터의 위치는 서로 동기화되고 서로 동기화된 가상현실 사용자의 캐릭터와 증강현실 사용자의 캐릭터는 서로 동일한 좌표계로 동기화된 상태에서, 가상현실 사용자는 가상현실로 접속한 가상 공간안에서 증강현실 사용자의 캐릭터를 보며 음성과 동작 등으로 인사를 하고, 자신의 캐릭터를 이동시켜 증강현실 사용자에게 자신을 따라오라며 A 사무실로 오는 길안내를 한다.
그에 따라, 증강현실 사용자는 스마트폰 AR 앱을 켜고 있는 현실 세계에서 가상현실 사용자의 음성을 들으며 채팅으로 대답을 하고, 화면에 비춰지는 가상현실 사용자의 캐릭터를 따라 걸어가며 A 사무실을 찾아가는 길을 안내받게 된다.
이와 같이 하면 증강현실 사용자는 A 사무실을 제대로 찾아갈 수 있게 된다.
인터랙션 서비스 제공부(45)는 가상현실 사용자 단말(10)을 통해 가상현실 공간에서 수행되는 증강현실 사용자와의 상호 인터랙션 서비스를 제공할 수 있다. 이를 위해, 인터랙션 서비스 제공부(45)는 증강현실 사용자와의 상호 인터랙션이 가능한 서비스 앱을 가상현실 사용자 단말(10)에게로 다운로드할 수 있다.
또한, 인터랙션 서비스 제공부(45)는 증강현실 사용자 단말(20)을 통해 증강현실 공간에서 수행되는 가상현실 사용자와의 상호 인터랙션 서비스를 제공할 수 있다. 이를 위해, 인터랙션 서비스 제공부(45)는 가상현실 사용자와의 상호 인터랙션이 가능한 서비스 앱을 증강현실 사용자 단말(20)에게로 다운로드할 수 있다.
인터랙션 서비스 제공부(45)는 위치 및 좌표계 동기화부(44)에서 서로 동기화된 위치 정보(예컨대, XYX 좌표값)가 속해 있는 해당 지역의 디지털 트윈 영상을 디지털 트윈 영상 저장부(41)에서 추출하여 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)에게로 전송할 수 있다.
제어부(46)는 서버(40)의 전체적인 동작을 제어한다.
이번에는, 상술한 바와 같이 구성된 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템의 작용에 대해 설명한다.
먼저, 서버(40)는 실제 장비 또는 공간을 가상 세계(3차원 세계)에 쌍둥이처럼 똑같이 구현하는 디지털 트윈 기술로 제작된 지역별(구역별) 디지털 트윈 영상을 디지털 트윈 영상 저장부(41)에 미리 저장해 둔다.
가상현실 사용자는 증강현실 사용자와의 상호 인터랙션을 위해 증강현실 사용자와의 상호 인터랙션 서비스 앱을 활성화하고, 증강현실 사용자는 가상현실 사용자와의 상호 인터랙션을 위해 가상현실 사용자와의 상호 인터랙션 서비스 앱을 활성화한다.
그리고 나서, 각자 네트워크(30)를 통해 서버(40)에 접속하여 로그인 등을 수행한 후에 네트워크 채널 연결(형성)을 요청한다.
그에 따라, 서버(40)는 가상현실 사용자 단말(10)과 증강현실 사용자 단말(20)간의 네트워크 채널을 연결(형성)한다.
이때, 가상현실 사용자 단말(10)은 오차 보정된 가상현실 사용자의 현재의 위치정보를 서버(40)에게로 전송하고, 증강현실 사용자 단말(20)은 오차 보정된 증강현실 사용자의 현재의 위치정보를 서버(40)에게로 전송한다.
그에 따라, 서버(40)는 가상현실 사용자의 현재의 위치 및 증강현실 사용자의 현재의 위치를 포함하는 지역에 대한 디지털 트윈 영상을 디지털 트윈 영상 저장부(41)에서 추출하여 가상현실 사용자 단말(10)과 증강현실 사용자 단말(20)에게로 전송한다. 이와 함께, 서버(40)는 가상현실 사용자 단말(10)과 증강현실 사용자 단말(20)의 현재 위치를 서로 동기화하고, 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20)의 좌표계를 서로 동기화시킨다. 그리고, 서버(40)는 이와 같이 동기화된 위치 및 좌표계 정보를 상호 인터랙션을 하고자 하는 사용자(즉, 네트워크 채널을 형성한 가상현실 사용자 단말(10) 및 증강현실 사용자 단말(20))에게로 전송한다.
이와 같이 하면 가상현실 사용자의 캐릭터와 증강현실 사용자의 캐릭터의 위치는 서로 동기화되고, 서로의 위치가 동기화된 가상현실 사용자의 캐릭터와 증강현실 사용자의 캐릭터는 서로 동일한 좌표계로 동기화되어 상대방의 단말에 화면표시된다. 즉, 가상현실 사용자와 증강현실 사용자가 상호 인터랙션을 하는 동안에는, 가상현실 사용자 단말(10)에는 가상현실 사용자의 현재 위치 및 그 주변의 디지털 트윈 영상과 상대방(즉, 증강현실 사용자)의 캐릭터(3차원 모델)가 표시되고, 증강현실 사용자 단말(20)에는 증강현실 사용자의 현재 위치 및 그 주변의 카메라 영상(배경 영상)과 상대방(즉, 가상현실 사용자)의 캐릭터(3차원 모델)가 표시된다.
이와 같이 서로의 위치가 동기화된 가상현실 사용자의 캐릭터와 증강현실 사용자의 캐릭터가 서로 동일한 좌표계로 동기화되어 상대방의 단말에 화면표시되면, 가상현실 사용자와 증강현실 사용자간에 보다 효과적인 상호 인터랙션을 수행할 수 있다.
다시 말해서, 상기에서 예로 든 A 사무실에서 디지털 트윈을 통해 가상 공간으로 만들어진 "하늘역" 2번 출구에 온라인으로 접속해 있는 가상현실 사용자와 현실 공간인 실제의 "하늘역" 근처에서 스마트폰 증강현실 앱으로 접속해 있는 증강현실 사용자가 서로의 캐릭터를 통해서 네트워크 커뮤니케이션을 하는 것에서와 같이, 매우 편리한 상호 인터랙션을 수행할 수 있다.
한편, 상술한 바와 같은 본 발명의 실시예는 비대면 관광지 가이드 투어에도 적용가능하다. 예를 들어, 가이드는 집에서 접속하고 관광객은 현실에서 접속하여 상호 인터랙션을 수행할 수 있다.
또한, 상술한 바와 같은 본 발명의 실시예는 독거 치매 노인 위치 추적 및 미아 방지에도 적용가능하다. 예를 들어, 엄마 캐릭터를 보고 집 찾아 오기 등과 같이 사용자는 상호 인터랙션을 수행할 수 있다.
또한, 상술한 바와 같은 본 발명의 실시예는 원격 지역행사 및 축제 참여에도 적용가능하고, 라이브커머스 등을 통한 현지 직거래 플랫폼에도 응용가능하다.
또한, 상술한 바와 같은 본 발명의 실시예는 온라인 가상 현실 스마트시티 구축에도 적용가능하다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 가상현실 사용자 단말
11, 21 : 위치 추적부
12, 22 : 인터랙션 서비스 제공부
13, 23 : 표시부
20 : 증강현실 사용자 단말
30 : 네트워크
40 : 서버
11, 21 : 위치 추적부
12, 22 : 인터랙션 서비스 제공부
13, 23 : 표시부
20 : 증강현실 사용자 단말
30 : 네트워크
40 : 서버
Claims (13)
- 가상현실 공간에서 수행되는 증강현실 사용자와의 상호 인터랙션을 처리하는 가상현실 사용자 단말;
증강현실 공간에서 수행되는 가상현실 사용자와의 상호 인터랙션을 처리하는 증강현실 사용자 단말; 및
상기 가상현실 사용자 단말 및 상기 증강현실 사용자 단말의 위치 및 좌표계 동기화에 기초하여, 상기 가상현실 사용자 단말을 통해 가상현실 공간에서 수행되는 증강현실 사용자와의 상호 인터랙션 서비스를 제공하고, 상기 증강현실 사용자 단말을 통해 증강현실 공간에서 수행되는 가상현실 사용자와의 상호 인터랙션 서비스를 제공하는 서버;를 포함하는,
인터랙션 서비스 제공 시스템. - 제 1항에 있어서,
상기 서버는,
서로 동기화된 위치 정보가 속해 있는 지역의 디지털 트윈 영상을 상기 가상현실 사용자 단말로 전송하는,
인터랙션 서비스 제공 시스템. - 제 1항에 있어서,
상기 서버는,
지역별 디지털 트윈 영상을 저장하는 디지털 트윈 영상 저장부;
가상현실 공간에서 수행되는 증강현실 사용자와의 상호 인터랙션을 처리하는 가상현실 사용자 단말과 증강현실 공간에서 수행되는 가상현실 사용자와의 상호 인터랙션을 처리하는 증강현실 사용자 단말의 현재 위치를 서로 동기화하고, 상기 가상현실 사용자 단말 및 증강현실 사용자 단말의 좌표계를 서로 동기화시키는 위치 및 좌표계 동기화부; 및
상기 위치 및 좌표계 동기화부에서 서로 동기화된 위치 정보가 속해 있는 해당 지역의 디지털 트윈 영상을 상기 디지털 트윈 영상 저장부에서 추출하여 상기 가상현실 사용자 단말로 전송하는 인터랙션 서비스 제공부;를 포함하는,
인터랙션 서비스 제공 시스템. - 제 1항에 있어서,
상기 가상현실 사용자 단말은,
상기 가상현실 사용자의 현재 위치를 추적하는 위치 추적부; 및
상기 가상현실 사용자와 증강현실 사용자간의 동기화된 위치 및 좌표계 정보를 수신함에 따라, 서로의 위치가 동기화된 증강현실 사용자의 캐릭터를 서로 동기화된 좌표계에 근거하여 표시부상에 화면표시하는 인터랙션 서비스 제공부;를 포함하는,
인터랙션 서비스 제공 시스템. - 제 4항에 있어서,
상기 위치 추적부는,
통신 기지국을 통한 위도 및 경도 위치 측정 기법으로 해당 가상현실 사용자의 현재 위치를 실시간으로 추적하는 LBS 모듈부;
위성을 통한 위도 및 경도 위치 측정 기법으로 해당 가상현실 사용자의 현재 위치를 실시간으로 추적하는 GPS 모듈부; 및
상기 LBS 모듈부로부터의 LBS 좌표값과 상기 GPS 모듈부로부터의 GPS 좌표값의 오차를 지속적으로 연산하여 보정하는 오차 보정부;를 포함하는,
인터랙션 서비스 제공 시스템. - 제 5항에 있어서,
상기 위치 추적부는,
해당 가상현실 사용자의 위치를 추적함에 있어서 최초 LBS 모듈부로 추적하고, 상기 LBS 모듈부로 추적이 불가능할 경우에는 GPS 모듈부로 추적하는,
인터랙션 서비스 제공 시스템. - 제 1항에 있어서,
상기 증강현실 사용자 단말은,
상기 증강현실 사용자의 현재 위치를 추적하는 위치 추적부; 및
상기 가상현실 사용자와 증강현실 사용자간의 동기화된 위치 및 좌표계 정보를 수신함에 따라, 서로의 위치가 동기화된 가상현실 사용자의 캐릭터를 서로 동기화된 좌표계에 근거하여 표시부상에 화면표시하는 인터랙션 서비스 제공부;를 포함하는,
인터랙션 서비스 제공 시스템. - 제 7항에 있어서,
상기 위치 추적부는,
통신 기지국을 통한 위도 및 경도 위치 측정 기법으로 해당 증강현실 사용자의 현재 위치를 실시간으로 추적하는 LBS 모듈부;
위성을 통한 위도 및 경도 위치 측정 기법으로 해당 증강현실 사용자의 현재 위치를 실시간으로 추적하는 GPS 모듈부; 및
상기 LBS 모듈부로부터의 LBS 좌표값과 상기 GPS 모듈부로부터의 GPS 좌표값의 오차를 지속적으로 연산하여 보정하는 오차 보정부;를 포함하는,
인터랙션 서비스 제공 시스템. - 제 8항에 있어서,
상기 위치 추적부는,
해당 증강현실 사용자의 위치를 추적함에 있어서 최초 LBS 모듈부로 추적하고, 상기 LBS 모듈부로 추적이 불가능할 경우에는 GPS 모듈부로 추적하는,
인터랙션 서비스 제공 시스템. - 가상현실 공간에서 수행되는 증강현실 사용자와의 상호 인터랙션을 처리하는 가상현실 사용자 단말; 증강현실 공간에서 수행되는 가상현실 사용자와의 상호 인터랙션을 처리하는 증강현실 사용자 단말; 및 상기 가상현실 사용자 단말 및 상기 증강현실 사용자 단말의 위치 및 좌표계 동기화에 기초하여, 상기 가상현실 사용자 단말을 통해 가상현실 공간에서 수행되는 증강현실 사용자와의 상호 인터랙션 서비스를 제공하고, 상기 증강현실 사용자 단말을 통해 증강현실 공간에서 수행되는 가상현실 사용자와의 상호 인터랙션 서비스를 제공하는 서버;를 포함하는 인터랙션 서비스 제공 시스템의 동작 방법으로서,
서비스 대상지역에 대해 3D 모델링한 가상공간 디지털 트윈 영상을 구축하는 단계와,
가상공간 VR씬의 좌표를 현실세계의 위도 경도 좌표에 대입하여 좌표계를 맵핑시키고, 씬의 대입 비율을 맞추는 단계와,
AR 사용자에게 서비스를 제공하기 위한 지역에 대응된 디지털 트윈 영상(VR 씬)을 로드시키고, 해당 채널에 접속된 VR 캐릭터와 AR 클라이언트 캐릭터를 VR 씬에 로드시키며, VR 캐릭터는 AR 화면에 로드시키는 단계와,
VR 캐릭터와 AR 클라이언트 위치를 추적하여 VR씬의 VR 캐릭터와 AR클라이언트 캐릭터 및 AR 화면의 VR캐릭터의 위치를 동기화시키는 단계와,
위치가 출력된 VR캐릭터와 AR 클라이언트 캐릭터간의 네트워크를 통한 행동값을 주고받아 인터렉션 서비스를 제공하는 단계를 포함하는
인터랙션 서비스 제공 시스템의 동작 방법. - 제 10 항에 있어서,
상기 동기화시키는 단계는,
증강현실 사용자 단말의 LBS 좌표로 위치를 추적하여 출력하되, GPS 좌표값을 계속 측정하고 기록하며, LBS 출력값과 GPS 측정값의 오차를 지속적으로 연산하여 프로그램 구동 이후 둘의 평균 오차율을 예측하고, 기지국 사이에 연결이 끊어졌다가 다시 접속되는 LBS 측정이 불가한 시간동안에 상기 예측값을 대입하여 위치 출력이 이어지도록 유지하는
인터랙션 서비스 제공 시스템의 동작 방법. - 제 10 항에 있어서,
상기 인터렉션 서비스를 제공하는 단계는
음성대화, 모션, 채팅, 이동을 포함하는 행동값을 상호 인터렉션 서비스로 제공하는
인터랙션 서비스 제공 시스템의 동작 방법. - 제 10 항에 있어서,
하나의 채널의 VR씬에 VR캐릭터와 적어도 하나 이상의 AR클라이언트 캐릭터를 표시할 때, 미니맵을 더 포함시키고, VR씬에 대응된 미니맵에 모든 캐릭터들의 위치를 추적표시하는
인터랙션 서비스 제공 시스템의 동작 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210029491A KR20220125536A (ko) | 2021-03-05 | 2021-03-05 | 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템 및 동작방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210029491A KR20220125536A (ko) | 2021-03-05 | 2021-03-05 | 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템 및 동작방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220125536A true KR20220125536A (ko) | 2022-09-14 |
Family
ID=83279264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210029491A KR20220125536A (ko) | 2021-03-05 | 2021-03-05 | 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템 및 동작방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220125536A (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664805A (zh) * | 2023-06-06 | 2023-08-29 | 深圳市莱创云信息技术有限公司 | 一种基于增强现实技术的多媒体展示系统及方法 |
| WO2024117508A1 (ko) * | 2022-11-28 | 2024-06-06 | 삼성전자주식회사 | 가상 공간을 제공하기 위한 전자 장치 및 방법 |
| WO2024140540A1 (zh) * | 2022-12-31 | 2024-07-04 | 中兴通讯股份有限公司 | 虚拟现实显示方法及装置、增强现实光学采集装置、介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050061856A (ko) | 2003-12-18 | 2005-06-23 | 한국전자통신연구원 | 가상현실을 이용한 관광 안내 서비스 시스템 및 그 서비스방법 |
-
2021
- 2021-03-05 KR KR1020210029491A patent/KR20220125536A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050061856A (ko) | 2003-12-18 | 2005-06-23 | 한국전자통신연구원 | 가상현실을 이용한 관광 안내 서비스 시스템 및 그 서비스방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024117508A1 (ko) * | 2022-11-28 | 2024-06-06 | 삼성전자주식회사 | 가상 공간을 제공하기 위한 전자 장치 및 방법 |
| WO2024140540A1 (zh) * | 2022-12-31 | 2024-07-04 | 中兴通讯股份有限公司 | 虚拟现实显示方法及装置、增强现实光学采集装置、介质 |
| CN116664805A (zh) * | 2023-06-06 | 2023-08-29 | 深圳市莱创云信息技术有限公司 | 一种基于增强现实技术的多媒体展示系统及方法 |
| CN116664805B (zh) * | 2023-06-06 | 2024-02-06 | 深圳市莱创云信息技术有限公司 | 一种基于增强现实技术的多媒体展示系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220125536A (ko) | 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템 및 동작방법 | |
| CN107659851B (zh) | 全景图像的展示控制方法及装置 | |
| KR20220125539A (ko) | 가상공간과 현실공간의 객체간 위치 연동에 따른 상호 인터렉션 서비스 제공방법 | |
| US11080941B2 (en) | Intelligent management of content related to objects displayed within communication sessions | |
| KR20220125540A (ko) | 가상공간과 현실공간의 객체간 위치 연동에 따른 가상공간 클라이언트 기반의 상호 인터렉션 서비스 제공 방법 | |
| Broll et al. | Meeting technology challenges of pervasive augmented reality games | |
| CN102939139B (zh) | 共享虚拟空间中便携式设备的校准 | |
| US20120050325A1 (en) | System and method for providing virtual reality linking service | |
| CN105843396A (zh) | 在共享的稳定虚拟空间上维持多视图 | |
| CN111527523A (zh) | 用于共享虚拟现实环境的装置和方法 | |
| CN112312111A (zh) | 虚拟图像的显示方法、装置、电子设备及存储介质 | |
| US20090262194A1 (en) | Interactive Media and Game System for Simulating Participation in a Live or Recorded Event | |
| CN107185245B (zh) | 一种基于slam技术的虚实同步显示方法及系统 | |
| CN112915537B (zh) | 虚拟场景画面展示方法、装置、计算机设备及存储介质 | |
| US20240267424A1 (en) | System for providing synchronized sharing of augmented reality content in real time across multiple devices | |
| KR102549072B1 (ko) | 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치 | |
| CN111744180A (zh) | 加载虚拟游戏的方法及装置、存储介质、电子装置 | |
| US20230162433A1 (en) | Information processing system, information processing method, and information processing program | |
| CN112884906A (zh) | 一种实现多人混合虚拟和增强现实交互的系统及方法 | |
| KR102428438B1 (ko) | 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템 | |
| KR20220125538A (ko) | 네트워크를 활용한 가상공간과 현실공간의 객체간 위치 연동 시스템 | |
| US20230206571A1 (en) | System and method for syncing local and remote augmented reality experiences across devices | |
| KR20220159968A (ko) | 아바타를 이용한 컨퍼런스 처리 방법 및 시스템 | |
| KR20220125537A (ko) | 네트워크를 활용한 가상공간과 현실공간의 객체간 위치 연동 장치 | |
| KR102433670B1 (ko) | 실물 이미지를 이용한 공간의 위치 기반 가상 환경 제공 시스템 |