KR101771583B1 - 실시간 의사공유 서비스 제공 방법 - Google Patents
실시간 의사공유 서비스 제공 방법 Download PDFInfo
- Publication number
- KR101771583B1 KR101771583B1 KR1020160100011A KR20160100011A KR101771583B1 KR 101771583 B1 KR101771583 B1 KR 101771583B1 KR 1020160100011 A KR1020160100011 A KR 1020160100011A KR 20160100011 A KR20160100011 A KR 20160100011A KR 101771583 B1 KR101771583 B1 KR 101771583B1
- Authority
- KR
- South Korea
- Prior art keywords
- terminal
- pseudo
- data
- execution
- control
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004891 communication Methods 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000010705 motor oil Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H04N13/0007—
-
- H04N13/0059—
-
- H04N13/0429—
-
- H04N13/044—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
실시간 의사공유 서비스 제공 방법이 제공되며, 의사 조종을 위한 입출력단말인 VR/AR 조종 단말과 연동된 의사조종단말로부터 의사실행단말을 검색하는 검색 이벤트를 수신하는 단계, 검색 이벤트에 포함된 적어도 하나의 조건에 대응하는 의사실행단말을 추출하여 의사조종단말과 매칭시키고, 통신채널을 형성하여 VR/AR 조종 단말에서 수집된 데이터를 실시간으로 의사실행단말로 전송하고, 의사실행단말과 연동된 VR/AR 수집 단말로부터 수집된 데이터를 의사조종단말로 전송하는 단계, 의사조종단말 또는 VR/AR 조종 단말로부터 조종을 위한 조종 데이터를 수신하는 경우, 의사실행단말로 전송하는 단계, 의사실행단말 및 VR/AR 수집 단말로부터 수집된 실행 데이터 및 VR/AR 데이터를 의사조종단말로 전송하는 단계, 실행 데이터 및 VR/AR 데이터와, 조종 데이터를 분석하여 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는지의 여부를 분석하는 단계, 및 분석 결과 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는 경우, 의사조종에 대한 미션 수행 성공도의 데이터가 출력되도록 성공 여부를 카운트하는 단계를 포함한다.
Description
본 발명은 실시간 의사공유 서비스 제공 방법에 관한 것으로, 원격에서 의사실행자의 환경을 VR 및 AR 콘텐츠를 통하여 공유하고, 의사실행자의 단말로 의사실행을 위한 명령을 전송하는 방법에 관한 것이다.
최근, 인터넷 및 스마트 단말의 발달로 가상 현실 콘텐츠가 스마트 단말 연동 기기에 의해 출력되고는 있으나, 실제로 자신이 위치할 수 없는 현장에서 어떠한 행동을 하고자 하는 경우에 대하여 실시간 양방향으로 가상 현실 콘텐츠를 제공하는 기술은 개발되지 않고 있다.
이때, 가상 현실의 다수의 참여자의 통신을 하는 방법은, 원격에서 회의에 참여하는 사용자들의 VR 콘텐츠를 HMD를 통하여 스트리밍하는 방법으로 이루어지고 있다. 이와 관련하여, 선행기술인 한국공개특허 제2015-0099401호(2015.08.31 공개)에는, HMD(Head Mounted Display)를 통하여 뷰 정보 및 방향 정보를 컴파일링하고, 영상의 변화를 결정하며 변화를 구현하기 위하여 명령 정보를 전송하는 구성을 개시하고 있다.
다만, 상술한 구성은 단순히 가상 현실의 정보를 실시간으로 통신을 개선하기 위한 방법으로, 원격에서 자신이 시간적 및 비용적 문제로 갈 수 없는 현장에서 자신이 마치 어떠한 행동을 하고 있는 것과 같은 현장감 및 실제감을 전혀 느낄 수 없고, 자신이 어떠한 행동을 하고자 할 때, 행동명령을 수신하는 단말 및 행동명령의 결과를 실시간으로 얻을 수 없다.
본 발명의 일 실시예는, 시간 또는 거리상 제약으로 자신이 현장에 위치하지 못하지만, 현장에서 임의의 일을 체험하고 싶거나 수행해야 할 때, 사용자의 의사를 실행하는 실행자의 단말 및 VR/AR 장비를 이용하여, 사용자가 현장에 있는 것과 같은 VR/AR 콘텐츠를 제공하고, 사용자의 의사명령을 현장에 위치한 의사실행자의 단말로 전송함으로써, 다양한 이유로 현장에서 일을 처리할 수 없거나 체험을 할 수 없는 사용자의 니즈(Needs)를 충족시킬 수 있는, 실시간 의사공유 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 의사 조종을 위한 입출력단말인 VR/AR 조종 단말과 연동된 의사조종단말로부터 의사실행단말을 검색하는 검색 이벤트를 수신하는 단계, 검색 이벤트에 포함된 적어도 하나의 조건에 대응하는 의사실행단말을 추출하여 의사조종단말과 매칭시키고, 통신채널을 형성하여 VR/AR 조종 단말에서 수집된 데이터를 실시간으로 의사실행단말로 전송하고, 의사실행단말과 연동된 VR/AR 수집 단말로부터 수집된 데이터를 의사조종단말로 전송하는 단계, 의사조종단말 또는 VR/AR 조종 단말로부터 조종을 위한 조종 데이터를 수신하는 경우, 의사실행단말로 전송하는 단계, 의사실행단말 및 VR/AR 수집 단말로부터 수집된 실행 데이터 및 VR/AR 데이터를 의사조종단말로 전송하는 단계, 실행 데이터 및 VR/AR 데이터와, 조종 데이터를 분석하여 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는지의 여부를 분석하는 단계, 및 분석 결과 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는 경우, 의사조종에 대한 미션 수행 성공도의 데이터가 출력되도록 성공 여부를 카운트하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 시간 또는 거리상 제약으로 자신이 현장에 위치하지 못하지만, 현장에서 임의의 일을 체험하고 싶거나 수행해야 할 때, 사용자의 의사를 실행하는 실행자의 단말 및 VR 장비를 이용하여, 사용자가 현장에 있는 것과 같은 VR/AR 콘텐츠를 제공하고, 사용자의 의사명령을 현장에 위치한 의사실행자의 단말로 전송함으로써, 다양한 이유로 현장에서 일을 처리할 수 없거나 체험을 할 수 없는 사용자의 니즈(Needs)를 충족시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 실시간 의사공유 서비스 제공 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 실시간 의사공유 서비스 제공 서버를 설명하기 위한 구성도이다.
도 3은 본 발명의 일 실시예에 따른 실시간 의사공유 서비스가 카지노에서 실행되는 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 실시간 의사공유 서비스가 지식공유에 이용되는 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 실시간 의사공유 서비스 제공 방법을 설명하는 동작 흐름도이다.
도 2는 도 1에 도시된 실시간 의사공유 서비스 제공 서버를 설명하기 위한 구성도이다.
도 3은 본 발명의 일 실시예에 따른 실시간 의사공유 서비스가 카지노에서 실행되는 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 실시간 의사공유 서비스가 지식공유에 이용되는 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 실시간 의사공유 서비스 제공 방법을 설명하는 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Maching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 실시간 의사공유 서비스 제공 시스템을 설명하기 위한 구성도이다. 도 1을 참조하면, 실시간 의사공유 서비스 제공 시스템(1)은, VR/AR 수집 단말(100), 의사실행단말(200), 실시간 의사공유 서비스 제공 서버(400), 의사조종단말(500), VR/AR 조종 단말(600) 및 적어도 하나의 의사공유 단말(700)을 포함할 수 있다. 다만, 이러한 도 1의 실시간 의사공유 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 300)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, VR/AR 수집 단말(100)은 네트워크(300)를 통하여 의사실행단말(200)과 연결될 수 있다. 또한, VR/AR 수집 단말(100)은, 네트워크(300)를 통하고 실시간 의사공유 서비스 제공 서버(400)를 통하여 VR/AR 조종 단말(600) 및 의사조종단말(500)과 연결될 수 있다. 그리고, 의사실행단말(200)은, 네트워크(300)를 통하여 실시간 의사공유 서비스 제공 서버(400), 의사소통단말(500)과 연결될 수 있다. 그리고, 실시간 의사공유 서비스 제공 서버(400)는, 네트워크(300)를 통하여 VR/AR 수집 단말(100), 의사실행단말(300), 의사소통단말(500), VR/AR 조종 단말(600), 적어도 하나의 의사공유단말(700)과 연결될 수 있다. 의사소통단말(500)은, 네트워크(300)를 통하여 VR/AR 조종 단말(600), VR/AR 수집 단말(200), 의사실행단말(200)과 연결될 수 있다. 또한, VR/AR 조종 단말(600)은, 네트워크(300)를 통하여 의사소통단말(500)과 연결될 수 있다. 그리고, 적어도 하나의 의사공유 단말(700)은, 네트워크(300)를 통하여 의사소통단말(500), VR/AR 조종 단말(600) 및 VR/AR 수집 단말(100)과 연결될 수 있다.
여기서, 네트워크(300)는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(300)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다. 도 1에 도시된 VR/AR 수집 단말(100), 의사실행단말(200), 실시간 의사공유 서비스 제공 서버(400), 의사소통단말(500), VR/AR 조종 단말(600) 및 적어도 하나의 의사공유 단말(700)은, 도 1에 도시된 것들로 한정 해석되는 것은 아니다.
VR/AR 수집 단말(100)은, 의사실행단말(200)의 사용자의 시선에 따른 환경을 그대로 VR(Virtual Reality) 또는 AR(Augment Reality) 콘텐츠를 생성하기 위하여 영상 및 오디오를 수집하는 단말일 수 있다. 그리고, VR/AR 수집 단말(100)은, 360도 VR 및 AR의 콘텐츠를 실시간 스트리밍이 가능한 카메라와 오디오 수집 단말을 포함할 수 있다. 그리고, VR/AR 수집 단말(100)은, 의사실행단말(200)로부터 수신된 의사조종단말(500)의 의사조종 데이터 및 의사조종단말(500)을 경유하여 적어도 하나의 의사공유 단말(700)로부터 수신된 의사조종 데이터를 수신하여 출력하는 단말일 수 있다. 이때, VR/AR 수집 단말(100)은, 예를 들어, 블루투스 이어폰 및 마이크의 세트일 수 있다.
의사실행단말(200)은, 의사조종단말(500)로부터 수신된 의사 조종 데이터를 수신하는 단말일 수 있고, VR/AR 수집 단말(100)로부터 수집된 VR/AR 콘텐츠를 실시간으로 의사조종단말(500)을 통하여 VR/AR 조종 단말(600)에서 출력되도록 하는 단말일 수 있다. 그리고, 의사실행단말(200)은, 적어도 하나의 의사공유 단말(700)에서 수신된 적어도 하나의 의사조종 데이터를 수신하여 VR/AR 수집 단말(100)로 출력되도록 하는 단말일 수 있다.
여기서, 의사실행단말(200)은, 네트워크(300)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 의사실행단말(200)은, 네트워크(300)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 의사실행단말(200)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
실시간 의사공유 서비스 제공 서버(400)는, 의사실행단말(200)의 프로필 데이터를 수집하고, 의사조종단말(500) 및 적어도 하나의 의사공유 단말(700)에서 의사실행단말(200)의 조종을 원하는 경우, 의사실행단말(200), 의사조종단말(500) 및 적어도 하나의 의사공유 단말(700) 간의 매칭을 하는 서버일 수 있다. 또한, 실시간 의사공유 서비스 제공 서버(400)는, 의사조종단말(500)에서 의사 조종을 위한 음성, 텍스트 등의 데이터를 송신하면, 의사실행단말(200)로 전송하는 서버일 수 있다. 그리고, 실시간 의사공유 서비스 제공 서버(400)는, 적어도 하나의 의사공유 단말(700)에서 의사실행단말(200)로 의사조종 데이터를 전송할 수 있는 발언권을 의사조종단말(500)로부터 득하게 되면, 의사실행단말(200)로 적어도 하나의 의사공유 단말(700)의 의사 조종 데이터를 전송하는 서버일 수 있다. 또한, 실시간 의사공유 서비스 제공 서버(400)는, VR/AR 수집 단말(100)의 VR/AR 콘텐츠를 실시간으로 VR/AR 조종 단말(600)에서 출력되도록 VR/AR 콘텐츠 스트리밍을 제어하는 서버일 수 있고, VR/AR 조종 단말(600)에서 VR/AR 수집 단말(100)의 각도를 조절하거나 회전을 실시하는 경우, VR/AR 수집 단말(100)을 제어하는 서버일 수 있다. 그리고, 실시간 의사공유 서비스 제공 서버(400)는, 네트워크(300)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
의사조종단말(500)은, 의사실행단말(200)로 의사조종 데이터를 전송하는 단말일 수 있고, 의사실행단말(200)을 통하여 전송되는 VR/AR 수집 단말(100)의 VR/AR 콘텐츠를 수신하여 VR/AR 조종 단말(600)에서 출력되도록 하는 단말일 수 있다. 또한, 의사조종단말(500)은 적어도 하나의 의사공유 단말(700)에서 의사실행단말(200)과의 직접 통신을 위한 발언권을 부여하는 단말일 수 있고, 의사실행단말(200)과 연결된 VR/AR 수집 단말(100)의 각도 및 회전을 조정하는 단말일 수 있다. 또한, 의사조종단말(500)은, VR/AR 조종 단말(600)을 통하여 의사 조종 데이터를 입력하여 의사실행단말(200)로 전송하는 단말일 수 있다.
여기서, 의사조종단말(500)은, 네트워크(300)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 의사조종단말(500)은, 네트워크(300)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 의사조종단말(500)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
VR/AR 조종 단말(600)은 의사실행단말(200)로 의사 조종 데이터를 전송하기 위하여, VR/AR 콘텐츠의 환경에서 의사 조종자의 조종 데이터를 입력하기 위한 단말일 수 있다. 또한, VR/AR 조종 단말(600)은, VR/AR 콘텐츠가 스트리밍되는 경우, VR/AR 콘텐츠를 출력하기 위한 단말일 수 있다. 그리고, VR/AR 조종 단말(600)은, 조이 스틱, 손 위치 추적기, 촉감 생성기, 입체 음향 헤드폰, 마이크로폰, 음성 제어기, 소리 및 음성 합성기, 음성 제어기, 입체 영상 출력 장치, 머리/눈/손 위치 추적 장치, 눈동자 추적 장치, 촉감 생성기 중 어느 하나 또는 그 조합일 수 있다. 또한, VR/AR 조종 단말(600)은, 스마트 TV를 포함할 수 있다.
적어도 하나의 의사공유 단말(700)은, 의사조종단말(500)에서 출력되는 VR/AR 콘텐츠 화면 및 소리 등을 공유하는 단말일 수 있다. 그리고, 적어도 하나의 의사공유 단말(700)은, 의사조종단말(500)로 발언권을 요청하는 단말일 수 있다. 이때, 발언권이란, 의사실행단말(200)로 의사 조종 데이터를 전송할 수 있는 기회를 의미한다. 이때, 적어도 하나의 의사공유 단말(700)은, 직접 의사조종에 주체적으로 참여할 수는 없지만, 의사조종단말(500)의 화면을 공유하고 지식 또는 체험 등을 공유하고, 의사조종단말(500)에서 발언권을 얻었을 경우에만, 주체적으로 답변을 얻거나 질문 등을 할 수 있는 의사조종 기회를 통하여 의사실행단말(200)과 채널을 형성할 수 있는 단말일 수 있다.
여기서, 적어도 하나의 의사공유 단말(700)은, 네트워크(300)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 의사공유 단말(700)은, 네트워크(300)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 의사공유 단말(700)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1에 도시된 실시간 의사공유 서비스 제공 서버를 설명하기 위한 구성도이다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 실시간 의사공유 서비스 제공 서버(400)는, 수신부(410), 제 1 전송부(420), 제 2 전송부(430), 연결부(440), 분석부(450), 관리부(460) 및 평가부(470)를 포함할 수 있다.
본 발명의 일 실시예에 따른 실시간 의사공유 서비스 제공 서버(400) 또는 실시간 의사공유 서비스 제공 서버(400)와 연동되어 동작하는 다른 서버(미도시)가 의사실행단말(200), 의사조종단말(500) 및 적어도 하나의 의사공유 단말(700)로 실시간 의사공유 서비스 제공 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 의사실행단말(200), 의사조종단말(500) 및 적어도 하나의 의사공유 단말(700)은, 실시간 의사공유 서비스 제공 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 의사실행단말(200), 의사조종단말(500) 및 적어도 하나의 의사공유 단말(700)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.
이때, 네트워크(300)의 연결은, VR/AR 수집 단말(100), 의사실행단말(200), 실시간 의사공유 서비스 제공 서버(400), 의사조종단말(500), VR/AR 조종 단말(600), 적어도 하나의 의사공유 단말(700)이, 네트워크(300)로 연결되어 있는 단말과 통신을 위해 통신 접점에 통신 객체를 생성하는 것을 의미한다. 실시간 의사공유 서비스 제공 서버(400)는 통신 객체를 통해 서로 데이터를 교환할 수 있다.
이하에서는, 실시간 의사공유 서비스 제공 서버(400)에서 구현되는 실시간 의사공유 서비스 제공 서비스를 설명하기로 한다.
수신부(410)는, 의사 조종을 위한 입출력단말인 VR/AR 조종 단말(600)과 연동된 의사조종단말(500)로부터 의사실행단말(200)을 검색하는 검색 이벤트를 수신할 수 있다. 이때, 의사실행단말(200)은, 카테고리화된 과목, 직업군 등의 전문가 집단의 단말일 수도 있고, 의사조종단말(500)은 자신이 원하는 의사를 실행하기 위한 의사실행단말을 검색할 수 있다. 예를 들어, 의사조종자는 사무실에 있고, 의사실행자는 놀이공원인 용인 에버랜드에 위치한 경우를 가정하자. 이때, 의사조종자는 용인의 에버랜드에 갈 시간적 여유가 없지만, 에버랜드에 있는 놀이기구 'T-익스프레스'를 타고 싶어 한다고 가정하자. 이때, 의사조종단말은 용인의 에버랜드에 위치한 의사실행단말을 검색할 것이다. 이때에는, 검색어의 키워드가 '에버랜드' 및 'T-익스프레스' 등이 될 수 있다. 그리고, 검색어를 이용하여 검색할 수도 있지만, 카테고리화 되어 분류된 의사실행 종류로 검색할 수 있도록 구성될 수도 있다.
제 1 전송부(420)는, 검색 이벤트에 포함된 적어도 하나의 조건에 대응하는 의사실행단말(200)을 추출하여 의사조종단말(500)과 매칭시키고, 통신채널을 형성하여 VR/AR 조종 단말(600)에서 수집된 데이터를 실시간으로 의사실행단말(200)로 전송하고, 의사실행단말(200)과 연동된 VR/AR 수집 단말(100)로부터 수집된 데이터를 의사조종단말(500)로 전송할 수 있다.
예를 들어, 의사조종자가 벤츠를 수리하는 과정을 알고 싶다고 가정하고, 의사실행자가 벤츠 전문 수리 기사라고 가정하자. 이때, 지역적 및 시간적인 여유가 맞지 않아 의사조종자와 의사실행자가 만날 수 없다고 가정할 때, 의사조종자는 벤츠 수리하는 과정을 의사실행단말을 통하여 알 수 있게 된다. 이때, 현장감 및 실제감을 더하기 위하여 의사실행자는 VR/AR 수집 단말(100)을 통하여 VR/AR 콘텐츠를 실시간으로 의사실행단말(200)을 통하여 의사조종단말(500)로 전송할 수 있다. 예를 들어, 의사조종단말로부터 "XX시리즈의 엔진 오일 교체 방법 좀 알려 주세요"라는 의사조종 데이터를 수신한 경우, VR/AR 수집 단말(100) 및 의사실행단말(200)을 통하여 엔진 오일을 가는 실시간 화면 및 소리 등을 의사조종단말(500)로 전송하게 된다.
제 2 전송부(430)는, 의사조종단말(500) 또는 VR/AR 조종 단말(600)로부터 조종을 위한 조종 데이터를 수신하는 경우, 의사실행단말(200)로 전송할 수 있다. 그리고, 제 2 전송부(430)는, 의사실행단말(200) 및 VR/AR 수집 단말(100)로부터 수집된 실행 데이터 및 VR/AR 데이터를 의사조종단말(500)로 전송할 수 있다. 이때, VR/AR 조종 단말(600)에서 수집된 데이터는 실시간으로 의사실행단말(200)로 전송되고, 그 역도 마찬가지로 수행되도록 하여, 실시간으로 의사실행을 명령하고, 그 결과를 수신할 수 있도록 한다.
분석부(450)는, 실행 데이터 및 VR/AR 데이터와, 조종 데이터를 분석하여 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는지의 여부를 분석할 수 있다.
관리부(460)는, 분석 결과 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는 경우, 의사조종에 대한 미션 수행 성공도의 데이터가 출력되도록 성공 여부를 카운트할 수 있다. 예를 들어, 발레 학습에 적용되는 경우 의사조종단말을 통해 "발레 자세 '드미 쁠리에', '그랑 쁠리에' 동작을 직접 해 보세요"라는 명령을 수신하면, 관리부(460)는, 해당 문장에서 키워드인 '드미 쁠리에', '그랑 쁠리에'를 추출하고, 해당 자세에 관련된 이미지를 검색 또는 기 저장된 키워드에 매핑된 이미지 템플릿을 추출하고, 추출된 이미지 템플릿과 수신된 VR/AR 데이터를 비교하여 유사도를 산출하게 된다. 이때, 관리부(460)는, 산출된 유사도에 따라 미션 수행의 성공도가 산출되도록 한다.
즉, 관리부(460)는, 분석 결과 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는 경우, 의사조종에 대한 미션 수행 성공도의 데이터가 출력되도록 성공 여부를 카운트할 때, 조종 데이터의 키워드를 분석하고, 분석된 키워드에 대응하는 적어도 하나의 이미지 템플릿 및 음성 데이터를 추출할 수 있다. 또한, 관리부(460)는, 추출된 적어도 하나의 이미지 템플릿 및 음성 데이터와, 실행 데이터 및 VR/AR 데이터의 유사도를 판단하고, 유사도가 기 설정된 기준값 미만인 경우, 미션 수행을 실패로 처리하고, 유사도가 기 설정된 기준값을 초과하는 경우, 미션 수행을 성공으로 처리하여 카운트한 후, 성공률을 산출할 수 있다.
또한, 의사조종단말(500)은 적어도 하나의 의사공유단말(700)과 연동되고, 적어도 하나의 의사공유단말(700)은 의사조종단말(500)에서 출력되는 VR/AR 수집 단말(100)의 화면을 공유하고, 적어도 하나의 의사공유단말(700)은, 의사조종단말(500)을 경유하여 의사실행단말(200)로 적어도 하나의 의사조종 데이터가 전송되도록 의사조종단말(500)로 적어도 하나의 의사조종 데이터를 전송할 수 있다.
삭제
그리고, 적어도 하나의 의사공유단말(700)은, VR/AR 수집 단말(100)에서 수집된 VR/AR 콘텐츠를 출력하는 적어도 하나의 VR/AR 장비와 연동되어 VR/AR 콘텐츠를 실시간으로 출력할 수 있다. 즉, 적어도 하나의 의사공유단말(700)은, 의사조종단말(500)의 화면 및 음성 등의 VR/AR 콘텐츠를 공유할 수 있다. 다시 말하면, 적어도 하나의 의사공유 단말(700)은, 의사조종단말(500)에서 출력되는 화면 및 음성을 그대로 실시간으로 공유할 수 있다.
삭제
한편, VR/AR 수집 단말(100)은, 360도 VR/AR 카메라, 무선 마이크 및 무선 스피커를 포함하고, VR/AR 조종 단말(600)은, HMD(Head Mounted Display), 조이스틱(Joystick), 무선 마이크 및 무선 스피커를 포함한 데이터 입출력 장치를 포함할 수 있다. 이때, 데이터 입출력 장치는 의사실행단말(200) 및 의사조종단말(500)과 무선 또는 유선으로 연동되는 장치일 수 있고, 적어도 하나의 의사공유 단말(700)도 데이터 입출력 장치를 구비할 수 있고, 적어도 하나의 의사공유 단말(700)은 의사조종단말(500)의 화면을 출력할 수 있다.
그리고, 의사실행단말(200)은 VR/AR 콘텐츠를 제공할 시간 및 실행 콘텐츠를 실시간 의사공유 서비스 제공 서버(400)로 전송하고, 실시간 의사공유 서비스 제공 서버(400)는, 의사조종단말(500)로부터 의사실행단말(200)을 검색 및 선택하는 이벤트가 발생한 경우, 실행 콘텐츠를 실행하는 시간을 점유하도록 의사조종단말(500)에서 결제를 실시할 수 있다. 또한, 의사조종단말(500)은, 실행 콘텐츠 및 시간을 업로드하고, 의사조종단말(500)과 실행 콘텐츠를 공유하는 적어도 하나의 의사공유단말(700)의 접수 이벤트를 수신할 수 있다.
예를 들어, 영어 회화 학습을 위해 원어민을 의사실행자로 하여 의사조종자가 원어민에게 다양한 발음을 해보도록 요청할 수 있다. 이때, 해당 원어민의 발음을 듣고 싶은 적어도 하나의 의사공유자가 있을 수 있다. 따라서, 해당 의사실행 콘텐츠를 함께 공유하고자 하는 적어도 하나의 의사공유 단말(700)로부터 수수료 또는 일정 비용을 결제받고, 의사조종단말(500)은, 의사실행단말(200)로 의사실행비를 지불하여 시간 및 장소를 예약 및 점유하면서 의사실행을 요청할 수 있다.
이때, 의사조종단말(500)은, 의사실행단말(200)과 점유된 시간에 실행 콘텐츠를 공유하는 경우, 적어도 하나의 의사공유단말(700)로부터 조종 이벤트가 발생하면, 발생한 조종 이벤트가 의사실행단말(200)로 전송될 수 있는 조종 기회권을 부여하는 단말일 수 있다.
또한, 실시간 의사공유 서비스 제공 서버는, 의사실행단말(200)의 스케줄을 확인하고, 의사조종단말(500)의 의사실행단말(200)의 시간을 점유하는 점유 이벤트가 발생한 경우, 스케줄에 기반하여 점유 이벤트의 승인 여부를 결정할 수 있다.
평가부(470)는, 관리부(460)에서 분석 결과 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는 경우, 의사조종에 대한 미션 수행 성공도의 데이터가 출력되도록 성공 여부를 카운트한 후, 의사조종단말(500) 및 의사조종단말(500)과 실행 데이터 및 VR/AR 데이터를 포함하는 VR/AR 콘텐츠를 공유하는 적어도 하나의 의사공유단말(700)로부터 의사실행단말(200)의 평가 점수 및 코멘트를 수신할 수 있다.
이와 같은 도 2의 실시간 의사공유 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 실시간 의사공유 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
이하, 상술한 구성을 가지는 실시간 의사공유 서비스 제공 서비스를 도 3 및 도 4를 참조로 하여 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 실시간 의사공유 서비스가 카지노 게임에서 실행되는 일 실시예를 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시예에 따른 실시간 의사공유 서비스가 지식공유에 이용되는 일 실시예를 설명하기 위한 도면이다.
도 3a를 참조하면, 의사실행단말(200)을 소지한 의사실행자가 바카라 게임을 위한 테이블에 앉아있고, 의사실행자의 시야를 아우르도록 360도 VR/AR 카메라(200)가 설치되어 있다고 가정하자. 이때, 의사조종단말(500)은, 적어도 하나의 의사공유 단말(700)의 참여를 받고 의사실행단말(200)을 선택할 수도 있고, 의사실행단말(200)을 먼저 선택하고 참여 신청을 나중에 받을 수도 있다. 그리고, 의사실행단말(200)의 의사실행을 점유하는 의사조종단말(500)과의 통신채널을 실시간 의사공유 서비스 제공 서버(400)에서 생성하게 된다. 그리고 나서, 실시간 의사공유 서비스 제공 서버(400)는, 의사실행단말(200) 및 의사조종단말(500) 간의 데이터를 송수신하도록 제어하며, 적어도 하나의 의사공유 단말(700)에서 의사실행단말(500)의 발언권을 얻은 경우, 적어도 하나의 의사공유 단말(700)의 텍스트, 음성, 또는 화면 등을 포함하는 의사 명령 데이터를 의사실행단말(200)로 전송한다.
도 3b를 참조하면, 의사조종단말(500)에서 의사를 실행할 의사실행단말(200)을 선택할 수 있는 화면을 도시한다. 이때, 의사실행단말(200) 중 현재 플레이를 하고 있는 의사실행단말(200), 실행 가능한 의사실행단말(200) 및 실행 가능한 의사실행단말(200) 중의 사용자 프로필은 어떻게 되는지에 대해 검색할 수 있다. 평가 점수가 개시될 수도 있고, 카지노 게임의 경우 승률이 제공될 수도 있다. 그리고, 도 3c를 참조하면, 갤러리는 현재 게임을 진행하고 있는 의사실행단말(200), 의사조종단말(500)을 확인하고 적어도 하나의 의사공유 단말(700)로서 게임에 참여할 수 있다. 또한, 도 3d를 참조하면, 의사조종단말(500) 및 적어도 하나의 의사공유 단말(700)은, AR 콘텐츠 및 VR 콘텐츠를 실시간으로 공유할 수 있고, AR 콘텐츠 또는 VR 콘텐츠는 진행 시간, 게임 정보 등에 대한 정보를 인터페이스로 출력할 수 있다. 그리고, 도 3e를 참조하면, 적어도 하나의 의사공유 단말(700)에서 의사조종단말(500)의 화면을 공유하고 발언권을 얻어 의사실행단말(200)과 연동될 수 있으며, 명령하고자 하는 의사가 전달되는 경우 그 결과 및 피드백을 AR 콘텐츠 또는 VR 콘텐츠를 이용하여 수신할 수 있다.
또한, 도 4를 참조하면, 예를 들어 (a) 정비지식을 공유하는 경우라고 가정하면, 정비사가 소지한 단말이 의사실행단말(200)이며 의사조종단말(500)의 아바타가 될 수 있고, 의사조종단말(500)은 의사실행단말(200)로 의사실행 명령을 전송하고, 현장감 있는 VR/AR 콘텐츠로 전송하기 위해 VR/AR 수집 단말(100) 및 의사실행단말(200)을 이용할 수 있다. 또한, 적어도 하나의 의사공유 단말(700)의 사용자는 의사조종단말(500)로 의사명령을 보낼 수 있는 발언권을 얻거나, 의사조종단말(500)의 화면을 공유하는 단말일 수 있다. 또는, (b) 연극을 배우고 싶은 배우지망생이나 아바타 역할을 하는 배우와 소통하고자 하는 의사조종단말(500)은, 자신이 배우고자 하는 연기를 아바타 역할을 하는 배우에게 요청할 수도 있고, 적어도 하나의 의사공유 단말(700)은, 해당 화면 및 지식을 의사조종단말(500)을 통하여 공유할 수 있다.
이와 같은 도 3 및 도 4의 실시간 의사공유 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 및 도 2를 통해 실시간 의사공유 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시예에 따른 실시간 의사공유 서비스 제공 방법을 설명하는 동작 흐름도이다. 도 5를 참조하면, 실시간 의사공유 서비스 제공 서버는, 의사 조종을 위한 입출력단말인 VR/AR 조종 단말과 연동된 의사조종단말로부터 의사실행단말을 검색하는 검색 이벤트를 수신한다(S5100).
또한, 실시간 의사공유 서비스 제공 서버는, 검색 이벤트에 포함된 적어도 하나의 조건에 대응하는 의사실행단말을 추출하여 의사조종단말과 매칭시키고, 통신채널을 형성하여 VR/AR 조종 단말에서 수집된 데이터를 실시간으로 의사실행단말로 전송하고, 의사실행단말과 연동된 VR/AR 수집 단말로부터 수집된 데이터를 의사조종단말로 전송한다(S5200).
그리고, 실시간 의사공유 서비스 제공 서버는, 의사조종단말 또는 VR/AR 조종 단말로부터 조종을 위한 조종 데이터를 수신하는 경우, 의사실행단말로 전송하고(S5300), 의사실행단말 및 VR/AR 수집 단말로부터 수집된 실행 데이터 및 VR/AR 데이터를 의사조종단말로 전송한다(S5400).
여기서, 실시간 의사공유 서비스 제공 서버는 실행 데이터 및 VR/AR 데이터와, 조종 데이터를 분석하여 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는지의 여부를 분석하고(S5500), 분석 결과 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는 경우, 의사조종에 대한 미션 수행 성공도의 데이터가 출력되도록 성공 여부를 카운트한다(S5600).
이와 같은 도 5의 실시간 의사공유 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 실시간 의사공유 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 실시간 의사공유 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 일 실시예에 따른 실시간 의사공유 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 실시간 의사공유 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 다만, 본 발명은 순수한 오락용이나 교육용 등 공공의 질서 또는 선량한 풍속을 문란하게 하지 않는 범위 내에서 이루어져야 함은 물론이다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가1 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (10)
- 실시간 의사공유 서비스 제공 서버에서 실행되는 실시간 의사공유 서비스 제공 방법에 있어서,
의사 조종을 위한 입출력단말인 VR/AR 조종 단말과 연동된 의사조종단말로부터 의사실행단말을 검색하는 검색 이벤트를 수신하는 단계;
상기 검색 이벤트에 포함된 적어도 하나의 조건에 대응하는 의사실행단말을 추출하여 상기 의사조종단말과 매칭시키고, 통신채널을 형성하여 상기 VR/AR 조종 단말에서 수집된 데이터를 실시간으로 상기 의사실행단말로 전송하고, 상기 의사실행단말과 연동된 VR/AR 수집 단말로부터 수집된 데이터를 상기 의사조종단말로 전송하는 단계;
상기 의사조종단말 또는 VR/AR 조종 단말로부터 조종을 위한 조종 데이터를 수신하는 경우, 상기 의사실행단말로 전송하는 단계;
상기 의사실행단말 및 VR/AR 수집 단말로부터 수집된 실행 데이터 및 VR/AR 데이터를 상기 의사조종단말로 전송하는 단계;
상기 실행 데이터 및 VR/AR 데이터와, 상기 조종 데이터를 분석하여 상기 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는지의 여부를 분석하는 분석 단계;
상기 분석 단계의 분석 결과 상기 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는 경우, 의사조종에 대한 미션 수행 성공도의 데이터가 출력되도록 성공 여부를 카운트하는 단계를 포함하고,
상기 의사조종단말은 적어도 하나의 의사공유단말과 연동되고,
상기 적어도 하나의 의사공유단말은 상기 의사조종단말에서 출력되는 상기 VR/AR 수집 단말의 화면을 공유하고,
상기 적어도 하나의 의사공유단말은, 상기 의사조종단말을 경유하여 상기 의사실행단말로 적어도 하나의 의사조종 데이터가 전송되도록 상기 의사조종단말로 적어도 하나의 의사조종 데이터를 전송하고,
상기 적어도 하나의 의사공유단말은, 상기 VR/AR 수집 단말에서 수집된 VR/AR 콘텐츠를 출력하는 적어도 하나의 VR/AR 장비와 연동되어 상기 VR/AR 콘텐츠를 실시간으로 출력하는 것이고,
상기 의사실행단말은 VR/AR 콘텐츠를 제공할 시간 및 실행 콘텐츠를 상기 실시간 의사 공유 서비스 제공 서버로 전송하고,
상기 실시간 의사 공유 서비스 제공 서버는, 상기 의사조종단말로부터 상기 의사실행단말을 검색 및 선택하는 이벤트가 발생한 경우, 상기 실행 콘텐츠를 실행하는 시간을 점유하도록 상기 의사조종단말에서 결제를 실시하고,
상기 의사조종단말은, 상기 실행 콘텐츠 및 시간을 업로드하고, 상기 의사조종단말과 상기 실행 콘텐츠를 공유하는 적어도 하나의 의사공유단말의 접수 이벤트를 수신하는 것이고,
상기 의사조종단말은, 상기 의사실행단말과 상기 점유된 시간에 실행 콘텐츠를 공유하는 경우, 상기 적어도 하나의 의사공유단말로부터 조종 이벤트가 발생하면, 상기 발생한 조종 이벤트가 상기 의사실행단말로 전송될 수 있는 조종 기회권을 부여하는 단말이고,
상기 실시간 의사공유 서비스 제공 서버는, 상기 의사실행단말의 스케줄을 확인하고, 상기 의사조종단말의 상기 의사실행단말의 시간을 점유하는 점유 이벤트가 발생한 경우, 상기 스케줄에 기반하여 점유 이벤트의 승인 여부를 결정하고,
상기 분석 단계의 분석 결과 상기 조종 데이터에 대응하는 실행 데이터 및 VR/AR 데이터가 수집되는 경우, 의사조종에 대한 미션 수행 성공도의 데이터가 출력되도록 성공 여부를 카운트하는 단계는,
상기 조종 데이터의 키워드를 분석하는 단계;
상기 분석된 키워드에 대응하는 적어도 하나의 이미지 템플릿 및 음성 데이터를 추출하는 단계;
상기 추출된 적어도 하나의 이미지 템플릿 및 음성 데이터와, 상기 실행 데이터 및 VR/AR 데이터의 유사도를 판단하는 단계;
상기 유사도가 기 설정된 기준값 미만인 경우, 상기 미션 수행을 실패로 처리하고, 상기 유사도가 기 설정된 기준값을 초과하는 경우, 상기 미션 수행을 성공으로 처리하여 카운트한 후, 성공률을 산출하는 단계;
를 수행함으로써 실행되는 것인, 실시간 의사공유 서비스 제공 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160100011A KR101771583B1 (ko) | 2016-08-05 | 2016-08-05 | 실시간 의사공유 서비스 제공 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160100011A KR101771583B1 (ko) | 2016-08-05 | 2016-08-05 | 실시간 의사공유 서비스 제공 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101771583B1 true KR101771583B1 (ko) | 2017-08-25 |
Family
ID=59761529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160100011A KR101771583B1 (ko) | 2016-08-05 | 2016-08-05 | 실시간 의사공유 서비스 제공 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101771583B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4115604A4 (en) * | 2020-04-10 | 2023-08-02 | Samsung Electronics Co., Ltd. | METHOD AND APPARATUS FOR VOLUMETRIC CONVERSATIONAL SERVICES USING A NETWORK EDGE |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003267295A (ja) * | 2002-03-14 | 2003-09-25 | Foundation For Nara Institute Of Science & Technology | 遠隔操縦システム |
| KR101409396B1 (ko) | 2013-07-04 | 2014-06-20 | 진종원 | 실시간 지식 공유 서비스 제공 방법 |
| KR101592512B1 (ko) | 2015-05-15 | 2016-02-11 | 주식회사 이니셜티 | 지식 영상콘텐츠 제공 방법 및 시스템 |
| KR101670815B1 (ko) | 2016-02-11 | 2016-10-31 | (주)건우애듀 | Ｖｒ 및 ａｒ 기반 실시간 지식 공유 서비스 제공 방법 |
-
2016
- 2016-08-05 KR KR1020160100011A patent/KR101771583B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003267295A (ja) * | 2002-03-14 | 2003-09-25 | Foundation For Nara Institute Of Science & Technology | 遠隔操縦システム |
| KR101409396B1 (ko) | 2013-07-04 | 2014-06-20 | 진종원 | 실시간 지식 공유 서비스 제공 방법 |
| KR101592512B1 (ko) | 2015-05-15 | 2016-02-11 | 주식회사 이니셜티 | 지식 영상콘텐츠 제공 방법 및 시스템 |
| KR101670815B1 (ko) | 2016-02-11 | 2016-10-31 | (주)건우애듀 | Ｖｒ 및 ａｒ 기반 실시간 지식 공유 서비스 제공 방법 |
Non-Patent Citations (1)
| Title |
|---|
| 이희석 외 4인. '자동 인덱싱 비디오 검색 시스템에 관한 연구'. 한국멀티미디어학회 학술발표논문집. 2009.11.30., (제485면 내지 제487면)* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4115604A4 (en) * | 2020-04-10 | 2023-08-02 | Samsung Electronics Co., Ltd. | METHOD AND APPARATUS FOR VOLUMETRIC CONVERSATIONAL SERVICES USING A NETWORK EDGE |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3754992A1 (en) | Immersive interactive remote participation in live entertainment | |
| US20200125920A1 (en) | Interaction method and apparatus of virtual robot, storage medium and electronic device | |
| KR102341752B1 (ko) | 메타버스에서 아바타를 이용한 강의 보조 방법 및 그 장치 | |
| CN113946211A (zh) | 基于元宇宙的多个对象的交互方法及相关设备 | |
| Imottesjo et al. | The Urban CoBuilder–A mobile augmented reality tool for crowd-sourced simulation of emergent urban development patterns: Requirements, prototyping and assessment | |
| JP2017153078A (ja) | 人工知能学習方法、人工知能学習システムおよび返答中継方法 | |
| KR102161034B1 (ko) | 운동강의 제공 시스템 및 이를 이용한 운동강의 제공 방법 | |
| JP2022551660A (ja) | シーンのインタラクション方法及び装置、電子機器並びにコンピュータプログラム | |
| KR20030039019A (ko) | 문장 텍스트를 스피치로 실시간 변환하면서 3디 스캔한실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 저장된기록매체와, 이를 이용한 온라인 게임, 이메일, 채팅,방송 및 외국어 학습방법 | |
| Kurzweil | How my predictions are faring | |
| KR20200097637A (ko) | 시뮬레이션 모래상자 시스템 | |
| Ji et al. | Vrbubble: Enhancing peripheral awareness of avatars for people with visual impairments in social virtual reality | |
| KR102035841B1 (ko) | 가상현실 이벤트 제공방법, 장치 및 프로그램 | |
| KR102114703B1 (ko) | 방송 관리 서버 및 이를 이용한 방송 관리 방법 | |
| Lahav et al. | A blind person's cognitive mapping of new spaces using a haptic virtual environment | |
| KR102112074B1 (ko) | 유니크베뉴를 포함하는 가상현실 이벤트 제공방법, 장치 및 프로그램 | |
| Inamura et al. | VR platform enabling crowdsourcing of embodied HRI experiments–case study of online robot competition | |
| KR101771583B1 (ko) | 실시간 의사공유 서비스 제공 방법 | |
| CN113599827B (zh) | 游戏数据处理方法、装置、设备及计算机可读存储介质 | |
| Vellingiri et al. | SCeVE: A component-based framework to author mixed reality tours | |
| CN111095397A (zh) | 自然言语数据生成系统和方法 | |
| KR20170127354A (ko) | 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법 | |
| CN113438491B (zh) | 直播互动方法、装置、服务器及存储介质 | |
| Sáenz et al. | Indoor position and orientation for the blind | |
| JP2009259135A (ja) | ネットワーク型リアルタイムコミュニケーションシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| J301 | Trial decision |
Free format text: TRIAL NUMBER: 2017101002495; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20170522 Effective date: 20170713 |
|
| S901 | Examination by remand of revocation | ||
| GRNO | Decision to grant (after opposition) | ||
| GRNT | Written decision to grant |