KR102325048B1 - 로봇 아바타를 통한 실시간 vr 서비스 제공방법 - Google Patents
로봇 아바타를 통한 실시간 vr 서비스 제공방법 Download PDFInfo
- Publication number
- KR102325048B1 KR102325048B1 KR1020200184136A KR20200184136A KR102325048B1 KR 102325048 B1 KR102325048 B1 KR 102325048B1 KR 1020200184136 A KR1020200184136 A KR 1020200184136A KR 20200184136 A KR20200184136 A KR 20200184136A KR 102325048 B1 KR102325048 B1 KR 102325048B1
- Authority
- KR
- South Korea
- Prior art keywords
- robot avatar
- client device
- client
- experience
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 55
- 230000006870 function Effects 0.000 claims description 20
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000000470 constituent Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H04N5/23299—
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 일 실시예에 따른 실시간 VR(Virtual Reality) 서비스 제공 방법에 있어서, 클라이언트 기기가 VR 체험 신청 정보를 어플리케이션 관리 서버에 등록하는 단계로서, 상기 VR 체험 신청 정보는 상기 클라이언트 기기가 VR 영상의 촬영 위치 정보를 포함함; 상기 어플리케이션 관리 서버가 상기 VR 체험 신청 정보와 매칭되는 로봇 아바타 기기를 서칭하는 단계; 상기 클라이언트 기기가 상기 서칭된 로봇 아바타 기기와의 페어링을 수행하는 단계; 및 상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기로부터 VR 영상을 실시간으로 수신하는 단계; 를 포함하되, 상기 페어링된 로봇 아바타 기기의 이동은 상기 클라이언트 기기로부터 전송된 제1 제어 신호에 의해 제어될 수 있다.
Description
본 명세서는 로봇 아바타 기기를 통해 클라이언트가 원하는 VR(Virtual Reality) 영상을 실시간으로 제공받는 방법 및 이를 위한 장치, 방법 및 시스템을 제안한다.
최근 각 통신사마다 5G(5th Generation)를 활용한 다양한 기능과 서비스를 내놓고 있다. 그 결과, 그동안 통신 속도의 한계 때문에 이뤄지지 못했던 빅데이터 연결 등이 가능해져 전 세계 어느 곳에 있던 시간 딜레이 없이 방송하는 것은 물론 원격 조정 등이 가능해졌다. 더구나 세계적으로 앞다퉈 차세대 통신 기술들을 도입하고 있는 추세이며, 가상 원격 화상 회의인 텔레프레젠스(Telepresence)등 신기술들로 시공간을 뛰어넘으려는 시도가 이어지고 있다.
따라서, 국내 5G를 통한 통신과 360도 VR 등의 서비스는 향후 10년간 지금의 수십 배 이상 성장 가능하다고 업계에서 예측하고 있으며, 더불어 생활기반 플랫폼 서비스와 여행 서비스는 지금 시장 안정화 단계에 있어 매년 그 수요와 매출이 급상승하고 있다. 최근에는 지자체와 관공서는 물로 일반 기업들까지 VR 등을 활용한 신규 서비스와 연계한 새로운 비즈니스 사업을 발굴하려 노력하고 있는 실정이다.
본 발명은 더욱 빨라진 통신 속도를 기반으로 클라이언트가 원하는 VR 영상을 실시간으로 제공받거나 제공해 줄 수 있는 서비스 장치, 방법 및 시스템을 제공함에 그 목적이 있다.
본 명세서에서는 보다 현장감 있는 로봇 아바타 서비스(ROBOT AVATAR SERVICE; RAS)를 제공한다. 여기서 RAS는, 클라이언트가 직접 경험하고 싶으나 일정한 제약(예를 들어, 클라이언트의 장애, 시간/비용/장소 제약 등)으로 클라이언트가 경험할 수 없는 현장을 로봇 아바타가 대신하여 가서 경험하고, 이러한 경험 상황을 실시간 VR 영상으로 제공하는 서비스를 일컫는다. RAS는 기본적으로 클라이언트가 자신이 경험하고자 하는 일들을 등록하고, 등록된 일을 대신하여 수행하는 로봇 아바타와 페어링/매칭/연결시켜주는 서비스를 제공하며, 페어링/매칭/연결된 로봇 아바타는 초고속 통신 기반으로 VR 영상을 클라이언트에 실시간으로 전송하게 된다.
본 발명의 일 실시예에 따른 실시간 VR(Virtual Reality) 서비스 제공 방법에 있어서, 클라이언트 기기가 VR 체험 신청 정보를 어플리케이션 관리 서버에 등록하는 단계로서, 상기 VR 체험 신청 정보는 상기 클라이언트 기기가 VR 영상의 촬영 위치 정보를 포함함; 상기 어플리케이션 관리 서버가 상기 VR 체험 신청 정보와 매칭되는 로봇 아바타 기기를 서칭하는 단계; 상기 클라이언트 기기가 상기 서칭된 로봇 아바타 기기와의 페어링을 수행하는 단계; 및 상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기로부터 VR 영상을 실시간으로 수신하는 단계; 를 포함하되, 상기 페어링된 로봇 아바타 기기의 이동은 상기 클라이언트 기기로부터 전송된 제1 제어 신호에 의해 제어될 수 있다.
또한, 상기 실시간 VR 서비스 제공 방법은, 상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기의 이동 방향, 각도 및/또는 속도를 제어하기 위한 상기 제1 제어 신호를 상기 페어링된 로봇 아바타 기기로 전송하는 단계; 및 상기 페어링된 로봇 아바타 기기가 상기 제1 제어 신호에 따라 이동하는 단계; 를 더 포함할 수 있다.
또한, 상기 제1 제어 신호는, 상기 클라이언트 기기에 대한 사용자의 이동 입력 신호에 동기화되어 생성될 수 있다.
또한, 상기 클라이언트 기기가 사용자에 의해 이동 제어가 가능한 타 기기와 페어링되어 있는 경우, 상기 페어링된 로봇 아바타 기기의 이동은 상기 타 기기의 이동과 동기화될 수 있다.
또한, 상기 제1 제어 신호는, 상기 타 기기로부터 상기 클라이언트 기기가 수신한 이동 제어 신호에 동기화되어 생성될 수 있다.
또한, 상기 VR 영상 촬영을 위해 상기 로봇 아바타 기기에 구비된 카메라 유닛의 최대 촬영 각도가 360도 미만인 경우, 상기 카메라 유닛의 촬영 방향은, 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향에 동기화될 수 있다.
또한, 상기 카메라 유닛의 촬영 각도는 상기 클라이언트 기기로부터 전송된 제2 제어 신호에 의해 제어되며, 상기 제2 신호는 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향의 센싱 결과에 동기화되어 생성될 수 있다.
또한, 상기 로봇 아바타 기기를 서칭하는 단계는, 상기 어플리케이션 관리 서버가, 상기 등록된 VR 영상의 촬영 위치 정보와 매칭되는 현재 위치 정보를 갖는 로봇 아바타 기기를 서칭하는 단계일 수 있다.
또한, 상기 클라이언트 기기가 상기 페어링된 아바타 기기로부터 상기 VR 영상을 실시간으로 수신하는 단계는, 상기 클라이언트 기기가 상기 등록된 촬영 위치에서 촬영된 VR 영상을 상기 페어링된 아바타 기기로부터 실시간으로 수신하는 단계; 를 포함할 수 있다.
또한, 상기 클라이언트 기기가 상기 페어링된 아바타 기기로부터 상기 VR 영상을 실시간으로 수신하는 단계는, 상기 어플리케이션 관리 서버가 상기 클라이언트 기기 및 상기 페어링된 아바타 기기간의 실시간 음성 채팅 또는 문자 채팅 기능을 제공하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 클라이언트는 자신이 직접 가지 않더라도 자신이 경험하고자 하는 특정 지역(특히, 원거리)에 있는 경치, 사물, 전시품 등과 같은 다양한 환경을 보다 현장감 있게 VR 영상을 통해 체험할 수 있다는 효과를 갖는다.
또한, 본 발명의 일 실시예에 따르면, 클라이언트는 로봇 아바타 이동/모션의 직접 조작이 가능하므로, 클라이언트가 보다 적극적이고 유연하게 자신이 원하는 경험을 로봇 아바타를 통해 할 수 있다는 효과를 갖는다.
또한, 본 발명의 일 실시예에 따르면, VR 여행/체험과 같은 기존에 없던 새로운 VR 서비스의 도출이 가능하므로, 새로운 직업 창출 등과 같은 경제적 효과를 갖는다.
도 1은 본 발명의 일 실시예에 따른 로봇 아바타를 통한 실시간 VR 서비스 방법을 예시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템을 예시한 블록도이다.
도 3 및 4는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템이 구현된 실시예를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 클라이언트 기기의 로봇 아바타 기기 제어 방법을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템을 예시한 블록도이다.
도 3 및 4는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템이 구현된 실시예를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 클라이언트 기기의 로봇 아바타 기기 제어 방법을 예시한 도면이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서는 기본적으로 로봇 아바타 서비스(REAL AVATAR SERVICE; RAS)를 제공한다. RAS는 로봇 아바타가 클라이언트를 대신하여 클라이언트가 하고자 하는 일들을 대신하여 수행/경험하는 서비스를 일컫는다. 본 발명에 따를 때, 5G와 같은 초고속 통신 서비스를 활용한 실시간 VR과 위치기반 서비스를 활용해 클라이언트가 경험하고자 하는 것(예를 들어, 원거리 여행지로의 여행, 전시회 관람, 해외 콘서트 관람, 수업 참석 등)을 의뢰하면, 로봇 아바타가 클라이언트를 대신하여 경험하고, 경험 상황을 실시간 VR 영상으로 전송해줄 수 있다. 이는, 텔레익지스턴스(Teleexistence)라는 기술 분야로도 불리며, VR 기기 및 초고속 이동 통신과 결합되어 새로운 서비스 상품의 창출이 가능하다. 이렇게 창출된 서비스 상품을 통해 클라이언트는 원격지에 있는 사물 또는 사람이 마치 근처에 있는 것 같은 현장감을 느낄 수 있으며, 로봇 아바타를 직접 조작함으로써 적극적으로 자신의 체험 환경을 직접 구축할 수 있다.
예를 들어, 투병 생활 중이나 킬리만자로에 오르는 것이 소원인 아이, 베트남에 있으나 한국에서 열리는 특정 가수 공연에 가고 싶어 하는 아이, 죽기 전 북한에 있는 자신의 고향을 보고 싶어하는 90세 할아버지, 영등포 타임스퀘어에서 열리고 있는 할인 쇼핑 행사에서 직접 눈으로 보고 상품을 구입하고 싶으나 육아로 방문할 시간이 부족한 주부, 출장 중이나 딸의 기념 행사에 참석하고 싶어하는 아빠 등과 같이 자신이 직접 경험하고 싶으나 시간적/공간적/현실적 한계로 불가능한 사례가 있을 수 있다. 이와 같은 한계를 갖는 이들이 클라이언트가 되어 직접 경험하고자 하는 일들의 대행을 본 서비스 시스템을 통해 직접 의뢰할 수 있으며, 본 서비스 시스템은 이를 대신 수행해줄 로봇 아바타와 클라이언트를 페어링/연결시켜줄 수 있다. 페어링/연결된 로봇 아바타는 클라이언트가 의뢰한 일들을 대신 수행함으로써 클라이언트를 만족시킬 수 있다. 특히, 본 서비스의 경우 사람이 아닌 로봇이 대신 수행하기 때문에 현실적인 제약으로 사람이 직접 접근하기 어려운 지역(예를 들어, 매우 위험하고 험난한 지형 또는 날씨가 너무 춥거나 더운 지역 등)으로도 접근이 가능하므로, 보다 다양하고 무궁무진한 VR 영상의 실시간 전송이 가능하다는 장점을 갖는다.
이러한 본 서비스 시스템의 구현 방법 및 다양한 실시예는 이하에서 각 도면을 참조하여 이하에서 구체적으로 후술한다.
도 1은 본 발명의 일 실시예에 따른 로봇 아바타를 통한 실시간 VR 서비스 방법을 간략히 예시한 순서도이다. 본 순서도에서 각 단계의 순서는 변경될 수 있으며, 적어도 하나의 단계가 새롭게 부가되거나 삭제될 수 있다. 또한, 본 순서도에서 클라이언트 기기는 실시간 VR 영상을 의뢰한 클라이언트의 기기를 의미하며, 로봇 아바타 기기는 의뢰받은 실시간 VR 영상을 클라이언트 기기에 실시간으로 제공하는 로봇 기기를 의미한다. 본 명세서의 실시간 VR 서비스는 특정 어플리케이션을 통해 구현될 수 있으며, 본 명세서의 클라이언트 기기 및 아바타 기기는 이러한 특정 어플리케이션/프로그램(이하, 어플리케이션으로 통칭)이 설치된 전자 기기에 해당할 수 있다.
도 1을 참조하면, 우선, 클라이언트 기기(101)는 VR 체험을 어플리케이션 관리 서버(103)에 신청/등록할 수 있다(S101). 예를 들어, 클라이언트 기기(101)는 자신이 경험하고자 하는 VR 체험에 관한 기본적인 정보로서, 의뢰하고자 하는 VR 영상의 컨텐츠 종류, 촬영 위치, 촬영 시간, 촬영 의뢰 비용, 관심사, 하고 싶은 일, 해야 할 일, 일정 및/또는 사용 언어 등의 정보를 어플리케이션 관리 서버에 신청/등록할 수 있다.
다음으로, 어플리케이션 관리 서버(103)는 클라이언트 기기(101)의 VR 체험 신청/등록 정보를 기반으로 VR 체험을 대행하기에 적절한 로봇 아바타 기기(102)를 서칭할 수 있다(S102). 여기서 서칭되는 로봇 아바타 기기(102)는 VR 체험 대행을 위해 어플리케이션 관리 서버(103)에 등록되어 있는 기기로서, 특정 지역에 사전에 설치/위치/배치되어 있는 촬영 기기를 의미할 수 있다. 로봇 아바타 기기(102)는 촬영/대행 가능한 VR 영상의 컨텐츠 종류, 촬영 위치, 촬영 시간, 촬영 의뢰 비용, 일정 및/또는 지원 언어 등에 관한 기본 정보와 함께 어플리케이션 관리 서버에 등록될 수 있다. 어플리케이션 관리 서버(103)는 클라이언트 기기(101)의 VR 체험 신청/등록 정보와 사전에 등록되어 있는 로봇 아바타 기기(102)의 기본 정보를 상호 비교하여, 가장 높은 매칭률을 갖는(예를 들어, VR 체험 신청/등록 정보와 가장 매칭되는 정보량이 많은 기본 정보를 갖는) 아바타 기기(102)를 서칭할 수 있다. 어플리케이션 관리 서버(103)는 매칭률 판단에 있어 두 기기간 등록된 장소의 매칭 여부에 가장 높은 우선 순위를 두고 로봇 아바타 기기(102)를 서칭할 수 있다.
다음으로, 클라이언트 기기(101)와 서칭된 로봇 아바타 기기(102)간의 페어링/연결이 수행될 수 있다(S102). 여기서, 페어링/연결은 두 기기간의 직접적인 연결뿐만 아니라, 어플리케이션 관리 서버를 통한 간접적인 페어링/연결 모두를 의미한다. 직접적인 페어링/연결의 경우, 클라이언트 기기(101)와 로봇 아바타 기기(102)는 상호간에 무선/유선 제어 신호를 직접적으로 주고받음으로써 통신을 수행할 수 있으며, 간접적인 페어링/연결의 경우, 클라이언트 기기(101)와 로봇 아바타 기기(102)는 어플리케이션 관리 서버(103)를 통해 무선/유선 제어 신호를 주고받을 수 있으며, 어플리케이션 관리 서버(103)는 중간에서 두 기기간의 제어 신호를 전달하는 역할을 수행할 수 있다.
마지막으로, 클라이언트 기기(101)는 페어링/연결된 로봇 아바타 기기(102)로부터 미리 약속한 체험 시간에 자신이 의뢰한 VR 영상을 실시간으로 제공받을 수 있다. 이때, 클라이언트 기기(101)는 로봇 아바타 기기(102)를 직접 조작하여 자신이 체험하고자 하는 환경을 적극적으로 구축할 수도 있다. 예를 들어, 클라이언트 기기(101)는 로봇 아바타 기기(102)의 이동/모션/움직임/비행 방향/속도, 카메라 각도 등을 조작하기 위한 제어 신호를 로봇 아바타 기기(102)로 직접(혹은 실시간 VR 서비스 시스템을 통해 간접적으로) 전송할 수 있으며, 로봇 아바타 기기(102)는 클라이언트 기기로부터 수신한 제어 신호에 따라 이동/모션/움직임/비행이 제어되어 VR 영상을 실시간 전송할 수 있다.
본 실시간 VR 서비스 시스템의 구축을 위해 다양한 장소(예를 들어, 관광 명소, 전시회, 쇼핑몰 등)에 로봇 아바타 기기(102)가 미리 구비/배치/설치/위치되어 있거나 해당 장소 근처에 로봇 아바타 기기(102)가 구비된 서비스 지점이 위치할 수 있다. 본 서비스 시스템을 수행하기 위해 고용된 로봇 배달자가 미리 약속된 시간 전에 약속된 장소로 로봇 아바타 기기(102)를 위치시켜놓을 수 있으며, 약속된 시간부터 클라이언트 기기(101)와 로봇 아바타 기기(102)가 페어링/연결되어 실시간 VR 영상 전송 서비스가 개시될 수 있다. 나아가, 이러한 로봇 배달자는 단순히 로봇 아바타 기기를 배달만 하는 것이 아닌, 로봇 아바타 기기의 체험을 함께 동행할 수도 있다(즉, 로봇 동행자로서의 역할도 수행 가능). 이때, 로봇 동행자는 로봇 아바타 기기와 동행하면서 로봇 아바타 기기를 통해 제공되는 클라이언트 기기와의 실시간 커뮤니케이션 기능을 통해 클라이언트와 실시간/쌍방향 대화를 수행할 수 있다. 이를 통해, 로봇 동행자는 여행지에 대한 다양한 조언/정보를 클라이언트에게 제공하는 등 클라이언트의 가이드 또는 대화 상대가 되어줄 수 있다.
도 2는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템을 예시한 블록도이다.
도 2를 참조하면, 실시간 VR 서비스 시스템은 클라이언트 기기(101), 아바타 기기(102) 및 어플리케이션 관리 서버(103)를 포함할 수 있다. 어플리케이션 관리 서버(103)는 전체 실시간 VR 서비스 시스템을 관리/총괄/운용하는 기기/서버에 해당할 수 있으며, 클라이언트 기기(101) 및 아바타 기기(102)와 통신을 수행하고 이들을 관리/제어할 수 있다. 어플리케이션 관리 서버(103), 클라이언트 기기(101) 및 아바타 기기(102)는 본 명세서에서 기술하는 다양한 기능/방법을 수행하기 위한 적어도 하나의 구성/유닛을 포함할 수 있다.
예를 들어, 어플리케이션 관리 서버(103)/클라이언트 기기(101)/아바타 기기(102)는 프로세서(201), 메모리 유닛(202), VR 디스플레이 유닛(203), 통신 유닛(204), 광각 카메라 유닛(205), 모션 유닛(206) 및/또는 입력 유닛(207)을 포함할 수 있다. 이하에서는 각 구성/유닛에 대해 설명하며, 이하의 설명은 어플리케이션 관리 서버(103), 클라이언트 기기(101) 및 아바타 기기(102)에 공통적으로 적용될 수 있다.
프로세서(201)는, 본 명세서에서 제안된 기능, 과정 및/또는 방법을 구현할 수 있으며, 각 기기에 포함된 적어도 하나의 다른 유닛/구성과 통신을 수행할 수 있다. 따라서, 프로세서(201)는 각 기기와 동일시되어 설명될 수 있다.
메모리 유닛(202)은 다양한 정보/데이터/프로그램/어플리케이션/영상/이미지을 저장할 수 있다. 메모리 유닛(202)은 저장한 정보/데이터/영상/이미지를 프로세서(202)로 전송하거나 프로세서(201)로부터 수신할 수 있다. 또한, 메모리 유닛(202)에 저장된 프로그램/어플리케이션은 프로세서(202)에 의해 실행/수행될 수 있다. 특히, 본 발명에 따른 메모리 유닛(202)은 실시간 VR 서비스 시스템을 구현하기 위해 디자인된 어플리케이션을 저장할 수 있으며, 프로세서(201)에 의해 해당 어플리케이션이 실행될 수 있다. 메모리 유닛(202)은 프로세서(201) 내부 또는 외부에 있을 수 있다.
VR 디스플레이 유닛(203)은 이미지/영상/화면을 출력/디스플레이할 수 있다. 예를 들어, VR 디스플레이 유닛(203)은 HMD(Head Mounted Display)에 해당할 수 있다. 또한, (VR) 디스플레이 유닛(203)은 적어도 하나의 터치/압력/근접/모션/카메라 센서를 포함하여 사용자의 터치 입력을 센싱할 수 있으며, (VR) 디스플레이 유닛(203)이 HMD인 경우 사용자 입력으로서 적어도 하나의 방향/자이로/각도/가속도 센서를 구비하여 사용자의 헤드 방향/각도를 센싱할 수 있다. (VR) 디스플레이 유닛(203)은 센싱한 결과를 프로세서로 전송할 수 있다. 특히, 본 명세서의 (VR) 디스플레이 유닛(203)은 통신 유닛(204)을 통해 실시간으로 전송받은 다양한 VR 이미지/영상/화면을 실시간으로 디스플레이할 수 있다. 또한, 로봇 아바타 기기에 구비된 (VR) 디스플레이 유닛(203)은 클라이언트의 얼굴/아바타/이모티콘을 디스플레이하여 마치 로봇 아바타 기기가 클라이언트처럼 보이도록 함으로써 실제 클라이언트가 해당 지역을 여행하는 것과 같은 개인 맞춤형 체험 서비스를 제공할 수도 있다.
통신 유닛(204)은 프로세서(201)와 연결되어, 내부/외부 기기/서버와 유/무선 신호를 송신 및/또는 수신할 수 있다.
광각 카메라 유닛(205)은 적어도 하나의 (광각) 카메라 센서(예를 들어, 360도 카메라 (센서))를 이용하여 이미지/영상/화면을 입력/획득/인식/센싱할 수 있다. 특히, 본 발명에 따른 광각 카메라 유닛(205)의 경우, 광각의 이미지/영상/화면을 실시간으로 촬영/획득/인식/센싱할 수 있으며, 이렇게 촬영/획득/인식/센싱된 영상은 VR 영상으로서 통신 유닛(204)을 통해 클라이언트 기기(101)로 실시간으로 전송될 수 있다.
모션 유닛(206)은 적어도 하나의 모터/엔진을 구비하여 로봇 아바타 기기(102)의 움직임(예를 들어, 이동/모션/비행 방향/속도/각도 등)을 제어할 수 있다. 모션 유닛(206)은 프로세서(201) 및/또는 통신 유닛(204)으로부터 수신한 제어 신호에 기초하여 로봇 아바타 기기(102)의 움직임을 제어할 수 있으며, 이렇게 수신한 제어 신호는 클라이언트 기기(101) 및/또는 어플리케이션 관리 서버(103)로부터 전송된 제어 신호일 수 있다.
입력 유닛(207)는 적어도 하나의 센서/모듈 구비하여 사용자(특히, 클라이언트)의 다양한 입력을 센싱하고, 센싱한 입력을 프로세서(201)로 전달할 수 있다. 예를 들어, 입력 유닛(207)은 근접 센서, 터치 센서, 압력 센서, 카메라 센서, 모션 센서, 적외선 센서, 마이크 센서, 자이로 센서, 및/또는 스틱 모듈(상/하/좌/우 방향으로의 스틱 움직임 감지하는 모듈)를 구비할 수 있다. 스틱 모듈을 이용한 로봇 아바타 기기의 제어 실시예는 도 5를 참조하여 이하에서 후술한다.
도 3 및 4는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템이 구현된 실시예를 예시한 도면이다. 보다 상세하게는, 도 3은 실시간 VR 서비스를 제공하는 로봇 아바타 기기, 도 4는 실시간 VR 서비스를 제공받는 클라이언트 기기를 각각 예시한 도면이다.
도 3을 참조하면, 도 1에 따라 페어링/연결된 로봇 아바타 기기(301)는 클라이언트 기기가 의뢰한 장소를 광각 카메라 유닛을 통해 촬영한 VR 영상을 클라이언트 기기로 전송할 수 있다. 이때, 로봇 아바타 기기(301)는 촬영한 VR 영상(302)을 클라이언트 기기와 약속한 시간에 실시간으로 전송하거나, 저장해두었다가 추후 약속한 시간에 전송해줄 수 있다.
로봇 아바타 기기(301)는 실시간 VR 서비스 시스템의 구현(특히, 로봇 아바타 기기의 구현)을 위해 고용되었거나 업으로 하는 근로자에 의해 클라이언트가 의뢰한 특정 장소로 및/또는 약속 시간 이전에 옮겨지거나, 이동이 자동화된 로봇 기기로 구현되어 약속 시간에 특정 장소로 직접 이동할 수도 있다. 또는, 로봇 아바타 기기는 클라이언트가 의뢰한 특정 장소에 사전에 배치/설치/위치되어 있는 기기일 수도 있다.
도 4를 참조하면, 클라이언트 기기(401)는 도 3과 같이 로봇 아바타 기기(301)의 광각 카메라 유닛을 통해 촬영된 영상을 VR 영상으로 제공받을 수 있다. 360도 이미지(402)를 제공받는 경우, 클라이언트는 클라이언트 기기(401)의 각도/방향((VR) 디스플레이 유닛이 HMD인 경우, HMD를 착용한 머리의 각도/방향) 또는 클라이언트의 시선 각도/방향/위치를 조절함으로써 원하는 각도/방향의 VR 영상(403)을 직접 체험할 수 있다.
이때, 클라이언트 기기(401)는 표시 중인 VR 영상(403) 중 인식된 특정 객체에 대한 정보를 검색하여 클라이언트에 제공할 수도 있다. 예를 들어, 클라이언트 기기(401)는 표시 VR 영상(403) 중 인식된 특정 이미지/텍스트를 자동으로 검색하여(예를 들어, 어플리케이션 또는 포털 사이트에서 제공하는 이미지/텍스트 검색 기능을 이용) 검색 결과를 클라이언트에 제공할 수도 있다.
추가로, 클라이언트는 로봇 아바타 기기(301)가 제공하는 VR 영상을 체험하면서 아바타 기기(301)와 실시간 커뮤니케이션을 수행할 수 있다. 예를 들어, 로봇 아바타 기기(301)를 통해 실시간 VR 영상을 촬영하여 제공 중인 경우, 어플리케이션 관리 서버는 어플리케이션을 통한 (쌍방향) 음성/문자 채팅 기능을 제공하여 로봇 아바타(또는 로봇 배달자/동행자)와 클라이언트간의 실시간 커뮤니케이션 기능을 제공할 수 있다. 이때, 로봇 아바타 기기(301)는 클라이언트 기기(401)의 채팅 메시지에 대응하여 인공 지능 챗봇과 같은 자동 채팅 기능을 사용해 응답할 수 있다. 이를 통해, 클라이언트는 누군가와 함께 체험/경험을 하고 있는 것처럼 느껴 체험 만족감이 더 높일 수 있으며, 커뮤니케이션을 통한 사회적 체험 환경이 조성될 수 있다. 또한, 로봇 아바타 기기(301)는 클라이언트의 질문에 응답하는 방식의 채팅 수행도 가능하므로(인터넷 검색을 통한 검색 결과 제공 가능), 클라이언트는 체험 장소에 관한 다양한 지식도 얻을 수 있다는 효과를 갖는다.
이러한 클라이언트 기기(401)와 로봇 아바타 기기(301)간의 페어링/연결은, 1:1 매칭이 기본이나, 실시예에 따라 1:N 또는 N:1 페어링/연결도 가능하다. 이 역시, 앞서 상술한 바와 같이 클라이언트/아바타 기기가(401, 301) 등록한 신청/기본 정보 기반으로 어플리케이션 관리 서버에 의해 수행될 수 있다.
클라이언트는 VR 영상을 제공받은 후, VR 영상을 제공한 로봇 아바타를 평가할 수 있다. 예를 들어, 클라이언트는 어플리케이션을 통해 해당 로봇 아바타에 대한 평가 점수를 매길 수 있으며, 이는 어플리케이션 관리 서버에 저장되어 관리될 수 있다. 어플리케이션 관리 서버는 실시예에 따라 어플리케이션을 통해 클라이언트 기기와 페어링/연결 가능성이 높은 로봇 아바타 기기(301)를 추천하는 기능을 제공할 수 있다. 이 경우 추천하는 로봇 아바타 기기(301)에 대한 평균 평가 점수도 함께 제공될 수 있으며, 점수가 높을수록 추천되는 빈도도 높을 수 있다.
이상으로, 클라이언트 기기(401)와 로봇 아바타 기기(301)간에 수행되는 실시간 VR 서비스 방법에 대해 전반적으로 살펴보았다.
이하에서는, 클라이언트 기기(401)가 로봇 아바타 기기(301)의 움직임/이동/모션/비행 동작을 제어하는 방법에 대해 살펴본다. 이렇듯 클라이언트 기기(401)가 로봇 아바타 기기(301)의 움직임/이동/모션/비행 동작을 직접 제어 가능하다는 점에서, 클라이언트가 직접 자신이 경험/체험하고자 하는 환경을 적극적으로 조성할 수 있다는 효과가 발생한다.
도 5는 본 발명의 일 실시예에 따른 클라이언트 기기의 로봇 아바타 기기 제어 방법을 예시한 도면이다. 본 실시예에서 클라이언트 기기는 클라이언트가 착용한 HMD 기기, 로봇 아바타 기기는 드론 기기에 각각 해당하나, 실시예가 이에 제한되는 것은 아니다.
도 5를 참조하면, 클라이언트는 클라이언트 기기(501)에 대해 로봇 아바타 기기(504)의 이동을 제어하기 위한 입력을 인가할 수 있다. 예를 들어, 클라이언트는 클라이언트 기기(501)에 구비된 입력 유닛을 통해 로봇 아바타 기기(504)의 이동 제어를 위한 터치 입력을 인가할 수 있으며, 터치 입력을 센싱한 클라이언트 기기(501)는 센싱한 입력에 대응하는 제어 신호를 생성할 수 있다. 이때, 클라이언트 기기(501)는 클라이언트의 입력이 용이하도록 로봇 아바타 기기(504) 제어를 위한 아이콘/이미지/UI(User Interface)(예를 들어, 조이 스틱 또는 4가지 방향의 화살표 아이콘/이미지/UI 등)를 어플리케이션을 통해 제공할 수 있으며, 클라이언트는 해당 아이콘/이미지/UI에 대하여 로봇 아바타 기기(504)가 이동하길 원하는 방향으로 드래그 입력 등을 수행할 수 있다. 이러한 입력을 통해 생성된 제어 신호는 로봇 아바타 기기(504)로 전송되어 로봇 아바타 기기(504)의 이동/움직임/비행/모션을 제어할 수 있다. 이러한 제어 신호는 클라이언트 기기(501)에서 로봇 아바타 기기(504)로 직접 전송되거나, 어플리케이션 관리 서버를 통해 로봇 아바타 기기(504)로 전달될 수도 있다.
상술한 실시예는 클라이언트가 클라이언트 기기(501)를 통해 로봇 아바타 기기(504)를 제어하는 실시예이며, 이외에, 클라이언트 기기(501)가 페어링/연결되어 있는 타 기기를 통해 로봇 아바타 기기(504)를 제어하는 실시예도 아래와 같이 도출될 수 있다. 이하에서, 클라이언트 기기(501)는 타 기기(502)와 사전에 페어링/연결되어 있는 경우를 가정하며, 여기서 타 기기(502)는 전동 휠체어인 경우를 가정하나 실시예가 이에 한정되는 것은 아니다.
일 실시예로서, 클라이언트 기기(501)는 무선/유선 통신을 통해 사전에 타 기기(502)와 페어링/연결된 상태일 수 있다. 여기서 타 기기(502)는 본 명세서에서 기술되는 기능/동작을 수행하기 위해 도 2에서 설명한 적어도 하나의 구성/유닛을 포함할 수 있다. 이때, 클라이언트 기기(501)와 연결된 타 기기(502)가 모터/엔진 등을 구비하여 클라이언트 제어에 의해 이동 가능한 기기인 경우(예를 들어, 전동 휠체어, 자동차, 오토바이, 자전거 등), 로봇 아바타 기기(504)의 움직임/이동을 제어하기 위한 제어 신호는 타 기기(502)의 이동 상태에 대응하여/동기화되어 생성될 수 있다. 예를 들어, 타 기기(502)가 전동 휠체어인 경우, 제어 신호는 전동 휠체어의 이동 방향/속도(혹은 사용자가 전동 휠체어의 움직임을 제어하기 위해 구비된 제어 스틱(503)을 통해 입력된 이동 입력 신호)에 대응하여 생성될 수 있으며, 이렇게 생성된 제어 신호는 로봇 아바타 기기(504)로 전송될 수 있다. 이러한 제어 신호 역시 클라이언트 기기(501)에서 로봇 아바타 기기(504)로 직접 전송되거나, 어플리케이션 관리 서버를 통해 로봇 아바타 기기(504)로 전달될 수도 있다. 본 실시예와 같이 타 기기(502)의 이동/움직임과 로봇 아바타 기기(504)의 이동/움직임을 서로 동기화시킴으로써, 클라이언트에게 보다 더 높은 현장감이 제공될 뿐 아니라, 클라이언트가 적극적으로 자신의 체험/경험 환경을 조성할 수 있다는 효과가 발생한다.
만일, 로봇 아바타 기기(504)에 구비된 광각 카메라 유닛(505)이 360도 미만의 촬영 각도를 제공하는 경우, 광각 카메라 유닛(505)의 촬영 각도를 제어하기 위한 제어 신호 역시 클라이언트 기기(501)로부터 전송될 수 있다. 이때 전송되는 제어 신호는 클라이언트 기기(501)가 센싱하는 클라이언트의 시선/머리 방향/각도/속도/가속도 등에 대응하여 생성될 수 있으며, 해당 제어 신호에 따라 촬영 방향/각도/속도/가속도 등과 같은 광각 카메라 유닛(505)의 움직임이 제어될 수 있다. 이를 통해, 클라이언트가 자신이 원하는 각도/방향을 적극적으로 체험/경험해볼 수 있다는 효과가 발생한다. 만일, 로봇 아바타 기기(504)의 이동/움직임/비행/모션이 앞서 상술한 실시예와 같이 클라이언트 기기(501)와 페어링/연결된 타 기기에 의해 제어되는 경우, 로봇 아바타 기기(504)의 이동/움직임/비행/모션은 타 기기(502)에 의해 생성된 제1 제어 신호에 의해 제어되며, 로봇 아바타 기기(504)의 광각 카메라 유닛(505)의 촬영 각도/속도/방향은 클라이언트 기기(501)에 의해 생성된 제2 제어 신호에 의해 각각 독립적으로 제어되게 된다.
이때, 앞서 상술한 실시예와 같이, 비행하는 동안 로봇 아바타 기기의 (VR) 디스플레이 유닛에 클라이언트의 얼굴/아바타/이모티콘이 디스플레이하여 마치 로봇 아바타 기기가 클라이언트처럼 보이도록 하는 개인 맞춤형 체험 서비스가 제공될 수 있다.
본 실시간 VR 서비스 시스템의 가장 큰 차이점은, 기존 VR을 활용한 여행 및 탐방 프로그램들은 녹화된 영상을 사용하지만 본 서비스는 실시간으로 그 영상들을 전송한다는 점이 다르다고 할 수 있다. 녹화 영상을 만들기 위해서는 사전 촬영과 편집 등을 거치며 많은 시간이 소요되며 지난 시기의 영상을 플레이한다는 점에서 시의성이 떨어지며 직접 현장을 체험한다는 체험성이 떨어진다는 단점이 있다. 또한 기타 그래픽을 이용한 VR 컨텐츠들은 제작 기간이 길고 만드는데 비용이 많이 든다. 하지만 본 서비스는 실시간으로 의뢰자가 원하는 영상들을 볼 수 있기에 실제의 리얼 타임 현장감을 느낄 수 있으며 촬영 및 편집 그리고 비싼 그래픽 제작비용 등이 발생하지 않아 서비스 면에서도 저비용으로 운영이 가능하다는 점이 가장 큰 장점이라 할 수 있다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
아울러, 본 발명에 따른 장치나 단말은 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.
또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 또한, 본 발명은 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
101: 클라이언트 기기
102: 로봇 아바타 기기
103: 어플리케이션 관리 서버
102: 로봇 아바타 기기
103: 어플리케이션 관리 서버
Claims (3)
- 서로 다른 지역에 위치하고, VR 체험을 대행시켜주는 자동화된 드론 기기로 구현되어 특정 장소로 직접 비행하는 복수의 로봇 아바타 기기를 이용한 실시간 VR(Virtual Reality) 서비스 제공 방법에 있어서,
클라이언트 기기가 의뢰하고자 하는 VR 영상의 촬영 위치, 촬영 시간, 사용 언어, 및 촬영의뢰 비용에 관한 정보들 중 적어도 하나를 포함하는 VR 체험 신청 정보를 어플리케이션 관리 서버에 등록하는 단계;
로봇 아바타 기기가 의뢰받고자 하는 VR 영상의 촬영 위치, 촬영 시간, 사용 언어, 및 촬영 의뢰 비용에 관한 정보들 중 적어도 하나를 포함하는 기본정보를 상기 어플리케이션 관리 서버에 등록하는 단계;
상기 어플리케이션 관리 서버가 상기 VR 체험 신청 정보와 상기 기본정보를 상호비교하여, 가장 높은 매칭률을 갖는 로봇 아바타 기기를 서칭하는 단계;
상기 클라이언트 기기가 서칭된 로봇 아바타 기기와의 페어링을 수행하는 단계;
상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기의 비행 방향, 각도 및/또는 속도를 제어하기 위한 제1 제어 신호를 페어링된 로봇 아바타 기기로 전송하는 단계;
상기 페어링된 로봇 아바타 기기가 상기 제1 제어 신호에 따라 비행하는 단계;
상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기로부터 등록된 촬영 위치에서 비행하여 촬영한 VR 영상을 실시간으로 수신하는 단계;
상기 클라이언트 기기가 상기 VR 영상을 표시하는 단계; 및
상기 클라이언트 기기가 상기 VR 영상 중 특정 객체에 대한 정보를 포털 사이트의 이미지 및 텍스트 검색기능을 통해 자동으로 검색하여 검색결과를 표시하는 단계를 포함하되,
상기 로봇 아바타 기기를 서칭하는 단계는, 매칭률 판단에 있어 상기 VR 체험 신청 정보와 상기 기본정보에 포함된 촬영 위치에 가장 높은 우선 순위를 설정하며,
상기 로봇 아바타 기기는 VR 체험 대행을 위해 어플리케이션 관리 서버에 등록되어 서로 다른 복수의 지역에 사전에 설치되어 있는 촬영 기기로서, 상기 페어링된 로봇 아바타 기기를 클라이언트처럼 보이도록 함으로써 실제 클라이언트가 해당 지역을 여행하는 것과 같은 개인 맞춤형 체험 서비스를 제공하기 위해 상기 클라이언트의 얼굴을 표시하는 디스플레이 유닛을 구비하고,
상기 페어링된 로봇 아바타 기기는 상기 클라이언트 기기로부터 채팅메시지를 수신하는 경우, 인공 지능 챗봇의 자동 채팅 기능을 통해 응답을 상기 클라이언트 기기에 제공하며,
상기 페어링된 로봇 아바타 기기의 이동은 상기 클라이언트 기기로부터 전송된 상기 제1 제어 신호에 의해 제어되고,
상기 VR 영상 촬영을 위해 상기 로봇 아바타 기기에 구비된 카메라 유닛의 최대 촬영 각도가 360도 미만인 경우, 상기 카메라 유닛의 촬영 방향은, 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향에 동기화되며,
상기 카메라 유닛의 촬영 각도는 상기 클라이언트 기기로부터 전송된 제2 제어 신호에 의해 제어되며,
상기 제2 제어 신호는 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향의 센싱 결과에 동기화되어 생성되는, 실시간 VR 서비스 제공 방법. - 삭제
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200184136A KR102325048B1 (ko) | 2019-07-10 | 2020-12-28 | 로봇 아바타를 통한 실시간 vr 서비스 제공방법 |
| KR1020210121420A KR20210119337A (ko) | 2020-12-28 | 2021-09-13 | 로봇 아바타를 통한 실시간 vr 서비스 제공방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190083098 | 2019-07-10 | ||
| KR1020200184136A KR102325048B1 (ko) | 2019-07-10 | 2020-12-28 | 로봇 아바타를 통한 실시간 vr 서비스 제공방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190083098 Division | 2019-07-10 | 2019-07-10 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210121420A Division KR20210119337A (ko) | 2020-12-28 | 2021-09-13 | 로봇 아바타를 통한 실시간 vr 서비스 제공방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210007931A KR20210007931A (ko) | 2021-01-20 |
| KR102325048B1 true KR102325048B1 (ko) | 2021-11-10 |
Family
ID=74305138
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200184136A KR102325048B1 (ko) | 2019-07-10 | 2020-12-28 | 로봇 아바타를 통한 실시간 vr 서비스 제공방법 |
| KR1020210121420A KR20210119337A (ko) | 2020-12-28 | 2021-09-13 | 로봇 아바타를 통한 실시간 vr 서비스 제공방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210121420A KR20210119337A (ko) | 2020-12-28 | 2021-09-13 | 로봇 아바타를 통한 실시간 vr 서비스 제공방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102325048B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102517324B1 (ko) * | 2022-02-15 | 2023-04-03 | 양동현 | 메타버스-현실 융합 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101343860B1 (ko) * | 2013-01-03 | 2013-12-20 | 재단법인대구경북과학기술원 | 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템과 로봇 아바타 시스템에서 사용되는 명령 서버, 학습 서버 및 지각 서버 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002077868A1 (en) * | 2001-03-27 | 2002-10-03 | Nikon Corporation | Method for mediating digital data |
-
2020
- 2020-12-28 KR KR1020200184136A patent/KR102325048B1/ko active IP Right Grant
-
2021
- 2021-09-13 KR KR1020210121420A patent/KR20210119337A/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101343860B1 (ko) * | 2013-01-03 | 2013-12-20 | 재단법인대구경북과학기술원 | 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템과 로봇 아바타 시스템에서 사용되는 명령 서버, 학습 서버 및 지각 서버 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210007931A (ko) | 2021-01-20 |
| KR20210119337A (ko) | 2021-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11915670B2 (en) | Systems, methods, and media for displaying interactive augmented reality presentations | |
| US11722537B2 (en) | Communication sessions between computing devices using dynamically customizable interaction environments | |
| US20200329214A1 (en) | Method and system for providing mixed reality service | |
| US20190333478A1 (en) | Adaptive fiducials for image match recognition and tracking | |
| US20150091891A1 (en) | System and method for non-holographic teleportation | |
| EP3065030A1 (en) | Control system and method for virtual navigation | |
| KR20160112898A (ko) | 증강현실 기반 동적 서비스 제공 방법 및 장치 | |
| US9373188B2 (en) | Techniques for providing content animation | |
| US20220291808A1 (en) | Integrating Artificial Reality and Other Computing Devices | |
| Pretto et al. | Towards gesture-based multi-user interactions in collaborative virtual environments | |
| KR102325048B1 (ko) | 로봇 아바타를 통한 실시간 vr 서비스 제공방법 | |
| US20230353616A1 (en) | Communication Sessions Between Devices Using Customizable Interaction Environments And Physical Location Determination | |
| US11847297B2 (en) | Method of providing real-time VR service through avatar | |
| US20230162433A1 (en) | Information processing system, information processing method, and information processing program | |
| JP6149967B1 (ja) | 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法 | |
| KR102193630B1 (ko) | 아바타를 통한 실시간 vr 서비스 장치, 방법 및 시스템 | |
| JP7281012B1 (ja) | プログラム、情報処理方法及び情報処理システム | |
| KR102585102B1 (ko) | 메타버스 서비스를 이용한 위치 기반 증강 현실 시스템 | |
| US20230316675A1 (en) | Traveling in time and space continuum | |
| KR20180122802A (ko) | 에이전트를 통한 대리체험 시스템 및 이를 이용한 대리체험 방법 | |
| KR20210007930A (ko) | 아바타를 통한 실시간 vr 서비스 장치, 방법 및 시스템 | |
| JP7129463B2 (ja) | コンピュータプログラム、方法、及び、サーバ装置 | |
| JP7280492B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN113093915A (zh) | 多人互动的控制方法、装置、设备及存储介质 | |
| JP2022180373A (ja) | コンピュータプログラム、方法、及び、サーバ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |