KR102283301B1 - 확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법 - Google Patents

확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법 Download PDF

Info

Publication number
KR102283301B1
KR102283301B1 KR1020200188918A KR20200188918A KR102283301B1 KR 102283301 B1 KR102283301 B1 KR 102283301B1 KR 1020200188918 A KR1020200188918 A KR 1020200188918A KR 20200188918 A KR20200188918 A KR 20200188918A KR 102283301 B1 KR102283301 B1 KR 102283301B1
Authority
KR
South Korea
Prior art keywords
virtual space
participant
real
location
user device
Prior art date
Application number
KR1020200188918A
Other languages
English (en)
Inventor
김병수
Original Assignee
더에이치알더 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더에이치알더 주식회사 filed Critical 더에이치알더 주식회사
Priority to KR1020200188918A priority Critical patent/KR102283301B1/ko
Application granted granted Critical
Publication of KR102283301B1 publication Critical patent/KR102283301B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 증강현실(AR), 가상현실, 3D 등 실감형 기술을 복합적으로 활용한 확장 현실 기반에서 실시간으로 사용자 상호작용 및 소통 기능 제공이 가능한 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법에 관한 것으로, 배경 및 공간 내 오브젝트 정보에 기반하여 적어도 하나 이상의 사용자 디바이스를 통해 제공하는 가상 공간을 생성하여 가상 공간 생성부, 상기 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 적어도 하나 이상의 참가자 위치를 인식하는 위치 인식부, 상기 위치 인식부에서 인식된 참가자 위치 정보를 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 공유하는 위치 공유부를 포함하는, 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치에 의해 사용자들 간에 물리적 거리와 관계없이 실제 대면 상황과 유사한 커뮤니케이션 경험을 제공할 수 있는 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법을 제공할 수 있다는 효과가 도출된다.

Description

확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법{Apparatus and Method for Providing real time comunication platform based on XR}
본 발명은 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법에 관한 것으로, 증강현실(AR), 가상현실, 3D 등 실감형 기술을 복합적으로 활용한 확장 현실 기반에서 실시간으로 사용자 상호작용 및 소통 기능 제공이 가능한 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법에 관한 것이다.
일반적으로 확장 현실 또는 실감경제(XR) eXtended Reality는 가상현실(VR), 증강현실(AR), 혼합현실(MR), 홀로그램(HR) 등 다양한 기술로 현실과 비슷한 가상공간에서 시공간 제약 없이 소통하고 생활할 수 있는 기반을 뜻하는 말로, 실감기술이라고도 한다.
가상 현실은 겉보기에 실제적이거나 물리적인 방식으로 사용자가 상호작용할 수 있는 환경(예컨대, 3D 환경)의 컴퓨터 생성된 시뮬레이션이다. 단일 장치 또는 장치들의 그룹일 수 있는 가상 현실 시스템은 예컨대, 가상 현실 헤드셋 또는 일부 다른 디스플레이 장치 상에서 사용자에게 디스플레이하기 위해 이러한 시뮬레이션을 생성할 수 있다. 시뮬레이션은 실제 환경 또는 가상 환경을 모방하기 위해 이미지, 소리, 햅틱 피드백 및/또는 다른 감각을 포함할 수 있다. 가상 현실이 점점 더 눈에 띄게 됨에 따라, 유용한 애플리케이션의 범위가 빠르게 확대되고 있다. 가상 현실의 가장 보편적인 애플리케이션은 게임이나 다른 상호작용성 컨텐츠를 수반하지만, 다른애플리케이션 가령 엔터테인먼트나 트레이닝 목적을 위한 시각적 미디어 아이템(예컨대, 사진, 비디오)의 열람이 인접하게 뒤따른다. 가상 현실을 사용하여 실생활의 대화 및 다른 사용자 상호작용을 시뮬레이션하는 가능성이 또한, 연구되고 있다.
또한 증강 현실은 추가된 컴퓨터 생성된 감각 입력(예컨대, 시각, 청각)으로 현실 또는 물리적인 세상의 뷰를 제공한다. 즉, 컴퓨터 생성된 가상 효과가 실제-세계의 뷰를 증강하거나 보완할 수 있다. 예컨대, 가상 현실 헤드셋상의 카메라는 실제 세계의 장면을 (이미지 또는 비디오로) 캡처할 수 있고 컴퓨터 생성된 가상 객체로 캡처된 장면의 합성물을 디스플레이할 수 있다. 가상 객체는 예컨대, 2차원 및/또는 3차원 객체일 수 있고 정지되어 있거나 애니메이션화될 수 있다.
KR 10-2016-0125439 A KR 10-2015-0040580 A
본 발명은 이 같은 기술적 배경에서 도출된 것으로, 사용자들 간에 물리적 거리와 관계없이 실제 대면 상황과 유사한 커뮤니케이션 경험을 제공할 수 있는 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법을 제공함에 그 목적이 있다.
또한, 본 발명은 현실에서는 직접 경험하기 어려운 주제에 대한 효과적인 전달이 가능하고, 직접 경험하기 어려운 상황에 대해 참가자들의 직관적이고 몰입감 높은 경험을 제공할 수 있는 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법을 제공하고자 한다.
상기의 과제를 달성하기 위한 본 발명은 다음과 같은 구성을 포함한다.
즉 본 발명의 일 실시예에 따른 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치는 배경 및 공간 내 오브젝트 정보에 기반하여 적어도 하나 이상의 사용자 디바이스를 통해 제공하는 가상 공간을 생성하여 가상 공간 생성부, 상기 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 적어도 하나 이상의 참가자 위치를 인식하는 위치 인식부, 상기 위치 인식부에서 인식된 참가자 위치 정보를 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 공유하는 위치 공유부를 포함한다.
한편, 실시간 커뮤니케이션 플랫폼 제공 장치에서 수행되는 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 방법은 가상 공간 생성부가 배경 및 공간 내 오브젝트 정보에 기반하여 적어도 하나 이상의 사용자 디바이스를 통해 제공하는 가상 공간을 생성하는 단계, 위치 인식부가 상기 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 적어도 하나 이상의 참가자 위치를 인식하는 단계, 위치 공유부가 상기 위치 인식부에서 인식된 참가자 위치 정보를 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 공유하는 단계를 포함한다.
본 발명에 의하면 사용자들 간에 물리적 거리와 관계없이 실제 대면 상황과 유사한 커뮤니케이션 경험을 제공할 수 있는 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법을 제공할 수 있다는 효과가 도출된다.
또한, 본 발명은 현실에서는 직접 경험하기 어려운 주제에 대한 효과적인 전달이 가능하고, 직접 경험하기 어려운 상황에 대해 참가자들의 직관적이고 몰입감 높은 경험을 제공할 수 있는 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법을 제공하는 효과가 도출된다.
도 1 은 본 발명의 일 실시예에 따른 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치의 구성을 설명하기 위한 블록도,
도 2 내지 4 는 본 발명의 일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치에서 제공하는 실시간 커뮤니케이션 플랫폼의 기능을 설명하기 위한 예시도,
도 5a 내지 6b는 본 발명의 일 실시예에 따른 실시간 커뮤니케이션 플랫폼을 적용한 정비 교육 시스템에 대해 구체적으로 설명하기 위한 예시도,
도 7은 본 발명의 일 실시예에 따른 실시간 커뮤니케이션 플랫폼을 적용한 정비 교육 시스템에서 실제 점검 강의 진행 과정을 설명하기 위한 예시도,
도 8은 본 발명의 일 실시예에 따른 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 방법을 도시한 흐름도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.
도 1 은 본 발명의 일 실시예에 따른 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치의 구성을 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따른 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치(10)는 기술교육이나 의학교육을 포함하는 교육 분야, 비즈니스 미팅, 세일즈 프리젠테이션 분야에서 활용될 수 있는 실시간 커뮤니케이션 플랫폼을 제공한다. 그러나 이에 한정되는 것은 아니고 다양한 변형예들을 포함하도록 해석된다.
일 실시예에 있어서, 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치(10)는 가상 공간을 구축하고, 가상공간에 입장 및 실시간 이동, 가상 공간 내에서 다른 참여자와 상호 커뮤니케이션을 수행할 수 있는 공간 공유 기능, 다른 참여자와 시선, 액션, 보이스를 공유하는 기능, 기타 자료를 공유하거나 가상현실 인터랙션을 수행하는 기능을 제공한다.
일 실시예에 따른 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치(10)는 사용자 디바이스(20)와 다양한 유무선 통신 방식으로 통신을 수행할 수 있다.
일 실시예에 있어서 사용자 디바이스(20)는 주 디바이스와 보조 디바이스를 포함한다. 주 디바이스는 HMD(Head mounted Displa)로 구현될 수 있다. 이때 HMD(Head mounted Displa)는 일체형 또는 PC 연동형으로 구현된다.
그리고 보조 디바이스로 스마트폰, PC, 태블릿과 같은 통신 기능을 가지는 단말장치로 구현된다. 일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치(10)는 이 같은 보조 디바이스를 통해 웹 VR 형태로 실시간 커뮤니케이션 서비스를 제공할 수 있다.
일 실시예에 있어서, 사용자 디바이스(20)를 통해 실시간으로 실시간 커뮤니케이션 플랫폼 제공 장치(10)에서 제공하는 가상 공간에 입장 가능하다. 그리고 실시간으로 실시간 커뮤니케이션 플랫폼 제공 장치(10) 또는 다른 사용자 디바이스(20)와 화면 송수신, 음성 송수신, 제스처 및 이동 정보 송수신, 자료 송수신과 같은 상호 커뮤니케이션을 수행할 수 있다. 또한, 회의나 미팅, 교육을 개설하고 세팅하여 가상공간상에서 가상현실 또는 증강현실을 통해 진행할 수 있다.
도 1 과 같이 일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치(10)는 배경 및 공간 내 오브젝트 정보에 기반하여 생성된 가상공간(XR Live Room)내에서 인터렉션을 통해 적어도 둘 이상의 사용자 간에 소통을 할 수 있도록 데이터나 기타 정보를 송수신할 수 있다. 그리고, 생성된 가상공간(XR Live Room)내에서 이루어지는 사용자들의 활동 이력 및 결과를 데이터베이스(DB)화하여 저장한다.
구체적으로 일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치(10)는 가상 공간 생성부(110), 가상 공간 갱신부(120), 위치 인식부(130), 위치 공유부(140), 실시간 위치 이동부(150), 화면 공유부(160), 음성 공유부(170) 및 액션 공유부(180)를 포함한다.
가상 공간 생성부(110)는 배경 및 공간 내 오브젝트 정보에 기반하여 적어도 하나 이상의 사용자 디바이스(20)를 통해 제공하는 가상 공간을 생성한다. 일 실시예에 있어서 가상 공간 생성부(110)는 가상 공간(XR Live Room)내에서 미팅, 회의, 교육, 세일즈에 필요한 배경에, 물건을 배치하도록 가상 공간 재구성 기능을 수행할 수 있다.
일 실시예에 있어서 가상 공간 생성부(110)는 호스트가 필요시에 미리 세팅해둔 가상 공간(XR Live Room)의 배경과, 배치되어 있는 오브젝트의 위치를 변경할 수 있다.
또한 본 발명의 일 양상에 있어서, 가상 공간 생성부(110)가 가상 공간을 생성한 상태에서 가상 공간 갱신부(120)는 호스트 요청에 따라 미리 세팅된 다른 배경 및 공간 내 오브젝트 정보를 호출하여 새로운 가상 공간으로 갱신한다.
예를 들어 호스트가 가상 공간(XR Live Room)내에서 A 제품에 대한 설명을 완료한 후에, B제품 소개를 위해서 배경 및 오브젝트를 새롭게 리셋하는 것이 가능하다.
위치 인식부(130)는 가상 공간 생성부(110)에서 생성된 가상 공간 내에 입장한 적어도 하나 이상의 참가자의 위치를 인식한다.
위치 인식부(130)는 위치 센서를 활용한 룸프케일에서 참가자가 물리적으로 이동하면 그 이동값을 파악하여 가상 공간내에서 이동한 것으로 반영하는 방법으로 참가자 위치를 인식할 수 있다.
일 양상에 있어서, 실시간 위치 이동부(150)는 참가자가 가상 공간 중 한 지점을 선택하면, 상기 가상 공간 내에서 참가자 위치를 선택된 위치로 이동시킨다.
즉, 실시간 위치 이동부(150)가 컨트롤러를 활용해 사용자가 이동하고자 하는 위치를 선택하여 한번에 이동하는 텔레포트 방식으로 참가자를 이동 시키면, 위치 인식부(130)는 이를 감지하여 참가자 위치 이동을 인식할 수도 있다.
위치 공유부(140)는 위치 인식부(130)에서 인식된 참가자 위치 정보를 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스(20)를 통해 공유한다. 즉 동일한 가상 공간 내에 입장한 참가자들 간에 서로 다른 참가자의 위치를 파악할 수 있다. 이때, 위치 공유부(140)는 참가자 본인을 기준으로 상대적 위치를 파악하여 다른 참가자들의 위치 정보를 제공해줄 수 있다.
화면 공유부(160)는 가상 공간 생성부(110)에서 생성된 가상 공간 내에 입장한 호스트 참가자가 소지하는 호스트 사용자 디바이스(20a)에서 표출되는 화면이 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 참가자 사용자 디바이스(20a, 20b, 20c)에 표출되도록 공유한다.
미팅이나 강의, 세일즈 중 권한을 가진 발표자, 강사, 세일즈맨과 같은 호스트가 호스트 사용자 디바이스(20a)를 통해 보고 있는 화면을 가상 공간의 모임에 참여한 참가자들이 동일하게 볼 수 있도록 실시간 공유할 수 있다. 예를들어 강사가 학습자인 참가자가 소지한 참가자 사용자 디바이스(20b, 20c, 20d)에 표시되는 화면을 컨트롤 가능하고, 현재 호스트인 자신이 호스트 사용자 디바이스(20a)를 통해 보고있는 화면이 참가자 사용자 디바이스(20b, 20c, 20d)를 통해 동시에 표시되도록 할 수 있다. 일예로 강사인 호스트가 자동차 엔진룸을 동일하게 참가자 사용자 디바이스(20b, 20c, 20d)에 표시되도록 제어 할 수 있다.
음성 공유부(170)는 가상 공간 생성부(110)에서 생성된 가상 공간 내에 입장한 호스트 참가자가 소지하는 호스트 사용자 디바이스(20a)를 통해 입력되는 음성 데이터를 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 참가자 사용자 디바이스(20a, 20b, 20c)를 통해 출력한다.
음성 공유부(170)는 참가자 사용자 디바이스(20a, 20b, 20c)로 입력되는 음성 데이터를 호스트 사용자 디바이스(20a) 또는 다른 사용자 디바이스(20)로 출력되도록 구현될 수 있다.
액션 공유부(180)는 가상 공간 생성부(110)에서 생성된 가상 공간 내에 입장한 호스트 참가자의 액션을 인식하고, 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 참가자 사용자 디바이스(20a, 20b, 20c)를 통해 인식된 호스트 참가자의 액션을 반영하여 출력한다.
즉, 미팅이나 강의, 세일즈 중 권한을 가진 발표자, 강사, 세일즈맨과 같은 호스트가 손이나 발로하는 액션이 실시간 공유될 수 있다.
일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치(10)는 시선 공유와 함께 액션을 공유하는 것도 가능하여 가상 공간 내에 입장한 참가자가 소지하는 참가자 사용자 디바이스(20a, 20b, 20c)에 호스트의 시선 공유가 된 상태에서 호스트가 하는 액션이 동시에 공유함으로써 상품시연, 기술 교육 시범을 수행할 수 있다.
도 2 내지 4 는 본 발명의 일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치에서 제공하는 실시간 커뮤니케이션 플랫폼의 기능을 설명하기 위한 예시도이다.
도 2 에서와 같이 일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치(10)에서 제공하는 실시간 커뮤니케이션 플랫폼은 각 사용자의 활동이 실시간으로 가상 공간(XR Live Room)에 반영되고, 동일한 가상 공간에 입장한 다른 참가자들에게도 즉시 공유될 수 있다.
일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치(10)는 가상 공간(XR Live Room)내에서 미팅, 회의, 교육, 세일즈에 필요한 물건을 배치하도록 가상 공간 재구성 기능을 수행할 수 있다.
호스트가 필요시에 미리 세팅해둔 가상 공간(XR Live Room)의 배경과, 배치되어 있는 오브젝트의 위치를 변경할 수 있다. 예를들어 호스트가 가상 공간(XR Live Room)내에서 A 제품에 대한 설명을 완료한 후에, B제품 소개를 위해서 배경 및 오브젝트를 새롭게 리셋할 수 있다.
그리고 미팅, 회의, 교육, 세일즈에 참석한 사용자가 가상의 공간(XR Live Room)에 입장하면 가상 공간(XR Live Room) 내에서 참가자는 본인의 위치를 선택할 수 있다. 또는 호스트 즉 가상공간 개설자가 지정한 위치에 자동 세팅될 수도 있다.
이때, 실시간으로 참석자의 위치가 동일한 가상 공간(XR Live Room)내에 입장한 다른 사용자들에게 공유될 수 있다. 참가자들은 주어진 권한에 따라 자유롭게 위치 이동이 가능하다.
구체적으로 위치 이동은 위치 센서를 활용한 룸프케일에서 직접 이동하면 이동값이 가상 공간(XR Live Room)내에서 반영되는 방식으로 구현되거나, 컨트롤러를 활용하여 가상 공간(XR Live Room)내에서 참가자 본인이 이동하고자 하는 위치를 선택하면 텔레포트(teleportation) 방식으로 한번에 선택된 위치로 이동하는 방식으로 구현될 수 있다.
또한 도 3 에서와 같이 다른 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치(10)에서 제공하는 실시간 커뮤니케이션 플랫폼은 강사나, 발표자, 세일즈맨과 같은 호스트의 시선이나 액션, 음성을 동일한 가상 공간(XR Live Room)내에 입장한 적어도 하나 이상의 참가자들에게 공유할 수 있다.
미팅이나 강의, 세일즈 중 권한을 가진 발표자, 강사, 세일즈맨과 같은 호스트가 호스트 사용자 디바이스(20a)를 통해 보고 있는 화면을 가상 공간의 모임에 참여한 참가자들이 동일하게 볼 수 있도록 실시간 공유할 수 있다. 예를들어 강사가 학습자인 참가자가 소지한 참가자 사용자 디바이스(20b, 20c, 20d)에 표시되는 화면을 컨트롤 가능하고, 현재 호스트인 자신이 호스트 사용자 디바이스(20a)를 통해 보고있는 화면이 참가자 사용자 디바이스(20b, 20c, 20d)를 통해 동시에 표시되도록 할 수 있다. 일예로 강사인 호스트가 자동차 엔진룸을 동일하게 참가자 사용자 디바이스(20b, 20c, 20d)에 표시되도록 제어 할 수 있다.
또한, 미팅이나 강의, 세일즈 중 권한을 가진 발표자, 강사, 세일즈맨과 같은 호스트가 손이나 발로하는 액션이 실시간 공유될 수 있다.
일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치(10)는 시선 공유와 함께 액션을 공유하는 것도 가능하여 가상 공간 내에 입장한 참가자가 소지하는 참가자 사용자 디바이스(20a, 20b, 20c)에 호스트의 시선 공유가 된 상태에서 호스트가 하는 액션이 동시에 공유함으로써 상품시연, 기술 교육 시범을 수행할 수 있다.
또한, 실시간으로 발표자, 강사, 시연자의 목소리가 동일한 가상공간 내에 입장한 참가자들에게도 공유된다. 이때 권한 부여 설정에 따라 다른 참가자들이 호스트에게 실시간 질문 및 답변을 들을 수도 있다.
이때, 시선 공유 기능, 액션 공유 기능 및 음성 공유 기능은 호스트가 특정 참가자에게도 권한을 부여하여 동일한 가상공간(XR Live Room)에 입장한 참가자들 에게 권한 부여받은 참가자의 시선, 액션, 음성을 공유하도록 할수 있도록 구현된다.
또한 도 4에서와 같이 또 다른 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치(10)에서 제공하는 실시간 커뮤니케이션 플랫폼은 강사나, 발표자, 세일즈맨과 같은 호스트의 시선이나 액션, 음성을 동일한 가상 공간(XR Live Room)내에 입장한 적어도 하나 이상의 참가자들에게 공유하고 그 피드백을 수신할 수 있다.
학습자나 청중, 고객들이 참가자 사용자 디바이스(20a, 20b, 20c)를 통해 자신의 시선, 액션, 음성을 호스트에게 공유할 수도 있다. 그러면 호스트인 강사나 발표자, 세일즈맨이 공유받은 참가자들의 시선이나 액션, 음성에 대해 적절한 피드백을 해줄 수 있다. 예를들어 참가자가 가상공간 내에서 엔진룸을 수리하는 과정을 지켜본 후에 어드바이스를 해주거나, 고객이 제품을 사용하는 것을 관찰한 후에 부가적인 설명을 첨부할 수 있다.
또한, 경우에 따라 호스트가 다른 참가자의 제스쳐를 통제하여 시범을 보일 수도 있다. 예를들어 학습자인 참가자가 엔진룸 수리 절차를 잘못 수행하고 있을 때 호스트가 참가자의 액션을 통제하여 올바른 수리 동작을 보여줄 수 있다.
권한 부여 여부에 따라 학습자나 청중, 고객인 참가자들 상호간에도 양방향 소통이 가능하도록 구현될 수 있다.
추가적으로 일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치(10)에서 제공하는 실시간 커뮤니케이션 플랫폼은 컨트롤러를 활용하여 특정 오브젝트를 조작할 수 있도록 오브젝트 조작 기능을 제공한다. 예를들어 주사기를 사용하여 국소마취하는 상황을 실습할 수 있다. 또한 태아 심음 측정 과정을 실습하거나, 자동차 엔진 수리 과정을 실습하도록 구현될 수 있다.
그리고 참가자 화면에 특정 영상을 공유할 수 있다. 뿐만 아니라 참가자 화면에 이미지 및 텍스트를 공유하여 다양한 자료 공유 기능을 제공한다. 또한 가상 공간(XR Live Room) 내에서 이루어지는 강의나 미팅, 세일즈 발표 내용을 녹화하여 저장할 수 있다. 이때 녹화되는 내용은 호스트 사용자 디바이스(20a)로 출력되는 내용과, 참가자 사용자 디바이스(20a, 20b, 20c)로 출력되는 내용을 모두 포함할 수 있다.
강사나 발표자, 세일즈맨인 호스트는 일 실시예에 따른 실시간 커뮤니케이션 플랫폼을 통해 사전 세팅 과정에서 미팅이나 교육, 판매의 개설을 먼저 수행한다. 그리고 참가자를 지정한다. 이때 참가자는 임의로 호스트가 지정하거나, 자유 참가할 수 있도록 설정하는 것도 가능하다. 구체적으로 참가자의 초기 위치를 세팅하거나 필요 오브젝트를 세팅하는 고정 과정을 포함한다.
그리고 참가자 권한을 설정한다. 발표 권한, 화면 공유 권한, 이동 권한, VR room이용 시간 제한 등의 권한을 설정할 수 있다. 또한, 강연이나 미팅, 세일즈에 필요한 내용 및 자료를 업로드받을 수 있다.
호스트와 참가자의 구분은 디바이스 임의 위치에 정보를 저장하여 참조하여 구분할 수 있다. 또는 강사용, 수강생용 빌드를 별도로 관리하여 구분하는 것도 가능하다.
일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치(10)에서 제공하는 실시간 커뮤니케이션 플랫폼은 강사 즉 호스트 메뉴와 학습자 즉 참가자 메뉴를 각각 상이하게 제공한다. 일예로 강사에게 강의 개설, 프로그램 종료, 강의 개설 하위 메뉴로 각 차량 제어 시스템, 배터리 제어 시스템, 고전압 분배 시스템과 같이 세부 분야를 선택할 수 있도록 선택 목록을 포함하는 메뉴화면을 제공한다. 이때 메뉴를 제공하는 것은 XML 테이블을 외부에서 읽어들여 자동으로 구성되도록 구현될 수 있다.
또한 호스트 메뉴는 수강생 관리 메뉴를 더 제공한다. 수강생 명단은 강사가 방을 생성하고 수강생 목록에서 클릭하여 임의로 수강생(참가자)을 추가 또는 삭제하여 생성/편집 될 수 있다.
수강생에게는 강의실 입장, 강의 종류 목록을 선택할 수 있도록 선택 목록을 포함하는 메뉴 화면을 제공한다.
커뮤니케이션 과정에서 호스트는 가상 공간 내에서 실시간으로 발표나 시연을 진행할 수 있다. 자료를 공유하거나 다른 참가자 활동에 대한 피드백을 제공할 수 있다.
Follow up 과정에서 미팅, 교육 촬영 영상을 제공하고, 교육의 경우에는 과제 또는 사후 개인 학습을 위한 개별 XR Room을 오픈하거나 세일즈의 경우 추가적인 체험을 위한 가상 공간을 오픈할 수 있다. 또한 음성이나 텍스트, 영상 VR, AR 컨텐츠를 이용하여 사후 질문 접수 및 답변에 응할 수 있다.
한편, 학습자나 청중, 고객과 같은 참가자는 일 실시예에 따른 실시간 커뮤니케이션 플랫폼을 통해 사전 세팅 과정에서 미팅/교육 참가 신청 및 승인을 받는다. 그리고 커뮤니케이션 과정에서 미팅이나 교육에 참가하여 호스트 발표 및 강의를 청취하고 질문을 하거나, 가상 공간에서 직접 연습 또는 체험을 통해 학습을 할 수 있다. 뿐만 아니라 자료 보기 기능 및 본인 자료 공유 기능을 더 제공한다.
도 5a 내지 6b는 본 발명의 일 실시예에 따른 실시간 커뮤니케이션 플랫폼을 적용한 정비 교육 시스템에 대해 구체적으로 설명하기 위한 예시도이다.
본 발명의 일 실시예에 따른 실시간 커뮤니케이션 플랫폼을 적용한 정비 교육 시스템은 신차와 부품, 정비에 필요한 추가 장비에 대한 정확한 이해를 도울 수 있도록, 가상 현실(VR)속 교육 컨텐츠를 제공한다. 기존 매뉴얼보다 흥미를 가지고 정비 교육에 참여할 수 있고 실시간 피드백과 self review 과정을 통해 신속하게 실무에 적용할 수 있도록 실력향상에 도움을 줄 수 있다.
또한, 더 많은 인원이 교육에 참여할 수 있어 기존의 부품 및 장소의 한계가 있었던 정비 교육의 단점을 극복해낼 수 있다.
일 실시예에 따른 실시간 커뮤니케이션 플랫폼을 적용한 정비 교육 시스템은 실시간 강의 기능을 제공한다. 구체적으로 호스트인 강사(정비교육 담자)가 참가자인 학습자(정비사)간에 실시간 커뮤니케이션이 이루어질 수 있다.
카메라 트래킹을 통해 강사는 학습자에게 자신의 시선을 실시간으로 공유할 수 있다. 학습자는 자신의 자리에서 강사의 시선을 공유하며 학습할 수 있다. 또한 강사는 텔레포트 기능으로 강의실 내 시범존과 다른 자리, 다른 학습자의 자리로 자유롭게 이동하며 학습을 진행할 수 있다.
뿐만 아니라 강사는 VR맴 내의 강의를 할때 음성을 통해 내용을 전달할 수 있고, 자신이 보여주는 시범을 자신의 시선에서 녹화하여 이후 학습자가 녹화본을 보고 복습 가능하도록 제공해줄 수 있다.
학습자는 실습 교육 진행 중 어렵거나 이해가 안되는 부분을 질문하고 실시간 피드백을 받을 수 있다. 일예로 질문 버튼을 누르면 강사 화면에 질문 버튼을 누른 학습자 캐릭터 위에 전구 표시가 뜨거나 깜빡임을 통해 질문한 학습자를 알려준다. 학습자는 자신의 목소리를 강사나 다른 학습자에게 공유하여 실시간 질문 및 그에 대한 피드백을 받을 수 있다. 또한, 정비 교육 후에 가상 공간 내에 준비된 자동차안에 자신이 수리 및 점검한 부품을 탑재시키고 정상 동작하는지 확인하는 것으로 자가 검검 기능을 제공할 수 있다.
강의 준비화면에서 강사는 학생 아이디를 검색하여 학생을 등록할 수 있다. 그리고 실시간 강의 시작 버튼을 누르는 것으로 가상 공간 내에서 자동차 정비 실습 교육을 시작할 수 있다.
도 5a는 실시간 강의실 평면도의 예시도이다.
도 5a에서 리프트는 학습 zone으로 이동하기 위한 수단이다. 학습자가 리프트를 타면 학습 zone으로 이동할 수 있다. 설명 zone은 수업전 강사가 수업의 전반적인 것에 대해 설명하기 위한 공간이고, 시범 zone은 강사가 실제 시범을 보이는 곳으로 정비를 마치고 준비된 자동차 안에 자신이 수리 및 점검한 부품을 탑재시키고 제대로 작동하는지 여부를 확인함으로써 수리 및 점검에 대한 실시간 검증이 가능하다.
도 5b는 실시간 강의시 상사 시선 및 UI를 설명하기 위한 예시도이다. 강사는 voice on 버튼을 선택하여 가상공간 내에서 강의를 할때 자신의 음성을 다른 참가자들에게 실시간 공유할 수 있다. 그리고 녹화 버튼을 선택하여 자신이 보여주는 시범을 자신의 시선에서 녹화하여 학습자들에게 self review시 녹화본을 제공할 수 있다. 그리고 컨트롤러는 정비용 장갑으로 구현되어 강사의 손 움직임 가상 공간 내의 액션으로 반영하고 다른 학습자들에게 공유한다.
도 5c는 실시간 시선 공유 기능을 설명하기 위한 예시도이다.
도 5c에서와 같이 카메라 트래킹을 통해 강사는 학습자에게 자신의 시선을 실시간으로 공유할 수 있다. 학습자는 실습존이 아닌 학습 존에서도 강사의 시선을 공유하여 강사의 시범을 확인할 수 있다.
또한 본 발명의 일 실시예에 따른 실시간 커뮤니케이션 플랫폼을 적용한 정비 교육 시스템은 Self review 기능을 제공한다.
강사에게 데이터베이스에 수집된 Self review녹화본을 제공하여 강사는 학습자가 어떻게 복습했는지, 문제 발생시에 어떤 문제가 발생했고 어떠한 문제 해결 방법을 구사했는지를 확인 및 피드백 할 수 있는 기능을 제공한다. 또한 학습자에게 과제를 등록하도록 요청할 수도 있다.
학습자는 설명 on/off선택이 가능하여 강사의 설명(음성이나 텍스트) 없이 정비 또는 수리가 가능한지 체크할 수 있다. 이때 설명은 기존 메뉴얼의 설명을 포함할 수 있다. 그리고 강사가 강의때 녹화했던 강의 내용을 self review 스크린을 통해 확인하며 실습하는 것도 가능하다.
학습자는 정비를 마치고 준비된 자동차안에 자신이 수리 및 점검한 부품을 탑재하여 제대로 작동되는지를 확인하여 자가 점검도 가능하다.
추가적으로 본 발명의 일 실시예에 따른 실시간 커뮤니케이션 플랫폼을 적용한 정비 교육 시스템은 신차 전시장 기능을 제공한다.
강사 및 학습자는 본 기능을 통해 가상 공간 내에서 신차의 외관을 살펴보고 차체의 색상을 변경할 수 있다. 뿐만 아니라 신차의 내부를 둘러보고 내부 컬러 패키지를 변경하면서 경험할 수도 있다.
도 6a와 같이 신차 전시장 기능을 통해 신차의 외관을 360도 각도에서 확인하고, 차량 외관의 색상을 변경하여 비교해볼 수 있다.
또한, 도 6b와 같이 신차의 내부를 둘러보고 다양한 내부 컬러 패키지를 경험해볼 수 있다. 신차 내부 공간이 어떤지 실감나게 체험해볼 수 있다.
도 7은 본 발명의 일 실시예에 따른 실시간 커뮤니케이션 플랫폼을 적용한 정비 교육 시스템에서 실제 점검 강의 진행 과정을 설명하기 위한 예시도이다.
강의에 적용되는 영상은 3D모델링으로 이루어진다. 강의 과정은 모델링이 없는 상태에서 보다 실감나게 이해를 돕기위해 실사 이미지를 사용한다. 그리고 사용자의 손을 인식하는 오브젝트를 사용하여 액션을 화면상에 적용할 수 있다. 도 7과 같이 배터리를 분리하는 액션을 통해 실제 배터리를 분리하는 과정을 실습할 수 있다.
이에 한정되는 것은 아니고 랜치를 사용하여 배터리 너트를 돌려 분리하는 것, 양 손을 사용하여 파워 일렉트릭 커버를 탈거하는 것, 차량 탑재형 충전기 커넥터를 분리하는 것, 제어보드 신호 커넥터를 분리하는것, 커넥터를 장착하고 다른 커넥터를 삽입하는 것, 특정 부품을 엔진룸 자동차 거리에 거는 것과 같은 동작 등 다양한 정비에 필요한 과정들을 가상 현실에서 실습할 수 있는 기능을 제공한다.
도 8은 본 발명의 일 실시예에 따른 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 방법을 도시한 흐름도이다.
일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 장치에서 수행되는 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 방법은, 먼저 가상 공간 생성부가 배경 및 공간 내 오브젝트 정보에 기반하여 적어도 하나 이상의 사용자 디바이스를 통해 제공하는 가상 공간을 생성한다(S800).
일 실시예에 있어서 가상 공간 생성부는 가상 공간(XR Live Room)내에서 미팅, 회의, 교육, 세일즈에 필요한 배경에, 물건을 배치하도록 가상 공간 재구성 기능을 수행할 수 있다.
일 실시예에 있어서 가상공간 생성부는 호스트가 필요시에 미리 세팅해둔 가상 공간(XR Live Room)의 배경과, 배치되어 있는 오브젝트의 위치를 변경할 수 있다.
그리고 위치 인식부가 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 적어도 하나 이상의 참가자 위치를 인식한다(S810).
위치 인식부는 위치 센서를 활용한 룸프케일에서 참가자가 물리적으로 이동하면 그 이동값을 파악하여 가상 공간내에서 이동한 것으로 반영하는 방법으로 참가자 위치를 인식할 수 있다.
이 후에 위치 공유부가 위치 인식부에서 인식된 참가자 위치 정보를 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 공유한다(S815).
본 발명의 일 양상에 있어서, 참가자가 가상 공간 중 한 지점을 선택하면(S820), 실시간 위치 이동부가 가상 공간 내에서 참가자 위치를 선택된 위치로 이동시킨다(S825).
즉, 실시간 위치 이동부가 컨트롤러를 활용해 사용자가 이동하고자 하는 위치를 선택하여 한번에 이동하는 텔레포트 방식으로 참가자를 이동 시키면, 위치 인식부는 이를 감지하여 참가자 위치 이동을 인식할 수도 있다.
본 발명의 특징적인 양상에 있어서, 화면 공유 요청에 따라(S830) 화면 공유부가 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 호스트 참가자가 소지하는 사용자 디바이스에서 표출되는 화면이 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스에 표출되도록 공유한다(S835).
미팅이나 강의, 세일즈 중 권한을 가진 발표자, 강사, 세일즈맨과 같은 호스트가 호스트 사용자 디바이스를 통해 보고 있는 화면을 가상 공간의 모임에 참여한 참가자들이 동일하게 볼 수 있도록 실시간 공유할 수 있다.
예를들어 강사가 학습자인 참가자가 소지한 참가자 사용자 디바이스에 표시되는 화면을 컨트롤 가능하고, 현재 호스트인 자신이 호스트 사용자 디바이스(20a)를 통해 보고있는 화면이 참가자 사용자 디바이스를 통해 동시에 표시되도록 할 수 있다. 일예로 강사인 호스트가 자동차 엔진룸을 동일하게 참가자 사용자 디바이스에 표시되도록 제어 할 수 있다.
그리고 음성 공유 요청에 따라(S840) 음성 공유부가 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 호스트 참가자가 소지하는 사용자 디바이스를 통해 입력되는 음성 데이터를 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 출력한다(S845).
음성 공유부는 참가자 사용자 디바이스의 마이크로 입력되는 음성 데이터를 호스트 사용자 디바이스 또는 다른 사용자 디바이스의 스피커로 출력되도록 구현될 수 있다.
또한 액션 공유 요청에 따라(S850) 액션 공유부는 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 호스트 참가자의 액션을 인식하고, 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 인식된 호스트 참가자의 액션을 반영하여 출력한다(S855).
즉, 미팅이나 강의, 세일즈 중 권한을 가진 발표자, 강사, 세일즈맨과 같은 호스트가 손이나 발로하는 액션이 실시간 공유될 수 있다.
일 실시예에 따른 실시간 커뮤니케이션 플랫폼 제공 방법은 시선 공유와 함께 액션을 공유하는 것도 가능하여 가상 공간 내에 입장한 참가자가 소지하는 참가자 사용자 디바이스에 호스트의 시선 공유가 된 상태에서 호스트가 하는 액션이 동시에 공유함으로써 상품시연, 기술 교육 시범을 수행할 수 있다.
본 발명의 특징적인 양상에 따르면 가상공간 갱신 요청에 따라(S860) 가상 공간을 생성하는 단계가 가상 공간을 생성한 상태에서 가상 공간 갱신부가 호스트 요청에 따라 미리 세팅된 다른 배경 및 공간 내 오브젝트 정보를 호출하여 새로운 가상 공간으로 갱신한다(S865).
예를들어 호스트가 가상 공간(XR Live Room)내에서 A 제품에 대한 설명을 완료한 후에, B제품 소개를 위해서 배경 및 오브젝트를 새롭게 리셋하는 것이 가능하다.
전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 실시간 커뮤니케이션 플랫폼 제공장치
20 : 사용자 디바이스 110 : 가상 공간 생성부
120 : 가상 공간 갱신부 130 : 위치 인식부
140 : 위치 공유부 150 : 실시간 위치 이동부
160 : 화면 공유부 170 : 음성 공유부
180 : 액션 공유부

Claims (12)

  1. 배경 및 공간 내 오브젝트 정보에 기반하여 적어도 하나 이상의 사용자 디바이스를 통해 제공하는 가상 공간을 생성하여 가상 공간 생성부;
    상기 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 적어도 하나 이상의 참가자 위치를 인식하는 위치 인식부;
    상기 위치 인식부에서 인식된 참가자 위치 정보를 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 공유하는 위치 공유부; 및
    참가자가 가상 공간 중 한 지점을 선택하면, 상기 가상 공간 내에서 참가자 위치를 선택된 위치로 이동시키는 실시간 위치 이동부를 포함하는, 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 호스트 참가자가 소지하는 사용자 디바이스에서 표출되는 화면이 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스에 표출되도록 공유하는 화면 공유부;를 더 포함하는, 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치.
  4. 제 1 항에 있어서,
    상기 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 호스트 참가자가 소지하는 사용자 디바이스를 통해 입력되는 음성 데이터를 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 출력하는 음성 공유부;를 더 포함하는, 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치.
  5. 제 1 항에 있어서,
    상기 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 호스트 참가자의 액션을 인식하고, 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 인식된 호스트 참가자의 액션을 반영하여 출력하는 액션 공유부;를 더 포함하는, 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치.
  6. 제 1 항에 있어서,
    상기 가상 공간 생성부가 가상 공간을 생성한 상태에서 호스트 요청에 따라 미리 세팅된 다른 배경 및 공간 내 오브젝트 정보를 호출하여 새로운 가상 공간으로 갱신하는 가상 공간 갱신부;를 더 포함하는,확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치.
  7. 제 1 항, 제 3 항 내지 제 6 항 중 한 항에 기재된 실시간 커뮤니케이션 플랫폼 제공 장치에서 수행되는 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 방법에 있어서,
    가상 공간 생성부가 배경 및 공간 내 오브젝트 정보에 기반하여 적어도 하나 이상의 사용자 디바이스를 통해 제공하는 가상 공간을 생성하는 단계;
    위치 인식부가 상기 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 적어도 하나 이상의 참가자 위치를 인식하는 단계;
    위치 공유부가 상기 위치 인식부에서 인식된 참가자 위치 정보를 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 공유하는 단계; 및
    참가자가 가상 공간 중 한 지점을 선택하면, 실시간 위치 이동부가 상기 가상 공간 내에서 참가자 위치를 선택된 위치로 이동시키는 단계를 포함하는, 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 방법.
  8. 삭제
  9. 제 7 항에 있어서,
    화면 공유부가 상기 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 호스트 참가자가 소지하는 사용자 디바이스에서 표출되는 화면이 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스에 표출되도록 공유하는 단계;를 더 포함하는, 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 방법.
  10. 제 7 항에 있어서,
    음성 공유부가 상기 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 호스트 참가자가 소지하는 사용자 디바이스를 통해 입력되는 음성 데이터를 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 출력하는 단계;를 더 포함하는, 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 방법.
  11. 제 7 항에 있어서,
    액션 공유부가 상기 가상 공간 생성부에서 생성된 가상 공간 내에 입장한 호스트 참가자의 액션을 인식하고, 동일한 가상 공간 내에 입장한 적어도 하나 이상의 다른 참가자가 소지하는 사용자 디바이스를 통해 인식된 호스트 참가자의 액션을 반영하여 출력하는 단계;를 더 포함하는, 확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 방법.
  12. 제 7 항에 있어서,
    가상 공간을 생성하는 단계가 가상 공간을 생성한 상태에서 가상 공간 갱신부가 호스트 요청에 따라 미리 세팅된 다른 배경 및 공간 내 오브젝트 정보를 호출하여 새로운 가상 공간으로 갱신하는 단계;를 더 포함하는,확장 현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 방법.

KR1020200188918A 2020-12-31 2020-12-31 확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법 KR102283301B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200188918A KR102283301B1 (ko) 2020-12-31 2020-12-31 확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200188918A KR102283301B1 (ko) 2020-12-31 2020-12-31 확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102283301B1 true KR102283301B1 (ko) 2021-07-29

Family

ID=77127857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200188918A KR102283301B1 (ko) 2020-12-31 2020-12-31 확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102283301B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433670B1 (ko) * 2021-07-28 2022-08-18 에스지 주식회사 실물 이미지를 이용한 공간의 위치 기반 가상 환경 제공 시스템
KR102502116B1 (ko) 2022-08-09 2023-02-23 에스지 주식회사 가상현실과 증강현실 기반의 가상 환경 제공시스템
KR20230049147A (ko) 2021-10-05 2023-04-13 가온미디어 주식회사 5g 기반 mec를 이용한 xr 분산처리 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150040580A (ko) 2013-10-07 2015-04-15 한국전자통신연구원 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR20160125439A (ko) 2014-02-26 2016-10-31 사반트 시스템즈 엘엘씨 사용자 생성 가상 공간 기반의 사용자 인터페이스
KR20190047922A (ko) * 2017-10-30 2019-05-09 주식회사 아이티원 혼합현실을 이용한 정보 공유 시스템
KR20190133908A (ko) * 2018-05-24 2019-12-04 시크릿타운 주식회사 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법
KR20200073487A (ko) * 2018-12-14 2020-06-24 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150040580A (ko) 2013-10-07 2015-04-15 한국전자통신연구원 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR20160125439A (ko) 2014-02-26 2016-10-31 사반트 시스템즈 엘엘씨 사용자 생성 가상 공간 기반의 사용자 인터페이스
KR20190047922A (ko) * 2017-10-30 2019-05-09 주식회사 아이티원 혼합현실을 이용한 정보 공유 시스템
KR20190133908A (ko) * 2018-05-24 2019-12-04 시크릿타운 주식회사 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법
KR20200073487A (ko) * 2018-12-14 2020-06-24 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433670B1 (ko) * 2021-07-28 2022-08-18 에스지 주식회사 실물 이미지를 이용한 공간의 위치 기반 가상 환경 제공 시스템
KR20230049147A (ko) 2021-10-05 2023-04-13 가온미디어 주식회사 5g 기반 mec를 이용한 xr 분산처리 시스템
KR102502116B1 (ko) 2022-08-09 2023-02-23 에스지 주식회사 가상현실과 증강현실 기반의 가상 환경 제공시스템

Similar Documents

Publication Publication Date Title
Hammady et al. Design and development of a spatial mixed reality touring guide to the Egyptian museum
Tham et al. Understanding virtual reality: Presence, embodiment, and professional practice
Peixoto et al. Immersive virtual reality for foreign language education: A PRISMA systematic review
KR102283301B1 (ko) 확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법
Monroy Reyes et al. A mobile augmented reality system to support machinery operations in scholar environments
KR102217783B1 (ko) 학습자-교수자간 상호작용 극대화를 위한 5g 텔레프레즌스 기반 hy-live(하이-라이브) 교육 시스템
Cortiz et al. Web and virtual reality as platforms to improve online education experiences
Economou et al. User experience evaluation of human representation in collaborative virtual environments
Lecon et al. Virtual Blended Learning virtual 3D worlds and their integration in teaching scenarios
Greenwood et al. Augmented reality and mobile learning: theoretical foundations and implementation
Nikolai et al. Active learning and teaching through digital technology and live performance:‘choreographic thinking’as art practice in the tertiary sector
Gómez et al. Lessons learned from requirements gathering for virtual reality simulators
Alnagrat et al. The Opportunities and challenges in virtual reality for virtual laboratories
Areepong et al. A study of a metaverse interdisciplinary learning community
Han Students’ daily English situational teaching based on virtual reality technology
Song et al. Developing “Learningverse”—A 3-D Metaverse Platform to Support Teaching, Social, and Cognitive Presences
Yang et al. Holographic sign language avatar interpreter: A user interaction study in a mixed reality classroom
Doerner et al. VR/AR case studies
Durak et al. Metaverse technologies and applications in the future of online learning
Wen et al. iVisit-communicate for AEC education: Using virtual humans to practice communication skills in 360-degree virtual field trips
Yu et al. Cross-location and cross-disciplinary collaborative prototyping using virtual reality in higher education
JP2021086146A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Girard Ready, teacher one
Tuomi Virtual Training in the Workplace
WO2021106463A1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant