KR102152595B1 - 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템 - Google Patents

가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템 Download PDF

Info

Publication number
KR102152595B1
KR102152595B1 KR1020170119704A KR20170119704A KR102152595B1 KR 102152595 B1 KR102152595 B1 KR 102152595B1 KR 1020170119704 A KR1020170119704 A KR 1020170119704A KR 20170119704 A KR20170119704 A KR 20170119704A KR 102152595 B1 KR102152595 B1 KR 102152595B1
Authority
KR
South Korea
Prior art keywords
virtual space
virtual
unit
image data
coach
Prior art date
Application number
KR1020170119704A
Other languages
English (en)
Other versions
KR20190031805A (ko
Inventor
박정민
김승재
이중재
Original Assignee
한국과학기술연구원
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원, 재단법인 실감교류인체감응솔루션연구단 filed Critical 한국과학기술연구원
Priority to KR1020170119704A priority Critical patent/KR102152595B1/ko
Publication of KR20190031805A publication Critical patent/KR20190031805A/ko
Application granted granted Critical
Publication of KR102152595B1 publication Critical patent/KR102152595B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템은 적어도 한명 이상의 사용자가 참여하는 가상 현실 콘텐츠가 구현된 제1 가상 공간을 제공하는 제1 가상 콘텐츠 제공부; 및 상기 제1 가상 공간 및 상기 한명 이상의 사용자를 모니터링하는 제1 가상 공간 모니터링부를 포함하되, 상기 제1 가상 콘텐츠 제공부는 상기 제1 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하고, 상기 3D 렌더링 영상 데이터를 인코딩하여 제1 압축 영상 데이터를 생성하는 제어부 및 상기 제1 압축 영상 데이터를 상기 제1 가상 공간 모니터링부로 송신하는 제1 통신부를 포함하고, 상기 제1 가상 공간 모니터링부는 상기 제1 압축 영상 데이터를 수신하는 제2 통신부, 상기 수신된 제1 압축 영상 데이터를 변환하여 양안 뷰 영상을 생성하는 처리부, 상기 생성된 양안 뷰 영상을 제1 코치에게 표시하는 표시부 및 상기 제1 코치의 지시를 감지하는 센싱부를 포함하고, 상기 처리부는 상기 감지된 제1 코치의 지시에 따른 지시 데이터를 생성하고, 상기 통신부는 상기 생성된 지시 데이터를 상기 제1 가상 콘텐츠 제공부로 제공한다.

Description

가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템{Coaching system for users participating in virtual reality contents}
본 발명은 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템에 관한 것으로, 가상 현실 콘텐츠에 참여하고 있는 사용자와 보다 효율적으로 상호작용하여 사용자를 효과적으로 코칭할 수 있는 코칭 시스템에 관한 것이다.
가상 현실(VR: Virtual Reality)은 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황 또는 환경과 상호 작용을 하는 것처럼 만들어주는 인간과 컴퓨터 사이의 인터페이스를 말한다.
또한, 헤드마운트 디스플레이(HMD: Head Mounted Display)는 머리에 착용하는 디스플레이로, 사용자의 눈에 근접한 위치에 디스플레이가 설치되어 영상을 보여주며, 헤드트래킹을 통해서 360도 전 방향으로 콘텐츠를 시청하는 것이 가능하여 사용자에게 높은 몰입도를 제공한다. 헤드마운트 디스플레이(HMD: Head Mounted Display)는 이러한 높은 몰입감으로 인하여 가상 현실 구현에 적용되고 있다.
또한, 3D 평면 디스플레이를 통해 상술한 가상 현실 구현이 가능하며, 최근 신체의 세부적인 동작을 감지하고 이를 가상 공간상의 가상 모델로써 반영하는 인터페이스 방식에 대한 연구가 진행된 바 있다. 이러한 인터페이스는 대체로 센서 장치를 해당 신체 부위에 직접 착용하여 동작을 감지하는 방식과, RGBD와 같은 영상 센서를 통해 감지하는 방식으로 구현되며, 3D 평면 디스플레이를 통해 사용자에게 출력된다.
최근 이러한 가상 현실을 구현하는 기술의 발전과 함께 가상 현실 콘텐츠의 개발도 활발히 진행되고 있다. 현실에서 위험성이 높아 직접적으로 수행할 수 없는 분야뿐만 아니라 다양한 교육 콘텐츠가 가상 현실을 통해 개발되고 있으며, 원거리에 위치한 사용자들의 협업이 요구되는 콘텐츠 또한 가상 현실을 통해 제공되고 있다.
다만, 종래의 가상 현실 콘텐츠는 영상과 소리에 기반하여 사용자에게 일방적으로 제공되는 방식으로 사용자에게 학습에 대한 흥미나 몰입을 이끌어내는 데에 한계가 있었다. 또한, 가상 현실 콘텐츠에 참여하고 있는 사용자와 코치간의 상호 작용이 제한되어 있어 가상 현실 콘텐츠 사용자와의 실시간 코칭이 어려운 한계가 있었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 가상 현실 콘텐츠에 참여하고 있는 사용자와 실시간으로 상호 작용할 수 있어 효과적인 코칭이 가능한 코칭 시스템을 제공한다.
본 명세서의 일 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템은 적어도 한명 이상의 사용자가 참여하는 가상 현실 콘텐츠가 구현된 제1 가상 공간을 제공하는 제1 가상 콘텐츠 제공부; 및 상기 제1 가상 공간 및 상기 한 명 이상의 사용자를 모니터링하는 제1 가상 공간 모니터링부를 포함하되, 상기 제1 가상 콘텐츠 제공부는 상기 제1 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하고, 상기 3D 렌더링 영상 데이터를 인코딩하여 제1 압축 영상 데이터를 생성하는 제어부 및 상기 제1 압축 영상 데이터를 상기 제1 가상 공간 모니터링부로 송신하는 제1 통신부를 포함하고, 상기 제1 가상 공간 모니터링부는 상기 제1 압축 영상 데이터를 수신하는 제2 통신부, 상기 수신된 제1 압축 영상 데이터를 변환하여 양안 뷰 영상을 생성하는 처리부, 상기 생성된 양안 뷰 영상을 제1 코치에게 표시하는 표시부 및 상기 제1 코치의 지시를 감지하는 센싱부를 포함하고, 상기 처리부는 상기 감지된 제1 코치의 지시에 따른 지시 데이터를 생성하고, 상기 통신부는 상기 생성된 지시 데이터를 상기 제1 가상 콘텐츠 제공부로 제공한다.
일 실시예에서, 상기 제1 가상 콘텐츠 제공부는 실제 손의 형상 또는 위치 등을 인식하여 입력 정보를 생성하는 입력부를 더 포함하고, 상기 제어부는 상기 입력 정보에 따라 상기 제1 가상 공간상에 가상 모델을 구현할 수 있다.
일 실시예에서, 상기 제1 가상 공간을 외부에 출력하는 출력부를 더 포함할 수 있다.
일 실시예에서, 상기 입력부 및 상기 출력부는 상기 한명 이상의 사용자 각각에 대응되어 구비될 수 있다.
일 실시예에서, 적어도 한명 이상의 사용자가 참여하는 가상 현실 콘텐츠가 구현된 제2 가상 공간을 제공하고, 상기 제2 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하고, 상기 3D 렌더링 영상 데이터를 인코딩하여 생성한 제2 압축 영상 데이터를 상기 제1 가상 공간 모니터링부에 송신하는 제2 가상 콘텐츠 제공부를 더 포함하고, 상기 제1 가상 공간과 상기 제2 가상 공간은 서로 상이한 가상 현실 콘텐츠를 제공하며, 상기 제1 가상 공간 모니터링부는 상기 제2 가상 공간 및 상기 제2 가상 공간에 참여하는 사용자를 모니터링할 수 있다.
일 실시예에서, 상기 처리부는 상기 제1 압축 영상 데이터 및 상기 제2 압축 영상 데이터를 각각 양안 뷰 영상으로 변환하여 상기 표시부로 제공하며, 상기 표시부는 상기 제1 가상 공간에 대한 화면과 상기 제2 가상 공간에 대한 화면을 일정 주기에 따라 전환하여 표시할 수 있다.
일 실시예에서, 상기 처리부는 상기 제1 압축 영상 데이터 및 상기 제2 압축 영상 데이터를 각각 양안 뷰 영상으로 변환하여 상기 표시부로 제공하며, 상기 표시부는 상기 제1 가상 공간에 대한 화면과 상기 제2 가상 공간에 대한 화면을 상기 제1 코치의 요청에 따라 전환하여 표시할 수 있다.
일 실시예에서, 상기 제1 가상 공간 및 상기 한명 이상의의 사용자를 모니터링하는 제2 가상 공간 모니터링부를 더 포함하고, 상기 제1 가상 콘텐츠 제공부는 상기 제1 압축 영상 데이터를 상기 제2 가상 공간 모니터링부에 더 송신하고, 상기 제2 가상 공간 모니터링부는 상기 제1 압축 영상 데이터를 변환하여 상기 제1 코치와 상이한 제2 코치에게 표시하고, 상기 제2 코치의 지시를 상기 제1 가상 콘텐츠 제공부로 제공할 수 있다.
일 실시예에서, 적어도 한명 이상의 사용자가 참여하고, 상기 제1 가상 공간과 상이한 가상 현실 콘텐츠가 구현된 제2 가상 공간을 제공하는 제2 가상 콘텐츠 제공부 및 상기 제2 가상 공간 및 상기 제2 가상 공간에 참여하는 사용자를 모니터링하는 제2 가상 공간 모니터링부를 더 포함하고, 상기 제2 가상 콘텐츠 제공부는 상기 제2 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하고, 상기 3D 렌더링 영상 데이터를 인코딩하여 생성한 제2 압축 영상 데이터를 상기 제2 가상 공간 모니터링부에 제공하고, 상기 제2 가상 공간 모니터링부는 상기 제2 압축 영상 데이터를 변환하여 상기 제1 코치와 상이한 제2 코치에게 표시하고, 상기 제2 코치의 지시를 상기 제2 가상 콘텐츠 제공부로 제공할 수 있다.
일 실시예에서, 상기 제1 가상 콘텐츠 제공부는 상기 지시 데이터를 상기 제1 가상 공간에 반영하고, 상기 지시 데이터가 반영된 상기 제1 가상 공간에 대한 압축 영상 데이터를 생성하여 상기 제1 가상 공간 모니터링부에 제공할 수 있다.
일 실시예에서, 상기 제1 가상 공간 모니터링부는 헤드 마운트 디스플레이 장치일 수 있다.
본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템은 현재 구현되고 있는 가상 공간에 대한 3D 렌더링 데이터를 압축하여 가상 공간 모니터링부에 전송하는 바, 코치는 가상 공간에 대한 3D 영상 데이터를 실시간으로 모니터링할 수 있다.
또한, 코치는 사용자의 시야뿐만 아니라, 다양한 각도에서 가상 공간을 바라볼 수 있는 바, 사용자의 행동과 가상공간의 상황을 자세히 관측할 수 있어 사용자에 대해 보다 적절한 코칭이 가능하다.
또한, 코치의 손동작, 음성이 가상 현실 콘텐츠에 즉각적으로 반영되므로 코치는 사용자와 효과적으로 상호 작용을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템의 개략적인 블록도이다.
도 2는 도 1의 가상 콘텐츠 제공부의 개략적인 구성도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 가상 공간을 구현한 예시도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템의 개략적인 블록도이며, 도 2는 도 1의 가상 콘텐츠 제공부의 개략적인 구성도이며, 도 3 내지 도 6은 본 발명의 일 실시예에 따른 가상 공간을 구현한 예시도이다.
도 1 내지 도 6을 참조하면, 본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템(10)은 가상 콘텐츠 제공부(100)및 가상 공간 모니터링부(110)를 포함한다.
실시예들에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템(10)은 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템(10) 및 이에 포함된 각 구성들은, 특정 형식 및 내용의 데이터를 처리, 저장 및/또는 송수신하기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "장치", 및 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
가상 콘텐츠 제공부(100)는 적어도 한명 이상의 사용자가 참여할 수 있는 가상 공간을 제공할 수 있다. 가상 공간은 사용자의 교육 또는 놀이를 위한 공간일 수 있다. 가상 콘텐츠 제공부(100)는 사용자의 신체 동작을 입력 수단으로 사용하는 NUI(Natural User Interface)를 포함할 수 있다. 즉, 가상 콘텐츠 제공부(100)는 입력된 손 형상을 가상의 모델에 대응시켜 조작에 활용할 수 있다. 구체적으로, 가상 콘텐츠 제공부(100)는 입력부(101), 제어부(102), 출력부(103), 제1 통신부(104)를 포함한다.
입력부(101)는 가상 공간상에 가상 모델을 형성하기 위한 입력 정보를 제어부(102)로 제공할 수 있다. 입력부(101)는 실제 손의 형상 또는 위치 등을 인식할 수 있는 손 인식 장치일 수 있다. 일 예로써, 이러한 입력부(101)는 립 모션(Leap Motion) 센서가 사용될 수 있다. 그밖에 카메라와 같은 영상 센서, 특히 RGBD 센서를 포함하는 공지의 다양한 센서들이 입력부(101)로서 사용될 수 있다. 입력부(101)는 가상 손의 위치, 형상, 크기, 질량, 속도, 가해지는 힘의 크기와 방향, 마찰계수, 탄성계수 등의 물리량을 입력 정보로 제공할 수 있고, 가상 손 위치의 변화, 형상의 변화, 속도의 변화 등과 같은 물리량의 변화량을 입력 정보로 제공할 수도 있다. 또한, 입력부(101)는 사용자의 목소리를 수신하여 제어부(102)로 제공할 수 있다.
제어부(102)는 가상 공간을 형성할 수 있다. 가상현실 콘텐츠에 대응되는 가상 공간은 현실 공간과는 구분되는 것으로 이해되어야 한다. 가상 공간은 하나 이상의 좌표축을 가질 수 있으며, 서로 직교하는 3개의 좌표축에 의하여 구성되는 3차원 공간일 수 있다. 또한 본 명세서의 가상 공간에 형성되는 가상 물체란, 가상 공간 내에 위치하며 렌더링된 이미지의 형태로 보여지는 물체를 의미한다. 가상 물체는 자체적인 형상과 크기를 가지며, 실제의 물리법칙이 동일하게 적용될 수 있다.
제어부(102)는 이러한 가상 공간상에 가상 모델을 구축하고, 입력부(101)로부터 받는 입력 정보에 기초하여 가상 손을 가상 공간상에 형성할 수 있다. 또한, 제어부(102)는 사용자의 목소리를 음성 데이터로 변환할 수 있으며, 변환된 음성 데이터를 출력부(103)로 제공할 수 있다.
출력부(103)는 제어부(102)에 의해 형성된 가상 손과 가상 물체를 외부에 출력한다. 출력부(103)는 사용자로 하여금 공간감을 느낄 수 있게 하는 3차원 디스플레이 장치일 수 있으나, 이에 한정되는 것은 아니며, 몇몇 실시예에서 출력부(103)는 헤드 마운트형 디스플레이 장치일 수도 있다. 출력부(103)에서 출력되는 화면은 해당 화면을 시청하는 사용자의 시야에 적합하게 조정된 화면일 수 있다. 즉, 제어부(102)는 가상 공간에서 가상 손의 위치를 특정함으로써 실재 사용자의 손 위치 및 사용자의 위치를 특정할 수 있다. 출력부(103)는 사용자의 시각에서 가상 공간을 바라보도록 화면을 조정하여 출력할 수 있다. 또한, 출력부(103)는 음향 출력 수단을 포함하고 있으며, 제어부(102)에서 제공된 음성 데이터를 출력할 수 있다.
도 3 내지 도 6에 도시된 가상공간은 출력부(103)에서 출력되는 가상공간을 화면을 나타낸 것이다. 가상공간에는 복수의 사용자가 동시에 접속할 수 있으며, 이러한 경우 사용자 별로 입력부(101) 및 출력부(103)가 제공될 수 있다. 적어도 입력부(101) 및 출력부(103)는 복수의 사용자 각각에 대응되어 구비될 수 있다. 제어부(102)는 사용자 별로 입력부(101)를 통해 제공된 입력 정보를 바탕으로 사용자 별로 가상 손을 가상 공간에 구현할 수 있다. 또한, 출력부(103)는 사용자의 시각에서 가상 공간을 바라보도록 각 사용자를 기준으로 화면을 조정하여 출력할 수 있다.
가상 콘텐츠 제공부(100)의 구성들은 물리적으로 같은 공간에 위치하여 유선 연결될 수 있다. 다만, 이에 한정되는 것은 아니며, 가상 콘텐츠 제공부(100)의 구성들간의 연결은 무선 연결 또는 네트워크를 통한 연결일 수 있다. 즉, 적어도 제어부(102)는 입력부(101)와 출력부(103)와 다른 공간에 위치할 수 있으며, 입력부(101) 또는 출력부(103)는 제어부(102)와 무선 연결 또는 네트워크를 통해 연결될 수도 있다. 또한, 제1 통신부(104)는 제어부(102)에 포함되어 구성될 수도 있다. 복수의 사용자들은 서로 다른 위치에서 가상 공간에 접근하여 가상 공간에 구축된 콘텐츠에 참여할 수 있다.
도 3에 도시된 바와 같이, 코치는 가상 공간 모니터링부(110)를 통해 가상 공간의 복수의 사용자와 상호 작용을 수행할 수 있다. 가상 공간 모니터링부(110)는 가상 콘텐츠 제공부(100)로부터 가상 공간에 대한 영상 및 음성 데이터를 수신받으며, 코치는 가상 공간 모니터링부(110)를 통해 가상 공간을 모니터링할 수 있다. 코치는 가상 공간의 사용자에 대한 코칭을 동작 또는 음성을 통해 수행할 수 있으며, 가상 공간 모니터링부(110)는 코치의 상기 동작 또는 음성을 인식하고, 이를 가상 콘텐츠 제공부(100)로 제공할 수 있다.
가상 콘텐츠 제공부(100)의 제어부(102)는 가상 공간 전체에 대한 영상 렌더링을 수행하여, 현재 사용자들이 체험하고 있는 가상 공간에 대한 3D 영상 데이터를 생성할 수 있다. 즉, 3D 영상 데이터는 가상 공간 및 가상 공간에 참여하고 있는 사용자들의 손 동작까지 포함될 수 있다. 제어부(102)는 가상 공간에 대한 오프스크린 3D 영상 렌더링을 수행할 수 있다. 예시적으로 제어부(102)는 Scene Graph을 통해 오프스크린 3D 영상 데이터를 생성할 수 있으나, 이에 한정되는 것은 아니다.
제어부(102)는 생성한 3D 영상 데이터를 인코딩하여 압축 영상 데이터를 생성할 수 있다. 예시적으로, 제어부(102)는 H.264 비디오 코덱형식으로 압축 영상 데이터를 생성할 수 있다. 제어부(102)는 생성된 압축 영상 데이터를 제1 통신부(104)에 제공할 수 있으며, 제1 통신부(104)는 압축 영상 데이터를 가상 공간 모니터링부(110)에 송신할 수 있다. 본 실시예에 따른 가상 콘텐츠 제공부(100)는 가상 공간의 3D 영상 데이터를 압축하여 제공하는 바, 보다 신속한 3D 영상 데이터의 전송이 가능하다.
제어부(102)는 3D 영상 데이터에 대응되는 음성 데이터를 생성할 수 있으며, 압축 음성 데이터로 압축할 수 있다. 제어부(102)는 압축 음성 데이터를 제1 통신부(104)에 제공할 수 있고, 제1 통신부(104)는 압축 음성 데이터를 가상 공간 모니터링부(110)에 압축 영상 데이터와 함께 송신할 수도 있다. 몇몇 실시예에서, 제어부(102)는 압축 영상 데이터와 압축 음성 데이터를 함께 압축하여 압축 데이터를 생성, 이를 가상 공간 모니터링부(110)에 제공할 수도 있다.
가상 콘텐츠 제공부(100)와 가상 공간 모니터링부(110)와의 데이터 송수신은 네트워크 연결을 통해 수행될 수 있다. 코치는 원격으로 사용자의 행동을 관찰할 수 있으며, 사용자에 대한 코칭을 원격지에서도 사용자에게 전달할 수 있다.
가상 공간 모니터링부(110)는 가상 콘텐츠 제공부(100)에서 제공된 압축 영상 데이터를 변환하여 가상 공간을 표시하고, 가상 공간을 모니터링 한 코치의 지시를 감지하여 가상 콘텐츠 제공부(100)에 제공할 수 있다. 여기서, 가상 공간 모니터링부(110)는 헤드 마운트 디스플레이 장치(HMD)일 수 있다.
가상 공간 모니터링부(110)는 처리부(111), 제2 통신부(112), 표시부(113), 센싱부(114)로 구성된다. 이러한 가상 공간 모니터링부(110)은 구성들은 서로 구분되는 별개의 블록으로 도시되었으나, 이들 중 일부 또는 전부가 하나의 장치로 집적화될 수도 있다. 일 실시예에서는, 마이크로프로세서(microprocessor)와 같은 처리 수단, 가속도 센서 및 터치스크린을 갖춘 스마트폰(Smartphone)이 전술한 처리부(111), 제2 통신부(112), 표시부(113), 센싱부(114) 중 하나 이상에 해당되며, 이러한 스마트폰이 머리에 장착 가능한 다른 부재(미도시)와 결합되어 가상 공간 모니터링부(110)을 구성한다. 즉, 본 명세서에 기재된 가상 공간 모니터링부(110)는 다른 부재를 통해 헤드 마운트용으로 사용 가능한 스마트폰일 수도 있다. 또한, 가상 공간 모니터링부(110)의 구성 중 적어도 표시부(113)는 코치의 머리에 착용 가능한 형태로 구성될 수 있다. 예를 들어, 표시부(113)는 안경, 고글(goggle) 또는 헬멧(helmet) 등의 형태로 코치의 머리에 고정될 수 있다.
가상 공간 모니터링부(110)는 메모리부(미도시)를 더 포함할 수 있고, 제2 통신부(112)는 가상 콘텐츠 제공부(100)에서 제공된 압축 영상 데이터를 수신하여 메모리부에 임시 저장할 수 있다. 메모리부(미도시)는 가상 공간 모니터링부(110)의 동작 시 처리되는 정보들이 임시 저장되는 공간일 수 있다.
처리부(111)는 압축 영상 데이터를 가상 공간에 대한 오프스크린 3D 영상 데이터를 디코딩할 수 있다. 처리부(111)는 복원된 오프스크린 3D 영상 데이터를 헤드 마운트 디스플레이 장치로 표시하기 위해, 양안 뷰 영상으로 변환할 수 있다. 또한, 처리부(111)는 가상 공간내의 음성 데이터를 양안 뷰 영상과 함께 표시부(113)로 제공할 수 있다.
표시부(113)는 코치의 움직임에 따라 시점이 변동될 수 있는 광시야각 이미지를 표시하도록 구성될 수 있다. 예를 들어, 표시부(113)는 코치의 눈이 위치한 영역에 화면이 위치하는 액정표시장치(Liquid Crystal Display; LCD) 또는 다른 적절한 화상 표시 소자를 포함할 수 있다. 또한, 표시부(113)는 화상 표시 소자에 의해 표시되는 이미지의 초점이 코치의 눈 또는 그 부근에 맺히게 하기 위한 볼록 렌즈 등 하나 이상의 광학 소자(미도시)를 더 포함할 수도 있다. 또한, 표시부(113)는 음성 출력 수단(미도시)을 더 포함하여 할 수 있다. 또한, 실시예에 따라 표시부(113) 상에는 기본 동작을 위한 인터페이스가 표시될 수 있다.
표시부(113)는 처리부(111)에서 제공된 양안 뷰 영상을 표시할 수 있다. 코치는 표시부(113)를 통해 현재 가상 공간을 모니터링할 수 있다. 코치는 헤드 마운트 디스플레이 장치(HMD)인 가상 공간 모니터링부(110)를 가상 공간 콘텐츠를 모니터링할 수 있다. 표시부(113)에서 출력되는 가상 공간의 화면은 오프 스크린 화면으로, 코치는 가상 공간의 특정 사용자의 시점이 아닌 전지적 시점에서 가상 공간을 모니터링할 수 있다. 즉, 각 사용자들이 행동을 전체적으로 용이하게 관찰할 수 있다. 또한, 코치가 헤드 마운트 디스플레이 장치(HMD)로 가상 현실을 체험하면서 사용자들을 관측하고, 사용자들과 소통할 수 있는 바, 보다 적절한 지도가 가능할 수 있다.
표시부(113)는 음성 출력 수단(미도시)를 통해 가상 공간의 음성 데이터를 코치에게 제공할 수도 있다. 음성 데이터는 사용자가 코치에 대한 질문 또는 가상 공간의 현장음 등을 포함할 수 있다.
가상 공간에 대한 화면은 일정 주기를 바탕으로 갱신될 수 있다. 가상 콘텐츠 제공부(100)는 코치의 별도의 요청이 없는 한, 이전 주기에 출력한 화면 구도로써 영상 데이터가 렌더링될 수 있다. 예시적으로 코치의 별도 요청이 없는 한, 다음 주기의 화면 구도는 이전 주기에서와 동일한 오프 스크린 구도로 영상 데이터가 렌더링될 수 있다.
센싱부(114)는 가상 공간에 대한 코치의 지시를 감지할 수 있다. 여기서, 코치의 지시는 가상 환경에 참여하고 있는 사용자에 행동에 대한 가이드, 코칭 등 일 수 있으며, 사용자의 질문에 대한 코치의 답변을 포함할 수 있다.
센싱부(114)는 코치의 음성, 동작 등을 감지할 수 있는 수단을 포함할 수 있다. 예를 들어, 센싱부(114)는 사용자의 손 동작을 인식할 수 있는 립 모션(Leap Motion) 센서, 조도 센서(illumination sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 마이크로폰(microphone), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 또한, 실시예에 따라 센싱부(114)는 사용자의 터치를 인식할 수 있는 터치 패널을 포함할 수 있다.
처리부(111)는 코치의 지시를 센싱부(114)로부터 수신할 수 있으며, 이에 따른 지시 데이터를 생성할 수 있다. 처리부(111)는 지시 데이터를 제2 통신부(112)를 통해 가상 콘텐츠 제공부(100)에 제공할 수 있다. 가상 콘텐츠 제공부(100)의 입력부(101)는 지시 데이터에 대응되는 가상 공간의 변화를 입력 정보로 제어부(102)에 제공할 수 있으며, 제어부(102)는 입력 정보를 바탕으로 가상 공간을 구현할 수 있다. 또한, 제어부(102)는 지시 데이터의 요청에 따른 가상 공간의 변화된 가상 공간에 대한 3D 렌더링을 수행할 수 있으며, 이를 압축 영상 데이터로 변환하여 가상 공간 모니터링부(110)로 제공할 수 있다.
코치는 가상 공간내의 사용자와 상호 작용을 하기 위해 해당 사용자를 보다 자세히 관찰하기를 원할 수 있다. 코치는 특정 사용자만을 바라보기 위해 고개를 돌리거나 해당 사용자를 확대 관찰하기 위한 동작을 할 수 있다. 예시적으로, 코치는 사용자 1과의 코칭이 끝난 이후, 사용자 2와의 코칭을 수행하기 위해 시점 변경을 요청할 수도 있다. 이러한 코치의 동작 및 요청은 센싱부(114)에 의해 감지되고, 처리부(111)에 의해 대응되는 지시 데이터가 생성되어 가상 콘텐츠 제공부(100)로 제공될 수 있다. 가상 콘텐츠 제공부(100)는 상기 코치의 요청에 대응되도록 가상 공간에 대한 시점 변경 또는 화면 확대를 수행한 영상 데이터를 랜더링하여 생성할 수 있으며, 생성된 영상 데이터를 가상 공간 모니터링부(110)에 제공할 수 있다.
또한, 코치는 가상 공간내의 모든 사용자에게 음성을 통한 공지를 할 수 있다. 이 경우, 코치는 센싱부(114)에 음성 지시를 감지하고, 처리부(111)에서 음성 지시는 지시 데이터로 변환되어 가상 콘텐츠 제공부(100)로 전달될 수 있다. 가상 콘텐츠 제공부(100)는 코치의 음성 데이터를 모든 사용자에게 출력부(103)를 통해 출력할 수 있다. 그리고, 코치는 특정 사용자에게 특정 음성 데이터를 전달할 수도 있다. 코치는 특정 사용자를 지목하는 손동작과 함께 음성 지시를 센싱부(114)에 전달할 수 있으며, 가상 콘텐츠 제공부(100)는 코치의 음성 데이터 및 사용자에 대한 데이터를 전달받아, 특정 사용자의 출력부(103)를 통해 상기 음성 데이터를 출력할 수도 있다.
또한, 센싱부(114)는 코치의 손을 인식할 수 있으며, 처리부(111)에서 생성된 코치의 손 인식 데이터는 가상 콘텐츠 제공부(100)로 전달되어 가상 공간 상에 구현될 수도 있다.
또한, 코치는 센싱부(114)에 포함된 터치 패널을 마우스와 같이 이용하여 표시부(113) 상에 표시되는 기본 인터페이스를 동작할 수 있다. 또한, 코치는 터치 패널 상에 글자를 기재할 수 있으며, 처리부(111)는 인식된 글자를 가상 콘텐츠 제공부(100)로 제공할 수도 있다.
여기서, 도 5에 도시된 바와 같이, 본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템에 포함된 가상 공간 모니터링부(110)는 복수 개일 수 있다. 즉, 하나의 가상 공간에 대한 코치가 복수일 수 있다. 코치1은 사용자1과 매칭되고, 코치2는 사용자2와 매칭되어 모니터링 및 코칭을 수행할 수 있으나, 이에 한정되는 것은 아니며, 복수의 코치는 사용자 한명에 대한 집중적인 모니터링 및 코칭을 수행할 수도 있다.
제어부(102)에서 구현되는 가상 공간은 복수의 코치 모두가 참여하고 있는 상태로, 각 코치의 지시는 한 가상 공간 상에 함께 반영되어 구현될 수 있다. 제어부(102)는 현재 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하되, 각 가상 공간 모니터링부(110)에 대응되는 3D 렌더링 영상 데이터를 각각 생성하여 각 가상 공간 모니터링부(110)에 제공할 수 있다. 가상 콘텐츠 제공부(100)의 제어부(102)에서 각 가상 공간 모니터링부(110)에 제공하는 영상 데이터는 모니터링 초기에는 동일할 수 있으나, 특정 화면의 확대 및 전환을 요청하는 코치의 동작에 따라 다른 영상 데이터가 요청될 수 있다. 따라서, 제어부(102)는 각 가상 공간 모니터링부(110)의 요청에 따른 영상 데이터를 각각 생성할 수 있으며, 이를 각 가상 공간 모니터링부(110)에 제공할 수 있다.
또한, 도 6에 도시된 바와 같이, 본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템(10)에 포함된 가상 콘텐츠 제공부(100)는 복수 개일 수 있다. 예시적으로 가상 콘텐츠 제공부(100)는 서로 다른 콘텐츠가 구현된 제1 가상 공간과 제2 가상 공간을 제공하는 제1, 제2 가상 콘텐츠 제공부로 구성될 수 있다. 여기서, 가상 공간 모니터링부(110)는 복수의 가상 콘텐츠 제공부(100)로부터 각 가상 공간에 대응되는 압축 영상 데이터를 각각 전달받을 수 있다. 코치는 복수의 가상 공간을 각각 모니터링하면서, 실시간으로 복수의 가상 공간에 대한 압축 영상 데이터를 수신 받을 수 있다.
가상 공간 모니터링부(110)의 처리부(111)는 각각 전송된 압축 영상 데이터를 처리하여 표시부(113)로 전달할 수 있다. 표시부(113)는 한 가상 공간에 대한 화면과 다른 가상 공간에 대한 화면을 일정 주기를 가지고 교체하면서 표시할 수 있다. 다만, 이에 한정되는 것은 아니며, 코치에게 표시되는 화면의 전환은 코치의 요청에 따라 수행될 수도 있다.
예시적으로, 코치는 현재 표시되고 있는 제1 가상 공간의 사용자와 상호 작용을 수행한 뒤 화면을 전환하여 제2 가상 공간의 사용자를 모니터링하면서 제2 가상 공간의 사용자와 상호 작용을 수행할 수 있다. 한 가상 공간을 모니터링하면서 상호 작용을 하는 순간에도 다른 가상 공간에 대한 영상 데이터는 계속 수신되어 갱신된 상태일 수 있다. 코치는 하나의 가상 공간 모니터링부(110)로 복수의 가상 공간을 모니터링하면서, 필요한 경우 각 가상 공간내의 사용자와 상호 작용을 수행할 수 있다.
또한, 본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템(10)에 포함된 가상 콘텐츠 제공부(100) 및 가상 공간 모니터링부(110)는 각각 복수 개일 수 있다. 예시적으로, 가상 콘텐츠 제공부(100)는 제1 가상 공간을 제공하는 제1 가상 콘텐츠 제공부, 상기 제1 가상 공간과 상이한 제2 가상 공간을 제공하는 제2 가상 콘텐츠 제공부를 포함할 수 있으며, 제1 코치는 제1 가상 공간 모니터링부로 상기 제1 가상 콘텐츠 제공부를 모니터링하면서 상기 제1 가상 콘텐츠 제공부의 사용자와 상호작용할 수 있고, 제2 코치는 제2 가상 공간 모니터링부로 상기 제2 가상 콘텐츠 제공부를 모니터링하면서 상기 제2 가상 콘텐츠 제공부의 사용자와 상호작용할 수 있다.
또한, 각 코치는 가상 공간 모니터링부(110)로 적어도 하나 이상의 가상 콘텐츠 제공부(100)를 모니터링하면서, 필요한 경우 각 가상 공간내의 사용자와 상호 작용을 수행할 수 있다.
본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템은 현재 구현되고 있는 가상 공간에 대한 3D 렌더링 데이터를 가상 공간 모니터링부(110)에 압축 전송하는 바, 영상 처리가 효율적으로 가능하여 코치는 가상 공간에 대한 3D 영상 데이터를 실시간으로 모니터링할 수 있다.
또한, 코치는 사용자의 시야뿐만 아니라, 다양한 각도에서 가상 공간을 바라볼 수 있는 바, 사용자의 행동과 가상공간의 상황을 자세히 관측할 수 있어 사용자에 대해 보다 적절한 코칭이 가능하다.
또한, 코치의 손동작, 음성이 가상 현실 콘텐츠에 즉각적으로 반영되므로 코치는 사용자와 효과적으로 상호 작용을 수행할 수 있다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
10: 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템
100: 가상 콘텐츠 제공부
110: 가상 공간 모니터링부

Claims (11)

  1. 복수의 사용자가 동시에 참여하는 가상 현실 콘텐츠가 구현된 제1 가상 공간을 제공하는 제1 가상 콘텐츠 제공부; 및
    상기 제1 가상 공간 및 상기 복수의 사용자를 모니터링하는 제1 가상 공간 모니터링부를 포함하되,
    상기 제1 가상 콘텐츠 제공부는 상기 제1 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하고, 상기 3D 렌더링 영상 데이터를 인코딩하여 제1 압축 영상 데이터를 생성하는 제어부 및 상기 제1 압축 영상 데이터를 상기 제1 가상 공간 모니터링부로 송신하는 제1 통신부를 포함하고,
    상기 제1 가상 공간 모니터링부는 상기 제1 압축 영상 데이터를 수신하는 제2 통신부, 상기 수신된 제1 압축 영상 데이터를 변환하여 양안 뷰 영상을 생성하는 처리부, 상기 생성된 양안 뷰 영상을 제1 코치에게 표시하는 표시부 및 상기 제1 코치의 지시를 감지하는 센싱부를 포함하고, 상기 처리부는 상기 감지된 제1 코치의 지시에 따른 지시 데이터를 생성하고, 상기 통신부는 상기 생성된 지시 데이터를 상기 제1 가상 콘텐츠 제공부로 제공하며,
    상기 제1 코치는 상기 양안 뷰 영상을 통해 상기 제1 가상 공간 및 상기 제1 가상 공간에 참여하는 복수의 사용자를 모니터링하며,
    상기 제1 코치의 지시는 상기 제1 가상 공간에 대한 시점 변경 요청 또는 화면 확대 요청을 포함하고,
    상기 제1 가상 콘텐츠 제공부는 상기 제1 코치의 제1 가상 공간에 대한 시점 변경 요청 또는 화면 확대 요청에 대응되도록 상기 가상 공간에 대한 시점 변경 또는 화면 확대를 수행한 3D 렌더링 영상 데이터를 생성하고, 상기 생성된 3D 렌더링 영상 데이터를 인코딩한 압축 영상 데이터를 상기 제1 가상 공간 모니터링부에 제공하는 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템.
  2. 제1 항에 있어서,
    상기 제1 가상 콘텐츠 제공 장치는 실제 손의 형상 또는 위치 등을 인식하여 입력 정보를 생성하는 입력부를 더 포함하고,
    상기 제어부는 상기 입력 정보에 따라 상기 제1 가상 공간상에 가상 모델을 구현하는 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템.
  3. 제2 항에 있어서,
    상기 제1 가상 공간을 외부에 출력하는 출력부를 더 포함하는 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템.
  4. 제3 항에 있어서,
    상기 입력부 및 상기 출력부는 상기 복수의 사용자 각각에 대응되어 구비되는 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템.
  5. 제1 항에 있어서,
    적어도 한명 이상의 사용자가 참여하는 가상 현실 콘텐츠가 구현된 제2 가상 공간을 제공하고, 상기 제2 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하고, 상기 3D 렌더링 영상 데이터를 인코딩하여 생성한 제2 압축 영상 데이터를 상기 제1 가상 공간 모니터링부에 송신하는 제2 가상 콘텐츠 제공부를 더 포함하고,
    상기 제1 가상 공간과 상기 제2 가상 공간은 서로 상이한 가상 현실 콘텐츠를 제공하며,
    상기 제1 가상 공간 모니터링부는 상기 제2 가상 공간 및 상기 제2 가상 공간에 참여하는 사용자를 모니터링하는 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템.
  6. 제5 항에 있어서,
    상기 처리부는 상기 제1 압축 영상 데이터 및 상기 제2 압축 영상 데이터를 각각 양안 뷰 영상으로 변환하여 상기 표시부로 제공하며,
    상기 표시부는 상기 제1 가상 공간에 대한 화면과 상기 제2 가상 공간에 대한 화면을 일정 주기에 따라 전환하여 표시하는 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템.
  7. 제5 항에 있어서,
    상기 처리부는 상기 제1 압축 영상 데이터 및 상기 제2 압축 영상 데이터를 각각 양안 뷰 영상으로 변환하여 상기 표시부로 제공하며,
    상기 표시부는 상기 제1 가상 공간에 대한 화면과 상기 제2 가상 공간에 대한 화면을 상기 제1 코치의 요청에 따라 전환하여 표시하는 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템.
  8. 제1 항에 있어서,
    상기 제1 가상 공간 및 상기 복수의 사용자를 모니터링하는 제2 가상 공간 모니터링부를 더 포함하고,
    상기 제1 가상 콘텐츠 제공부는 상기 제1 압축 영상 데이터를 상기 제2 가상 공간 모니터링부에 더 송신하고,
    상기 제2 가상 공간 모니터링부는 상기 제1 압축 영상 데이터를 변환하여 상기 제1 코치와 상이한 제2 코치에게 표시하고, 상기 제2 코치의 지시를 상기 제1 가상 콘텐츠 제공부로 제공하는 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템.
  9. 제1 항에 있어서,
    적어도 한명 이상의 사용자가 참여하고, 상기 제1 가상 공간과 상이한 가상 현실 콘텐츠가 구현된 제2 가상 공간을 제공하는 제2 가상 콘텐츠 제공부 및 상기 제2 가상 공간 및 상기 제2 가상 공간에 참여하는 사용자를 모니터링하는 제2 가상 공간 모니터링부를 더 포함하고,
    상기 제2 가상 콘텐츠 제공부는 상기 제2 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하고, 상기 3D 렌더링 영상 데이터를 인코딩하여 생성한 제2 압축 영상 데이터를 상기 제2 가상 공간 모니터링부에 제공하고,
    상기 제2 가상 공간 모니터링부는 상기 제2 압축 영상 데이터를 변환하여 상기 제1 코치와 상이한 제2 코치에게 표시하고, 상기 제2 코치의 지시를 상기 제2 가상 콘텐츠 제공부로 제공하는 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템.
  10. 삭제
  11. 제1 항에 있어서,
    상기 제1 가상 공간 모니터링부는 헤드 마운트 디스플레이 장치인 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템.
KR1020170119704A 2017-09-18 2017-09-18 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템 KR102152595B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170119704A KR102152595B1 (ko) 2017-09-18 2017-09-18 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170119704A KR102152595B1 (ko) 2017-09-18 2017-09-18 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190083100A Division KR102221193B1 (ko) 2019-07-10 2019-07-10 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템

Publications (2)

Publication Number Publication Date
KR20190031805A KR20190031805A (ko) 2019-03-27
KR102152595B1 true KR102152595B1 (ko) 2020-09-08

Family

ID=65906707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170119704A KR102152595B1 (ko) 2017-09-18 2017-09-18 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템

Country Status (1)

Country Link
KR (1) KR102152595B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102316919B1 (ko) * 2019-11-28 2021-10-22 서울시립대학교 산학협력단 피지컬 컴퓨팅 소프트웨어를 이용한 코딩 교육 교재 및 이를 활용한 코딩 교육 방법
KR102197753B1 (ko) * 2020-08-19 2021-01-04 이준서 Vr/ar 기반 코딩블록 배치의 캐릭터 제어 게임을 통한 코딩 교육 장치 및 방법
KR102253352B1 (ko) * 2020-12-22 2021-05-17 이준서 Vr/ar 기반의 가상 이식 하체를 이용한 재활 콘텐츠 제공 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007320715A (ja) * 2006-05-31 2007-12-13 Seikatsu Kyodo Kumiai Coop Sapporo 作業関連情報提供システム、及び作業関連情報提供方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101262848B1 (ko) * 2009-12-16 2013-05-09 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 장치
KR101671320B1 (ko) * 2014-05-15 2016-11-02 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
KR101756792B1 (ko) * 2015-07-28 2017-07-11 재단법인대구경북과학기술원 Hmd형 가상현실 콘텐츠 모니터링 및 제어 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007320715A (ja) * 2006-05-31 2007-12-13 Seikatsu Kyodo Kumiai Coop Sapporo 作業関連情報提供システム、及び作業関連情報提供方法

Also Published As

Publication number Publication date
KR20190031805A (ko) 2019-03-27

Similar Documents

Publication Publication Date Title
US20100128112A1 (en) Immersive display system for interacting with three-dimensional content
US20140306891A1 (en) Holographic object feedback
JP6462059B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JP2018106663A (ja) 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
US11086392B1 (en) Devices, systems, and methods for virtual representation of user interface devices
JP6722786B1 (ja) 空間情報管理装置
KR102152595B1 (ko) 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템
US20170285694A1 (en) Control device, control method, and program
JP6275891B1 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US20180095532A1 (en) Virtual Reality Head-Mounted Device
EP3797931A1 (en) Remote control system, information processing method, and program
WO2021246134A1 (ja) デバイス、制御方法及びプログラム
JP2018185666A (ja) 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
KR20210036975A (ko) 시뮬레이션된 현실(sr)에서의 디스플레이 디바이스 공유 및 상호작용성
JP6822413B2 (ja) サーバ装置及び情報処理方法、並びにコンピュータ・プログラム
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP2018089228A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2022184958A (ja) アニメーション制作システム
JP6212666B1 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
WO2017061890A1 (en) Wireless full body motion control sensor
JP6203346B1 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
JP6534972B2 (ja) 映像表示装置、映像表示方法及び映像表示プログラム
KR102221193B1 (ko) 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템
US11550397B1 (en) Systems and methods for simulating a sensation of expending effort in a virtual environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2019101002298; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20190710

Effective date: 20200527

GRNO Decision to grant (after opposition)
GRNT Written decision to grant