KR101696102B1 - 가상현실 제공 시스템 및 그 방법 - Google Patents

가상현실 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR101696102B1
KR101696102B1 KR1020150154548A KR20150154548A KR101696102B1 KR 101696102 B1 KR101696102 B1 KR 101696102B1 KR 1020150154548 A KR1020150154548 A KR 1020150154548A KR 20150154548 A KR20150154548 A KR 20150154548A KR 101696102 B1 KR101696102 B1 KR 101696102B1
Authority
KR
South Korea
Prior art keywords
user
virtual reality
user terminal
attitude information
data
Prior art date
Application number
KR1020150154548A
Other languages
English (en)
Inventor
성만규
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020150154548A priority Critical patent/KR101696102B1/ko
Application granted granted Critical
Publication of KR101696102B1 publication Critical patent/KR101696102B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 가상현실 제공 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 가상현실 제공 시스템에 따르면, 사용자의 움직임을 실시간으로 측정하여 데이터를 생성하는 센서 장치, 상기 데이터를 이용하여 상기 사용자의 위치 및 자세 정보를 생성하고, 상기 위치 및 자세 정보에 대응하도록 가상 현실 공간에 표현되는 상기 사용자의 캐릭터의 시점을 변화시키며, 상기 변화된 시점에 따라 가상 현실 영상을 생성하는 사용자 단말, 상기 사용자 단말로부터 상기 가상 현실 영상을 수신하여 상기 사용자에게 제공하는 가상 현실 기기, 그리고 상기 가상 현실 영상에 타 사용자의 캐릭터가 등장하는 경우, 상기 사용자의 위치 및 자세 정보를 해당되는 타 사용자의 사용자 단말로 전송하는 메인 서버를 포함한다
이와 같이 본 발명에 따르면, 기존의 가상 현실 서비스와 달리 사용자의 움직임에 따라 사용자 캐릭터의 시점을 변화시켜 가상 현실 영상을 생성하므로, 가상 현실 영상의 현실감과 몰입감을 극대화 할 수 있다. 뿐만 아니라 네트워크를 통해 타 사용자의 움직임을 가상 현실 영상에 반영하게 되므로 사용자간의 상호작용이 가능하게 된다.

Description

가상현실 제공 시스템 및 그 방법{SYSTEM FOR PROVIDING VIRTUAL REALITY AND METHOD THEREOF}
본 발명은 가상현실 제공 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 사용자의 움직임에 따른 시점 변화를 가상 현실 영상에 적용하는 가상 현실 제공 시스템 및 그 방법에 관한 것이다.
사회 다양한 분야에 IT가 융합되면서 현실세계에서 다양한 가상의 정보를 함께 체험할 수 있는 가상 체험 서비스가 제공되기 시작하였으며, 많은 업계에서는 스마트폰이 주도하는 현재의 IT 시장을 기반으로 차세대 IT 비즈니스 발굴을 가장 큰 과제로 삼고 있다.
그 중 최근 가장 큰 관심을 끌고 있는 기술이 가상현실(VR: Virtual Reality)기술이다. 가상현실 기술은 최근 고해상도디스플레이, 강력한 컴퓨팅 파워, 3D센싱 등의 기술이 비약적으로 발달하면서 관련 하드웨어 비용이 크게 하락함에 따라 일반 사용자들을 대상으로 유의미한 수준의 몰입감과 상호작용을 제공할 수 있는 환경이 조성됐다. 특히, 가상현실 기술의 핵심장비인 HMD(Head Mount Display)의 경우 지난 1990년에 비해 현재는 약 100분의 1 이하로 줄었으며, 스마트폰의 고해상도 디스플레이와 다양한 센서를 최대한 이용하기 위한 부착형 HMD가 개발되었다
하지만 HMD의 시점변환은 미리 지정된 위치에서의 시점변화만 가능하므로, 사용자는 제자리에서 머리의 3차원 회전을 통한 시점 변화만을 제공받을 수 있다. 또한, 개인 단말기를 이용하기 때문에, 다중 사용자간의 인터랙션을 허용하지 않으며, 모든 콘텐츠는 개인 단말기 내부에서 구현되어야 하며, 외부와의 정보교환이 용이하지 않다.
본 발명의 배경이 되는 기술은 한국공개특허 제10-2015-0106772호(2015.09.22공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 사용자의 움직임에 따른 시점 변화를 가상 현실 영상에 적용하는 가상 현실 제공 시스템 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면 가상현실 제공 시스템은 사용자의 움직임을 실시간으로 측정하여 데이터를 생성하는 센서 장치, 상기 데이터를 이용하여 상기 사용자의 위치 및 자세 정보를 생성하고, 상기 위치 및 자세 정보에 대응하도록 가상 현실 공간에 표현되는 상기 사용자의 캐릭터의 시점을 변화시키며, 상기 변화된 시점에 따라 가상 현실 영상을 생성하는 사용자 단말, 상기 사용자 단말로부터 상기 가상 현실 영상을 수신하여 상기 사용자에게 제공하는 가상 현실 기기, 그리고 상기 가상 현실 영상에 타 사용자의 캐릭터가 등장하는 경우, 상기 사용자의 위치 및 자세 정보를 해당되는 타 사용자의 사용자 단말로 전송하는 메인 서버를 포함한다.
상기 사용자 단말은, 상기 메인 서버를 통하여 상기 타 사용자의 사용자 단말로부터 상기 타 사용자의 위치 및 자세 정보를 수신하고, 수신된 상기 타 사용자의 위치 및 자세 정보를 상기 가상 현실 공간에 적용하여 상기 타 사용자의 캐릭터에 대한 가상 현실 영상을 생성할 수 있다.
상기 센서 장치는, 뎁스 센서 및 비콘 중 적어도 어느 하나를 이용하여 사용자의 움직임을 측정할 수 있다.
상기 사용자 단말은, 상기 데이터를 이용하여 상기 사용자의 인체를 스켈레톤 구조로 변환해 상기 위치 및 자세 정보를 생성하며, 상기 위치 및 자세 정보는, 상기 사용자에 대한 스켈레톤 구조에 포함된 복수의 조인트의 위치 및 방향 정보를 포함할 수 있다.
상기 사용자 단말은, 상기 위치 및 자세 정보를 데이터 패킷으로 변환하여 상기 메인 서버로 전송하며, 상기 데이터 패킷은, 상기 데이터 패킷의 종류를 구분하기 위한 패킷타입부, 상기 데이터 패킷의 처리가 완료되었음을 확인하기 위한 콜백아이디부 및 상기 위치 및 자세에 대한 정보를 포함하는 데이터부를 포함할 수 있다.
상기 사용자 단말은, 아래의 수학식을 통해 가상 현실 영상을 생성할 수 있다.
Figure 112015107424817-pat00001
여기서, ct는 t번째 프레임에서 상기 사용자의 캐릭터의 위치를 의미하고, c0는 상기 캐릭터의 최초 위치를 의미하고, pt는 t번째 프레임에서 상기 사용자의 위치를 의미하고, p0는 상기 사용자의 최초 위치를 의미하고, r은 실제 공간과 가상 공간의 차이에 따른 비율을 조절하기 위한 계수를 의미한다.
본 발명의 다른 실시예에 따른 가상현실 제공 방법은 센서 장치, 사용자 단말, 가상 현실 기기 및 메인 서버를 포함하는 가상현실 제공 시스템을 이용한 가상현실 제공 방법에 있어서, 상기 센서 장치가 사용자의 움직임을 실시간으로 측정하여 데이터를 생성하는 단계, 상기 사용자 단말이 상기 데이터를 이용하여 상기 사용자의 위치 및 자세 정보를 생성하는 단계, 상기 사용자 단말이 상기 위치 및 자세 정보에 대응하도록 가상 현실 공간에 표현되는 상기 사용자의 캐릭터의 시점을 변화시키며, 상기 변화된 시점에 따라 가상 현실 영상을 생성하는 단계, 상기 가상 현실 기기가 상기 사용자 단말로부터 상기 가상 현실 영상을 수신하여 상기 사용자에게 제공하는 단계, 그리고 상기 메인 서버가 상기 가상 현실 영상에 타 사용자의 캐릭터가 등장하는 경우, 상기 사용자의 위치 및 자세 정보를 해당되는 타 사용자의 사용자 단말로 전송하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 기존의 가상 현실 서비스와 달리 사용자의 움직임에 따라 사용자 캐릭터의 시점을 변화시켜 가상 현실 영상을 생성하므로, 가상 현실 영상의 현실감과 몰입감을 극대화 할 수 있다. 뿐만 아니라 네트워크를 통해 타 사용자의 움직임을 가상 현실 영상에 반영하게 되므로 사용자간의 상호작용이 가능하게 된다.
도 1은 본 발명의 실시예에 따른 가상현실 제공 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 가상현실 제공 방법을 나타낸 순서도이다.
도 3은 본 발명의 실시예에 따른 스켈레톤 구조를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 데이터 패킷의 구조를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 사용자에게 제공되는 가상 현실 영상을 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
먼저 도 1을 통해 본 발명의 실시예에 따른 가상현실 제공 시스템에 대하여 살펴본다. 도 1은 본 발명의 실시예에 따른 가상현실 제공 시스템을 설명하기 위한 도면이다.
도 1에서 보는 바와 같이, 가상현실 제공 시스템은 센서 장치(100), 사용자 단말(200), 메인 서버(300) 및 가상 현실 기기(500)를 포함하며, 제2 사용자 단말(400)을 더 포함할 수 있다.
먼저, 센서 장치(100)는 사용자의 움직임을 실시간으로 측정하여 사용자의 움직임에 대한 데이터를 생성한다. 이때, 센서 장치(100)는 뎁스 센서 및 비콘(Beacon) 중 적어도 어느 하나를 이용하여 사용자의 움직임을 측정할 수 있다.
그러면, 사용자 단말(200)은 센서 장치(100)로부터 전송받은 데이터를 전송받아, 이를 이용하여 사용자의 위치 및 자세 정보를 생성한다. 이때, 사용자 단말(200)은 사용자를 스켈레톤 구조로 변환할 수 있으며, 사용자의 위치 및 자세 정보는 스켈레톤 구조에 포함된 복수의 조인트의 위치 및 방향 정보를 포함할 수 있다.
그리고, 사용자 단말(200)은 사용자의 위치 및 자세 정보에 대응하도록 가상 현실 공간에 표현되는 사용자 캐릭터의 시점을 변화시키고, 변화된 시점에 따라 가상 현실 영상을 생성한다.
다음으로, 메인 서버(300)는 가상 현실 영상에 타 사용자의 캐릭터가 등장하는 경우, 사용자의 위치 및 자세 정보를 해당되는 제2 사용자 단말(타 사용자의 사용자 단말, 400)로 전송할 수 있다.
또한, 메인 서버(300)는 제2 사용자 단말(400)로부터 제2 사용자(타 사용자)의 움직임에 따른 위치 및 자세 정보를 수신하여 사용자 단말(200)로 전송할 수 있다.
이때, 메인 서버(300)는 사용자 단말(200) 또는 제2 사용자 단말(400)이 데이터 패킷으로 변환시킨 사용자 또는 제2 사용자의 위치 및 자세 정보를 전송받는다. 여기서 데이터 패킷(Data Packet)은 데이터 패킷의 종류를 구분하기 위한 패킷타입부, 데이터 패킷의 처리가 완료되었음을 확인하기 위한 콜백아이디부 및 사용자의 위치 및 자세에 대한 정보를 포함하는 데이터부를 포함할 수 있다.
그리고, 사용자 단말(200)은 메인 서버(300)로부터 전송받은 제2 사용자의 위치 및 자세 정보를 이용하여 가상 현실 영상을 생성할 수 있다.
다음으로, 가상 현실 기기(500)는 사용자 단말(200)로부터 가상 현실 영상을 수신하여 사용자에게 제공한다.
반면, 메인 서버(300)는 사용자 단말(200)로부터 사용자 또는 타 사용자의 위치 및 자세 정보를 수신하여 전송하는 역할뿐만 아니라, 메인 서버(300)에 연결된 사용자들이 가상 공간에 동시에 접속할 수 있도록 각 사용자 단말들을 통신 연결하는 역할을 할 수 있다.
또한, 메인 서버(300)는 사용자에게 가상 현실 영상을 제공하기 위한 기타 데이터들, 예를 들어 사용자들간의 대화 정보 등을 사용자 단말들로부터 송수신하는 중계하는 역할을 할 수도 있다.
다음으로 도 2 내지 도 6를 통해 본 발명의 실시예에 따른 가상현실 제공 방법에 대하여 살펴본다. 도 2는 본 발명의 실시예에 따른 가상현실 제공 방법을 나타낸 순서도이다.
먼저, 센서 장치(100)는 사용자의 움직임을 실시간으로 측정하여 생성한 데이터를 사용자 단말(200)로 전송한다(S305, S310). 이때, 센서 장치(100)는 뎁스 센서(Depth Sensor) 및 비콘(Beacon) 중 적어도 어느 하나를 포함할 수 있다.
그러면, 사용자 단말(200)은 센서 장치(100)로부터 전송받은 데이터를 이용하여 사용자의 위치 및 자세 정보를 생성한다(S315).
여기서, 사용자의 위치는 실제 공간 상에서 사용자의 실시간 위치를 의미하며, 사용자 단말(200)은 실제 공간의 특정 지점(예를 들어, 센서 장치(100))을 원점(0, 0, 0)으로 하여 사용자의 특정 부위(예를 들어, 머리, 몸, 발 등)의 3차원 좌표값을 분석하여 사용자의 위치 정보를 생성할 수 있다.
그리고, 자세 정보는 팔을 들어 올리거나 엎드리는 모습 등의 사용자가 실시간으로 취하는 자세를 의미하며, 사용자 단말(200)은 사용자의 인체를 스켈레톤 구조(Skeleton Structure)로 변환하고, 스켈레톤 구조에 포함된 복수의 조인트의 위치 및 방향 정보를 분석하여 사용자의 자세 정보를 생성할 수 있다.
도 3은 본 발명의 실시예에 따른 스켈레톤 구조를 나타낸 도면이다. 도 3에서 보는 바와 같이, 사용자 단말(200)은 사용자의 머리, 목, 손, 발, 몸의 중심 및 각 주요 관절에 해당하는 부위를 조인트로 하여 15개의 조인트로 구성된 스켈레톤 구조로 사용자를 표현할 수 있다.
이때, 스켈레톤 구조로 나타낸 사용자의 자세 정보는 아래의 수학식 1로 표현될 수 있다.
Figure 112015107424817-pat00002
여기서, p0는 가상 공간 상에 표현되는 루트 조인트의 3차원 위치를 나타내고, q0는 루트 조인트의 방향을 나타내고, qn은 n번째 조인트의 방향을 나타낸다.
이때, 루트 조인트는 스켈레톤 구조의 가상 상위에 위치하는 조인트를 의미하며, P0와 q0내지 qn은 3차원 좌표값이나 벡터값으로 표현될 수 있다.
다만, p0는 가상 공간에 표현되는 루트 조인트의 3차원 위치이므로, 센서 장치(100)로 측정한 실제 공간에서의 좌표와는 스케일이 다른바, 아래의 수학식 2를 통해 p0를 연산할 수 있다.
Figure 112015107424817-pat00003
여기서, r0는 센서 장치(100)로 측정한 실제 공간에서의 루트 조인트에 해당하는 사용자의 신체 부위의 3차원 좌표값을 의미하고, H는 가상 공간과 실제 공간의 스케일과 위치를 조정하기 위한 변환 행렬을 의미한다.
S315단계에서 사용자의 위치 및 자세 정보를 생성한 다음, 사용자 단말(200)은 사용자의 위치 및 자세 정보에 대응하도록 가상 현실 상에 표현되는 사용자 캐릭터의 시점을 변화시키며, 변화된 시점에 따라 가상 현실 영상을 생성한다(S320).
이때, 사용자 단말(200)은 가상 현실 기기(500)로 출력되는 가상 공간을 구현하는데 있어 필요한 가상 공간에 대한 정보를 기 저장할 수 있다.
S320단계에서의 변화된 시점에 따라 가상 현실 영상을 생성하는 과정을 구체적으로 살펴보면, 사용자 단말(200)은 가상 현실 상에 표현되는 사용자 캐릭터의 1인칭 시점으로 가상 현실 공간을 생성하며, 가상 현실 공간에서 사용자 캐릭터의 위치(ct)는 아래의 수학식 3에 의해 연산될 수 있다.
Figure 112015107424817-pat00004
여기서, ct는 t번째 프레임에서 사용자의 캐릭터의 위치를 의미하고, c0는 사용자의 캐릭터의 최초 위치를 의미하고, pt는 t번째 프레임에서 실제 공간상의 사용자의 위치를 의미하고, p0는 실제 공간상의 사용자의 최초 위치를 의미하고, r은 실제 공간과 가상 공간의 차이에 따른 비율을 조절하기 위한 계수를 의미한다.
이때, 시점은 사용자 캐릭터의 머리 위치를 기준으로 변화되도록 설정되며, ct의 y축의 값은 초기 위치인 c0의 y축 값 또는 기 설정된 y축 값보다 작아질 수 없도록 설정하여 사용자의 캐릭터가 가상 공간의 바닥을 파고 들지 못하도록 방지할 수 있다.
S320단계에서 가상 현실 영상이 생성된 후, 가상 현실 기기(500)는 이를 전송받아 사용자에게 제공한다(S325, S330). 이때, 가상 현실 기기(500)는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 포함한다.
다음으로, 사용자의 가상 현실 영상에 타 사용자의 캐릭터가 등장하는 경우, 메인 서버(300)는 사용자의 위치 및 자세 정보를 사용자 단말(200)로부터 전송받아(S335, S340) 해당되는 제2 사용자 단말(400)로 전송한다(S345).
그러면, 제2 사용자 단말(400)은 사용자의 위치 및 자세 정보를 수신하고(S350), 사용자의 위치 및 자세 정보가 반영된 가상 현실 영상을 생성하여 제2 사용자에게 제공한다.
그리고, 제2 사용자 단말(400)은 위치 및 자세 정보를 제2 센서 장치(100)로부터 수신하여 메인 서버(300)로 전송하고(S355, S360), 메인 서버(300)는 제2 사용자의 위치 및 자세 정보를 사용자 단말(200)로 전송한다(S365).
본 발명의 실시예에 따르면, S335내지 S370 단계에서, 메인 서버(300)는 데이터 패킷으로 변환된 사용자 또는 제2 사용자의 위치 및 자세 정보를 사용자 단말(200) 또는 제2 사용자 단말(400)로부터 전송받아 제2 사용자 단말(400) 또는 사용자 단말(200)로 전송할 수 있다. 도 4는 본 발명의 실시예에 따른 데이터 패킷의 구조를 나타낸 도면이다.
도 4에서 보는 바와 같이, 데이터 패킷(Data Packet)은 패킷타입부(PacketType), 콜백아이디부(CallbackID) 및 데이터부(Data)를 포함한다.
구체적으로, 패킷타입부는 데이터 패킷의 종류를 구분하기 위한 것으로, 패킷의 실행여부, 콘텐츠 데이터, 사용자의 자세 데이터 등을 구분하는데 이용된다.
그리고, 콜백아이디부는 데이터 패킷의 처리가 완료되었음을 확인하기 위한 것으로, 사용자 단말(200)들과 메인 서버(300) 사이의 데이터 송/수신 수행 시간과 온료된 작업의 무결성을 확인하는데 이용된다. 예를 들어 게임 콘텐츠의 경우, 사용자가 총을 발사하면 다른 사용자도 발사된 총알을 볼 수 있어야 한다. 즉, 데이터를 전송한 측이 수신한 측의 작업 수행이 확인되었음을 확인할 수 있어야 한다. 이때, 콜백아이디부는 스택 구조(stack architecture)로 이루어 질 수 있다.
다음으로, 데이터부는 데이터 패킷의 내용이 포함된 것으로서, 예를 들어 사용자의 자세 데이터의 경우 사용자의 조인트의 위치 및 방향에 대한 정보를 포함할 수 있다. 이때, 조인트의 방향에 대한 정보는 사원수(Quaternion)가 아닌 오일러 각도(Eulerian Angle) 형식으로 생성될 수 있다.
그러면, 사용자 단말(200)은 제2 사용자의 위치 및 자세 정보를 이용하여 제2 사용자의 캐릭터에 대한 가상 현실 영상을 생성하여 가상 현실 기기(500)로 전송하고(S375, S380), 가상 현실 기기(500)는 이를 출력하여 사용자에게 제공한다(S330).
도 5는 본 발명의 실시예에 따른 사용자에게 제공되는 가상 현실 영상을 나타낸 도면이다. 도 5의 (a)는 사용자의 캐릭터가 구조물에 올라가 지면쪽을 바라보는 자세를 취한 경우 사용자에게 제공되는 가상 현실 영상을 나타낸 것이고, 도 5의 (b)는 사용자가 지면에서 자세를 낮추어 정면을 바라보는 자세를 취한 경우 사용자에게 제공되는 가상 현실 영상을 나타낸 것이다.
본 발명의 실시예에 따르면, 기존의 가상 현실 서비스와 달리 사용자의 움직임에 따라 사용자 캐릭터의 시점을 변화시켜 가상 현실 영상을 생성하므로, 가상 현실 영상의 현실감과 몰입감을 극대화 할 수 있다. 뿐만 아니라 네트워크를 통해 타 사용자의 움직임을 가상 현실 영상에 반영하게 되므로 사용자간의 상호작용이 가능하게 된다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 센서 장치 200 : 사용자 단말
300 : 메인 서버 400 : 제2 사용자 단말
500 : 가상 현실 기기

Claims (12)

  1. 사용자의 움직임을 실시간으로 측정하여 데이터를 생성하는 센서 장치,
    상기 데이터를 이용하여 상기 사용자의 위치 및 자세 정보를 생성하고, 상기 위치 및 자세 정보에 대응하도록 가상 현실 공간에 표현되는 상기 사용자의 캐릭터의 시점을 변화시키며, 상기 변화된 시점에 따라 가상 현실 영상을 생성하는 사용자 단말,
    상기 사용자 단말로부터 상기 가상 현실 영상을 수신하여 상기 사용자에게 제공하는 가상 현실 기기, 그리고
    상기 가상 현실 영상에 타 사용자의 캐릭터가 등장하는 경우, 상기 사용자의 위치 및 자세 정보를 해당되는 타 사용자의 사용자 단말로 전송하는 메인 서버를 포함하며,
    상기 사용자 단말은,
    아래의 수학식을 통해 가상 현실 영상을 생성하는 가상현실 제공 시스템:
    Figure 112016078551502-pat00012

    여기서, ct는 t번째 프레임에서 상기 사용자의 캐릭터의 위치를 의미하고, c0는 상기 캐릭터의 최초 위치를 의미하고, pt는 t번째 프레임에서 상기 사용자의 위치를 의미하고, p0는 상기 사용자의 최초 위치를 의미하고, r은 실제 공간과 가상 공간의 차이에 따른 비율을 조절하기 위한 계수를 의미한다.
  2. 제1항에 있어서,
    상기 사용자 단말은,
    상기 메인 서버를 통하여 상기 타 사용자의 사용자 단말로부터 상기 타 사용자의 위치 및 자세 정보를 수신하고,
    수신된 상기 타 사용자의 위치 및 자세 정보를 상기 가상 현실 공간에 적용하여 상기 타 사용자의 캐릭터에 대한 가상 현실 영상을 생성하는 가상현실 제공 시스템.
  3. 제1항에 있어서,
    상기 센서 장치는,
    뎁스 센서 및 비콘 중 적어도 어느 하나를 이용하여 사용자의 움직임을 측정하는 가상현실 제공 시스템.
  4. 제1항에 있어서,
    상기 사용자 단말은,
    상기 데이터를 이용하여 상기 사용자의 인체를 스켈레톤 구조로 변환해 상기 위치 및 자세 정보를 생성하며,
    상기 위치 및 자세 정보는,
    상기 사용자에 대한 스켈레톤 구조에 포함된 복수의 조인트의 위치 및 방향 정보를 포함하는 가상현실 제공 시스템.
  5. 제1항에 있어서,
    상기 사용자 단말은,
    상기 위치 및 자세 정보를 데이터 패킷으로 변환하여 상기 메인 서버로 전송하며,
    상기 데이터 패킷은,
    상기 데이터 패킷의 종류를 구분하기 위한 패킷타입부, 상기 데이터 패킷의 처리가 완료되었음을 확인하기 위한 콜백아이디부 및 상기 위치 및 자세에 대한 정보를 포함하는 데이터부를 포함하는 가상현실 제공 시스템.
  6. 삭제
  7. 센서 장치, 사용자 단말, 가상 현실 기기 및 메인 서버를 포함하는 가상현실 제공 시스템을 이용한 가상현실 제공 방법에 있어서,
    상기 센서 장치가 사용자의 움직임을 실시간으로 측정하여 데이터를 생성하는 단계,
    상기 사용자 단말이 상기 데이터를 이용하여 상기 사용자의 위치 및 자세 정보를 생성하는 단계,
    상기 사용자 단말이 상기 위치 및 자세 정보에 대응하도록 가상 현실 공간에 표현되는 상기 사용자의 캐릭터의 시점을 변화시키며, 상기 변화된 시점에 따라 가상 현실 영상을 생성하는 단계,
    상기 가상 현실 기기가 상기 사용자 단말로부터 상기 가상 현실 영상을 수신하여 상기 사용자에게 제공하는 단계, 그리고
    상기 메인 서버가 상기 가상 현실 영상에 타 사용자의 캐릭터가 등장하는 경우, 상기 사용자의 위치 및 자세 정보를 해당되는 타 사용자의 사용자 단말로 전송하는 단계를 포함하며,
    상기 가상 현실 영상을 생성하는 단계는,
    아래의 수학식을 통해 가상 현실 영상을 생성하는 가상현실 제공 방법:
    Figure 112016078551502-pat00013

    여기서, ct는 t번째 프레임에서 상기 사용자의 캐릭터의 위치를 의미하고, c0는 상기 캐릭터의 최초 위치를 의미하고, pt는 t번째 프레임에서 상기 사용자의 위치를 의미하고, p0는 상기 사용자의 최초 위치를 의미하고, r은 실제 공간과 가상 공간의 차이에 따른 비율을 조절하기 위한 계수를 의미한다.
  8. 제7항에 있어서,
    상기 사용자 단말이 상기 메인 서버를 통하여 상기 타 사용자의 사용자 단말로부터 상기 타 사용자의 위치 및 자세 정보를 수신하는 단계, 그리고
    상기 사용자 단말이 수신된 상기 타 사용자의 위치 및 자세 정보를 상기 가상 현실 공간에 적용하여 상기 타 사용자의 캐릭터에 대한 가상 현실 영상을 생성하는 단계를 더 포함하는 가상현실 제공 방법.
  9. 제7항에 있어서,
    상기 센서 장치는,
    뎁스 센서 및 비콘 중 적어도 어느 하나를 이용하여 사용자의 움직임을 측정하는 가상현실 제공 방법.
  10. 제7항에 있어서,
    상기 사용자의 위치 및 자세 정보를 생성하는 단계는,
    상기 사용자 단말이 상기 데이터를 이용하여 상기 사용자의 인체를 스켈레톤 구조로 변환해 상기 위치 및 자세 정보를 생성하며,
    상기 위치 및 자세 정보는,
    상기 사용자에 대한 스켈레톤 구조에 포함된 복수의 조인트의 위치 및 방향 정보를 포함하는 가상현실 제공 방법.
  11. 제7항에 있어서,
    상기 타 사용자의 사용자 단말로 전송하는 단계는,
    상기 사용자 단말이 상기 위치 및 자세 정보를 데이터 패킷으로 변환하여 상기 메인 서버로 전송하며,
    상기 데이터 패킷은,
    상기 데이터 패킷의 종류를 구분하기 위한 패킷타입부, 상기 데이터 패킷의 처리가 완료되었음을 확인하기 위한 콜백아이디부 및 상기 위치 및 자세에 대한 정보를 포함하는 데이터부를 포함하는 가상현실 제공 방법.
  12. 삭제
KR1020150154548A 2015-11-04 2015-11-04 가상현실 제공 시스템 및 그 방법 KR101696102B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150154548A KR101696102B1 (ko) 2015-11-04 2015-11-04 가상현실 제공 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150154548A KR101696102B1 (ko) 2015-11-04 2015-11-04 가상현실 제공 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101696102B1 true KR101696102B1 (ko) 2017-01-13

Family

ID=57835456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150154548A KR101696102B1 (ko) 2015-11-04 2015-11-04 가상현실 제공 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101696102B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101842600B1 (ko) * 2017-02-08 2018-05-14 한림대학교 산학협력단 가상현실 시스템 및 이를 이용한 가상현실 제공 방법
KR20190126990A (ko) 2018-05-03 2019-11-13 디트레인 주식회사 시청자 모션 반응형 vr 시스템
KR102058458B1 (ko) * 2018-11-14 2019-12-23 주식회사 드림한스 다중 사용자 간 상호작용이 가능한 가상현실 콘텐츠 제공 시스템
KR102124748B1 (ko) * 2019-11-22 2020-06-19 주식회사 삼우이머션 가상현실 콘텐츠를 체험하는 체험공간 내에서의 사용자의 위험 감지 및 방지방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110066298A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법
KR20140108128A (ko) * 2013-02-28 2014-09-05 삼성전자주식회사 증강 현실 제공 장치 및 방법
JP2014182597A (ja) * 2013-03-19 2014-09-29 Yasuaki Iwai 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110066298A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법
KR20140108128A (ko) * 2013-02-28 2014-09-05 삼성전자주식회사 증강 현실 제공 장치 및 방법
JP2014182597A (ja) * 2013-03-19 2014-09-29 Yasuaki Iwai 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101842600B1 (ko) * 2017-02-08 2018-05-14 한림대학교 산학협력단 가상현실 시스템 및 이를 이용한 가상현실 제공 방법
KR20190126990A (ko) 2018-05-03 2019-11-13 디트레인 주식회사 시청자 모션 반응형 vr 시스템
KR102058458B1 (ko) * 2018-11-14 2019-12-23 주식회사 드림한스 다중 사용자 간 상호작용이 가능한 가상현실 콘텐츠 제공 시스템
KR102124748B1 (ko) * 2019-11-22 2020-06-19 주식회사 삼우이머션 가상현실 콘텐츠를 체험하는 체험공간 내에서의 사용자의 위험 감지 및 방지방법

Similar Documents

Publication Publication Date Title
KR102590841B1 (ko) 가상 오브젝트 구동 방법, 장치, 전자기기 및 판독 가능 저장매체
EP3852068A1 (en) Method for training generative network, method for generating near-infrared image and apparatuses
KR101696102B1 (ko) 가상현실 제공 시스템 및 그 방법
US11321929B2 (en) System and method for spatially registering multiple augmented reality devices
EP2700040B1 (en) Color channels and optical markers
EP2352117A1 (en) Information processing device, information processing method, program, and information processing system
US20170192734A1 (en) Multi-interface unified displaying system and method based on virtual reality
US20100071008A1 (en) System and method for transmitting an animated figure
JP2003256876A (ja) 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
CN109766006B (zh) 虚拟现实场景的显示方法、装置及设备
US11514604B2 (en) Information processing device and information processing method
CN112884906A (zh) 一种实现多人混合虚拟和增强现实交互的系统及方法
CN105323141B (zh) 一种基于图像识别的信息传输方法、系统及移动终端
US20180247457A1 (en) System and method of providing a virtual environment
JP4288904B2 (ja) データ通信システム、データ送信装置及び方法、並びにデータ受信装置及び方法
CN104869160B (zh) 一种基于云平台的分布式虚拟现实系统
CN104780180B (zh) 一种基于移动终端的虚拟现实平台
CN110852132A (zh) 一种二维码空间位置确认方法及装置
KR102413505B1 (ko) 포인트 클라우드 데이터 시각화 장치 및 방법
CN111047710B (zh) 虚拟现实系统及交互设备显示方法和计算机可读存储介质
CN105323142B (zh) 一种基于图像识别的信息传输方法、系统及移动终端
US20200410734A1 (en) Spatial reproduction method and spatial reproduction system
KR101108542B1 (ko) 위치기반 증강현실을 이용하는 이동통신 단말기 및 이의 제어방법
CN111524240A (zh) 场景切换方法、装置及增强现实设备
Woodward et al. A client/server architecture for augmented assembly on mobile phones

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 4