KR101953578B1 - 클라우드 기반의 가상현실 서비스를 위한 콘텐츠 가공 방법 및 장치 - Google Patents

클라우드 기반의 가상현실 서비스를 위한 콘텐츠 가공 방법 및 장치 Download PDF

Info

Publication number
KR101953578B1
KR101953578B1 KR1020170135885A KR20170135885A KR101953578B1 KR 101953578 B1 KR101953578 B1 KR 101953578B1 KR 1020170135885 A KR1020170135885 A KR 1020170135885A KR 20170135885 A KR20170135885 A KR 20170135885A KR 101953578 B1 KR101953578 B1 KR 101953578B1
Authority
KR
South Korea
Prior art keywords
virtual reality
user
motion
reality content
generating
Prior art date
Application number
KR1020170135885A
Other languages
English (en)
Inventor
윤지훈
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020170135885A priority Critical patent/KR101953578B1/ko
Application granted granted Critical
Publication of KR101953578B1 publication Critical patent/KR101953578B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 가상현실 콘텐츠를 생성하는 방법에 관한 발명으로서, 클라우드에서 가상현실 콘텐츠를 생성하여 네트워크를 통하여 사용자 단말에 전송하여줌으로써, 사용자가 저사양의 PC나 사용자 단말로도 몰입도 높은 가상현실을 이용할 수 있게 한다. 특히, 복수의 사용자 모션 예측방법을 혼합하여 사용하여, 가상현실 콘텐츠를 생성함으로써, 생성된 가상현실 콘텐츠를 사용자 단말에서 디스플레이할 시점에 사용자의 시야와 가상현실 콘텐츠의 시야간의 차이를 감소시켜 몰입감을 향상시킨다.

Description

클라우드 기반의 가상현실 서비스를 위한 콘텐츠 가공 방법 및 장치 {METHOD AND APPARATUS FOR CONTENTS GENERATION IN CLOUD BASED VIRTUAL REALLITY SERVICES}
본 발명은 가상현실 서비스를 위한 콘텐츠 생성에 관한 것으로서, 더 구체적으로는 클라우드에 기반한 가상현실 서비스에서 콘텐츠를 생성하는 방법 및 장치에 관한 것이다.
가상현실이란 컴퓨터에 의하여 생성된 어떤 특정한 환경이나 상황을 의미하기도 하고, 컴퓨터가 생성한 환경이나 상황을 접한 사람이 마치 그러한 특정한 환경이나 상황과 실제로 상호작용을 하고 있는 것처럼 만들어 주는 인간과 컴퓨터간의 인터페이스를 의미하기도 한다. 이는 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 하기 위함이다.
가상현실 서비스를 제공한다는 것은 컴퓨터가 생성한 가상현실을 사용자가 체험할 수 있도록 사용자의 감각기관에 가상현실 콘텐츠를 전달해주는 것으로서, 컴퓨터는 사용자의 시각, 청각, 촉각등의 감각기관이 감지할 수 있는 형태로 가상현실을 생성하여 사용자에게 전달한다.
한편, 가상현실은 사용자의 모션을 실시간으로 반영하여 컴퓨터가 생성한다. 예를들어 사용자에게 3차원 가상현실을 제공하는 서비스의 경우, 사용자의 시선에 따라 3차원 가상현실 세계를 보여주는 영상이 실시간으로 생성되어야 한다. 사용자가 경사로를 걷고 있다고 한다면, 기울기를 반영하여 영상이 생성되며, 사용자의 보행 속도도 영상에 반영된다. 사용자가 급하게 고개를 돌리면, 급격한 시선의 변화를 반영하여 가상현실 영상이 생성되어야 한다.
이를 위해, 사용자 단말은 각종 센서를 통하여 가상현실 생성에 필요한 사용자 모션 정보를 실시간으로 수집하여 컴퓨터에 제공하고, 또한 컴퓨터가 생성하여 제공하는 가상현실 영상을 디스플레이함으로써, 몰입감있는 가상현실을 구현할 수 있다.
근래에 가상현실 서비스는, 헤드마운트 디스플레이 (HMD) 를 PC에 무선 또는 유선으로 접속하여, PC가 생성한 몰입형 가상현실 콘텐츠를 HMD를 통하여 사용자가 경험할 수 있게 하거나, 스마트폰 또는 별도의 임베디드 프로세싱 유닛에서 생성한 몰입형 가상현실 콘텐츠를 스마트폰과 연결된 HMD 또는 가상현실 전용 HMD를 통하여 사용자가 경험할 수 있도록 한다.
한편, 사용자의 움직임에 따라 시시각각 변화하는 가상현실 영상의 몰입감을 향상시키기 위해서는 사용자 모션을 실시간으로 반영한 가상현실 영상을 생성할 필요가 있다. 따라서, 몰입감 높은 가상현실 서비스를 이용하기 위해서는, 상당한 컴퓨팅 파워가 요구되며, 고사양의 PC, 스마트폰, 또는 가상현실 전용 단말 등이 요구된다.
결과적으로, 가상현실 서비스를 이용하기 위해서는 높은 초기비용이 발생한다. 또한, 가상현실 콘텐츠의 대용량 특성상 다운로드 및 설치에 많은 시간이 요구되므로 서비스 이용에 상당한 준비시간이 요구되는 문제점도 있다.
가상현실 서비스를 이용하는데 요구되는 초기비용을 줄이기 위하여 저사양의 사용자 단말을 사용하고, 한편으로는 클라우드에서 가상현실 콘텐츠를 생성하고 네트워크를 통하여 사용자 단말에 공급하는 방식을 생각해볼 수 있다.
그러나, 클라우드에서 가상현실 콘텐츠를 생성하여 네트워크를 통하여 사용자 단말에 제공하는 방식은 콘텐츠 생성과 전송 등에 상대적으로 긴 시간이 소요되므로 레이턴시 (시간지연)의 문제를 야기한다. 또한, 콘텐츠 생성 및 전달에 필요한 소요시간이 길다는 문제이외에도 소요시간이 클라우드의 로드 및 자원 상황과 네트워크 상태 등에 따라 가변적이라는 문제점도 있다.
이하에서, 도 1 및 도 2를 참조하여 클라우드에서 가상현실 콘텐츠를 생성할 경우의 문제점을 상세히 기술한다.
도 1은 가상현실 콘텐츠를 생성하는 클라우드 (100) 와 가상현실 서비스를 이용하는 복수의 사용자 단말 (110, 120,,, 160)이 네트워크를 통하여 접속되어 있는 것을 도시한 블럭도이다. 도 2는 클라우드에서 가상현실 콘텐츠를 생성하여 전송하는 과정에서 발생하는 레이턴시를 설명하기 위한 그래프이다.
각 사용자 단말기 (110) (예컨대 헤드마운트 디스플레이) 에는 사용자의 모션을 감지할 수 있는 각종 가속도 센서 및/또는 사용자의 뇌파나 안구운동 등의 생체신호를 감지할 수 있는 센서 등이 탑재되어 있을 수 있다.
각 사용자 단말기 (110) 에서 감지된 사용자 모션정보는 주기적으로 클라우드 (100) 에 전송된다. 클라우드 (100) 에서는 수신된 사용자 모션정보에 기초하여 사용자 단말에 디스플레이될 가상현실 콘텐츠를 생성하여 해당 사용자 단말 (110)에 전송한다.
따라서, 사용자 단말 (110) 에서 모션정보를 감지한 후 사용자 단말 (110)에서 위 모션정보가 반영된 가상현실 콘텐츠를 디스플레이하기까지는, 네트워크를 통하여 사용자 단말로부터 클라우드 (100) 로 모션정보를 전송하는데 소요되는 시간, 클라우드 (100) 에서 해당 사용자 단말과 관련된 가상현실 콘텐츠를 생성하기 위하여 자원을 배당하고 수신된 모션정보를 바탕으로 가상현실 콘텐츠를 생성하는데 소요되는 시간, 및 생성된 가상현실 콘텐츠를 네트워크를 통하여 사용자 단말에 전송하는데 소요되는 시간등이 필요하다,
즉, 시간 (t)에서의 사용자 모션에 기초하여 생성된 가상현실 콘텐츠가 시간 (t+T)에서 디스플레이되므로, 사용자는 소정시간 (T)만큼의 레이턴시 (시간지연)를 경험하게 되며, 레이턴시가 크면 클수록 사용자의 몰입감은 저하될 수 있다.
따라서, 클라우드 (100)에서는 사용자 모션 관련정보를 수신한 후 수신된 모션 관련정보를 바탕으로 시간 (t+T) 에서의 사용자의 모션을 예측하고, 예측된 사용자 모션에 기초하여 가상현실 콘텐츠를 생성하는 것이 바람직하다.
그러나, 네트워크 상태가 실시간으로 변화하며, 클라우드의 부하 및 리소스도 시시각각 변화하기 때문에, 소요시간 (T)가 가변적이다. 따라서, 가변적인 소요시간에 적응적으로 대응하여 콘텐츠를 생성할 필요가 있다.
따라서, 본발명은 클라우드에서 가상현실 콘텐츠를 생성할 경우, 콘텐츠 생성 및 전송에 소요되는 시간이 가변적이라는 점을 고려하여 사용자 모션을 예측하고 이를 토대로 콘텐츠를 생성하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따르는 가상현실 콘텐츠 생성 방법은 네트워크를 통하여 사용자 모션 관련 정보를 클라우드에서 수신하는 단계, 수신된 사용자 모션 관련 정보에 기초하여 클라우드에서 사용자 모션을 예측하는 단계,
예측된 사용자 모션을 바탕으로 사용자 단말에서 디스플레이될 가상현실 콘텐츠를 클라우드에서 생성하는 단계를 포함하며, 사용자 모션을 예측하는 단계는, 사용자 모션을 예측하기 직전의 시점과 가상현실 콘텐츠를 디스플레이할 시점간의 시간차와 소정의 임계치를 비교하는 단계를 추가로 포함하며, 비교 결과에 따라 서로 상이한 사용자 모션 예측방법을 사용하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 소정의 임계치는 제1임계치, 제2임계치, 및 제3임계치를 포함하며, 시간차가 제1임계치보다 작고 제2임계치보다 큰 경우에는 제1사용자 모션 예측방법을 사용하며, 시간차가 제2임계치보다 작고 제3임계치보다 큰 경우에는 제2사용자 모션 예측방법을 사용하며, 시간차가 제3임계치보다 작고 가상현실 콘텐츠 생성에 소요되는 시간과 생성된 가상현실 콘텐츠의 전송에 소요되는 시간의 합보다 큰 경우에는 제3사용자 모션 예측방법을 사용하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 가상현실 콘텐츠를 생성하는 단계는, 기존의 가상현실 콘텐츠 생성의 바탕이 된 사용자 모션과 신규로 예측된 사용자 모션의 모션차를 소정의 임계치와 비교하는 단계를 추가로 포함하며, 비교 결과에 따라 신규로 가상현실 콘텐츠를 생성할지 여부를 결정하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 가상현실 콘텐츠를 생성하는 단계는, 모션차가 제4임계치보다 작다면, 가상현실 콘텐츠를 신규로 생성하지 않고 기존의 가상현실 콘텐츠를 재사용하며, 모션차가 제4임계치보다 크고 제5임계치보다 작다면, 기존의 가상현실 콘텐츠를 일부 수정하여 가상현실 콘텐츠를 생성하며, 모션차가 제5임계치보다 크다면, 신규로 예측된 사용자 모션에 따라 신규로 가상현실 콘텐츠를 생성하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 시간차가 가상현실 콘텐츠 생성에 소요되는 시간과 생성된 가상현실 콘텐츠의 전송에 소요되는 시간의 합보다 작은 경우에는, 클라우드에서 사용자 모션을 예측하는 단계와 가상현실 콘텐츠를 생성하는 단계를 수행하지 않는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에서 제안한 다양한 실시예에 따라 본발명은 사용자 모션을 예측하고, 콘텐츠를 생성하여 전송하는데 소요되는 시간의 장단에 따라, 서로 다른 사용자 모션 예측방법을 사용함으로써, 보다 신뢰할 수 있는 또는 몰입감 높은 가상현실 콘텐츠를 생성할 수 있도록 하는 한편, 클라우드에서 가상현실 콘텐츠를 생성함에 있어서 가변적인 레이턴시에 적응적으로 대처하여 보다 유연하게 컴퓨팅 자원을 할당할 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따라 가상현실 서비스를 이용하는 사용자 단말들이 네트워크를 통하여 가상현실 콘텐츠를 제공하는 클라우드에 접속되어 있는 것을 도시한다.
도 2는 사용자 단말과 클라우드에서 데이터를 전송하고 콘텐츠를 생성하는 과정을 시간축에 따라 도시한 그래프이다.
도 3은 사용자 단말과 클라우드간 네트워크의 전송율이 고속인 상태에서 데이터 전송과 콘텐츠 생성과정을 시간축에 따라 도시한 그래프이다.
도 4는 사용자 단말과 클라우드간 네트워크의 전송율이 중속인 상태에서 데이터 전송과 콘텐츠 생성과정을 시간축에 따라 도시한 그래프이다.
도 5는 사용자 단말과 클라우드간 네트워크의 전송율이 저속인 상태에서 데이터 전송과 콘텐츠 생성과정을 시간축에 따라 도시한 그래프이다.
도 6은 본 발명의 일 실시예로서 시간차 및 모션차에 따라 클라우드에서 가상현실 콘텐츠를 생성하는 과정을 도시한 흐름도이다.
본 명세서에서 개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시에서 제안하고자 하는 실시예는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 당해 기술분야에서 통상의 지식을 가진 자에게 실시예들의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 개시된 실시예들의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 상세한 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 3 내지 도5는 네트워크 상태에 따라 전송속도가 상대적으로 고속, 중속, 저속인 조건에서, 사용자 단말이 수집한 사용자 모션 정보를 클라우드에 전송하고, 클라우드에서 콘텐츠를 생성하여 사용자 단말에 전송하는 과정을 시간축에 따라 도시한 그래프이다.
본 발명은 클라우드에서 가상현실 콘텐츠를 생성하는 방법에 관한 발명으로서, 이하에서는 도 3 내지 도 5에서 예로 든 그래프와 같은 조건하에서, 본 발명의 일 실시예에 따라 가상현실 콘텐츠를 생성하는 방법을 기술한다.
사용자 단말 (110) 은 사용자 단말 (110) 에 탑재된 센서 또는 주변의 센서를 통하여 사용자 모션 관련정보를 수집하여 주기적으로 클라우드 (100)에 전송한다. 가상현실 콘텐츠의 프레임간 간격을 Δf라고 하면, 사용자 모션 관련정보를 Δf주기로 전송하는 것이 바람직하다,
전송을 위하여 사용되는 네트워크 상태는 시시각각 변화하며, 도 3 내 도 5는 전송속도가 상대적으로 고속, 중속, 저속인 경우를 가정한 경우에 사용자 모션 관련정보를 전송하고, 콘텐츠를 생성하여 사용자 단말에 전송하는 과정을 도시한 그래프이다.
우선, 도3에서와 같이 네트워크의 전송속도가 고속인 경우에는 전송에 소요되는 시간 즉, 클라우드가 사용자 단말 (110) 에서 수집한 사용자 모션 관련 정보를 수신하며, 생성된 가상현실 콘텐츠를 사용자 단말에 전송하는데 소요되는 시간이 상대적으로 짧다. 클라우드에서는 사용자 모션 관련정보의 전송에 소요된 시간 (1) 을 알 수 있으므로, 콘텐츠의 전송에 소요되는 시간 (3)을 예측할 수 있다.
본 발명에서는 클라우드에서 사용자 모션 관련정보에 기초하여 사용자 모션을 예측하기 직전인 시간 (t')과 사용자 단말에서 가상현실 콘텐츠를 디스플레이할 시간 (t) 간의 시간차 (t-t') 를 소정의 임계값과 비교하여, 그 비교 결과에 따라 어떤 사용자 모션 예측방법을 사용할지를 결정한다.
사용자 모션을 예측할 수 있는 방법은 다양하며, 각각의 방법에 따라 예측가능한 선행 시간 및 예측의 정확도가 달라질 수 있다. 예를 들어, 사용자의 현재 속도 또는 가속도가 계속 유지될 것이라는 전제를 바탕으로 사용자의 미래 모션 또는 미래 위치를 예측하는 방법은 10 ~ 20 ms 미래 (선행 시간) 에 대해서는 대체로 정확하게 사용자 모션 또는 사용자 위치를 예측할 수 있으나, 그 보다 긴 선행 시간 즉 그보다 먼 미래에 대한 사용자 모션 또는 사용자 위치 예측은 정확도가 급격하게 떨어진다
다른 예로, 생체 신호를 측정하고 생체 신호의 선행성을 이용하여 사용자의 미래 모션 또는 위치를 예측하는 방법도 있다. 대표적으로, 근전도나 뇌파를 이용하는 방법이다. 근전도는 대략 수십 ms의 선행성을 가지며, 뇌파는 수백 ms수준의 선행성을 갖는 것으로 알려져 있다. 따라서, 사용자 단말에서 사용자의 근전도 정보나 뇌파 정보를 수집하여 클라우드에 전송하면, 클라우드에서는 수십 ms의 선행 시간 또는 수백 ms의 선행 시간에서의 사용자의 모션 또는 사용자의 위치를 비교적 정확하게 예측할 수 있다.
다른 예로서, 사용자의 눈동자 움직임에 관한 정보를 트래킹하거나, 가상현실 콘텐츠속의 오브젝트의 움직임 또는 사운드의 변화나 움직임 등에 관한 정보를 이용하여 사용자 모션 또는 위치를 예측할 수도 있다.
위에서 예시한 방법이외에도 사용자의 다른 생체 신호를 이용하는 등의 다양한 방법들이 사용될 수 있으며, 각각의 방법마다 서로 상이한 선행시간 및 정확성 등의 특성을 갖고 있다.
도 3 내지 도 5에 도시된 조건에서, 본 발명에 따른 일 실시예는 선행시간 (t-t')을 소정의 임계값과 비교하고, 그 비교 결과에 따라 3 가지의 서로 다른 사용자 모션 예측방법을 사용한다. 단, 사용자 모션 예측방법의 가지수는 하나의 예일 뿐, 다양하게 변형하여 적용할 수 있다.
도 3에 도시된 바와 같은 고속 네트워크 조건하에서, 이 조건을 T1 > t-t' > T2 (T1, T2, T3는 T1 > T2 > T3 조건을 만족함) 와 같이 나타낼 경우, 본 발명의 일 실시예는 제1 사용자 모션 예측방법 (고선행성 예측방법)을 사용하여 사용자 모션을 예측한다. 제1 사용자 모션 예측방법은 선행 시간이 T2보다 긴 경우에 (T1보다는 짧음) 신뢰할 수 있는 수준의 정확도로 사용자 모션을 예측할 수 있는 여러 사용자 모션 예측방법 중에서 선택할 수 있다.
만약, T1 > t-t' > T2 (T1, T2, T3는 T1 > T2 > T3 조건을 만족함) 와 같은 조건하에서, 제1사용자 모션 예측방법이 아닌 제2 사용자 모션 예측방법 (선행 시간이 T2보다 짧을 경우 신뢰할 수 있는 수준의 정확도로 사용자 모션을 예측할 수 있는 예측방법)을 사용하여 사용자 모션을 예측한다면, t 시점 즉 가상현실 콘텐츠를 디스플레이하는 시점에서 예측된 사용자 모션의 정확도가 떨어져 사용자의 시야와 가상현실 콘텐츠의 시야가 불일치하게 되고 그만큼 몰입도가 낮아지게 된다.
한편, 도 4에 도시된 바와 같은 중속 네트워크 조건하에서, 이 조건을 T2 > t-t' > T3 (T1, T2, T3는 T1 > T2 > T3 조건을 만족함) 와 같이 나타낼 경우, 본 발명의 일 실시예는 제2 사용자 모션 예측방법 (중선행성 예측방법)을 사용하여 사용자 모션을 예측한다. 제2 사용자 모션 예측방법은 선행 시간이 T3보다 긴 경우에 (T2보다는 짧음) 신뢰할 수 있는 수준의 정확도로 사용자 모션을 예측할 수 있는 여러 사용자 모션 예측방법 중에서 선택할 수 있다.
만약, T2 > t-t' > T3 (T1, T2, T3는 T1 > T2 > T3 조건을 만족함) 와 같은 조건하에서, 제2사용자 모션 예측방법이 아닌 제3 사용자 모션 예측방법 (선행 시간이 T3보다 짧을 경우 신뢰할 수 있는 수준의 정확도로 사용자 모션을 예측할 수 있는 예측방법)을 사용하여 사용자 모션을 예측한다면, t 시점 즉 가상현실 콘텐츠를 디스플레이하는 시점에서 예측된 사용자 모션의 정확도가 떨어져 사용자의 시야와 가상현실 콘텐츠의 시야가 불일치하게 되고 그만큼 가상현실에 대한 몰입도가 낮아지게 된다.
한편, 도 5에 도시된 바와 같은 저속 네트워크 조건하에서, 이 조건을 T3 > t-t' > L + ΔT (T1, T2, T3는 T1 > T2 > T3 조건을 만족함, L은 전송 레이턴시, ΔT는 콘텐츠 생성에 필요한 시간) 와 같이 나타낼 경우, 본 발명의 일 실시예는 제3 사용자 모션 예측방법 (저선행성 예측방법)을 사용하여 사용자 모션을 예측한다. 제3 사용자 모션 예측방법은 선행 시간이 T3보다 짧은 경우에 신뢰할 수 있는 수준의 정확도로 사용자 모션을 예측할 수 있는 여러 사용자 모션 예측방법 중에서 선택할 수 있다.
만약, T3 > t-t' > L + ΔT와 같은 조건하에서, 제3사용자 모션 예측방법이 아닌 제1 사용자 모션 예측방법이나, 제2 사용자 모션 예측방법을 사용하여 사용자 모션을 예측한다면, t 시점 즉 가상현실 콘텐츠를 디스플레이하는 시점에서 예측된 사용자 모션의 정확도가 떨어져 사용자의 시야와 가상현실 콘텐츠의 시야가 불일치하게 되고 그만큼 가상현실에 대한 몰입도가 낮아지게 된다.
선행시간 (t-t') 이 L + ΔT > t-t' 와 같은 조건을 만족한다면, 사용자 단말에서 가상현실 콘텐츠를 디스플레이하기 전에 가상현실 콘텐츠를 생성하여 사용자 단말에 전송하는 것이 불가능하다. 따라서, 이 경우에 클라우드에서는 사용자 모션을 예측하거나 이를 기초로 신규로 가상현실 콘텐츠를 생성함으로써, 클라우드의 자원을 낭비할 필요가 없다.
가상현실 콘텐츠는 프레임 별로 생성되므로 직전 프레임에 해당하는 가상현실 콘텐츠가 존재한다는 점에 착안하여, 클라우드에서는 직전 프레임에 해당하는 가상현실 콘텐츠를 사용자 단말에 재전송하거나, 사용자 단말로 하여금 저장되어 있는 직전 프레임에 해당하는 가상현실 콘텐츠를 재사용하도록 제어신호를 보낼 수 있다.
상술한 바와 같이, 선행시간 (t-t')과 소정의 임계치와의 비교 결과에 따라 적절한 사용자 모션 예측방법을 사용함으로써, 보다 정확하게 사용자 모션을 예측하여 결과적으로 몰입도 높은 가상현실 콘텐츠를 생성할 수 있다는 것을 알 수 있다.
다른 한편, 도 3의 경우와 도 5의 경우를 대비하여 보면, 도 3의 경우에는 도 5에 비하여 클라우드에서 사용자 모션을 예측하고 가상현실 콘텐츠를 생성하기에 상대적으로 긴 시간 (2)을 확보하였기 때문에, 클라우드의 자원을 사용자 단말 (110)을 위하여 우선적으로 분배하기 보다는 효율적으로 배분하도록 결정할 수 있다.
반면에, 도 5의 경우에는 도3에 비하여 클라우드에서 사용자 모션을 예측하고 가상현실 콘텐츠를 생성하기에 상대적으로 빠듯한 시간 (2'')만을 확보하였기 때문에, 클라우드의 자원을 우선적으로 배분하도록 결정할 수 있다.
상술한 바와 같이, 선행시간 (t-t') 을 소정의 임계치와 비교하고, 그 비교 결과에 따라 서로 다른 사용자 모션 예측 방법을 사용함으로써, 보다 정확하게 사용자 모션을 예측할 수 있을 뿐만 아니라, 선행시간 (t-t') 의 크기에 따라 클라우드의 자원을 보다 적응적이고 효과적으로 배분할 수 있다.
이하에서는 본 발명의 다른 일 실시예에로서, 신규 프레임에 해당하는 가상현실 콘텐츠가 생성되기 전에 이미 그 직전 프레임에 해당하는 가상현실 콘텐츠가 존재한다는 점에 착안하여, 클라우드에서 가상현실 콘텐츠를 보다 효율적으로 생성하는 방법을 기술한다.
우선, 도 3의 상황을 예로 들어 설명한다. 선행시간 (t-t')가 T1 > t-t' > T2 와 같은 조건을 만족하는 경우, 앞서 설명한 바와 같이 제1 사용자 모션 예측방법 (고선행성 예측방법)을 사용하여 사용자 모션을 예측한다. 이때, 직전 프레임에 해당하는 가상현실 콘텐츠가 존재하는 경우, 기존의 가상현실 콘텐츠 (직전 프레임) 가 기초하고 있는 사용자 모션과 현 프레임에 해당하는 가상현실 콘텐츠 생성을 위하여 예측한 사용자 모션의 모션차를 소정의 임계치와 비교한다.
모션차가 Δmin보다 작은 경우에는 신규로 가상현실 콘텐츠를 생성하는 대신, 기존의 가상현실 콘텐츠 (직전 프레임)를 사용한다. 따라서, 이와 같은 경우에는, 클라우드가 사용자 단말에게 직전 프레임에 해당하는 가상현실 콘텐츠를 재전송하거나, 사용자 단말에 저장되어 있는 직전 프레임을 현 프레임으로서 재사용하도록 클라우드가 사용자 단말에 제어신호를 보낼 수 있다.
모션차가 Δmin보다 크고 Δmax 보다 작은 경우에는 기존의 가상현실 콘텐츠 (직전 프레임) 을 일부 수정 또는 쉬프트하여 사용한다. 따라서, 이와 같은 경우에는, 클라우드가 사용자 단말에게 일부 수정된 가상현실 콘텐츠를 전송하거나, 수정할 사항을 사용자 단말에게 전송함으로써 사용자 단말이 기존의 가상현실 콘텐츠를 수정하여 디스플레이하도록 할 수 있다.
모션차가 Δmax 보다 큰 경우에는, 기존의 가상현실 콘텐츠를 폐기하고, 예측된 사용자 모션에 기초하여 신규로 가상현실 콘텐츠를 생성하여 사용자 단말에 전송한다.
Δmin 또는 Δmax는 각도 또는 픽셀 수로 나타낼 수 있다. 각도 단위인 경우에, 예컨대 Δmin은 0.001 ~ 0.1°의 값을 가질 수 있으며, Δmax는 0.1 ~ 5° 값을 가질 수 있다.
이상의 절차는 매 프레임마다 반복되며, 도 4 및 도 5와 같은 조건에서도 동작은 동일하므로, 동작설명을 생략한다.
도 6은 앞서 설명한 본 발명의 실시예들을 종합하여, 시간차 및 모션차에 따라 클라우드에서 가상현실 콘텐츠를 생성하는 과정을 도시한 흐름도이다.
단계 610에서, 클라우드에서의 현재시각 (사용자 모션예측을 시작하기 직전의 시각)을 t'로 설정하고, 사용자 단말에서 VR콘텐츠를 디스플레이하기 직전의 시각을 t로 설정한다.
단계 621, 622, 623에서, 선행시간 또는 시간차 (t-t')와 소정의 임계값들 (T1, T2, T3, L+ΔT) 과 비교한다. 단계 631, 632, 633에서, 비교결과에 따라, 각각 고선행성/중선행성/저선행성 사용자 모션 예측방법에 따라 사용자 모션을 예측한다.
단계 640에서, t - Δf 시점의 VR 콘텐츠 (직전 프레임에 해당하는 VR 콘텐츠) 생성에 기초가 된 사용자 모션 (기준 사용자 모션이라고 함) 과 신규로 예측된 사용자 모션의 차를 구한다.
단계 650에서 모션차와 Δmin을 비교한다. 모션차가 Δmin 보다 작다면, 단계 673에서, 신규로 VR 콘텐츠를 생성하지 않고 t - Δf 시점의 VR 콘텐츠를 사용자 단말에 전송한다.
단계 660에서 모션차와 Δmax를 비교한다. 모션차가 Δmax 보다 작다면, 단계 671에서 신규로 VR 콘텐츠를 생성하는 대신에, t - Δf 시점의 VR 콘텐츠를 일부 수정하여 사용자 단말에 전송한다. 모션차가 Δmax 보다 크다면, 신규로 VR 콘텐츠를 생성하여사용자 단말에 전송한다. 전술한 과정 (610 ~ 673) 은 Δf 마다 반복되어 수행된다.
이상은 클라우드에서 가상현실 콘텐츠를 생성하는 방법으로서 본 발명의 실시예를 기술하였지만, 본 발명의 다른 실시예는 후술하는 바와 같이 가상현실 서비스를 제공하는 시스템일 수 있다.
예컨대, 본 발명은 가상현실 서비스를 제공하는 시스템으로서, 사용자 단말, 네트워크, 및 클라우드를 포함하며, 사용자 단말은 사용자의 모션 관련정보를 수집하여 네트워크를 통하여 주기적으로 클라우드에 전송하며, 클라우드는 수신된 사용자 모션 관련 정보에 기초하여 사용자 모션을 예측하며, 예측된 사용자 모션을 바탕으로 사용자 단말에서 디스플레이될 가상현실 콘텐츠를 생성하며, 클라우드는 사용자 모션을 예측하기 직전의 시점과 가상현실 콘텐츠를 디스플레이할 시점간의 시간차와 소정의 임계치를 비교하고 비교 결과에 따라 서로 상이한 사용자 모션 예측방법을 사용하는 것을 특징으로 하는 시스템으로 기술될 수 있다.
다른 실시예로서, 본 발명은 하나이상의 마이크로프로세서를 포함하는 가상현실 콘텐츠 생성장치로서, 마이크로프로세서는 네트워크를 통하여 수신된 사용자 모션 관련 정보에 기초하여 사용자 모션을 예측하고, 예측된 사용자 모션을 바탕으로 사용자 단말에서 디스플레이될 가상현실 콘텐츠를 생성하며, 사용자 모션을 예측하기 직전의 시점과 가상현실 콘텐츠를 디스플레이할 시점간의 시간차와 소정의 임계치를 비교하고 비교 결과에 따라 서로 상이한 사용자 모션 예측방법을 사용하여 사용자 모션을 예측하는 것을 특징으로 하는 가상현실 콘텐츠 생성장치로서 기술될 수도 있다.
이상, 도 1 내지 도 6을 참조하여, 본 발명의 실시예를 기술하였으나, 본 발명은 이러한 실시예에 한정되지 않으며, 다양한 사용자 모션 예측방법, 네트워크 상태, 클라우드의 자원할당 상태에 따라 다양하게 변형될 수 있다.
110, 120, 130, 140, 150, 160 사용자 단말
100 클라우드

Claims (5)

  1. 네트워크를 통하여 사용자 모션 관련 정보를 클라우드에서 수신하는 단계;
    수신된 상기 사용자 모션 관련 정보에 기초하여 클라우드에서 사용자 모션을 예측하는 단계; 및
    예측된 사용자 모션을 바탕으로 사용자 단말에서 디스플레이될 가상현실 콘텐츠를 클라우드에서 생성하는 단계를 포함하며,
    상기 사용자 모션을 예측하는 단계는, 사용자 모션을 예측하기 직전의 시점과 가상현실 콘텐츠를 디스플레이할 시점간의 시간차와 소정의 임계치를 비교하는 단계를 추가로 포함하며, 비교 결과에 따라 서로 상이한 사용자 모션 예측방법을 사용하며,
    상기 소정의 임계치는 제1임계치, 제2임계치, 및 제3임계치를 포함하며,
    상기 시간차가 제1임계치보다 작고 제2임계치보다 큰 경우에는 제1사용자 모션 예측방법을 사용하며,
    상기 시간차가 제2임계치보다 작고 제3임계치보다 큰 경우에는 제2사용자 모션 예측방법을 사용하며,
    상기 시간차가 제3임계치보다 작고 가상현실 콘텐츠 생성에 소요되는 시간과 생성된 가상현실 콘텐츠의 전송에 소요되는 시간의 합보다 큰 경우에는 제3사용자 모션 예측방법을 사용하는 것을 특징으로 하는 가상현실 콘텐츠 생성방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 가상현실 콘텐츠를 생성하는 단계는, 기존의 가상현실 콘텐츠 생성의 바탕이 된 사용자 모션과 신규로 예측된 사용자 모션의 모션차를 소정의 임계치와 비교하는 단계를 추가로 포함하며, 비교 결과에 따라 신규로 가상현실 콘텐츠를 생성할지 여부를 결정하는 것을 특징으로 하는 가상현실 콘텐츠 생성방법.
  4. 제 3 항에 있어서,
    상기 가상현실 콘텐츠를 생성하는 단계는,
    상기 모션차가 제4임계치보다 작다면, 가상현실 콘텐츠를 신규로 생성하지 않고 상기 기존의 가상현실 콘텐츠를 재사용하며,
    상기 모션차가 제4임계치보다 크고 제5임계치보다 작다면, 상기 기존의 가상현실 콘텐츠를 일부 수정하여 가상현실 콘텐츠를 생성하며,
    상기 모션차가 제5임계치보다 크다면, 상기 신규로 예측된 사용자 모션에 따라 신규로 가상현실 콘텐츠를 생성하는 것을 특징으로 하는 가상현실 콘텐츠 생성방법.
  5. 제 1 항에 있어서,
    상기 시간차가 가상현실 콘텐츠 생성에 소요되는 시간과 생성된 가상현실 콘텐츠의 전송에 소요되는 시간의 합보다 작은 경우에는, 상기 사용자 모션을 예측하는 단계와 상기 가상현실 콘텐츠를 생성하는 단계를 수행하지 않는 것을 특징으로 하는 가상현실 콘텐츠 생성방법.
KR1020170135885A 2017-10-19 2017-10-19 클라우드 기반의 가상현실 서비스를 위한 콘텐츠 가공 방법 및 장치 KR101953578B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170135885A KR101953578B1 (ko) 2017-10-19 2017-10-19 클라우드 기반의 가상현실 서비스를 위한 콘텐츠 가공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170135885A KR101953578B1 (ko) 2017-10-19 2017-10-19 클라우드 기반의 가상현실 서비스를 위한 콘텐츠 가공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101953578B1 true KR101953578B1 (ko) 2019-03-04

Family

ID=65760146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170135885A KR101953578B1 (ko) 2017-10-19 2017-10-19 클라우드 기반의 가상현실 서비스를 위한 콘텐츠 가공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101953578B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102103430B1 (ko) * 2018-11-08 2020-04-22 서울과학기술대학교 산학협력단 클라우드에 기반한 가상현실 서비스의 레이턴시 측정방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076179A (ja) * 1999-09-07 2001-03-23 Multiterm Co Ltd ３次元仮想空間共有マルチユーザーシステム
KR20130060339A (ko) * 2010-09-20 2013-06-07 퀄컴 인코포레이티드 클라우드 보조 증강 현실을 위한 적응적 프레임워크
JP2016019199A (ja) * 2014-07-10 2016-02-01 Kddi株式会社 予測カメラ姿勢に基づくａｒオブジェクトを実時間に合わせて描画する情報装置、プログラム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076179A (ja) * 1999-09-07 2001-03-23 Multiterm Co Ltd ３次元仮想空間共有マルチユーザーシステム
KR20130060339A (ko) * 2010-09-20 2013-06-07 퀄컴 인코포레이티드 클라우드 보조 증강 현실을 위한 적응적 프레임워크
JP2016019199A (ja) * 2014-07-10 2016-02-01 Kddi株式会社 予測カメラ姿勢に基づくａｒオブジェクトを実時間に合わせて描画する情報装置、プログラム及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102103430B1 (ko) * 2018-11-08 2020-04-22 서울과학기술대학교 산학협력단 클라우드에 기반한 가상현실 서비스의 레이턴시 측정방법 및 시스템

Similar Documents

Publication Publication Date Title
CN108919958B (zh) 一种图像传输方法、装置、终端设备及存储介质
EP3293723A1 (en) Method, storage medium, and electronic device for displaying images
CN107735747B (zh) 信息处理设备、显示装置、信息处理方法及程序
EP2937863A2 (en) Automatic tuning of haptic effects
KR101945082B1 (ko) 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
US10869013B2 (en) Method and apparatus for buffer management in cloud based virtual reality services
CN110969116B (zh) 注视点位置确定方法及相关装置
US10691290B2 (en) Virtual-reality based control method and apparatus
CN109871385A (zh) 用于处理数据的方法和装置
KR101953578B1 (ko) 클라우드 기반의 가상현실 서비스를 위한 콘텐츠 가공 방법 및 장치
CN113289330B (zh) 渲染方法和装置
KR102103430B1 (ko) 클라우드에 기반한 가상현실 서비스의 레이턴시 측정방법 및 시스템
EP3467617A1 (en) Apparatus and associated methods for reducing a likely sickness of a viewer of immersive visual content
CN111221410B (zh) 传输眼球追踪信息的方法、头戴式显示器及计算机装置
US20210290129A1 (en) State estimation device, method and computer program therefor
US11438451B2 (en) Method for and a communication device adapted to modify the shape of the device
US11755117B2 (en) Information processing device, information processing method, and server device
JP6458507B2 (ja) ウェアラブルコンピューター、コマンド設定方法およびコマンド設定プログラム
KR20160112703A (ko) 모바일 스마트 디바이스 상에서 홍채 인식 기반의 자세 교정을 위한 방법, 그리고 이를 구현하기 위한 모바일 스마트 디바이스
US20210295049A1 (en) Information processing apparatus, information processing method, and program
US10901814B2 (en) Information processing apparatus and information processing method
CN110585696A (zh) 一种车载虚拟现实内容显示的方法、系统、控制平台
CN112995738A (zh) 视频播放方法、装置、存储介质和电子设备
US12001752B1 (en) Voice assistance in virtual reality environments and augmented reality environments
CN115061576B (zh) 用于虚拟现实场景的注视位置预测方法及虚拟现实设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant