KR101953567B1 - 가상현실 서비스를 위한 콘텐츠 후처리 방법 - Google Patents

가상현실 서비스를 위한 콘텐츠 후처리 방법 Download PDF

Info

Publication number
KR101953567B1
KR101953567B1 KR1020170146026A KR20170146026A KR101953567B1 KR 101953567 B1 KR101953567 B1 KR 101953567B1 KR 1020170146026 A KR1020170146026 A KR 1020170146026A KR 20170146026 A KR20170146026 A KR 20170146026A KR 101953567 B1 KR101953567 B1 KR 101953567B1
Authority
KR
South Korea
Prior art keywords
virtual reality
user
reality content
motion information
scaling factor
Prior art date
Application number
KR1020170146026A
Other languages
English (en)
Inventor
윤지훈
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020170146026A priority Critical patent/KR101953567B1/ko
Application granted granted Critical
Publication of KR101953567B1 publication Critical patent/KR101953567B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

본 발명은 가상현실 콘텐츠를 후처리하는 방법에 관한 발명으로서, 일단 생성된 가상현실 콘텐츠를 최신의 사용자 모션 정보에 따라 후처리하는 방법이다. 특히, 타임워프 기법을 사용하여 이미지를 이동시키는 처리과정에서, 이미지의 이동량에 기초하여 기 생성된 가상현실 콘텐츠를 스케일링한 후 이미지를 이동시킴으로써, 타임워프 기법에 수반되는 미표시 영역의 발생을 억제하여 몰입감이 저하되는 것을 방지한다.

Description

가상현실 서비스를 위한 콘텐츠 후처리 방법 {METHOD FOR POSTPROCESSING CONTENTS IN VIRTUAL REALLITY SERVICES}
본 발명은 가상현실 서비스를 위한 콘텐츠 생성에 관한 것으로서, 더 구체적으로는 가상현실 콘텐츠가 생성된 후 디스플레이되기까지 발생하는 레이턴시로 인한 사용자 시야 불일치 문제를 해결하기 위한 가상현실 콘텐츠 후처리 방법에 관한 것이다.
가상현실이란 컴퓨터에 의하여 생성된 어떤 특정한 환경이나 상황을 의미하기도 하고, 컴퓨터가 생성한 환경이나 상황을 접한 사람이 마치 그러한 특정한 환경이나 상황과 실제로 상호작용을 하고 있는 것처럼 만들어 주는 인간과 컴퓨터간의 인터페이스를 의미하기도 한다. 이는 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 하기 위함이다.
가상현실 서비스를 제공한다는 것은 컴퓨터가 생성한 가상현실을 사용자가 체험할 수 있도록 사용자의 감각기관에 가상현실 콘텐츠를 전달해주는 것으로서, 컴퓨터는 사용자의 시각, 청각, 촉각등의 감각기관이 감지할 수 있는 형태로 가상현실을 생성하여 사용자에게 전달한다.
한편, 가상현실은 사용자의 모션을 실시간으로 반영하여 컴퓨터가 생성한다. 예를들어 사용자에게 3차원 가상현실을 제공하는 서비스의 경우, 사용자의 시선에 따라 3차원 가상현실 세계를 보여주는 영상이 실시간으로 생성된다. 사용자가 경사로를 걷고 있다고 한다면, 기울기를 반영하여 영상이 생성되며, 사용자의 보행 속도도 영상에 반영된다. 사용자가 급하게 고개를 돌리면, 급격한 시선의 변화를 반영하여 가상현실 영상이 생성되어야 한다.
이를 위해, 사용자 단말은 각종 센서를 통하여 가상현실 생성에 필요한 사용자 모션 정보를 실시간으로 수집하여 컴퓨터에 제공하고, 또한 컴퓨터가 생성하여 제공하는 가상현실 영상을 디스플레이함으로써, 몰입감있는 가상현실을 구현할 수 있다.
가상현실 서비스를 제공하는 플랫폼은 다양하다. 헤드마운트 디스플레이 (HMD) 를 PC에 무선 또는 유선으로 접속하여, PC가 생성한 몰입형 가상현실 콘텐츠를 HMD를 통하여 사용자가 경험할 수 있게 하거나, 스마트폰 (또는 별도의 임베디드 프로세싱 유닛) 에서 생성한 몰입형 가상현실 콘텐츠를 스마트폰 (또는 별도의 임베디드 프로세싱 유닛) 에 부착된 HMD를 통하여 사용자가 경험할 수 있도록 하거나, 서버에서 가상현실 콘텐츠를 생성하고 이를 네트워크를 통하여 HMD 등의 사용자 단말에 전송함으로써 사용자 단말에서 사용자가 경험할 수 있도록 한다.
한편, 사용자의 모션에 기초하여 가상현실 콘텐츠가 생성되고, 이렇게 생성된 가상현실 콘텐츠가 사용자 단말에 디스플레이되기까지는 콘텐츠의 생성 및 전송에 따른 레이턴시가 발생한다. 또한, 이러한 레이턴시는 변동성이 매우 높은 것으로 알려져 있다.
레이턴시가 크면 클수록, 가상현실 콘텐츠 생성의 기초가 되었던 사용자 모션과 생성된 가상현실 콘텐츠가 디스플레이될 시점에서의 사용자 모션간의 차이는 크게 감지된다. 즉, 생성된 가상현실 콘텐츠가 디스플레이되는 시점에서 사용자의 시야는 디스플레이되는 가상현실 콘텐츠의 시야와 일치하지 않아 몰입감이 저하되는 문제가 있다.
도 1 및 도 2를 참조하여, 시야 불일치의 문제점을 보다 상세히 기술한다. 도 1은 서버에서 가상현실 콘텐츠를 생성하여 사용자 단말에 제공하는 경우에 발생하는 레이턴시를 설명하기 위한 그래프이다.
우선, 사용자 단말은 t1 시점에서 사용자의 헤드 모션에 따른 사용자 모션 정보를 서버에 전송한다. 서버는 t2 시점에 사용자 모션 정보를 수신하고 이를 기초로 하여 가상현실 콘텐츠를 생성한다. 서버는 t3 시점에 가상현실 콘텐츠를 사용자 단말에 전송한다. 사용자 단말은 t4 시점에 가상현실 콘텐츠를 수신하여 디스플레이한다.
따라서, 사용자 단말에서 사용자 모션정보를 수집하여 서버에 사용자 모션을 전송한 시점 t1으로부터 서버에서 가상현실 콘텐츠를 생성하고 생성된 콘텐츠를 사용자 단말에 전송하여 사용자 단말에서 가상현실 콘텐츠를 디스플레이하는 시점 t4 까지 t4-t1 만큼의 레이턴시가 발생한다. 이러한 레이턴시는 사용자 단말과 서버간의 네트워크 상태 및 서버의 자원 상태에 따라 시시각각 변하기 때문에 일률적으로 대응하기 어렵다.
도 2는 레이턴시로 인한 시야각 불일치를 설명하기 위한 도이다.
사용자 단말에서는 t1 시점에서의 사용자의 모션 정보를 수집하여 서버에 전송한다. 서버에서는 수신된 사용자 모션정보에 기초하여 가상현실 콘텐츠를 생성한다. 이렇게 생성된 가상현실 콘텐츠의 시야 (210) 는 t1 시점의 사용자의 시야를 반영한다.
서버에서 생성된 가상현실 콘텐츠는 레이턴시로 인하여 t4 시점에 사용자 단말에서 디스플레이된다. 동작중인 사용자가 t4 시점에서 기대하는 시야 (220)는 과거 t1시점에서의 사용자의 시야를 기초로 생성된 가상현실 콘텐츠의 시야 (210) 와 불일치하게 된다. 이와같은 시야 불일치는 가상현실 콘텐츠의 몰입감을 저하시킨다.
관련기술로서, 상술한 시야 불일치의 문제를 해결하기 위한 타임워프 (time warp) 기법이 알려져 있다. 타임워프 기법이란 서버 등에서 생성한 가상현실 콘텐츠를 HMD 등에서 디스플레이하기 직전에 가장 최신의 사용자 모션 정보를 기준으로 가상현실 콘텐츠의 이미지를 쉬프트시키는 것을 말하다.
그러나, 이러한 타임워프 기법은 높은 레이턴시 환경에서는 사용자 단말의 화면상 미표시 영역을 확대시켜 몰입감을 방해한다는 또다른 문제를 야기한다. 도 3을 참조로 타임워프 기법의 한계를 상세히 설명한다.
서버에서는 t1 시점에서의 사용자 모션정보에 기초하여 가상현실 콘텐츠 (210) 를 생성한다. 이렇게 생성된 가상현실 콘텐츠의 시야는 t1 시점의 사용자의 시야를 반영한다. 한편, t4 시점에서의 사용자 시야와 t1 시점에서의 사용자 시야 불일치를 해소하기 위하여, 최신 사용자 모션정보 (t4 시점에서의 사용자 시야) 를 이용하여 기 생성된 가상현실 콘텐츠의 이미지를 쉬프트시킨다.
예를 들어, 도 3에 도시된 가상현실 콘텐츠 화면 (210)에는 모서리 부분에 각각 하나의 원이 디스플레이되어 있다. 이 화면 (210) 에 종래의 타임워프 기법을 적용하여 쉬프트하면, 쉬프트한 후의 가상현실 콘텐츠 화면 (220) 의 우상, 우하, 좌하 모서리에는 원이 표시되지 않으며, 좌측에만 하나의 원이 표시된다.
가상현실 콘텐츠 (210) 를 쉬프트하여 생성한 가상현실 콘텐츠 (220) 에는 이미지 정보가 존재하지 않아서 표시할 수 없는 공백 즉 미표시 영역 (221) 이 발생한다. 레이턴시가 크면 클수록 기 생성된 가상현실 콘텐츠 (210) 를 많이 쉬프트할 가능성이 높아지며, 그만큼 미표시 영역 (221) 도 확대된다. 사용자 단말의 화면상에 미표시 영역 (221) 이 확대될수록 몰입감은 저하된다.
미표시 영역 문제를 해결하기 위하여, 가상현실 콘텐츠 (210) 를 생성할 때 가상현실 콘텐츠 (210) 의 시야각을 확장하여 보다 넓은 시야각을 커버하는 콘텐츠를 생성하여 HMD 등에 전송할 수도 있지만 이는 서버 등의 자원 소요증가 및 네트워크 대역폭 소요증가로 이어진다.
본 발명은 높은 레이턴시 환경에서 타임워프 기법이 갖는 한계를 보완하는 방법을 제시하는 것을 목적으로 한다. 특히, 서버 등의 자원 소요나 네트워크 대역폭 소요를 증가시키지 않고 타임워프 기법의 한계를 보완하는 방법을 제시하는 것을 목적으로 한다.
본 발명의 일 실시예에 따르는 가상현실 콘텐츠 후처리 방법은 제1시점에서의 제1 사용자 모션정보에 기초하여 제1 가상현실 콘텐츠를 생성하는 단계, 제2시점에서의 제2 사용자 모션정보에 기초하여 제1 가상현실 콘텐츠의 이미지를 이동시키기 위한 제1 이동량을 결정하는 단계, 제1 이동량에 기초하여 제1가상현실 콘텐츠를 스케일링할 스케일링 팩터를 결정하는 단계, 및 결정된 스케일링 팩터에 따라 제1 가상현실 콘텐츠를 확대 또는 축소하고, 제1 이동량에 따라 이미지를 이동하여 제2 가상현실 콘텐츠를 생성하는 단계를 포함한다.
본 발명의 다른 일 실시예에 따르는 가상현실 콘텐츠 후처리 방법은 제1 이동량을 결정하는 단계에서, 제1시점, 제2시점, 제1 사용자 모션정보에 포함된 사용자 모션속도, 또는 제2 사용자 모션정보에 포함된 사용자 모션속도를 바탕으로 제1 이동량을 결정하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르는 가상현실 콘텐츠 후처리 방법은 스케일링 팩터를 결정하는 단계에서, 제1 이동량이 소정값보다 작다면 스케일링 팩터를 1로 결정하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르는 가상현실 콘텐츠 후처리 방법은 제3시점에서의 제3 사용자 모션정보에 기초하여, 제1시점, 제3시점, 제1 사용자 모션정보에 포함된 사용자 모션속도, 또는 제3 사용자 모션정보에 포함된 사용자 모션속도를 바탕으로 제2 이동량을 결정하고, 제2 이동량이 제1 이동량보다 크다면 스케일링 팩터를 증가시키고, 제2 이동량이 제1 이동량보다 작다면 스케일링 팩터를 감소시키는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르는 가상현실 콘텐츠 후처리 방법은 제2가상현실 콘텐츠를 생성하는 단계는 스케일링 팩터에 따라 제1가상현실 콘텐츠를 국소적으로 또는 전면적으로 스케일링하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에서 제안한 다양한 실시예에 따라 본발명은 높은 레이턴시 환경에서 타임워프 기법을 사용하되, 기 생성된 가상현실 콘텐츠의 이미지 정보를 최대한 활용함으로써, 미표시 영역을 억제 또는 최소화할 수 있다. 이를 통하여 몰입감 저하의 문제를 해소할 수 있도록 한다.
도 1은 서버에서 가상현실 콘텐츠를 생성하여 사용자 단말에서 가상현실 콘텐츠를 디스플레이하는 예에서 발생하는 레이턴시를 설명하기 위한 그래프이다.
도 2는 높은 레이턴시 환경에서 시야각 불일치를 설명하기 위한 도이다.
도 3은 높은 레이턴시 환경에서 타임워프 기법의 한계를 설명하기 위한 도이다.
도 4는 본 발명의 일 실시예에 따라 사용자 단말에서 가상현실 콘텐츠를 후처리하는 타이밍을 나타내는 그래프이다.
도 5는 본 발명의 일 실시예에 따라 서버에서 가상현실 콘텐츠를 후처리하는 타이밍을 나타내는 그래프이다.
도 6은 본 발명의 일 실시예에 따라 기 생성된 가상현실 콘텐츠의 이미지를 이동시킬 때의 이동량을 설명하기 위한 도이다.
도 7은 본 발명의 일 실시예에 따라 결정된 이동량을 바탕으로 가상현실 콘텐츠를 스케일링하는 것을 설명하기 위한 도이다.
도 8은 본 발명의 일 실시예에 따라 가상현실 콘텐츠를 스케일링한 후, 이미지를 이동시키는 과정을 설명하기 위한 도이다.
도 9는 본 발명의 일 실시예에 따라 스케일링 팩터를 갱신하는 과정을 설명하기 위한 도이다.
본 명세서에서 개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시에서 제안하고자 하는 실시예는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 당해 기술분야에서 통상의 지식을 가진 자에게 실시예들의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 개시된 실시예들의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 상세한 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 4 및 도 5를 참조하여 서버에서 생성된 가상현실 콘텐츠를 서버 또는 사용자 단말에서 후처리하는 경우의 타이밍을 기술한다.
도 4에 따르면, 사용자 단말에서 t1 시점에 사용자 모션정보를 서버에 전송한다. 시시각각 변하는 네트워크 상태에 따라 모션정보 전송에 소요되는 시간은 가변적이며, 서버에서는 t2 시점에 사용자 모션정보를 수신한다.
서버는 t1 시점의 사용자 모션정보에 기초하여 사용자 단말 (예컨대, HMD) 시야만큼의 크기로 가상현실 콘텐츠의 시뮬레이션을 실시하고, 랜더링 과정을 통하여 가상현실 콘텐츠를 생성하고, 생성된 가상현실 콘텐츠를 t3 시점에 사용자 단말에게 전송한다.
사용자 단말은 t4 시점에 가상현실 콘텐츠를 수신한다. 본 발명의 일 실시예에 따르면, 사용자 단말에서는 수신한 가상현실 콘텐츠를 최신 사용자 모션정보인 t4 시점의 사용자 모션정보에 기초하여 후처리한다. 사용자 단말은 후처리된 가상현실 콘텐츠를 t5 시점에 디스플레이한다.
한편, 도 5는 서버에서 가상현실 콘텐츠를 생성하고 이를 후처리한 후 사용자 단말에 전송하는 예를 설명하는 그래프이다. 도 5에 따르면, 사용자 단말은 t6 시점에 제1 사용자 모션 정보를 서버에 전송한다. 서버는 t7 시점에 제1 사용자 모션 정보를 수신하여 가상현실 콘텐츠를 생성한다.
사용자 단말은 t8 시점에 제2 사용자 모션 정보를 서버에 전송한다. 서버는 가상현실 콘텐츠를 생성한 후, 최신 사용자 모션 정보인 t8 시점의 사용자 모션 정보를 기초로 하여, 가상현실 콘텐츠를 후처리한다.
서버는 후처리된 가상현실 콘텐츠를 t10 시점에 사용자 단말에 전송하고, 사용자 단말은 t11 시점에 후처리된 가상현실 콘텐츠를 디스플레이한다.
이하에서 도 6 내지 도 8을 참조하여, 후처리 과정을 기술한다.
도 6은 t1 또는 t6 시점에서의 사용자 모션정보에 기초하여 생성된 가상현실 콘텐츠의 시야 또는 화면 (210) 과 최신 사용자 모션정보인 t4 또는 t8 시점에서의 사용자 모션정보에 기초하여 사용자가 기대하는 가상현실 콘텐츠의 시야 또는 화면 (220) 을 도시한다.
이때, 화면 (210) 과 화면 (220) 의 x축방향의 차를 Δx라고 표시하고, y축방향의 차를 Δy라고 표시한다. 화면 (210) 과 화면 (220) 간 차의 크기를 |(Δx, Δy)| 라고 하면, |(Δx, Δy)|는 t1 시점에서의 사용자 헤드의 위치와 t4 시점에서의 사용자 헤드의 위치에 따라 결정할 수 있다. 또한, |(Δx, Δy)|는 화면 (210) 과 화면 (220) 간의 시야 불일치를 해소하기 위하여 이미지를 이동시키는 이동량에 해당한다.
도 5의 예와 같이 서버에서 후처리하는 경우는, t6 시점에서의 사용자 헤드의 위치와 t8 시점에서의 사용자 헤드 위치에 따라 |(Δx, Δy)| 를 결정할 수 있다. 다른 한편으로는, t6 시점과 t8시점에서의 사용자 모션정보를 토대로, 디스플레이 시점인 t11 시점의 사용자 모션정보를 예상하고, t6 시점에서의 사용자 헤드의 위치와 t11에서의 예상된 사용자 헤드 위치에 따라 |(Δx, Δy)| 를 결정할 수도 있다.
이하에서는 도 7을 참조하여 이동량에 따라, 가상현실 콘텐츠를 스케일링하는 과정을 기술한다. 스케일링의 목적은 도 3에 도시된 바와 같은 미표시 영역 (221) 에 채워넣을 이미지 정보를 생성하는 것이다.
상술한 바와 같이 이동량 (|(Δx, Δy)|) 이 결정되면, 그 이동영역을 커버할 수 있을 만큼 도 7과 같이 가상현실 콘텐츠 (210) 를 스케일링한다. 즉, x축방향의 이동량 Δx를 커버할 수 있는 스케일링 팩터 (a) 를 결정하고, y축방향의 이동량 Δy를 커버할 수 있는 스케일링 팩터 (b) 를 결정하여, 가상현실 콘텐츠 (210) 을 확대한 가상현실 콘텐츠 (215) 를 생성한다.
도 8은 스케일링 후, 화면을 이동시켜 최종 가상현실 콘텐츠 (215)를 얻는 과정을 도시한다. 스케일링 팩터 (a, b) 를 적용하여 스케일링된 가상현실 콘텐츠 (215) 내에서 가상현실 콘텐츠 (210) 의 화면을 (Δx, Δy) 만큼 이동시켜 가상현실 콘텐츠 (230) 을 생성함으로써, 후처리 과정을 종료한다.
가상현실 콘텐츠 (230) 는 최신 사용자 모션정보에 따른 시야의 이동이 반영되어 있을 뿐만 아니라, 미표시 영역도 존재하지 않기 때문에 몰입감을 유지할 수 있다.
또한, 미표시 영역에 채워넣을 이미지 정보를 서버 또는 사용자 단말이 새롭게 생성하는 것이 아니라, 이미 생성된 가상현실 콘텐츠를 스케일링하는 것으로써 얻을 수 있기 때문에, 컴퓨팅 자원과 통신대역 자원 소요를 불필요하게 증가시키지 않는다.
이상 후처리 과정에 대하여 기술하였으나, 후처리 과정은 이동량 |(Δx, Δy)|이 소정값보다 큰 경우에만 실시하도록 할 수 있다. 이동량이 소정값이하라면, 미표시 영역이 넓지 않기 때문에 사용자의 몰입감을 방해하지 않을 수 있기 때문이다. 이 소정값은 가변적으로 설정할 수도 있다.
도 7에서는 가상현실 콘텐츠 (210) 을 스케일링할 때, 스케일링 팩터 (a, b) 를 가상현실 콘텐츠 (210)에 전면적으로 적용하여 스케일링하는 예를 도시하였다. 그러나, 이외에도 가상현실 콘텐츠 (210) 의 이동방향에 따라 그 경계부분에서만 스케일링 팩터 (a, b) 를 적용하여 가상현실 콘텐츠 (210) 를 국부적으로 스케일링 할 수도 있다.
한편, 이동량 |(Δx, Δy)| 이 제2의 소정값보다 큰 경우 (매우 큰 경우) 에는 그에 따라 스케일링 팩터 (a, b) 도 매우 큰 값을 갖게 된다. 이 경우에, 가상현실 콘텐츠를 단번에 스케일링하게 되면, 가상현실 콘텐츠가 급격하게 확대됨으로써 사용자는 위화감을 느끼고 그만큼 몰입도는 낮아질 수 있다.
따라서, 이동량 |(Δx, Δy)| 이 제 2의 소정값보다 큰 경우에는 단계적으로 (시차를 두어 점진적으로) 스케일링 팩터를 증가 또는 감소시키고, 단계적으로 증가 또는 감소하는 스케일링 팩터를 적용하여 가상현실 콘텐츠 (230) 을 생성할 수도 있다.
미표시 영역으로 인한 몰입감 저하를 억제하기 위하여, 가상현실 콘텐츠를 스케일링하는 방법을 사용하였으나, 스케일링 팩터 (a, b)가 지나치게 큰 값이라면, 화면 왜곡이 심해져서 오히려 몰입감을 방해할 수 있다. 따라서, 스케일링 팩터 (a, b) 의 크기를 제한할 수도 있다.
이하에서는 도 9를 참조하여, 스케일링 팩터 (a, b)를 업데이트하는 과정을 기술한다. 사용자 단말의 가로축 방향 길이를 W로 하고, 세로축 방향 길이를 H로 나타내며, 스케일링된 가상현실 콘텐츠 (215) 의 가로축 방향 길이를 aW로 하고, 세로축 방향 길이를 bH로 한다.
우선, 한 차례의 후처리 과정을 통하여 결정된 스케일링 팩터를 현재 스케일링 팩터값이라고 하고, 사용자의 후속하는 모션에 따라 사용자 단말에서 새로이 발생한 미표시 영역의 가로축 방향의 길이를 W/2 + |Δx’| - aW/2 식을 통하여 구한다.
가로축 방향의 길이 W/2 + |Δx’| - aW/2 가 소정의 설정값 (Δmin) 보다 크면, 이는 미표시 영역이 가로축 방향으로 충분히 크므로, 가로축으로 이미지를 더 확대하여야 미표시 영역을 줄일 수 있음을 의미한다. 따라서, 스케일링 팩터 a를 Δa 만큼 증가시킨다.
W/2 + |Δx’| - aW/2 값이 소정의 설정값 (Δmin) 보다 크다는 것은, 현재 스케일링 팩터 생성의 기초가 되었던 이동량 Δx보다, 사용자의 후속 모션으로 인한 이동량 Δx’ 이 크다는 것을 의미하기도 한다.
한편, 사용자의 후속하는 모션에 따라 사용자 단말에서 새로이 발생한 미표시 영역의 가로축 길이 (W/2 + |Δx’| - aW/2) 가 소정의 설정값 (-Δmin) 보다 작다면 (음의 값을 갖는다면), 이는 사용자 단말의 크기보다 스케일된 이미지가 크다는 것을 의미하므로, 미표시 영역이라기보다는 과표시 영역이 발생하였다고 볼 수 있으며, 가로축 방향으로 이미지를 축소하여야 콘텐츠 이미지를 보다 충실히 표시할 수 있다. 따라서, 가로축 방향의 스케일링 팩터 a를 Δa 만큼 감소시킨다.
미표시 영역의 가로축 길이 (W/2 + |Δx’| - aW/2) 가 소정의 설정값 (-Δmin) 보다 작다는 것은, 현재 스케일링 팩터 생성의 기초가 되었던 이동량 Δx보다, 사용자의 후속 모션으로 인한 이미지의 이동량 Δx’ 이 작다는 것을 의미하기도 한다.
다음으로, 유사한 방법으로 세로축 방향의 스케일링 팩터 b를 업데이트한다. 후처리 과정을 통하여 결정된 세로축 방향의 스케일링 팩터를 현재 스케일링 팩터값 b 라고 하고, 사용자의 후속하는 모션에 따라 사용자 단말에서 새로이 발생한 미표시 영역의 세로축 길이 (H/2 + |Δy’| - bH/2) 를 구한다.
사용자의 후속하는 모션에 따라 사용자 단말에서 새로이 발생한 미표시 영역의 세로축 길이 (H/2 + |Δy’| - bH/2) 가 소정의 설정값 (Δmin) 보다 크면, 이는 미표시 영역이 세로축 방향으로 충분히 크므로 세로축 방향으로 이미지를 더 확대하여야 미표시 영역을 줄일 수 있음을 의미한다. 따라서, 스케일링 팩터 b를 Δb 만큼 증가시킨다.
미표시 영역의 세로축 길이 (H/2 + |Δy’| - bH/2) 가 소정의 설정값 (Δmin) 보다 크다는 것은, 현재 스케일링 팩터 생성의 기초가 되었던 이동량 Δy보다, 사용자의 후속 모션으로 인한 이동량 Δy’ 이 크다는 것을 의미하기도 한다.
한편, 미표시 영역의 세로축 길이 (H/2 + |Δy’| - bH/2) 가 소정의 설정값 (-Δmin) 보다 작다면 (음의 값을 갖는다면), 이는 사용자 단말의 크기보다 스케일된 이미지가 크다는 것을 의미하므로, 미표시 영역이라기보다는 과표시 영역이 발생하였다고 볼 수 있으며, 세로축 방향으로 이미지를 줄여야 콘텐츠 이미지를 보다 충실히 표시할 수 있다. 따라서, 세로축 방향의 스케일링 팩터 b를 Δb 만큼 감소시킨다.
미표시 영역의 세로축 방향의 길이 (H/2 + |Δy’| - bH/2) 가 소정의 설정값 (-Δmin) 보다 작다는 것은, 현재 스케일링 팩터 생성의 기초가 되었던 이동량 Δy보다, 사용자의 후속 모션으로 인한 이미지의 이동량 Δy’ 이 작다는 것을 의미하기도 한다.
업데이트된 스케일링 팩터 (a, b)를 적용하여 가상현실 콘텐츠 (210) 을 스케일링한 후, (Δx’, Δy’)만큼 이미지를 이동시킴으로써 업데이트된 스케일링 팩터를 적용한 후처리 과정을 종료한다.
이상은 가상현실 콘텐츠를 후처리하는 방법으로서 본 발명의 실시예를 기술하였지만, 본 발명의 다른 실시예는 후술하는 바와 같이 가상현실 콘텐츠를 후처리하는 장치일 수 있다.
예컨대, 본 발명은 하나 이상의 마이크로프로세서를 포함하는 가상현실 콘텐츠 후처리 장치로서, 하나 이상의 마이크로프로세서는 제1시점에서의 제1 사용자 모션정보에 기초하여 제1 가상현실 콘텐츠를 생성하고, 제2시점에서의 제2 사용자 모션정보에 기초하여 제1 가상현실 콘텐츠의 이미지를 이동시키기 위한 제1 이동량을 결정하고, 제1 이동량에 기초하여 제1가상현실 콘텐츠를 스케일링할 스케일링 팩터를 결정하고, 스케일링 팩터에 따라 제1 가상현실 콘텐츠를 확대 또는 축소하고, 제1 이동량에 따라 이미지를 이동하여 제2 가상현실 콘텐츠를 생성하는 것을 특징으로 하는 가상현실 콘텐츠 후처리 장치로서 기술될 수도 있다.
210 가상현실 콘텐츠 화면 또는 시야
220 사용자 단말에서 사용자가 기대하는 화면 또는 시야
221 미표시 영역
215 스케일링된 가상현실 콘텐츠 화면 또는 시야
230 후처리된 가상현실 콘텐츠

Claims (5)

  1. 제1시점에서의 제1 사용자 모션정보에 기초하여 제1 가상현실 콘텐츠를 생성하는 단계;
    제2시점에서의 제2 사용자 모션정보에 기초하여 상기 제1 가상현실 콘텐츠의 이미지를 이동시키기 위한 제1 이동량을 결정하는 단계;
    상기 제1 이동량에 기초하여 상기 제1가상현실 콘텐츠를 스케일링할 스케일링 팩터를 결정하는 단계; 및
    상기 스케일링 팩터에 따라 상기 제1 가상현실 콘텐츠를 확대 또는 축소하고, 상기 제1 이동량에 따라 이미지를 이동하여 제2 가상현실 콘텐츠를 생성하는 단계를 포함하며,
    상기 제1 이동량을 결정하는 단계는, 제1시점, 제2시점, 제1 사용자 모션정보에 포함된 사용자 모션속도, 또는 제2 사용자 모션정보에 포함된 사용자 모션속도를 바탕으로 상기 제1 이동량을 결정하는 것을 특징으로 하는 가상현실 콘텐츠 후처리 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 스케일링 팩터를 결정하는 단계는 상기 제1 이동량이 소정값보다 작다면 상기 스케일링 팩터를 1로 결정하는 것을 특징으로 하는 가상현실 콘텐츠 후처리 방법.
  4. 제 3항에 있어서,
    제3시점에서의 제3 사용자 모션정보에 기초하여, 제1시점, 제3시점, 제1 사용자 모션정보에 포함된 사용자 모션속도, 또는 제3 사용자 모션정보에 포함된 사용자 모션속도를 바탕으로 제2 이동량을 결정하고, 상기 제2 이동량이 상기 제1 이동량보다 크다면 상기 스케일링 팩터를 증가시키고, 상기 제2 이동량이 상기 제1 이동량보다 작다면 상기 스케일링 팩터를 감소시키는 것을 특징으로 하는 가상현실 콘텐츠 후처리 방법.
  5. 제 1항에 있어서,
    상기 제2가상현실 콘텐츠를 생성하는 단계는 상기 스케일링 팩터에 따라 상기 제1가상현실 콘텐츠를 국소적으로 또는 전면적으로 스케일링하는 것을 특징으로 하는 가상현실 콘텐츠 후처리 방법.
KR1020170146026A 2017-11-03 2017-11-03 가상현실 서비스를 위한 콘텐츠 후처리 방법 KR101953567B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170146026A KR101953567B1 (ko) 2017-11-03 2017-11-03 가상현실 서비스를 위한 콘텐츠 후처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170146026A KR101953567B1 (ko) 2017-11-03 2017-11-03 가상현실 서비스를 위한 콘텐츠 후처리 방법

Publications (1)

Publication Number Publication Date
KR101953567B1 true KR101953567B1 (ko) 2019-03-04

Family

ID=65760147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170146026A KR101953567B1 (ko) 2017-11-03 2017-11-03 가상현실 서비스를 위한 콘텐츠 후처리 방법

Country Status (1)

Country Link
KR (1) KR101953567B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190547A (ja) * 1996-01-11 1997-07-22 Hitachi Ltd 画像合成表示装置および方法
JP2001076179A (ja) * 1999-09-07 2001-03-23 Multiterm Co Ltd ３次元仮想空間共有マルチユーザーシステム
KR20130060339A (ko) * 2010-09-20 2013-06-07 퀄컴 인코포레이티드 클라우드 보조 증강 현실을 위한 적응적 프레임워크
JP2016019199A (ja) * 2014-07-10 2016-02-01 Kddi株式会社 予測カメラ姿勢に基づくａｒオブジェクトを実時間に合わせて描画する情報装置、プログラム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190547A (ja) * 1996-01-11 1997-07-22 Hitachi Ltd 画像合成表示装置および方法
JP2001076179A (ja) * 1999-09-07 2001-03-23 Multiterm Co Ltd ３次元仮想空間共有マルチユーザーシステム
KR20130060339A (ko) * 2010-09-20 2013-06-07 퀄컴 인코포레이티드 클라우드 보조 증강 현실을 위한 적응적 프레임워크
JP2016019199A (ja) * 2014-07-10 2016-02-01 Kddi株式会社 予測カメラ姿勢に基づくａｒオブジェクトを実時間に合わせて描画する情報装置、プログラム及び方法

Similar Documents

Publication Publication Date Title
US9613463B2 (en) Augmented reality extrapolation techniques
US8644467B2 (en) Video conferencing system, method, and computer program storage device
KR20130016277A (ko) 대화형 디스플레이 시스템
CN106782260B (zh) 用于虚拟现实运动场景的显示方法及装置
US11967014B2 (en) 3D conversations in an artificial reality environment
WO2019181263A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
CN110850958A (zh) 用于小凹模拟的系统和设备及计算机可读存储设备
CN114026603B (zh) 渲染计算机生成现实文本
CN107743637B (zh) 用于处理外围图像的方法和设备
GB2564866A (en) Method of and data processing system for providing an output surface
US20100149319A1 (en) System for projecting three-dimensional images onto a two-dimensional screen and corresponding method
KR101953567B1 (ko) 가상현실 서비스를 위한 콘텐츠 후처리 방법
US11543655B1 (en) Rendering for multi-focus display systems
TWI694355B (zh) 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體
US20220272319A1 (en) Adaptive shading and reprojection
KR20120013021A (ko) 인터랙티브 가상현실 서비스 방법 및 장치
CN117319725A (zh) 字幕的显示方法、装置、设备及介质
CN117546472A (zh) 光场或全息媒体的资产重用性
JP2023504368A (ja) 静止画内のステレオスプラッシュスクリーンのエンコーディング
US11423516B2 (en) Gaze enhanced natural motion blur
US11915349B1 (en) Extrusion technique for curve rendering
KR102480916B1 (ko) 게임 엔진 선정 장치 및 이를 포함하는 콘텐츠 제작 시스템
JP2723070B2 (ja) 人物像表示によるユーザインタフェース装置
US20230067584A1 (en) Adaptive Quantization Matrix for Extended Reality Video Encoding

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant