KR101888364B1 - 콘텐츠 표시 방법 및 이를 수행하기 위한 장치 - Google Patents

콘텐츠 표시 방법 및 이를 수행하기 위한 장치 Download PDF

Info

Publication number
KR101888364B1
KR101888364B1 KR1020170068955A KR20170068955A KR101888364B1 KR 101888364 B1 KR101888364 B1 KR 101888364B1 KR 1020170068955 A KR1020170068955 A KR 1020170068955A KR 20170068955 A KR20170068955 A KR 20170068955A KR 101888364 B1 KR101888364 B1 KR 101888364B1
Authority
KR
South Korea
Prior art keywords
content
area
user
content screen
image quality
Prior art date
Application number
KR1020170068955A
Other languages
English (en)
Inventor
석윤찬
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority to KR1020170068955A priority Critical patent/KR101888364B1/ko
Application granted granted Critical
Publication of KR101888364B1 publication Critical patent/KR101888364B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

콘텐츠 표시 방법 및 이를 수행하기 위한 장치가 개시된다. 개시되는 일 실시예에 따른 콘텐츠 표시 방법은, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 표시 장치로부터 사용자의 시선 위치 정보를 수신하는 단계, 용자의 시선 위치 정보에 기반하여 콘텐츠 화면에서 제1 영역을 선택하는 단계, 콘텐츠 화면에서 제1 영역은 제1 영상 품질로 구성하고, 제1 영역 이외의 영역은 제1 영상 품질과는 상이한 제2 영상 품질로 구성하는 단계, 및 콘텐츠 화면을 표시 장치로 전송하는 단계를 포함한다.

Description

콘텐츠 표시 방법 및 이를 수행하기 위한 장치{METHOD FOR DISPLAYING CONTENTS AND APPARATUS FOR EXECUTING THE METHOD}
본 발명의 실시예는 콘텐츠 표시를 위한 기술과 관련된다.
최근 가상 현실 기술이 대두되면서, 헤드 마운티드 디스플레이(HMD; Head Mounted Display) 등과 같은 가상 현실 장치의 사용이 증가하고 있다. 헤드 마운티드 디스플레이란 사용자의 머리 부분에 장착하는 형태로 사용자의 눈 앞에 직접 3차원 입체 영상을 제시할 수 있는 디스플레이 장치이다.
가상 현실을 구현하기 위해서는 많은 양의 그래픽 연산이 수행되어야 하기 때문에, 컴퓨팅 장치의 CPU 또는 GPU의 점유율이 증가하게 된다. 또한, 콘텐츠를 외부의 서버로부터 스트리밍 방식으로 수신하는 경우, 전송할 데이터 양이 많아 실시간 전송이 어렵다는 문제점이 있다.
한국등록특허공보 제10-1586195호(2016.01.20)
본 발명의 실시예는 콘텐츠 표시에 따른 연산량을 줄일 수 있는 콘텐츠 표시 방법 및 이를 수행하기 위한 장치를 제공하기 위한 것이다.
본 발명의 실시예는 콘텐츠 표시에 따른 데이터량을 줄일 수 있는 콘텐츠 표시 방법 및 이를 수행하기 위한 장치를 제공하기 위한 것이다.
개시되는 일 실시예에 따른 콘텐츠 표시 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 표시 장치로부터 사용자의 시선 위치 정보를 수신하는 제1 단계; 상기 사용자의 시선 위치 정보에 기반하여 콘텐츠 화면에서 제1 영역을 선택하는 제2 단계; 상기 콘텐츠 화면에서 상기 제1 영역은 제1 영상 품질로 구성하고, 상기 제1 영역 이외의 영역은 상기 제1 영상 품질과는 상이한 제2 영상 품질로 구성하는 제3 단계; 및 상기 콘텐츠 화면을 상기 표시 장치로 전송하는 제4 단계를 포함한다.
상기 제1 영역은, 상기 콘텐츠 화면에서 상기 사용자의 시선 위치에 대응하는 영역이고, 상기 제2 영상 품질은 상기 제1 영상 품질보다 영상 품질이 낮을 수 있다.
상기 제3 단계는, 상기 콘텐츠 화면 중 상기 제1 영역이더라도 상기 사용자의 시선이 단속적인 시구간에서는 상기 제1 영상 품질보다 낮은 영상 품질로 구성할 수 있다.
상기 제3 단계는, 상기 콘텐츠 화면 중 상기 제1 영역은 제1 해상도로 구성하고, 상기 제1 영역 이외의 영역은 상기 제1 해상도보다 낮은 제2 해상도로 구성할 수 있다.
상기 콘텐츠 화면은 3차원 영상이고, 상기 제3 단계는, 상기 콘텐츠 화면 중 상기 제1 영역의 단위 가상 공간 당 기본 요소의 개수보다 상기 제1 영역 이외의 영역의 단위 가상 공간 당 기본 요소의 개수가 적도록 구성할 수 있다.
상기 콘텐츠 화면은 3차원 영상이고, 상기 제3 단계는, 상기 콘텐츠 화면 중 상기 제1 영역에 관여하는 모든 조명에 대해 쉐이딩 작업을 수행하여 구성하고, 상기 제1 영역 이외의 영역에 관여하는 조명에 대해서는 일부 조명에 대해서만 쉐이딩 작업을 수행하여 구성할 수 있다.
상기 콘텐츠 표시 방법은, 상기 표시 장치로 제공할 콘텐츠에 대해 기 설정된 시구간 단위로 하나 이상의 콘텐츠 예비 화면을 생성하는 단계; 및 상기 사용자의 시선 위치 정보에 기반하여 상기 하나 이상의 콘텐츠 예비 화면 중 하나를 해당 시구간의 콘텐츠 화면으로 선택하는 단계를 더 포함할 수 있다.
상기 콘텐츠 예비 화면을 생성하는 단계는, 상기 콘텐츠를 이용한 다른 사용자들의 시선 위치 정보에 기반하여 상기 사용자가 해당 콘텐츠 화면에서 시선을 위치시킬 것으로 판단되는 영역을 예측하는 단계; 및 상기 예측된 영역은 제1 영상 품질로 구성하고, 상기 예측된 영역 이외의 영역은 상기 제1 영상 품질보다 낮은 제2 영상 품질로 구성하여 콘텐츠 예비 화면을 생성하는 단계를 포함할 수 있다.
상기 콘텐츠 화면은 360도 동영상이고, 상기 콘텐츠 표시 방법은, 상기 표시 장치로부터 상기 사용자의 머리 자세 정보를 수신하는 단계를 더 포함하며, 상기 제3 단계는, 상기 머리 자세 정보에 기반하여 360도 동영상 프레임 중 일부를 상기 표시 장치로 전송할 콘텐츠 화면으로 추출하는 단계를 포함할 수 있다.
상기 콘텐츠 화면으로 추출하는 단계는, 상기 머리 자세 정보를 기반으로 상기 사용자가 바라보는 방향을 확인하는 단계; 및 상기 사용자가 바라보는 방향에서 상기 사용자의 시야각을 기반으로 상기 360도 동영상 프레임 중 일부를 상기 콘텐츠 화면으로 추출하는 단계를 포함할 수 있다.
상기 제3 단계는, 상기 추출한 콘텐츠 화면 중 상기 사용자의 시선 위치에 대응하는 영역은 제1 영상 품질로 구성하고, 상기 추출한 콘텐츠 화면 중 상기 사용자의 시선 위치에 대응하는 영역 이외의 영역은 상기 제1 영상 품질보다 낮은 제2 영상 품질로 구성할 수 있다.
개시되는 다른 실시예에 따른 콘텐츠 표시 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 사용자의 시선을 추적하여 시선 위치 정보를 생성하는 단계; 상기 시선 위치 정보를 서버로 전송하는 단계; 및 상기 서버로부터 콘텐츠 화면을 수신하는 단계를 포함하고, 상기 콘텐츠 화면은, 상기 콘텐츠 화면에서 상기 시선 위치 정보에 기반하여 선택된 제1 영역은 제1 영상 품질로 구성되고, 상기 제1 영역 이외의 영역은 상기 제1 영상 품질과는 상이한 제2 영상 품질로 구성된다.
상기 제1 영역은, 상기 콘텐츠 화면에서 상기 사용자의 시선 위치에 대응하는 영역이고, 상기 제2 영상 품질은 상기 제1 영상 품질보다 영상 품질이 낮을 수 있다.
상기 콘텐츠 화면은, 상기 콘텐츠 화면 중 상기 제1 영역이더라도 상기 사용자의 시선이 단속적인 시구간에서는 상기 제1 영상 품질보다 낮은 영상 품질로 구성될 수 있다.
상기 콘텐츠 화면은, 상기 콘텐츠 화면 중 상기 제1 영역은 제1 해상도로 구성되고, 상기 제1 영역 이외의 영역은 상기 제1 해상도보다 낮은 제2 해상도로 구성될 수 있다.
상기 콘텐츠 화면은, 3차원 영상이고, 상기 콘텐츠 화면 중 상기 제1 영역의 단위 가상 공간 당 기본 요소의 개수보다 상기 제1 영역 이외의 영역의 단위 가상 공간 당 기본 요소의 개수가 적도록 구성될 수 있다.
상기 콘텐츠 화면은, 3차원 영상이고, 상기 콘텐츠 화면 중 상기 제1 영역에 관여하는 모든 조명에 대해 쉐이딩 작업을 수행하여 구성되고, 상기 제1 영역 이외의 영역에 관여하는 조명에 대해서는 일부 조명에 대해서만 쉐이딩 작업을 수행하여 구성될 수 있다.
상기 콘텐츠 표시 방법은, 상기 사용자의 머리 자세를 검출하여 머리 자세 정보를 생성하는 단계; 및 상기 머리 자세 정보를 상기 서버로 전송하는 단계를 더 포함하고, 상기 콘텐츠 화면은, 상기 머리 자세 정보에 기반하여 360도 동영상 프레임 중 일부가 추출된 것일 수 있다.
상기 콘텐츠 화면은, 상기 머리 자세 정보를 통해 확인된 상기 사용자가 바라보는 방향에서 상기 사용자의 시야각을 기반으로 상기 360도 동영상 프레임 중 일부가 추출된 것일 수 있다.
상기 콘텐츠 화면은, 상기 콘텐츠 화면 중 상기 사용자의 시선 위치에 대응하는 영역은 제1 영상 품질로 구성되고, 상기 콘텐츠 화면 중 상기 사용자의 시선 위치에 대응하는 영역 이외의 영역은 상기 제1 영상 품질보다 낮은 제2 영상 품질로 구성될 수 있다.
개시되는 또 다른 실시예에 따른 콘텐츠 표시 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 사용자의 시선을 추적하여 시선 위치 정보를 생성하는 제1 단계; 상기 사용자의 시선 위치 정보에 기반하여 콘텐츠 화면에서 제1 영역을 선택하는 제2 단계; 상기 콘텐츠 화면에서 상기 제1 영역은 제1 영상 품질로 구성하고, 상기 제1 영역 이외의 영역은 상기 제1 영상 품질과는 상이한 제2 영상 품질로 구성하는 제3 단계; 및 상기 콘텐츠 화면을 표시하는 제4 단계를 포함한다.
상기 제1 영역은, 상기 콘텐츠 화면에서 상기 사용자의 시선 위치에 대응하는 영역이고, 상기 제2 영상 품질은 상기 제1 영상 품질보다 영상 품질이 낮을 수 있다.
상기 콘텐츠 표시 방법은, 상기 시선 위치 정보를 기반으로 상기 사용자의 시선 패턴 정보를 생성하는 단계; 및 상기 표시되는 콘텐츠 화면에서의 상기 사용자의 시선 위치와 상기 시선 패턴 정보를 기반으로 다음 시구간의 콘텐츠 화면에 대한 하나 이상의 콘텐츠 예비 화면을 생성하는 단계를 더 포함할 수 있다.
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 표시 장치로부터 사용자의 시선 위치 정보를 수신하기 위한 명령; 상기 사용자의 시선 위치 정보에 기반하여 콘텐츠 화면에서 제1 영역을 선택하기 위한 명령; 상기 콘텐츠 화면에서 상기 제1 영역은 제1 영상 품질로 구성하고, 상기 제1 영역 이외의 영역은 상기 제1 영상 품질과는 상이한 제2 영상 품질로 구성하기 위한 명령; 및 상기 콘텐츠 화면을 상기 표시 장치로 전송하기 위한 명령을 포함한다.
개시되는 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 사용자의 시선을 추적하여 시선 위치 정보를 생성하기 위한 명령; 상기 시선 위치 정보를 서버로 전송하기 위한 명령; 및 상기 서버로부터 콘텐츠 화면을 수신하기 위한 명령을 포함하고, 상기 콘텐츠 화면은, 상기 콘텐츠 화면에서 상기 시선 위치 정보에 기반하여 선택된 제1 영역은 제1 영상 품질로 구성되고, 상기 제1 영역 이외의 영역은 상기 제1 영상 품질과는 상이한 제2 영상 품질로 구성된다.
개시되는 또 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 사용자의 시선을 추적하여 시선 위치 정보를 생성하기 위한 명령; 상기 사용자의 시선 위치 정보에 기반하여 콘텐츠 화면에서 제1 영역을 선택하기 위한 명령; 상기 콘텐츠 화면에서 상기 제1 영역은 제1 영상 품질로 구성하고, 상기 제1 영역 이외의 영역은 상기 제1 영상 품질과는 상이한 제2 영상 품질로 구성하기 위한 명령; 및 상기 콘텐츠 화면을 표시하기 위한 명령을 포함한다.
개시되는 실시예에 의하면, 표시 장치로부터 수신되는 사용자의 시선 위치 정보에 기반하여 콘텐츠 화면의 영상 품질을 다르게 구성함으로써, 서버에서 콘텐츠 화면을 구성하는데 따른 연산량을 줄일 수 있으며, 서버에서 표시 장치로 전송할 데이터 양을 줄일 수 있게 된다.
또한, 사용자의 머리 자세 정보에 기반하여 360도 동영상 프레임 중 일부를 콘텐츠 화면으로 구성함으로써 표시 장치로 전송하는 데이터 양을 1차적으로 줄일 수 있고, 콘텐츠 화면에서 사용자의 시선 위치에 따라 서로 다른 영상 품질로 구성함으로써 표시 장치로 전송하는 데이터 양을 2차적으로 줄일 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 콘텐츠 표시 시스템의 구성을 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 360도 동영상 프레임에 대해 콘텐츠 화면을 구성하는 상태를 나타낸 도면
도 3은 본 발명의 일 실시예에 따른 표시 장치의 구성을 나타낸 도면
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 콘텐츠 표시 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 콘텐츠 표시 시스템(100)은 표시 장치(102) 및 서버(104)를 포함한다. 표시 장치(102)는 통신 네트워크(150)를 통해 서버(104)와 통신 가능하게 연결된다. 통신 네트워크(150)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.
표시 장치(102)는 다양한 형태의 콘텐츠를 시각적으로 표시하기 위한 장치이다. 표시 장치(102)는 예를 들어, 액정 표시 장치(Liquid Crystal Display), 유기 발광 다이오드 디스플레이(Organic Light-Emitting Diode Display), 음극선관(Cathode Ray Tube), 플라즈마 디스플레이 등 일반적으로 시각적 정보를 전달하기 위한 전자 디스플레이를 포괄할 수 있다. 예시적인 실시예에서, 표시 장치(102)는 사용자의 두부에 착용할 수 있도록 구성된 헤드 마운트 디스플레이(Head Mounted Display) 또는 스마트 글래스(Smart Glass) 등의 형태로 구현될 수 있다.
또한, 콘텐츠는 동영상, 이미지, 게임, 웹 페이지, 가상 현실, 증강 현실 등 표시 장치(102)를 이용하여 화면 상에 시각적으로 표시할 수 있는 다양한 형태의 콘텐츠를 포함할 수 있다. 예시적인 실시예에서, 표시 장치(102)는 사용자의 두부에 착용하는 헤드 마운트 디스플레이 또는 스마트 글래스 등의 형태로 구현되고, 표시 장치(102)를 통해 3차원 가상 현실 또는 증강 현실과 같은 형태의 콘텐츠가 표시될 수 있다.
표시 장치(102)는 시선 추적부(111), 머리 자세 검출부(113), 통신부(115), 및 표시부(117)를 포함할 수 있다. 표시 장치(102)는 서버(104)로 콘텐츠 송신 요청을 전송하고, 그에 대한 응답으로 해당 콘텐츠를 수신하여 표시할 수 있다.
시선 추적부(111)는 표시부(117)에서 사용자의 시선을 추적하여 시선 위치 정보를 생성할 수 있다. 즉, 시선 추적부(111)는 표시부(117) 화면 상에서의 사용자의 시선 위치를 산출하고, 이를 기반으로 시선 위치 정보를 생성할 수 있다. 예시적인 실시예에서, 시선 추적부(111)는 표시부(117)에 콘텐츠 화면이 표시되는 경우, 콘텐츠 화면에서 사용자의 시선 위치를 산출할 수 있다. 시선 추적부(111)는 다양한 형태의 센서 또는 카메라 등을 이용하여 사용자의 시선 움직임 정보를 수집하고, 수집된 시선 움직임 정보를 이용하여 사용자의 시선 위치를 산출할 수 있다.
머리 자세 검출부(113)는 사용자의 헤드(머리) 부분의 자세를 검출하여 머리 자세 정보를 생성할 수 있다. 구체적으로, 표시 장치(102)가 사용자의 헤드에 착용할 수 있는 형태인 경우, 머리 자세 검출부(113)는 사용자의 헤드 부분의 자세를 검출하도록 마련될 수 있다. 머리 자세 검출부(113)는 자이로 센서 또는 가속도 센서 등을 이용하여 사용자의 헤드 부분의 자세를 검출할 수 있다.
통신부(115)는 콘텐츠 송신 요청을 서버(104)로 전송할 수 있다. 콘텐츠 송신 요청에는 콘텐츠 식별 정보 및 표시 장치(102)의 식별 정보가 포함될 수 있다. 통신부(115)는 사용자의 시선 위치 정보를 서버(104)로 전송할 수 있다. 통신부(115)는 사용자의 머리 자세 정보를 서버(104)로 전송할 수 있다. 통신부(115)는 사용자의 시선 위치 정보 및 머리 자세 정보를 실시간으로 전송할 수 있으나, 그에 한정되는 것은 아니며 일정 주기로 전송할 수도 있다. 통신부(115)는 서버(104)로부터 콘텐츠 화면을 수신할 수 있다. 콘텐츠 화면은 콘텐츠의 실행에 따른 화면으로, 콘텐츠를 표시부(117)에 표시하였을 때의 화면을 의미할 수 있다. 통신부(115)는 수신한 콘텐츠 화면을 표시부(117)로 전달할 수 있다.
표시부(117)는 사용자가 눈으로 콘텐츠를 볼 수 있도록 하는 부분이다. 표시부(117)는 콘텐츠 화면을 표시하는 디스플레이를 포함할 수 있다. 여기서, 콘텐츠 화면은 사용자의 시선 위치 정보에 따라 영상 품질이 서로 상이한 영역을 포함할 수 있다.
서버(104)는 통신부(121), 콘텐츠 화면 구성부(123), 시선 통계 처리부(125), 및 콘텐츠 저장부(127)를 포함할 수 있다.
통신부(121)는 표시 장치(102)의 통신부(115)와 통신을 수행할 수 있다. 통신부(121)는 통신부(115)로부터 콘텐츠 송신 요청을 수신할 수 있다. 통신부(121)는 통신부(115)로부터 사용자의 시선 위치 정보를 수신할 수 있다. 통신부(121)는 통신부(115)로부터 사용자의 머리 자세 정보를 수신할 수 있다. 통신부(121)는 콘텐츠 화면을 표시 장치(102)로 전송할 수 있다.
콘텐츠 화면 구성부(123)는 콘텐츠 송신 요청에 따라 그에 대응하는 콘텐츠를 추출하여 콘텐츠 화면을 구성할 수 있다. 이때, 콘텐츠 화면 구성부(123)는 사용자의 시선 위치 정보에 기반하여 콘텐츠 화면의 일부 영역과 다른 영역의 영상 품질이 서로 다르도록 구성할 수 있다.
구체적으로, 콘텐츠 화면 구성부(123)는 콘텐츠 화면 중 사용자의 시선 위치에 대응하는 영역은 제1 영상 품질로 구성하고, 그 이외의 영역은 제1 영상 품질보다 영상 품질이 낮은 제2 영상 품질로 구성할 수 있다. 여기서, 제1 영상 품질은 해당 콘텐츠 화면의 원래 영상 품질일 수 있다. 또한, 영상 품질이 낮다는 것은 해당 콘텐츠 화면에서 단위 영역을 구성하는 데이터량이 적다는 것을 의미할 수 있다. 즉, 콘텐츠 화면에서 제2 영상 품질로 이루어지는 단위 영역의 데이터량이 제1 영상 품질로 이루어지는 단위 영역의 데이터량보다 적다는 것을 의미할 수 있다. 또는, 영상 품질이 낮다는 것은 해당 콘텐츠 화면에서 단위 영역을 구성하기 위한 연산량이 적다는 것을 의미할 수 있다.
그리고, 콘텐츠 화면 중 사용자의 시선 위치에 대응하는 영역은 콘텐츠 화면 중 사용자의 시선 위치를 기준으로 기 설정된 범위 내에 있는 영역을 의미할 수 있다. 그러나, 이에 한정되는 것은 아니며, 콘텐츠 화면 중 사용자의 시선 위치에 대응하는 오브젝트(예를 들어, 콘텐츠 화면 내 사람, 사물, 캐릭터 등)의 전체 영역을 의미할 수도 있다. 예를 들어, 콘텐츠 화면 중 사용자의 시선 위치에 대응하는 것이 특정 사람의 머리 부분인 경우, 해당 사람의 전체 신체 영역을 의미할 수 있다. 이하, 설명의 편의상 콘텐츠 화면 중 사용자의 시선 위치에 대응하는 영역은 제1 영역이라 지칭하고, 콘텐츠 화면 중 상기 제1 영역을 제외하는 영역을 제2 영역이라 지칭할 수 있다.
예시적인 실시예에서, 콘텐츠 화면 구성부(123)는 콘텐츠 화면 중 제1 영역은 제1 해상도를 갖도록 하고, 제2 영역은 제1 해상도 보다 낮은 제2 해상도를 갖도록 구성할 수 있다. 여기서, 제1 해상도는 콘텐츠 화면의 원래 해상도 일 수 있다.
또한, 콘텐츠 화면 구성부(123)는 콘텐츠 화면이 3차원 영상인 경우, 콘텐츠 화면 중 제1 영역의 단위 가상 공간 당 기본 요소(예를 들어, 폴리곤, 선분, 정점, 메쉬 등)의 개수보다 제2 영역의 단위 가상 공간 당 기본 요소의 개수가 적도록 구성할 수 있다.
또한, 콘텐츠 화면 구성부(123)는 콘텐츠 화면이 3차원 영상인 경우, 콘텐츠 화면 중 제1 영역에 관여하는 모든 조명(배경 조명 또는 점광원 등)에 대해 쉐이딩(Shading) 작업을 수행하고, 제2 영역에 관여하는 조명에 대해서는 일부 조명에 대해서만 쉐이딩 작업을 수행할 수 있다. 예를 들어, 콘텐츠 화면 중 제2 영역에 관여하는 조명이 복수 개인 경우, 콘텐츠 화면 구성부(123)는 그 중 조도가 가장 높은 조명에 대해서만 쉐이딩 작업을 수행할 수 있다.
콘텐츠 화면 구성부(123)는 콘텐츠 화면 중 제1 영역(즉, 사용자의 시선 위치에 대응하는 영역)이라 하더라도, 사용자의 시선이 단속적(斷續的)인 시구간(예를 들어, 사용자가 눈을 깜박이는 시구간 또는 사용자의 눈이 사카드(Saccades) 운동을 하는 시구간)에서는 제1 영역을 제2 영역과 마찬가지로 제2 영상 품질로 구성할 수 있다.
한편, 콘텐츠 화면 구성부(123)는 기 설정된 시구간 단위로 하나 이상의 콘텐츠 예비 화면을 미리 구성할 수 있다. 즉, 서버(104)에서 표시 장치(102)로 전송하는 콘텐츠가 소정 시간의 플레이 타임을 갖는 콘텐츠인 경우, 콘텐츠의 실시간 전송을 위해 콘텐츠 화면 구성부(123)는 해당 콘텐츠에 대해 기 설정된 시구간 단위로 하나 이상의 콘텐츠 예비 화면을 미리 구성해 놓을 수 있다.
예시적인 실시예에서, 콘텐츠 화면 구성부(123)는 소정 콘텐츠에 대해 기 설정된 시구간 단위로 하나 이상의 콘텐츠 예비 화면을 미리 구성해 놓고, 표시 장치(102)로부터 전송되는 사용자의 시선 위치 정보에 기반하여 하나 이상의 콘텐츠 예비 화면 중 하나를 해당 시구간 단위의 콘텐츠 화면으로 선택할 수 있다. 여기서, 시구간 단위는 초 단위(즉, 1초) 일 수 있으나, 이에 한정되는 것은 아니며 표시 장치(102)와 서버(104) 간의 통신 환경 및 콘텐츠의 실시간 보장도 등에 따라 다양하게 설정할 수 있다.
콘텐츠 화면 구성부(123)는 해당 콘텐츠를 이용한 다른 사용자들의 시선 위치 정보에 기반하여 기 설정된 시구간 단위로 하나 이상의 콘텐츠 예비 화면을 미리 생성할 수 있다. 즉, 콘텐츠 화면 구성부(123)는 해당 콘텐츠의 시구간 단위 별로 다른 사용자들이 시선을 고정한 횟수가 많은 순서대로 콘텐츠 화면의 제1 영역을 예측하여 하나 이상의 콘텐츠 예비 화면을 미리 생성할 수 있다.
예를 들어, 콘텐츠 화면 구성부(123)는 해당 콘텐츠의 시구간 단위 별로 콘텐츠 화면에서 다른 사용자들이 시선을 고정한 횟수가 가장 많은 영역을 제1 영역으로 예측하여 제1 콘텐츠 예비 화면을 생성하고, 다른 사용자들이 시선을 고정한 횟수가 2번째로 많은 영역을 제1 영역으로 예측하여 제2 콘텐츠 예비 화면을 생성할 수 있다.
콘텐츠 화면 구성부(123)는 하나 이상의 콘텐츠 예비 화면 중 표시 장치(102)로부터 수신한 사용자의 시선 위치 정보와 대응되는 제1 영역을 갖는 콘텐츠 예비 화면을 선택하여 해당 시구간의 콘텐츠 화면으로 설정할 수 있다. 이 경우, 사용자의 시선 위치 정보에 따라 그에 대응하는 콘텐츠 화면을 신속하게 표시 장치(102)로 전송할 수 있게 된다.
또한, 콘텐츠 화면 구성부(123)는 콘텐츠 화면이 360도 동영상인 경우, 표시 장치(102)로부터 수신한 사용자의 머리 자세 정보 및 시선 위치 정보에 기반하여 콘텐츠 화면을 구성할 수 있다. 여기서, 360도 동영상은 수평(x), 수직(y), 깊이(z), 피치(pitch), 롤(roll), 요(yaw)의 6 자유도를 갖는 동영상일 수 있다. 360도 동영상은 여러 대의 카메라가 촬영한 영상을 이어서 형성한 것일 수 있다. 또한, 360도 동영상은 하나의 카메라를 360도 방향으로 회전하면서 촬영한 파노라마 동영상일 수 있다.
예시적인 실시예에서, 콘텐츠 화면 구성부(123)는 사용자의 머리 자세 정보에 따라 360도 동영상 프레임 중 일부를 표시 장치(102)로 전송할 콘텐츠 화면으로 구성할 수 있다. 또한, 콘텐츠 화면 구성부(123)는 상기 콘텐츠 화면에서 사용자의 시선 위치 정보에 따라 영상 품질을 다르게 구성할 수 있다. 이에 대해 도 2를 참조하여 자세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 360도 동영상 프레임에 대해 콘텐츠 화면을 구성하는 상태를 나타낸 도면이다. 도 2에서는 설명의 편의상 360도 동영상 프레임이 x-y 평면에서 원형으로 나타낸 것을 도시하였다. z는 도 2에서 지면 방향(깊이 방향)을 나타낸다.
도 2를 참조하면, 콘텐츠 화면 구성부(123)는 사용자의 머리 자세 정보에 따라 360도 동영상 프레임(A) 중 일부를 표시 장치(102)로 전송할 콘텐츠 화면(B)으로 구성할 수 있다. 즉, 서버(102)는 360도 동영상을 표시 장치(102)로 전송할 때, 동일 시간대의 360도 동영상 프레임 전부를 전송하는 것이 아니라, 사용자의 머리 자세 정보에 따라 360도 동영상 프레임 중 일부를 전송할 수 있다. 여기서, 사용자의 머리 자세 정보는 사용자 머리의 6 자유도(수평(x), 수직(y), 깊이(z), 피치(pitch), 롤(roll), 요(yaw))에 대한 자세 정보를 의미할 수 있다.
콘텐츠 화면 구성부(123)는 사용자의 머리 자세 정보를 통해 사용자가 바라보는 방향을 확인하고, 사용자가 바라보는 방향에서 사용자의 시야각을 기반으로 360도 동영상 프레임 중 일부를 추출할 수 있다. 일반적으로, 사람의 시야각은 사용자가 정면을 바라보는 상태에서 눈을 움직이면 좌우 방향으로 최대 220도이고, 상하 방향으로 최대 150도 정도가 된다. 이에, 콘텐츠 화면 구성부(123)는 360도 동영상 프레임(A) 중 사용자가 바라보는 방향에서 사용자의 시야각을 기반으로 그 일부를 추출하여 콘텐츠 화면(B)으로 구성할 수 있다. 이때, 콘텐츠 화면 구성부(123)는 360도 동영상 프레임 중 사용자의 시야각 만큼 추출할 수도 있으나, 이에 한정되는 것은 아니며 360도 동영상 프레임 중 사용자의 시야각에 기 설정된 각도를 더한 만큼을 추출할 수도 있다. 이로써, 서버(104)에서 표시 장치(102)로 전송하는 데이터 양을 줄일 수 있으며, 그로 인해 표시 장치(102)에서 실시간으로 콘텐츠 화면을 표시할 수 있게 된다.
또한, 콘텐츠 화면 구성부(123)는 콘텐츠 화면(B)에서 사용자의 시선 위치에 대응하는 영역(즉, 제1 영역)(B-1)은 제1 영상 품질로 구성하고, 그 이외의 영역(즉, 제2 영역)(B-2)은 제1 영상 품질보다 낮은 제2 영상 품질로 구성할 수 있다.
개시되는 실시예에 의하면, 사용자의 머리 자세 정보에 기반하여 360도 동영상 프레임 중 일부를 콘텐츠 화면으로 구성함으로써 표시 장치(102)로 전송하는 데이터 양을 1차적으로 줄일 수 있고, 콘텐츠 화면에서 사용자의 시선 위치에 따라 서로 다른 영상 품질로 구성함으로써 표시 장치(102)로 전송하는 데이터 양을 2차적으로 줄일 수 있게 된다.
또한, 콘텐츠 화면 구성부(123)는 사용자의 머리 자세 정보가 변화하는 경우, 변화 한 머리 자세 정보에 기반하여 360도 동영상 프레임 중 일부를 콘텐츠 화면으로 구성할 수 있다.
시선 통계 처리부(125)는 서버(104)에서 표시 장치(102)로 제공하는 각 콘텐츠 별로 사용자들의 시선 위치 정보를 매칭하여 저장할 수 있다. 시선 통계 처리부(125)는 콘텐츠의 시구간 단위 별로 사용자들의 시선 위치를 추적하여 사용자들이 응시하는 부분이 어느 부분인지 확인할 수 있다. 시선 통계 처리부(125)는 콘텐츠의 시구간 단위 별로 사용자들이 응시하는 부분들을 각각 카운트하여 통계 처리할 수 있다.
콘텐츠 저장부(127)는 서버(104)에서 표시 장치(102)로 제공할 각 콘텐츠를 저장할 수 있다.
개시되는 실시예에 의하면, 표시 장치(102)로부터 수신되는 사용자의 시선 위치 정보에 기반하여 콘텐츠 화면의 영상 품질을 다르게 구성함으로써, 서버(104)에서 콘텐츠 화면을 구성하는데 따른 연산량을 줄일 수 있으며, 서버(104)에서 표시 장치(102)로 전송할 데이터 양을 줄일 수 있게 된다.
도 3은 본 발명의 일 실시예에 따른 표시 장치의 구성을 나타낸 도면이다. 이하에서는, 도 1에 도시된 실시예와 차이가 있는 부분을 중점적으로 설명하기로 한다. 도 3은 표시 장치 내에 저장된 콘텐츠를 표시부에 표시하는 경우에 대해 나타내었다.
도 3을 참조하면, 표시 장치(200)는 시선 추적부(201), 머리 자세 검출부(203), 콘텐츠 화면 구성부(205), 시선 패턴 확인부(207), 표시부(209), 및 콘텐츠 저장부(211)를 포함할 수 있다. 예시적인 실시예에서, 표시 장치(200)는 사용자의 두부에 착용하는 헤드 마운트 디스플레이 또는 스마트 글래스 등의 형태로 구현될 수 있다.
시선 추적부(201)는 표시부(209)에서 사용자의 시선을 추적하여 시선 위치 정보를 생성할 수 있다. 즉, 시선 추적부(201)는 표시부(209) 화면 상에서의 사용자의 시선 위치를 산출하고, 이를 기반으로 시선 위치 정보를 생성할 수 있다. 예시적인 실시예에서, 시선 추적부(201)는 표시부(209)에 콘텐츠 화면이 표시되는 경우, 콘텐츠 화면에서 사용자의 시선 위치를 산출할 수 있다. 시선 추적부(201)는 다양한 형태의 센서 또는 카메라 등을 이용하여 사용자의 시선 움직임 정보를 수집하고, 수집된 시선 움직임 정보를 이용하여 사용자의 시선 위치를 산출할 수 있다.
머리 자세 검출부(203)는 사용자의 머리 부분의 자세를 검출하여 머리 자세 정보를 생성할 수 있다. 구체적으로, 표시 장치(102)가 사용자의 머리에 착용할 수 있는 형태인 경우, 머리 자세 검출부(203)는 사용자의 머리 부분의 자세를 검출하도록 마련될 수 있다. 머리 자세 검출부(203)는 자이로 센서 또는 가속도 센서 등을 이용하여 사용자의 머리 부분의 자세를 검출할 수 있다.
콘텐츠 화면 구성부(205)는 콘텐츠 실행 이벤트에 따라 콘텐츠 저장부(209)에 저장된 콘텐츠를 추출하여 콘텐츠 화면을 구성할 수 있다. 콘텐츠 실행 이벤트는 사용자의 입력에 의해 발생될 수 있다. 콘텐츠 화면 구성부(205)는 사용자의 시선 위치 정보에 기반하여 콘텐츠 화면의 일부 영역과 다른 영역의 영상 품질이 서로 다르도록 구성할 수 있다. 즉, 콘텐츠 화면 구성부(205)는 콘텐츠 화면 중 사용자의 시선 위치에 대응하는 영역(제1 영역)은 제1 영상 품질로 구성하고, 그 이외의 영역(제2 영역)은 제1 영상 품질보다 낮은 제2 영상 품질로 구성할 수 있다.
콘텐츠 화면 구성부(205)는 콘텐츠 화면을 구성할 때 표시 장치(200)의 CPU(Center Processing Unit) 또는 GPU(Graphic Processing Unit)의 점유율이 낮아지도록 할 수 있다. 즉, 콘텐츠 화면 구성부(205)는 콘텐츠 화면 구성 시 표시 장치(200)의 CPU(Center Processing Unit) 또는 GPU(Graphic Processing Unit)의 연산량이 줄어들도록 할 수 있다.
예시적인 실시예에서, 콘텐츠 화면 구성부(205)는 콘텐츠 화면 중 제1 영역은 제1 해상도를 갖도록 하고, 제2 영역은 제1 해상도 보다 낮은 제2 해상도를 갖도록 구성할 수 있다. 여기서, 제1 해상도는 콘텐츠 화면의 원래 해상도 일 수 있다.
또한, 콘텐츠 화면 구성부(205)는 콘텐츠 화면이 3차원 영상인 경우, 콘텐츠 화면 중 제1 영역의 단위 가상 공간 당 기본 요소(예를 들어, 폴리곤, 선분, 정점, 메쉬 등)의 개수보다 제2 영역의 단위 가상 공간 당 기본 요소의 개수가 적도록 구성할 수 있다.
또한, 콘텐츠 화면 구성부(205)는 콘텐츠 화면이 3차원 영상인 경우, 콘텐츠 화면 중 제1 영역에 관여하는 모든 조명(배경 조명 또는 점광원 등)에 대해 쉐이딩(Shading) 작업을 수행하고, 제2 영역에 관여하는 조명에 대해서는 일부 조명에 대해서만 쉐이딩 작업을 수행할 수 있다. 예를 들어, 콘텐츠 화면 중 제2 영역에 관여하는 조명이 복수 개인 경우, 콘텐츠 화면 구성부(123)는 그 중 조도가 가장 높은 조명에 대해서만 쉐이딩 작업을 수행할 수 있다.
또한, 콘텐츠 화면 구성부(205)는 콘텐츠 화면 중 제1 영역(즉, 사용자의 시선 위치에 대응하는 영역)이라 하더라도, 사용자의 시선이 단속적(斷續的)인 시구간(예를 들어, 사용자가 눈을 깜박이는 시구간 또는 사용자의 눈이 사카드(Saccades) 운동을 하는 시구간)에서는 제1 영역을 제2 영역과 마찬가지로 제2 영상 품질로 구성할 수 있다.
한편, 콘텐츠 화면 구성부(205)는 표시부(209)에 표시되는 콘텐츠 화면에서 사용자의 시선 위치 정보와 사용자의 시선 패턴 정보를 기반으로 다음 시구간(즉, 현재 표시부(209)에 표시되는 콘텐츠 화면의 다음 시구간)에 대해 하나 이상의 콘텐츠 예비 화면을 미리 생성할 수 있다. 즉, 콘텐츠 화면 구성부(205)는 사용자의 시선 위치 정보와 사용자의 시선 패턴 정보를 기반으로 사용자가 응시할 것으로 보이는 제1 영역을 예측하여 다음 시구간에 대한 하나 이상의 콘텐츠 예비 화면을 미리 생성할 수 있다.
여기서, 시선 패턴 정보는 사용자의 시선 위치의 이동에 따른 패턴을 의미할 수 있다. 콘텐츠 화면 구성부(205)는 표시부(209)에 표시되는 콘텐츠 화면에서 사용자의 시선 위치가 검출된 경우, 그 다음에 사용자의 시선이 어디로 이동하였는지를 시선 패턴 정보를 통해 확인하여 다음 시구간의 콘텐츠 화면에서 사용자가 응시할 것으로 보이는 제1 영역을 예측할 수 있다. 콘텐츠 화면 구성부(205)는 하나 이상의 콘텐츠 예비 화면 중 사용자의 시선 위치 정보와 대응되는 제1 영역을 갖는 콘텐츠 예비 화면을 선택하여 해당 시구간의 콘텐츠 화면으로 설정할 수 있다. 이 경우, 사용자의 시선 위치 정보에 따라 실시간으로 그에 대응하는 콘텐츠 화면을 표시할 수 있게 된다.
또한, 콘텐츠 화면 구성부(205)는 콘텐츠 화면이 360도 동영상인 경우, 사용자의 머리 자세 정보 및 시선 위치 정보에 기반하여 콘텐츠 화면을 구성할 수 있다. 이는 도 1 내지 도 2에 도시된 실시예와 동일 또는 유사하므로, 이에 대한 자세한 설명은 생략하기로 한다.
시선 패턴 확인부(207)는 사용자의 시선 위치 정보를 기반으로 사용자의 시선 패턴 정보를 생성할 수 있다. 즉, 시선 패턴 확인부(207)는 사용자의 시선 위치 정보를 기반으로 표시부(209)에서 사용자의 시선 위치가 어떤 이동 패턴을 보이는지를 확인하여 시선 패턴 정보를 생성할 수 있다. 시선 패턴 정보를 이용하면 다음 순간에 사용자의 시선이 어느 곳을 향할지를 예측할 수 있게 된다.
표시부(209)는 사용자가 눈으로 콘텐츠를 볼 수 있도록 하는 부분이다. 표시부(209)는 콘텐츠 화면을 표시하는 디스플레이를 포함할 수 있다. 콘텐츠 저장부(211)는 표시부(209)에 표시할 각 콘텐츠를 저장할 수 있다.
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 콘텐츠를 표시하는 장치(예를 들어, 표시 장치(102))일 수 있다. 또한, 컴퓨팅 장치(12)는 콘텐츠를 전송하는 서버 장치(예를 들어, 서버(104))일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 콘텐츠 표시 시스템
102 : 표시 장치
104 : 서버
111, 201 : 시선 추적부
113, 203 : 머리 자세 검출부
115 : 통신부
117, 209 : 표시부
121 : 통신부
123, 205 : 콘텐츠 화면 구성부
125 : 시선 통계 처리부
127, 211 : 콘텐츠 저장부
207 : 시선 패턴 확인부

Claims (26)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 콘텐츠 표시 방법으로서,
    표시 장치로부터 사용자의 시선 위치 정보를 수신하는 제1 단계;
    상기 사용자의 시선 위치 정보에 기반하여 콘텐츠 화면에서 제1 영역을 선택하는 제2 단계;
    상기 콘텐츠 화면에서 상기 제1 영역은 제1 영상 품질로 구성하고, 상기 제1 영역 이외의 영역은 상기 제1 영상 품질과는 상이한 제2 영상 품질로 구성하는 제3 단계; 및
    상기 콘텐츠 화면을 상기 표시 장치로 전송하는 제4 단계를 포함하고,
    상기 콘텐츠 표시 방법은,
    상기 표시 장치로 제공할 콘텐츠에 대해 기 설정된 시구간 단위로 하나 이상의 콘텐츠 예비 화면을 생성하는 단계; 및
    상기 사용자의 시선 위치 정보에 기반하여 상기 하나 이상의 콘텐츠 예비 화면 중 하나를 해당 시구간의 콘텐츠 화면으로 선택하는 단계를 더 포함하며,
    상기 콘텐츠 예비 화면을 생성하는 단계는,
    상기 콘텐츠를 이용한 다른 사용자들의 시선 위치 정보에 기반하여 상기 사용자가 해당 콘텐츠 화면에서 시선을 위치시킬 것으로 판단되는 영역을 예측하는 단계; 및
    상기 예측된 영역은 제1 영상 품질로 구성하고, 상기 예측된 영역 이외의 영역은 상기 제1 영상 품질보다 낮은 제2 영상 품질로 구성하여 콘텐츠 예비 화면을 생성하는 단계를 포함하고,
    상기 예측된 영역은, 상기 콘텐츠에서 상기 다른 사용자들의 시선 고정 횟수를 기반으로 설정되는, 콘텐츠 표시 방법.
  2. 청구항 1에 있어서,
    상기 제1 영역은, 상기 콘텐츠 화면에서 상기 사용자의 시선 위치에 대응하는 영역이고,
    상기 제2 영상 품질은 상기 제1 영상 품질보다 영상 품질이 낮은, 콘텐츠 표시 방법.
  3. 청구항 2에 있어서,
    상기 제3 단계는,
    상기 콘텐츠 화면 중 상기 제1 영역이더라도 상기 사용자의 시선이 단속적인 시구간에서는 상기 제1 영상 품질보다 낮은 영상 품질로 구성하는, 콘텐츠 표시 방법.
  4. 청구항 1에 있어서,
    상기 제3 단계는,
    상기 콘텐츠 화면 중 상기 제1 영역은 제1 해상도로 구성하고, 상기 제1 영역 이외의 영역은 상기 제1 해상도보다 낮은 제2 해상도로 구성하는, 콘텐츠 표시 방법.
  5. 청구항 1에 있어서, 상기 콘텐츠 화면은 3차원 영상이고,
    상기 제3 단계는,
    상기 콘텐츠 화면 중 상기 제1 영역의 단위 가상 공간 당 기본 요소의 개수보다 상기 제1 영역 이외의 영역의 단위 가상 공간 당 기본 요소의 개수가 적도록 구성하는, 콘텐츠 표시 방법.
  6. 청구항 1에 있어서, 상기 콘텐츠 화면은 3차원 영상이고,
    상기 제3 단계는,
    상기 콘텐츠 화면 중 상기 제1 영역에 관여하는 모든 조명에 대해 쉐이딩 작업을 수행하여 구성하고, 상기 제1 영역 이외의 영역에 관여하는 조명에 대해서는 일부 조명에 대해서만 쉐이딩 작업을 수행하여 구성하는, 콘텐츠 표시 방법.
  7. 삭제
  8. 삭제
  9. 청구항 1에 있어서, 상기 콘텐츠 화면은 360도 동영상이고,
    상기 콘텐츠 표시 방법은,
    상기 표시 장치로부터 상기 사용자의 머리 자세 정보를 수신하는 단계를 더 포함하며,
    상기 제3 단계는,
    상기 머리 자세 정보에 기반하여 360도 동영상 프레임 중 일부를 상기 표시 장치로 전송할 콘텐츠 화면으로 추출하는 단계를 포함하는, 콘텐츠 표시 방법.
  10. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 콘텐츠 표시 방법으로서,
    표시 장치로부터 사용자의 시선 위치 정보를 수신하는 제1 단계;
    상기 사용자의 시선 위치 정보에 기반하여 콘텐츠 화면에서 제1 영역을 선택하는 제2 단계;
    상기 콘텐츠 화면에서 상기 제1 영역은 제1 영상 품질로 구성하고, 상기 제1 영역 이외의 영역은 상기 제1 영상 품질과는 상이한 제2 영상 품질로 구성하는 제3 단계; 및
    상기 콘텐츠 화면을 상기 표시 장치로 전송하는 제4 단계를 포함하고,
    상기 콘텐츠 화면은 360도 동영상이고,
    상기 콘텐츠 표시 방법은,
    상기 표시 장치로부터 상기 사용자의 머리 자세 정보를 수신하는 단계;
    상기 머리 자세 정보를 기반으로 상기 사용자가 바라보는 방향을 확인하는 단계; 및
    상기 사용자가 바라보는 방향에서 상기 사용자의 시야각을 기반으로 상기 360도 동영상 프레임 중 일부를 상기 콘텐츠 화면으로 추출하는 단계를 더 포함하는, 콘텐츠 표시 방법.
  11. 청구항 9에 있어서,
    상기 제3 단계는,
    상기 추출한 콘텐츠 화면 중 상기 사용자의 시선 위치에 대응하는 영역은 제1 영상 품질로 구성하고, 상기 추출한 콘텐츠 화면 중 상기 사용자의 시선 위치에 대응하는 영역 이외의 영역은 상기 제1 영상 품질보다 낮은 제2 영상 품질로 구성하는, 콘텐츠 표시 방법.
  12. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 콘텐츠 표시 방법으로서,
    사용자의 시선을 추적하여 시선 위치 정보를 생성하는 단계;
    상기 시선 위치 정보를 서버로 전송하는 단계; 및
    상기 서버로부터 콘텐츠 화면을 수신하는 단계를 포함하고,
    상기 콘텐츠 화면은, 상기 콘텐츠 화면에서 상기 시선 위치 정보에 기반하여 선택된 제1 영역은 제1 영상 품질로 구성되고, 상기 제1 영역 이외의 영역은 상기 제1 영상 품질과는 상이한 제2 영상 품질로 구성되며,
    상기 콘텐츠 표시 방법은,
    상기 사용자의 머리 자세를 검출하여 머리 자세 정보를 생성하는 단계; 및
    상기 머리 자세 정보를 상기 서버로 전송하는 단계를 더 포함하고
    상기 콘텐츠 화면은, 360도 동영상이고,
    상기 머리 자세 정보를 통해 확인된 상기 사용자가 바라보는 방향에서 상기 사용자의 시야각을 기반으로 상기 360도 동영상 프레임 중 일부가 추출된 것인, 콘텐츠 표시 방법.
  13. 청구항 12에 있어서,
    상기 제1 영역은, 상기 콘텐츠 화면에서 상기 사용자의 시선 위치에 대응하는 영역이고,
    상기 제2 영상 품질은 상기 제1 영상 품질보다 영상 품질이 낮은, 콘텐츠 표시 방법.
  14. 청구항 13에 있어서,
    상기 콘텐츠 화면은,
    상기 콘텐츠 화면 중 상기 제1 영역이더라도 상기 사용자의 시선이 단속적인 시구간에서는 상기 제1 영상 품질보다 낮은 영상 품질로 구성되는, 콘텐츠 표시 방법.
  15. 청구항 12에 있어서,
    상기 콘텐츠 화면은,
    상기 콘텐츠 화면 중 상기 제1 영역은 제1 해상도로 구성되고, 상기 제1 영역 이외의 영역은 상기 제1 해상도보다 낮은 제2 해상도로 구성되는, 콘텐츠 표시 방법.
  16. 청구항 12에 있어서,
    상기 콘텐츠 화면은, 3차원 영상이고,
    상기 콘텐츠 화면 중 상기 제1 영역의 단위 가상 공간 당 기본 요소의 개수보다 상기 제1 영역 이외의 영역의 단위 가상 공간 당 기본 요소의 개수가 적도록 구성되는, 콘텐츠 표시 방법.
  17. 청구항 12에 있어서,
    상기 콘텐츠 화면은, 3차원 영상이고,
    상기 콘텐츠 화면 중 상기 제1 영역에 관여하는 모든 조명에 대해 쉐이딩 작업을 수행하여 구성되고, 상기 제1 영역 이외의 영역에 관여하는 조명에 대해서는 일부 조명에 대해서만 쉐이딩 작업을 수행하여 구성되는, 콘텐츠 표시 방법.
  18. 삭제
  19. 삭제
  20. 청구항 12에 있어서,
    상기 콘텐츠 화면은,
    상기 콘텐츠 화면 중 상기 사용자의 시선 위치에 대응하는 영역은 제1 영상 품질로 구성되고, 상기 콘텐츠 화면 중 상기 사용자의 시선 위치에 대응하는 영역 이외의 영역은 상기 제1 영상 품질보다 낮은 제2 영상 품질로 구성되는, 콘텐츠 표시 방법.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    표시 장치로부터 사용자의 시선 위치 정보를 수신하기 위한 명령;
    상기 사용자의 시선 위치 정보에 기반하여 콘텐츠 화면에서 제1 영역을 선택하기 위한 명령;
    상기 콘텐츠 화면에서 상기 제1 영역은 제1 영상 품질로 구성하고, 상기 제1 영역 이외의 영역은 상기 제1 영상 품질과는 상이한 제2 영상 품질로 구성하기 위한 명령; 및
    상기 콘텐츠 화면을 상기 표시 장치로 전송하기 위한 명령을 포함하고,
    상기 하나 이상의 프로그램들은,
    상기 표시 장치로 제공할 콘텐츠에 대해 기 설정된 시구간 단위로 하나 이상의 콘텐츠 예비 화면을 생성하기 위한 명령; 및
    상기 사용자의 시선 위치 정보에 기반하여 상기 하나 이상의 콘텐츠 예비 화면 중 하나를 해당 시구간의 콘텐츠 화면으로 선택하기 위한 명령을 더 포함하며,
    상기 콘텐츠 예비 화면을 생성하기 위한 명령은,
    상기 콘텐츠를 이용한 다른 사용자들의 시선 위치 정보에 기반하여 상기 사용자가 해당 콘텐츠 화면에서 시선을 위치시킬 것으로 판단되는 영역을 예측하기 위한 명령; 및
    상기 예측된 영역은 제1 영상 품질로 구성하고, 상기 예측된 영역 이외의 영역은 상기 제1 영상 품질보다 낮은 제2 영상 품질로 구성하여 콘텐츠 예비 화면을 생성하기 위한 명령을 포함하고,
    상기 예측된 영역은, 상기 콘텐츠에서 상기 다른 사용자들의 시선 고정 횟수를 기반으로 설정되는, 컴퓨팅 장치.
  25. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    사용자의 시선을 추적하여 시선 위치 정보를 생성하기 위한 명령;
    상기 시선 위치 정보를 서버로 전송하기 위한 명령; 및
    상기 서버로부터 콘텐츠 화면을 수신하기 위한 명령을 포함하고,
    상기 콘텐츠 화면은, 상기 콘텐츠 화면에서 상기 시선 위치 정보에 기반하여 선택된 제1 영역은 제1 영상 품질로 구성되고, 상기 제1 영역 이외의 영역은 상기 제1 영상 품질과는 상이한 제2 영상 품질로 구성되며,
    상기 하나 이상의 프로그램들은,
    상기 사용자의 머리 자세를 검출하여 머리 자세 정보를 생성하기 위한 명령; 및
    상기 머리 자세 정보를 상기 서버로 전송하기 위한 명령을 더 포함하고
    상기 콘텐츠 화면은, 360도 동영상이고,
    상기 머리 자세 정보를 통해 확인된 상기 사용자가 바라보는 방향에서 상기 사용자의 시야각을 기반으로 상기 360도 동영상 프레임 중 일부가 추출된 것인, 컴퓨팅 장치.
  26. 삭제
KR1020170068955A 2017-06-02 2017-06-02 콘텐츠 표시 방법 및 이를 수행하기 위한 장치 KR101888364B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170068955A KR101888364B1 (ko) 2017-06-02 2017-06-02 콘텐츠 표시 방법 및 이를 수행하기 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170068955A KR101888364B1 (ko) 2017-06-02 2017-06-02 콘텐츠 표시 방법 및 이를 수행하기 위한 장치

Publications (1)

Publication Number Publication Date
KR101888364B1 true KR101888364B1 (ko) 2018-08-14

Family

ID=63230321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170068955A KR101888364B1 (ko) 2017-06-02 2017-06-02 콘텐츠 표시 방법 및 이를 수행하기 위한 장치

Country Status (1)

Country Link
KR (1) KR101888364B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101965746B1 (ko) * 2018-10-02 2019-04-05 주식회사 이노벤터 Vr 콘텐츠 스트리밍 서버 및 방법
WO2020159301A1 (ko) * 2019-01-31 2020-08-06 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140361977A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display
KR101586195B1 (ko) 2014-04-09 2016-01-20 전자부품연구원 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법
JP2016202716A (ja) * 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス プログラム及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140361977A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display
KR101586195B1 (ko) 2014-04-09 2016-01-20 전자부품연구원 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법
JP2016202716A (ja) * 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス プログラム及び記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101965746B1 (ko) * 2018-10-02 2019-04-05 주식회사 이노벤터 Vr 콘텐츠 스트리밍 서버 및 방법
WO2020159301A1 (ko) * 2019-01-31 2020-08-06 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
US11321845B2 (en) 2019-01-31 2022-05-03 Alphacircle Co., Ltd. Method and device for controlling transit time of reproduced image among a plurality of segmented images

Similar Documents

Publication Publication Date Title
JP6058184B1 (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
US11474610B2 (en) Systems and methods for generating dynamic obstacle collision warnings for head-mounted displays
US9858707B2 (en) 3D video reconstruction system
CN107920734A (zh) 视线检测方法和装置
US10884576B2 (en) Mediated reality
US10115235B2 (en) Method for controlling head mounted display, and system for implemeting the method
US20160195849A1 (en) Facilitating interactive floating virtual representations of images at computing devices
JP2016522463A5 (ko)
JP2020035455A (ja) 媒介現実コンテンツの共有
JP2017505933A (ja) 実在の物体上に固定された仮想画像を生成する方法及びシステム
US11353955B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
EP4256530A1 (en) Physical keyboard tracking
US11335077B1 (en) Generating and modifying representations of dynamic objects in an artificial reality environment
KR20230124075A (ko) 가상 현실에서 공간 인식을 제공하기 위한 시스템 및방법
US20230037750A1 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
US20230290089A1 (en) Dynamic Mixed Reality Content in Virtual Reality
KR101888364B1 (ko) 콘텐츠 표시 방법 및 이를 수행하기 위한 장치
CN110313021B (zh) 增强现实提供方法、装置以及计算机可读记录介质
US10642349B2 (en) Information processing apparatus
KR101810980B1 (ko) 콘텐츠 표시 방법 및 이를 수행하기 위한 표시 장치 및 시스템
US20230259194A1 (en) Spatial Anchor Sharing for Multiple Virtual Reality Systems in Shared Real-World Environments
JP2017162443A (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
KR102224057B1 (ko) 관전 영상의 자동제어를 이용한 부하 감소 방법 및 이를 이용한 헤드 마운티드 디스플레이
KR102286517B1 (ko) 컨트롤러 입력에 따른 회전 구동 제어 방법 및 이를 이용한 헤드 마운티드 디스플레이 시스템
JP2017033465A (ja) 方法、および、プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant