KR20180068874A - 몰입형 콘텐츠에서 관심 포인트를 결정하는 방법 및 디바이스 - Google Patents

몰입형 콘텐츠에서 관심 포인트를 결정하는 방법 및 디바이스 Download PDF

Info

Publication number
KR20180068874A
KR20180068874A KR1020170170541A KR20170170541A KR20180068874A KR 20180068874 A KR20180068874 A KR 20180068874A KR 1020170170541 A KR1020170170541 A KR 1020170170541A KR 20170170541 A KR20170170541 A KR 20170170541A KR 20180068874 A KR20180068874 A KR 20180068874A
Authority
KR
South Korea
Prior art keywords
information
content
view content
large field
view
Prior art date
Application number
KR1020170170541A
Other languages
English (en)
Inventor
파비앙 다니오
앙뚜완 기요
르노 도르
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20180068874A publication Critical patent/KR20180068874A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

대형 시야 콘텐츠의 관심 포인트를 나타내는 제1 정보를 결정하는 방법 및 디바이스가 개시된다. 이러한 목적을 달성하기 위해, 대형 시야 콘텐츠의 적어도 일부와 연관된 시청 방향을 적어도 나타내는 제2 정보가 획득되고; 대형 시야 콘텐츠에서 관심을 나타내는 제3 정보가 획득되고; 제1 정보는 제2 정보 및 제3 정보로부터 결정된다.

Description

몰입형 콘텐츠에서 관심 포인트를 결정하는 방법 및 디바이스{METHOD AND DEVICE FOR DETERMINING POINTS OF INTEREST IN AN IMMERSIVE CONTENT}
본 개시내용은 몰입형 이미지/비디오 콘텐츠(대형 시야 콘텐츠라고도 칭함)의 도메인에 관한 것이다. 본 개시내용은 몰입형 이미지 또는 비디오에 포함되는 관심 포인트(들) 또는 영역(들)을 결정하는 것 및/또는 예를 들어, 관심 포인트(들) 또는 영역(들)에 따라 몰입형 이미지 또는 비디오를 처리하는 것의 문맥에서 또한 이해된다.
본 섹션은 아래에 설명되고 그리고/또는 청구되는 본 개시내용의 다양한 양태들에 관련될 수 있는 종래 기술의 다양한 양태들을 독자에게 소개하는 것을 의도한다. 본 논의는 본 발명의 다양한 양태들의 더 양호한 이해를 용이하게 하기 위해 배경 정보를 독자에게 제공하는데 있어서 도움이 될 것으로 여겨진다. 이에 따라, 이들 서술들은 종래 기술의 인정으로서가 아니라, 이러한 관점에서 읽어져야 한다는 것을 이해해야 한다.
HMD(Head Mounted Displays), CAVE 시스템 등 및 가상 현실 시스템들과 같은 최근의 대형 시야 디스플레이 디바이스들의 도움으로, 새로운 시청각 경험들이 제공된다. 이러한 구성들에서, 사용자는 (시야의 4pi 스테라디안까지) 360° 장면을 조사하기 위해 자신의 머리 및 몸을 이동시킬 수 있고, 이는 강한 몰입감을 초래한다. 이와 관련하여, 새로운 시청각 콘텐츠가 이러한 기술을 이용하기 위해 생성된다. 360° 영화들과 같은 대형 시야 콘텐츠가 전용 3D 엔진들(컴퓨터-생성 화상(CGI)) 또는 대형 시야를 갖는 실제 카메라들의 도움으로 생성된다.
이러한 콘텐츠가 갖는 중요한 이슈는, 대형 시야 콘텐츠를 시청하는 사용자가 카메라를 제어하고 따라서 관심 이벤트들/관심 포인트를 놓칠 수 있다는 것이다. 이러한 이슈를 다루기 위해, 단순한 해결방안은 관심 포인트가 항상 사용자를 향하도록 하기 위해 대형 시야 콘텐츠를 "회전"시키는 것이다. 그러나, 이러한 기술은 종종 멀미 효과를 초래하여서, 사용자 경험을 감소시킨다.
보완 이슈가, 대형 시야 콘텐츠에서의 관심 포인트가 그것을 향한 사용자의 관심을 끌기 위해 알려질 필요가 있다는 것이다. 전문적인 영화 감독들은 슈팅 스테이지 동안 사용자 정면에 관심 포인트가 남아 있게 함으로써 이러한 이슈를 다소 해결할 수 있다. 그러나, 이러한 이슈는, 360° 카메라가 특정한 연출 없이 이벤트를 캡처하기 위해 사용되는 아마추어 비디오들에 특히 존재한다. 이러한 대형 시야 콘텐츠는 이제 현재의 스트리밍 플랫폼들에 풍부하고, 이러한 대형 시야 콘텐츠를 소비(consuming)하는 사용자들은 관심 포인트(들)를 놓치지 않기 위해 지원을 필요로 할 수 있다.
"일 실시예", "실시예", "예시적인 실시예", "특정한 실시예"에 대한 명세서에서의 참조들은, 설명한 실시예가 특정한 피처, 구조, 또는 특징을 포함할 수 있지만, 모든 실시예가 그 특정한 피처, 구조, 또는 특징을 반드시 포함하지 않을 수 있다는 것을 나타낸다. 더욱이, 이러한 어구들이 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 특정한 피처, 구조, 또는 특징이 실시예와 관련하여 설명될 때, 명확하게 설명하든 안 하든 다른 실시예들과 관련하여 이러한 피처, 구조, 또는 특징을 실시하는 것은 본 기술분야의 통상의 기술자의 지식내에 있다는 것이 제안된다.
본 개시내용은 대형 시야 콘텐츠의 관심 포인트를 나타내는 제1 정보를 결정하는 방법에 관한 것이고, 이 방법은:
- 대형 시야 콘텐츠의 적어도 일부와 연관된 시청 방향을 적어도 나타내는 제2 정보를 획득하는 단계;
- 대형 시야 콘텐츠에서 관심을 나타내는 제3 정보를 획득하는 단계;
- 제2 정보 및 제3 정보로부터 제1 정보를 결정하는 단계를 포함한다.
본 개시내용은 또한, 대형 시야 콘텐츠의 관심 포인트를 나타내는 제1 정보를 결정하도록 구성되는 디바이스에 관한 것이고, 이 디바이스는:
- 대형 시야 콘텐츠의 적어도 일부와 연관된 시청 방향을 적어도 나타내는 제2 정보를 획득하고;
- 대형 시야 콘텐츠에서 관심을 나타내는 제3 정보를 획득하고;
- 제2 정보 및 제3 정보로부터 제1 정보를 결정하도록 구성되는 프로세서와 연관된 메모리를 포함한다.
본 개시내용은 또한, 대형 시야 콘텐츠의 관심 포인트를 나타내는 제1 정보를 결정하도록 구성되는 디바이스에 관한 것이고, 이 디바이스는:
- 대형 시야 콘텐츠의 적어도 일부와 연관된 시청 방향을 적어도 나타내는 제2 정보를 획득하는 수단;
- 대형 시야 콘텐츠에서 관심을 나타내는 제3 정보를 획득하는 수단;
- 제2 정보 및 제3 정보로부터 제1 정보를 결정하는 수단을 포함한다.
특정한 특징에 따르면, 제3 정보는:
- 대형 시야 콘텐츠를 소비하는 데 소모된 시간을 나타내는 정보;
- 대형 시야 콘텐츠와 연관된 레이트(rate)를 나타내는 정보;
- 대형 시야 콘텐츠와 연관된 코멘트의 의미 분석(semantic analysis)의 결과를 나타내는 정보;
- 대형 시야 콘텐츠가 렌더링된 횟수를 나타내는 정보; 및
- 네트워크 상의 대형 시야 콘텐츠의 배포(distribution)를 나타내는 정보를 포함하는 정보의 그룹에 속한다.
특정한 특징에 따르면, 제1 가중값이 제3 정보로부터 결정되고, 제2 정보는 제1 정보를 결정하기 위해 제1 가중값으로 가중된다.
특정한 특징에 따르면, 상기 대형 시야 콘텐츠를 소비하는 사용자의 프로파일을 나타내는 제4 정보가 획득되고, 제1 정보는 제4 정보로부터 더 결정된다.
다른 특징에 따르면, 제2 가중값이 제4 정보로부터 결정되고, 제2 정보는 제1 정보를 결정하기 위해 제2 가중값으로 가중된다.
특정한 특징에 따르면, 대형 시야 콘텐츠는 제1 정보에 따라 처리되고, 처리된 대형 시야 콘텐츠는 송신된다.
본 개시내용은 또한, 프로그램이 컴퓨터 상에서 실행되는 경우에, 상기 언급한 방법의 단계들을 실행하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
본 개시내용은 또한, 프로세서로 하여금 상기 언급한 방법을 적어도 수행하게 하는 명령어들이 저장된 (비일시적) 프로세서 판독가능 매체에 관한 것이다.
아래의 설명을 읽을 때 본 원리들 더 양호하게 이해될 것이며, 다른 특정한 특징들 및 이점들이 나타날 것이고, 설명은 첨부한 도면들을 참조한다.
- 도 1a 및 도 1b는 본 원리들의 예에 따른, 대형 시야 콘텐츠를 도시한다.
- 도 2는 본 원리들의 예들에 따른, 도 1a 및/또는 도 1b의 대형 시야 콘텐츠와 연관된 정방형(equirectangular) 매핑 함수를 도시한다.
- 도 3은 본 원리들의 예들에 따른, 도 1a 및/또는 도 1b의 대형 시야 콘텐츠와 연관된 입방체 매핑 함수의 레이아웃을 도시한다.
- 도 4는 본 원리들의 예에 따른, 도 1a 및/또는 도 1b의 대형 시야 콘텐츠의 관심 포인트(들)를 결정하는 프로세스를 도시한다.
- 도 5는 본 원리들의 예에 따른, 도 4의 프로세스로 결정된 관심 포인트(들)를 나타내는 정보의 표현을 도시한다.
- 도 6은 본 원리들의 예에 따른, 도 1a 및/또는 도 1b의 대형 시야 콘텐츠의 결정된 관심 포인트(들)를 사용자가 시청하게 유도(incite)하도록 구성되는 시스템을 도시한다.
- 도 7은 본 원리들의 예에 따른, 도 1a 및/또는 도 1b의 대형 시야 콘텐츠를 디스플레이하도록 구성되는 장치의 구조를 도시한다.
- 도 8은 본 원리들의 예에 따른, 도 4의 프로세스 및/또는 도 9의 방법을 구현하도록 구성되는 장치의 구조를 도시한다.
- 도 9는 본 원리들의 특정한 실시예에 따른, 도 1a 및/또는 도 1b의 대형 시야 콘텐츠의 관심 포인트를 나타내는 정보를 결정하는 방법을 도시한다.
이제, 주제가 도면들을 참조하여 설명되며, 도면들에서, 동일한 참조 부호들이 동일한 엘리먼트들을 전반적으로 지칭하기 위해 사용된다. 아래의 설명에서, 설명의 목적을 위해, 다수의 특정한 상세사항들이 주제의 완전한 이해를 제공하기 위해 제시된다. 그러나, 주제의 실시예들이 이들 특정한 상세사항들 없이 실시될 수 있다는 것이 명백할 수 있다.
본 원리들은 대형 시야 콘텐츠에 포함된 하나 이상의 관심 포인트들 또는 대형 시야 콘텐츠의 일부를 나타내는 제1 정보를 결정하는 방법의 특정한 실시예를 참조하여 설명될 것이다. 방법은 대형 시야 콘텐츠와 연관된 하나 이상의 시청 방향들, 즉, 대형 시야 콘텐츠를 디스플레이할 때 시청되는 대형 시야 콘텐츠의 일부(들)를 나타내는 제2 정보를 획득하는 단계를 포함한다. 방법은 대형 시야 콘텐츠에서 관심을 나타내는 제3 정보, 즉, 하나 이상의 사용자들이 대형 시야 콘텐츠를 시청했거나 시청함으로써 대형 시야 콘텐츠에서 취해진 관심을 나타내는 제3 정보를 획득하는 단계를 더 포함한다. 대형 시야 콘텐츠의 관심 포인트(들)를 나타내는 제1 정보는 획득된 제2 정보 및 획득된 제3 정보로부터 결정된다.
대형 시야 콘텐츠는 무엇보다도, 실제 장면, 예를 들어, 3차원 컴퓨터 그래픽 화상 장면(3D CGI 장면), 포인트 클라우드, 라이트필드를 나타내는 몰입형 비디오일 수 있다. 이러한 몰입형 비디오들을 설계하기 위해 다수의 용어들: 예를 들어, 가상 현실(VR), 360, 파노라마, 4π 스테라디안, 몰입형, 전방향성 또는 대형 시야가 사용될 수 있다. 대형 시야 콘텐츠는 2차원(2D) 또는 3차원(3D) 콘텐츠일 수 있다.
대형 시야의 관심 포인트를 결정하는 것은, 대형 시야 콘텐츠를 시청하는 사용자가, 관심 포인트(들)를 놓치지 않게 도울 수 있고 그리고/또는 가능하면, 대형 시야 콘텐츠를 처리함으로써, 대형 시야 콘텐츠를 시청하는 사용자가 결정된 관심 포인트(들)와 연관된 방향(들)에서 대형 시야 콘텐츠를 시청하게 유도할 수 있다.
도 1a는 본 원리들의 특정하고 비제한적인 실시예에 따른, 몰입형 콘텐츠라 또한 불리는 대형 시야 비디오 콘텐츠(10), 예를 들어, 4π 스테라디안 비디오 콘텐츠(또는 구면 비디오 콘텐츠)에 몰입된 사용자(11)를 도시한다.
도 1a는 대형 시야 콘텐츠의 3D 표현 예를 예시한다. 대형 시야 콘텐츠(10)는 예를 들어, 하나 이상의 카메라들로 포착된 실제 장면 또는 3D 엔진을 사용함으로써 합성된 가상 장면에 대응한다. 변형예에 따르면, 대형 시야 콘텐츠(10)는 가상 오브젝트(들)를 포함하는 실제 장면, 즉, 실제 및 가상 장면들의 혼합의 표현에 대응한다. 대형 시야 콘텐츠(10)는 예를 들어, 하나 이상의 카메라들로 포착된 실제 장면 또는 하나 이상의 카메라들로 각각 포착된 실제 장면의 상이한 엘리먼트들의 조합/조성에 대응한다. 도 1a에 예시되어 있는 바와 같이, 사용자(11)는 시청 방향(110)에 따라 대형 시야 콘텐츠의 일부를 시청하고 있고, 시청 방향(110)은 사용자(11)의 시선의 메인 방향에 대응한다. 시야(111)는 시청 방향(110)과 연관되고, 시야(111)는 대형 시야 콘텐츠(10)의 일부만에 대응한다. 사용자(11)의 시선 방향이 변화할 때, 사용자가 보는(그리고 시야에 대응하는) 대형 시야 콘텐츠의 일부가 따라서 변화한다. 사용자(11)는 자신의 머리(또는 자신의 몸 또는 그 일부)를 좌에서 우로(또는 반대로) 그리고/또는 위에서 아래로(또는 반대로) 이동시킴으로써 대형 시야 콘텐츠내에서 자신의 시선을 산만하게 움직일 수 있다.
도 1b는 본 원리들의 특정하고 비제한적인 실시예에 따른, 4π 스테라디안 비디오 콘텐츠의 비제한적인 예시적인 형태에서 대형 시야 콘텐츠(10)의 예를 도시한다. 도 1b는 대형 시야 콘텐츠(10)의 평면 표현에 대응한다. 대형 시야 콘텐츠(10)의 일부(12)는 예를 들어, 몰입형 콘텐츠를 시각화하도록 구성되는 몰입형 디스플레이 디바이스상에 디스플레이된 대형 시야 콘텐츠의 일부에 대응하고, 일부(12)의 크기는 예를 들어, 몰입형 디스플레이 디바이스에 의해 제공된 시야와 동일하다. 몰입형 디스플레이 디바이스상에 디스플레이된 일부를 아래의 설명에서 이미지라 칭할 수 있다.
대형 시야 콘텐츠(10)를 시각화하기 위해 사용된 몰입형 디스플레이 디바이스는 예를 들어, 헬멧의 일부로서 사용자의 머리에 착용된 HMD(Head-Mounted Display)이다. HMD는 바람직하게는, 하나 이상의 디스플레이 스크린들(예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light-Emitting Diode) 또는 LCOS(Liquid Crystal On Silicon)) 및 실제 세계의 하나, 두 개 또는 세 개의 축들(피치, 요 및/또는 롤 축)에 따라, HMD의 위치의 변화(들)를 측정하도록 구성되는 센서(들), 예를 들어, 자이로스코프들 또는 IMU(Inertial Measurement Unit)를 포함한다. HMD의 측정된 위치에 대응하는 대형 시야 콘텐츠(10)의 일부(12)는 바람직하게는, 실제 세계에서 HMD와 연관된 시점과 대형 시야 콘텐츠(10)와 연관된 가상 카메라의 시점 사이의 관계를 확립하는 특정 함수로 결정된다. HMD의 측정된 위치에 따라 HMD의 디스플레이 스크린(들)상에 디스플레이될 비디오 콘텐츠의 일부(즉, 이미지)(12)를 제어하는 것은, HMD를 착용한 사용자가 HMD의 디스플레이 스크린(들)과 연관된 시야보다 큰 대형 시야 콘텐츠로 브라우징할 수 있게 한다. 예를 들어, HMD에 의해 제공된 시야가 110°(예를 들어, 요 축에 관하여)와 동일하고, 대형 시야 콘텐츠가 180°의 콘텐츠를 제공하는 경우에, HMD를 착용한 사용자는 HMD에 의해 제공된 시야 외부의 비디오 콘텐츠의 일부들을 보기 위해 자신의 머리를 우측으로 또는 좌측으로 회전시킬 수 있다. 다른 예에 따르면, 몰입형 시스템은 CAVE(Cave Automatic Virtual Environment) 시스템이고, 여기서, 대형 시야 콘텐츠가 룸의 벽들에 투영된다. CAVE의 벽들은 예를 들어, 후면 투영 스크린들 또는 평면 패널 디스플레이들로 구성된다. 따라서, 사용자는 자신의 시선을 룸의 상이한 벽들에 브라우징할 수 있다. CAVE 시스템에는 바람직하게는, 이미지들의 비디오 처리에 의해, 사용자의 시선 방향을 결정하기 위해 사용자의 이미지들을 포착하는 카메라들이 제공된다. 변형예에 따르면, 사용자의 시선 또는 포즈는 사용자가 적외선 센서들을 착용한 추적 시스템, 예를 들어, 적외선 추적 시스템으로 결정된다. 다른 변형예에 따르면, 몰입형 시스템은 촉각 디스플레이 스크린을 갖는 태블릿 또는 스마트폰이고, 사용자는 태블릿/스마트폰을 이동시킴으로써 콘텐츠로 브라우징하고, 디스플레이된 콘텐츠는 태블릿/스마트폰의 위치의 변화에 따라 변화한다.
대형 시야 콘텐츠(10) 및 일부(12)는 또한, 실제 오브젝트들 및 가상 오브젝트들을 포함할 수 있고, 즉, 대형 시야 콘텐츠(10)에 의해 표현된 장면은 실제 및 가상 엘리먼트들을 혼합한 증강 현실 장면이다. 실제 오브젝트들은 이미지 포착 디바이스(예를 들어, 카메라)로 포착되는 실제 장면의 일부이며, 가상 오브젝트들은 컴퓨터-생성 화상(CGI)으로부터 획득될 수 있다.
대형 시야 콘텐츠(10) 및 일부(12)는 또한, 전경 오브젝트(들) 및 배경 오브젝트(들)를 포함할 수 있다. 배경 오브젝트(들)는 예를 들어, 대형 시야 콘텐츠(10)의 배경을 표현하는 제1 비디오로부터 획득될 수 있다. 전경 오브젝트(들)는 예를 들어, 전경 오브젝트들 중 하나 이상을 각각 표현하는 하나 이상의 제2 비디오들로부터 획득될 수 있고, 대형 시야 콘텐츠는 제1 비디오와 제2 비디오(들)의 합성에 의해 획득된다. 이러한 합성은 예를 들어, 평면 비디오들로부터 시차(parallax)를 갖는 대형 시야 콘텐츠를 획득하기 위해 사용될 수 있다.
다른 예에 따르면, 몰입형 디스플레이 디바이스상에 렌더링되고 디스플레이된 대형 시야 콘텐츠는 예를 들어, 몰입형 디스플레이 디바이스의 카메라로 실시간 포착되는 실제 장면의 이미지상에 몰입형 콘텐츠에 속하는 하나 이상의 가상 오브젝트들을 오버레이함으로써 획득된다. 이러한 예에 따르면, 몰입형 디스플레이 디바이스는 태블릿일 수 있고, 하나 이상의 가상 오브젝트들에 오버레이되는 실제 장면의 이미지는 태블릿의 후면 카메라로 포착된다. 후면 카메라로 포착된 이미지는 태블릿의 스크린상에 디스플레이되며, 몰입형 콘텐츠의 일부가 증강 현실(AR) 이미지를 획득하기 위해 이미지상에 오버레이되거나 이미지와 합성된다. 태블릿을 홀딩하는 사용자가 여러 시점들에 따라 실제 장면의 여러 이미지들을 포착할 수 있고, 몰입형 콘텐츠의 가상 오브젝트들은 실제 장면의 이들 이미지들의 시점들에 따라 이미지들에 추가된다.
추가의 예에 따르면, 몰입형 디스플레이 디바이스상에 렌더링되고 디스플레이된 대형 시야 콘텐츠는 대형 시야 가상 콘텐츠(대형 시야 CGI 콘텐츠로 또한 칭함)를 카메라로 포착된 실제 장면의 이미지들과 혼합함으로써 획득된다. 실제 장면의 이미지들을 포착하기 위해 사용된 카메라의 포즈는 예를 들어, 증강 현실(또는 증강 가상) 대형 시야 콘텐츠를 생성하기 위해 실제 장면의 이미지에 대응하는 장면으로부터 대형 시야 가상 콘텐츠의 일부를 선택하기 위해, 가상 카메라의 대응하는 포즈를 결정하기 위해 사용된다.
상기 언급한 예들 중 일부에서, 몰입형 디스플레이 디바이스상에 렌더링되고 그리고/또는 디스플레이된 대형 시야는 몰입형 콘텐츠의 일부(들)를 표준 카메라로 포착된 하나 이상의 이미지들, 즉, 비몰입형 이미지들과 혼합함으로써 획득된다.
물론, 대형 시야 콘텐츠(10)는 4π 스테라디안 비디오 콘텐츠에 제한되지 않고, 시야(12)보다 큰 크기를 갖는 임의의 비디오 콘텐츠(또는 시청각 콘텐츠)로 확장한다. 대형 시야 콘텐츠는 예를 들어, 2π, 2.5π, 3π 스테라디안 콘텐츠 등일 수 있다.
연속 스틸 이미지들의 시퀀스가 비디오 또는 비디오 콘텐츠로 이해되고, 시퀀스는 하나 이상의 스틸 이미지(들)를 포함한다. 그 결과, 대형 시야 콘텐츠는 하나 이상의 연속 이미지(들)를 포함한다.
몰입형 비디오는 "레귤러(regular) 비디오와 같은 픽셀들의 2차원 어레이(즉, 컬러 정보의 엘리먼트)인 적어도 하나의 직사각형 이미지상에 인코딩된 비디오이다. 렌더링되기 위해, 이미지는 먼저, 매핑 표면이라 또한 불리는 볼록한 볼륨(예를 들어, 구, 입방체, 피라미드)의 내부면상에 매핑되고, 다음으로, 이러한 볼륨의 일부가 가상 카메라에 의해 캡처된다. 가상 카메라에 의해 캡처된 이미지들은 몰입형 디스플레이 디바이스(예를 들어, HMD)의 스크린상에 렌더링된다. 입체 비디오가 디바이스의 특징들에 따라 2개의 가상 카메라들에 의해 캡처되도록 조합되는 2개의 매핑 표면들상에 투영되는 하나 또는 2개의 직사각형 이미지들상에 인코딩된다. 픽셀들이 이미지에서 매핑 함수에 따라 인코딩된다. 매핑 함수는 매핑 표면에 의존한다. 동일한 매핑 표면에 대해, 여러 매핑 함수들이 가능할 수 있다. 예를 들어, 입방체의 면들은 이미지 표면 내의 상이한 레이아웃들에 따라 구성될 수 있다. 구가 예를 들어, 정방형 투영법 또는 구심(gnomonic) 투영법에 따라 매핑될 수 있다.
도 2 및 도 3은 이러한 매핑 함수들의 비제한적인 예들을 제공한다.
도 2는 정방형 매핑 함수의 예를 도시한다. 몰입형 비디오의 이미지(들)의 시퀀스는 구체 매핑 표면(22)상에 매핑되려는 직사각형 이미지(21)상에 인코딩된다. 매핑 함수(23)는 이미지(21)의 각각의 픽셀과 매핑 표면(22)상의 포인트 사이의 매핑을 확립한다(반대의 경우도 동일함). 도 2에서, 매핑 함수(23)는 (정거원통도법이라 또한 불리는) 정방형 투영법에 기초한다. 이미지(21)상의 이미지는 왜곡된다. 거리들이 적도에서 준수되고 극들에서 신장된다. 직선들이 더 이상 곧지 않으며, 시각들이 왜곡된다. 변형예들에서, 매핑 함수(23)는 예를 들어, 등거리 원추 투영법에 기초한다. 헤드-마운트 디스플레이 디바이스들(HMD) 또는 태블릿들 또는 스마트폰들에 관하여, 스크린(24)이 직사각형이면, 매핑 표면(22)의 일부가 선택된다. 투영 함수(25)는 구의 중심에 위치한 카메라가 보는 바와 같은 매핑 표면(22)의 일부를 선택하는데 있고, 카메라는 스크린(24)과 직접 피팅하는 이미지를 생성하기 위해 시야 및 해상도와 관련하여 구성된다. 선택된 시야는 몰입형 디스플레이 디바이스의 특징들에 의존한다. 예를 들어, HMD에 대해, 시야의 각도는 120도 주위인 인간의 입체 시야에 근접한다. 카메라의 조준 방향은 사용자가 바라보는 방향에 대응하고, 몰입형 비디오 렌더링 디바이스의 가상 카메라 제어기가 카메라의 조준 방향을 수정하기 위해 사용된다. 변형예에서, 도 2의 비디오는 입체이다. 이러한 변형예에서, 이미지(21)는 2개의 별개의 매핑 표면들(22)상에 매핑되는 2개의 별개의 이미지들을 포함한다. 매핑 표면들은 입체 효과를 렌더링하기 위해 스크린의 타입에 따라 조합된다.
도 3은 입방체 매핑 함수의 예시적인 레이아웃을 도시한다. 이미지들의 시퀀스는 입방체 매핑 표면(32)상에 매핑되려는 직사각형(또는 정사각형) 이미지(31)상에 인코딩된다. 매핑 함수(33)는 이미지(31)에서 정사각형들과 입방체(32)의 면들 사이의 대응점을 확립한다. 역으로, 매핑 함수는 입방체(32)의 면들이 이미지(31)의 표면내에서 어떻게 구성되는지를 결정한다. 각각의 면상의 이미지들은 왜곡되지 않는다. 그러나, 이미지(31)의 전체 이미지에서, 라인들이 구분적으로 직선이고, 시각들이 갑자기 굽는다. 이미지는 (디폴트 또는 랜덤 컬러 정보, 도 3의 예에서는 화이트로 채워진) 빈 정사각형들을 포함할 수 있다. 투영 함수는 도 2의 투영 함수로서 작용한다. 카메라는 입방체(32)의 중심에 배치되고 몰입형 렌더링 디바이스의 스크린에 적합한 이미지를 캡처한다.
변형예들에서, 예를 들어, 비디오 이미지를 원기둥 또는 피라미드에 매핑하는 다른 매핑 표면들 및/또는 매핑 함수들이 사용된다.
도 4는 본 원리들의 비제한적인 실시예에 따른, 대형 시야 콘텐츠(10)에 포함되는 시점(들)을 나타내는 제1 정보를 결정하는 프로세스, 및 시점(들)을 결정하도록 구성되는 시스템(4)을 도시한다.
시스템(4)은 몰입형 디스플레이 디바이스들(41, 42, 43)로부터 획득된 정보를 처리하도록 구성되는 장치(40)와 연결된 몰입형 디스플레이 디바이스들(41, 42, 43)을 포함한다. 도 4의 비제한적인 예에 따르면, 몰입형 디스플레이 디바이스들(41 내지 43)은 제1 HMD(41)상에 디스플레이된 대형 시야 콘텐츠(10)에서 시청하는 제1 사용자가 착용한 제1 HMD(41), 제2 HMD(42)상에 디스플레이된 동일한 대형 시야 콘텐츠(10)에서 시청하는 제2 사용자가 착용한 제2 HMD(42), 및 태블릿(43)상에 디스플레이된 동일한 대형 시야 콘텐츠(10)에서 시청하는 제3 사용자가 홀딩하는 태블릿(43)을 포함한다. 제1 사용자, 제2 사용자, 및 제3 사용자는 상이한 위치들, 예를 들어, 동일한 도시 또는 하나 또는 상이한 국가들에서 상이한 도시들의 상이한 하우스들에 위치될 수 있다. 변형예에 따르면, 제1, 제2 및 제3 사용자들 중 2개 이상이 동일한 위치, 예를 들어, 동일한 하우스에 위치된다. 몰입형 디스플레이 디바이스(41 내지 43)는 대형 시야 콘텐츠(10)의 시청 방향들을 나타내는 제1 정보를 하나 이상의 통신 네트워크들을 통해 장치에 송신하도록 구성될 수 있고, 예를 들어, 각각의 몰입형 디스플레이 디바이스(41 내지 43)는 (예를 들어, 게이트웨이를 통해) 인터넷에 연결된 LAN(Local Area Network)에 연결되고, 장치(40)는 인터넷에 연결된다. 제1, 제2 및 제3 사용자들은(HMD에 대해) 머리 또는 (태블릿에 대해) 팔들을 회전시킴으로써 대형 시야 콘텐츠의 상이한 부분들을 시청할 수 있다. 그 결과, 제1, 제2 및 제3 사용자에 의한 대형 시야의 시청된 부분들과 연관된 시청 방향이 상이할 수 있다. 변형예에 따르면, 시청 방향들 중 일부는 제1, 제2 및/또는 제3 사용자들에 대해 동일할 수 있다. 예를 들어, 제1 사용자 및 제2 사용자 및/또는 제3 사용자는 주어진 시간 및/또는 상이한 시간들에 대형 시야 콘텐츠(10)의 동일한 부분을 시청할 수 있고, 장치(40)에 송신된 연관된 시청 방향들이 동일하다. 몰입형 디스플레이 장치들의 수는 세 개로 제한되는 것이 아니라, 임의의 수, 예를 들어, 1, 2, 4, 10, 100, 1000, 10000, 100000개 이상의 몰입형 디스플레이 디바이스들로 확장한다. 몰입형 디스플레이 디바이스의 타입은 HMD 또는 태블릿에 제한되는 것이 아니라, 대형 시야 콘텐츠를 시각화하도록 구성되는 임의의 타입의 몰입형 디스플레이 디바이스, 예를 들어, 스마트폰, 마우스 및 스크린과 연관된 컴퓨터, 씨-쓰루 안경 등으로 확장한다.
장치(40)는 하나 이상의 몰입형 디스플레이 디바이스들(41 내지 43)로부터, 대형 시청 콘텐츠의 시청 방향들을 나타내는 제2 정보, 즉, 몰입형 디스플레이 디바이스(41 내지 43)를 착용하고/홀딩하고/사용하는 사용자가 시청하는 대형 시야 콘텐츠(10)의 일부들(예를 들어, 픽셀들 또는 픽셀들의 블록들)을 나타내는 제2 정보를 획득한다. 제2 정보는 예를 들어, 몰입형 디스플레이 디바이스에 의해 송신될 수 있고, 몰입형 디스플레이 디바이스(41 내지 43)와 장치(40)를 연결하는 하나 이상의 통신 네트워크들을 통해 장치에 의해 수신될 수 있다. 변형예에 따르면, 제2 정보는 저장 디바이스, 예를 들어, 장치(40) 또는 원격 저장 설비(예를 들어, 클라우드, 서버)와 연관된 메모리로부터 획득된다. 이러한 변형예에 따르면, 제2 정보는 기억/저장 목적을 위해 몰입형 디스플레이 디바이스(41 내지 43)에 의해 (직접적으로 또는 몰입형 디스플레이 디바이스(41 내지 43)와 연관된 제어기 디바이스(들)를 통해) 저장 디바이스에 송신된다.
제2 정보는 상이한 형태들을 취할 수 있으며 상이한 신택스들 또는 구조들로 표현될 수 있다. 예를 들어, 사용자가 대형 시야 콘텐츠의 일부를 시청하는 방향은 구면 좌표들, 즉, (1로 설정된 후 무시될 수 있는) 라디얼 거리('r')에 대한 값 및 방위각에 대한 'θ' 및 경사에 대한 'φ'의 2개의 각도 값들('θ' 및 'φ')로 표현될 수 있다. 다른 예에 따르면, 사용자가 대형 시야 콘텐츠를 시청하는 방향은, 픽셀 좌표들 ('x' 및 'y'), 즉, 픽셀이 속하는 컬럼의 수에 대한 'x' 및 픽셀이 속하는 로우의 수에 대한 'y'로 표현될 수 있다. 실제로, 도 1a, 도 1b, 도 2 및 도 3에 관하여 설명한 바와 같이, 대형 시야 콘텐츠는 직사각형 이미지(즉, 컬럼들 및 로우들로 배열된 픽셀들의 매트릭스)에서 표현되거나 인코딩될 수 있거나 예를 들어, 구면 또는 원통 표면상에 매핑될 수 있다.
대형 시야 콘텐츠를 시청하는 사용자는 간결하게 동일 방향에 따라 또는 특정 시간량, 예를 들어, 수 밀리초 또는 수 초 동안 대형 시야 콘텐츠를 시청할 수 있다. 대형 시야 콘텐츠가 비디오(즉, 이미지들 또는 프레임들의 시퀀스)에 대응할 때, 대응 시야 콘텐츠는 동일한 시청 방향에 따라 복수의 횟수 시청될 수 있다(예를 들어, 비디오의 여러 이미지들에 대해, 시청 방향이 만나는 횟수는 사용자가 이러한 동일한 시청 방향에 따라 시청한 이미지들/프레임들의 수에 대응한다). 변형예에 따르면, 제2 정보는 동일한 시청 방향이 검출되거나 측정되는 횟수 및/또는 동일한 시청 방향이 검출되거나 측정되는 시간을 포함할 수 있다. 이러한 변형예에 따르면, 제2 정보는 시청 방향(들)과 연관된 좌표들 및 사용자가 각각의 시청 방향에 따라 콘텐츠를 시청하는 횟수(또는 각각의 시청 방향에 따라 콘텐츠를 시청하기 위해 소모한 시간)를 포함한다.
제2 정보는 예를 들어, 도 5에 예시된 바와 같은, 히트 맵의 형태를 취할 수 있다. 히트 맵은 예를 들어, 대형 시야 콘텐츠와 동일한 수의 픽셀들의 컬럼들 및 로우들을 갖는 이미지(즉, 픽셀들의 매트릭스)에 대응할 수 있다. 하나의 히트 맵이 대형 시야 콘텐츠의 하나의 이미지/프레임과 연관될 수 있다. 변형예에 따르면, 하나의 히트 맵은 대형 시야 콘텐츠의 복수의 이미지들/프레임들, 즉, 임시 시점에서 복수의 연속 이미지들(즉, 이미지들의 시퀀스)과 연관될 수 있다. 예를 들어, 하나의 히트 맵은 대형 시야 콘텐츠의 각각의 장면(컷 또는 시퀀스라 또한 칭함)과 연관될 수 있다. 다른 변형예에 따르면, 하나의 히트 맵은 전체 콘텐츠에 대해 생성될 수 있고, 즉, 전체 대형 시야 콘텐츠와 연관될 수 있다. 컬러 정보는 히트 맵의 픽셀들과 연관될 수 있고, 각각의 픽셀은 하나의 상이한 시청 방향에 대응한다. 주어진 픽셀과 연관된 컬러는 주어진 픽셀과 연관된 시청 방향에 따라 대형 시야를 시청하기 위해 소모한 시간에 따라(또는 주어진 픽셀과 연관된 시청 방향에 따라 콘텐츠가 시청되는 횟수/이미지들에 따라) 결정될 수 있다. 예를 들어, 히트 맵은 그레이스케일 이미지일 수 있고, 그레이스케일 값은 각각의 픽셀과 연관되고, 예를 들어, 값은 보이지 않는 픽셀들에 대한 1(즉, 화이트 컬러)(즉, 대형 시야 콘텐츠를 시청할 때 만나지 않는 시청 방향들)과 가장 잘 보이는 픽셀들에 대한 0(즉, 블랙 컬러)(즉, 대형 시야 콘텐츠를 시청할 때 가장 잘 만나는 시청 방향들) 사이에 포함된다. 히트 맵의 픽셀들과 연관된 값들은 그레이스케일 값들을 인코딩하기 위해 사용된 비트들의 수에 따라, 0과 255 또는 0과 1024로 구성될 수 있다. 다른 표현들, 예를 들어, 히스토그램들, 프랙털 맵들 또는 트리 맵들이 제2 정보를 표현하기 위해 사용될 수 있다.
시청 방향을 나타내는 제2 정보는 예를 들어, 몰입형 디스플레이 디바이스(41 내지 43)에 의해 생성된다. 예를 들어, 시청 방향을 나타내는 파라미터들은 자이로스코프들과 같은 관성 센서들 또는 몰입형 디스플레이 디바이스의 관성 측정 유닛(IMU)으로부터 획득될 수 있다. 변형예에 따르면, 시청 방향을 나타내는 제2 정보는 외부 추적 시스템, 예를 들어, 몰입형 디스플레이 디바이스에 또는 몰입형 디스플레이 디바이스상에 내장된 적외선 이미터들을 추적하는 외부 적외선 카메라를 통해 획득될 수 있다. 이러한 변형예에 따르면, 외부 추적 시스템은 사용자의 기준 프레임 내에서 몰입형 디스플레이 디바이스의 포지션(위치)을 획득할 수 있게 한다. 그 후, 제2 정보는 사용자의 기준 프레임으로부터 대형 시야의 기준 프레임으로 통과를 가능하게 하는 전달 함수를 통해 획득될 수 있다. 다른 변형예에 따르면, 사용자의 기준 프레임 내의 몰입형 디스플레이 디바이스의 포지션(위치)을 나타내는 정보는 컴퓨터 비전 기술들을 사용함으로써, 즉, 몰입형 디스플레이 디바이스를 착용/홀딩하는 사용자의 환경의 이미지를 분석함으로써 획득될 수 있다. 이러한 변형예에 따르면, 사용자의 시선 방향은 시청 방향을 획득하기 위해 검출될 수 있다. 사용자의 시선은 지오메트릭 모델 기반 알고리즘들 또는 외형-기반 알고리즘들을 구현함으로써 결정될 수 있다. 지오메트릭 모델 기반 알고리즘들은 예를 들어, E. D. Guestrin and M. Eizenman, "General theory of remote gaze estimation using the pupil center and corneal reflections," IEEE Trans. Biomed. Eng., vol. 53, no. 6, pp. 1124-1133, Jun. 2006에서 설명한 바와 같이 시선을 추정하기 위해 눈의 3D 지오메트릭 모델들을 사용한다. 시선 포인트가 3D 시선 방향(즉, 시각 축)과 스크린 평면 사이의 교차점으로서 결정된다. 대부분의 모델-기반 알고리즘들은 눈들을 조명하기 위한 추가의 광원들(즉, 적외선 광(IR)) 및 눈 반짝임들을 캡처하기 위한 IR 카메라들을 요구하는 각막 반사 기술을 사용한다. 기본 아이디어는, 동공 중심과 반짝임, 즉, 반사로 인한 눈에서 가장 밝은 광 스폿 사이의 상대적 포지션으로부터 시선을 추정하는 것이다. 반대로, 외형-기반 알고리즘들은 눈들의 피처들과 스크린상의 시선 포지션들 사이의 2D 매핑 문제로서 시선 추정을 고려한다. 매핑 함수는 예를 들어, 멀티-레이어 신경망 또는 회귀 모델을 트레이닝함으로써, 또는 단순히, (2D 공간에서) 시선 포인트들과 치수 감소를 적용한 이후의 눈 외형 사이에서 선형 보간에 의해 발견될 수 있다.
장치(40)는 하나 이상의 몰입형 디스플레이 디바이스들(41 내지 43)로부터, 또는 원격 저장 디바이스로부터, 대형 시야 콘텐츠에서 관심을 나타내는 제3 정보를 또한 획득한다. 제3 정보는 아래의 정보 중 어느 하나 또는 아래의 정보 중 2개 이상의 조합에 대응할 수 있다:
- 상기 대형 시야 콘텐츠를 소비하는데 소모한 시간, 예를 들어, 대형 시각 콘텐츠의 시각화의 지속기간 또는 사용자가 시청한 콘텐츠의 퍼센티지를 나타내는 정보; 이러한 정보는 대형 시야 콘텐츠에서 대형 시야 콘텐츠를 시청하는 사용자의 관심의 표시를 제한다. 콘텐츠를 시각화하거나 전체 콘텐츠(한번 또는 여러 번)를 시각화하는 장시간을 소모한 사용자가 콘텐츠에 매우 관심이 있다는 것이 고려될 수 있다. 반대로, 콘텐츠의 작은 부분을 시청하거나 콘텐츠를 시청하는 몇 초만을 소모하는 사용자는 콘텐츠에 매우 관심이 없다.
- 상기 대형 시야 콘텐츠와 연관된 레이트를 나타내는 정보, 예를 들어, 대형 시야 콘텐츠와 연관된 '좋아요(like)' 또는 '싫어요(dislike)'의 수.
- 대형 시야 콘텐츠와 연관된 코멘트의 의미 분석의 결과를 나타내는 정보. 대형 시야 콘텐츠에 관하여 하나 이상의 사용자에 의해 기입된 코멘트들은 콘텐츠에서 사용자들의 관심, 예를 들어, 코멘트들을 갖는 사용자들이 대형 시야 콘텐츠에 대해 긍정 또는 부정 의견을 갖는지를 결정하기 위해 의미적으로 분석될 수 있고;
- 상기 대형 시야 콘텐츠가 렌더링된 횟수를 나타내는 정보. 대형 시야 콘텐츠가 시각화되는 횟수가 높을수록, 콘텐츠에서 사용자의 관심이 높다는 것이 고려도리 수 있고; 그리고
- 네트워크 상의 대형 시야 콘텐츠의 배포를 나타내는 정보, 예를 들어, 대형 시야 콘텐츠 또는 그 일부가 예를 들어, Facebook® 또는 Twitter®와 같은 소셜 네트워크 플랫폼들 상에서 공유되거나 배포된 횟수.
제3 정보는 예를 들어, 제2 정보를 가중하여 대형 시야 콘텐츠(10)의 관심 포인트(들)에 대한 제1 정보를 획득하기 위해 사용될 수 있다. 이러한 목적에 달성하기 위해 그리고 제한하지 않는 예에 따르면, 제1 가중치가 대형 시야 콘텐츠를 시청하거나 시청한 사용자(들)의 경험에 따라 히트 맵(즉, 수집된 시청 방향들)의 중요도를 수정하기 위해 히트 맵의 각각의 픽셀과 연관될 수 있다.
서브-가중치가 아래에 리스트된 각각의 정보로부터 획득되고, 예를 들어:
- 대형 시야 콘텐츠를 소비하는 데 소모된 시간을 나타내는 정보: 지속기간('d')에 관한 서브-가중치가 예를 들어, 0과 1 사이에 포함되고, 시청된 콘텐츠의 0%에 대해 0 내지 시청된 콘텐츠의 100%에 대해 1, 대형 시야 콘텐츠에 할당된 글로벌 서브-가중치('d')는 모든 서브-가중치들의 평균에 대응하고;
- 상기 대형 시야 콘텐츠와 연관된 레이트를 나타내는 정보: 레이트('r')에 관한 서브-가중치가 예를 들어, 0.8과 1.2 사이에 포함되고, 싫어요에 대해 0.8, 좋아요에 대해 1.2 및 레이트 없음에 대해 1, 대형 시야 콘텐츠에 할당된 글로벌 서브-가중치('r')는 모든 서브-가중치들의 평균에 대응하고;
- 상기 대형 시야 콘텐츠와 연관된 코멘트의 의미 분석의 결과를 나타내는 정보: 코멘트('c')에 관한 서브-가중치가 예를 들어, 0.8과 1.2 사이에 포함되고, 부정 코멘트에 대해 0.8, 긍정 코멘트에 대해 1.2 및 코멘트 없음 또는 긍정 또는 부정으로 분류되지 않은 코멘트에 대해 1, 대형 시야 콘텐츠에 할당된 글로벌 서브-가중치('c')는 모든 서브-가중치들의 평균에 대응하고;
- 상기 대형 시야 콘텐츠가 렌더링된 횟수를 나타내는 정보: 예를 들어, Nviews를 갖는 아래의 수학식: v = 1+Nviews/l으로 획득된, 1과 2 사이에 포함된 뷰들('v')의 수에 관한 서브-가중치는 콘텐츠가 주어진 사용자에 의해 시청된 횟수에 대응하고, l은 결정된 제한 횟수, 예를 들어, 100이고; 대형 시야 콘텐츠에 할당된 글로벌 서브-가중치('v')는 상이한 사용자들로부터 획득된 모든 서브-가중치들('v')의 평균에 대응하고;
- 네트워크 상의 대형 시야 콘텐츠의 배포를 나타내는 정보: 예를 들어, Ndistribution를 갖는 아래의 수학식: v = s = 1+Ndistribution/l으로 획득된, 1과 2 사이에 포함된 배포('s')에 관한 서브-가중치는 콘텐츠가 주어진 사용자에 의해 배포되거나 공유된 횟수에 대응하고, l은 결정된 제한 횟수, 예를 들어, 100이고; 대형 시야 콘텐츠에 할당된 글로벌 서브-가중치('s')는 상이한 사용자들로부터 획득된 모든 서브-가중치들('s')의 평균에 대응한다.
제1 정보를 획득하기 위해 제2 정보에 적용되는 제1 가중치는 고려되는 서브-가중치들에 의존한다. 하나의 서브-가중치만이 고려될 수 있거나 여러 또는 모든 서브-가중치들의 조합이 고려될 수 있다. 모든 정보가 제2 정보를 가중하기 위해 사용될 때, 즉, 모든 서브-가중치들이 제1 가중치를 획득하기 위해 사용될 때, 제1 가중치('W1')는 아래의 수학식으로부터 획득된다:
Figure pat00001
여기서 5.76은 (d×l×c×v×s)의 최대값에 대응한다.
물론, 'W1'을 획득하기 위한 수학식이 제1 가중치를 획득하기 위해 사용되거나 고려된 서브-가중치들에 따라 변한다.
그 후, 히트 맵의 값(Pi,j)(i 및 j는 픽셀(P)이 속하는 로우 및 컬럼에 각각 대응함)을 갖는 각각의 픽셀에 대한 가중(W)이 아래의 수학식으로 획득될 수 있다:
Figure pat00002
장치(40)는 예를 들어, 각각의 몰입형 디스플레이 디바이스(41 내지 43)로부터 제2 정보 및 제3 정보를 획득하고, 관심 포인트들을 나타내는 제1 정보를 결정한다. 예를 들어, 장치(40)는 각각의 몰입형 디스플레이 디바이스에 대한 히트 맵을 생성하고, 대응하는 제1 가중치들로 히트 맵들을 가중하고(즉, 고려된 몰입형 디스플레이 디바이스로부터 수신된 제3 정보로부터 획득된 제1 가중치는 고려된 몰입형 디스플레이 디바이스로부터 획득된 히트 맵에 대응함), 예를 들어, 모든 가중된 히트 맵들의 조합에 대응하는 최종 히트 맵을 생성하고, 즉, 최종 히트 맵은 예를 들어, 모든 획득된 가중 히트 맵들의 평균에 대응한다. 이러한 예가 도 5에 예시되어 있다.
도 5는 대형 시야 콘텐츠(10)의 관심 포인트를 나타내는 제1 정보에 대한 표현의 예를 도시한다. 제1 정보는 대형 시야 콘텐츠의 직사각형 표현과 동일한 크기(동일한 픽셀들 수)를 갖는 그레이스케일 이미지에 대응하는 히트 맵(53)으로 표현된다. 히트 맵(53)은 예를 들어, 대형 시야 콘텐츠의 프레임(즉, 주어진 순간에 대형 시야 콘텐츠의 이미지) 또는 연속 프레임들, 예를 들어, 10, 20 또는 100개의 프레임들의 그룹과 연관된다. 히트 맵(53)은 제1 히트 맵(51) 및 제2 히트 맵(52)으로부터 획득된다. 제1 히트 맵(51)은 예를 들어, 제1 몰입형 디스플레이 디바이스(41)로부터 획득된 제1 정보로부터 생성된다. 히트 맵(51)의 가장 어두운 픽셀들은 제1 몰입형 디스플레이 디바이스(41)를 사용하는 사용자에 의해 가장 잘 보이는 대형 시야 콘텐츠의 픽셀들 및 덜 보이는 화이트 픽셀들 또는 전혀 보이지 않는 픽셀들을 표현한다. 제2 히트 맵(52)은 예를 들어, 제1 몰입형 디스플레이 디바이스(42)로부터 획득된 제1 정보로부터 생성된다. 히트 맵(52)의 가장 어두운 픽셀들은 제1 몰입형 디스플레이 디바이스(42)를 사용하는 사용자에 의해 가장 잘 보이는 대형 시야 콘텐츠의 픽셀들 및 덜 보이는 화이트 픽셀들 또는 전혀 보이지 않는 픽셀들을 표현한다. 히트 맵(53)은 제1 및 제2 히트 맵들(51, 52)의 조합으로부터 생성된다. 히트 맵(53)은 예를 들어, 가중된 제1 히트 맵과 가중된 제2 히트 맵의 평균에 대응한다. 가중된 제1 히트 맵은 제1 몰입형 디스플레이 디바이스(41)로부터 획득된 제3 정보로부터 획득된 제1 가중치를 적용한 제1 히트 맵(51)에 대응한다. 가중된 제2 히트 맵은 도 4에 관하여 설명한 바와 같이, 제2 몰입형 디스플레이 디바이스(42)로부터 획득된 제3 정보로부터 획득된 제1 가중치를 적용한 제2 히트 맵(51)에 대응한다. 대형 시야의 관심 포인트 또는 관심 영역은 가장 잘 보이는 픽셀들, 즉, 가장 어두운 픽셀들인 것으로서, (도 5에 예시된 실시예에 따른 제1 정보에 대응하는) 히트 맵(53)으로부터 결정된다. 히트 맵(53)이 히트 맵(53)과 동일한 수의 픽셀들(동일한 수의 로우들 및 컬럼들)을 갖는 대형 시야 콘텐츠의 하나 이상의 이미지와 연관되기 때문에, 하나 이상의 이미지들에 포함된 관심 포인트는 가장 어두운 픽셀들이 연관된 히트 맵(53)상에 나타나는 곳에 위치된다.
제1 및 제2 히트 맵들(51 및 52)은 사용자 측에서 제2 정보가 획득되는 장치(40) 또는 각각의 몰입형 디스플레이 디바이스(41 및 42)(또는 몰입형 디스플레이 디바이스와 연관된 제어기)에 의해 생성될 수 있다.
임의의 변형예에 따르면, 제2 가중치는 관심 포인트(들)를 나타내는 제1 정보를 획득하기 위해 제1 가중치에 부가하여 제2 정보(예를 들어, 히트 맵)에 적용될 수 있다. 제2 가중치는 제2 정보를 획득하기 위해 사용된 몰입형 디스플레이 디바이스로 대형 시야 콘텐츠(10)를 소비하는 사용자의 프로파일을 나타내는 제4 정보로부터 획득될 수 있다. 상기와 상이하게, 제2 가중치가 각각의 몰입형 디스플레이 디바이스와 연관되거나 각각의 몰입형 디스플레이 디바이스로부터 획득된 제2 정보(히트 맵)를 더 가중하기 위해 각각의 몰입형 디스플레이 디바이스에 대해 획득될 수 있다. 제4 정보는 예를 들어, 사용자의 경험의 레벨에 대응하고, 즉, 사용자가 대형 시야 콘텐츠에 대해 초보자 또는 전문가인지의 정보를 제공한다. 제4 정보는 예를 들어, 사용자에 의해 소모된 콘텐츠의 타입을 분석함으로써 획득될 수 있고, 사용자는 소모된 대형 시야 콘텐츠의 총 수가 결정된 수(예를 들어, 100, 1000 이상)를 초과할 때 전문가로서 고려된다. 서브-가중치('p')는 예를 들어, 1과 2 사이에 포함되어 획득될 수 있다. 제2 가중치가 고려될 때, 서브-가중치('p')는 다른 서브-가중치들과 동일한 방식으로 수학식 1에 추가될 수 있고, 수학식 1의 분모의 값이 그에 따라 적응된다.
추가의 임의의 변형예에 따르면, 제3 가중치는 관심 포인트(들)를 나타내는 제1 정보를 획득하기 위해 제1 가중치에 부가하여(그리고 임의로 제2 가중치에 부가하여) 제2 정보(예를 들어, 히트 맵)에 적용될 수 있다. 제3 가중치는 제2 정보를 획득하기 위해 사용된 몰입형 디스플레이 디바이스로 대형 시야 콘텐츠(10)를 소비하는 사용자의 행동을 나타내는 제5 정보로부터 획득될 수 있다. 상기와 상이하게, 제3 가중치가 각각의 몰입형 디스플레이 디바이스와 연관되거나 각각의 몰입형 디스플레이 디바이스로부터 획득된 제2 정보(히트 맵)를 더 가중하기 위해 각각의 몰입형 디스플레이 디바이스에 대해 획득될 수 있다. 제5 정보는 예를 들어, 대형 시야 콘텐츠를 시청할 때 사용자의 행동을 분석하여, 즉, 예를 들어, 대형 시야 디스플레이를 디스플레이하는 동안 몰입형 디스플레이 디바이스가 이동하는지 여부를 결정함으로써 획득될 수 있다. 예를 들어, 사용자가 콘텐츠를 시청할 때 전혀 이동하지 않거나 너무 빠르게 이동하면(즉, 몰입형 디스플레이 디바이스의 변위 속도가 결정된 속도 제한보다 큼), 사용자가 콘텐츠를 시청하고 있지 않은 것으로 고려될 수 있다. 예를 들어, 콘텐츠를 시청하고 있지 않을 때 0 및 높은 집중도로 콘텐츠를 시청할 때 1인, 0과 1 사이에 포함되는 서브-가중치('b')가 획득될 수 있다. 제3 가중치가 고려될 때, 서브-가중치('b')는 다른 서브-가중치들과 동일한 방식으로 수학식 1에 추가될 수 있고, 수학식 1의 분모의 값은 그에 따라 적응된다.
장치(40)는 제1 정보에 따라, 즉, 결정되는 시점(들)에 따라 대형 시야 콘텐츠를 처리하도록 구성된다. 장치(40)는 또한, 처리된 대형 시야 콘텐츠를 하나 이상의 몰입형 디스플레이 디바이스들(44)에 송신하도록 구성된다. 처리된 대형 시야 콘텐츠는 또한, 송신된 제2 및 제3 정보를 갖는 몰입형 디스플레이 디바이스들(41 내지 43)에 송신될 수 있다. 대형 시야 콘텐츠(10)의 처리는 아래의 동작들 또는 아래의 동작들의 조합을 포함한다:
- 메타데이터를 대형 시야 콘텐츠와 연관시키는 것 - 메타데이터는 하나 이상의 결정된 관심 포인트들의 위치에 대한 정보를 포함함. 메타데이터는 관심 포인트들을 놓치지 않기 위해 몰입형 디스플레이 디바이스로 대형 시야 콘텐츠를 시청하는 사용자를 가이드하기 위해 대형 시야 콘텐츠를 렌더링할 때 몰입형 디스플레이 디바이스에 의해 사용될 수 있다.
- 예를 들어, 대형 시야 콘텐츠를 디스플레이하는 것이 결정된 관심 포인트를 포함하는 대형 시야 콘텐츠의 일부로 시작하도록 결정된 관심 포인트(또는 2개보다 많은 관심 포인트들이 결정될 때의 관심 포인트들 중 하나, 예를 들어, 수집된 제2 및 제3 정보로부터 가장 잘 보이는 것으로 결정된 관심 포인트)에 중심을 두고 그리고/또는 관심 포인트를 포함하지 않는 대형 시야 콘텐츠의 영역을 블러링하고 그리고/또는 관심 포인트(들)가 위치되는 곳을 표시하기 위채 콘텐츠(예를 들어, 오디오 또는 그래픽 정보)를 추가함으로써 대형 시야 콘텐츠를 수정하는 것.
대형 시야 콘텐츠에 적용된 처리에 따르면, 몰입형 디스플레이 디바이스(44)는 대형 시야 콘텐츠를 더 적응시킬 수 있거나 적응시키지 않을 수 있다. 예를 들어, 대형 시야 콘텐츠가 이미 수정되었으면(즉, 상기에서 설명한 바와 같이 중심에 두거나 블러링되었으면), 몰입형 디스플레이 디바이스(44)는 대형 시야 콘텐츠를 더 처리할 필요가 없다. 장치(40)에 의해 이미 처리된 대형 시야 콘텐츠를 디스플레이하는 것은 사용자가 관심 포인트(들)를 충분히 보게 한다. 메타데이터가 대형 시야 콘텐츠 내의 관심 포인트(들)의 위치를 표시할 때, 몰입형 디스플레이 디바이스(또는 몰입형 디스플레이 디바이스와 연관된 제어기)는 관심 포인트(들)를 포함하는 대형 시야 콘텐츠의 영역(들)을 사용자가 시청하게 유도하기 위해 대형 시야 콘텐츠를 더 처리할 수 있다. 도 6은 대형 시야 콘텐츠의 이러한 추가의 처리의 예를 예시한다.
도 6은 본 원리들의 특정하고 비제한적인 실시예에 따른, 대형 시야 콘텐츠의 결정된 관심 포인트(들)를 사용자가 시청하게 유도하도록 구성되는 시스템을 도시한다. 프로세스는 예를 들어, 대형 시야 콘텐츠를 수신하는 몰입형 디스플레이 디바이스(44)(또는 몰입형 디스플레이 디바이스와 연관된 제어기)에 의해 구현된다.
몰입형 디스플레이 디바이스(44)는 관심 포인트들을 나타내는 데이터(61)와 대형 시야 콘텐츠(10)를 나타내는 데이터(예를 들어, 대형 시야 콘텐츠의 각각의 픽셀에 대한 레드, 그린 및 블루(RGB) 데이터), 예를 들어, 대형 시야 콘텐츠(10) 내의 관심 포인트들의 좌표들 또는 관심 포인트(들)를 포함하는 대형 시야 콘텐츠의 공간 부분(들)의 제한을 나타내는 좌표들을 (LAN, 인터넷, WAN(Wide Area Network) 등과 같은 하나 이상의 통신 네트워크들을 통해) 장치(40)로부터 수신한다. 대형 시야 콘텐츠를 나타내는 데이터(10)는 관심 포인트들을 나타내는 데이터(61)와 렌더링 모듈(하드웨어 또는 소프트웨어)(63)에 제공/송신된다. 렌더링 모듈은 몰입형 디스플레이 디바이스(44)상에 디스플레이될 콘텐츠를 렌더링하는 몰입형 디스플레이 디바이스(44) 또는 제어기에 내장될 수 있다. 렌더링 모듈(63)은 또한 몰입형 디스플레이 디바이스(44)의 포즈를 나타내는 정보(62), 예를 들어, 몰입형 디스플레이 디바이스(44)가 HMD일 때 IMU로부터 획득된 시청 방향을 수신한다. 대형 시야 콘텐츠의 렌더링은 포즈 정보(62) 및 데이터(61)에 따라 수행된다. 예를 들어, 포즈 정보(62)가 사용자의 시선이 관심 포인트로부터 떨어져 이동한다는 것을 나타낼 때, 렌더링되고 디스플레이되는 대형 시야의 부분(들)은, 관심 포인트로부터 떨어져 이동할 때 사용자의 머리/시선의 이동에 대한 저항이 있더라도, 포즈 정보에 대응하지 않는다. 이러한 효과는 예를 들어, 몰입형 디스플레이 디바이스의 검출된 포즈가 관심 포인트를 포함하거나 포함하지 않는 대형 시야 콘텐츠의 영역에 대응하는지에 의존하여 상이한 행동을 갖는 매핑 함수(매핑 함수는 몰입형 디스플레이 디바이스의 포즈와 몰입형 디스플레이 디바이스상에 디스플레이된 대형 시야 콘텐츠의 일부의 시점 사이의 관계를 나타냄)로 획득될 수 있다. 예를 들어, 몰입형 디스플레이 디바이스의 포즈가 관심 포인트를 포함하는 대형 시야 콘텐츠의 부분에 대응하는 값들의 범위로 남아 있을 때, 몰입형 디스플레이부의 렌더링되고/디스플레이된 부분은 몰입형 디스플레이 디바이스의 포즈의 변화에 따른다. 몰입형 디스플레이 디바이스의 포즈가 관심 포인트를 포함하는 대형 시야 콘텐츠의 부분에 대응하는 값들의 범위 외부에 있을 때, 몰입형 디스플레이부의 렌더링되고/디스플레이된 부분은, 예를 들어, 대형 시야의 시점의 변화가 관심 포인트로부터 떨어져 이동할 때 포즈의 변화보다 느리고, 관심 포인트로부터 떨어져 이동할 때 저항이 존재하더라도, 몰입형 디스플레이 디바이스의 포즈의 변화를 따르지 않는다. 이러한 구현은 유럽 특허청에 2015년 12월 22일 출원된 유럽 특허 출원 EP15307094.1에 설명되어 있다.
도 7은 콘텐츠가 몰입형 디스플레이 디바이스(7)의 포지션에 따라 적어도 부분적으로 변하는 대형 시야 비디오 콘텐츠(10)를 디스플레이하고 그리고/또는 렌더링하도록 구성되는 몰입형 디스플레이 디바이스(7)의 하드웨어 실시예를 도식적으로 도시한다. 몰입형 디스플레이 디바이스(7)는 예를 들어, HMD에 대응한다. 몰입형 디스플레이 디바이스(7)는 적어도 하나의 관성 센서(71), 적어도 하나의 디스플레이 유닛(예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light-Emitting Diode) 또는 LCOS(Liquid Crystal On Silicon))(72) 및 송신 유닛(73)을 포함한다. 관성 센서(71)는 예를 들어, 자이로스코프에 대응하고, 몰입형 디스플레이 디바이스(7)는 예를 들어, 피치에 대한 하나, 롤에 대한 하나 및 요에 대한 하나인, 3개의 자이로스코프들을 포함한다. 다른 예에 따르면, 관성 센서(71)는 관성 측정 유닛(IMU)에 대응한다. 제어기는 관성 센서와 연관될 수 있고, 제어기는 관성 센서에 의해 포착된 디바이스의 포지션의 변화를 나타내는 데이터를 처리하고, 제1 버스를 통해 송신 유닛(73)으로 이러한 데이터를 송신하도록 구성된다. 송신 유닛(73)은 예를 들어, 무선 인터페이스이고, 관성 센서(71)로부터 수신된 데이터를 무선 링크를 통해(예를 들어, Wi-Fi 또는 블루투스에 따라) 외부 디바이스(미도시)에 송신하도록 구성된다. 외부 디바이스는 예를 들어, 셋-탑 박스(STB), 컴퓨터 또는 비디오 콘텐츠(들)를 저장하고 그리고/또는 구성하고 그리고/또는 디코딩하도록 구성되는 임의의 디바이스이다. 송신 유닛은 디스플레이 유닛(들)(72)상에 디스플레이될 비디오 콘텐츠의 이미지(들)(10)를 나타내는 데이터를, 예를 들어, 외부 디바이스로부터 무선 링크를 통해 수신하도록 더 구성될 수 있다. 그 후, 디스플레이될 이미지(들)(10)를 나타내는 데이터는 제2 버스를 통해 디스플레이 유닛(들)(72)으로 송신된다. 변형예에 따르면, 송신 유닛은 예를 들어, USB 또는 HDMI 표준에 따라, 유선 링크를 통해 데이터를 송신/수신하도록 구성되는 인터페이스이다. 외부 디바이스는 HMD의 측정된 포지션에 대응하는 비디오 콘텐츠의 부분을 HMD에 송신할 수 있다. HMD의 측정된 포지션에 대응하는 비디오 콘텐츠의 부분은 예를 들어, 실제 세계에서 HMD와 연관된 시점과 비디오 콘텐츠와 연관된 가상 카메라의 시점 사이의 관계를 확립하는 특정 함수로 결정된다. 몰입형 디스플레이 디바이스의 측정된 포지션들에 따라 몰입형 디스플레이 디바이스의 디스플레이 스크린(들)상에 디스플레이될 비디오 콘텐츠의 부분들을 제어하는 것은, 특히, 비디오 콘텐츠가 몰입형 디스플레이 디바이스의 디스플레이 스크린(들)과 연관된 시야보다 클 때, 몰입형 디스플레이 디바이스를 착용한 사용자가 비디오 콘텐츠로 브라우징할 수 있게 한다. 예를 들어, 몰입형 디스플레이 디바이스, 즉, HMD에 의해 제공된 시야가 110°(예를 들어, 요 축에 관하여)와 동일하고, 비디오 콘텐츠가 180°의 콘텐츠를 제공하는 경우에, HMD를 착용한 사용자는 HMD에 의해 제공된 시야 외부의 비디오 콘텐츠의 부분들을 보기 위해 자신의 머리를 우측으로 또는 좌측으로 회전시킬 수 있다.
도 8은 대형 시야 콘텐츠의 관심 포인트(들)를 결정하고 그리고/또는 대형 시야 콘텐츠를 처리하고 그리고/또는 대형 시야 콘텐츠가 처리되든 안 되든, 대형 시야 콘텐츠를 렌더링하도록 구성되는 장치(8)의 하드웨어 실시예를 도식적으로 도시한다. 장치(8)는 또한, 하나 또는 여러 이미지들의 디스플레이 신호들의 생성을 위해 구성된다. 장치(8)는 예를 들어, 태블릿, 스마트폰, 게임 콘솔, 컴퓨터, 랩탑 또는 셋-탑 박스에 대응하고 그리고/또는 몰입형 디스플레이 디바이스(7)의 컴포넌트일 수 있다.
장치(8)는 클락 신호를 또한 전송하는 어드레스들 및 데이터의 버스(85)에 의해 서로에 연결된 아래의 엘리먼트들을 포함한다:
- 마이크로프로세서(81)(또는 CPU),
- 다음을 포함하는 그래픽 카드(82):
● 여러 그래픽 프로세서 유닛들(또는 GPU들)(820),
● 그래픽 랜덤 액세스 메모리(GRAM)(821),
- 판독 전용 메모리(ROM) 타입(86)의 비휘발성 메모리,
- 랜덤 액세스 메모리 또는 RAM(87),
- 이미지들을 나타내는 데이터를 송신하도록 구성되는 송신기(88),
- 몰입형 디스플레이 디바이스(예를 들어, 시청 방향을 나타내는 제2 정보)로부터 그리고/또는 다른 장치(예를 들어, 제3, 제4 및/또는 제5 정보)로부터, 포착 디바이스(들)(예를 들어, 대형 시야 콘텐츠를 나타내는 데이터)로부터 그리고/또는 (콘텐츠, 제1, 제2, 제3, 제4 및/또는 제5 정보를 나타내는 데이터를 저장하는) 저장 디바이스들로부터 데이터를 수신하도록 구성되는 수신기(89);
- 예를 들어, 촉각 인터페이스, 마우스, 웹캠 등과 같은 하나 또는 여러 입/출력(I/O) 디바이스들(84), 및
- 전원(89).
장치(8)는 그래픽 카드에서 계산된 이미지들을 예를 들어, 라이브로 디스플레이하기 위해 그래픽 카드(82)에 직접적으로 연결된 디스플레이 스크린 타입의 하나 이상의 디스플레이 디바이스들(83)을 또한 포함한다. 그래픽 카드(82)에 디스플레이 디바이스(83)를 연결하기 위한 전용 버스의 사용은 훨씬 큰 데이터 송신 비트레이트들을 갖는 이점을 제공하고, 따라서, 그래픽 카드에 의해 구성된 이미지들의 디스플레이를 위한 레이턴시 시간을 감소시킨다. 변형예에 따르면, 디스플레이 디바이스는 장치(8) 외부에 있고, 디스플레이 신호들을 송신하기 위해 케이블에 의해 또는 무선으로 장치(8)에 연결된다. 장치(8), 예를 들어, 그래픽 카드(82)는 예를 들어, 제1 디스플레이 디바이스(예를 들어, HMD), LCD 또는 플라즈마 스크린 또는 비디오-프로젝터와 같은 외부 디스플레이 수단에 디스플레이 신호를 송신하도록 구성되는 송신 또는 연결을 위한 인터페이스(도 8에 미도시)를 포함한다.
메모리들(821, 86 및 87)의 설명에서 사용된 "레지스터"란 단어는 언급된 메모리들 각각에서, 큰 용량의 메모리 존 뿐만 아니라 낮은 용량의 메모리 존(일부 이진 데이터) 양자를 지정한다(이는 전체 프로그램이 저장될 수 있게 하거나 계산된 데이터를 나타내는 데이터의 전부 또는 일부가 디스플레이될 수 있게 한다).
스위칭-온될 때, 마이크로프로세서(81)는 RAM(87)에 포함된 프로그램의 명령어들을 로딩하고 실행한다.
랜덤 액세스 메모리(87)는 특히 다음을 포함한다:
- 레지스터(870)에서, 장치(8)를 스위칭 온하는 책임이 있는 마이크로프로세서(81)의 동작 프로그램,
- 대형 시야 콘텐츠를 나타내는 데이터(871)(예를 들어, RGB 데이터),
- 제1 정보(872);
- 제2 정보(873);
- 제3 정보(874).
본 개시내용에 특정된 방법(들)(예를 들어, 제1 이미지를 송신하는 방법 및/또는 제1 이미지를 구성하는 방법)의 단계들을 구현하는 알고리즘들은 이들 단계들을 구현하는 장치(8)와 연관된 그래픽 카드(82)의 메모리 GRAM(821)에 저장된다. 스위칭 온 되고 데이터(871) 및 정보(873, 874)가 RAM(87)으로 로딩될 때, 그래픽 카드(82)의 그래픽 프로세서들(820)은 이들 파라미터들을 GRAM(821)으로 로딩하고, 예를 들어, HLSL(High Level Shader Language) 언어 또는 GLSL(OpenGL Shading Language)를 사용하는 "셰이더(shader)" 타입의 마이크로프로그램들의 형태에서 이들 알고리즘들의 명령어들을 실행한다.
랜덤 액세스 메모리 GRAM(821)은 특히:
- 레지스터에서, 이미지들을 나타내는 데이터;
- 레지스터에서, 제1, 제2 및 제3 정보를 나타내는 데이터를 포함한다.
다른 변형예에 따르면, RAM(87)의 일부가 GRAM(821)에서 이용가능한 메모리 저장 공간이 불충분한 경우에 식별자들 및 거리들의 저장을 위해 CPU(81)에 의해 할당된다. 그러나, 이러한 변형예는, 송신 용량이 GPUs로부터 GRAM으로의 데이터의 송신(반대의 경우도 마찬가지임)을 위해 그래픽 카드에서 이용가능한 송신 용량보다 일반적으로 열등한 버스(85)를 통해 데이터가 그래픽 카드로부터 랜덤 액세스 메모리(87)로 송신되어야 하기 때문에, GPUs에 포함된 마이크로프로그램들로부터 구성된 환경의 표현을 포함하는 이미지의 구성에서 더 큰 레이턴시 시간을 초래한다.
다른 변형예에 따르면, 전원(88)은 장치(8) 외부에 있다.
대안의 실시예에서, 장치(8)는 어떠한 ROM도 포함하지 않고 RAM만 포함하고, 본 개시내용에 특정되고 도 9에 관하여 설명하는 방법의 단계들을 구현하는 알고리즘들이 RAM에 저장된다. 다른 변형예에 따르면, 장치(8)는 ROM 및/또는 RAM 대신에 SSD(Solid-State Drive) 메모리를 포함한다.
도 9는 본 원리들의 비제한적인 실시예들에 따른, 대형 시야 콘텐츠의 하나 이상의 관심 포인트들을 나타내는 제1 정보를 결정하는 방법을 도시한다. 방법은 예를 들어, 장치(8) 또는 몰입형 디스플레이 디바이스(7)에서 구현된다.
단계(90)에서, 장치(8)의 상이한 파라미터들이 업데이트된다. 특히, 시청 방향들 및/또는 대형 시야 콘텐츠에서의 관심을 나타내는 파라미터들이 임의의 방식으로 초기화된다.
단계(91)에서, 하나 이상의 시청 방향들을 나타내는 제2 정보가 획득되고, 각각의 시청 방향은 (대형 시야 콘텐츠를 디스플레이하기 위해 사용된) 몰입형 디스플레이 디바이스를 착용하거나 홀딩하는 사용자가 대형 시야 콘텐츠 그것의 일부를 시청하는 방향에 대응한다. 시청 방향은 대형 시야 콘텐츠의 어느 부분이 몰입형 디스플레이 디바이스의 스크린(들)상에 디스플레이되는지 결정할 수 있게 한다. 제2 정보는 예를 들어, (하나 이상의 유선 또는 무선 네트워크들을 통해 제2 정보를 송신할 수 있는) 몰입형 디스플레이 디바이스에 의해, 몰입형 디스플레이 디바이스를 제어하는(예를 들어, 측정된 시청 방향에 따라 몰입형 디스플레이 디바이스의 스크린상에 디스플레이하기 위해 대형 시야 콘텐츠의 일부를 렌더링하는) 제어기에 의해, 또는 외부 추적 시스템, 예를 들어, 시선 추적 시스템과 같은 시청 방향을 결정하도록 구성되는 시스템에 의해 직접 획득되고, 즉, 특정되거나 결정된다. 다른 예에 따르면, 제2 정보는 장치(8)의 저장 디바이스, 예를 들어, 로컬 메모리 디바이스, 예를 들어, RAM, GRAM 및/또는 SSD로부터, 또는 서버 또는 클라우드와 같은 원격 메모리 디바이스/엔터티로부터 획득되고, 즉, 수신된다.
단계(92)에서, 대형 시야 콘텐츠에서 관심을 나타내는 제3 정보가 예를 들어, 획득되고, 즉, 결정되거나 수신된다. 제3 정보는 예를 들어, 아래의 정보 중 하나 또는 아래의 정보의 임의의 조합이다:
- 대형 시야 콘텐츠를 소비하는 데 소모된 시간을 나타내는 정보;
- 대형 시야 콘텐츠와 연관된 레이트를 나타내는 정보;
- 대형 시야 콘텐츠와 연관된 코멘트의 의미 분석의 결과를 나타내는 정보;
- 대형 시야 콘텐츠가 렌더링되고 그리고/또는 디스플레이되는 횟수를 나타내는 정보; 및
- 네트워크 상의 대형 시야 콘텐츠의 배포를 나타내는 정보.
제3 정보는 예를 들어, 몰입형 디스플레이 디바이스로부터, 몰입형 디스플레이 디바이스와 연관된 제어기로부터, 대형 시야 콘텐츠가 저장될 수 있는 서버와 같은 원격 저장 디바이스로부터 수신된다. 변형예에 따르면, 제3 정보는 장치(8)의 저장 디바이스, 예를 들어, 로컬 메모리 디바이스, 예를 들어, RAM, GRAM 및/또는 SSD로부터, 또는 서버 또는 클라우드와 같은 원격 메모리 디바이스/엔터티로부터 획득되고, 즉, 수신된다.
단계(93)에서, 제1 정보는 제2 정보 및 제3 정보로부터 결정된다. 대형 시야 콘텐츠에서 관심 포인트의 위치는 예를 들어, 가장 잘 보이는 대형 시야 콘텐츠의 공간 영역으로서 결정될 수 있고, 제2 정보는 예를 들어, 제3 정보만 고려하거나, 제3 정보와 연관된 값은 (예를 들어, 대형 시야 콘텐츠를 소비하는데 소모한 시간이 결정된 시간보다 클 때 그리고/또는 대형 시야 콘텐츠가 결정된 횟수 이상 렌더링되었을 때) 결정된 값보다 크거나 동일하다. 하나의 시점을 나타내는 제1 정보는 대형 시야 콘텐츠의 공간 부분 및/또는 대형 시야 콘텐츠의 시간 부분에 대해 결정될 수 있다. 대형 시야 콘텐츠의 시간 부분은 예를 들어, 대형 시야 콘텐츠가 비디오일 때, 예를 들어, 연속 프레임들의 지속기간 또는 수에 대응한다. 물론, 시점은 시간에 따라 변할 수 있고, 즉, 시점은 주어진 순간에서의 오브젝트 및 예를 들어, 주어진 순간보다 나중의 다른 순간에서의 다른 오브젝트일 수 있다. 동일한 방식으로, 복수의 관심 포인트들이 동일한 순간에, 예를 들어, 대형 시야 콘텐츠의 동일한 이미지/프레임 내에서 결정될 수 있다.
당연히, 본 개시내용은 상술한 실시예들에 제한되지 않는다.
특히, 본 개시내용은 시점을 나타내는 제1 정보를 결정하는 방법 및 디바이스에 제한되는 것이 아니라, 제1 정보에 따라 대형 시야 콘텐츠를 처리하는 방법 및/또는 처리된 대형 시야 콘텐츠를 렌더링하고 그리고/또는 디스플레이하는 방법, 및 이들 방법들을 구현하는 임의의 디바이스, 특히, 적어도 하나의 CPU 및/또는 적어도 하나의 GPU를 포함하는 임의의 디바이스들로 또한 확장된다.
본 개시내용은 또한, 결정된 관심 포인트(들)에서 사용자의 관심에 포커싱하는 대형 시야 콘텐츠의 이미지들을 획득하고/생성하는 방법(및 획득하고/생성하도록 구성되는 디바이스)에 관한 것이다.
본 개시내용은 또한, 처리된 대형 시야 콘텐츠를 나타내는 데이터, 예를 들어, 장치(8)로부터 몰입형 디스플레이 디바이스(7)에 의해 수신된 데이터를 수신하는 방법(및 수신하도록 구성되는 디바이스)에 관한 것이다.
본원에 설명하는 구현들은 예를 들어, 방법 또는 프로세스, 장치, 컴퓨터 프로그램 제품, 데이터 스트림, 또는 신호에서 구현될 수 있다. 단일 형태의 구현의 문맥에서만 논의되더라도(예를 들어, 방법 또는 디바이스로서만 논의됨), 논의된 특징들의 구현은 다른 형태들(예를 들어, 프로그램)에서 또한 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어에서 구현될 수 있다. 방법들은 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능한 로직 디바이스를 포함하는 처리 디바이스들을 일반적으로 지칭하는 예를 들어, 프로세서와 같은, 예를 들어, 장치에서 구현될 수 있다. 프로세서들은, 예를 들어, 스마트폰들, 태블릿들, 컴퓨터들, 모바일 폰들, 휴대용/휴대 정보 단말기들("PDAs"), 및 종단 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 또한 포함한다.
본원에 설명한 다양한 프로세스들 및 특징들의 구현들은 각종의 상이한 장비 또는 애플리케이션들, 특히, 예를 들어, 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스처 처리, 및 이미지 및 관련 텍스처 정보 및/또는 깊이 정보의 다른 처리와 연관된 장비 또는 애플리케이션들에서 실시될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트-프로세서, 인코더에 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋-탑 박스, 랩탑, 개인 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스들을 포함한다. 명확해야 하는 바와 같이, 장비는 모바일일 수 있고 심지어 이동체에 설치될 수 있다.
추가로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있으며, 이러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은 예를 들어, 집적 회로, 소프트웨어 캐리어 또는 예를 들어, 하드 디스크, 컴팩트 디스크("CD"), (예를 들어, 디지털 다기능 디스크 또는 디지털 비디오 디스크로 종종 칭하는 DVD와 같은) 광학 디스크, 랜덤 액세스 메모리("RAM"), 또는 판독 전용 메모리("ROM")와 같은 다른 저장 디바이스와 같은 프로세서-판독가능 매체에 저장될 수 있다. 명령어들은 프로세서-판독가능 매체상에 유형으로 수록된 애플리케이션 프로그램을 형성할 수 있다. 명령어들은 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합에 있을 수 있다. 명령어들은 예를 들어, 운영 시스템, 개별 애플리케이션, 또는 이들 2개의 조합에서 발견될 수 있다. 따라서, 프로세서는 예를 들어, 프로세스를 수행하도록 구성되는 디바이스 및 프로세스를 수행하는 명령어들을 갖는 (저장 디바이스와 같은) 프로세서-판독가능 매체를 포함하는 디바이스 양자로서 특징화될 수 있다. 추가로, 프로세서-판독가능 매체는 명령어들 이외에 또는 그 대신에, 구현에 의해 생성된 데이터 값들을 저장할 수 있다.
본 기술분야의 통상의 기술자에게 명백한 바와 같이, 구현들은 예를 들어, 저장되거나 송신될 수 있는 정보를 반송하도록 포맷된 각종 신호들을 생성할 수 있다. 정보는 예를 들어, 방법을 수행하는 명령어들, 또는 설명한 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호가 설명한 실시예의 신택스를 기입하거나 판독하는 규칙들을 데이터로서 반송하거나, 설명한 실시예에 의해 기입된 실제 신택스-값들을 데이터로서 반송하도록 포맷될 수 있다. 이러한 신호는 예를 들어, 전자기파(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷될 수 있다. 포맷하는 것은, 예를 들어, 데이터 스트림을 인코딩하는 것 및 반송파를 인코딩된 데이터 스트림으로 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 공지되어 있는 바와 같이, 각종의 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서-판독가능 매체상에 저장될 수 있다.
다수의 구현들을 설명하였다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있다는 것이 이해될 것이다. 예를 들어, 상이한 구현들의 엘리먼트들이 다른 구현들을 생성하기 위해 조합, 보완, 수정 또는 제거될 수 있다. 추가적으로, 통상의 기술자는 다른 구조들 및 프로세스들이 개시된 구조들 및 프로세스들을 대체할 수 있으며, 결과적인 구현들이 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행한다는 것을 이해할 것이다. 이에 따라, 이들 및 다른 구현들은 본 출원에 의해 고려된다.

Claims (13)

  1. 대형 시야 콘텐츠(large field-of-view content)(10)의 관심 포인트를 나타내는 제1 정보를 결정하는 방법으로서, 상기 방법은 상기 대형 시야 콘텐츠(10)의 적어도 일부와 연관된 시청 방향(110)을 적어도 나타내는 제2 정보 및 상기 대형 시야 콘텐츠에서 관심을 나타내는 제3 정보로부터 상기 제1 정보를 결정하는 단계(93)를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제3 정보는:
    - 상기 대형 시야 콘텐츠를 소비(consume)하는 데 소모된 시간을 나타내는 정보;
    - 상기 대형 시야 콘텐츠와 연관된 레이트(rate)를 나타내는 정보;
    - 상기 대형 시야 콘텐츠와 연관된 코멘트의 의미 분석(semantic analysis)의 결과를 나타내는 정보;
    - 상기 대형 시야 콘텐츠가 렌더링된 횟수를 나타내는 정보; 및
    - 네트워크 상의 상기 대형 시야 콘텐츠의 배포(distribution)를 나타내는 정보
    중 적어도 하나에 대응하는, 방법.
  3. 제1항 또는 제2항에 있어서, 상기 제3 정보로부터 제1 가중값(weighting value)을 결정하는 단계를 더 포함하고, 상기 제2 정보는 상기 제1 정보를 결정하기 위해 상기 제1 가중값으로 가중되는, 방법.
  4. 제1항 또는 제2항에 있어서, 상기 대형 시야 콘텐츠를 소비하는 사용자의 프로파일을 나타내는 제4 정보를 획득하는 단계를 더 포함하고, 상기 제1 정보는 상기 제4 정보로부터 더 결정되는, 방법.
  5. 제4항에 있어서, 상기 제4 정보로부터 제2 가중값을 결정하는 단계를 더 포함하고, 상기 제2 정보는 상기 제1 정보를 결정하기 위해 상기 제2 가중값으로 가중되는, 방법.
  6. 제1항 또는 제2항에 있어서, 상기 제1 정보에 따라 상기 대형 시야 콘텐츠를 처리하고 상기 처리된 대형 시야 콘텐츠를 송신하는 단계를 더 포함하는, 방법.
  7. 대형 시야 콘텐츠의 관심 포인트를 나타내는 제1 정보를 결정하도록 구성되는 디바이스(8)로서, 상기 디바이스는 상기 대형 시야 콘텐츠(10)의 적어도 일부와 연관된 시청 방향(110)을 적어도 나타내는 제2 정보 및 상기 대형 시야 콘텐츠에서 관심을 나타내는 제3 정보로부터 상기 제1 정보를 결정하도록 구성되는 프로세서(81)와 연관된 메모리(87)를 포함하는, 디바이스.
  8. 제7항에 있어서, 상기 제3 정보는:
    - 상기 대형 시야 콘텐츠를 소비하는 데 소모된 시간을 나타내는 정보;
    - 상기 대형 시야 콘텐츠와 연관된 레이트를 나타내는 정보;
    - 상기 대형 시야 콘텐츠와 연관된 코멘트의 의미 분석의 결과를 나타내는 정보;
    - 상기 대형 시야 콘텐츠가 렌더링된 횟수를 나타내는 정보; 및
    - 네트워크 상의 상기 대형 시야 콘텐츠의 배포를 나타내는 정보
    중 적어도 하나에 대응하는, 디바이스.
  9. 제7항 또는 제8항에 있어서, 상기 프로세서는 상기 제3 정보로부터 제1 가중값을 결정하도록 더 구성되고, 상기 제2 정보는 상기 제1 정보를 결정하기 위해 상기 제1 가중값으로 가중되는, 디바이스.
  10. 제7항 또는 제8항에 있어서, 상기 프로세서는 상기 대형 시야 콘텐츠를 소비하는 사용자의 프로파일을 나타내는 제4 정보를 획득하도록 더 구성되고, 상기 제1 정보는 상기 제4 정보로부터 더 결정되는, 디바이스.
  11. 제10항에 있어서, 상기 프로세서는 상기 제4 정보로부터 제2 가중값을 결정하도록 더 구성되고, 상기 제2 정보는 상기 제1 정보를 결정하기 위해 상기 제2 가중값으로 가중되는, 디바이스.
  12. 제7항 또는 제8항에 있어서, 상기 프로세서는 상기 제1 정보에 따라 상기 대형 시야 콘텐츠를 처리하고 상기 처리된 대형 시야 콘텐츠를 송신하도록 더 구성되는, 디바이스.
  13. 프로세서로 하여금 제1항 또는 제2항에 따른 방법의 단계들을 적어도 수행하게 하는 명령어들이 저장된 비일시적 프로세서 판독가능 매체.
KR1020170170541A 2016-12-14 2017-12-12 몰입형 콘텐츠에서 관심 포인트를 결정하는 방법 및 디바이스 KR20180068874A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306678.0 2016-12-14
EP16306678.0A EP3337154A1 (en) 2016-12-14 2016-12-14 Method and device for determining points of interest in an immersive content

Publications (1)

Publication Number Publication Date
KR20180068874A true KR20180068874A (ko) 2018-06-22

Family

ID=57755110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170170541A KR20180068874A (ko) 2016-12-14 2017-12-12 몰입형 콘텐츠에서 관심 포인트를 결정하는 방법 및 디바이스

Country Status (5)

Country Link
US (1) US20180165830A1 (ko)
EP (2) EP3337154A1 (ko)
JP (1) JP2018139102A (ko)
KR (1) KR20180068874A (ko)
CN (1) CN108227916A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210057925A (ko) * 2019-11-13 2021-05-24 한국광기술원 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180113109A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 전자 장치 및 전자 장치의 화면 표시 방법
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
KR102486421B1 (ko) * 2017-10-16 2023-01-10 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 동작 방법
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
JP7168969B2 (ja) * 2018-06-06 2022-11-10 株式会社アルファコード ヒートマップ提示装置およびヒートマップ提示用プログラム
US10747760B2 (en) * 2018-06-08 2020-08-18 Capital One Services, Llc Method and system for tracking virtual reality experiences
US11366514B2 (en) * 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US11137874B2 (en) * 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Ergonomic mixed reality information delivery system for dynamic workflows
US20220148128A1 (en) * 2019-03-29 2022-05-12 Sony Group Corporation Image processing apparatus, image processing method, and program
CN111757089A (zh) * 2019-03-29 2020-10-09 托比股份公司 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
CN112150603B (zh) * 2019-06-28 2023-03-28 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
US11023729B1 (en) 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
US20230060691A1 (en) * 2020-02-10 2023-03-02 Sony Group Corporation Image processing apparatus, image processing method, and program
US11589033B1 (en) * 2021-02-28 2023-02-21 Robert Edwin Douglas Immersive viewing experience
WO2022226224A1 (en) * 2021-04-22 2022-10-27 Douglas Robert Edwin Immersive viewing experience

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6677979B1 (en) * 2001-06-12 2004-01-13 Cisco Technology, Inc. Method and apparatus for dual image video teleconferencing
US20110216059A1 (en) * 2010-03-03 2011-09-08 Raytheon Company Systems and methods for generating real-time three-dimensional graphics in an area of interest
US9025810B1 (en) * 2010-04-05 2015-05-05 Google Inc. Interactive geo-referenced source imagery viewing system and method
US9087412B2 (en) * 2011-09-26 2015-07-21 Nokia Technologies Oy Method and apparatus for grouping and de-overlapping items in a user interface
GB2510527B (en) * 2011-12-12 2020-12-02 Intel Corp Interestingness scoring of areas of interest included in a display element
US9230367B2 (en) * 2011-12-13 2016-01-05 Here Global B.V. Augmented reality personalization
JP6007600B2 (ja) * 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9886795B2 (en) * 2012-09-05 2018-02-06 Here Global B.V. Method and apparatus for transitioning from a partial map view to an augmented reality view
CN103310477B (zh) * 2013-06-27 2016-05-11 北京青青树动漫科技有限公司 一种三维影像生成方法
US9652893B2 (en) * 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9984505B2 (en) * 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
GB2536650A (en) * 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10440407B2 (en) * 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
EP3099030A1 (en) * 2015-05-26 2016-11-30 Thomson Licensing Method and device for encoding/decoding a packet comprising data representative of a haptic effect
EP3098752A1 (en) * 2015-05-29 2016-11-30 Thomson Licensing Method and device for generating an image representative of a cluster of images
US9589358B1 (en) * 2015-09-29 2017-03-07 International Business Machines Corporation Determination of point of interest views from selected vantage points
EP3285216A1 (en) * 2016-08-19 2018-02-21 Nokia Technologies Oy Association of comments to points of interest in virtual reality
US10645376B2 (en) * 2017-04-16 2020-05-05 Facebook, Inc. Systems and methods for presenting content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210057925A (ko) * 2019-11-13 2021-05-24 한국광기술원 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법

Also Published As

Publication number Publication date
EP3337158A1 (en) 2018-06-20
JP2018139102A (ja) 2018-09-06
EP3337154A1 (en) 2018-06-20
US20180165830A1 (en) 2018-06-14
CN108227916A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
KR20180068874A (ko) 몰입형 콘텐츠에서 관심 포인트를 결정하는 방법 및 디바이스
EP3568834B1 (en) Method, apparatus and stream for immersive video format
EP3249922A1 (en) Method, apparatus and stream for immersive video format
US20200380765A1 (en) Method, apparatus and stream for encoding/decoding volumetric video
CN109478344B (zh) 用于合成图像的方法和设备
US20190251735A1 (en) Method, apparatus and stream for immersive video format
US20180219975A1 (en) Sharing Mediated Reality Content
KR20210138484A (ko) 깊이 맵 복구를 위한 시스템 및 방법
US11748940B1 (en) Space-time representation of dynamic scenes
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
EP3236423A1 (en) Method and device for compositing an image
WO2015185537A1 (en) Method and device for reconstruction the face of a user wearing a head mounted display
WO2018086960A1 (en) Method and device for transmitting data representative of an image
WO2018069215A1 (en) Method, apparatus and stream for coding transparency and shadow information of immersive video format
EP3564905A1 (en) Conversion of a volumetric object in a 3d scene into a simpler representation model
EP3330839A1 (en) Method and device for adapting an immersive content to the field of view of a user
EP3310053A1 (en) Method and apparatus for coding transparency information of immersive video format
EP3310057A1 (en) Method, apparatus and stream for coding transparency and shadow information of immersive video format
EP3310052A1 (en) Method, apparatus and stream for immersive video format
EP3598271A1 (en) Method and device for disconnecting user's attention

Legal Events

Date Code Title Description
WITB Written withdrawal of application