KR20230144093A - 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들 - Google Patents

포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들 Download PDF

Info

Publication number
KR20230144093A
KR20230144093A KR1020237032225A KR20237032225A KR20230144093A KR 20230144093 A KR20230144093 A KR 20230144093A KR 1020237032225 A KR1020237032225 A KR 1020237032225A KR 20237032225 A KR20237032225 A KR 20237032225A KR 20230144093 A KR20230144093 A KR 20230144093A
Authority
KR
South Korea
Prior art keywords
video content
mesh
foveated
content item
video
Prior art date
Application number
KR1020237032225A
Other languages
English (en)
Inventor
완민 우
사무엘 크바아렌
이반 자나트라
창창 우
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20230144093A publication Critical patent/KR20230144093A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들이 제공된다. 일부 실시예들에서, 방법은: 비디오 콘텐츠 아이템을 수신하는 단계; 하드웨어 프로세서를 사용하여, 비디오 콘텐츠 아이템이 적어도 하나의 기준을 충족시키는지 여부를 결정하는 단계; 비디오 콘텐츠 아이템이 적어도 하나의 기준을 충족시킨다는 결정에 응답하여, 하드웨어 프로세서를 사용하여, 포비에이션 비율 파라미터에 따라, 비디오 콘텐츠 아이템의 프레임들이 투영되어야 하는 포비에이티드 메시를 생성하는 단계 - 여기서 포비에이티드 메시는, 비디오 콘텐츠 아이템의 각각의 프레임의 주변 부분들과 비교하여 비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 픽셀 밀도를 증가시키는 불균일한 포지션 맵을 가짐 -; 및 생성된 포비에이티드 메시를 포함하는 파일 포맷으로 비디오 콘텐츠 아이템을 저장하는 단계를 포함하고, 여기서 몰입형 비디오 콘텐츠는 생성된 포비에이티드 메시에 텍스처로서 비디오 콘텐츠 아이템을 적용함으로써 렌더링된다.

Description

포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들{METHODS, SYSTEMS, AND MEDIA FOR RENDERING IMMERSIVE VIDEO CONTENT WITH FOVEATED MESHES}
관련 출원에 대한 상호 참조
본 출원은, 2019년 7월 28일자로 출원된 미국 가특허 출원 제62/879,529호의 이익을 주장하고, 이 미국 가특허 출원은 이로써 본 명세서에 그 전체가 참조로 포함된다.
기술분야
개시된 청구 대상(subject matter)은 포비에이티드 메시(foveated mesh)들로 몰입형 비디오 콘텐츠(immersive video content)를 렌더링하기 위한 방법들, 시스템들, 및 매체들에 관한 것이다. 더 구체적으로는, 개시된 청구 대상은 비디오의 주변 부분에서의 픽셀 밀도를 트레이드 오프(trade off)함으로써 비디오의 중앙 부분에서의 픽셀 밀도를 증가시키는 포비에이티드 메시에 텍스처로서 비디오 콘텐츠를 적용할 수 있다.
많은 사용자들이, 뷰어에게 몰입형 경험을 제공할 수 있는, 가상 현실 콘텐츠, 증강 현실 콘텐츠, 3차원 콘텐츠, 180도 콘텐츠, 또는 360도 콘텐츠와 같은, 몰입형 환경들에서의 비디오 콘텐츠를 뷰잉하는 것을 즐긴다. 예를 들어, 가상 현실 시스템이 사용자를 위한 몰입형 가상 현실 환경을 생성할 수 있고, 여기서 사용자는 하나 이상의 가상 객체들과 상호작용할 수 있다. 더 구체적인 예에서, 몰입형 가상 현실 환경은 가상 현실 헤드셋 디바이스들 또는 헤드 마운티드 디스플레이 디바이스(head mounted display device)들과 같은 디바이스들을 사용하여 제공될 수 있다. 다른 예에서, 증강 현실 시스템이 사용자를 위한 몰입형 증강 현실 환경을 생성할 수 있고, 여기서 컴퓨터에 의해 생성되는 콘텐츠(예를 들어, 하나 이상의 이미지들)가 (예를 들어, 모바일 디바이스의 카메라를 사용하여) 사용자의 현재 뷰 상에 중첩될 수 있다.
몰입형 비디오 콘텐츠는 피시아이 메시(fisheye mesh) 또는 3차원 등장방형 메시(three-dimensional equirectangular mesh)와 같은 메시에 비디오 콘텐츠를 적용함으로써 빈번하게 렌더링되는데, 이는 비디오 콘텐츠가 그것이 평면으로 보이기보다는 오히려 구면(sphere)의 일 부분을 채운 것처럼 렌더링되게 한다. 그러나, 몰입형 비디오 콘텐츠를 렌더링하면서 그러한 콘텐츠의 비디오 품질을 최적화시키는 것은 어렵고 리소스 집약적인 태스크이다.
이에 따라, 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 새로운 방법들, 시스템들, 및 매체들을 제공하는 것이 바람직하다.
포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들이 제공된다.
개시된 청구 대상의 일부 실시예들에 따르면, 몰입형 비디오 콘텐츠를 생성하기 위한 방법이 제공되고, 이 방법은: 비디오 콘텐츠 아이템을 수신하는 단계; 하드웨어 프로세서를 사용하여, 비디오 콘텐츠 아이템이 적어도 하나의 기준을 충족시키는지 여부를 결정하는 단계; 비디오 콘텐츠 아이템이 적어도 하나의 기준을 충족시킨다는 결정에 응답하여, 하드웨어 프로세서를 사용하여, 포비에이션 비율 파라미터(foveation ratio parameter)에 따라, 비디오 콘텐츠 아이템의 프레임들이 투영되어야 하는 포비에이티드 메시를 생성하는 단계 - 여기서 포비에이티드 메시는, 비디오 콘텐츠 아이템의 각각의 프레임의 주변 부분들과 비교하여 비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 픽셀 밀도를 증가시키는 불균일한 포지션 맵을 가짐 -; 및 생성된 포비에이티드 메시를 포함하는 파일 포맷으로 비디오 콘텐츠 아이템을 저장하는 단계를 포함하고, 여기서 몰입형 비디오 콘텐츠는 생성된 포비에이티드 메시에 텍스처로서 비디오 콘텐츠 아이템을 적용함으로써 렌더링된다.
일부 실시예들에서, 적어도 하나의 기준은, 수신된 비디오 콘텐츠 아이템이 특정 파일 포맷과 연관되는지 여부를 결정하는 것을 포함한다. 일부 실시예들에서, 특정 파일 포맷은, 180도 시야(180-degree field of view)를 갖는 지향성 스테레오스코픽 투영(directional stereoscopic projection)을 사용하는 VR180 파일 포맷을 포함한다.
일부 실시예들에서, 적어도 하나의 기준은, 수신된 비디오 콘텐츠 아이템이 스테레오스코픽 콘텐츠를 포함하는지 또는 모노스코픽 콘텐츠(monoscopic content)를 포함하는지 여부를 결정하는 것을 포함하고, 이 방법은, 수신된 비디오 콘텐츠 아이템이 스테레오스코픽 콘텐츠를 포함한다는 결정에 응답하여 포비에이티드 메시를 생성하는 단계를 더 포함한다.
일부 실시예들에서, 적어도 하나의 기준은, 수신된 비디오 콘텐츠 아이템이 정적 비디오인지 또는 동적 비디오인지 여부를 결정하는 것을 포함하고, 정적 비디오는, 비디오 콘텐츠가 캡처되었을 때 카메라가 실질적으로 움직이지 않은 비디오 콘텐츠를 포함하고, 동적 비디오는 카메라 모션 메타데이터 트랙을 포함하고, 이 방법은, 수신된 비디오 콘텐츠 아이템이 정적 비디오라는 결정에 응답하여 포비에이티드 메시를 생성하는 단계를 더 포함한다.
일부 실시예들에서, 적어도 하나의 기준은, 수신된 비디오 콘텐츠 아이템이 특정 타입의 입력 메시와 연관되는지 여부를 결정하는 것을 포함하고, 이 방법은, 수신된 비디오 콘텐츠 아이템이 크로핑된 등장방형 메시(cropped equirectangular mesh)와 연관된다는 결정에 응답하여 포비에이티드 메시를 생성하는 단계를 더 포함한다. 일부 실시예들에서, 포비에이티드 메시는 다항식 피팅 함수(polynomial fitting function)를 사용하여 크로핑된 등장방형 메시의 2차원 UV 맵을 변형시킴으로써 생성된다.
일부 실시예들에서, 이 방법은, 제1 포비에이션 비율 파라미터에 기초하여 제1 포비에이티드 메시를 생성하는 단계 및 제2 포비에이션 비율 파라미터에 기초하여 제2 포비에이티드 메시를 생성하는 단계를 더 포함한다.
일부 실시예들에서, 포비에이티드 메시는, 수신된 비디오 콘텐츠 아이템이 제1 픽셀 해상도로부터 제2 픽셀 해상도로의 다운샘플링 비율로 다운샘플링된다는 결정에 응답하여 생성되고, 비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 개선 비율이 다운샘플링 비율과 대응한다.
일부 실시예들에서, 이 방법은, 사용자 디바이스로부터 비디오 콘텐츠 아이템에 대한 요청을 수신하는 것에 응답하여, 비디오 콘텐츠 및 생성된 포비에이티드 메시를 사용자 디바이스에 송신하는 단계를 더 포함한다.
개시된 청구 대상의 일부 실시예들에 따르면, 몰입형 비디오 콘텐츠를 생성하기 위한 시스템이 제공되고, 이 시스템은: 메모리 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는, 메모리에 저장되는 컴퓨터 실행가능 명령어들을 실행할 때: 비디오 콘텐츠 아이템을 수신하고; 비디오 콘텐츠 아이템이 적어도 하나의 기준을 충족시키는지 여부를 결정하고; 비디오 콘텐츠 아이템이 적어도 하나의 기준을 충족시킨다는 결정에 응답하여, 포비에이션 비율 파라미터에 따라, 비디오 콘텐츠 아이템의 프레임들이 투영되어야 하는 포비에이티드 메시를 생성하고 - 여기서 포비에이티드 메시는, 비디오 콘텐츠 아이템의 각각의 프레임의 주변 부분들과 비교하여 비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 픽셀 밀도를 증가시키는 불균일한 포지션 맵을 가짐 -; 생성된 포비에이티드 메시를 포함하는 파일 포맷으로 비디오 콘텐츠 아이템을 저장하도록 구성되고, 여기서 몰입형 비디오 콘텐츠는 생성된 포비에이티드 메시에 텍스처로서 비디오 콘텐츠 아이템을 적용함으로써 렌더링된다.
개시된 청구 대상의 일부 실시예들에 따르면, 프로세서에 의해 실행될 때, 프로세서로 하여금, 몰입형 비디오 콘텐츠와 상호작용하기 위한 방법을 수행하게 하는 컴퓨터 실행가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체가 제공되고, 이 방법은: 비디오 콘텐츠 아이템을 수신하는 단계; 비디오 콘텐츠 아이템이 적어도 하나의 기준을 충족시키는지 여부를 결정하는 단계; 비디오 콘텐츠 아이템이 적어도 하나의 기준을 충족시킨다는 결정에 응답하여, 포비에이션 비율 파라미터에 따라, 비디오 콘텐츠 아이템의 프레임들이 투영되어야 하는 포비에이티드 메시를 생성하는 단계 - 여기서 포비에이티드 메시는, 비디오 콘텐츠 아이템의 각각의 프레임의 주변 부분들과 비교하여 비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 픽셀 밀도를 증가시키는 불균일한 포지션 맵을 가짐 -; 및 생성된 포비에이티드 메시를 포함하는 파일 포맷으로 비디오 콘텐츠 아이템을 저장하는 단계를 포함하고, 여기서 몰입형 비디오 콘텐츠는 생성된 포비에이티드 메시에 텍스처로서 비디오 콘텐츠 아이템을 적용함으로써 렌더링된다.
개시된 청구 대상의 일부 실시예들에 따르면, 몰입형 비디오 콘텐츠를 생성하기 위한 시스템이 제공되고, 이 시스템은: 비디오 콘텐츠 아이템을 수신하는 수단; 비디오 콘텐츠 아이템이 적어도 하나의 기준을 충족시키는지 여부를 결정하는 수단; 비디오 콘텐츠 아이템이 적어도 하나의 기준을 충족시킨다는 결정에 응답하여, 포비에이션 비율 파라미터에 따라, 비디오 콘텐츠 아이템의 프레임들이 투영되어야 하는 포비에이티드 메시를 생성하는 수단 - 여기서 포비에이티드 메시는, 비디오 콘텐츠 아이템의 각각의 프레임의 주변 부분들과 비교하여 비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 픽셀 밀도를 증가시키는 불균일한 포지션 맵을 가짐 -; 및 생성된 포비에이티드 메시를 포함하는 파일 포맷으로 비디오 콘텐츠 아이템을 저장하는 수단을 포함하고, 여기서 몰입형 비디오 콘텐츠는 생성된 포비에이티드 메시에 텍스처로서 비디오 콘텐츠 아이템을 적용함으로써 렌더링된다.
개시된 청구 대상의 다양한 목적들, 피처(feature)들, 및 이점들은, 동일한 참조 번호들이 동일한 요소들을 식별하는 다음의 도면들과 관련하여 고려될 때 개시된 청구 대상의 다음의 상세한 설명을 참조하여 더 충분히 인식될 수 있다.
도 1은 개시된 청구 대상의 일부 실시예들에 따른, 포비에이티드 메시를 생성할지 여부를 결정하고 포비에이티드 메시를 생성하기 위한 프로세스의 예시적인 예를 도시한다.
도 2는 개시된 청구 대상의 일부 실시예들에 따른, 포비에이티드 메시를 사용하여 몰입형 비디오 콘텐츠를 렌더링하기 위한 프로세스의 예시적인 예를 도시한다.
도 3은 개시된 청구 대상의 일부 실시예들에 따른, 포비에이티드 메시를 생성할지 여부를 결정하고 포비에이티드 메시를 생성하기 위해 본 명세서에서 설명되는 메커니즘들의 구현에 적합한 예시적인 시스템의 개략적 다이어그램을 도시한다.
도 4는 개시된 청구 대상의 일부 실시예들에 따른, 도 3의 서버 및/또는 사용자 디바이스에서 사용될 수 있는 하드웨어의 상세한 예를 도시한다.
다양한 실시예들에 따르면, 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 메커니즘들(이들은 방법들, 시스템들, 및 매체들을 포함할 수 있다)이 제공된다.
일부 실시예들에서, 본 명세서에서 설명되는 메커니즘들은 비디오 콘텐츠가 하나 이상의 기준을 충족시키는지 여부를 결정할 수 있고, 비디오 콘텐츠가 하나 이상의 기준을 충족시키는 것에 응답하여, 비디오 콘텐츠를 몰입형 비디오 콘텐츠로서 렌더링하는 데 사용될 수 있는 포비에이티드 메시를 생성할 수 있고, 여기서 포비에이티드 메시는 비디오 콘텐츠의 중앙 부분에서의 픽셀 밀도 또는 해상도를 증가시킬 수 있다.
본 명세서에서 사용되는 바와 같이, 포비에이티드 메시는, 비디오의 주변 부분들에서의 픽셀 밀도를 트레이드 오프함으로써 비디오의 중앙 부분에서의 픽셀 밀도를 증가시키는 불균일한 UV 또는 3차원 포지션 맵을 갖는 메시 구조체이다.
일부 실시예들에서, 포비에이티드 메시는 크로핑된 등장방형 메시의 수정된 버전일 수 있다. 예를 들어, 크로핑된 등장방형 메시에서의 UV 정점들은 균일하게 분포되고 포비에이티드 메시에서의 UV 정점들은 균일하게 분포되지 않는다. 더 구체적인 예에서, 180도 크로핑된 등장방형 메시는 실질적으로 균일한 UV 맵을 가질 수 있다. 이 예를 계속하면, 비디오 콘텐츠 아이템의 중앙 부분에서의 픽셀 밀도가 비디오 콘텐츠 아이템의 주변 부분에서의 픽셀 밀도와 비교하여 증가되도록 다항식 피팅 함수를 사용하여 크로핑된 등장방형 메시의 2차원 UV 맵을 변형시킴으로써 포비에이티드 메시가 생성될 수 있다.
일부 실시예들에서, 비디오 콘텐츠 아이템의 중앙 부분에서의 픽셀 밀도가 비디오 콘텐츠 아이템의 주변 부분에서의 픽셀 밀도와 비교하여 증가되도록 유사한 변형이 3차원 포지션 메시에 적용될 수 있고, 여기서 UV 맵은 변경되지 않은 채로 유지된다는 것에 주목해야 한다.
일부 실시예들에서, 다수의 포비에이티드 메시들이 생성될 수 있다는 것에 또한 주목해야 한다. 예를 들어, 메커니즘들은 제1 포비에이션 전략(예를 들어, 제1 포비에이션 비율 파라미터에 기초하는 함수)에 따라 제1 포비에이티드 메시를 그리고 제2 포비에이션 전략(예를 들어, 제2 포비에이션 비율 파라미터에 기초하는 함수)에 따라 제2 포비에이티드 메시를 생성할 수 있다. 더 구체적인 예에서, 상이한 포비에이션 전략들이 임의의 적합한 조건들(예를 들어, 비디오 타입, 해상도, 계산 리소스(computational resource)들 등)에 기초하여 구현될 수 있다. 다른 예에서, 메커니즘들은 하나 이상의 조건들에 기초하여 다수의 포비에이션 전략들로부터 한 포비에이션 전략을 선택할 수 있고 선택된 포비에이션 전략에 따라 포비에이티드 메시를 생성할 수 있다.
적합한 디바이스(예를 들어, 가상 현실 헤드셋, 헤드 마운티드 디스플레이 디바이스, 게임 콘솔, 모바일 폰, 태블릿 컴퓨터, 텔레비전, 및/또는 임의의 다른 적합한 타입의 사용자 디바이스) 상에서 비디오 콘텐츠를 렌더링할 때, 디바이스는 포비에이티드 메시를 포함하는 포맷으로 비디오 콘텐츠를 수신할 수 있고, 여기서 비디오 콘텐츠의 각각의 프레임은 포비에이티드 메시 상으로 투영된다. 예를 들어, 본 명세서에서 설명되는 메커니즘들은 비디오 콘텐츠를 180도 비디오 콘텐츠로서 렌더링하는 데 사용될 수 있는 포비에이티드 메시를 생성할 수 있는데, 이 180도 비디오 콘텐츠는 비디오 콘텐츠의 뷰어가 비디오 콘텐츠를 뷰잉할 때 비디오 콘텐츠에 몰입된 느낌을 갖게 할 수 있다. 다른 예에서, 일부 실시예들에서, 본 명세서에서 설명되는 메커니즘들은 비디오 콘텐츠를 임의의 적합한 공간 범위를 갖는 3차원 비디오 콘텐츠로서 렌더링하는 데 사용될 수 있는 포비에이티드 메시를 생성할 수 있다.
일부 실시예들에서, 본 명세서에서 설명되는 메커니즘들은 임의의 적합한 기준에 기초하여 수신된 비디오에 대한 포비에이티드 메시를 생성할 수 있다.
예를 들어, 일부 실시예들에서, 메커니즘들은 수신된 비디오가 특정 파일 포맷과 연관되는지 여부를 결정할 수 있다. 이 예를 계속하면, 수신된 비디오가 180도 시야를 갖는 지향성 스테레오스코픽 투영을 사용하는 VR180 파일 포맷을 갖거나 그리고/또는 임의의 다른 적합한 기준을 충족시킨다는 결정에 응답하여, 메커니즘들은 몰입형 비디오 콘텐츠를 렌더링하기 위한 포비에이티드 메시를 생성할 수 있다.
다른 예에서, 일부 실시예들에서, 메커니즘들은 수신된 비디오가 스테레오스코픽 콘텐츠(예를 들어, 좌안/우안(left eye/right eye) 뷰들 또는 이미지들, 3차원 이미지들 등)를 포함하는지 또는 모노스코픽 콘텐츠(예를 들어, 한 세트의 2차원 이미지들)를 포함하는지 여부를 결정할 수 있다. 이 예를 계속하면, 모노스코픽 콘텐츠는 웹 인터페이스들, 모바일 인터페이스들, 또는 그렇지 않으면 비-헤드셋 인터페이스들에서 2차원 콘텐츠로서 제시될 수 있는 한편, 스테레오스코픽 콘텐츠는 가상 현실 헤드셋, 헤드 마운티드 디스플레이 디바이스 등 상의 프레젠테이션(presentation)을 위해 렌더링될 수 있다. 수신된 비디오가 스테레오스코픽 콘텐츠를 포함하거나 그리고/또는 임의의 다른 적합한 기준을 충족시킨다는 결정에 응답하여, 메커니즘들은 몰입형 비디오 콘텐츠를 렌더링하기 위한 포비에이티드 메시를 생성할 수 있다.
또 다른 예에서, 일부 실시예들에서, 메커니즘들은 수신된 비디오가 정적 비디오인지 또는 동적 비디오인지 여부를 결정할 수 있고, 여기서 정적 비디오는, 카메라 또는 카메라 어셈블리가, 수신된 비디오가 캡처되었을 때의 시간에 실질적으로 움직이지 않은 비디오를 일반적으로 지칭한다. 수신된 비디오가 정적 비디오이거나 그리고/또는 임의의 다른 적합한 기준을 충족시킨다는 결정에 응답하여, 메커니즘들은 몰입형 비디오 콘텐츠를 렌더링하기 위한 포비에이티드 메시를 생성할 수 있다.
추가의 예에서, 일부 실시예들에서, 메커니즘들은 수신된 비디오와 연관된 입력 메시의 타입을 결정할 수 있다. 수신된 비디오와 연관된 입력 메시의 예들은 피시아이 메시 및 크로핑된 등장방형 메시를 포함할 수 있다. 수신된 비디오가 크로핑된 등장방형 메시와 연관되거나 그리고/또는 임의의 다른 적합한 기준을 충족시킨다는 결정에 응답하여, 메커니즘들은 몰입형 비디오 콘텐츠를 렌더링하기 위한 포비에이티드 메시를 생성할 수 있다.
일부 실시예들에서, 메커니즘들은 비디오 콘텐츠를 다운샘플링할 때 몰입형 비디오 콘텐츠로서 수신된 비디오를 렌더링하기 위한 포비에이티드 메시를 생성할 수 있다는 것에 주목해야 한다. 비디오의 중앙 부분에서의 개선 비율이 다운샘플링 비율로 제한될 수 있다는 것에 또한 주목해야 한다. 예를 들어, 4k 픽셀 해상도(예를 들어, 3849 x 2160 픽셀들 또는 4096 x 2160 픽셀들)로부터 1080p 해상도(예를 들어, 1920 x 1080 픽셀들)로 비디오 콘텐츠를 다운샘플링할 때, 비디오의 중앙 부분에서의 가장 높은 개선 비율은 4이다. 이 구현에서, 개선 비율은, 포비에이티드 메시를 사용하는 렌더링된 비디오 콘텐츠에서의 픽셀들의 수를, 오리지널 메시를 사용하는 렌더링된 비디오 콘텐츠에서의 픽셀들의 수로 나눈 것으로서 측정될 수 있다는 것에 주목한다.
더 구체적인 예에서, 메커니즘들은, 수신된 비디오가, VR180 파일 포맷의 스테레오스코픽 콘텐츠를 포함하고 크로핑된 등장방형 입력 메시와 연관되는 정적 비디오라는 결정에 응답하여, 몰입형 비디오 콘텐츠를 렌더링하기 위한 포비에이티드 메시를 생성할 수 있다. 포비에이티드 메시를 생성할지 여부를 결정하기 위해 임의의 적합한 기준 및 기준의 임의의 적합한 조합이 사용될 수 있다는 것에 주목해야 한다.
일부 실시예들에서, 비디오 콘텐츠 및 생성된 포비에이티드 메시는 사용자 디바이스(예를 들어, 가상 현실 헤드셋, 헤드 마운티드 디스플레이 디바이스 등)에 의한 렌더링을 위해 사용자 디바이스에 송신될 수 있다. 예를 들어, 일부 실시예들에서, 생성된 포비에이티드 메시는, 비디오 콘텐츠를 포함하는 비디오 파일에 삽입될 수 있고, 비디오 파일은 사용자 디바이스에 송신될 수 있다. 부가적으로 또는 대안적으로, 일부 실시예들에서, 생성된 포비에이티드 메시는 비디오 콘텐츠의 투영 및/또는 비디오 콘텐츠의 3차원 등장방형 투영을 생성하기에 앞서 중간 단계로서 사용될 수 있다.
일부 실시예들에서, 비디오 콘텐츠에 포함된 비디오 텍스처들은 유사한 포비에이션을 적용함으로써 또한 수정될 수 있다는 것에 주목해야 한다. 예를 들어, 비디오 콘텐츠의 중앙 주위에서의 증가된 품질을 위해 비디오 콘텐츠의 에지들 또는 주변 부분들에서의 품질을 트레이드 오프하는 동안(예를 들어, 불균일한 픽셀 밀도 또는 해상도), 클라이언트 디바이스에서 몰입형 비디오 콘텐츠를 렌더링할 때, 몰입형 비디오 콘텐츠가 왜곡되지 않은 것으로 보이도록 비디오 콘텐츠에 포함된 비디오 텍스처들을 수정하기 위해, 포비에이티드 메시를 생성함에 있어서 적용되는 포비에이션 전략이 사용될 수 있다.
포비에이티드 메시는 몰입형 비디오 콘텐츠의 전체의 지각된 비디오 해상도 또는 품질의 개선이 달성되도록 몰입형 비디오 콘텐츠를 렌더링하는 데 사용될 수 있고, 여기서 정적 고정 포인트가 주어진 몰입형 비디오 콘텐츠의 각각의 프레임에서의 관심 중앙 영역에서의 픽셀 밀도 또는 해상도가, 몰입형 비디오 콘텐츠의 각각의 프레임에서의 주변 영역들에서의 픽셀 밀도 또는 해상도보다 더 크다는 것에 또한 주목해야 한다.
포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 이들 그리고 다른 피처들이 도 1 내지 도 4와 관련하여 이하에서 설명된다.
도 1을 참조하면, 포비에이티드 메시를 생성할지 여부를 결정하고 포비에이티드 메시를 생성하기 위한 프로세스의 예시적인 예(100)가 개시된 청구 대상의 일부 실시예들에 따라 도시한다. 일부 실시예들에서, 프로세스(100)의 블록들은, 비디오 콘텐츠를 저장하고 저장된 비디오 콘텐츠를 사용자 디바이스들에게 송신하는 콘텐츠 서버(예를 들어, 도 3에 도시되고 그와 관련하여 상술된 콘텐츠 서버(302))와 같은 임의의 적합한 디바이스에 의해 수행될 수 있다.
프로세스(100)는 110에서 비디오 콘텐츠 아이템을 수신하는 것으로 시작될 수 있다. 예를 들어, 프로세스(100)는 콘텐츠 서버 상에 저장되는 업로드된 비디오 콘텐츠 아이템에 액세스할 수 있다. 다른 예에서, 프로세스(100)는 특정 기준(예를 들어, 업로드 날짜, 뷰 카운트 등)을 충족시키는 특정 비디오 콘텐츠 아이템들을 선택할 수 있다. 더 구체적인 예에서, 프로세스(100)는, 이하에서 설명되는 바와 같은 특정 기준을 충족시키는, 콘텐츠 서버 상에 저장되는 특정 비디오 콘텐츠 아이템들(예를 들어, 크로핑된 등장방형 메시들을 갖는 스테레오스코픽, 정적 비디오들)을 선택할 수 있다. 또 다른 예에서, 프로세스(100)는 사용자 계정을 갖는 사용자에 의해 업로드된 비디오 콘텐츠 아이템을 수신할 수 있다.
비디오 콘텐츠 아이템은 임의의 적합한 소스로부터 수신될 수 있다는 것에 주목해야 한다. 예를 들어, 일부 실시예들에서, 스테레오스코픽 비디오 콘텐츠는 물리적 카메라 디바이스(예를 들어, 360도 스테레오스코픽 비디오를 캡처하기 위한 360도 스테레오스코픽 카메라 리그(rig), 180도 스테레오스코픽 비디오를 캡처하기 위한 VR180 카메라 디바이스, 한 세트의 광각 카메라들 등)를 사용하여 캡처될 수 있다. 이 예를 계속하면, 가상 현실 헤드셋 또는 헤드 마운티드 디스플레이 디바이스와 같은 컴퓨팅 디바이스가, 스테레오스코픽 콘텐츠에 기초하여, AR 환경 또는 VR 환경과 같은 몰입형 환경을 생성할 수 있다.
프로세스(100)는, 120에서, 임의의 적합한 기준에 기초하여 비디오 콘텐츠 아이템과의 연관을 위한 포비에이티드 메시를 생성할지 여부를 결정하는 것으로 계속될 수 있다. 예를 들어, 프로세스(100)는 수신된 비디오 콘텐츠 아이템이 하나 이상의 기준을 충족시키는지 여부를 결정할 수 있고, 비디오 콘텐츠 아이템이 하나 이상의 기준을 충족시키는 것에 응답하여, 비디오 콘텐츠를 몰입형 비디오 콘텐츠로서 렌더링하는 데 사용될 수 있는 포비에이티드 메시를 생성할 수 있고, 여기서 포비에이티드 메시는 비디오 콘텐츠의 중앙 부분에서의 픽셀 밀도 또는 해상도를 증가시킬 수 있다. 더 구체적인 예에서, 프로세스(100)는, 크로핑된 등장방형 입력 메시들과 연관되는 정적 비디오들의 스테레오 트랜스코드들에 대해 포비에이티드 메시가 생성되어야 한다는 것을 결정할 수 있다.
일부 실시예들에서, 130에서, 포비에이티드 메시를 생성하기 위한 기준이, 수신된 비디오가 특정 파일 포맷과 연관되는지 여부를 결정하는 것을 포함할 수 있다. 이 예를 계속하면, 프로세스(100)는 수신된 비디오가 VR180 카메라를 사용하여 캡처되었고, 180도 시야를 갖는 지향성 스테레오스코픽 투영을 사용하는 VR180 파일 포맷을 갖는다는 것을 결정할 수 있다. 더 구체적인 예에서, 특정 파일 포맷은, 예를 들어, 구면 좌표 시스템(spherical coordinate system) 내에서 비디오 프레임들로부터 부분적 뷰포트들로의 투영을 규정하는 메타데이터(예를 들어, 구면 비디오 V2 메타데이터 표준에 따른 구면 비디오 메타데이터)를 포함할 수 있고, 프로세스(100)는 그러한 메타데이터의 존재를 결정함으로써 수신된 비디오가 특정 파일 포맷과 연관되는지 여부를 결정할 수 있다. 다른 더 구체적인 예에서, 비디오 콘텐츠 아이템을 콘텐츠 서버에 업로드할 때, 업로드하는 사용자는, 비디오 콘텐츠 아이템이 특정 파일 포맷(예를 들어, VR180 파일 포맷)과 연관됨을 표시할 수 있거나, 또는 비디오 콘텐츠 아이템이 특정 타입의 콘텐츠(예를 들어, 180도 스테레오스코픽 비디오 콘텐츠, 360도 스테레오스코픽 비디오 콘텐츠 등)를 포함함을 표시할 수 있다. 이와 같이, VR180 비디오들은 구면 비디오 V2 메타데이터 표준에 따른 구면 비디오 메타데이터의 존재 및 콘텐츠에 의한 프로세싱 또는 재생을 위해 식별될 수 있다.
수신된 비디오 콘텐츠 아이템이 VR180 파일 포맷과 같은 특정 파일 포맷과 연관된다는 결정에 응답하여, 프로세스(100)는 수신된 비디오 콘텐츠 아이템이 포비에이티드 메시를 생성하기 위한 후보인지 여부를 결정하는 것으로 진행할 수 있다는 것에 주목해야 한다. 대안적으로, 수신된 비디오 콘텐츠 아이템이 특정 파일 포맷과 연관되지 않는다는 결정에 응답하여, 프로세스(100)는 포비에이티드 메시가 수신된 비디오 콘텐츠 아이템에 대해 생성되지 않아야 한다고 결정할 수 있다.
일부 실시예들에서, 140에서, 포비에이티드 메시를 생성하기 위한 기준이, 수신된 비디오 콘텐츠 아이템이 스테레오스코픽 콘텐츠(예를 들어, 좌안/우안 뷰들 또는 이미지들, 3차원 이미지들 등)를 포함하는지 또는 모노스코픽 콘텐츠(예를 들어, 한 세트의 2차원 이미지들)를 포함하는지 여부를 결정하는 것을 포함할 수 있다. 이 예를 계속하면, 모노스코픽 콘텐츠는 웹 인터페이스들, 모바일 인터페이스들, 또는 그렇지 않으면 비-헤드셋 인터페이스들에서 2차원 콘텐츠로서 제시될 수 있는 한편, 스테레오스코픽 콘텐츠는 가상 현실 헤드셋, 헤드 마운티드 디스플레이 디바이스 등 상의 프레젠테이션을 위해 렌더링될 수 있다. 더 구체적인 예에서, 상술된 바와 같이, 수신된 비디오 콘텐츠 아이템은, 예를 들어, 구면 좌표 시스템 내에서 비디오 프레임들로부터 부분적 뷰포트들로의 투영을 규정하는 구면 비디오 메타데이터와 연관될 수 있고, 프로세스(100)는 그러한 메타데이터에서의 스테레오스코픽 관련 필드들의 존재를 결정함으로써, 수신된 비디오가, 스테레오스코픽 콘텐츠를 포함하는지 또는 모노스코픽 콘텐츠를 포함하는지 여부를 결정할 수 있다. 다른 더 구체적인 예에서, 비디오 콘텐츠 아이템을 콘텐츠 서버에 업로드할 때, 업로드하는 사용자는, 비디오 콘텐츠 아이템이 특정 타입의 콘텐츠(예를 들어, 180도 스테레오스코픽 비디오 콘텐츠, 360도 스테레오스코픽 비디오 콘텐츠 등)를 포함함을 표시할 수 있다.
수신된 비디오 콘텐츠 아이템이 180도 스테레오스코픽 비디오 콘텐츠와 같은 스테레오스코픽 콘텐츠를 포함한다는 결정에 응답하여, 프로세스(100)는 수신된 비디오 콘텐츠 아이템이 포비에이티드 메시를 생성하기 위한 후보인지 여부를 결정하는 것으로 진행할 수 있다는 것에 주목해야 한다. 대안적으로, 수신된 비디오 콘텐츠 아이템이 모노스코픽 콘텐츠를 포함한다는 결정에 응답하여, 프로세스(100)는 포비에이티드 메시가 수신된 비디오 콘텐츠 아이템에 대해 생성되지 않아야 한다고 결정할 수 있다.
일부 실시예들에서, 150에서, 포비에이티드 메시를 생성하기 위한 기준이, 수신된 비디오가 정적 비디오인지 또는 동적 비디오인지 여부를 결정하는 것을 포함할 수 있다. 예를 들어, 정적 비디오는, VR180 카메라 또는 스테레오스코픽 카메라 리그와 같은 카메라 또는 카메라 어셈블리가, 수신된 비디오가 캡처되었을 때의 시간에 실질적으로 움직이지 않은 비디오를 일반적으로 지칭한다. 역으로, 동적 비디오는, 비디오 캡처 동안 카메라 또는 카메라 어셈블리가 움직인 비디오를 일반적으로 지칭한다.
예를 들어, 상기에 언급된 바와 같이, 비디오 콘텐츠 아이템은, 구면 좌표 시스템 내에서 비디오 프레임들로부터 부분적 뷰포트들로의 투영을 규정하는 메타데이터와 연관될 수 있다. 동적 비디오의 경우, 비디오 콘텐츠 아이템과 연관되는 그러한 메타데이터는, 카메라 배향 정보, 자이로스코프 정보, 가속도계 정보 등과 같은, 상이한 타입들의 카메라 모션 메타데이터를 저장하는 카메라 모션 메타데이터 트랙을 포함할 수 있다. 카메라 모션 메타데이터 트랙은, 예를 들어, 비디오 콘텐츠 아이템의 각각의 비디오 프레임을 고정된 세계 배향(fixed world orientation)과 정렬시키기 위해 카메라의 모션에 따라 비디오 콘텐츠에 대한 회전 기반 모션 안정화를 제공할 수 있다. 이 예를 계속하면, 수신된 비디오가 정적 비디오인지 또는 동적 비디오인지 여부를 결정하는 것은, 카메라 모션 메타데이터 트랙과 같은 특정 메타데이터의 존재를 검출하는 것을 포함할 수 있고, 여기서 카메라 모션 메타데이터 트랙을 포함하는 비디오 콘텐츠 아이템은 동적 비디오로서 지정될 수 있다.
수신된 비디오 콘텐츠 아이템이 정적 비디오라는 결정에 응답하여, 프로세스(100)는 수신된 비디오 콘텐츠 아이템이 포비에이티드 메시를 생성하기 위한 후보인지 여부를 결정하는 것으로 진행할 수 있다는 것에 주목해야 한다. 대안적으로, 수신된 비디오 콘텐츠 아이템이 동적 비디오라는 결정에 응답하여, 프로세스(100)는 포비에이티드 메시가 수신된 비디오 콘텐츠 아이템에 대해 생성되지 않아야 한다고 결정할 수 있다. 예를 들어, 수신된 비디오 콘텐츠 아이템의 구면 비디오 메타데이터가 카메라 모션 메타데이터 트랙 또는 다른 모션 안정화 정보를 포함한다는 결정에 응답하여, 프로세스(100)는 포비에이티드 메시가 수신된 비디오 콘텐츠 아이템에 대해 생성되지 않아야 한다고 결정할 수 있다.
일부 실시예들에서, 160에서, 포비에이티드 메시를 생성하기 위한 기준이, 수신된 비디오 콘텐츠 아이템과 연관된 메시 포맷 또는 입력 메시의 타입을 결정하는 것을 포함할 수 있다. 수신된 비디오 콘텐츠 아이템과 연관된 입력 메시의 예시적인 예들은 피시아이 메시 및 크로핑된 등장방형 메시를 포함할 수 있다. 예를 들어, 프로세스(100)는 구면 비디오 V2 메타데이터 표준에 따른 구면 비디오 메타데이터의 콘텐츠에 액세스하고 구면 비디오 메타데이터에서의 ProjectionType 요소의 값이 크로핑된 등장방형 메시로 설정되는지 여부를 결정함으로써, 수신된 비디오 콘텐츠 아이템이 크로핑된 등장방형 입력 메시와 연관되는지 여부를 결정할 수 있다.
수신된 비디오 콘텐츠 아이템이 크로핑된 등장방형 입력 메시와 연관된다는 결정에 응답하여, 프로세스(100)는 수신된 비디오 콘텐츠 아이템이 포비에이티드 메시를 생성하기 위한 후보인지 여부를 결정하는 것으로 진행할 수 있다는 것에 주목해야 한다. 대안적으로, 수신된 비디오 콘텐츠 아이템이 다른 메시 타입(예를 들어, 피시아이 메시)과 연관된다는 결정에 응답하여, 프로세스(100)는 포비에이티드 메시가 수신된 비디오 콘텐츠 아이템에 대해 생성되지 않아야 한다고 결정할 수 있다.
일부 실시예들에서, 170에서, 포비에이티드 메시를 생성하기 위한 기준이, 수신된 비디오 콘텐츠 아이템이 다운샘플링되고 있는지 여부를 결정하는 것을 포함할 수 있다. 포비에이티드 메시들은 비디오 콘텐츠 아이템의 각각의 프레임의 주변 부분들에서의 픽셀 밀도를 트레이드 오프하거나 또는 그렇지 않으면 감소시킴으로써 비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 픽셀 밀도를 개선시킴으로써 비디오 품질이 증가되었다는 지각을 제공할 수 있고, 여기서 비디오 콘텐츠 아이템을 다운샘플링할 때 그러한 개선이 보여질 수 있다는 것에 주목해야 한다.
비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 개선 비율은 다운샘플링 비율로 제한될 수 있다는 것에 또한 주목해야 한다. 예를 들어, 4k 픽셀 해상도(예를 들어, 3849 x 2160 픽셀들 또는 4096 x 2160 픽셀들)로부터 1080p 해상도(예를 들어, 1920 x 1080 픽셀들)로 비디오 콘텐츠 아이템을 다운샘플링할 때, 비디오의 중앙 부분에서의 가장 높은 개선 비율은 약 4이다. 이 구현에서, 개선 비율은, 포비에이티드 메시를 사용하는 렌더링된 비디오 콘텐츠에서의 픽셀들의 수를, 오리지널 메시를 사용하는 렌더링된 비디오 콘텐츠에서의 픽셀들의 수로 나눈 것으로서 측정될 수 있다는 것에 주목한다.
수신된 비디오 콘텐츠 아이템이 다운샘플링되고 있다는 결정에 응답하여, 프로세스(100)는 수신된 비디오 콘텐츠 아이템이 포비에이티드 메시를 생성하기 위한 후보인지 여부를 결정하는 것으로 진행할 수 있다. 대안적으로, 수신된 비디오 콘텐츠 아이템이 다운샘플링되고 있지 않다는 결정에 응답하여 또는 개선 비율이 특정 임계 값(예를 들어, 4의 개선 비율)보다 더 크지 않다는 결정에 응답하여, 프로세스(100)는 포비에이티드 메시가 수신된 비디오 콘텐츠 아이템에 대해 생성되지 않아야 한다고 결정할 수 있다.
이에 따라, 수신된 비디오 콘텐츠 아이템이 130 내지 170에서의 기준 중 하나 이상을 충족시키는지 여부를 결정하는 것에 응답하여, 프로세스(100)는 180에서 비디오 콘텐츠 아이템을 몰입형 비디오 콘텐츠로서 렌더링하는 데 사용될 수 있는 포비에이티드 메시를 생성할 수 있다. 예를 들어, 수신된 비디오가, VR180 파일 포맷의 스테레오스코픽 콘텐츠를 포함하고 크로핑된 등장방형 입력 메시와 연관되는 정적 비디오라는 결정에 응답하여, 몰입형 비디오 콘텐츠를 렌더링하기 위한 포비에이티드 메시가 생성될 수 있다. 본 명세서에서 설명되는 실시예들은, 크로핑된 등장방형 입력 메시와 연관되는 스테레오스코픽 콘텐츠를 포함하는 정적 비디오들에 대한 포비에이티드 메시를 생성하는 것과 일반적으로 관련되지만, 포비에이티드 메시를 생성할지 여부를 결정하기 위해 임의의 적합한 기준 및 기준의 임의의 적합한 조합이 사용될 수 있다는 것에 주목해야 한다.
본 명세서에서 설명되는 바와 같이, 포비에이티드 메시는, 비디오의 주변 부분들에서의 픽셀 밀도를 트레이드 오프함으로써 비디오의 중앙 부분에서의 픽셀 밀도를 증가시키는 불균일한 UV 또는 3차원 포지션 맵을 갖는 메시 구조체이다.
일부 실시예들에서, 비디오들의 스테레오 트랜스코드들에 대한 트랜스코딩 시스템 또는 트랜스코딩 파이프라인이, 포비에이티드 메시들을 생성하거나 또는 그렇지 않으면 포비에이션 전략을 구현하도록 수정될 수 있다. 트랜스코딩 시스템은, 비디오를 하나의 메시 포맷으로부터 다른 것으로 재투영하거나 또는 그렇지 않으면 변환하는 데 필요한, 타깃 메시를 생성하는 것을 포함할 수도 있는, 비디오 파라미터들 및 트랜스코더 메타데이터를 설정하는 트랜스코더 제어 컴포넌트를 포함할 수 있다.
일부 실시예들에서, 트랜스코더 제어 컴포넌트는 포비에이션 비율 파라미터를 전달함으로써 파라미터화된 포비에이티드 메시들을 생성하도록 수정될 수 있다는 것에 주목해야 한다. 일부 실시예들에서, 포비에이티드 메시는 크로핑된 등장방형 메시의 수정된 버전일 수 있다. 예를 들어, 크로핑된 등장방형 메시에서의 UV 정점들은 균일하게 분포되고 포비에이티드 메시에서의 UV 정점들은 균일하게 분포되지 않는다. 더 구체적인 예에서, 180도 크로핑된 등장방형 메시는 실질적으로 균일한 UV 맵을 가질 수 있다. 이 예를 계속하면, 비디오 콘텐츠 아이템의 중앙 부분에서의 픽셀 밀도가 비디오 콘텐츠 아이템의 주변 부분들에서의 픽셀 밀도와 비교하여 증가되도록 다항식 피팅 함수를 사용하여 크로핑된 등장방형 메시의 2차원 UV 맵을 변형시킴으로써 포비에이티드 메시가 생성될 수 있다.
일부 실시예들에서, 비디오 콘텐츠 아이템의 중앙 부분에서의 픽셀 밀도가 비디오 콘텐츠 아이템의 주변 부분에서의 픽셀 밀도와 비교하여 증가되도록, 포비에이션 비율 파라미터에 기초하는 유사한 변형이 3차원 포지션 메시에 적용될 수 있고, 여기서 UV 맵은 변경되지 않은 채로 유지된다는 것에 주목해야 한다.
더 구체적인 예에서, 프로세스(100)는 포비에이션 비율 파라미터 foveation_ratio에 기초하여 정규화된 좌표 normalized_coord를 포비에이트할 수 있다. 일부 실시예들에서, 이것은, 입력 좌표를 클램핑하는 것 또는 그렇지 않으면 포지션을 범위 [0.0, 1.0]으로 제한하는 것을 포함할 수 있다는 것에 주목해야 한다. 이 메시 포비에이션은 다음과 같이 표현될 수 있다:
이 예를 계속하면, 프로세스(100)는 역을 수행함으로써 정규화된 좌표를 언포비에이트(unfoveat)할 수 있는데, 이는 다음과 같이 표현될 수 있다:
일부 실시예들에서, 다수의 포비에이티드 메시들이 생성될 수 있다는 것에 주목해야 한다. 예를 들어, 제1 포비에이티드 메시는 제1 포비에이션 전략(예를 들어, 제1 포비에이션 비율 파라미터에 기초하는 다항식 피팅 함수)에 따라 생성될 수 있고, 제2 포비에이티드 메시는 제2 포비에이션 전략(예를 들어, 제2 포비에이션 비율 파라미터에 기초하는 다항식 피팅 함수)에 따라 생성될 수 있다. 더 구체적인 예에서, 상이한 포비에이션 전략들이 임의의 적합한 조건들(예를 들어, 비디오 타입, 해상도, 계산 리소스들 등)에 기초하여 구현될 수 있다. 다른 예에서, 포비에이션 전략은 하나 이상의 조건들에 기초하여 다수의 포비에이션 전략들로부터 선택될 수 있고 선택된 포비에이션 전략에 따라 포비에이티드 메시를 생성할 수 있다.
도 1을 다시 참조하면, 일부 실시예들에서, 프로세스(100)는 190에서 비디오 콘텐츠 아이템 및 포비에이티드 메시를 저장할 수 있다. 예를 들어, 프로세스(100)는 특정 파일 포맷(예를 들어, VR180 파일 포맷)으로 비디오 콘텐츠 아이템과 함께 포비에이티드 메시를 삽입할 수 있다.
적합한 디바이스(예를 들어, 가상 현실 헤드셋, 헤드 마운티드 디스플레이 디바이스, 게임 콘솔, 모바일 폰, 태블릿 컴퓨터, 텔레비전, 및/또는 임의의 다른 적합한 타입의 사용자 디바이스) 상에서 비디오 콘텐츠를 렌더링할 때, 디바이스는 포비에이티드 메시를 포함하는 포맷으로 비디오 콘텐츠를 수신할 수 있고, 여기서 비디오 콘텐츠의 각각의 프레임은 포비에이티드 메시 상으로 투영된다. 예를 들어, 본 명세서에서 설명되는 메커니즘들은 비디오 콘텐츠를 180도 비디오 콘텐츠로서 렌더링하는 데 사용될 수 있는 포비에이티드 메시를 생성할 수 있는데, 이 180도 비디오 콘텐츠는 비디오 콘텐츠의 뷰어가 비디오 콘텐츠를 뷰잉할 때 비디오 콘텐츠에 몰입된 느낌을 갖게 할 수 있다. 다른 예에서, 일부 실시예들에서, 본 명세서에서 설명되는 메커니즘들은 비디오 콘텐츠를 임의의 적합한 공간 범위를 갖는 3차원 비디오 콘텐츠로서 렌더링하는 데 사용될 수 있는 포비에이티드 메시를 생성할 수 있다.
포비에이티드 메시는 몰입형 비디오 콘텐츠의 전체의 지각된 비디오 해상도 또는 품질의 개선이 달성되도록 몰입형 비디오 콘텐츠를 렌더링하는 데 사용될 수 있고, 여기서 정적 고정 포인트가 주어진 몰입형 비디오 콘텐츠의 각각의 프레임에서의 관심 중앙 영역에서의 픽셀 밀도 또는 해상도가, 몰입형 비디오 콘텐츠의 각각의 프레임에서의 주변 영역들에서의 픽셀 밀도 또는 해상도보다 더 크다는 것에 주목해야 한다.
일부 실시예들에서, 비디오 콘텐츠 및 생성된 포비에이티드 메시는 사용자 디바이스(예를 들어, 가상 현실 헤드셋, 헤드 마운티드 디스플레이 디바이스 등)에 의한 렌더링을 위해 사용자 디바이스에 송신될 수 있다.
도 2를 참조하면, 몰입형 비디오 콘텐츠를 렌더링하기 위한 프로세스의 예시적인 예(200)가 개시된 청구 대상의 일부 실시예들에 따라 도시된다. 일부 실시예들에서, 프로세스(200)의 블록들은 가상 현실 헤드셋, 게임 콘솔, 모바일 폰, 태블릿 컴퓨터, 텔레비전, 및/또는 임의의 다른 적합한 타입의 사용자 디바이스와 같은 임의의 적합한 디바이스에 의해 실행될 수 있다.
프로세스(200)는, 210에서, 사용자 디바이스 상의 프레젠테이션을 위해 비디오 콘텐츠 아이템을 요청하는 것으로 시작될 수 있다. 일부 실시예들에서, 비디오 콘텐츠 아이템은, 임의의 적합한 타입의 비디오 콘텐츠 아이템, 예컨대 콘텐츠 서버로부터 사용자 디바이스로 스트리밍될 비디오, 및/또는 임의의 다른 적합한 타입의 비디오 콘텐츠 아이템일 수 있다. 일부 실시예들에서, 비디오 콘텐츠 아이템은 임의의 적합한 방식으로 사용자 디바이스 상에서 요청될 수 있다. 예를 들어, 일부 실시예들에서, 비디오 콘텐츠 아이템은, 사용자 디바이스의 사용자가, 이용가능한 비디오 콘텐츠를 포함하는 페이지로부터 비디오 콘텐츠 아이템을 선택하는 것에 응답하여, 그리고/또는 임의의 다른 적합한 방식으로 요청될 수 있다. 비디오 콘텐츠 아이템에 대한 요청은 사용자 디바이스로부터 콘텐츠 서버(예를 들어, 도 3에 도시되고 그와 관련하여 상술된 바와 같은 콘텐츠 서버(302))로 송신될 수도 있다.
프로세스(200)는 210에서 송신된 요청에 응답하여 220에서 비디오 콘텐츠 아이템 및 그 비디오 콘텐츠 아이템을 렌더링하는 데 사용될 대응하는 포비에이티드 메시를 수신할 수 있다. 예를 들어, 일부 실시예들에서, 비디오 콘텐츠 아이템 및 대응하는 포비에이티드 메시는, 도 1과 관련하여 상술된 바와 같이, 비디오 콘텐츠를 저장하거나 그리고/또는 포비에이티드 메시를 생성한 콘텐츠 서버(예를 들어, 도 3에 도시되고 그와 관련하여 상술된 콘텐츠 서버(302))로부터 수신될 수 있다. 일부 실시예들에서, 비디오 콘텐츠 아이템 및 대응하는 포비에이티드 메시는 임의의 적합한 방식으로 수신될 수 있다. 예를 들어, 일부 실시예들에서, 포비에이티드 메시는 비디오 콘텐츠 아이템을 포함하는 비디오 파일에 삽입될 수 있고, 프로세스(200)는 임의의 적합한 기법 또는 기법들의 조합을 사용하여 비디오 파일로부터 포비에이티드 메시를 추출할 수 있다. 대응하는 포비에이티드 메시를 비디오 콘텐츠 아이템에 주입하기 위해 임의의 적합한 접근법이 사용될 수 있다는 것에 주목해야 한다.
프로세스(200)는 임의의 적합한 기법 또는 기법들의 조합을 사용하여 230에서 사용자 디바이스 상의 비디오 콘텐츠 아이템을 몰입형 콘텐츠로서 렌더링할 수 있다. 예를 들어, 일부 실시예들에서, 프로세스(200)는 비디오 콘텐츠 아이템을 몰입형 콘텐츠로서 렌더링하기 위해 포비에이티드 메시 상으로 비디오 콘텐츠 아이템을 적용 또는 투영할 수 있다. 더 구체적인 예로서, 일부 실시예들에서, 프로세스(200)는 텍스처로서 비디오 콘텐츠 아이템으로부터의 콘텐츠를 포비에이티드 메시에 매핑시키기 위해 임의의 적합한 기법(예를 들어, UV 매핑, 및/또는 임의의 다른 적합한 기법(들))을 사용할 수 있다. 다른 예로서, 일부 실시예들에서, 프로세스(200)는 비디오 콘텐츠 아이템의 제1 부분을 사용자 디바이스의 뷰어의 좌안에 그리고 비디오 콘텐츠 아이템의 제2 부분을 사용자 디바이스의 뷰어의 우안에 제시함으로써 비디오 콘텐츠 아이템을 스테레오스코픽 콘텐츠로서 렌더링할 수 있다. 일부 그러한 실시예들에서, 비디오 콘텐츠 아이템의 제1 부분 및 비디오 콘텐츠 아이템의 제2 부분은 사용자 디바이스 상에서 렌더링하기에 앞서 포비에이티드 메시 상으로 별개로 적용 또는 투영될 수 있다.
일부 실시예들에서, 프로세스(200)는, 비디오 콘텐츠 아이템을, 비디오 콘텐츠 아이템의 뷰어에 의해 조작 또는 상호작용될 수 있는 몰입형 콘텐츠로서 렌더링할 수 있다. 예를 들어, 일부 실시예들에서, 프로세스(200)는 뷰어가 비디오 콘텐츠 아이템의 뷰포인트를 변경하게 할 수 있는 방식으로 비디오 콘텐츠 아이템을 렌더링할 수 있다. 더 구체적인 예로서, 일부 실시예들에서, 뷰어가 가상 현실 헤드셋 또는 다른 웨어러블 컴퓨팅 디바이스를 사용하고 있는 경우들에서, 프로세스(200)는 뷰어가 뷰어의 머리의 배향을 변경하였다는 결정에 응답하여 비디오 콘텐츠 아이템의 제시된 뷰포인트를 변경할 수 있다. 다른 더 구체적인 예로서, 일부 실시예들에서, 프로세스(200)는, 예컨대 비디오 콘텐츠 아이템이 제시되는 사용자 인터페이스를 선택 및 드래그함으로써, 뷰어가 사용자 디바이스 상에 제스처를 입력하여 뷰포인트를 조작하였다는 결정에 응답하여 비디오 콘텐츠 아이템의 제시된 뷰포인트를 변경할 수 있다.
도 3을 참조하면, 개시된 청구 대상의 일부 실시예들에 따라 사용될 수 있는, 포비에이티드 메시를 생성할지 여부를 결정하거나, 포비에이티드 메시를 생성하거나, 그리고/또는 포비에이티드 메시를 사용하여 몰입형 비디오 콘텐츠를 렌더링하기 위한 하드웨어의 예시적인 예(300)가 도시된다. 예시된 바와 같이, 하드웨어(300)는 콘텐츠 서버(302), 통신 네트워크(304), 및/또는 하나 이상의 사용자 디바이스들(306), 예컨대 사용자 디바이스들(308 및 310)을 포함할 수 있다.
콘텐츠 서버(302)는, 미디어 콘텐츠를 저장하거나 그리고/또는 이를 사용자 디바이스들(306)에게 제공하기 위한 임의의 적합한 서버(들)일 수 있다. 예를 들어, 일부 실시예들에서, 콘텐츠 서버(302)는 비디오들, 텔레비전 프로그램들, 영화들, 라이브 스트리밍된 미디어 콘텐츠, 오디오 콘텐츠, 애니메이션들, 비디오 게임 콘텐츠, 그래픽들, 및/또는 임의의 다른 적합한 미디어 콘텐츠와 같은 미디어 콘텐츠를 저장할 수 있다. 일부 실시예들에서, 콘텐츠 서버(302)는, 예를 들어, 통신 네트워크(304)를 통해 미디어 콘텐츠를 사용자 디바이스들(306)에게 송신할 수 있다. 일부 실시예들에서, 콘텐츠 서버(302)는, 도 2에 도시되고 그와 관련하여 상술된 바와 같이, 비디오 콘텐츠를 몰입형 콘텐츠로서 렌더링하기 위해 클라이언트 디바이스(예를 들어, 사용자 디바이스(306))에 의해 사용될 임의의 적합한 정보와 연관된 비디오 콘텐츠(예를 들어, 라이브 비디오 콘텐츠, 컴퓨터에 의해 생성되는 비디오 콘텐츠, 및/또는 임의의 다른 적합한 타입의 비디오 콘텐츠)를 저장할 수 있다.
통신 네트워크(304)는 일부 실시예들에서 하나 이상의 유선 및/또는 무선 네트워크들의 임의의 적합한 조합일 수 있다. 예를 들어, 통신 네트워크(304)는 인터넷, 인트라넷, 광역 네트워크(wide-area network)(WAN), 근거리 네트워크(local-area network)(LAN), 무선 네트워크, 디지털 가입자 라인(digital subscriber line)(DSL) 네트워크, 프레임 릴레이 네트워크, 비동기 전송 모드(asynchronous transfer mode)(ATM) 네트워크, 가상 사설 네트워크(virtual private network)(VPN), 및/또는 임의의 다른 적합한 통신 네트워크 중 임의의 하나 이상을 포함할 수 있다. 사용자 디바이스들(306)은, 하나 이상의 통신 링크들(예를 들어, 통신 링크들(314))을 통해 콘텐츠 서버(302)에 링크될 수 있는 통신 네트워크(304)에 하나 이상의 통신 링크들(예를 들어, 통신 링크들(312))에 의해 연결될 수 있다. 통신 링크들은, 네트워크 링크들, 다이얼-업 링크(dial-up link)들, 무선 링크들, 하드-와이어드 링크(hard-wired link)들, 임의의 다른 적합한 통신 링크들, 또는 그러한 링크들의 임의의 적합한 조합과 같은, 사용자 디바이스들(306) 및 콘텐츠 서버(302) 간에서 데이터를 통신하기에 적합한 임의의 통신 링크들일 수 있다.
사용자 디바이스들(306)은, 비디오 콘텐츠를 요청하고, 요청된 비디오 콘텐츠를 몰입형 비디오 콘텐츠로서(예를 들어, 가상 현실 콘텐츠로서, 3차원 콘텐츠로서, 360도 비디오 콘텐츠로서, 180도 비디오 콘텐츠로서, 그리고/또는 임의의 다른 적합한 방식으로) 렌더링하거나 그리고/또는 임의의 다른 적합한 기능들을 수행하기에 적합한 임의의 하나 이상의 사용자 디바이스들을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 사용자 디바이스들(306)은 모바일 디바이스, 예컨대 모바일 폰, 태블릿 컴퓨터, 웨어러블 컴퓨터, 랩톱 컴퓨터, 가상 현실 헤드셋, 차량(예를 들어, 자동차, 보트, 비행기, 또는 임의의 다른 적합한 차량) 정보 또는 엔터테인먼트 시스템, 및/또는 임의의 다른 적합한 모바일 디바이스 및/또는 임의의 적합한 비-모바일 디바이스(예를 들어, 데스크톱 컴퓨터, 게임 콘솔, 및/또는 임의의 다른 적합한 비-모바일 디바이스)를 포함할 수 있다. 다른 예로서, 일부 실시예들에서, 사용자 디바이스들(306)은 텔레비전, 프로젝터 디바이스, 게임 콘솔, 데스크톱 컴퓨터, 및/또는 임의의 다른 적합한 비-모바일 디바이스와 같은 미디어 재생 디바이스를 포함할 수 있다.
사용자 디바이스(306)가 사용자에 의해 착용되는 헤드 마운티드 디스플레이 디바이스인 더 구체적인 예에서, 사용자 디바이스(306)는, 휴대용 핸드헬드 전자 디바이스에 연결되는 헤드 마운티드 디스플레이 디바이스를 포함할 수 있다. 휴대용 핸드헬드 전자 디바이스는, 헤드 마운티드 디스플레이 디바이스에 의해 생성되고, 예를 들어, 헤드 마운티드 디스플레이 디바이스의 디스플레이 상에서, 사용자에게 디스플레이되는 몰입형 환경에서의 상호작용을 위해 헤드 마운티드 디스플레이 디바이스와 페어링되고 그와 통신할 수 있는, 예를 들어, 컨트롤러, 스마트폰, 조이스틱, 또는 다른 휴대용 핸드헬드 전자 디바이스일 수 있다.
휴대용 핸드헬드 전자 디바이스는, 예를 들어, 유선 커넥션, 또는 예를 들어 WiFi 또는 블루투스 커넥션과 같은 무선 커넥션을 통해 헤드 마운티드 디스플레이 디바이스와 동작가능하게 커플링 또는 페어링될 수 있다는 것에 주목해야 한다. 휴대용 핸드헬드 전자 디바이스와 헤드 마운티드 디스플레이 디바이스의 이러한 페어링 또는 동작가능한 커플링은, 휴대용 핸드헬드 전자 디바이스와 헤드 마운티드 디스플레이 디바이스 사이의 통신 그리고 휴대용 핸드헬드 전자 디바이스와 헤드 마운티드 디스플레이 디바이스 사이의 데이터의 교환을 제공할 수 있다. 이것은, 예를 들어, 휴대용 핸드헬드 전자 디바이스가, 헤드 마운티드 디스플레이 디바이스에 의해 생성된 몰입형 가상 환경에서 상호작용하기 위해 헤드 마운티드 디스플레이 디바이스와 통신하는 컨트롤러로서 기능하게 할 수 있다. 예를 들어, 휴대용 핸드헬드 전자 디바이스의 조작, 및/또는 휴대용 핸드헬드 전자 디바이스의 터치 표면 상에 수신된 입력, 및/또는 휴대용 핸드헬드 전자 디바이스의 움직임은, 헤드 마운티드 디스플레이 디바이스에 의해 생성 및 디스플레이되는 가상 환경에서의 대응하는 선택, 또는 움직임, 또는 다른 타입의 상호작용으로 변환될 수 있다.
일부 실시예들에서, 휴대용 핸드헬드 전자 디바이스는, 디바이스의 내부 컴포넌트들이 수용되는 하우징을 포함할 수 있다는 것에 또한 주목해야 한다. 사용자 인터페이스가 하우징 상에 제공되어, 사용자에게 액세스가능할 수 있다. 사용자 인터페이스는, 예를 들어, 사용자 터치 입력들, 터치 및 드래그 입력들, 및 이와 유사한 것을 수신하도록 구성되는 터치 감지 표면을 포함할 수 있다. 사용자 인터페이스는, 예를 들어, 작동 트리거들, 버튼들, 노브들, 토글 스위치들, 조이스틱들 및 이와 유사한 것과 같은 사용자 조작 디바이스들을 또한 포함할 수 있다.
일부 실시예들에서, 헤드 마운티드 디스플레이 디바이스는, 오디오 출력 디바이스를 갖는, 프레임에 커플링된 하우징을 포함할 수 있고, 이때 오디오 출력 디바이스는, 예를 들어, 헤드폰들에 장착되고 프레임에도 또한 커플링되는 스피커들을 포함한다는 것에 추가로 주목해야 한다. 예를 들어, 하우징의 전방 부분은, 하우징에 수용된 컴포넌트들 중 일부가 가시적이도록 하우징의 베이스 부분으로부터 멀어지도록 회전될 수 있다. 하우징 전방 부분의 내부 대향 면 상에 디스플레이가 장착될 수 있다. 일부 실시예들에서, 전방 부분이 하우징의 베이스 부분에 대해 폐쇄된 포지션에 있을 때 사용자의 눈들과 디스플레이 사이에, 렌즈들이 하우징에 장착될 수 있다. 헤드 마운티드 디스플레이 디바이스는, 헤드 마운티드 디스플레이 디바이스의 동작을 용이하게 하기 위한 다양한 제어 시스템 디바이스들 및 프로세서를 포함하는 제어 시스템 및 다양한 센서들을 포함하는 감지 시스템을 포함할 수 있다.
예를 들어, 일부 실시예들에서, 감지 시스템은, 예를 들어, 가속도계, 자이로스코프, 자력계, 및 다른 그러한 센서들과 같은 다양한 상이한 타입들의 센서들을 포함하는 관성 측정 유닛을 포함할 수 있다. 관성 측정 유닛에 포함된 센서들에 의해 제공되는 데이터에 기초하여 헤드 마운티드 디스플레이 디바이스의 포지션 및 배향이 검출 및 추적될 수 있다. 헤드 마운티드 디스플레이 디바이스의 검출된 포지션 및 배향은, 시스템이, 차례로, 사용자의 머리 응시 방향, 및 머리 응시 움직임, 및 헤드 마운티드 디스플레이 디바이스의 포지션 및 배향과 관련된 다른 정보를 검출 및 추적하게 할 수 있다.
일부 구현들에서, 헤드 마운티드 디스플레이 디바이스는, 예를 들어, 눈 응시 방향 및 움직임을 검출 및 추적하기 위한 하나 이상의 센서들을 포함하는 응시 추적 디바이스를 포함할 수 있다. 센서(들)에 의해 캡처된 이미지들이 사용자의 눈 응시의 방향 및 움직임을 검출 및 추적하도록 프로세싱될 수 있다. 검출 및 추적된 눈 응시는 몰입형 가상 경험에서의 대응하는 상호작용으로 변환될 사용자 입력으로서 프로세싱될 수 있다. 카메라가, 헤드 마운티드 디스플레이 디바이스와 통신하는/동작가능하게 커플링되는 사용자 및/또는 다른 외부 디바이스들의 물리적 포지션을 추적하는 것을 돕는 데 사용될 수 있는 정지 그리고/또는 움직이는 이미지들을 캡처할 수 있다. 캡처된 이미지들은 또한 패스 스루 모드(pass through mode)에서 디스플레이 상에서 사용자에게 디스플레이될 수 있다.
콘텐츠 서버(302)가 하나의 디바이스로서 예시되어 있지만, 콘텐츠 서버(302)에 의해 수행되는 기능들은 일부 실시예들에서 임의의 적합한 수의 디바이스들을 사용하여 수행될 수 있다. 예를 들어, 일부 실시예들에서, 콘텐츠 서버(302)에 의해 수행되는 기능들을 구현하기 위해 다수의 디바이스들이 사용될 수 있다. 더 구체적인 예에서, 일부 실시예들에서, 제1 콘텐츠 서버는 미디어 콘텐츠 아이템들을 저장하고 미디어 콘텐츠에 대한 요청들에 응답할 수 있고, 제2 콘텐츠 서버는 요청된 미디어 콘텐츠 아이템에 대응하는 가상 객체들의 섬네일 표현들을 생성할 수 있다.
도면을 지나치게 복잡하게 하는 것을 회피하기 위해 2개의 사용자 디바이스들(308 및 310)이 도 3에 도시되어 있지만, 임의의 적합한 수의 사용자 디바이스들, 및/또는 임의의 적합한 타입들의 사용자 디바이스들이 일부 실시예들에서 사용될 수 있다.
콘텐츠 서버(302) 및 사용자 디바이스들(306)은 일부 실시예들에서 임의의 적합한 하드웨어를 사용하여 구현될 수 있다. 예를 들어, 일부 실시예들에서, 디바이스들(302 및 306)은 임의의 적합한 범용 컴퓨터 또는 특수 목적 컴퓨터를 사용하여 구현될 수 있다. 예를 들어, 모바일 폰이 특수 목적 컴퓨터를 사용하여 구현될 수도 있다. 임의의 그러한 범용 컴퓨터 또는 특수 목적 컴퓨터는 임의의 적합한 하드웨어를 포함할 수 있다. 예를 들어, 도 4의 예시적인 하드웨어(400)에 예시된 바와 같이, 그러한 하드웨어는 하드웨어 프로세서(402), 메모리 및/또는 스토리지(404), 입력 디바이스 컨트롤러(406), 입력 디바이스(408), 디스플레이/오디오 드라이버들(410), 디스플레이 및 오디오 출력 회로부(412), 통신 인터페이스(들)(414), 안테나(416), 및 버스(418)를 포함할 수 있다.
하드웨어 프로세서(402)는, 일부 실시예들에서 마이크로프로세서, 마이크로-컨트롤러, 디지털 신호 프로세서(들), 전용 로직, 및/또는 범용 컴퓨터 또는 특수 목적 컴퓨터의 기능을 제어하기 위한 임의의 다른 적합한 회로부와 같은 임의의 적합한 하드웨어 프로세서를 포함할 수 있다. 일부 실시예들에서, 하드웨어 프로세서(402)는 (예를 들어, 콘텐츠 서버(402)와 같은) 서버의 메모리 및/또는 스토리지(404)에 저장되는 서버 프로그램에 의해 제어될 수 있다. 예를 들어, 일부 실시예들에서, 서버 프로그램은 하드웨어 프로세서(402)로 하여금 미디어 콘텐츠 아이템을 사용자 디바이스(206)에 송신하게 하고, 비디오 콘텐츠 아이템을 몰입형 비디오 콘텐츠로서 렌더링하는 것을 제시하거나, 그리고/또는 임의의 다른 적합한 액션들을 수행하기 위한 명령어들을 송신하게 할 수 있다. 일부 실시예들에서, 하드웨어 프로세서(402)는 사용자 디바이스(406)의 메모리 및/또는 스토리지(404)에 저장되는 컴퓨터 프로그램에 의해 제어될 수 있다. 예를 들어, 컴퓨터 프로그램은 하드웨어 프로세서(402)로 하여금 비디오 콘텐츠 아이템을 몰입형 비디오 콘텐츠로서 렌더링하게 하거나, 그리고/또는 임의의 다른 적합한 액션들을 수행하게 할 수 있다.
메모리 및/또는 스토리지(404)는, 일부 실시예들에서 프로그램들, 데이터, 미디어 콘텐츠, 및/또는 임의의 다른 적합한 정보를 저장하기 위한 임의의 적합한 메모리 및/또는 스토리지일 수 있다. 예를 들어, 메모리 및/또는 스토리지(404)는 랜덤 액세스 메모리, 판독 전용 메모리, 플래시 메모리, 하드 디스크 스토리지, 광학 매체들, 및/또는 임의의 다른 적합한 메모리를 포함할 수 있다.
입력 디바이스 컨트롤러(406)는, 일부 실시예들에서 하나 이상의 입력 디바이스들(408)로부터의 입력을 제어 및 수신하기 위한 임의의 적합한 회로부일 수 있다. 예를 들어, 입력 디바이스 컨트롤러(406)는, 터치스크린으로부터, 키보드로부터, 마우스로부터, 하나 이상의 버튼들로부터, 음성 인식 회로로부터, 마이크로폰으로부터, 카메라로부터, 광학 센서로부터, 가속도계로부터, 온도 센서로부터, 근접장 센서로부터, 그리고/또는 임의의 다른 타입의 입력 디바이스로부터 입력을 수신하기 위한 회로부일 수 있다.
디스플레이/오디오 드라이버들(410)은, 일부 실시예들에서 하나 이상의 디스플레이/오디오 출력 디바이스들(412)로의 출력을 제어 및 구동하기 위한 임의의 적합한 회로부일 수 있다. 예를 들어, 디스플레이/오디오 드라이버들(410)은, 터치스크린, 플랫-패널 디스플레이, 음극선관 디스플레이, 프로젝터, 스피커 또는 스피커들, 및/또는 임의의 다른 적합한 디스플레이 및/또는 프레젠테이션 디바이스들을 구동하기 위한 회로부일 수 있다.
통신 인터페이스(들)(414)는, 도 3에 도시된 바와 같은 네트워크(304)와 같은 하나 이상의 통신 네트워크들과 인터페이싱하기 위한 임의의 적합한 회로부일 수 있다. 예를 들어, 인터페이스(들)(414)는 네트워크 인터페이스 카드 회로부, 무선 통신 회로부, 및/또는 임의의 다른 적합한 타입의 통신 네트워크 회로부를 포함할 수 있다.
안테나(416)는, 일부 실시예들에서 통신 네트워크(예를 들어, 통신 네트워크(304))와 무선 통신하기 위한 임의의 적합한 하나 이상의 안테나들일 수 있다. 일부 실시예들에서, 안테나(416)는 생략될 수 있다.
버스(418)는, 일부 실시예들에서 2개 이상의 컴포넌트들(402, 404, 406, 410, 및 414) 사이에서 통신하기 위한 임의의 적합한 메커니즘일 수 있다.
임의의 다른 적합한 컴포넌트들이 일부 실시예들에 따라 하드웨어(400)에 포함될 수 있다.
일부 실시예들에서, 도 1 및 도 2의 프로세스들의 상술된 블록들 중 적어도 일부는, 도면들에 도시되고 이들과 관련하여 설명되는 순서 및 시퀀스로 제한되지 않는 임의의 순서 또는 시퀀스로 실행 또는 수행될 수 있다. 또한, 도 1 및 도 2의 상기의 블록들 중 일부는 레이턴시 및 프로세싱 시간들을 감소시키기 위해 병렬로 또는 적절하다면 실질적으로 동시에 실행 또는 수행될 수 있다. 부가적으로 또는 대안적으로, 도 1 및 도 2의 프로세스들의 상술된 블록들 중 일부는 생략될 수 있다.
일부 실시예들에서, 본 명세서의 기능들 및/또는 프로세스들을 수행하기 위한 명령어들을 저장하기 위해 임의의 적합한 컴퓨터 판독가능 매체들이 사용될 수 있다. 예를 들어, 일부 실시예들에서, 컴퓨터 판독가능 매체들은 일시적 또는 비일시적일 수 있다. 예를 들어, 비일시적 컴퓨터 판독가능 매체들은, 비일시적 형태들의 자기 매체들(예컨대, 하드 디스크들, 플로피 디스크들, 및/또는 임의의 다른 적합한 자기 매체들), 비일시적 형태들의 광학 매체들(예컨대, 콤팩트 디스크들, 디지털 비디오 디스크들, 블루레이 디스크들, 및/또는 임의의 다른 적합한 광학 매체들), 비일시적 형태들의 반도체 매체들(예컨대, 플래시 메모리, 전기적으로 프로그래밍가능한 판독 전용 메모리(electrically programmable read-only memory)(EPROM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(electrically erasable programmable read-only memory)(EEPROM), 및/또는 임의의 다른 적합한 반도체 매체들), 송신 동안 영속성과의 어떠한 유사성이 전혀 없지 않거나 또는 순간적이지 않은 임의의 적합한 매체들, 및/또는 임의의 적합한 유형(tangible) 매체들과 같은 매체들을 포함할 수 있다. 다른 예로서, 일시적 컴퓨터 판독가능 매체들은, 네트워크들 상의, 배선들, 컨덕터들, 광섬유들, 회로들 내의 신호들, 송신 동안 영속성과의 어떠한 유사성이 전혀 없고 순간적인 임의의 적합한 매체들, 및/또는 임의의 적합한 무형 매체들을 포함할 수 있다.
본 명세서에서 설명되는 시스템들이 사용자들에 관한 개인 정보를 수집하거나, 또는 개인 정보를 사용하는 상황들에서, 사용자들에게는 프로그램들 또는 피처들이 사용자 정보(예를 들어, 사용자의 소셜 네트워크, 소셜 액션들 또는 활동들, 직업, 사용자의 선호도들, 또는 사용자의 현재 위치에 관한 정보)를 수집할지 여부를 제어하는 기회가 제공될 수도 있다. 부가적으로, 개인 정보가 제거되도록, 특정 데이터가 저장 또는 사용되기 전에 그 특정 데이터가 하나 이상의 방식들로 처리될 수도 있다. 예를 들어, 사용자에 대해 어떠한 개인적으로 식별가능한 정보도 결정될 수 없도록 사용자의 아이덴티티가 처리될 수도 있거나, 또는 사용자의 특정 위치가 결정될 수 없도록 (예컨대, 도시, 우편 번호, 또는 주 레벨(state level)로) 위치 정보가 획득된 경우 사용자의 지리적 위치가 일반화될 수도 있다. 따라서, 사용자는 정보가 사용자에 관해 수집되고 콘텐츠 서버에 의해 사용되는 방법을 제어할 수도 있다.
이에 따라, 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들이 제공된다.
본 발명은 전술한 예시적인 실시예들에서 설명 및 예시되었지만, 본 개시내용은 단지 예로서 이루어졌고, 본 발명의 구현의 세부사항들의 수많은 변경들이, 후속하는 청구범위에 의해서만 제한되는, 본 발명의 사상 및 범주로부터 벗어남이 없이 이루어질 수 있다는 것이 이해된다. 개시된 실시예들의 피처들은 다양한 방식들로 조합 및 재배열될 수 있다.

Claims (20)

  1. 몰입형 비디오 콘텐츠(immersive video content)를 생성하기 위한 방법으로서,
    하드웨어 프로세서를 사용하여, 포비에이션 비율 파라미터(foveation ratio parameter)에 따라, 비디오 콘텐츠 아이템의 프레임들이 투영되어야 하는 포비에이티드 메시(foveated mesh)를 생성하는 단계 - 상기 포비에이티드 메시는, 상기 비디오 콘텐츠 아이템의 각각의 프레임의 주변 부분들과 비교하여 상기 비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 픽셀 밀도를 증가시키는 불균일한 포지션 맵을 가짐 -; 및
    상기 하드웨어 프로세서를 사용하여, 등장방형 입력 메시(equirectangular input mesh) 대신에 상기 생성된 포비에이티드 메시를 포함하는 파일 포맷으로 상기 비디오 콘텐츠 아이템을 저장하는 단계 - 상기 몰입형 비디오 콘텐츠는 상기 생성된 포비에이티드 메시에 상기 비디오 콘텐츠 아이템을 텍스처로서 적용함으로써 렌더링됨 -
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 포비에이티드 메시는 다항식 피팅 함수(polynomial fitting function)를 사용하여 크로핑된 등장방형 메시의 2차원 UV 맵을 변형시킴으로써 생성되는, 방법.
  3. 제1항에 있어서,
    상기 제1 포비에이티드 메시는 제1 포비에이션 비율 파라미터에 기초하여 제1 포비에이티드 메시를 생성하고 제2 포비에이션 비율 파라미터에 기초하여 제2 포비에이티드 메시를 생성함으로써 생성되는, 방법.
  4. 제1항에 있어서,
    상기 포비에이티드 메시는, 상기 비디오 콘텐츠 아이템이 제1 픽셀 해상도로부터 제2 픽셀 해상도로의 다운샘플링 비율로 다운샘플링된다는 결정에 응답하여 생성되고, 상기 비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 개선 비율이 상기 다운샘플링 비율과 대응하는, 방법.
  5. 몰입형 비디오 콘텐츠(immersive video content)를 생성하기 위한 방법으로서,
    비디오 콘텐츠 아이템을 수신하는 단계;
    하드웨어 프로세서를 사용하여, 상기 비디오 콘텐츠 아이템이 몰입형 콘텐츠를 포함하는지 여부를 결정하는 단계;
    상기 비디오 콘텐츠 아이템이 몰입형 콘텐츠를 포함한다는 결정에 응답하여, 상기 하드웨어 프로세서를 사용하여, 등장방형 입력 메시와 현재 연관되는 상기 비디오 콘텐츠의 스테레오스코픽 콘텐츠를 트랜스코딩하기 위해 포비에이티드 메시가 생성되어야 한다고 결정하는 단계; 및
    상기 비디오 콘텐츠 아이템과의 연관을 위해 상기 포비에이티드 메시를 생성하는 단계
    를 포함하는 방법.
  6. 제5항에 있어서,
    상기 수신된 비디오 콘텐츠 아이템이 특정 파일 포맷과 연관되는지 여부를 결정하는 단계를 더 포함하는, 방법.
  7. 제6항에 있어서,
    상기 특정 파일 포맷은, 180도 시야를 갖는 지향성 스테레오스코픽 투영을 사용하는 VR180 파일 포맷을 포함하는, 방법.
  8. 제5항에 있어서,
    상기 수신된 비디오 콘텐츠 아이템이 정적 비디오인지 또는 동적 비디오인지 여부를 결정하는 단계를 더 포함하고, 상기 정적 비디오는, 상기 비디오 콘텐츠가 캡처되었을 때 카메라가 실질적으로 움직이지 않은 비디오 콘텐츠를 포함하고, 상기 동적 비디오는 카메라 모션 메타데이터 트랙을 포함하고, 상기 방법은 상기 수신된 비디오 콘텐츠 아이템이 상기 정적 비디오라는 결정에 응답하여 상기 포비에이티드 메시를 생성하는 단계를 더 포함하는, 방법.
  9. 제5항에 있어서,
    사용자 디바이스로부터 상기 비디오 콘텐츠 아이템에 대한 요청을 수신하는 것에 응답하여, 상기 비디오 콘텐츠 및 상기 생성된 포비에이티드 메시를 상기 사용자 디바이스에 송신하는 단계를 더 포함하는, 방법.
  10. 제5항에 있어서,
    상기 포비에이티드 메시는 다항식 피팅 함수(polynomial fitting function)를 사용하여 크로핑된 등장방형 메시의 2차원 UV 맵을 변형시킴으로써 생성되는, 방법.
  11. 몰입형 비디오 콘텐츠를 생성하기 위한 시스템으로서,
    메모리; 및
    하드웨어 프로세서
    를 포함하고, 상기 하드웨어 프로세서는, 상기 메모리에 저장되는 컴퓨터 실행가능 명령어들을 실행할 때:
    포비에이션 비율 파라미터(foveation ratio parameter)에 따라, 비디오 콘텐츠 아이템의 프레임들이 투영되어야 하는 포비에이티드 메시(foveated mesh)를 생성하고 - 상기 포비에이티드 메시는, 상기 비디오 콘텐츠 아이템의 각각의 프레임의 주변 부분들과 비교하여 상기 비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 픽셀 밀도를 증가시키는 불균일한 포지션 맵을 가짐 -; 및
    상기 하드웨어 프로세서를 사용하여, 등장방형 입력 메시(equirectangular input mesh) 대신에 상기 생성된 포비에이티드 메시를 포함하는 파일 포맷으로 상기 비디오 콘텐츠 아이템을 저장 - 상기 몰입형 비디오 콘텐츠는 상기 생성된 포비에이티드 메시에 상기 비디오 콘텐츠 아이템을 텍스처로서 적용함으로써 렌더링됨 - 하도록 구성되는, 시스템.
  12. 제11항에 있어서,
    상기 포비에이티드 메시는 다항식 피팅 함수(polynomial fitting function)를 사용하여 크로핑된 등장방형 메시의 2차원 UV 맵을 변형시킴으로써 생성되는, 시스템.
  13. 제11항에 있어서,
    상기 제1 포비에이티드 메시는 제1 포비에이션 비율 파라미터에 기초하여 제1 포비에이티드 메시를 생성하고 제2 포비에이션 비율 파라미터에 기초하여 제2 포비에이티드 메시를 생성함으로써 생성되는, 시스템.
  14. 제11항에 있어서,
    상기 포비에이티드 메시는, 상기 비디오 콘텐츠 아이템이 제1 픽셀 해상도로부터 제2 픽셀 해상도로의 다운샘플링 비율로 다운샘플링된다는 결정에 응답하여 생성되고, 상기 비디오 콘텐츠 아이템의 각각의 프레임의 중앙 부분에서의 개선 비율이 상기 다운샘플링 비율과 대응하는, 시스템.
  15. 몰입형 비디오 콘텐츠를 생성하기 위한 시스템으로서,
    메모리; 및
    하드웨어 프로세서
    를 포함하고, 상기 하드웨어 프로세서는, 상기 메모리에 저장되는 컴퓨터 실행가능 명령어들을 실행할 때:
    비디오 콘텐츠 아이템을 수신하고;
    상기 비디오 콘텐츠 아이템이 몰입형 콘텐츠를 포함하는지 여부를 결정하고;
    상기 비디오 콘텐츠 아이템이 몰입형 콘텐츠를 포함한다는 결정에 응답하여, 등장방형 입력 메시와 현재 연관되는 상기 비디오 콘텐츠의 스테레오스코픽 콘텐츠를 트랜스코딩하기 위해 포비에이티드 메시가 생성되어야 한다고 결정하고; 그리고
    상기 비디오 콘텐츠 아이템과의 연관을 위해 상기 포비에이티드 메시를 생성하도록 구성되는, 시스템.
  16. 제15항에 있어서,
    상기 하드웨어 프로세서는 상기 수신된 비디오 콘텐츠 아이템이 특정 파일 포맷과 연관되는지 여부를 결정하도록 더 구성되는, 시스템.
  17. 제16항에 있어서,
    상기 특정 파일 포맷은, 180도 시야를 갖는 지향성 스테레오스코픽 투영을 사용하는 VR180 파일 포맷을 포함하는, 시스템.
  18. 제15항에 있어서,
    상기 하드웨어 프로세서는, 상기 수신된 비디오 콘텐츠 아이템이 정적 비디오인지 또는 동적 비디오인지 여부를 결정하도록 더 구성되고, 상기 정적 비디오는, 상기 비디오 콘텐츠가 캡처되었을 때 카메라가 실질적으로 움직이지 않은 비디오 콘텐츠를 포함하고, 상기 동적 비디오는 카메라 모션 메타데이터 트랙을 포함하고, 상기 하드웨어 프로세서는 상기 수신된 비디오 콘텐츠 아이템이 상기 정적 비디오라는 결정에 응답하여 상기 포비에이티드 메시를 생성하도록 추가로 구성되는, 시스템.
  19. 제15항에 있어서,
    상기 하드웨어 프로세서는 사용자 디바이스로부터 상기 비디오 콘텐츠 아이템에 대한 요청을 수신하는 것에 응답하여 상기 비디오 콘텐츠 및 상기 생성된 포비에이티드 메시를 상기 사용자 디바이스에 송신하도록 추가로 구성되는, 시스템.
  20. 제15항에 있어서,
    상기 포비에이티드 메시는 다항식 피팅 함수를 사용하여 상기 크로핑된 등장방형 메시의 2차원 UV 맵을 변형시킴으로써 생성되는, 시스템.
KR1020237032225A 2019-07-28 2019-12-10 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들 KR20230144093A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962879529P 2019-07-28 2019-07-28
US62/879,529 2019-07-28
PCT/US2019/065417 WO2021021235A1 (en) 2019-07-28 2019-12-10 Methods, systems, and media for rendering immersive video content with foveated meshes
KR1020227006176A KR102582407B1 (ko) 2019-07-28 2019-12-10 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227006176A Division KR102582407B1 (ko) 2019-07-28 2019-12-10 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들

Publications (1)

Publication Number Publication Date
KR20230144093A true KR20230144093A (ko) 2023-10-13

Family

ID=69160283

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237032225A KR20230144093A (ko) 2019-07-28 2019-12-10 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
KR1020227006176A KR102582407B1 (ko) 2019-07-28 2019-12-10 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227006176A KR102582407B1 (ko) 2019-07-28 2019-12-10 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들

Country Status (7)

Country Link
US (2) US11375170B2 (ko)
EP (1) EP4005201A1 (ko)
JP (2) JP7392105B2 (ko)
KR (2) KR20230144093A (ko)
CN (1) CN114175630A (ko)
BR (1) BR112022001434A2 (ko)
WO (1) WO2021021235A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230144093A (ko) * 2019-07-28 2023-10-13 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
CN113808231B (zh) * 2021-09-18 2023-04-11 北京百度网讯科技有限公司 信息处理方法及装置、图像渲染方法及装置、电子设备
CN114627221B (zh) * 2021-12-08 2023-11-10 北京蓝亚盒子科技有限公司 一种场景渲染方法、装置及运行器、可读存储介质
KR102586644B1 (ko) * 2021-12-13 2023-10-10 한국전자기술연구원 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법
WO2024085654A1 (en) * 2022-10-19 2024-04-25 Samsung Electronics Co., Ltd. Packing of displacements data in video frames for dynamic mesh coding

Family Cites Families (201)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US6252989B1 (en) * 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6455831B1 (en) * 1998-09-11 2002-09-24 The Research Foundation Of Suny At Buffalo CMOS foveal image sensor chip
US6781585B2 (en) * 2000-01-11 2004-08-24 Sun Microsystems, Inc. Graphics system having a super-sampled sample buffer and having single sample per pixel support
US6664955B1 (en) * 2000-03-15 2003-12-16 Sun Microsystems, Inc. Graphics system configured to interpolate pixel values
US6426755B1 (en) * 2000-05-16 2002-07-30 Sun Microsystems, Inc. Graphics system using sample tags for blur
DE10150428A1 (de) * 2001-10-11 2003-04-30 Siemens Ag Verfahren zur Erzeugung dreidimensionaler, mehrfachaufgelöster Volumenbilder eines Untersuchungsobjekts
US7408572B2 (en) * 2002-07-06 2008-08-05 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
US7495638B2 (en) * 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US8956396B1 (en) * 2005-10-24 2015-02-17 Lockheed Martin Corporation Eye-tracking visual prosthetic and method
JP4013989B2 (ja) * 2006-02-20 2007-11-28 松下電工株式会社 映像信号処理装置、仮想現実感生成システム
US8401246B2 (en) * 2007-11-08 2013-03-19 Topcon Medical Systems, Inc. Mapping of retinal parameters from combined fundus image and three-dimensional optical coherence tomography
US8081808B2 (en) * 2007-11-08 2011-12-20 Topcon Medical Systems, Inc. Retinal thickness measurement by combined fundus image and three-dimensional optical coherence tomography
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US20120142415A1 (en) * 2010-12-03 2012-06-07 Lindsay L Jon Video Show Combining Real Reality and Virtual Reality
US9030583B2 (en) * 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
US9545196B2 (en) * 2012-05-04 2017-01-17 University Of Iowa Research Foundation Automated assessment of glaucoma loss from optical coherence tomography
US11714487B2 (en) * 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US20140267616A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Variable resolution depth representation
US20150019130A1 (en) * 2013-07-09 2015-01-15 Rosemount Aerospace Inc. Dual Function Focal Plane Array Seeker
WO2015154004A1 (en) * 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
WO2015162098A1 (en) * 2014-04-24 2015-10-29 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
US11049269B2 (en) * 2014-06-27 2021-06-29 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US9418472B2 (en) * 2014-07-17 2016-08-16 Google Inc. Blending between street view and earth view
US10397539B2 (en) * 2014-08-25 2019-08-27 Schepens Eye Research Institute Compensating 3D stereoscopic imagery
CA2977051C (en) * 2015-02-17 2023-02-07 Nextvr Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
US10419737B2 (en) * 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10094713B2 (en) * 2015-04-22 2018-10-09 The Boeing Company Hyperspectral demixing using foveated compressive projections
US10037620B2 (en) * 2015-05-29 2018-07-31 Nvidia Corporation Piecewise linear irregular rasterization
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US9607428B2 (en) * 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US10429648B2 (en) * 2015-09-03 2019-10-01 Lawrence Sverdrup Augmented reality head worn device
US9916682B2 (en) * 2015-10-28 2018-03-13 Intel Corporation Variable precision shading
US10726619B2 (en) * 2015-10-29 2020-07-28 Sony Interactive Entertainment Inc. Foveated geometry tessellation
KR102078059B1 (ko) * 2015-11-25 2020-02-17 구글 엘엘씨 프리즘-기반 눈 추적
IL242895B (en) * 2015-12-03 2021-04-29 Eyeway Vision Ltd Image projection system
US11010956B2 (en) * 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering
US20170178395A1 (en) * 2015-12-16 2017-06-22 Google Inc. Light field rendering of an image using variable computational complexity
US9846808B2 (en) * 2015-12-31 2017-12-19 Adaptive Computation, Llc Image integration search based on human visual pathway model
US10877438B2 (en) * 2016-01-07 2020-12-29 Magic Leap, Inc. Dynamic fresnel projector
US10643381B2 (en) * 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
US10643296B2 (en) * 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
WO2017126709A1 (ko) * 2016-01-18 2017-07-27 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102524641B1 (ko) * 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10157448B2 (en) * 2016-02-12 2018-12-18 Qualcomm Incorporated Foveated video rendering
US10475370B2 (en) * 2016-02-17 2019-11-12 Google Llc Foveally-rendered display
US10438400B2 (en) * 2016-03-08 2019-10-08 Nvidia Corporation Perceptually-based foveated rendering using a contrast-enhancing filter
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10401952B2 (en) * 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10192528B2 (en) * 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10394029B2 (en) * 2016-04-04 2019-08-27 Akonia Holographics, Llc Field of view enhancement
US10275928B2 (en) * 2016-04-05 2019-04-30 Qualcomm Incorporated Dual fisheye image stitching for spherical image content
US10192280B2 (en) * 2016-04-08 2019-01-29 Qualcomm Incorporated Per-vertex variable rate shading
GB2553744B (en) * 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
US9721393B1 (en) * 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
US10460501B2 (en) * 2016-07-04 2019-10-29 Liquid Cinema Inc., Canada System and method for processing digital video
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
US10410313B2 (en) * 2016-08-05 2019-09-10 Qualcomm Incorporated Dynamic foveation adjustment
US10438318B2 (en) * 2016-08-30 2019-10-08 Intel IP Corporation Blind spot rendering optimizations for eye tracking head mounted displays
US20180082464A1 (en) * 2016-09-16 2018-03-22 Tomas G. Akenine-Moller Apparatus and method for an efficient 3d graphics pipeline
US10719447B2 (en) * 2016-09-26 2020-07-21 Intel Corporation Cache and compression interoperability in a graphics processor pipeline
US9779478B1 (en) * 2016-10-04 2017-10-03 Oculus Vr, Llc Rendering composite content on a head-mounted display including a high resolution inset
KR102650215B1 (ko) * 2016-10-18 2024-03-21 삼성전자주식회사 영상 처리 방법 및 장치
US10186067B2 (en) * 2016-10-25 2019-01-22 Aspeed Technology Inc. Method and apparatus for generating panoramic image with rotation, translation and warping process
US10262387B2 (en) * 2016-11-14 2019-04-16 Google Llc Early sub-pixel rendering
US10564715B2 (en) * 2016-11-14 2020-02-18 Google Llc Dual-path foveated graphics pipeline
US10082672B2 (en) * 2016-12-01 2018-09-25 Varjo Technologies Oy Display apparatus and method of displaying using electromechanical faceplate
US20180157381A1 (en) * 2016-12-02 2018-06-07 Facebook, Inc. Systems and methods for media item selection within a grid-based content feed
US10482648B2 (en) * 2016-12-13 2019-11-19 Qualcomm Incorporated Scene-based foveated rendering of graphics content
US10200683B2 (en) * 2016-12-21 2019-02-05 Microvision, Inc. Devices and methods for providing foveated scanning laser image projection with depth mapping
US11222397B2 (en) * 2016-12-23 2022-01-11 Qualcomm Incorporated Foveated rendering in tiled architectures
US10616551B2 (en) * 2017-01-27 2020-04-07 OrbViu Inc. Method and system for constructing view from multiple video streams
US10560680B2 (en) * 2017-01-28 2020-02-11 Microsoft Technology Licensing, Llc Virtual reality with interactive streaming video and likelihood-based foveation
US10425643B2 (en) * 2017-02-04 2019-09-24 OrbViu Inc. Method and system for view optimization of a 360 degrees video
US10104288B2 (en) * 2017-02-08 2018-10-16 Aspeed Technology Inc. Method and apparatus for generating panoramic image with stitching process
US10628994B2 (en) * 2017-03-07 2020-04-21 Google Llc Reducing visually induced motion sickness in head mounted display systems
US20180262758A1 (en) * 2017-03-08 2018-09-13 Ostendo Technologies, Inc. Compression Methods and Systems for Near-Eye Displays
US20180269266A1 (en) * 2017-03-16 2018-09-20 Intel Corporation Foveated displays for virtual and augmented reality
US10417739B2 (en) * 2017-03-23 2019-09-17 Google Llc Phase aligned foveated rendering
US10546365B2 (en) * 2017-03-27 2020-01-28 Advanced Micro Devices, Inc. Single pass flexible screen/scale rasterization
US10152822B2 (en) * 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US10649524B2 (en) * 2017-04-07 2020-05-12 Intel Corporation Apparatus and method for foveated rendering, bin comparison and TBIMR memory-backed storage for virtual reality implementations
US20180300951A1 (en) * 2017-04-17 2018-10-18 Intel Corporation Adaptive tessellation for foveated rendering
US10645370B2 (en) * 2017-04-27 2020-05-05 Google Llc Synthetic stereoscopic content capture
CN116456097A (zh) * 2017-04-28 2023-07-18 苹果公司 视频流水线
US10775884B2 (en) * 2017-05-18 2020-09-15 Tectus Corporation Gaze calibration via motion detection for eye mounted displays
KR102270131B1 (ko) * 2017-05-26 2021-06-28 구글 엘엘씨 스파스 샘플링 슈퍼-해상도를 가진 니어-아이 디스플레이
US10885607B2 (en) * 2017-06-01 2021-01-05 Qualcomm Incorporated Storage for foveated rendering
US10572764B1 (en) * 2017-06-05 2020-02-25 Google Llc Adaptive stereo rendering to reduce motion sickness
CN110770796B (zh) * 2017-06-05 2024-03-15 谷歌有限责任公司 平稳变化的中央凹型渲染
US10650544B2 (en) * 2017-06-09 2020-05-12 Sony Interactive Entertainment Inc. Optimized shadows in a foveated rendering system
WO2018227100A1 (en) * 2017-06-09 2018-12-13 Sony Interactive Entertainment Inc. Optimized shadows and adaptive mesh skinning in a foveated rendering system
US10515466B2 (en) * 2017-06-09 2019-12-24 Sony Interactive Entertainment Inc. Optimized deferred lighting in a foveated rendering system
US10621767B2 (en) * 2017-06-12 2020-04-14 Qualcomm Incorporated Fisheye image stitching for movable cameras
KR102111501B1 (ko) * 2017-06-19 2020-05-15 주식회사 케이티 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10319114B2 (en) * 2017-07-13 2019-06-11 Google Llc Foveated compression of display streams
US10397481B2 (en) * 2017-07-13 2019-08-27 Qualcomm Incorporated Stabilization and rolling shutter correction for omnidirectional image content
US10992916B2 (en) * 2017-07-26 2021-04-27 Google Llc Depth data adjustment based on non-visual pose data
US20190035049A1 (en) * 2017-07-31 2019-01-31 Qualcomm Incorporated Dithered variable rate shading
US10403032B2 (en) * 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10948740B2 (en) * 2017-09-19 2021-03-16 Intel Corporation Head-mounted displays having curved lens arrays and generating elemental images for displaying
JP6940349B2 (ja) * 2017-09-21 2021-09-29 株式会社トプコン 眼科装置
US10755383B2 (en) * 2017-09-29 2020-08-25 Apple Inc. Multi-space rendering with configurable transformation parameters
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US10511842B2 (en) * 2017-10-06 2019-12-17 Qualcomm Incorporated System and method for foveated compression of image frames in a system on a chip
US10657695B2 (en) * 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US10643307B2 (en) * 2017-11-10 2020-05-05 Intel Corporation Super-resolution based foveated rendering
US10553016B2 (en) * 2017-11-15 2020-02-04 Google Llc Phase aligned foveated rendering
US10169843B1 (en) * 2017-11-20 2019-01-01 Advanced Micro Devices, Inc. Temporal foveated rendering using motion estimation
CN111164654A (zh) * 2017-11-23 2020-05-15 英特尔公司 自适应中心凹形编码器以及全局运动预测因子
US11012676B2 (en) * 2017-12-13 2021-05-18 Google Llc Methods, systems, and media for generating and rendering immersive video content
US10217488B1 (en) * 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
CN111670453B (zh) * 2017-12-19 2024-03-29 诺基亚技术有限公司 依赖于注视的凹状渲染装置、方法、计算机程序和系统
US10650791B2 (en) * 2017-12-28 2020-05-12 Texas Instruments Incorporated Display system
US10522113B2 (en) * 2017-12-29 2019-12-31 Intel Corporation Light field displays having synergistic data formatting, re-projection, foveation, tile binning and image warping technology
US10949947B2 (en) * 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
KR102532972B1 (ko) * 2017-12-29 2023-05-16 엘지디스플레이 주식회사 표시장치의 보상 방법 및 보상값 저장부를 포함하는 표시장치
US10694170B2 (en) * 2018-03-05 2020-06-23 Valve Corporation Controlling image display via real-time compression in peripheral image regions
JP2021105749A (ja) * 2018-03-20 2021-07-26 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
KR20230051309A (ko) * 2018-04-11 2023-04-17 알카크루즈 인코포레이티드 디지털 미디어 시스템
US10997951B2 (en) * 2018-04-13 2021-05-04 Qualcomm Incorporated Preserving sample data in foveated rendering of graphics content
US11048082B1 (en) * 2018-04-13 2021-06-29 Apple Inc. Wireless bandwidth reduction with display data interleaving
US10529117B2 (en) * 2018-04-16 2020-01-07 Facebook Technologies, Llc Systems and methods for rendering optical distortion effects
WO2020201806A1 (en) * 2018-04-25 2020-10-08 Dhanushan Balachandreswaran Foveated projection system to produce ocular resolution near-eye displays
WO2019217261A1 (en) * 2018-05-07 2019-11-14 Zermatt Technologies Llc Dynamic foveated pipeline
GB2573543B (en) * 2018-05-09 2021-10-27 Advanced Risc Mach Ltd Graphics Processing
US10580334B2 (en) * 2018-05-17 2020-03-03 Tectus Corporation Peripheral femtoprojector optical systems
JP7341166B2 (ja) * 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
US11064387B1 (en) * 2018-05-23 2021-07-13 Apple Inc. Adaptive wireless transmission schemes
US11250819B2 (en) * 2018-05-24 2022-02-15 Lockheed Martin Corporation Foveated imaging system
US11194389B2 (en) * 2018-06-21 2021-12-07 Qualcomm Incorporated Foveated rendering of graphics content using a rendering command and subsequently received eye position data
WO2020006291A1 (en) * 2018-06-28 2020-01-02 Apple Inc. Priority-based video encoding and transmission
US11451788B2 (en) * 2018-06-28 2022-09-20 Apple Inc. Rate control for low latency video encoding and transmission
US10764547B2 (en) * 2018-06-28 2020-09-01 Sony Interactive Entertainment Inc. Foveated near to eye display system using a computational freeform lens via spatial light modulation of a laser projected image onto an emissive film
KR20210011407A (ko) * 2018-06-28 2021-02-01 애플 인크. 비디오 인코딩 시스템
US11962819B2 (en) * 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
US10916040B2 (en) * 2018-07-24 2021-02-09 Apical Ltd. Processing image data using different data reduction rates
US10565689B1 (en) * 2018-08-07 2020-02-18 Qualcomm Incorporated Dynamic rendering for foveated rendering
US11037271B2 (en) * 2018-08-07 2021-06-15 Qualcomm Incorporated Dynamic rendering for foveated rendering
US20200049946A1 (en) * 2018-08-10 2020-02-13 Varjo Technologies Oy Display apparatus and method of displaying using gaze prediction and image steering
US10650568B2 (en) * 2018-09-13 2020-05-12 Qualcomm Incorporated In-flight adaptive foveated rendering
US10775617B2 (en) * 2018-10-24 2020-09-15 Google Llc Eye tracked lens for increased screen resolution
US11138800B1 (en) * 2018-10-31 2021-10-05 Facebook Technologies, Llc Optimizations to reduce multi-channel ray casting for color sampling
US11138747B1 (en) * 2018-11-02 2021-10-05 Facebook Technologies, Llc Interpolation optimizations for a display engine for post-rendering processing
US11244492B2 (en) * 2018-11-02 2022-02-08 Facebook Technologies, Llc. Parallel texture sampling
US11113867B1 (en) * 2018-11-02 2021-09-07 Facebook Technologies, Llc Display engine for post-rendering processing
US10950305B1 (en) * 2018-11-02 2021-03-16 Facebook Technologies, Llc Selective pixel output
GB2578769B (en) * 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
US10825131B2 (en) * 2018-11-13 2020-11-03 Intel Corporation Circular fisheye camera array rectification
US10791282B2 (en) * 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
KR102166158B1 (ko) * 2018-12-19 2020-10-15 (주)이머시브캐스트 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템
US11683464B2 (en) * 2018-12-28 2023-06-20 Canon Kabushiki Kaisha Electronic device, control method, and non-transitorycomputer readable medium
US10937217B2 (en) * 2018-12-28 2021-03-02 Canon Kabushiki Kaisha Electronic device and control method thereof for generating edited VR content
US10831266B2 (en) * 2019-01-03 2020-11-10 International Business Machines Corporation Personalized adaptation of virtual reality content based on eye strain context
CN111506188A (zh) * 2019-01-30 2020-08-07 托比股份公司 用于动态地调整hud的方法和hmd
EP3693061A1 (en) * 2019-02-05 2020-08-12 Gensight Biologics Method for controlling an optogenetic device using filtering and associated devices
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
US11461907B2 (en) * 2019-02-15 2022-10-04 EchoPixel, Inc. Glasses-free determination of absolute motion
US10930244B2 (en) * 2019-02-19 2021-02-23 Apical Limited Data processing systems
WO2020173414A1 (zh) * 2019-02-25 2020-09-03 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示方法和装置
US10810700B2 (en) * 2019-03-05 2020-10-20 Aspeed Technology Inc. Method of adjusting texture coordinates based on control regions in a panoramic image
US20200275071A1 (en) * 2019-03-20 2020-08-27 Anton Zavoyskikh Electronic visual headset
US20200341273A1 (en) * 2019-04-29 2020-10-29 Tecgyver Innovations Oy Method, System and Apparatus for Augmented Reality
US20200349751A1 (en) * 2019-04-30 2020-11-05 Number 9, LLC Presentation interface and immersion platform
US11508109B2 (en) * 2019-06-10 2022-11-22 Qualcomm Incorporated Methods and apparatus for machine learning rendering
US10997773B2 (en) * 2019-06-13 2021-05-04 Facebook Technologies, Llc Dynamic tiling for foveated rendering
US11606540B2 (en) * 2019-07-22 2023-03-14 Maradin Ltd. System, method and computer program product for laser projection
US10997954B2 (en) * 2019-07-24 2021-05-04 Qualcomm Incorporated Foveated rendering using variable framerates
US10936059B2 (en) * 2019-07-26 2021-03-02 Cajal Corporation Systems and methods for gaze tracking
KR20230144093A (ko) * 2019-07-28 2023-10-13 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
US20220329886A1 (en) * 2019-08-19 2022-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for handling media data streams
GB2587230B (en) * 2019-09-20 2022-09-28 Sony Interactive Entertainment Inc Graphical rendering method and apparatus
US11435821B2 (en) * 2019-09-26 2022-09-06 Apple Inc. Gaze-independent dithering for dynamically foveated displays
US11792420B2 (en) * 2019-11-04 2023-10-17 Qualcomm Incorporated Methods and apparatus for foveated compression
EP3938833A1 (en) * 2019-11-22 2022-01-19 Apple Inc. Display systems having multiple light paths for performing foveation
GB2589325B (en) * 2019-11-26 2021-12-22 Sony Interactive Entertainment Inc Image rendering method and apparatus
ES2960694T3 (es) * 2019-12-03 2024-03-06 Discovery Communications Llc Vista 360 no intrusiva sin cámara en el punto de vista
US11176637B2 (en) * 2019-12-03 2021-11-16 Facebook Technologies, Llc Foveated rendering using eye motion
US11132056B2 (en) * 2019-12-04 2021-09-28 Facebook Technologies, Llc Predictive eye tracking systems and methods for foveated rendering for electronic displays
KR20210096449A (ko) * 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
US11244660B2 (en) * 2020-03-13 2022-02-08 Apple Inc. Recovery from eye-tracking loss in foveated displays
US20210319533A1 (en) * 2020-04-08 2021-10-14 Electronics And Telecommunications Research Institute Apparatus, method and system for generating a foveated image
US20200294209A1 (en) * 2020-05-30 2020-09-17 Intel Corporation Camera feature removal from stereoscopic content
US11210840B1 (en) * 2020-08-27 2021-12-28 Aspeed Technology Inc. Transform method for rendering post-rotation panoramic images
US11616909B2 (en) * 2020-12-08 2023-03-28 Aspeed Technology Inc. Method of compensating for color differences between adjacent lens images in a panoramic image
US11748842B2 (en) * 2021-04-13 2023-09-05 Qualcomm Incorporated Methods and apparatus for content shifting in foveated rendering
US11308920B1 (en) * 2021-05-07 2022-04-19 Facebook Technologies, Llc. Display artifact reduction
US20220400243A1 (en) * 2021-06-15 2022-12-15 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US11875473B2 (en) * 2021-06-15 2024-01-16 Aspeed Technology Inc. Method for generating projection image with scaling adjustment and seam cut stitching
US11743600B2 (en) * 2021-08-12 2023-08-29 Aspeed Technology Inc. Multiple-processor system for multiple-lens camera and method thereof
US11595574B1 (en) * 2021-12-29 2023-02-28 Aspeed Technology Inc. Image processing system and method thereof for generating projection images based on inward or outward multiple-lens camera
US11917011B2 (en) * 2022-01-10 2024-02-27 Meta Platforms Technologies, Llc Resilient rendering for augmented-reality devices
WO2023141460A1 (en) * 2022-01-21 2023-07-27 Dragonfly Optics Llc Methods, apparatus, and articles to enhance brain function via presentation of visual effects in far and/or ultra-far peripheral field
US20230300338A1 (en) * 2022-03-16 2023-09-21 Apple Inc. Resolution-based video encoding

Also Published As

Publication number Publication date
US20210029340A1 (en) 2021-01-28
US11375170B2 (en) 2022-06-28
US20220321858A1 (en) 2022-10-06
KR20220036974A (ko) 2022-03-23
EP4005201A1 (en) 2022-06-01
CN114175630A (zh) 2022-03-11
JP7392105B2 (ja) 2023-12-05
JP2024026151A (ja) 2024-02-28
BR112022001434A2 (pt) 2022-06-07
JP2022542510A (ja) 2022-10-04
KR102582407B1 (ko) 2023-09-26
WO2021021235A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
KR102582407B1 (ko) 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
KR102582375B1 (ko) 2d/3d 혼합 콘텐츠의 검출 및 디스플레이
US11523103B2 (en) Providing a three-dimensional preview of a three-dimensional reality video
US10725297B2 (en) Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US10681341B2 (en) Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
WO2019002559A1 (en) SCREEN SHARING FOR DISPLAY IN A VIRTUAL REALITY
US11032535B2 (en) Generating a three-dimensional preview of a three-dimensional video
US11589027B2 (en) Methods, systems, and media for generating and rendering immersive video content
KR20180130504A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램
EP3676794A1 (en) Zooming an omnidirectional image or video
KR101897789B1 (ko) 3차원 바탕화면 제공 방법 및 시스템
US20200257112A1 (en) Content generation apparatus and method
CN110709839A (zh) 用于呈现媒体内容预览的方法、系统和介质
JP7172036B2 (ja) ３ｄｃｇ空間の鑑賞条件連動システム、方法、およびプログラム
EP3367158A1 (en) Rendering content
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
WO2022230253A1 (ja) 情報処理装置及び情報処理方法
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质
KR20140119870A (ko) 멀티미디어 콘텐츠 제공장치 및 이의 위치 및 자세에 따른 콘텐츠 제공방법

Legal Events

Date Code Title Description
A107 Divisional application of patent