KR20210024071A - 장면의 이미지들을 생성하기 위한 장치 및 방법 - Google Patents

장면의 이미지들을 생성하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20210024071A
KR20210024071A KR1020217002224A KR20217002224A KR20210024071A KR 20210024071 A KR20210024071 A KR 20210024071A KR 1020217002224 A KR1020217002224 A KR 1020217002224A KR 20217002224 A KR20217002224 A KR 20217002224A KR 20210024071 A KR20210024071 A KR 20210024071A
Authority
KR
South Korea
Prior art keywords
pose
anchor
observer
poses
render
Prior art date
Application number
KR1020217002224A
Other languages
English (en)
Inventor
크리스티안 바레캠프
패트릭 룩 엘스 반데왈르
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20210024071A publication Critical patent/KR20210024071A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

장치는 장면에 대한 앵커 포즈들의 세트뿐만 아니라, 전형적으로 장면에 대한 3D 이미지 데이터를 저장하는 저장부(209)를 포함한다. 수신기(201)는 관찰자에 대한 관찰자 포즈들을 수신하고, 렌더 포즈 프로세서(203)는 관찰자 포즈의 현재 관찰자 포즈에 대해 장면에서 렌더 포즈를 결정하며, 렌더 포즈는 기준 앵커 포즈에 대해 결정된다. 검색기(207)는 기준 앵커 포즈에 대한 3D 이미지 데이터를 검색하고, 합성기(205)는 3D 이미지 데이터에 응답하여 렌더 포즈에 대한 이미지들을 합성한다. 선택기는 앵커 포즈들의 세트로부터 기준 앵커 포즈를 선택하고, 관찰자 포즈들에 응답하여, 기준 앵커 포즈를 앵커 포즈들의 세트 중 제1 앵커 포즈로부터 앵커 포즈들의 세트 중 제2 앵커 포즈로 스위칭하도록 배열된다.

Description

장면의 이미지들을 생성하기 위한 장치 및 방법
본 발명은 장면에 대한 이미지들을 생성하기 위한 장치 및 방법에 관한 것으로, 배타적이 아니라 구체적으로는, 가상 장면에 액세스하는 가상 현실 애플리케이션에 대한 이미지들의 생성에 관한 것이다.
이미지 및 비디오 애플리케이션들의 다양성 및 범위는 최근 몇 년간 실질적으로 증가하였으며, 비디오를 이용하고 소비하는 새로운 서비스들 및 방식들이 계속하여 개발되고 도입되고 있다.
예를 들어, 점점 더 대중화되고 있는 하나의 서비스는 관찰자(viewer)가 렌더링의 파라미터들을 변경하기 위해 시스템과 능동적으로 그리고 동적으로 상호작용할 수 있는 방식으로 이미지 시퀀스들을 제공하는 것이다. 많은 애플리케이션에서 매우 매력적인 특징은, 예를 들어 관찰자가 제시되는 장면에서 움직이고 "둘러보는" 것을 가능하게 하는 것과 같은, 관찰자의 유효 관찰 위치 및 관찰 방향을 변경하는 능력이다.
그러한 특징은 특히 가상 현실 경험이 사용자에게 제공되는 것을 가능하게 할 수 있다. 이것은 사용자가 가상 환경에서 (비교적) 자유롭게 이동하고 그의 위치 및 그가 보고 있는 곳을 동적으로 변경하는 것을 허용할 수 있다. 전형적으로, 그러한 가상 현실 애플리케이션들은 장면의 3차원 모델에 기초하며, 이 모델은 특정 요청된 뷰(view)를 제공하기 위해 동적으로 평가된다. 이러한 접근법은 예를 들어 컴퓨터 및 콘솔에 대한 1인칭 슈터의 카테고리에서와 같은 게임 애플리케이션으로부터 잘 알려져 있다.
특히 가상 현실 애플리케이션들에 대해, 제시되는 이미지가 3차원 이미지인 것이 또한 바람직하다. 실제로, 관찰자의 몰입을 최적화하기 위해, 전형적으로 사용자가 제시된 장면을 3차원 장면으로서 경험하는 것이 바람직하다. 실제로, 가상 현실 경험은 바람직하게는 사용자가 가상 세계에 대한 그/그녀 자신의 위치, 카메라 시점(viewpoint), 및 시간적 순간을 선택하는 것을 허용해야 한다.
전형적으로, 가상 현실 애플리케이션들은 이들이 장면의 미리 결정된 모델에 기초하고, 전형적으로 가상 세계의 인공 모델에 기초한다는 점에서 본질적으로 제한된다. 가상 현실 경험이 현실 세계 캡처에 기초하여 제공될 수 있다면 바람직할 것이다. 그러나, 많은 경우에, 그러한 접근법은 매우 제한되거나 현실 세계의 가상 모델이 현실 세계 캡처들로부터 구축될 것을 요구하는 경향이 있다. 이어서, 이러한 모델을 평가함으로써 가상 현실 경험이 생성된다.
그러나, 현재의 접근법들은 준최적(suboptimal)인 경향이 있고, 종종 높은 계산 또는 통신 리소스 요건을 갖는 경향이 있고/있거나, 예컨대 감소된 품질 또는 제한된 자유를 갖는 준최적의 사용자 경험을 제공하는 경향이 있다.
애플리케이션의 일례로서, 가상 현실 안경이 시장에 진입했다. 이러한 안경은 관찰자가 캡처된 360도(파노라마) 또는 180도 비디오를 경험할 수 있게 한다. 이러한 360도 비디오는 종종, 개별 이미지들이 단일 구면 매핑으로 함께 스티칭(stitching)되는 카메라 리그(camera rig)들을 사용하여 미리 캡처된다. 180 또는 360 비디오에 대한 일반적인 스테레오 포맷들은 상/하 및 좌/우이다. 논-파노라마 스테레오 비디오와 유사하게, 좌안 및 우안 픽처(picture)들은 단일 H.264 비디오 스트림의 일부로서 압축된다. 단일 프레임을 디코딩한 후에, 관찰자는 그/그녀 주위의 세계를 보기 위해 그/그녀의 머리를 회전시킨다. 일례는, 관찰자가 360도 둘러보기 효과를 경험할 수 있고, 상이한 위치들로부터 기록된 비디오 스트림들 사이에서 개별적으로 스위칭할 수 있는 기록이다. 전환할 때, 다른 비디오 스트림이 로딩되는데, 이는 경험을 중단시킨다.
스테레오 파노라마 비디오 접근법의 한 가지 결점은 관찰자가 가상 세계에서 위치를 변경할 수 없다는 점이다. 파노라마 스테레오 비디오 이외의 파노라마 깊이 맵의 인코딩 및 전송은 클라이언트 측에서의 관찰자의 작은 병진 운동의 보상을 허용할 수 있지만, 그러한 보상은 본질적으로 작은 변동 및 움직임으로 제한될 것이며, 몰입적이고 자유로운 가상 현실 경험을 제공할 수 없을 것이다.
관련 기술은 깊이 맵을 갖는 다수의 시점이 단일 비디오 스트림으로 인코딩 및 전송되는 자유 시점 비디오이다. 비디오 스트림의 비트 레이트는 잘 알려진 시간 예측 스킴(temporal prediction scheme)에 더하여 시점들 간의 각도 의존성을 이용함으로써 감소될 수 있다. 그러나, 이러한 접근법은 여전히 높은 비트 레이트를 요구하며, 생성될 수 있는 이미지 면에서 제한적이다. 그것은 3차원 가상 현실 세계에서 완전히 자유로운 움직임의 경험을 사실상 제공할 수 없다.
유감스럽게도, 종래 기술들 중 어느 것도 이상적인 경험을 전달할 수 없으며, 종종 위치 및 관찰 방향의 변화의 자유에 있어서 제한적인 경향이 있다. 또한, 이러한 기술들은 매우 높은 데이터 레이트를 요구하고 개별 이미지들/뷰들의 생성에 필요한 것보다 더 많은 데이터를 포함하는 데이터 스트림을 제공하는 경향이 있다.
실제로, 가상 현실 서비스들 및 애플리케이션들의 수 및 변동이 증가하고 있지만, 개선된 사용자 경험을 제공하는 것이 여전히 바람직할 것이다. 더 유연하고 직관적인 사용자 경험을 제공하는 것이 특히 바람직할 것이다. 애플리케이션이 고품질 시각적 응답을 제공할 뿐만 아니라, 사용자 제어 및 입력이 직관적이고, 자연스럽고, 유연하고, 사용하기 쉬운 것이 특히 바람직하다.
따라서, 장면, 특히 가상 현실 경험/애플리케이션에 대한 이미지들을 생성하기 위한 개선된 접근법이 유리할 것이다. 특히, 개선된 작동, 증가된 유연성, 감소된 데이터 레이트, 용이한 분배, 감소된 복잡성, 용이한 구현, 감소된 저장 요건, 증가된 이미지 품질, 개선된 그리고/또는 용이한 사용자 제어, 개선된 가상 현실 경험 및/또는 개선된 성능 및/또는 작동을 가능하게 하는 접근법이 유리할 것이다.
따라서, 본 발명은 전술한 불리한 점들 중 하나 이상을 단독으로 또는 임의의 조합으로 바람직하게 완화, 경감 또는 제거하고자 한다.
본 발명의 일 태양에 따르면, 장면의 이미지들을 생성하기 위한 장치로서, 장면에 대한 앵커 포즈(anchor pose)들의 세트를 저장하기 위한 저장부; 관찰자에 대한 관찰자 포즈(viewer pose)들을 수신하기 위한 수신기; 앵커 포즈들의 세트로부터 기준 앵커 포즈를 선택하기 위한 선택기; 관찰자 포즈들 중 현재 관찰자 포즈에 대해 장면에서 제1 렌더 포즈(render pose)를 결정하기 위한 렌더 포즈 프로세서; 기준 앵커 포즈에 대한 제1 3차원 이미지 데이터를 검색하는 검색기; 제1 3차원 이미지 데이터에 응답하여 렌더 포즈에 대한 이미지를 합성하기 위한 합성기를 포함하고, 선택기는 관찰자 포즈들의 변화가 기준을 충족시키는 것에 응답하여 기준 앵커 포즈를 앵커 포즈들의 세트 중 제1 앵커 포즈로부터 앵커 포즈들의 세트 중 제2 앵커 포즈로 스위칭하도록 배열되며, 렌더 포즈 프로세서는 렌더 포즈들로의 관찰자 포즈들의 매핑으로부터 제1 렌더 포즈를 결정하도록 배열되고, 여기서 매핑은 앵커 포즈들의 세트 중 어느 앵커 포즈가 기준 앵커 포즈로서 선택되는지에 의존하는, 장치가 제공된다.
본 발명은 관찰자에 대한 관찰자 포즈들에 응답하여 장면의 이미지들의 개선된 그리고/또는 더 유용한 생성을 제공할 수 있다. 이 접근법은 많은 실시예들에서 유연하고, 효율적이며, 높은 성능의 가상 현실(VR) 애플리케이션에 매우 적합한 이미지 데이터를 제공할 수 있다. 많은 실시예들에서, 이는 개선된 VR 사용자 경험을 허용하거나 가능하게 할 수 있다. 많은 예들에서, 이 접근법은 사용자가 작은 움직임들에 대해 자연스러운 시차(parallax)를 경험하면서도, 예를 들어 사물들을 둘러보기 위해 뷰들을 더 급격하게 변경할 수 있는 사용자 경험을 제공할 수 있다. 사용자는 예를 들어 대부분의 움직임들에 대해 자연스러운 시차를 경험하면서도, 상이한 시점이 요구될 때 상이한 시점으로 순간이동할 수 있다. 또한, 이 접근법은 많은 실시예에서 유리하고 직관적인 사용자 제어를 제공할 수 있다. 예를 들어, 사용자는 자연스럽고 간단한 머리 움직임에 기초하여 상이한 경험들 및 기능들을 제어할 수 있다.
이 접근법은 바람직한 예를 들어 가상적인 현실 경험을 제공하는 데 필요한 기능의 복잡성을 감소시킬 수 있다. 예를 들어, 아주 적은 수의 카메라만이 장면을 캡처하는 것에 기초하여 유연한 경험이 제공될 수 있다. 이 접근법은, 예를 들어 스포츠 이벤트들의 라이브 시간 전송 또는 방송과 같은 실세계 이벤트들의 방송 또는 전송에 매우 유리할 수 있다.
생성된 이미지들은 머리 포즈에 대한 뷰포트(viewport) 이미지들에 대응할 수 있다. 이미지들은 연속 데이터 스트림을 형성하도록 생성될 수 있고, 예를 들어 뷰 이미지들에 대응하는 입체 프레임들의 스트림일 수 있다.
장면은 가상 장면일 수 있고, 구체적으로 인공 가상 장면일 수 있거나, 또는 예컨대 캡처된 실세계 장면, 또는 증강 현실 장면일 수 있다. 관찰자 포즈들은 실세계에서의 관찰자의 포즈를 나타낼 수 있고, 예를 들어 VR 헤드셋에 의해 검출되는 것과 같은 관찰자의 머리 포즈에 구체적으로 대응할 수 있다. 관찰자 포즈는 실세계 좌표계에서 표현될 수 있다. 렌더 포즈 및 앵커 포즈들은 장면 좌표계에서 표현될 수 있다.
일부 실시예들에서, 관찰자 포즈들, 렌더 포즈들 및/또는 앵커 포즈들은 각각 관찰자 위치들, 렌더 위치들 및/또는 앵커 위치들일 수 있다. 앵커 포즈들은 장면을 나타내는 3차원 이미지 데이터가 이용가능한 포즈들일 수 있다. 구체적으로, 앵커 포즈들은 장면에 대한 캡처 포즈들(구체적으로는 장면을 캡처하는 실제 또는 가상 카메라들에 대한 포즈들)일 수 있다.
선택기는 관찰자 포즈들(현재 관찰자 포즈)이 스위치 기준을 충족시키는 경우에 기준 앵커 포즈를 앵커 포즈들의 세트 중 제1 앵커 포즈로부터 앵커 포즈들의 세트 중 제2 앵커 포즈로 스위칭하도록 배열될 수 있다. 일부 실시예들에서, 선택기는 기준을 충족시키는 관찰자 포즈들의 변화에 응답하여 기준 앵커 포즈를 앵커 포즈들의 세트 중 제1 앵커 포즈로부터 앵커 포즈들의 세트 중 제2 앵커 포즈로 스위칭하도록 배열될 수 있다.
사용되는 특정 기준은 개별 실시예들의 특정 요건들과 선호들 및 달성될 원하는 효과들에 의존할 것이다. 유사하게, 매핑의 특성들 및 이것이 앵커 포즈에 따라 어떻게 변하는지는 개별 실시예들의 특정 요건들과 선호들 및 달성될 원하는 효과들에 의존할 것이다.
많은 실시예에서, 매핑은 현재 관찰자 포즈 이외의 어떠한 다른 관찰자 포즈도 고려하지 않을 수 있는 반면, 기준은 현재 관찰자 포즈가 아닌 적어도 하나의 관찰자 포즈(이를 수반하는 요건)의 고려를 포함할 수 있다. 전형적으로, 매핑은 현재 관찰자 포즈만을 포함할 수 있는 반면, 기준 앵커 포즈를 스위칭하기 위한 기준은 과거 관찰자 포즈들의 고려를 포함할 수 있다. 기준은 구체적으로 기준 앵커 포즈의 선택을 위한 히스테리시스를 포함할 수 있다. 앵커 포즈의 선택은 관찰자 포즈들의 이력에 의존할 수 있는 반면, 매핑은 현재 관찰자 포즈만을 고려할 수 있다.
매핑은 일대일 매핑일 수 있다. 앵커 포즈들을 스위칭할 때의 매핑의 변화는 일부 실시예들에서는 순간적일 수 있고, 다른 실시예들에서는 점진적일 수 있다. 일부 실시예들에서, 상이한 앵커 포즈들에 대한 상대적 매핑은 관찰자 포즈의 상대적 변화가 상이한 기준 앵커 포즈들에 대한(즉, 기준 앵커 포즈의 변화가 없을 때의) 렌더 포즈의 동일한 상대적 변화에 매핑되도록 할 수 있다.
본 발명의 선택적인 특징에 따르면, 렌더 포즈 프로세서는 관찰자 포즈 값을, 기준 앵커 포즈로서 선택되는 제1 앵커 포즈 및 기준 앵커 포즈로서 선택되는 제2 앵커 포즈에 대한 상이한 렌더 포즈 값들에 매핑하도록 배열된다.
이는 많은 실시예들에서 개선된 성능 및/또는 작동을 제공할 수 있다.
본 발명의 선택적인 특징에 따르면, 매핑은 앵커 포즈들의 세트 중 어느 앵커 포즈가 기준 앵커 포즈로서 선택되는지에 따라 렌더 포즈에 상이한 오프셋을 적용하는 것을 포함한다.
이는 많은 실시예들에서 특히 유리한 작동을 제공할 수 있다. 많은 실시예들에서, 동일한 상대/차동 매핑이 각각의 앵커 포즈에 대해 적용될 수 있고, 앵커 포즈들 사이의 변화는 렌더 포즈들에 대한 포즈 오프셋의 변화를 초래할 수 있다.
본 발명의 선택적인 특징에 따르면, 렌더 포즈 프로세서는 동일한 기준 앵커 포즈에 대해 관찰자 포즈들을 렌더 포즈들에 매핑하여 제1 방향에서의 관찰자 포즈들의 변화가 제1 방향에서의 렌더 포즈들의 변화에 매핑되게 하도록 배열된다.
이는 많은 실시예들에서 특히 유리한 작동을 제공할 수 있다.
본 발명의 선택적인 특징에 따르면, 매핑은 렌더 포즈로부터 기준 앵커 포즈까지의 거리가 임계값을 초과하지 않는 일정한 선형 매핑이다.
이는 많은 실시예들에서 특히 유리한 작동을 제공할 수 있고, 특히 관찰자 포즈의 비교적 작은 변화들에 대한 자연스러운 뷰잉 경험을 가능하게 할 수 있다.
일부 실시예들에서, 매핑은 렌더 포즈로부터 기준 앵커 포즈까지의 거리가 임계값을 초과하지 않는 일정한 선형 매핑일 수 있다.
본 발명의 선택적인 특징에 따르면, 선형 매핑은 50% 이상 및 150% 이하의 축척 계수(scale factor)를 갖는다.
이는 개선된 경험을 제공하고, 특히 자연스러운 경험을 제공하면서도 작동에서의 소정의 적응을 가능하게 할 수 있다. 많은 실시예들에서, 축척 계수는 100%여서, 자연적인 시차를 갖는 더 자연스런 경험을 초래할 수 있다. 축척 계수는 관찰자 포즈의 포즈 거리와 렌더 포즈에서의 대응하는 (매핑된) 포즈 거리 사이의 비(ratio)를 반영할 수 있다.
본 발명의 선택적인 특징에 따르면, 선택기는 제1 관찰자 포즈가 제1 관찰자 포즈와 기준 관찰자 포즈 사이의 제1 거리가 임계값을 초과한다는 요건을 포함하는 기준을 충족시킨다는 검출에 응답하여 기준 앵커 포즈를 스위칭하도록 배열된다.
이는 효율적이고 직관적인 경험을 제공하면서도, 낮은 복잡성만을 요구할 수 있다. 기준 관찰자 포즈는 구체적으로 기준 앵커 포즈에 매핑되는 포즈일 수 있다.
본 발명의 선택적인 특징에 따르면, 선택기는 앵커 포즈들의 세트 중 어느 앵커 포즈가 기준 앵커 포즈로서 선택되는지에 따라 기준 관찰자 포즈를 수정하도록 배열된다.
이는 많은 실시예들에서 개선된 경험을 제공할 수 있다. 이는 특히 기준 앵커 포즈들을 언제 스위칭할지에 대한 개선된 제어를 가능하게 할 수 있다. 이는, 예를 들어 관찰자 포즈에 대한 상이한 포즈 영역들이 상이한 기준 앵커 포즈들에 매핑되어 제어를 용이하게 하는 접근법을 가능하게 할 수 있다.
본 발명의 선택적인 특징에 따르면, 제1 거리는 앵커 포즈들의 세트 중 어느 앵커 포즈가 기준 앵커 포즈로서 선택되는지에 의존한다.
이는 많은 실시예에서 개선된 성능을 제공할 수 있다.
본 발명의 선택적 특징에 따르면, 제1 거리는 제1 관찰자 포즈의 위치와 기준 관찰자 포즈의 위치 사이의 거리이고, 선택기는 관찰자 포즈의 배향과 기준 배향 사이의 차이에 따라 임계값을 적응시키도록 배열된다.
이는 개선된 경험을 제공할 수 있다. 이는 특히 많은 실시예들에서 사용자가 그의 머리를 돌리고 있는지 또는 그가 그의 머리를 움직여 예를 들어 전경 객체를 둘러보고 있는지에 대한 개선된 적응 및 그 추정을 가능하게 할 수 있다.
본 발명의 선택적 특징에 따르면, 임계값은 차이의 단조 증가 함수이다.
이는 개선된 경험을 제공할 수 있다.
본 발명의 선택적인 특징에 따르면, 선택기는 관찰자 포즈들의 변화율에 응답하여 기준 앵커 포즈를 스위칭하도록 배열된다.
이는 많은 시나리오들에서 사용자에게 개선된 경험을 제공할 수 있다. 예를 들어, 앵커 포즈를 스위칭하는 데 필요한 임계 거리는 관찰자 포즈들의 배향의 증가하는 변화율에 대해 감소될 수 있다.
본 발명의 선택적인 특징에 따르면, 검색기는 또한 앵커 포즈들의 세트 중 제2 앵커 포즈에 대한 제2 3차원 이미지 데이터를 검색하도록 배열되고, 합성기는 제2 3차원 데이터를 사용하여 이미지를 합성하도록 배열되며, 제1 3차원 데이터는 제2 3차원 데이터보다 더 높은 품질 레벨을 갖는다.
이는 많은 애플리케이션들에서 데이터 레이트의 바람직하지 않게 높은 증가 없이 개선된 이미지 품질을 가능하게 할 수 있다.
본 발명의 일 태양에 따르면, 장면의 이미지들을 생성하는 방법으로서, 장면에 대한 앵커 포즈들의 세트를 저장하는 단계; 관찰자에 대한 관찰자 포즈들을 수신하는 단계; 앵커 포즈들의 세트로부터 기준 앵커 포즈를 선택하는 단계; 관찰자 포즈들 중 현재 관찰자 포즈에 대해 장면에서 제1 렌더 포즈를 결정하는 단계로서, 제1 렌더 포즈는 기준 앵커 포즈에 대해 결정되는, 상기 제1 렌더 포즈를 결정하는 단계; 기준 앵커 포즈에 대한 제1 3차원 이미지 데이터를 검색하는 단계; 제1 3차원 이미지 데이터에 응답하여 렌더 포즈에 대한 이미지를 합성하는 단계
를 포함하고, 선택은 관찰자 포즈들의 변화가 기준을 충족시키는 것에 응답하여 기준 앵커 포즈를 앵커 포즈들의 세트 중 제1 앵커 포즈로부터 앵커 포즈들의 세트 중 제2 앵커 포즈로 스위칭하는 것을 포함하는, 방법이 제공된다.
본 발명의 이들 및 다른 태양들, 특징들 및 이점들이 후술되는 실시예(들)로부터 명백할 것이고 그것을 참조하여 설명될 것이다.
본 발명의 실시예들이 도면들을 참조하여 단지 예로서 설명될 것이다.
도 1은 가상 현실 경험을 제공하기 위한 클라이언트 서버 배열의 예를 도시한다.
도 2는 본 발명의 일부 실시예들에 따른 장치의 요소들의 예를 도시한다.
도 3은 도 2의 장치의 일부 예시적인 구현들에 의한 렌더 포즈들로의 관찰자 포즈들의 매핑의 예를 도시한다.
도 4는 도 2의 장치의 일부 예시적인 구현들에 의한 렌더 포즈들로의 관찰자 포즈들의 매핑의 예를 도시한다.
도 5는 도 2의 장치의 일부 예시적인 구현들에 의한 렌더 포즈들로의 관찰자 포즈들의 매핑의 예를 도시한다.
도 6은 관찰자 움직임의 예를 도시한다.
도 7은 관찰자 움직임의 예를 도시한다.
도 8은 관찰자 움직임의 예를 도시한다.
도 9는 관찰자 움직임의 예를 도시한다.
도 10은 도 2의 장치의 일부 예시적인 구현들에 의해 사용되는 결정 경계의 예를 도시한다.
도 11은 도 2의 장치의 일부 예시적인 구현들에 의해 사용되는 3D 이미지 데이터의 예를 도시한다.
사용자가 가상 세계에서 여기저기 움직이게 하는 가상 경험들은 점점 더 대중화되고 있고, 그러한 요구를 만족시키기 위한 서비스들이 개발되고 있다. 그러나, 효율적인 가상 현실 서비스들의 제공은, 특히 경험이 완전히 가상으로 생성된 인공 세계에 대해서보다는 오히려 현실 세계 환경의 캡처에 기초하는 것이라면 매우 어렵다.
많은 가상 현실 애플리케이션들에서, 가상 장면 내의 가상 관찰자의 포즈를 반영하는 관찰자 포즈 입력이 결정된다. 이어서 가상 현실 장치/ 시스템/ 애플리케이션은 관찰자 포즈에 대응하는 관찰자에 대한 가상 장면의 뷰들 및 뷰포트들에 대응하는 하나 이상의 이미지들을 생성한다.
통상적으로, 가상 현실 애플리케이션은 좌안 및 우안에 대한 별도의 뷰 이미지들의 형태로 3차원 출력을 생성한다. 이어서 이들은 통상적으로 VR 헤드셋의 개별 좌우안 디스플레이와 같은 적합한 수단에 의해 사용자에게 제시될 수 있다. 다른 실시예들에서, 하나 이상의 뷰 이미지가 예를 들어 자동입체 디스플레이 상에 제시될 수 있거나, 실제로 일부 실시예들에서는 단일 2차원 이미지만이 (예를 들어, 종래의 2차원 디스플레이를 사용하여) 생성될 수 있다.
관찰자 포즈 입력은 상이한 애플리케이션들에서 상이한 방식으로 결정될 수 있다. 많은 실시예들에서, 사용자의 물리적 움직임은 직접 추적될 수 있다. 예를 들어, 사용자 영역을 조사하는 카메라는 사용자의 머리(또는 심지어 눈)을 검출 및 추적할 수 있다. 많은 실시예들에서, 사용자는 외부 및/또는 내부 수단에 의해 추적될 수 있는 VR 헤드셋을 착용할 수 있다. 예를 들어, 헤드셋은 헤드셋의, 그리고 그에 따른 머리의 움직임 및 회전에 관한 정보를 제공하는 가속도계 및 자이로스코프를 포함할 수 있다. 일부 예들에서, VR 헤드셋은 신호들을 전송할 수 있거나 또는 외부 센서가 VR 헤드셋의 위치를 결정하게 하는 (예를 들어 시각적) 식별자들을 포함할 수 있다.
일부 시스템들에서, 관찰자 포즈는 수동 수단으로, 예를 들어 사용자가 조이스틱 또는 유사한 수동 입력을 수동으로 제어함으로써 제공될 수 있다. 예를 들어, 사용자는 제1 아날로그 조이스틱을 한 손으로 제어함으로써 가상 장면에서 가상 관찰자를 수동으로 이동시키고, 다른 손으로 제2 아날로그 조이스틱을 수동으로 이동시킴으로써 가상 관찰자가 보고 있는 방향을 수동으로 제어할 수 있다.
일부 애플리케이션들에서 수동 및 자동 접근법들의 조합은 입력 관찰자 포즈를 생성하는 데 사용될 수 있다. 예를 들어, 헤드셋은 머리의 배향을 추적할 수 있고, 장면 내의 관찰자의 이동/ 위치는 조이스틱을 이용하는 사용자에 의해 제어될 수 있다.
이미지들의 생성은 가상 세계/ 환경/ 장면의 적합한 표현에 기초한다. 일부 애플리케이션들에서, 완전 3차원 모델이 장면에 대하여 제공될 수 있고, 특정 관찰자 포즈로부터의 장면의 뷰는 이 모델을 평가함으로써 결정될 수 있다. 다른 시스템들에서, 가상 장면은 상이한 캡처 포즈들로부터 캡처된 뷰들에 대응하는 이미지 데이터에 의해 표현될 수 있다. 예를 들어, 복수의 캡처 포즈들이 있다면, 완전한 구면 이미지가 3차원(심도 데이터)으로 함께 저장될 수 있다. 이러한 접근법에서, 캡처 포즈들과는 다른 포즈들에 대한 뷰 이미지들은 3차원 이미지 프로세싱, 예컨대, 구체적으로 뷰 시프팅 알고리즘을 이용함으로써 생성될 수 있다. 장면이 개별 뷰 지점들/ 위치들/ 포즈들에 대하여 저장된 뷰 데이터에 의해 설명/ 참조되는 시스템에서, 이들은 또한 앵커 뷰 지점들/ 위치들/ 포즈들로서 지칭될 수 있다. 통상적으로 상이한 지점들/ 위치들/ 포즈들로부터 이미지들을 캡처함으로써 실세계 환경이 캡처되면, 이러한 캡처 지점들/ 위치들/ 포즈들은 또한 앵커 지점들/ 위치들/ 포즈들이다.
통상적인 VR 애플리케이션은 현재 관찰자 포즈에 대한 가상 장면에 대한 뷰포트들에 대응하는 (적어도) 이미지들을 그에 따라 제공하는데, 이미지들은 관찰자 포즈의 변화를 반영하도록 동적으로 업데이트되고, 이미지들은 가상 장면/ 환경/ 세계를 표현하는 데이터에 기초하여 생성된다.
이 분야에서, 배치 및 포즈라는 용어들은 위치 및/또는 방향/배향에 대한 공통 용어로서 사용된다. 예컨대, 객체, 카메라, 헤드, 또는 뷰의 위치와 방향/배향의 조합은 포즈 또는 배치로 지칭될 수 있다. 따라서, 배치 또는 포즈 표시는 6개의 값/성분/자유도를 포함할 수 있고 각각의 값/성분은 전형적으로 대응하는 객체의 위치/위치설정 또는 배향/방향의 개별 특성을 기술한다. 물론, 많은 상황에서, 예를 들어 하나 이상의 성분이 고정되거나 무관한 것으로 고려되는 경우, 배치 또는 포즈가 더 적은 성분으로 표현되거나 더 적은 성분을 갖는 것으로 고려될 수 있다(예를 들어, 모든 객체가 동일한 높이에 있고 수평 배향을 갖는 것으로 고려되는 경우, 4개의 성분이 객체의 포즈에 대한 완전한 표현을 제공할 수 있다). 이하에서, 포즈라는 용어는 1 내지 6개의 값들(최대 가능한 자유도에 대응함)에 의해 표현될 수 있는 위치 및/또는 배향을 지칭하는 데 사용된다.
많은 VR 애플리케이션들은, 즉 위치 및 배향의 각각의 3 자유도가 전체 6 자유도를 만들어내는 최대 자유도를 갖는 포즈에 기초한다. 따라서, 포즈는 6 자유도를 표현하는 6개의 값의 벡터 또는 세트에 의해 표현될 수 있고, 따라서 포즈 벡터는 3차원 위치 및/또는 3차원 방향 표시를 제공할 수 있다. 그러나, 다른 실시예들에서, 포즈는 더 적은 값에 의해 표현될 수 있다는 것을 알 것이다.
관찰자에 최대 자유도를 제공하는 것을 기초로 하는 시스템 또는 개체는 통상적으로 6 자유도(6DoF)를 갖는 것으로 지칭된다. 많은 시스템들 및 개체들은 하나의 배향 또는 위치만을 제공하며, 통상적으로 3 자유도(3DoF)를 갖는 것으로 알려져 있다.
일부 시스템들에서, VR 애플리케이션은 예컨대 임의의 원격 VR 데이터 또는 프로세싱을 사용하지 않거나, 또는 심지어 액세스조차 하지 않는 독립형 디바이스에 의해 관찰자에 국소적으로 제공될 수 있다. 예를 들어, 게임 콘솔과 같은 디바이스는 장면 데이터를 저장하기 위한 저장부, 관찰자 포즈를 수신/생성하기 위한 입력부, 및 장면 데이터로부터 대응하는 이미지들을 생성하기 위한 프로세서를 포함할 수 있다.
다른 시스템들에서, VR 애플리케이션은 관찰자로부터 원격으로 구현 및 수행될 수 있다. 예를 들어, 사용자에 국한된 디바이스는 이동/ 포즈 데이터를 검출/ 수신할 수 있으며, 이는 데이터를 프로세싱하여 관찰자 포즈를 생성하는 원격 디바이스에 전송된다. 이어서 원격 디바이스는 장면 데이터를 설명하는 장면 데이터에 기초하여 관찰자 포즈에 대한 적합한 뷰 이미지들을 생성할 수 있다. 이어서 뷰 이미지들은 그것들이 제시되는 관찰자에 국한된 디바이스로 전송된다. 예를 들어, 원격 디바이스는 로컬 디바이스에 의해 직접 제시되는 비디오 스트림(통상적으로 스테레오/ 3D 비디오 스트림)을 직접 생성할 수 있다. 따라서, 이러한 예에서, 로컬 디바이스는 이동 데이터를 전송 및 수신된 비디오 데이터를 제시하는 것을 제외하고 어떠한 VR 프로세싱도 수행하지 않을 수 있다.
많은 시스템들에서, 기능은 로컬 디바이스 및 원격 디바이스에 걸쳐 분배될 수 있다. 예를 들어, 로컬 디바이스는 수신된 입력 및 센서 데이터를 프로세싱하여 원격 VR 디바이스에 연속적으로 전송되는 관찰자 포즈들을 생성할 수 있다. 이어서 원격 VR 디바이스는 대응하는 뷰 이미지들을 생성하고 제시를 위하여 이것들을 로컬 디바이스에 전송할 수 있다. 다른 시스템들에서, 원격 VR 디바이스는 직접 뷰 이미지들을 생성하지 않지만 관련 장면 데이터를 선택하고 이것을 로컬 디바이스에 전송할 수 있고, 이어서 로컬 디바이스가 제시되는 뷰 이미지들을 생성할 수 있다. 예를 들어, 원격 VR 디바이스는 가장 가까운 캡처 지점을 식별하고, 대응하는 장면 데이터(예컨대 캡처 지점으로부터의 구면 이미지 및 심도 데이터)를 추출하고 이것을 로컬 디바이스에 전송할 수 있다. 이어서 로컬 디바이스는 수신된 장면 데이터를 프로세싱하여 특정, 현재 뷰 포즈에 대한 이미지들을 생성할 수 있다.
도 1은 원격 VR 서버(103)가 클라이언트 VR 디바이스(101)와 예컨대, 인터넷과 같은 네트워크(105)와 통신하는 VR 시스템의 이러한 예를 도시한다. 원격 VR 서버(103)는 잠재적으로 다수의 클라이언트 VR 디바이스(101)들을 동시에 지원하도록 배열될 수 있다.
그러한 접근법은 많은 시나리오들에서, 예를 들어, 상이한 디바이스들에 대한 복잡성 및 자원 요구들, 통신 요건들 등 사이의 개선된 절충을 제공할 수 있다. 예를 들어, 관찰자 포즈 및 대응하는 장면 데이터는 더 큰 간격으로 전송될 수 있으며, 로컬 디바이스는 관찰자 포즈 및 수신된 장면 데이터를 국지적으로 처리하여 실시간 저지연 경험을 제공할 수 있다. 이는 예를 들어 장면 데이터가 중앙에서 저장, 생성, 및 유지되게 하면서, 요구되는 통신 대역폭을 실질적으로 감소시키는 한편, 낮은 지연 경험을 제공할 수 있다. 이는 예를 들어 VR 경험이 복수의 원격 디바이스들에 제공되는 애플리케이션들에 적합할 수 있다.
도 2는 본 발명의 일부 실시예들에 따른, 관찰자 포즈에 응답하여 가상 장면의 이미지들을 생성하기 위한 장치를 도시한다. 접근법은, 예를 들어, 비교적 적은 수의 캡처 디바이스(전형적으로 3D 카메라)에 의해 캡처된 라이브 이벤트에 대해 가상 현실 경험이 제공되는 실시예들에 특히 적합할 수 있다.
명료하고 예시적인 예로서, 농구 게임과 같은 스포츠 이벤트가 공간적으로 오프셋된 몇몇 3D 카메라(예를 들어, 이미지 및 연관된 깊이 맵 또는 실제로 입체 이미지들 및 연관된 3D 맵들을 제공할 수 있는 입체 카메라들 또는 레인징(ranging) 카메라들)에 의해 캡처되는 애플리케이션이 고려될 수 있다. 예를 들어, 이벤트는 약 50 cm의 거리를 두고 일렬로 정렬된 3개의 3D 카메라에 의해 캡처될 수 있다. 카메라들은 예를 들어 농구 게임의 제1 열 상의 3개의 연속적인 좌석에 대응하여 위치될 수 있다.
그러한 시나리오에서, 도 2의 장치는 예를 들어 사용자에게 제1 열에 실제로 앉아 있는 느낌을 제공하는 사용자 경험을 제공하는 데 사용될 수 있다. 이것은 예를 들어 그가 주위를 둘러보고 뷰가 머리 움직임에 적응하는 것을 지원할 수 있다. 설명되는 바와 같이, 접근법은 또한 사용자가 예를 들어 객체들을 둘러보기 위해 그의 시점을 더 많이 변경하는 것을 가능하게 할 수 있다.
구체적으로, 이 예에서, 장치는 관찰자에게 제한된 양의 움직임 자유를 제공하여 관찰자가 앉아 있는 동안 그의 머리를 약간 움직여 대응하는 작은 시점 변화(시차 시프트)를 볼 수 있게 하는 VR 경험을 제공할 수 있다. 몰입의 레벨을 더 증가시키기 위해, 접근법은 관찰자가 가리고 있는 전경 객체를 둘러볼 수 있는 것을 지원할 수 있다. 예를 들어, 이것은 농구 게임 동안 공 또는 중요한 동작을 가리는 플레이어를 관찰자가 둘러 볼 수 있는 것을 지원할 수 있거나, 테니스 시합 동안 사용자가 공의 경로를 보기 위해 테니스 플레이어를 둘러보는 것을 가능하게 할 수 있다.
도 2의 장치는 관찰자에 대한 관찰자 포즈를 수신하도록 배열된 수신기(201)를 포함한다. 장치는 뷰 포즈에 대응하는 하나 이상의 뷰 이미지를 생성할 수 있다.
일부 실시예들에서, 수신기(201)는 예를 들어 VR 헤드셋으로부터 또는 센서 입력 데이터에 기초하여 뷰 포즈를 결정하고 계산하도록 배열된 내부 프로세서로부터 뷰 포즈를 정의하는 뷰 포즈 데이터를 직접 수신할 수 있다. 예를 들어, 장치는 관찰자의 움직임을 검출하는 센서들 또는 관찰자에 관련된 장비로부터 데이터를 수신하도록 배열된 센서 입력 프로세서(도시되지 않음)를 포함할 수 있다. 센서 입력은 구체적으로 관찰자의 머리 포즈를 나타내는 데이터를 수신하도록 배열된다. 센서 입력에 응답하여, 센서 입력 프로세서는 관찰자의 현재 머리 포즈를 결정/추정하도록 배열되며, 이는 통상의 기술자가 알 것이다. 예를 들어, 헤드셋으로부터의 가속, 자이로, 및 카메라 센서 데이터에 기초하여, 센서 입력 프로세서는 헤드셋의 위치 및 배향 및 그럼으로써 관찰자의 머리를 추정 및 추적할 수 있다. 대안적으로 또는 추가적으로, 카메라는 예컨대 뷰잉 환경을 캡처하는 데 사용될 수 있고, 카메라로부터의 이미지들을 사용하여 관찰자의 머리 위치 및 배향을 추정 및 추적할 수 있다. 하기 설명은 머리 포즈가 6 자유도로 결정되는 실시예들에 초점을 맞추겠지만, 더 적은 자유도가 다른 실시예들에서 고려될 수 있다는 것을 알 것이다. 이어서, 센서 입력 프로세서(201)는 관찰자 포즈로서 사용하기 위해 수신기(201)에 머리 포즈를 공급할 수 있다.
수신기는 관찰자 포즈들로부터 렌더 포즈들을 생성하도록 배열되는 렌더 포즈 프로세서(203)에 결합된다. 관찰자 포즈는 실세계에서의 사용자의 포즈를 반영하고, 구체적으로 실세계 좌표 기준들을 반영하는 벡터 파라미터 값들의 세트로서 제공될 수 있다. 구체적으로, 뷰 포즈는 실세계에서의 사용자의 머리의 위치들의 변화를 나타낼 수 있다.
렌더 포즈는 가상 장면에서 뷰잉 포즈, 구체적으로 시점 및 뷰 방향을 참조하도록 생성된다. 렌더 포즈는 가상 장면의 좌표계에서의 포즈를 구체적으로 나타낸다. 렌더 포즈는 뷰 이미지들이 생성될 가상 장면/세계에서의 원하는 포즈를 반영한다. 따라서, 뷰 이미지들을 렌더링하기 위한 원하는 베이스 포즈는 렌더 포즈에 의해 반영된다. 렌더 포즈는 가상 장면/세계 좌표 기준들을 반영하는 벡터 파라미터 값들의 세트로서 구체적으로 제공될 수 있다.
렌더 포즈 프로세서(203)는 관찰자 포즈를 렌더 포즈에 구체적으로 매핑할 수 있고, 따라서 실세계 기준/좌표계에서의 머리/관찰자 포즈를 가상 장면/세계 기준/좌표계에서의 렌더 포즈에 구체적으로 매핑할 수 있다. 렌더 포즈 프로세서(203)는 그에 따라 관찰자 움직임에 기초하여 관찰자의 가상 뷰잉 포즈에 대응하는 가상 장면 내의 대응하는 렌더 포즈를 결정할 수 있다. 렌더 포즈 프로세서(203)는 현재 관찰자 포즈로부터, 현재 관찰자 포즈 이외의 모든 다른 관찰자 포즈들과 무관한(그리고 구체적으로는 과거 및 미래 관찰자 포즈들과 무관한) 렌더 포즈로의 매핑을 수행하도록 배열될 수 있다.
렌더 포즈 프로세서(203)는 렌더 포즈에 대한 이미지들을 합성하도록 배열되는 이미지 합성기(205)에 결합된다. 이미지 합성기(205)는 주어진 렌더 포즈에 대한 가상 장면 내의 뷰 포트들에 대응하는 뷰 이미지들을 구체적으로 생성할 수 있다. 뷰 이미지들은 구체적으로 좌안 뷰포트 및 우안 뷰포트에 대응하는 입체 이미지들일 수 있다. 따라서, 예를 들어, VR 헤드셋에서 이러한 이미지들을 제시받는 사용자는 렌더 포즈에 의해 주어진 위치 및 배향으로 가상 세계에 위치된 관찰자가 경험하는 뷰들을 제공받을 것이다.
렌더 포즈 프로세서(203)는 장면을 설명하는 3차원(3D) 이미지 데이터에 기초하여 이미지들을 생성하도록 배열된다. 3D 이미지 데이터는 검색기(207)에 의해 검색된다. 일부 실시예들에서, 검색기(207)는 내부 소스로부터 적절한 3D 이미지 데이터를 검색하도록 배열될 수 있다.
예를 들어, 3개의 카메라 피드(feed) 모두를 포함하는 농구 게임의 레코딩이 블루레이™ 디스크 상에서 제공될 수 있거나, 예를 들어 다운로드 후에 로컬 메모리에 저장될 수 있다. 이어서, 검색기(207)는 예를 들어 중앙 카메라에 대한 3D 이미지 데이터의 스트림을 검색하고 이를 이미지 합성기(205)에 공급할 수 있으며, 이미지 합성기는 현재 렌더 포즈에 대한 적절한 뷰 이미지들을 생성할 수 있다.
다른 실시예들에서, 검색기(207)는 원격 소스로부터 3D 이미지 데이터를 검색하도록 배열될 수 있다. 예를 들어, 원격 소스는 라이브 이벤트에 대해 실시간으로 카메라 피드들을 방송할 수 있고, 검색기(207)는 스트림들을 수신하고 적절한 스트림을 이미지 합성기(205)에 공급하도록 배열된 수신기를 포함할 수 있으며, 이어서 이미지 합성기는 스트림들을 처리하여 적절한 뷰 이미지들을 생성할 수 있다.
또 다른 실시예들에서, 3D 이미지 데이터는 클라이언트로부터의 명시적 요청들에 응답하여 도 1의 원격 VR 서버(103)와 같은 원격 서버에 의해 제공될 수 있다. 그러한 실시예들에서, 검색기(207)는 예를 들어 주기적 시간들에 3D 이미지 데이터에 대한 요청들을 생성하고 이들을 서버에 전송할 수 있으며, 서버는 요구되는 3D 이미지 데이터를 제공할 것이다. 많은 실시예들에서, 더 유연한 접근법이 사용될 수 있으며, 이러한 접근법에서 요청은 제공될 데이터의 스트림에 대한 것이고, 이때 요청된 스트림은 새로운 요청이 전송될 때까지 계속 제공된다. 예를 들어, 요청에 이어서, 새로운 요청이 전송될 때까지, 예를 들어 서버가 다른 카메라로부터의 데이터 스트림을 대신 제공할 때까지, 하나의 카메라로부터의 데이터 스트림 형태의 3D 이미지 데이터가 계속하여 서버로부터 검색기(207)에 제공될 수 있다.
제공된 특정 3D 이미지 데이터, 및 이미지들을 생성하기 위해 이미지 합성기(205)에 의해 사용되는 특정 알고리즘이 개별 실시예의 선호들 및 요건들에 의존할 것임을 알 것이다. 실제로, 3D 이미지 데이터에 기초하여 특정한 렌더 포즈에 대한 뷰 이미지를 생성하기 위한 많은 상이한 접근법이 알려져 있고, 본 발명을 벗어나지 않고 임의의 적절한 접근법이 사용될 수 있다.
예를 들어, 많은 실시예들에서, 3D 이미지 데이터는 카메라들의 위치들, 즉 캡처 위치들에 대해 입체 이미지들 또는 이미지+깊이의 형태로 제공될 수 있다. 이어서, 이미지 합성기(205)는 이 데이터를 사용하여 뷰 합성을 수행하여, 숙련자에게 잘 알려진 바와 같은 종래의 뷰 시프트 알고리즘을 이용하여 현재의 렌더 포즈의 특정 뷰포트에 대한 뷰 이미지를 생성할 수 있다.
일부 실시예들에서, 3D 이미지 데이터는 각각의 입체 이미지(즉, 좌안 및 우안 둘 모두를 위함)가 깊이 맵과 더 연관될 수 있는 입체 이미지들의 형태로 제공될 수 있다.
도 2의 장치에서, 렌더 포즈의 생성 및 3D 이미지 데이터의 검색은 관찰자 포즈 또는 관찰자의 움직임에 기초할 뿐만 아니라, 장면 내의 앵커 포인트들을 추가로 고려하며, 구체적으로 장면에 대한 현재 선택된 기준 앵커 포즈에 의존한다.
장치는 앵커 포즈들의 세트를 저장하는 앵커 포즈 저장부(209)를 포함한다. 각각의 앵커 포즈는 배향과 위치 둘 모두에 의해 표현될 수 있거나, 예를 들어 일부 실시예들에서는 배향만으로 또는 위치만으로 표현될 수 있다. 또한, 각각의 앵커 포즈에 대해 정의되는 파라미터들의 수는 개별 실시예에 의존할 수 있고, 전형적으로는 캡처 포즈들에 대한 자유도들에 의존할 수 있다. 예를 들어, 농구 게임 예에 대해, 3개의 입체 카메라는 코트를 향해 고정된 배향을 가질 수 있고, 알려진 방향을 갖는 직선에 있는 것으로 알려질 수 있다. 따라서, 각각의 (입체) 카메라에 대한 앵커 포즈는 이 예에서 단일 위치 좌표(이하에서 x 좌표로 지칭됨)에 의해 표현될 수 있다.
앵커 포즈들은 전형적으로 3D 이미지 데이터가 이용가능한 장면 내의 포즈들에 대응할 수 있다. 따라서, 장면은 복수의 앵커 포즈에 대한 3D 이미지 데이터에 의해 표현될 수 있고, 앵커 포즈 저장부(209)에 저장된 앵커 포즈들의 세트는 이 앵커 포즈들 중 적어도 2개를 포함할 수 있다. 많은 실시예들에서, 앵커 포즈들은 장면에 대한 카메라 포즈들 또는 캡처 포즈들(가능한 가상 카메라/캡처 포즈들을 포함함)에 대응할 수 있다.
장치는 수신기(201) 및 앵커 포즈 저장부(209)에 결합되는 선택기(211)를 포함한다. 선택기(211)는 기준 포즈들의 세트로부터 기준 앵커 포즈를 선택하고, 이 선택을 렌더 포즈 프로세서(203)에 공급하도록 배열된다. 이어서, 렌더 포즈 프로세서(203)는 렌더 포즈가 현재 선택된 기준 앵커 포즈 및 관찰자 포즈 둘 모두에 의존하도록 이 렌더 포즈에 대한 렌더 포즈를 결정한다. 따라서, 렌더 포즈는 관찰자 포즈들에 반영된 바와 같은 관찰자의 움직임 및 기준 앵커 포즈의 선택 둘 모두에 의존할 것이다. 기준 앵커 포즈의 변화는 렌더 포즈의 변화를 유발할 것이고, 실제로 렌더 포즈는, 동일한 관찰자 포즈에 대해, 기준 앵커 포즈로서 선택되는 상이한 앵커 포즈들에 대해 상이할 수 있다.
기준 앵커 포즈의 선택은 관찰자 포즈들에 기초하고, 선택기(211)는 관찰자 포즈들에 응답하여, 그리고 구체적으로 관찰자 포즈들이 기준을 충족시키는 경우에, 기준 앵커 포즈를 앵커 포즈들의 세트 중 제1 앵커 포즈로부터 앵커 포즈들의 세트 중 제2 앵커 포즈로 구체적으로 스위칭하도록 배열된다. 기준은 현재 관찰자 포즈 이외의 다른 관찰자 포즈들의 고려에 의존하고/이를 포함할 수 있고, 구체적으로는, 직접 다른 관찰자 포즈들을 고려함으로써 또는 (이전 관찰자 포즈들에 기초하여 선택된) 현재 또는 이전에 선택된 기준 앵커 포즈들을 고려함으로써, 이전 관찰자 포즈들에 의존할 수 있다.
따라서, 선택기(211)가 제1 앵커 포즈를 기준 앵커 포즈로서 현재 선택했다면, 선택기는 관찰자 포즈들을 계속 모니터링할 수 있다. 관찰자 포즈가 (전형적으로 현재 앵커 포즈 또는 이전 관찰자 포즈를 고려할 수 있는) 주어진 선택 기준을 충족시키는 것이 검출되면, 선택기(211)는 기준 앵커 포즈의 선택을 제1 앵커 포즈로부터 제2 앵커 포즈로 변경할 수 있다.
접근법은, 카메라들이 50 cm의 간격 거리를 두고 일렬로 위치된 상태로 3개의 입체 카메라가 농구 게임을 캡처하고 있는, 이전에 언급된 특정 예에 대응하는 애플리케이션에 의해 예시될 수 있다. 그러한 실시예에서, 명목상 중앙에 위치된 입체 쌍 주위의 작은 움직임들이 가상 세계에서의 대응하는 움직임들에 직접 매핑될 수 있다. 예를 들어, 사용자는 초기에, 주어진 관찰자 포즈에 의해 표현되는 표준/명목 위치에 있을 수 있다. 장치는 초기에, 기준 앵커 포즈를 중심 입체 카메라의 기준 앵커 포즈이도록 선택할 수 있고, 현재 관찰자 포즈는 이러한 기준 앵커 포즈에 매핑될 수 있다. 따라서, 장치는, 이러한 관찰자 포즈에 대해, 장면 내의 중심 입체 카메라의 위치에 있는 관찰자에 대응하는 뷰 이미지들을 생성할 것이다.
작은 움직임들에 대해, 장치는 렌더 포즈에 의해 표현되는 바와 같은 가상 세계에서의 관찰자의 움직임들이 관찰자 포즈들에 의해 표현되는 바와 같은 실세계에서의 관찰자의 움직임들을 따르도록, 관찰자 포즈들을 따르는 렌더 포즈를 생성할 수 있다. 이는 결과적인 시차가 머리 움직임을 따르고 자연스러운 경험이 사용자에게 제공되는 완전히 자연스런 경험을 초래할 수 있다.
그러나, 사용자가 소정의 양(가령, 5 cm) 초과만큼 병진하는(x 방향으로 옆으로 그의 머리를 이동시키는) 경우, 선택기(211)는 관찰자 포즈가 주어진 임계값 초과만큼 변경되었음을 검출할 수 있고, 선택된 기준 앵커 포즈를 변경할 수 있다. 예를 들어, 사용자가 그의 머리를 주어진 양 초과만큼 좌측으로 이동시키면, 선택기(211)는 기준 앵커 포즈를 중심 카메라에 대응하는 앵커 포즈로부터 좌측 카메라에 대응하는 앵커 포즈로 스위칭할 수 있다. 이러한 기준 앵커 포즈의 변화는 렌더 포즈 프로세서(203)에 공급되고, 렌더 포즈 프로세서는 렌더 포즈가 이제 예를 들어 좌측 입체 카메라의 5 cm 오른쪽인 위치에 있다고 결정한다. 사용자가 좌측으로 그의 움직임을 계속하면, 사용자는 움직임을 따라갈 것이고, 좌측 입체 카메라 위치에 대해 정확한 시차를 제공할 것이다.
따라서, 사용자는, 움직임들이 비교적 작게 유지되는 한, 그가 각각의 위치에 대해 정확한 시차로 3개의 상이한 위치로부터 농구 게임을 볼 수 있는 상황을 경험할 것이다. 또한, 그는 하나의 시점으로부터 다른 시점으로의, 예컨대 구체적으로 하나의 카메라 위치로부터 다른 카메라 위치로의 가상 순간이동을 효과적으로 유발하는 큰 머리 움직임을 사용하여 상이한 시점들 사이에서 스위칭할 수 있다.
접근법은 위치들이 서로로부터 50 cm인, 가상 세계에서의 3개의 카메라/캡처/앵커 위치(301)들을 도시하는 도 3에 의해 예시될 수 있다. 도면은 실세계에서의 머리 위치에 대한 3개의 10 cm 구간(303)을 추가로 도시한다. 3개의 구간(303)은 장치의 작동에 의해 앵커 위치(301)들 주위의 3개의 10 cm 구간에 매핑되며, 구간들의 중점들은 앵커 위치들에 매핑된다. 따라서, 이 예에서, 30 cm 구간 내에서의 사용자의 옆으로의 움직임은 3개의 별개의 구간에서의 가상 움직임에 매핑되며, 구간들 내에서의 움직임은 서로 직접 대응하고 그에 의해 정확한 시차를 제공하고, 실세계 구간들 사이의 전이들은 가상 세계에서 상이한 개별 구간들 사이의 순간이동을 초래한다.
이 예는 또한 관찰자 포즈들에 의해 표현되는 관찰자 움직임들/위치들로부터 렌더 포즈들에 의해 표현되는 가상 움직임/위치들로의 결과적인 매핑을 도시하는 도 4에 의해 예시될 수 있다. 이 예에서, 실세계/관찰자 포즈 좌표계에서의 x 위치는, 명목 관찰자 위치의 좌측으로의 0 내지 5 cm 내의 위치들이 중심 앵커 위치로부터 좌측으로의 0 내지 5 cm 내의 위치들에 1:1 매핑되고, 명목 관찰자 위치의 좌측으로의 5 내지 10 cm 내의 위치들이 좌측 앵커 위치의 우측으로의 0 내지 5 cm 내의 위치들에 1:1 매핑되는 것에 의해, 가상 세계/렌더 포즈 좌표계에서의 x 위치에 매핑된다. 따라서, 관찰자 포즈 좌표계에서의 [0; 0.05]의 구간(401)은 렌더 포즈 좌표계에서의 구간 [0; 0.05]에 선형으로 매핑되고; 관찰자 포즈 좌표계에서의 [0.05; 0.1]의 구간(403)은 렌더 포즈 좌표계에서의 구간 [0.45; 0.5]에 선형으로 매핑된다. 따라서, 사용되지 않고 관찰자 위치가 매핑되지 않는 가상 장면에서의 [0.05; 0.45]의 구간(405)이 존재한다.
따라서, 관찰자 포즈들뿐만 아니라 앵커 포즈들도 고려하는 조합된 접근법은 많은 실시예들에서 매우 바람직한 것으로 밝혀진 향상된 효과를 제공한다. 구체적으로, 작은 움직임들에 대해, 사용자는 진정한 움직임 시차를 경험할 것이지만, 더 큰 움직임들에 대해, 그는 상이한 위치/포즈로 순간이동할 것이다. 이는 사용자가 예를 들어 그의 위치를 변경함으로써 전경 객체들을 둘러보는 것을 여전히 가능하게 하면서 대부분의 시간 동안 자연스러운 시차를 경험하는 효과를 제공할 수 있다. 또한, 순간이동 효과 및 자연적인 시차 움직임 둘 모두는 사용자의 움직임의 함수이므로, 직관적이고 사용자 친화적인 제어가 제공된다. 게다가, 접근법은 3D 이미지 데이터가 이용가능한 앵커 포즈들에 비교적 가까운 렌더 포즈들에 대해 뷰 이미지들이 생성될 수 있으므로 높은 품질을 보장할 수 있다. 많은 시스템들로부터 알려진 상당한 위치 의존적 이미지 열화가 회피되거나 적어도 상당히 감소될 수 있다.
예로서, 인식되는 효과는 사용자가 의자에 정상적으로 앉아 있을 때 그가 예를 들어 자연적인 시차로 중심 위치 주위에서 작은 시점 변화들을 경험할 수 있는 것일 수 있다. 관찰자가 우측으로 객체를 둘러볼 필요가 있을 때, 그는 그의 머리를 우측으로 더 이동시킬 수 있다. 그 순간에 그의 움직임은 과장될 것이고, 그는 그가 정지하게 될 그의 우측으로의 새로운 가상 뷰잉 위치로 신속하게 순간이동될 것이다. 빠른 순간이동은 뷰-혼합과 조합되어 뷰-보간 아티팩트(view-interpolation artefact)를 숨길 것이다.
설명된 접근법의 다른 이점은 단지 몇 개의 캡처 위치/카메라로 매우 바람직하고 유연한 경험을 제공할 수 있다는 것이다. 실제로, 관찰자에게 더 많은 움직임 자유를 제공하는 문제는 그것이 3D 장면 정보의 처리의 더 높은 요건들 및/또는 장면을 캡처하고/표현하는 데 사용되는 카메라들의 수에 대한 더 높은 요건들로 바로 바뀐다는 것이다. 이 접근법은, 심지어 달리 비현실적인 애플리케이션의 제공을 가능하게 할 수 있는 많은 수의 카메라에 대한 필요성을 피할 수 있다. 카메라 피드/캡처 포인트 데이터에 대한 감소된 필요성은 또한 인코딩, 전송 및 렌더링을 실질적으로 용이하게 한다.
이 접근법의 주요 특징은, 시스템이 현재의 관찰자 포즈에 대응하는 이미지를 생성하는 것에 단지 관련되는 것이 아니라, 이 관찰자 포즈가 선택된 앵커 포즈에 따라 렌더 포즈에 매핑된다는 것이다. 현재 렌더 포즈의 결정은 현재 관찰자 포즈에 매핑을 적용하는 것에 의한다. 그러나, 매핑은 일정한 매핑이 아니라, 선택된 앵커 포즈에 의존한다. 관찰자 포즈들에 따라, 시스템은 앵커 포즈를 선택하고, 렌더 포즈에 대한 이미지의 생성은 이 앵커 포즈에 대해 제공된 3D 이미지 데이터에 기초한다. 또한, 선택된 앵커 포즈의 변화는 또한 매핑의 변화를 초래하는데, 즉 매핑은 선택된 앵커 포즈에 의존한다. 따라서, 동일한 관찰자 포즈는 어느 앵커 포즈가 선택되는지에 따라 상이한 렌더 포즈들을 초래할 수 있다. 렌더 포즈는 현재 관찰자 포즈 및 선택된 앵커 포즈 - 이는 다시 관찰자 포즈에도 의존함 - 둘 모두에 의존한다.
이 접근법은 개별 앵커 포즈에 대한 매핑의 특정한 선택 및 앵커 포즈들을 스위칭하기 위한 기준에 따라 다양한 효과가 달성될 수 있게 한다. 이 특정 접근법이 렌더 포즈를 결정하기 위해 관찰자 포즈에 대한 더 복잡한 매핑을 단순히 제공하는 것과 동일하지는 않다는 것에 또한 유의한다. 오히려, 매핑의 선택 및 적응은 렌더링 위치에 대한 이미지의 생성을 위해 어느 이미지 데이터가 사용되는지에 밀접하게 관련된다. 이 접근법은, 예를 들어, 렌더 포즈가 다른 렌더 포즈로 점프하도록 충분히 멀리 이동한 후에 이 새로운 포즈에 고착될 때까지 (높은 품질을 갖는) 하나의 앵커 포즈에 가깝게 고착되는 효과를 제공할 수 있다. 그러나, 물론 많은 다른 효과들 및 애플리케이션들이 가능하며, 이들은 어느 매핑들을 적용할지 그리고 어느 기준을 앵커 포즈들을 스위칭하기 위해 사용할지의 선택에 의하여 특정 애플리케이션을 위해 설계될 수 있다. 그러나, 모두에 대해 공통적인 것은 매핑이 관찰자 포즈에 의존할 뿐만 아니라, 합성을 위한 3D 이미지 데이터를 제공하기 위해 어느 앵커 포즈가 현재 사용되는지에 의존한다.
사용되는 특정 매핑, 및 앵커 포인트의 선택을 위한 기준은 개별 실시예 및 애플리케이션의 특정 요건에 따라 선택될 것이고, 제한되지 않는 수의 알고리즘, 매핑, 기준 및 효과가 사용/달성될 수 있다는 것을 알 것이다. 이 접근법은 특히 많은 실시예들에서 앵커 포즈를 향하는 (또는 원하는 경우 실제로 그로부터 멀어지는) 바이어스가 달성될 수 있는 더 유연한 접근법을 가능하게 할 수 있다. 이 접근법은 현재 앵커 포즈 구성에 적응할 수 있고, 다양한 앵커 포즈 구성들에 대해 유리한 성능을 제공할 수 있다.
접근법의 특정 이점은 일관되게 높은 이미지 품질을 제공할 수 있다는 것이다. 특히, 이는 3D 이미지 데이터가 제공되는 앵커 포즈들에 매우 가깝도록 시점들을 제한할 수 있다. 따라서, 예를 들어, 3D 이미지 데이터가 명시적인 데이터를 포함하지 않는 시점들로부터 이미지들을 생성하기 위해 뷰 시프팅이 사용될 수 있지만, 요구되는 뷰 시프트들은 전형적으로 작고, 따라서 큰 열화 없이 수행될 수 있다. 실제로, 대부분의 시간 동안, 관찰자는 앵커 위치로부터 장면을 볼 수 있어서, 뷰 시프팅은 필요하지 않을 수 있다. 예를 들어, 3D 이미지 데이터가 캡처 포즈들에 대한 입체 이미지들의 형태이면, 이러한 이미지들은 임의의 3D 처리에 의해 유발되는 어떠한 열화도 없이 직접 제시될 수 있다.
따라서, 많은 실시예들에서, 렌더 포즈 프로세서(203)는 렌더 포즈들로의 관찰자 포즈들의 매핑으로부터 렌더 포즈를 결정하도록 배열되고, 매핑은 앵커 포즈들의 세트 중 어느 앵커 포즈가 기준 앵커 포즈로서 선택되는지에 의존한다.
관찰자 포즈들과 렌더 포즈들 사이의 예시적인 매핑은 도 3 및 도 4와 관련하여 설명되었으며, 렌더 포즈는 관찰자 위치에 선택된 앵커 포즈에 의존하는 오프셋을 더한 것으로서 결정된다. 이러한 예들에서, 관찰자 포즈와 렌더 포즈 사이의 매핑은 일대일 대응 관계를 갖는 일대일 매핑(전단사 함수)이고, 앵커 포즈들의 변화들은 출력 범위에 갭들을 도입하기 위해 사용된다. 이 예에서, 매핑은 앵커 포즈들의 세트 중 어느 앵커 포즈가 기준 앵커 포즈로서 선택되는지에 따라 렌더 포즈에 상이한 오프셋을 적용하는 것을 포함한다. 구체적으로, 도 3의 예에 대해, 중심 앵커 포즈가 선택되는 경우, 0의 오프셋이 적용되고, 좌측 앵커 포즈가 선택되는 경우, -40 cm의 오프셋이 적용되며, 우측 앵커 포즈가 선택되는 경우, +40 cm의 오프셋이 적용된다(카메라들 사이의 거리가 50 cm이고, x-방향이 좌측으로부터 우측으로의 방향인 것으로, 즉 증가하는 양의 값들이 우측으로 더 먼 위치들을 나타내는 것으로 가정함).
다른 실시예들에서, 다른 매핑들이 사용될 수 있다. 실제로, 임의의 적절한 매핑 및 앵커 포즈 의존성이 적용될 수 있고, 예를 들어 앵커 포즈들을 향하는 그리고/또는 앵커 포즈들로부터 멀어지는 원하는 바이어스와 같은 원하는 효과를 제공하기 위해 특정 매핑이 선택될 수 있다. 많은 매핑들에서, (적어도 일부 관찰자 포즈들에 대해) 선택된 앵커 포즈에 따라 동일한 관찰자 포즈가 상이한 위치들에 매핑될 수 있다. 이것의 예가 도 5에 도시되며, 도 5는 또한 어느 앵커 포즈가 기준 앵커 포즈로서 선택되는지에 따라 렌더 포즈를 결정하기 위해 렌더 포즈 프로세서(203)가 상이한 오프셋을 적용하는 것에 기초한다. 이 예는, 오프셋들이 상이하고 앵커 포즈 사이의 선택들이 더 이상 관찰자 포즈에만 의존하는 것이 아니라 어느 앵커 포즈가 현재 기준 앵커 포즈로서 선택되는지에도 의존한다는 것을 제외하고는, 도 3의 예에 대응한다.
이 예에서, 오프셋은 선택되는 중심 앵커 포즈에 대해 여전히 0이지만, 좌측 앵커 포즈가 선택되는 경우에는 -43 cm이고, 우측 앵커 포즈가 선택되는 경우에는 +43 cm이다.
중심 앵커 포즈로부터 좌측 앵커 포즈로 스위칭하기 위한 임계값은 여전히 -5 cm이고, 중심 앵커 포즈로부터 우측 앵커 포즈로 스위칭하기 위한 임계값은 여전히 +5 cm이다. 그러나, 좌측 앵커 포즈로부터 중심 앵커 포즈로 스위칭하기 위한 임계값은 이제 -2 cm이고, 우측 앵커 포즈로부터 중심 앵커 포즈로 스위칭하기 위한 임계값은 이제 +2 cm이다.
이 경우, -5 cm 내지 -2 cm 및 +2 cm 내지 +5 cm의 범위에서 관찰자 포즈에 대해 결정되는 렌더 포즈는 어느 앵커 포즈가 현재/이전에 기준 앵커 포즈로서 선택되는지에 의존한다. 좌측 앵커 포즈가 선택되는 경우, [-0.05; -0.02]의 범위는 [-0.48; -0.45]에 매핑되고, 중심 앵커 포즈가 선택되는 경우에는 [-0.05; -0.02]에 매핑된다. 유사하게, 우측 앵커 포즈가 선택되는 경우, [0.02; 0.05]의 범위는 [0.45; 0.48]에 매핑되고, 중심 앵커 포즈가 선택되는 경우에는 [0.02; 0.05]에 매핑된다. 또한, 관찰자 포즈가 이들 범위를 초과하지 않는 한, 기준 앵커 포즈의 어떠한 변화도 발생하지 않는다.
그러한 접근법은 종종 더 적은 뷰 시프트/순간이동을 갖는 더 안정적인 경험을 제공할 수 있다. 이는 사용자에게 개선된 경험을 제공하는 히스테리시스 효과를 도입할 수 있다.
설명된 예들을 포함하는 많은 실시예들에서, 렌더 포즈 프로세서(203)는 동일한 기준 앵커 포즈에 대해 관찰자 포즈들을 렌더 포즈들에 단조적으로 매핑하도록 배열된다. 따라서, 기준 앵커 포즈에서 어떠한 변화도 발생하지 않는 한, 관찰자 포즈는 주어진 방향으로의 관찰자 움직임이 동일한 방향으로의 렌더 포즈 변화/움직임에 매핑되도록 렌더 포즈에 매핑된다.
또한, 많은 실시예들에서, 매핑은 렌더 포즈로부터 기준 앵커 포즈까지의 거리가 임계값을 초과하지 않는 일정한 선형 매핑이다. 따라서, 많은 실시예들에서, 기준 앵커 포즈까지의 거리가 임계값을 초과하지 않는 렌더 포즈들을 초래하도록 적용되는 매핑은 선형 매핑이다. 기준 앵커 포즈까지의 거리가 임계값을 초과하는 포즈들을 초래하는 매핑은 일부 실시예들에서 또한 선형 매핑일 수 있지만(그리고 전체 매핑이 선형 매핑일 수 있지만), 많은 실시예들에서 계단 함수와 같은 비선형 요소를 포함할 수 있다. 일정한 매핑은 시불변적(time invariant)일 수 있다. 많은 실시예들에서, 선형 매핑은 일정한 매핑 계수를 갖는다는 의미에서 일정할 수 있다.
매핑 함수는, 구체적으로 관찰자 포즈로부터 기준 앵커 포즈에 대응하는 관찰자 기준 포즈까지의 거리와 렌더 포즈로부터 기준 앵커 포즈까지의 거리 사이의 일대일 함수일 수 있다. 매핑 함수는, 구체적으로 관찰자 포즈로부터 기준 앵커 포즈에 대응하는 관찰자 기준 포즈까지의 거리와 렌더 포즈로부터 기준 앵커 포즈까지의 거리 사이의 단조 함수일 수 있다. 그러한 실시예들에서, 기준 앵커 포즈까지의 거리가 임계값을 초과하지 않는 렌더 포즈들의 범위/세트는 관찰자 앵커 포즈까지의 거리가 제2 임계값을 초과하지 않는 관찰자 포즈들의 범위/세트의 매핑들일 수 있다.
따라서, 렌더 포즈와 기준 앵커 포즈 사이의 차이가 충분히 낮은 경우, 매핑은 선형적이어서, 관찰자 포즈 도메인에서의(구체적으로 실세계에서의) 동일한 상대적 이동이 관찰자의 절대 위치에 관계없이 가상 도메인에서의 동일한 상대적 이동을 초래하게 한다. 이는 실제 관중이 경험할 경험에 대응하므로 사용자에게 더 현실적인 경험을 제공할 수 있다.
많은 상황들에서, 주어진 기준 앵커 포즈에 대한 모든 가능한 위치들에 대해 선형 매핑이 제공될 수 있다. 예를 들어, 도 3 내지 도 5의 예들에서, 하나의 앵커 포즈에 대응하는 관찰자 포즈 구간에서의 주어진 위치 구간의 전체 범위는 렌더 포즈 구간에 선형으로 매핑된다. 그러나, 일부 실시예들에서, 선형 매핑이 앵커 포즈에 가까운 위치 범위에 대해 수행될 수 있는 반면, 상이한, 예를 들어 비선형 매핑이 앵커 포즈로부터 더 먼 위치들에 적용될 수 있다는 것을 알 것이다. 이는, 예를 들어, 구간의 끝을 향한 증가하는 위치 변화의 효과를 제공할 수 있고, 그에 의해 사용자에게 순간이동 동작의 접근법의 표시를 제공할 수 있다.
많은 실시예들에서, 선형 매핑은 50% 이상 및 150% 이하의 축척 계수를 가질 수 있다. 따라서, 그러한 실시예들에서, 관찰자 포즈에서의 주어진 방향에서의 위치의 상대적인 변화는 원래의 변화의 50% 이상 및 150% 이하인 렌더 포즈의 상대적인 변화를 초래할 수 있다. 이는 인식되는 움직임이 실제 움직임에 매우 근접하게 대응하는 효과를 제공하며, 그에 의해 자연스러운 효과를 제공할 수 있다. 많은 실시예들에서, 실제 관찰자가 경험한 것에 대응하는 경험을 제공하기 위해, 축척 계수는 (도 3 내지 도 5의 예들에서와 같이) 정확히 100%로 설정될 수 있다. 그러나, 일부 실시예들에서, 향상된 효과를 제공하기 위해 움직임을 감쇠시키거나 과장하는 것이 유리한 것으로 간주될 수 있다.
전술된 바와 같이, 선택기(211)는 많은 실시예들에서, 관찰자 포즈가 명목 위치로부터 주어진 양만큼 벗어난다는 검출에 응답하여 기준 앵커 포즈를 상이한 앵커 포즈로 스위칭하도록 배열될 수 있다.
따라서, 일부 실시예들에서, 선택기(211)는, 현재 관찰자 포즈가 관찰자 포즈와 기준 관찰자 포즈 사이의 거리가 임계값을 초과한다는 요건을 포함하거나 실제로 이로 이루어지는 기준을 충족시킨다는 검출에 응답하여, 기준 앵커 포즈를 상이한 앵커 포즈로 스위칭하도록 배열될 수 있다. 기준 관찰자 포즈는 일부 실시예들에서, 고정된 미리 결정된 포즈일 수 있는 명목 관찰자 포즈일 수 있다. 예를 들어, 도 3에서, 관찰자 포즈가 명목 위치(305)의 5 cm 내의 위치를 나타내는 경우, 선택기(211)는 기준 앵커 포즈를 중심 앵커 포즈로서 유지할 수 있지만, 5 cm를 초과하는 경우에는 다른 앵커 포즈(좌측 또는 우측 앵커 포즈)로 스위칭할 수 있다.
많은 실시예들에서, 선택기(211)는 어느 앵커 포즈가 기준 앵커 포즈로서 선택되는지에 따라 기준 관찰자 포즈를 수정하도록 배열된다. 예를 들어, 앵커 포즈들 각각에 대해, 대응하는 기준 관찰자 포즈가 관찰자 포즈의 좌표계에 존재할 수 있다. 예를 들어, 도 5의 예에서, 기준 관찰자 포즈(501)가 앵커 포즈들 각각에 대해 결정된다. 이 예에서, 선택기(211)는 그에 따라 현재 관찰자 포즈를 현재 선택된 앵커 포즈의 기준 관찰자 포즈(501)와 비교하도록 진행할 수 있다. 결과적인 거리가 주어진 임계값, 이 예에서의 5 cm를 초과하는 경우, 선택기(211)는 다른 앵커 포즈로 진행할 것이다. 이는 새로운 기준 관찰자 포즈가 비교에 사용되게 할 것이지만, 특정 예에서는 동일한 기준이 사용될 수 있으며, 구체적으로 거리가 5 cm를 초과하는지 여부가 결정될 수 있다.
많은 실시예들에서, 기준 관찰자 포즈는 렌더 포즈들의 좌표계에서의 앵커 포즈의 위치에 대응하는 관찰자 포즈들의 좌표계에서의 위치이도록 설정될 수 있다. 구체적으로, 현재 앵커 포즈에 대한 기준 관찰자 포즈는 현재 앵커 포즈에 매핑되는 관찰자 포즈의 값이도록 설정될 수 있다. 그러나, 기준 관찰자 포즈는 다른 실시예들에서, 달성될 원하는 효과들에 따라 상이하게 설정될 수 있다. 예를 들어, 이는 사용자에 의해 수동으로 설정될 수 있다.
위의 선택 예들이 실세계/관찰자 포즈들의 좌표계들에서 이루어진 비교들을 참조하여 설명되었지만, 요건은 가상 장면/렌더 포즈들의 좌표계에서 동등하게 수행될 수 있다는 것을 또한 알 것이다. 구체적으로, 렌더 포즈로의 현재 관찰자 포즈의 매핑은 앵커 포즈와 비교될 수 있고, 예를 들어 이들 사이의 거리가 임계값과 비교될 수 있다.
많은 실시예들에서, 거리 임계값은 앵커 포즈들의 세트 중 어느 앵커 포즈가 기준 앵커 포즈로서 선택되는지에 의존할 수 있다. 예를 들어, 거리 임계값은 비-중심 앵커 포즈에 대한 것보다 중심 앵커 포즈에 대해 더 높을 수 있다. 예를 들어, 도 1의 예는, 관찰자 포즈가 대응하는 기준 관찰자 포즈로부터 예를 들어 10 cm 초과가 아닌 한 중심 앵커 포즈가 선택되도록 수정될 수 있는 반면에, 스위칭할 거리가 우측 및 좌측 앵커 포즈들에 대해 5 cm로 유지될 수 있다. 그러한 접근법은 예를 들어 3D 이미지 데이터가 중심 앵커 포즈에 대해 더 높은 품질(예를 들어, 일부 비-차단 데이터를 포함함)을 갖는 상황들과 같은 많은 실시예들에서 유리할 수 있는, 중심 뷰를 향한 더 강한 바이어스를 제공할 수 있다.
또한, 거리 임계값은 많은 실시예들에서 적어도 일부 앵커 포즈들에 대해 차이의 방향에 의존할 수 있다. 예를 들어, 도 3의 측부 앵커 포즈들의 경우, 거리 임계값은 중심을 향해 5 cm이지만 중심으로부터 무한히 떨어질 수 있다.
위의 예에서, 기준 앵커 포즈의 선택은 위치에만 의존하는 것으로 설명되었지만, 다른 실시예들에서는 배향만이 고려될 수 있거나 위치 및 배향 둘 모두가 고려될 수 있다는 것을 알 것이다.
예로서, 많은 실시예들에서, 선택 기준은 예를 들어 전술된 바와 같이 관찰자 포즈의 위치와 기준 관찰자 포즈/기준 앵커 포즈의 위치 사이의 거리를 고려할 수 있다. 그러나, 앵커 포즈를 언제 스위칭할지에 대한 결정 임계값은 관찰자 포즈의 배향에 의존할 수 있다. 구체적으로, 관찰자 포즈의 배향과 기준 배향 사이의 차이가 고려되고 거리 임계값을 적응시키는 데 사용될 수 있다. 이러한 방식으로, 앵커 포즈를 언제 스위칭할지에 대한 결정은 사용자의 위치(구체적으로 병진 위치)뿐만 아니라 관찰자의 배향, 예를 들어 각도 방향에도 의존한다. 그에 따라, 선택은 관찰자의 위치 및 그가 보고 있는 곳 둘 모두에 의존할 수 있다.
구체적으로, 거리 임계값은 현재 관찰자 포즈와 기준 배향 사이의 차이의 단조 증가 함수일 수 있다. 예를 들어, 농구 애플리케이션의 경우, 임계값은 관찰자의 배향과 코트를 향해 앞을 똑바로 보는 것에 대응하는 방향 사이의 증가하는 각도 차이의 함수로서 증가할 수 있다. 따라서, 앵커 포즈의 스위치를 위해 요구되는 병진 이동은 관찰자가 그의 머리를 더 많이 돌릴수록 증가할 수 있다.
따라서, 도 3 내지 도 5의 예들은 렌더링이 관찰자의 측방향 x 위치에 의해 완전히 결정되는 상황에 초점을 맞추지만, 언제 상이한 시점으로 스냅(snap)할지(즉, 언제 기준 앵커 포즈를 상이한 앵커 포즈로 스위칭할지)를 결정하기 위해 관찰자의 더 많은 특성이 고려될 수 있다. 예로서, 도 6 및 도 7에 도시된 실험 위치 및 배향 데이터가 고려될 수 있다. 도 6은 사용자가 장면의 상이한 부분들에서 상이한 방향들을 보기 위해 그의 머리를 회전시키는 것을 반영하는 데이터를 나타내고, 도 7은 사용자가 그의 뷰를 방해하고 있는 전경 객체를 둘러보기 위해 그의 머리를 병진시키는 것을 반영하는 데이터를 나타낸다. 도면들은 관찰자의 측방향 x 위치 및 앵커 포즈의 뷰잉 방향에 대한 배향 각도(
Figure pct00001
) 둘 모두를 고려할 때, 관찰자의 의도된 움직임에 대해, 즉 사용자가 단지 그의 머리를 회전시키고 있는지(도 6) 또는 객체를 둘러보려고 시도하고 있는지(도 7)에 대해 더 나은 추정이 이루어질 수 있음을 명확히 제안한다.
일부 실시예들에서, 장치는 위치 및 배향 둘 모두에 기초하여, 관찰자가 신속한 머리 움직임 유도 전이(fast head-motion-induced transition)를 개시하기 위해 새로운 뷰잉 위치로 스냅하기를 원할 때, 즉 사용자가 새로운 시점으로의 순간이동을 시도하고 있을 때를 검출하려고 시도할 수 있다.
이 예에서, 선택기(211)는 뷰잉 방향에 대한 배향 각도(
Figure pct00002
) 및 관찰자 포즈의 측방향 x 위치 둘 모두를 고려할 수 있다. 도 8에 예시된 바와 같이, 주위를 둘러볼 때, 관찰자의 눈들은 전형적으로 배향 변화들과 조합된 작은 측방향 병진 움직임을 수행한다. 가리는 객체를 둘러보는 데 관심이 있는 관찰자는 도 9에 도시된 바와 같이 (보통 더 크고 더 빠른) 측방향 움직임과 조합된 동일한 배향을 보는 것을 유지하는 경향이 있다. (중심 앵커 포즈/카메라에 대한) 결정 경계가, 도 10에 도시된 바와 같이 측방향 x 위치 및 배향 각도(
Figure pct00003
)의 함수로서 생성될 수 있다. 측방향 위치(거리, y 축)가 배향 각도(x 축)의 함수를 초과하는 경우, 선택기(211)는 기준 앵커 포즈를 스위칭하고, 그렇지 않은 경우 기준 앵커 포즈를 변화되지 않은 채로 유지한다. 이 예는 측방향 x 위치가 배향 각도(
Figure pct00004
)의 단조 증가 함수인 결정 경계를 나타낸다. 결정 경계 아래에서, 렌더링은 원래의 위치(변화되지 않은 기준 앵커 포즈)로부터 행해지지만, 결정 경계 위에서, 사용자는 현재 위치의 우측(또는 적절한 경우 좌측)의 새로운 뷰잉 위치로 "스냅"한다(즉, 기준 앵커 포즈를 위해 새로운 앵커 포즈가 선택됨). 다른 앵커 포즈들/카메라들에 대해 대응하는 결정 경계들이 결정될 수 있다.
일부 실시예들에서, 선택기(211)는 관찰자 포즈들의 변화율에 응답하여 기준 앵커 포즈를 스위칭하도록 배열될 수 있다. 예를 들어, 일부 실시예들에서, 사용자는 예를 들어 원하는 방향으로 신속한 머리 움직임을 수행함으로써 또는 예를 들어 그의 머리를 빠르게 돌림으로써 앵커 포즈들 사이에서 스위칭할 수 있다. 결정된 관찰자 포즈 변화율이 주어진 임계값을 초과하는 경우, 장면을 정적으로 볼 때 움직임이 자연스러운 움직임이 아닌 것으로 간주되고, 따라서 상이한 뷰 위치로 스위칭하기 위해 앵커 포즈를 스위칭하기 위한 입력 명령으로서 해석될 수 있다.
다른 실시예들에서, 예를 들어 더 미묘한 수정이 적용될 수 있다. 예를 들어, 앵커 포즈 스위치가 발생하기 전에 요구되는 명목 위치로부터의 거리는 위치 변화들의 속도에 의존할 수 있다. 사용자가 자신의 머리를 천천히 움직이는 경우, 그가 단지 그의 머리를 자연스러운 뷰잉 경험의 일부로서 움직이고 있는 것으로 아마도 간주되며, 따라서 스위칭 전에 비교적 긴 거리가 요구된다. 그러나, 사용자가 그의 머리를 빠르게 움직이는 경우, 이는 사용자가 아마도 전경 객체를 둘러보려고 시도하는 것을 나타내는 것으로서 해석될 수 있고, 거리는 더 이른 시점 시프트/순간이동을 초래하도록 감소될 수 있다.
이전에 논의된 바와 같이, 검색기(207)는 선택된 기준 앵커 포즈에 대한 3D 이미지 데이터를 검색하고, 이미지 합성기(205)는 렌더 포즈에 대한 이미지들을 생성할 때 이를 사용한다. 일부 실시예들에서, 검색기(207)는 또한 제2 앵커 포즈에 대한 3D 이미지 데이터를 검색하도록 배열될 수 있고, 이러한 제2 3D 이미지 데이터는 또한 이미지 합성기(205)에 공급되고, 렌더 포즈에 대한 이미지들을 생성하는 데 사용될 수 있다.
이러한 제2 3D 이미지 데이터는 개선된 뷰 이미지들을 생성하기 위해 렌더링의 품질을 개선하는 데 사용될 수 있다. 예를 들어, 제2 앵커 포즈에 대한 추가의 3D 이미지 데이터는 기준 앵커 포즈로부터 렌더 포즈로의 제1 3D 이미지 데이터의 시프트에 의해 차단 해제될 수 있는 영역들의 충전(infilling)을 개선하는 데 사용될 수 있다. 제2 앵커 포즈로부터의 3D 이미지 데이터는 상이한 위치로부터의 장면을 나타낼 수 있고, 그에 따라 기준 앵커 포즈로부터 차단된 장면의 부분들에 관한 정보를 가질 수 있다.
그러나, 많은 그러한 실시예들에서, 제2 3D 이미지 데이터는 제1 3D 이미지 데이터보다 낮은 품질 레벨을 갖는데, 즉 검색된 3D 이미지 데이터는 제2 앵커 포즈에 대한 것보다 기준 앵커 포즈에 대해 더 높은 품질 레벨을 갖는다. 더 높은 품질 레벨은 구체적으로 더 높은 데이터 레이트(공간 또는 시간)일 수 있다.
예를 들어, 검색기(207)가 서버로부터 3D 이미지 데이터를 명시적으로 요청하는 실시예들에서, 서버는 고품질의 기준 앵커 포즈에 대한 3D 이미지 데이터 및 저품질의 하나 이상의 이웃 앵커 포즈에 대한 3D 이미지 데이터를 갖는 데이터 스트림을 제공하도록 진행할 수 있다.
3-카메라 농구 게임 예에 대한 특정 예로서, 서버는 도 11에 예시된 바와 같이 선택된 앵커 포즈에 대한 고품질 이미지와 깊이 및 이웃 앵커 포즈(들)에 대한 저품질을 제공하도록 진행할 수 있다(이 예에서, 이미지 및 깊이 맵들의 품질은 예를 들어 공간 해상도의 차이를 반영하는 대응하는 객체의 크기에 의해 표시됨).
따라서, 이 예에서, 제공된 데이터 스트림은 또한 예를 들어 이웃 앵커 포즈들에 대한 3D 이미지 데이터의 저해상도 버전들을 포함하고, 이 데이터는 앵커들 사이의 뷰 합성 및 혼합을 위해 사용된다. 관찰자가 중심 위치에 가까운 위치에 있는 동안, 그는 중심 이미지(쌍) 및 깊이(쌍)로부터 생성되는 뷰들을 본다. 일단 그가 더 큰 움직임을 행하는 것이 검출되면, 기준 앵커 포즈의 선택의 변화에 의해 다음 위치로의 스냅이 개시된다. 결과적으로, 전송된 콘텐츠는 최대 해상도의 새로운 위치로 그리고 역시 더 낮은 해상도의 이웃들과 함께 변경된다.
상이한 실시예들에서 상이한 구현들이 사용될 수 있다는 것을 알 것이다. 이 접근법은 예를 들어 하나의 서브루틴이 룩업 테이블을 사용하여 (전형적으로 상대적인) 관찰자 포즈로부터 (전형적으로 상대적인) 렌더 포즈로 매핑하는 방법을 실행하는 하나 이상의 프로세서에 의해 구현될 수 있다. 이러한 서브루틴은 주어진 빈도로 업데이트되는 렌더 포즈들을 제공하기 위해 주어진 반복 빈도로 실행될 수 있다. 제2 서브루틴은 앵커 포즈를 변경하기 위한 기준이 충족되는지를 확인하기 위해 관찰자 포즈들을 평가할 수 있다. 그러한 경우, 이는 앵커 포즈를 변경할 수 있고, 결과적으로 합성기에 상이한 이미지 데이터를 제공할 수 있다. 게다가, 앵커 포즈의 변화는 예를 들어 단지 메모리 내의 LUT를 새로운 앵커 포즈에 링크된 것으로 덮어쓰는 것에 의해, 매핑 서브루틴에 적용되는 상이한 매핑과 연관된다. 이러한 제2 서브루틴의 반복 레이트는 전형적으로 제1 서브루틴의 반복 레이트보다 더 낮을 (그리고 종종 실질적으로 더 낮을) 가능성이 있지만, 실제로는 제1 서브루틴의 반복 레이트와 동일한 레이트이거나, 그보다 훨씬 더 높을 수 있다. 2개의 서브루틴은 서로 동기화될 수 있지만(즉, 순차적으로 실행될 수 있지만), 2개의 병렬 및 비동기화 프로세스들일 필요가 없으며, 쉽게 이것들일 수 있다.
상기 설명은 명료함을 위해 상이한 기능 회로들, 유닛들 및 프로세서들을 참조하여 본 발명의 실시예들을 기술하였음을 알 것이다. 그러나, 본 발명으로부터 벗어남이 없이 상이한 기능 회로들, 유닛들 또는 프로세서들 간의 기능의 임의의 적합한 분배가 사용될 수 있음이 명백할 것이다. 예를 들어, 별개의 프로세서들 또는 제어기들에 의해 수행되도록 예시된 기능이 동일한 프로세서 또는 제어기들에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에 대한 언급들은 오로지 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기보다는 기술된 기능을 제공하기 위한 적합한 수단에 대한 언급들로 간주되어야 한다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 구성요소들은 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로, 기능은 단일 유닛에서, 복수의 유닛에서, 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛에서 구현될 수 있거나, 상이한 유닛들, 회로들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분배될 수 있다.
본 발명이 일부 실시예들과 관련하여 설명되었지만, 본 발명은 본 명세서에 기재된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범주는 첨부된 청구항들에 의해서만 제한된다. 또한, 특징이 특정 실시예들과 관련하여 설명되는 것으로 보일 수 있지만, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있다는 것을 인식할 것이다. 청구항들에서, 용어 '포함하는'은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.
또한, 개별적으로 열거되지만, 복수의 수단, 요소, 회로 또는 방법 단계는 예를 들어 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개별 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있으며, 상이한 청구항들에의 포함은 특징들의 조합이 실현 가능하지 않고/않거나 유리하지 않다는 것을 암시하지는 않는다. 또한, 하나의 카테고리의 청구항들에의 특징의 포함은 이러한 카테고리로의 제한을 암시하는 것이 아니라, 오히려 그 특징이 적절한 대로 다른 청구항 카테고리들에 동등하게 적용될 수 있음을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 암시하지는 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 단계들이 이러한 순서로 수행되어야 함을 암시하지는 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 또한, 단수형 언급들은 복수를 배제하지 않는다. 따라서, 단수형 표현("a", "an"), "제1", "제2" 등에 대한 언급들은 복수를 배제하지 않는다. 청구항들에서의 참조 부호들은 단지 명료화 예로서 제공되며, 어떤 방식으로도 청구항들의 범주를 제한하는 것으로 해석되지 않아야 한다.

Claims (15)

  1. 장면의 이미지들을 생성하기 위한 장치로서,
    상기 장면에 대한 앵커 포즈(anchor pose)들의 세트를 저장하기 위한 저장부(209);
    관찰자에 대한 관찰자 포즈(viewer pose)들을 수신하기 위한 수신기(201);
    상기 앵커 포즈들의 세트로부터 기준 앵커 포즈를 선택하기 위한 선택기(211);
    상기 관찰자 포즈들 중 현재 관찰자 포즈에 대해 상기 장면에서 제1 렌더 포즈(render pose)를 결정하기 위한 렌더 포즈 프로세서(203);
    상기 기준 앵커 포즈에 대한 제1 3차원 이미지 데이터를 검색하는 검색기(207);
    상기 제1 3차원 이미지 데이터에 응답하여 상기 제1 렌더 포즈에 대한 이미지를 합성하기 위한 합성기(205)
    를 포함하고,
    상기 선택기(211)는 상기 관찰자 포즈들이 기준을 충족시키는 것에 응답하여 상기 기준 앵커 포즈를 상기 앵커 포즈들의 세트 중 제1 앵커 포즈로부터 상기 앵커 포즈들의 세트 중 제2 앵커 포즈로 스위칭하도록 배열되며, 상기 렌더 포즈 프로세서(203)는 렌더 포즈들로의 관찰자 포즈들의 매핑으로부터 상기 제1 렌더 포즈를 결정하도록 배열되고, 여기서 상기 매핑은 상기 앵커 포즈들의 세트 중 어느 앵커 포즈가 상기 기준 앵커 포즈로서 선택되는지에 의존하는, 장치.
  2. 제1항에 있어서, 상기 렌더 포즈 프로세서(203)는 관찰자 포즈 값을, 상기 기준 앵커 포즈로서 선택되는 상기 제1 앵커 포즈 및 상기 기준 앵커 포즈로서 선택되는 상기 제2 앵커 포즈에 대한 상이한 렌더 포즈 값들에 매핑하도록 배열되는, 장치.
  3. 제1항 또는 제2항에 있어서, 상기 매핑은 상기 앵커 포즈들의 세트 중 어느 앵커 포즈가 상기 기준 앵커 포즈로서 선택되는지에 따라 상기 렌더 포즈에 상이한 오프셋을 적용하는 것을 포함하는, 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 렌더 포즈 프로세서(203)는 동일한 기준 앵커 포즈에 대해 관찰자 포즈들을 렌더 포즈들에 매핑하여 제1 방향에서의 상기 관찰자 포즈들의 변화가 상기 제1 방향에서의 상기 렌더 포즈들의 변화에 매핑되게 하도록 배열되는, 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 매핑은 상기 렌더 포즈로부터 상기 기준 앵커 포즈까지의 거리가 임계값을 초과하지 않는 일정한 선형 매핑인, 장치.
  6. 제5항에 있어서, 상기 선형 매핑은 50% 이상 및 150% 이하의 축척 계수(scale factor)를 갖는, 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 선택기(211)는 제1 관찰자 포즈가 상기 제1 관찰자 포즈와 기준 관찰자 포즈 사이의 제1 거리가 임계값을 초과한다는 요건을 포함하는 기준을 충족시킨다는 검출에 응답하여 상기 기준 앵커 포즈를 스위칭하도록 배열되는, 장치.
  8. 제7항에 있어서, 상기 선택기(211)는 상기 앵커 포즈들의 세트 중 어느 앵커 포즈가 상기 기준 앵커 포즈로서 선택되는지에 따라 상기 기준 관찰자 포즈를 수정하도록 배열되는, 장치.
  9. 제7항 또는 제8항에 있어서, 상기 제1 거리는 상기 앵커 포즈들의 세트 중 어느 앵커 포즈가 상기 기준 앵커 포즈로서 선택되는지에 의존하는, 장치.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서, 상기 제1 거리는 상기 제1 관찰자 포즈의 위치와 상기 기준 관찰자 포즈의 위치 사이의 거리이고, 상기 선택기(211)는 상기 관찰자 포즈의 배향과 기준 배향 사이의 차이에 따라 상기 임계값을 적응시키도록 배열되는, 장치.
  11. 제10항에 있어서, 상기 임계값은 상기 차이의 단조 증가 함수인, 장치.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서, 상기 선택기(211)는 상기 관찰자 포즈들의 변화율에 응답하여 상기 기준 앵커 포즈를 스위칭하도록 배열되는, 장치.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 검색기(207)는 또한 상기 앵커 포즈들의 세트 중 제2 앵커 포즈에 대한 제2 3차원 이미지 데이터를 검색하도록 배열되고, 상기 합성기(205)는 상기 제2 3차원 데이터를 사용하여 상기 이미지를 합성하도록 배열되며, 상기 제1 3차원 데이터는 상기 제2 3차원 데이터보다 더 높은 품질 레벨을 갖는, 장치.
  14. 장면의 이미지들을 생성하는 방법으로서,
    상기 장면에 대한 앵커 포즈들의 세트를 저장하는 단계;
    관찰자에 대한 관찰자 포즈들을 수신하는 단계;
    상기 앵커 포즈들의 세트로부터 기준 앵커 포즈를 선택하는 단계;
    상기 관찰자 포즈들 중 현재 관찰자 포즈에 대해 상기 장면에서 제1 렌더 포즈를 결정하는 단계로서, 상기 제1 렌더 포즈는 상기 기준 앵커 포즈에 대해 결정되는, 상기 제1 렌더 포즈를 결정하는 단계;
    상기 기준 앵커 포즈에 대한 제1 3차원 이미지 데이터를 검색하는 단계;
    상기 제1 3차원 이미지 데이터에 응답하여 상기 제1 렌더 포즈에 대한 이미지를 합성하는 단계
    를 포함하고,
    상기 선택은 상기 관찰자 포즈들이 기준을 충족시키는 것에 응답하여 상기 기준 앵커 포즈를 상기 앵커 포즈들의 세트 중 제1 앵커 포즈로부터 상기 앵커 포즈들의 세트 중 제2 앵커 포즈로 스위칭하는 것을 포함하는, 방법.
  15. 컴퓨터 프로그램 제품으로서,
    상기 프로그램이 컴퓨터 상에서 실행될 때 제14항의 단계들 모두를 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.
KR1020217002224A 2018-06-25 2019-06-20 장면의 이미지들을 생성하기 위한 장치 및 방법 KR20210024071A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18179841.4 2018-06-25
EP18179841.4A EP3588249A1 (en) 2018-06-26 2018-06-26 Apparatus and method for generating images of a scene
PCT/EP2019/066311 WO2020002115A1 (en) 2018-06-25 2019-06-20 Apparatus and method for generating images of a scene

Publications (1)

Publication Number Publication Date
KR20210024071A true KR20210024071A (ko) 2021-03-04

Family

ID=62814818

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217002224A KR20210024071A (ko) 2018-06-25 2019-06-20 장면의 이미지들을 생성하기 위한 장치 및 방법

Country Status (9)

Country Link
US (1) US11694390B2 (ko)
EP (2) EP3588249A1 (ko)
JP (1) JP7401472B2 (ko)
KR (1) KR20210024071A (ko)
CN (1) CN112602042B (ko)
BR (1) BR112021000289A2 (ko)
CA (1) CA3105400A1 (ko)
TW (1) TWI831796B (ko)
WO (1) WO2020002115A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022240192A1 (en) * 2021-05-11 2022-11-17 Samsung Electronics Co., Ltd. Method and apparatus for ar remote rendering processes
US11729504B2 (en) 2021-08-23 2023-08-15 Samsung Electronics Co., Ltd. Method and electronic device for auto focus of scene

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111659117B (zh) * 2020-07-08 2023-03-21 腾讯科技（深圳）有限公司 虚拟对象展示方法、装置、计算机设备及存储介质
WO2022226502A1 (en) * 2021-04-20 2022-10-27 Qualcomm Incorporated Anchoring a scene description to a user environment for streaming immersive media content
CN114173139B (zh) * 2021-11-08 2023-11-24 北京有竹居网络技术有限公司 一种直播互动方法、系统及相关装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4533895B2 (ja) 2003-09-30 2010-09-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像レンダリングのための動き制御
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
WO2010013171A1 (en) 2008-07-28 2010-02-04 Koninklijke Philips Electronics N.V. Use of inpainting techniques for image correction
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
US8896631B2 (en) 2010-10-25 2014-11-25 Hewlett-Packard Development Company, L.P. Hyper parallax transformation matrix based on user eye positions
JP6073307B2 (ja) 2011-06-22 2017-02-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ディスプレイ用信号の生成方法及び装置
EP2860606B1 (en) 2012-06-12 2018-01-10 Sony Corporation Information processing device, information processing method, and program for an augmented reality display
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
CN107431801A (zh) * 2015-03-01 2017-12-01 奈克斯特Vr股份有限公司 支持内容生成、发送和/或重放的方法和设备
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
JP6532393B2 (ja) 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
CN106919248A (zh) * 2015-12-26 2017-07-04 华为技术有限公司 应用于虚拟现实的内容传输方法以及设备
US10163251B2 (en) * 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
TWI597625B (zh) * 2016-06-20 2017-09-01 國立中興大學 影像導覽系統之互動結合方法
CN106101741B (zh) * 2016-07-26 2020-12-15 武汉斗鱼网络科技有限公司 在网络视频直播平台上观看全景视频的方法及系统
BR112019005855A2 (pt) * 2016-09-29 2019-06-11 Koninklijke Philips Nv aparelho de processamento de imagens, sistema de processamento de imagens, e método para fornecer uma imagem
EP3422708A1 (en) 2017-06-29 2019-01-02 Koninklijke Philips N.V. Apparatus and method for generating an image
EP3511910A1 (en) 2018-01-12 2019-07-17 Koninklijke Philips N.V. Apparatus and method for generating view images
US10403047B1 (en) * 2018-03-01 2019-09-03 Dell Products L.P. Information handling system augmented reality through a virtual object anchor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022240192A1 (en) * 2021-05-11 2022-11-17 Samsung Electronics Co., Ltd. Method and apparatus for ar remote rendering processes
US11729504B2 (en) 2021-08-23 2023-08-15 Samsung Electronics Co., Ltd. Method and electronic device for auto focus of scene

Also Published As

Publication number Publication date
JP2022501685A (ja) 2022-01-06
EP3588249A1 (en) 2020-01-01
BR112021000289A2 (pt) 2021-04-06
JP7401472B2 (ja) 2023-12-19
CN112602042A (zh) 2021-04-02
TWI831796B (zh) 2024-02-11
US20210264658A1 (en) 2021-08-26
CN112602042B (zh) 2024-04-05
US11694390B2 (en) 2023-07-04
TW202016692A (zh) 2020-05-01
WO2020002115A1 (en) 2020-01-02
EP3811185A1 (en) 2021-04-28
CA3105400A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
US11694390B2 (en) Apparatus and method for generating images of a scene
TWI818899B (zh) 影像處理設備及用於提供一影像之方法
JP7480065B2 (ja) 画像データストリームを生成するための装置および方法
EP3857898B1 (en) Apparatus and method for generating and rendering a video stream
KR20210059775A (ko) 이미지 합성
JP2022522504A (ja) 画像の奥行きマップの処理
EP3383035A1 (en) Image generation from video