KR20190052713A - 이미지 처리 - Google Patents

이미지 처리 Download PDF

Info

Publication number
KR20190052713A
KR20190052713A KR1020197012162A KR20197012162A KR20190052713A KR 20190052713 A KR20190052713 A KR 20190052713A KR 1020197012162 A KR1020197012162 A KR 1020197012162A KR 20197012162 A KR20197012162 A KR 20197012162A KR 20190052713 A KR20190052713 A KR 20190052713A
Authority
KR
South Korea
Prior art keywords
image
position parameter
parameter vector
images
observation
Prior art date
Application number
KR1020197012162A
Other languages
English (en)
Other versions
KR102376593B1 (ko
Inventor
크리스티안 바레캄프
파트릭크 루크 엘스 반데발레
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20190052713A publication Critical patent/KR20190052713A/ko
Application granted granted Critical
Publication of KR102376593B1 publication Critical patent/KR102376593B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

장치는 장면에 대한 상이한 위치들 및 관찰 방향들에 대응하는 이미지들과, 이미지들에 대한 관련 위치 파라미터 벡터들을 저장하는 저장소(201)를 포함하며, 여기서 이미지에 대한 벡터는 관찰 위치 및 관찰 방향을 나타내는 데이터를 포함한다. 수신기(205)가 원격 클라이언트(101)로부터 관찰 위치 파라미터 벡터를 수신한다. 선택기(207)가 관찰 위치 파라미터 벡터와 관련 위치 파라미터 벡터들의 비교에 응답하여 이미지들의 세트를 선택한다. 이미지 합성기(209)가 이미지들의 세트로부터 이미지를 생성한다. 데이터 생성기(215)가 합성된 이미지에 대한 관찰 위치 및 방향을 나타내는, 합성된 이미지에 대한 참조 위치 파라미터 벡터를 생성한다. 이미지 인코더(211)가 합성된 이미지를 인코딩하고, 출력 생성기(213)가 인코딩된 합성된 이미지 및 참조 위치 파라미터 벡터를 포함하는 출력 이미지 신호를 생성한다. 출력 이미지 신호는 원격 클라이언트로 송신된다.

Description

이미지 처리
본 발명은 이미지 처리에 관한 것이며, 특히(그러나 배타적으로는 아님) 가상 현실 시스템에서 3차원 이미지를 제공하기 위한 시스템에 관한 것이다.
이미지 및 비디오 응용들의 다양성과 범위는 최근 몇 년간 크게 증가했으며, 비디오를 이용 및 소비하는 새로운 서비스들 및 방법들이 계속 개발 및 도입되고 있다.
예를 들어, 점점 더 대중화되고 있는 하나의 서비스는 관찰자가 렌더링의 파라미터를 변경하기 위해 시스템과 능동적으로 그리고 동적으로 상호작용할 수 있는 방식으로 비디오를 제공하는 것이다. 많은 응용에서 매우 매력적인 특징은, 예를 들어 관찰자가 제시되는 장면에서 움직이고 "둘러보는" 것을 가능하게 하는 것과 같은, 관찰자의 유효 관찰 위치 및 관찰 방향을 변경하는 능력이다.
그러한 특징은 특히 가상 현실 경험이 사용자에게 제공되는 것을 가능하게 할 수 있다. 이것은 사용자가 장면에서 (비교적) 자유롭게 돌아다니고 그가 보고 있는 곳을 동적으로 변경하는 것을 가능하게 할 수 있다. 전형적으로, 그러한 가상 현실 응용은 장면의 3차원 모델에 기초하며, 이러한 모델은 특정한 요청된 뷰를 제공하기 위해 동적으로 평가된다. 이러한 접근법은 예를 들어 컴퓨터 및 콘솔에 대한 1인칭 슈터의 카테고리에서와 같은 게임 응용으로부터 잘 알려져 있다.
그러나, 그러한 응용은 그것이 장면의 미리 결정된 모델에 기초한다는 점에서 본질적으로 제한된다. 사용자가 관찰 위치 및 방향을 선택할 수 있는 가상 현실 효과가 실제 캡처된 비디오에 대해 구현될 수 있다면 많은 응용에 바람직할 것이다. 그러한 특징의 시도는 상이한 관찰 위치들 및 방향들을 갖는 다수의 카메라를 사용하며 관찰자 현재 위치에 가장 가까운 것으로 간주되는 카메라로부터 비디오가 선택됨으로써 구현되었다. 그러나, 그러한 접근법은 비교적 많은 수의 병렬 비디오 스트림이 배포되는 것을 요구하는 경향이 있으며, 또한 뷰가 하나의 카메라로부터 다른 카메라로 전환되는 때를 사용자가 분명히 알아차리는 최적이 아닌 경험을 제공한다.
특히 가상 현실 응용에서는, 제시되는 이미지가 3차원 이미지인 것이 또한 바람직하다. 실제로, 관찰자의 몰입을 최적화하기 위해, 전형적으로 사용자가 제시된 장면을 3차원 장면으로서 경험하는 것이 바람직하다. 실제로, 가상 현실 경험은 바람직하게는 사용자가 가상 세계에 대한 그/그녀 자신의 위치, 카메라 시점(viewpoint), 및 시간적 순간을 선택할 수 있게 하여야 한다. '이상적인' 가상 세계에서, 동적 장면이 카메라 센서들에 의해 모든 위치로부터 모든 방향에서 계속 캡처되고 있다.
예로서, 가상 현실 안경이 현재 시장에 진입하고 있다. 이러한 안경은 관찰자가 캡처된 360도(파노라마) 비디오를 경험할 수 있게 한다. 이러한 360도 비디오는 종종, 개별 이미지들이 단일 구면 매핑으로 함께 스티칭(stitching)되는 카메라 리그(camera rig)들을 사용하여 미리 캡처된다. 360도 비디오에 대한 일반적인 스테레오 포맷들은 상/하 및 좌/우이다. 논-파노라마 스테레오 비디오와 유사하게, 좌안 및 우안 픽처(picture)들은 단일 H.264 비디오 스트림의 일부로서 압축된다. 단일 프레임을 디코딩한 후에, 관찰자는 그/그녀 주위의 세계를 보기 위해 그/그녀의 머리를 회전시킨다. 현재의 예는 구글(Google)에 의해 행해진 카네기 홀 콘서트의 레코딩이다[https://performingarts.withgoogle.tabhumblecom/en_us/performances/carnegie-hall]. 이 예에서, 관찰자는 360도 둘러보기 효과를 경험할 수 있고, 상이한 위치들로부터 레코딩된 3개의 비디오 스트림 사이에서 개별적으로 전환할 수 있다. 전환할 때, 다른 비디오 스트림이 로딩되는데, 이는 경험을 중단시킨다.
스테레오 파노라마 비디오 접근법의 한 가지 결점은 관찰자가 가상 세계에서 위치를 변경할 수 없다는 점이다. 파노라마 스테레오 비디오 이외의 파노라마 깊이 맵의 인코딩 및 송신은 클라이언트 측에서의 관찰자의 작은 병진 운동의 보상을 허용할 수 있지만, 그러한 보상은 본질적으로 작은 변동 및 움직임으로 제한될 것이며, 몰입적이고 자유로운 가상 현실 경험을 제공할 수 없을 것이다.
관련 기술은 깊이 맵을 갖는 다수의 시점이 단일 비디오 스트림으로 인코딩 및 송신되는 자유 시점 비디오이다. 비디오 스트림의 비트 레이트는 잘 알려진 시간 예측 스킴(temporal prediction scheme)에 더하여 시점들 간의 각도 의존성을 이용함으로써 감소될 수 있다. 그러나, 이러한 접근법은 여전히 높은 비트 레이트를 요구하며, 생성될 수 있는 이미지 면에서 제한적이다. 그것은 3차원 가상 현실 세계에서 완전히 자유로운 움직임의 경험을 사실상 제공할 수 없다.
그러나, 종래 기술들 중 어느 것도 이상적인 경험을 전달할 수 없으며, 위치 및 관찰 방향에 있어서의 변화의 자유에서 제한적인 경향이 있다. 또한, 이러한 기술들은 매우 높은 데이터 레이트를 요구하고 개별 이미지들/뷰들의 생성에 필요한 것보다 더 많은 데이터를 포함하는 데이터 스트림을 제공하는 경향이 있다.
따라서, 개선된 이미지 처리 접근법이 유리할 것이다. 특히, 개선된 동작, 증가된 유연성, 상이한 관찰 위치들 및 방향들에 대응하는 이미지들을 생성하기 위한 증가된 범위, 개선된 가상 현실 경험, 감소된 데이터 레이트, 용이해진 배포, 감소된 복잡성, 용이해진 구현 및/또는 개선된 성능 및/또는 동작을 가능하게 하는 접근법이 유리할 것이다.
따라서, 본 발명은 전술한 불리한 점들 중 하나 이상을 단독으로 또는 임의의 조합으로 바람직하게 완화, 경감 또는 제거하고자 한다.
본 발명의 태양에 따르면, 장치로서, 3차원 장면에 대한 복수의 이미지들을 저장하기 위한 저장소로서, 이미지들은 장면에 대한 상이한 위치들 및 관찰 방향들에 대응하고, 저장소는 복수의 이미지들에 대한 관련 위치 파라미터 벡터들을 저장하도록 추가로 배열되고, 복수의 이미지들의 이미지에 대한 관련 위치 파라미터 벡터는 이미지에 대한 관찰 위치 및 관찰 방향을 나타내는 데이터를 포함하는, 상기 저장소; 원격 클라이언트로부터 관찰 위치 파라미터 벡터를 수신하기 위한 수신기; 관찰 위치 파라미터 벡터와 관련 위치 파라미터 벡터들의 비교에 응답하여 복수의 이미지들 중 이미지들의 세트를 선택하기 위한 선택기; 이미지들의 세트로부터 합성된 이미지를 생성하기 위한 이미지 합성기; 합성된 이미지에 대한 참조 위치 파라미터 벡터를 생성하도록 배열된 데이터 생성기로서, 참조 위치 파라미터 벡터는 합성된 이미지에 대한 관찰 위치 및 관찰 방향을 나타내는, 상기 데이터 생성기; 인코딩된 합성된 이미지를 생성하기 위해 합성된 이미지를 인코딩하기 위한 이미지 인코더; 인코딩된 합성된 이미지 및 참조 위치 파라미터 벡터를 포함하는 출력 이미지 신호를 생성하기 위한 출력 생성기; 및 출력 이미지 신호를 원격 클라이언트로 송신하기 위한 송신기를 포함하는, 장치가 제공된다.
본 발명은 예를 들어 실제 이미지 캡처에 기초하여 맞춤형 사용자 경험을 지원하기 위한 개선된 접근법을 제공할 수 있다. 이 접근법은 특히 예를 들어 이벤트/장면의 캡처에 기초하는 가상 현실 경험의 개선된 지원을 제공할 수 있다. 이 접근법은 원격 클라이언트가 저장소에 저장된 이미지에 의해 표현되는 환경에서 관찰자의 움직임을 변경 및 제어할 수 있는 맞춤형 경험의 생성을 허용할 수 있다.
특히, 이 접근법은 많은 실시예에서 원격 클라이언트가 서버로서 동작하는 장치로부터 수신된 이미지에 기초하여 가상 현실 경험을 제공할 수 있는 설정을 효과적으로 지원할 수 있다. 서버에 의해 제공되는 이미지는 서버에서의 가상 현실 응용의 현재 조건 및 요건에 효과적으로 맞춤화될 수 있어서, 원격 클라이언트에 의해 요구되는 후처리의 양을 최소화할 수 있다. 그러나, 서버는 통신된 이미지에 의해 표현된 것으로부터의 현재 관찰자 위치/방향의 임의의 편차를 조정하기 위해 서버가 수신된 이미지를 개선할 수 있게 하는 정보를 여전히 제공할 수 있다.
많은 실시예에서, 개선된 경험 및 더 자유롭게 제어 가능한 경험이 제공될 수 있다. 또한, 이는 과도한 대역폭을 요구함이 없이 제공될 수 있으며, 실제로 대부분의 실시예에서 단일 비디오 스트림의 대역폭에 대응하는 서버로부터 클라이언트로의 대역폭만을 요구하면서, 캡처된 비디오에 기초하여 적응적이고 유연한 가상 현실 경험이 달성될 수 있다.
많은 실시예에서, 복수의 이미지는 장면에 대한 캡처된 이미지일 수 있으며, 특히 그것은 실제 장면에서 카메라들에 의해 캡처된 이미지들일 수 있다. 저장소에 저장된 복수의 이미지는 실제 장면을 캡처하는 이미지들일 수 있다. 많은 실시예에서, 복수의 이미지는 상이한 시간 인스턴트들에서 촬영된 이미지들을 포함할 수 있으며, 따라서 그것들은 장면의 동적 변화를 반영할 수 있다. 복수의 이미지는 특히 실제 장면의 캡처된 비디오의 프레임들을 포함할 수 있다.
위치 파라미터 벡터는 하나 이상의 파라미터를 나타내는 하나 이상의 값을 포함하는 데이터 구조 또는 배열일 수 있으며, 적어도 하나의 파라미터는 관찰 위치를 나타내고 적어도 하나의 파라미터는 관찰 방향을 나타낸다. 캡처된 이미지의 경우, 관찰 위치 및 방향은 이미지를 캡처할 때의 카메라 위치 및 배향/방향에 대응할 수 있다. 위치 파라미터 벡터를 나타내는 데이터는 임의의 적합한 방식으로 배열될 수 있으며, 예를 들어 복수의 이미지에 대해 공통으로 제공되는 값들을 포함할 수 있다.
수신기는 네트워크를 포함할 수 있는 통신 매체를 통해 원격 클라이언트로부터 관찰 위치 파라미터 벡터를 수신하도록 배열될 수 있으며, 특히 그것은 인터넷을 포함할 수 있다. 관찰 위치 파라미터 벡터는 장치/서버에 의해 생성되는 합성된 이미지에 대한 원하는 관찰 위치 및 관찰 방향을 나타낼 수 있다. 관찰 위치 파라미터 벡터는 많은 실시예에서 저장소에 저장된 이미지에 의해 표현된 가상 장면에서 사용자의 위치 및 관찰 방향을 나타내도록 생성될 수 있다.
이미지들의 세트의 선택은 특히 관찰 위치 파라미터 벡터 및 관련 위치 파라미터 벡터들에 대한 근접성 기준에 응답할 수 있다. 특히, 관찰 위치 파라미터 벡터와 개개의 관련 관찰 위치 파라미터 벡터들 사이의 거리 척도가 결정될 수 있고, 선택은 이 거리 척도에 응답할 수 있다. 전형적으로, 이미지들의 세트는 거리 척도가 (예를 들어, 그것이 임계치 아래이거나 N개의 최저 차이 척도들 중 하나인 것과 같은) 기준을 충족시키는 이미지들을 포함하도록 선택될 수 있다.
이미지의 합성은 이미지들의 세트의 복수의 이미지에 기초한 합성을 포함할 수 있다. 특히, 많은 실시예에서, 합성은 이미지들의 세트의 복수의 이미지에 기초하여 뷰 합성을 수행하는 것을 포함한다. 일부 실시예들에서, 합성은 이미지들의 세트로부터 단일 이미지(예를 들어, 가장 가까운 이미지)를 선택하는 것을 포함할 수 있다. 많은 실시예에서, 합성은 관찰 위치 파라미터 벡터 및 이미지들의 세트의 관련 위치 파라미터 벡터들에 응답한다. 특히, 관찰 위치 파라미터 벡터는 원하는 관찰 위치 및 방향을 나타내는 것으로 간주될 수 있다.
일부 실시예들에서, 합성된 이미지는 이미지들의 세트 중 하나 이상의 이미지의 이미지의 뷰 변환에 의해 생성될 수 있으며, 뷰 변환은 하나 이상의 이미지의 것으로부터의 관찰 지점 및 방향을 원하는 관찰 위치 및 방향으로 변환하는 것에 대응한다. 그러나, 일부 실시예들에서, 합성된 이미지의 관찰 위치 및 방향은 이미지들의 관찰 위치 및 방향을 고려함으로써 관찰 위치 파라미터 벡터에 의해 표현되는 바와 같은 원하는 관찰 위치 및 방향으로부터 수정될 수 있다. 예를 들어 저장된 이미지가 위치 파라미터 벡터에 매우 가까운 위치 파라미터 벡터를 갖는 경우, 합성된 이미지에 대한 관찰 위치 및 방향은 저장된 이미지의 것으로 설정될 수 있다.
데이터 생성기는 이미지들의 제1 세트의 이미지들의 관련 위치 파라미터 벡터들에 응답하여, 그리고 때때로 관찰 위치 파라미터 벡터에 응답하여, 합성된 이미지에 대한 참조 위치 파라미터 벡터를 생성하도록 배열될 수 있다. 예를 들어, 생성되는 참조 관찰 위치 파라미터 벡터는 합성된 이미지가 생성된 관찰 방향 및 위치로서 생성될 수 있다.
장치는 많은 실시예에서 복수의 원격 클라이언트를 동시에 지원할 수 있다. 특히, 그것은 복수의 원격 클라이언트 각각으로부터 관찰 위치 파라미터 벡터들을 수신할 수 있고, 그것은 그에 응답하여 각각의 개별 원격 클라이언트/관찰 위치 파라미터 벡터에 대한 합성된 이미지들을 생성하고 이들을 다시 적절한 클라이언트로 송신할 수 있다.
관찰 위치 및 관찰 방향은 이미지들에 의해 표현되는 장면을 참조하여 제공될 수 있다. 그것들은 이들 이미지에 의해 표현되는 가상 세계/장면에서의 위치 및 방향으로서 제공될 수 있다.
본 발명의 선택적인 특징에 따르면, 관련 위치 파라미터 벡터들 중 적어도 하나의 관련 위치 파라미터 벡터 및 관찰 위치 파라미터 벡터는 시간 파라미터를 포함하고, 이미지들의 세트의 선택은 관찰 위치 파라미터 벡터의 시간 파라미터 값과 관련 위치 파라미터 벡터들 중 적어도 하나의 관련 위치 파라미터 벡터의 시간 파라미터 값들 사이의 차이의 비교를 포함한다.
이것은 많은 실시예들에서 개선된 동작 및/또는 개선된 사용자 경험/서비스를 제공할 수 있다. 그것은 특히 동적으로 변하는 장면에 대한 개선된 지원을 제공할 수 있다. 예를 들어, 그것은 콘서트 또는 스포츠 이벤트와 같은 라이브 및 동적 이벤트의 가상 현실 경험을 제공하는 것을 지원할 수 있다.
합성된 이미지는 단지 생성된 이미지일 수 있으며, 합성된 이미지에 대한 참조는 생성된 이미지에 대한 참조로 대체될 수 있다.
본 발명의 선택적인 특징에 따르면, 선택기는 복수의 수신된 관찰 위치 파라미터 벡터들로부터 수정된 관찰 위치 파라미터 벡터를 예측하도록 배열되고, 선택기는 수정된 관찰 위치 파라미터 벡터에 응답하여 이미지들의 세트를 선택하도록 배열되거나; 이미지 합성기는 수정된 관찰 위치 파라미터 벡터에 응답하여 합성된 이미지를 생성하도록 배열된다.
이것은 많은 실시예 및 시나리오에서 개선된 동작을 제공할 수 있다. 그것은 특히 원격 클라이언트가 이미지를 수신할 때 이것에 의해 요구되는 것에 더 가까울 가능성이 있는 합성된 이미지를 장치가 생성하게 할 수 있다. 복수의 수신된 관찰 위치 파라미터 벡터는 현재/가장 최근에 수신된 관찰 위치 파라미터 벡터를 포함할 수 있다.
본 발명의 선택적인 특징에 따르면, 장치는 캐시, 및 복수의 수신된 관찰 위치 파라미터 벡터들로부터 수정된 관찰 위치 파라미터 벡터를 예측하고, 수정된 관찰 위치 파라미터 벡터와 관련 위치 파라미터 벡터들의 비교에 응답하여 복수의 이미지들로부터 이미지들의 예측 세트를 사전 선택하고, 이미지들의 예측 세트를 캐시에 저장하도록 배열된 사전 선택기를 추가로 포함하고; 선택기는 캐시에 저장된 이미지들의 예측 세트로부터 이미지들의 세트 중 적어도 하나의 이미지를 검색하도록 배열된다.
이것은 많은 실시예 및 시나리오에서 개선된 동작을 제공할 수 있다. 그것은 합성된 이미지의 더 빠른 생성을 허용하고 이에 따라 응답 지연을 감소시킬 수 있다. 이 접근법은 전체 레이턴시를 감소시키고 이에 따라 장치가 원격 클라이언트에 의한 더 적은 후처리를 필요로 할 가능성이 있는 이미지를 서버에 제공하게 할 수 있다. 복수의 수신된 관찰 위치 파라미터 벡터는 현재/가장 최근에 수신된 관찰 위치 파라미터 벡터를 포함할 수 있다.
본 발명의 선택적인 특징에 따르면, 저장소는 이미지들에 대한 깊이 데이터를 추가로 포함하고, 이미지 합성기는 이미지들의 세트에 대한 깊이 데이터에 응답하여 합성된 이미지에 대한 깊이 데이터를 추가로 생성하도록 배열되고, 생성기는 깊이 데이터를 출력 이미지 신호에 포함시키도록 배열된다.
이것은 수신된 이미지의 원격 클라이언트에서의 후처리를 촉진하고/하거나 개선하여 이것이 현재 조건에 더 밀접하게 대응하게 할 수 있다. 특히, 그것은 시점 변환을 개선할 수 있다. 깊이 데이터는 많은 실시예에서 깊이 맵 또는 3차원 메시의 형태일 수 있다.
본 발명의 선택적인 특징에 따르면, 장치는 일련의 관찰 위치 파라미터 벡터들을 수신하고, 일련의 관찰 위치 파라미터 벡터들에 대응하는 합성된 이미지들의 시퀀스를 포함하도록 출력 이미지 신호를 생성하도록 배열된다.
이 접근법은 원격 클라이언트가 관찰 위치 파라미터 벡터들을 연속적으로 송신하고 장치가 이에 응답하여 다시 원격 클라이언트로 송신되는 합성된 이미지들을 연속적으로 생성하는 연속 동작을 지원할 수 있다. 많은 실시예에서, 장치는 원격 클라이언트에 의해 처리 및 렌더링될 수 있는 비디오 스트림을 실제로 형성하는 일련의 이미지들을 생성할 수 있다.
많은 실시예에서, 장치는 수신되는 각각의 관찰 위치 파라미터 벡터에 대한 복수의 합성된 이미지를 생성하도록 배열될 수 있다. 예를 들어, 새로운 관찰 위치 파라미터 벡터가 수신될 때까지 동일한 이미지가 반복적으로 송신될 수 있다. 이것은 예를 들어 정적인 세계에서의 매우 느린 움직이는 응용에 적합할 수 있다. 다른 실시예들에서, 새로운 합성 이미지가 원하는 프레임 레이트에 대응하는 레이트로 생성될 수 있다. 이들 이미지는 각각 동일한 관찰 위치 파라미터 벡터에 그러나 상이한 이미지들에, 그리고 특히 상이한 시간 인스턴트들에서의 이미지들에 기초할 수 있다. 이것은 예를 들어 장면에서 발생하지만 동일한 관찰 위치로부터 그리고 동일한 방향에서 관찰되는 동적 이벤트들을 반영하는 비디오 스트림을 제공할 수 있다(예를 들어, 스포츠 이벤트의 관중이 가만히 앉아서 동일한 방향을 봄).
일부 실시예들에서, 장치는 상이한 수신된 관찰 위치 파라미터 벡터들 사이를 보간하도록 배열될 수 있거나, 수신되는 관찰 위치 파라미터 벡터들 사이의 시간들 동안 관찰 위치 파라미터 벡터들을 예측하는 것이 가능할 수 있다. 이 경우, 이러한 보간된/예측된 관찰 위치 파라미터 벡터들은 관찰 위치 파라미터 벡터들이 수신되는 시간 인스턴트들 사이에서 사용될 수 있다.
본 발명의 선택적인 특징에 따르면, 수신기는 일련의 관찰 위치 파라미터 벡터들 중 적어도 하나의 파라미터에 저역 통과 필터를 적용하도록 배열된다.
이것은 많은 실시예들에서 개선된 사용자 경험을 제공하거나 허용할 수 있다. 특히, 그것은 경험된 뷰들의 더 매끄러운 업데이트 및 변경이 달성될 수 있게 할 수 있다. 그것은 이미지/비디오 인코딩을 더욱 촉진할 수 있고 전형적으로 주어진 품질에 대한 요구되는 데이터 레이트를 감소시킬 수 있다. 필터는 전형적으로 시간적 저역 통과 필터일 수 있다.
본 발명의 선택적인 특징에 따르면, 수신기는 선택 명령을 수신하도록 추가로 배열되고, 선택기는 선택 명령에 응답하여 이미지들의 세트를 선택하기 위한 선택 기준을 적응시키도록 배열된다.
이것은 특히 개별 사용자/응용의 개별 선호 및 요건에 대한 증가된 맞춤화 및 적응을 허용할 수 있다. 그것은 특히 상이한 가상 현실 모드들/서비스들을 지원하고/하거나, 제어하고/하거나, 그들 사이에서 전환하는 효율적인 방법을 제공할 수 있다.
본 발명의 선택적인 특징에 따르면, 선택기는 비교에서 관찰 위치 파라미터 벡터의 파라미터를, 파라미터가 무시될 것을 요청하는 선택 명령을 수신하는 것에 응답하여 무시하도록 배열된다.
이것은 개별 사용자/응용의 개별 선호 및 요건에 대한 특히 효율적인 맞춤화 및 적응을 제공할 수 있다. 파라미터는 전형적으로 시간 파라미터일 수 있다.
본 발명의 선택적인 특징에 따르면, 저장소는 관련 위치 파라미터 벡터들을 범위 트리 구조(range tree structure)에 저장하도록 배열되고, 선택기는 범위 트리 구조에서의 검색에 응답하여 서브세트를 선택하도록 배열된다.
이것은 특히 효율적인 접근법을 제공할 수 있고, 특히 예를 들어 가상 현실 경험에 적합한 요건들을 충족시키는 적합한 이미지들의 효율적인 검색 및 선택을 허용할 수 있다. 그것은 많은 시나리오에서 다수의 저장된 비디오 스트림에 기초하여 제어 가능한 비디오 스트림의 실시간 제공을 가능하게 할 수 있다.
본 발명의 태양에 따르면, 이미지 처리 장치로서, 관찰 위치 및 관찰 방향을 나타내는 파라미터들을 포함하는 제1 관찰 위치 파라미터 벡터를 결정하기 위한 위치 프로세서; 관찰 위치 파라미터 벡터를 원격 이미지 서버로 송신하기 위한 송신기; 원격 이미지 서버로부터 신호를 수신하기 위한 수신기로서, 신호는 제1 이미지, 및 제1 이미지에 대한 관찰자 방향 및 관찰자 위치를 나타내는 참조 위치 파라미터 벡터를 포함하는, 상기 수신기; 제1 관찰 위치 파라미터 벡터에 대한 관찰자 위치 및 관찰 방향의 변화들을 반영하는 업데이트된 관찰 위치 파라미터 벡터를 결정하도록 배열된 업데이트 프로세서; 및 참조 위치 파라미터 벡터 및 업데이트된 관찰 위치 파라미터 벡터에 응답하여 제1 이미지로부터 합성된 이미지를 생성하도록 배열된 이미지 합성기를 포함하는, 이미지 처리 장치가 제공된다.
본 발명은 예를 들어 실제 이미지 캡처에 기초하여 맞춤형 사용자 경험을 지원하기 위한 개선된 접근법을 제공할 수 있다. 이 접근법은 특히 예를 들어 이벤트/장면의 캡처에 기초하는 가상 현실 경험의 개선된 지원을 제공할 수 있다. 이 접근법은 원격 클라이언트가 저장소에 저장된 이미지에 의해 표현되는 환경에서 관찰자의 움직임을 변경 및 제어할 수 있는 맞춤형 경험의 생성을 허용할 수 있다.
이 접근법은 이미지 처리 장치가 장면의 이미지들을 제공하는 이미지/비디오 서버에 대한 원격 클라이언트로서 동작할 수 있게 한다. 이미지 처리 장치는 송신된 관찰 위치 파라미터 벡터에 기초하여 장면에서 관찰 위치 및 방향을 제어할 수 있다. 원격 서버로부터 수신된 이미지(들)를 사용자에게 제시하는 것은 예를 들어 가상 현실 경험을 제공하는 데 사용될 수 있다. 사용자는 원격 서버를 제어하는 이미지 처리 장치를 이용하여 이러한 가상 현실 장면에서 움직여 이러한 움직임을 따르는 적절한 이미지들을 제공할 수 있다.
또한, 이미지 처리 장치가 관찰 위치 파라미터 벡터를 동적으로 업데이트하고, 국지적인 후처리를 수행하여 최초에 송신된 관찰 위치 파라미터 벡터로부터의 차이를 반영하는 이미지를 생성/합성함으로써, 개선된 경험이 제공될 수 있다. 특히, 이 접근법은 레이턴시를 보상하고 어떠한 인식 가능한 지연도 없는 가상 현실 경험을 생성할 수 있다.
본 발명의 선택적인 특징에 따르면, 이미지 합성기는 업데이트된 관찰 위치 파라미터 벡터와 참조 위치 파라미터 벡터 사이의 관찰 차이에 대응하는 뷰 변환을 제1 이미지에 적용하도록 배열된다.
이것은 현재 조건을 더 밀접하게 반영하는 이미지가 제시되는 개선된 사용자 경험을 제공할 수 있다.
참조 위치 파라미터 벡터 및 업데이트된 관찰 위치 파라미터 벡터에 응답하여 제1 이미지로부터 합성된 이미지를 생성하는 것은 특히 업데이트된 위치 파라미터 벡터와 관찰 위치 파라미터 벡터 사이의 관찰 위치 및/또는 관찰 방향의 차이를 반영하는 뷰 변환을 수행하는 것을 포함할 수 있다. 그러한 뷰 변환은, 예를 들어, 이미지와 함께 수신되는, 즉 원격 서버로부터 또한 수신되는 깊이 데이터에 기초할 수 있다.
본 발명의 태양에 따르면, 전술된 바와 같은 장치를 포함하는 이미지 서버 및 전술된 바와 같은 이미지 처리 장치를 포함하는 이미지 클라이언트를 포함하는, 이미지 처리 시스템이 제공된다.
본 발명의 태양에 따르면, 이미지를 제공하기 위한 방법으로서, 3차원 장면에 대한 복수의 이미지들을 저장하는 단계로서, 이미지들은 장면에 대한 상이한 위치들 및 관찰 방향들에 대응하는, 상기 복수의 이미지들 저장 단계; 복수의 이미지들에 대한 관련 위치 파라미터 벡터들을 저장하는 단계로서, 복수의 이미지들의 이미지에 대한 관련 위치 파라미터 벡터는 이미지에 대한 관찰 위치 및 관찰 방향을 나타내는 데이터를 포함하는, 상기 관련 위치 파라미터 벡터들 저장 단계; 원격 클라이언트로부터 관찰 위치 파라미터 벡터를 수신하는 단계; 관찰 위치 파라미터 벡터와 관련 위치 파라미터 벡터들의 비교에 응답하여 복수의 이미지들 중 이미지들의 세트를 선택하는 단계; 이미지들의 세트로부터 합성된 이미지를 생성하는 단계; 합성된 이미지에 대한 참조 위치 파라미터 벡터를 생성하는 단계로서, 참조 위치 파라미터 벡터는 합성된 이미지에 대한 관찰 위치 및 관찰 방향을 나타내는, 상기 참조 위치 파라미터 벡터 생성 단계; 인코딩된 합성된 이미지를 생성하기 위해 합성된 이미지를 인코딩하는 단계; 인코딩된 합성된 이미지 및 참조 위치 파라미터 벡터를 포함하는 출력 이미지 신호를 생성하는 단계; 및 출력 이미지 신호를 원격 클라이언트로 송신하는 단계를 포함하는, 이미지를 제공하기 위한 방법이 제공된다.
본 발명의 태양에 따르면, 방법으로서, 관찰 위치 및 관찰 방향을 나타내는 파라미터들을 포함하는 제1 관찰 위치 파라미터 벡터를 결정하는 단계; 관찰 위치 파라미터 벡터를 원격 이미지 서버로 송신하는 단계; 원격 이미지 서버로부터 신호를 수신하는 단계로서, 신호는 제1 이미지, 및 제1 이미지에 대한 관찰자 방향 및 관찰자 위치를 나타내는 참조 위치 파라미터 벡터를 포함하는, 상기 신호 수신 단계; 제1 관찰 위치 파라미터 벡터에 대한 관찰자 위치 및 관찰 방향의 변화들을 반영하는 업데이트된 관찰 위치 파라미터 벡터를 결정하는 단계; 및 참조 위치 파라미터 벡터 및 업데이트된 관찰 위치 파라미터 벡터에 응답하여 제1 이미지로부터 합성된 이미지를 합성하는 단계를 포함하는, 방법이 제공된다.
본 발명의 이들 및 다른 양태들, 특징들 및 이점들이 이하에 설명되는 실시예(들)로부터 명백할 것이고 그것을 참조하여 설명될 것이다.
본 발명의 실시예들이 도면들을 참조하여 단지 예로서 설명될 것이다.
도 1은 본 발명의 일부 실시예들에 따른 이미지 처리 및 배포 시스템의 요소들의 예를 예시한다.
도 2는 도 1의 시스템을 위한 이미지 서버의 요소들의 예를 예시한다.
도 3은 도 1의 시스템을 위한 이미지 클라이언트의 요소들의 예를 예시한다.
도 4 및 도 5는 카메라 위치 및 방향에 대한 관찰 위치 및 방향의 예들을 예시한다.
이하의 설명은 3차원 가상 현실 응용을 지원하는 이미지 처리 및 배포 시스템에 적용 가능한 본 발명의 실시예들에 초점을 맞춘다. 그러나, 본 발명은 이러한 응용으로 제한되는 것이 아니라, 많은 다른 이미지 처리 알고리즘 및 시스템에 적용될 수 있다는 것을 알 것이다.
도 1은 클라이언트/서버 접근법에 기초하는 이미지/비디오 배포 시스템을 예시한다. 시스템은 클라이언트 디바이스(101)가 3차원(3D) 가상 현실 경험을 사용자에게 제공하는 예를 참조하여 설명될 것이다. 이 예에서, 클라이언트 디바이스(101)는, 특히 가상 현실 헤드셋에 포함될 수 있는 디스플레이(103)에 결합된다. 디스플레이(103)는 가상 현실 경험을 사용자에게 제공하기 위해 클라이언트 디바이스(101)에 의해 생성된 이미지들을 제시할 수 있다. 구체적으로, 3D 깊이 경험을 제공하는 스테레오 이미지들이 사용자의 눈에 투사될 수 있다.
클라이언트 디바이스(101)는 또한, 사용자가 이를 통해 가상 세계에서 사용자의 가상 움직임을 제어할 수 있는 사용자 인터페이스(105)에 더 결합된다. 사용자 인터페이스(105)는 전형적으로 사용자 움직임 및 관찰 방향의 변화 둘 모두를 제어하기 위한 수단을 제공할 수 있다. 사용자 인터페이스(105)는 사용자에게 모션을 직접 제어하도록 요구하는 능동적인 입력을 사용할 수 있거나(예를 들어, 조이스틱), 예를 들어 사용자의 움직임을 자동으로 검출하는 더 수동적인 입력을 포함할 수 있다. 예를 들어, 사용자 인터페이스(105)는 사용자의 머리 움직임을 검출하는, 가속도계와 같은, 검출기를 포함할 수 있다. 특정 예로서, 사용자 인터페이스(105) 및 디스플레이(103) 둘 모두가 가상 현실 헤드셋에 의해 (적어도 부분적으로) 구현될 수 있다.
가상 현실 경험은 바람직하게는 사용자가 가상 세계에 대한 위치, 시점/방향, 및 시간적 움직임을 선택할 수 있게 해야 한다. 그러나, 이것은 (컴퓨터 게임에서와 같은) 그래픽 모델에 기초하는 인공 가상 현실 경험에서 구현될 수 있는 반면, 이것은 실제 캡처된 이미지 또는 비디오에 기초하는 경험에 대해서는 효과적으로 그리고 정확하게 달성하기가 매우 어렵다. 실제로, '이상적인' 가상 세계에서, 동적 장면이 카메라 센서들에 의해 모든 위치로부터 모든 방향에서 계속 캡처될 것이다. 그러나, 명백히 그러한 접근법은 실현 가능하지 않다.
이것은 (전형적으로 카메라에 의한) 실제 특징들의 캡처에 기초하는 가상 세계 경험과, 3D 모델 및 텍스처가 오프라인으로 생성되고 가상 세계가 공지된 컴퓨터 그래픽 기술을 사용하여 생성되는 순수한 컴퓨터 그래픽 사례 사이의 근본적인 차이를 보여준다. 예를 들어 라이브 비디오의 경우, 그러한 접근법은 실현 가능하지 않다. 실제로, 단일 기하학적 모델이 라이브 비디오로부터 개발될 수 있는 것이 어쩌면 상상될 수 있지만, 고 정확도 및 상세로 그러한 세계를 자동으로 생성하는 것은 사실상 실현 가능하지 않을 것이다. 따라서, 이 접근법은 대부분의 응용에, 그리고 특히 실시간 응용에 실현 가능하지 않을 것이다.
도 1의 시스템에서, 3D 가상 현실 경험은 원격 이미지 서버(107)로부터 수신된 이미지/비디오에 기초하여 사용자에게 제공된다. 클라이언트 디바이스(101) 및 원격 이미지 서버(107)는, 특정 예에서 네트워크(109)에 의해 구현되는 통신 채널을 통해 함께 결합된다. 네트워크(109)는 특히 인터넷일 수 있거나 인터넷을 포함할 수 있다.
시스템에서, 원격 이미지 서버(107)는 클라이언트 디바이스(101)에 이미지들을 제공하며, 이에 기초하여 클라이언트 디바이스(101)는 사용자에게 제시되는 이미지를 생성한다.
원격 이미지 서버(107)는 특정 예에서 비디오 카메라들(111)인, 잠재적으로 많은 수의 이미지 캡처 디바이스에 결합된다. 카메라들(111)은 전형적으로 많은 상이한 방향들에서 그리고 많은 상이한 관찰 위치들로부터 실제 장면을 캡처한다. 이러한 이미지들/비디오 스트림들은 원격 이미지 서버(107)에 저장되고 클라이언트 디바이스(101)에 이미지들을 제공하는 데 사용되어, 클라이언트 디바이스가 캡처된 장면에 대응하는 이미지들을 생성할 수 있는 동시에 사용자가 이 장면 내의 움직임 및 관찰 방향을 동적으로 제어할 수 있게 한다. 장면은 일부 실시예들에서 정적 장면일 수 있지만, 또한 많은 실시예에서 (예를 들어, 스포츠 이벤트의 레코딩과 같은) 시간의 함수로서 달라지는 동적 장면일 수 있다.
실용적으로 사용 가능한 시스템을 제공하기 위해, 원격 이미지 서버(107)와 클라이언트 디바이스(101) 사이의 데이터 레이트를 감소시키는 것이 중요하다. 이에 따라 단지 캡처된 이미지 스트림/비디오를 송신하는 것은 실현 가능하지 않다. 또한, 단지 사용자가 캡처된 비디오들 사이에서 전환할 수 있게 하는 것은 상당히 감소된 경험의 결과를 가져오며, 일반적으로 현실적인 가상 현실 경험을 허용하지 않을 것이다. 캡처 문제 외에, 사용자에게 스트리밍되어야 할 이미지 데이터의 양은 관찰 방향을 선택하는 것에 더하여 3D 공간에서 임의의 위치를 취하는 관찰자의 추가된 자유에 따라 추가적으로 증가할 것이다.
도 1의 시스템에서, 원격 이미지 서버(107)는 카메라(111)로부터의 이미지/비디오를 로컬 메모리에 저장한다. 클라이언트 디바이스(101)는 관찰 위치 파라미터 벡터를 원격 이미지 서버(107)에 송신하도록 배열되며, 관찰 위치 파라미터 벡터는 장면에서의 (원하는) 관찰 위치 및 방향을 나타낸다. 수신된 관찰 위치 파라미터 벡터에 기초하여, 원격 이미지 서버(107)는 메모리로부터 적절한 이미지를 검색하고 수신된 관찰 위치 파라미터 벡터에 관련된 이미지를 생성/합성하도록 배열된다. 합성된 이미지로 지칭되는 생성된 이미지는 특히 수신된 관찰 위치 파라미터 벡터에서 지시되는 위치로부터의 그리고 방향에서의 뷰에 대응하는 것이도록 생성된다.
합성된 이미지는 다시 클라이언트 디바이스(101)로 송신되며, 이곳에서 그것은 사용자에게 제시되기 전에 처리될 수 있다(특히 비교적 경미한 뷰 시프트가 이전에 송신된 관찰 위치 파라미터 벡터와 현재 관찰 위치/방향 간의 차이를 조정하는 데 사용될 수 있다).
특히, 시스템에서, 저장된 비디오 스트림에 기초하여, 맞춤형 비디오가 원격 이미지 서버(107)에 의해 가상 세계에서의 개별 사용자의 위치 및 관찰 방향에 따라 인코딩되고 사용자에게 송신된다. 따라서 하나의 동일한 가상 현실 데이터베이스에 액세스하는 두 명의 사용자는 가상 3D 공간에서의 그들의 현재 위치 및 관찰 방향에 따라 상이한 인코딩된 비디오 스트림들(예를 들어, H.264로)을 수신할 것이다.
이에 따라 개별 사용자에 대한 비디오 스트림은 개별 사용자에 맞춤화되며, 특히 현재 관찰 위치 및 방향에 대응하는 뷰에 가까울 수 있다. 그러나, 레이턴시로 인해, 관찰 위치 파라미터 벡터가 송신되었기 때문에 위치 및 관찰 방향이 변경되었을 수 있으며, 따라서 클라이언트 디바이스(101)는 이러한 편차를 고려하기 위해 수신된 이미지를 수정할 수 있다.
따라서, 시스템에서, 하나의 이미지만이 원격 이미지 서버(107)로부터 클라이언트 디바이스(101)로 송신될 필요가 있으며, 이에 따라 데이터 레이트가 낮게 유지될 수 있다. 그러나, 시스템은 여전히 정확한 이미지가 사용자에게 제시될 수 있게 하며, 그 이미지는 사용자의 현재 위치 및 관찰 방향에 밀접하게 대응한다. 이 접근법은 맞춤형 접근법을 사용함으로써 이것을 달성하는데, 이러한 맞춤형 접근법에서 사용자를 위한 이미지의 합성이 원격 이미지 서버(107) 및 클라이언트 디바이스(101)에 걸쳐 분산되며, 원격 이미지 서버(107)는 전형적으로 현재 위치 및 관찰 방향에 대응하는 것에 가까울 적합한 이미지를 생성하고, 클라이언트 디바이스(101)는 임의의 편차를 고려하기 위해 이 이미지를 미세 튜닝한다.
특정 예로서, 원격 이미지 서버(107)는 사전 저장된 이미지 데이터베이스에 대한 다차원 질의를 통해 개별 사용자에 대한 개인 H.264 비디오 스트림을 생성할 수 있다. 질의는 전형적으로 가상 세계에서의 사용자 현재 상황을 반영하는 6개의 파라미터(위치에 대한 것 3개, 관찰 방향에 대한 것 2개, 및 하나의 시간 파라미터)를 포함하는 관찰 위치 파라미터 벡터를 사용한다. 비디오 인코딩 프로세스 동안, 원격 이미지 서버(107)는 클라이언트 디바이스(101)로부터 사용자 위치 및 관찰 방향의 실제 측정치를 수신할 수 있다. 이들 파라미터에 따라, 이미지 세트가 메모리/데이터베이스로부터 검색된다. 사용자의 실제 뷰는 이미지 기반 렌더링을 사용하여 이러한 이미지들로부터 합성되며, 그 결과는 H.264 인코딩 스트림에 추가된다. 따라서 사용자의 변화하는 위치 및 관찰 방향 파라미터에 응답하여 개인 비디오가 실시간으로 생성된다.
실용적인 예시적인 응용은 팝 콘서트의 레코딩일 수 있다. 예를 들어, 100명의 사람이 이벤트의 비디오를 캡처하고 있을 수 있다. '전통적인' 저장 접근법은 이러한 100개의 비디오 스트림을 서버 측에 저장하는 것일 것이다. 이어서 고객이 군중을 헤치고 자신의 길을 내비게이트하기를 원하는 경우, 이것은 매번 하나의 비디오 스트림으로부터 다른 비디오 스트림으로 전환하는(그리고 다른 디코딩 프로세스를 시작하는), 서버에 대한 일련의 요청을 유발할 것이다.
대조적으로, 본 명세서에 설명된 예시적인 접근법에 따르면, 100개의 캡처된 비디오 스트림 모두가 단일 데이터베이스에 개별 이미지로서 저장될 수 있으며, 각각의 이미지는 예를 들어 위치, 배향 및 시간으로 인덱싱된다. 이어서 시각화를 위한 제안된 작업 흐름은 다음과 같을 수 있다:
1. 클라이언트 디바이스(101)는 원격 이미지 서버(107)에 위치/배향/시간을 전송한다;
2. 관련 이미지들을 결정하기 위해 검색이 수행된다;
3. 원격 이미지 서버(107)는 관련 이미지들로부터 뷰 이미지를 합성한다;
4. 원격 이미지 서버(107)는 합성된 뷰 이미지를 현재의 출력 비디오 스트림에 추가한다;
5. 클라이언트 디바이스(101)는 원격 이미지 서버(107)로부터 메타데이터(위치 및 관찰 방향은 물론 선택적으로 시간 파라미터)를 갖는 비디오를 수신한다;
6. 클라이언트 디바이스(101)는 현재 (디바이스) 관찰 위치, 방향 및 시간에 따라 현재 뷰(들)를 합성한다.
도 2는 도 1의 원격 이미지 서버(107)의 일부 요소들을 더 상세히 예시한다.
원격 이미지 서버(107)는 카메라들(111)로부터의 캡처된 이미지/비디오 스트림이 레코딩되는 저장소/메모리(201)를 포함한다. 이미지/비디오 스트림에 더하여, 개별 이미지에 대한 위치, 카메라 방향(관찰 방향) 및 아마도 시간을 나타내는 메타데이터가 저장될 것이다. 메타데이터는 공통 메타데이터로서 저장될 수 있는데, 예를 들어 고정 카메라의 경우 위치 및 아마도 카메라 방향이 단지 그와 같은 스트림에 대해 제공될 수 있다. 그러나, 많은 실시예에서, 시변 카메라 위치 및/또는 방향을 반영하는 메타데이터가 저장될 수 있고, 따라서 상이한 이미지들은 상이한 관련 메타데이터를 가질 수 있다.
이하에서, 용어 '이미지/비디오'는 시스템에서 제공되는 신호를 지칭할 때 상호 교환적으로 사용될 것이지만, 비디오 스트림들은 본질적으로 개별 이미지들(프레임들)로 구성되며 이 접근법은 반드시 이미지 시퀀스들을 요구하는 것은 아니고 단일 이미지에 적용될 수 있다는 것을 알 것이다.
이에 따라 메모리(201)에 이미지와 함께 저장된 메타데이터는 복수의 파라미터를 포함하는 데이터 벡터를 제공할 수 있다. 개별 이미지에 대한 이들 파라미터는 (적어도) 이미지에 대한 관찰 위치 및 관찰 방향을 나타내는 값들을 제공한다. 예를 들어, 벡터는 가상 세계에서 특히 x, y 및 z 좌표와 같은, 관찰 위치를 나타내는 3개의 파라미터를 포함할 수 있다. 또한, 벡터는 방위각 및 고도 값과 같은, 관찰 방향을 나타내는 2개의 파라미터를 포함할 수 있다. 상응하여, 위치 파라미터 벡터는 위치 및 (관찰 방향)을 정의하는 파라미터 값들을 포함하는 데이터 세트 또는 구조일 수 있다. 이 예에서, 3개의 위치 파라미터/좌표 및 2개의 방향 파라미터가 포함되지만, 다른 실시예들에서는 다른 수가 사용될 수 있음을 알 것이다. 데이터 벡터는 임의의 적합한 방식으로 표현, 저장 또는 처리될 수 있으며, 예를 들어 5개 또는 6개의 값이 예를 들어 연속적인 메모리 위치들에 함께 저장될 필요는 없다는 것을 또한 알 것이다. 오히려, 벡터는 (적어도) 관찰 위치 및 관찰 방향의 표시를 포함한 이미지에 대한 파라미터들을 제공하는 임의의 표현일 수 있다.
예를 들어, 카메라가 가상 세계를 통과하는 미리 결정된 경로를 따르는 경우, 이 경로는 단일 변수의 함수로서 표현될 수 있으며, 벡터는 아마도 이 변수를 나타내는 단지 단일 파라미터 값에 의해 표현될 수 있다. 카메라의 특정 위치 및 관찰 방향은 이 경우에 변수의 미리 결정된 함수로서 계산될 수 있다. 그러한 실시예에서, 위치 파라미터 벡터는 함수의 평가로부터 기인하는 값들(예를 들어, 계산된 위치 또는 관찰 방향의 좌표들) 또는 입력 변수(들) 자체에 대응하는 것으로 간주될 수 있음을 알 것이다.
많은 실시예에서, 위치 파라미터 벡터의 파라미터 값들은 복수의 이미지에 대해 암시적이거나 공통일 수 있음을 또한 알 것이다. 예를 들어, 카메라들의 그룹은 예를 들어 동일한 x 좌표에 따라 위치될 수 있다. 그러한 경우, 대응하는 위치 파라미터 벡터들은 변화하는 위치/관찰 방향 파라미터들에 대한 개별 파라미터 값들이 뒤따르는 그룹에 대한 x 좌표를 나타내는 단일 값에 의해 저장/표현될 수 있다.
콘서트 또는 스포츠 이벤트의 특정한 예시적인 응용과 같은 많은 실시예에서, 시간적 태양이 중요하다. 구체적으로, 정적 가상 세계 경험의 경우, 시간 파라미터는 전형적으로 무시될 수 있으며, 시간에 무관하게 동일한 관찰 위치 및 방향에 대해 동일한 이미지가 생성될 것이다. 그러한 응용의 예는 많은 상이한 위치로부터 그리고 많은 상이한 방향에서 촬상 또는 촬영된 비어 있는 박물관일 수 있다. 모든 이미지에 대해, 그 개별 이미지에 대한 위치 및 카메라 방향을 반영하는 관련 위치 파라미터 벡터가 저장될 수 있다. 그러나, 장면은 정적이고 시간에 따라 변하지 않기 때문에, 캡처 시간을 또한 레코딩할 필요도 의미도 없다. 따라서, 5개의 파라미터 데이터 벡터가 이미지들에 대해 저장될 수 있다.
클라이언트 디바이스(101)는 그러한 예들에서 5개의 파라미터 값을 또한 포함하는 원격 이미지 서버(107)에 관찰 위치 파라미터 벡터를 제공할 수 있다. 이에 응답하여, 원격 이미지 서버(107)는 어떠한 시간적 태양도 고려함이 없이 적합한 이미지를 생성할 수 있다. 이 접근법은 예를 들어 사용자가 다양한 전시물을 보기 위해 3차원 가상 박물관에서 자유롭게 돌아다닐 수 있는 가상 현실 경험을 클라이언트 디바이스(101)가 생성하는 것을 가능하게 할 수 있다.
그러나, 예를 들어 콘서트 또는 스포츠 이벤트의 렌더링과 같은 대부분의 응용에서, 캡처된 장면은 시간에 따라 변한다. 그러한 경우에, 저장된 이미지는 전형적으로 또한 시간 파라미터와 관련되는데, 즉 관련 위치 파라미터 벡터는 시간 파라미터를 또한 포함한다. 이것은 동적 실시간 이벤트를 반영하는 가상 경험이 제공될 수 있게 한다. 다음의 설명은 예를 들어 콘서트 또는 스포츠 이벤트와 같은, (단지 정적인 가상 현실 세계보다는) 시간적 이벤트의 가상 현실 경험을 제공하기 위한 접근법의 응용에 초점을 맞출 것이다.
카메라들은 많은 상이한 위치들로부터 그리고 많은 상이한 방향들에서 일련의 이미지들(특히 비디오 스트림)에 의해 동적 장면을 캡처할 수 있다. 원격 이미지 서버(107)는 동적 가상 세계를 관련 위치 파라미터 벡터들과 함께 별개의 픽처들로서 메모리(201)에 저장할 수 있다.
특히, 이미지들은 범위 트리에 대응하는 구조에 저장될 수 있다(https://en.wikipedia.org/wiki/Range_tree). 실제로, 본 발명자들은, 특정 응용의 경우에, 범위 트리 구조의 사용은 그것이 주어진 수신된 관찰 위치 파라미터 벡터에 대한 적합한 이미지들의 식별 및 선택을 실질적으로 용이하게 할 수 있기 때문에 특히 유리한 접근법을 제공한다는 것을 인식하였다.
특정 예에서, 관련 위치 파라미터 벡터는 6개의 상이한 파라미터를 나타내고 따라서 범위 트리 내의 단일 지점은 6차원 파라미터 벡터에 의해 표현될 수 있으며:
Figure pct00001
여기서 x, y, z는 유클리드 좌표(Euclidian coordinate)에서의 카메라 위치를 나타내고, θ는 카메라 극각이고, φ는 카메라 방위각이고, t는 시간을 나타낸다.
원격 이미지 서버(107)는 그것이 다른 디바이스들과 통신할 수 있도록 원격 이미지 서버(107)를 네트워크(109)에 인터페이스하도록 배열되는 네트워크 인터페이스(203)를 추가로 포함한다. 특히, 네트워크 인터페이스(203)는 클라이언트 디바이스(101)로부터 데이터를 수신하고 그것에 데이터를 송신하도록 배열된다. 기술자는 인터넷과 같은, 네트워크를 통한 통신을 포함한, 2개의 디바이스 간의 통신을 위한 많은 접근법을 잘 알 것임이 인식될 것이다. 간략함을 위해 이들은 그런 이유로 상세히 설명되지 않을 것이지만, 서로 통신하는 원격 이미지 서버(107)와 클라이언트 디바이스(101)에 대한 임의의 적합한 접근법이 사용될 수 있다는 것을 알 것이다.
원격 이미지 서버(107)는, 특히 클라이언트 디바이스(101)로부터 관찰 위치 파라미터 벡터를 수신할 수 있는 수신기(205)를 포함한다. 관찰 위치 파라미터 벡터는 다수의 파라미터를 포함할 수 있으며, 관찰자의 위치 및 관찰자가 가상 세계에서 보고 있는 방향의 표시를 제공한다. 관찰자 위치 파라미터 벡터는 클라이언트 디바이스(101)가 제공될 (가상 세계/장면의) 이미지를 요청하는 관찰 위치 및 방향의 표시를 제공한다. 따라서, 관찰 위치 파라미터 벡터는 전형적으로 클라이언트 디바이스(101)에서 생성된 3차원 가상 세계에서 움직이는 사용자에 대한 특정 관찰자 위치 및 방향을 나타낼 수 있다.
전형적으로, 관찰 위치 파라미터 벡터는 앞서 논의된 바와 같은 시간 파라미터를 추가로 포함할 수 있는 파라미터들의 세트를 포함한다. 예를 들어, 스포츠 이벤트 응용의 경우, 관찰 위치 파라미터 벡터는 관찰자의 위치를 나타내는 3개의 파라미터 값, 관찰 방향을 나타내는 2개의 파라미터 값, 및 이미지가 요망되는 시간 인스턴트를 나타내는 하나의 파라미터 값을 포함할 수 있다.
따라서, 메모리(201) 내의 이미지들에 대해 저장된 관련 위치 파라미터 벡터들에 대응하여, 관찰 위치 파라미터 벡터는 특히 6차원 파라미터 벡터에 의해 표현될 수 있으며:
Figure pct00002
여기서 x, y, z는 유클리드 좌표에서의 관찰자의 위치를 나타내고, θ는 극각이고, φ는 관찰자가 보고 있는 방향에 대한 방위각이고, t는 시간을 나타낸다.
이어서 원격 이미지 서버(107)는 관찰 위치 파라미터 벡터에 대응하는 이미지를 합성하도록 진행할 수 있는데, 즉 그것은 시간 t에서 θ,φ의 방향으로 볼 때 x, y, z의 위치로부터의 뷰에 대응하는 이미지를 생성하도록 진행할 수 있다.
그렇게 하기 위해, 원격 이미지 서버(107)는 먼저 메모리(201)로부터 저장된 이미지들의 적합한 세트를 선택하고, 그 후에 그것은 선택된 이미지들의 세트에 기초하여 관찰 위치 파라미터 벡터에 대응하는 이미지를 합성한다.
따라서 수신기(205)는 관찰 위치 파라미터 벡터와 관련 위치 파라미터 벡터들의 비교에 응답하여 메모리에 저장된 이미지들 중 이미지들의 세트를 선택하도록 배열된 선택기(207)에 접속된다. 선택은 전형적으로 주어진 근접성 요건을 충족시키는 이미지들을 선택하는 것을 포함할 것이다. 예를 들어, 위치 파라미터 벡터들의 파라미터들의 값들 사이의 거리 척도가 모든 저장된 이미지들에 대해 정의되고 평가될 수 있다. 이어서 이미지들의 세트는 예를 들어 주어진 임계치 아래의 거리 척도를 갖는 이미지로서, 또는 예를 들어 가장 낮은 거리 척도를 갖는 N개의 이미지로서 선택될 수 있다.
원칙적으로, 모든 저장된 이미지들을 처음부터 끝까지 검색하는 것은 많은 시스템에서 매우 복잡하고 자원 소모적인 동작일 수 있다. 그러나, 설명된 예에서, 이미지들은 범위 트리 구조에 저장되고, 특히 범위 트리 구조는 위치 파라미터 벡터의 파라미터들 주위에 조직된다. 범위 트리는 N차원 트리일 수 있으며, 여기서 N은 벡터의 차원인데, 즉 그것은 파라미터들의 수를 반영한다.
특정 예에서, (클라이언트에 의해 제공된 실제 위치/회전 및 시간을 반영하는) 수신된 관찰 위치 파라미터 벡터가 주어지면, 예를 들어 모든 k에 대해 다음을 충족시키는 모든 이미지를 찾기 위해 범위 트리에서 재귀 이진 검색이 수행되며:
Figure pct00003
여기서 k는 벡터의 개별 파라미터를 나타내는 인덱스이고, v_c는 관찰 위치 파라미터 벡터이다. 개별 파라미터 k에 대한 허용 가능한 편차 값 Δ_k는 상이한 파라미터들에 대해 상이할 수 있으며, 일부 실시예들에서 후술될 바와 같이 클라이언트 디바이스(101)에 의해 제어 가능할 수 있다.
비교는 전형적으로 (예를 들어 정적 세계 가상 현실 경험이 제공되지 않는 한) 시간 파라미터의 고려를 포함할 수 있다. 특히, 위의 방정식에서, k의 하나의 값은 시간 파라미터에 대응할 수 있다. 허용 가능한 편차 Δ_k는 종종 시간 일관성 있는 이미지들의 생성을 보장하기 위해(특히 시간 일관성 있는 비디오가 생성되는 것을 보장하기 위해) 시간 파라미터에 대해 비교적 낮게 설정될 것이다.
범위 트리에 기초하는 이러한 특정 검색은 매우 효율적일 수 있고, 실제로 복잡성은 다음과 같이 결정될 수 있으며:
Figure pct00004
여기서 n은 데이터(이미지들)의 수이고, d는 검색 공간의 차원수이고, k는 요청된 간격에서의 이미지들의 수이다.
허용 가능한 편차 Δ_k에 따라, 범위 검색은 0 내지 N개의 이미지가 검색되게 할 수 있다. 비어 있는 이미지 세트에 대응하는 0개의 이미지가 발견되는 경우, 이것은 사용자가 원격 이미지 서버(107)/캡처된 이미지들에 의해 지원되는 바와 같은 가상 세계에 의해 표현된 공간 밖에서 움직이고 있음을 나타낸다. 이 경우에, 원격 이미지 서버(107)는 예를 들어 에러 메시지를 반환하고/하거나 가장 가까운 캡처된 이미지에 대응하는 이미지를 제공할 수 있다.
원격 이미지 서버(107)는 선택 및 검색된 이미지 세트로부터 관찰 위치 파라미터 벡터에 대응하는 이미지를 생성/합성하도록 배열된 이미지 합성기(209)를 또한 포함한다. 이 합성은 특히 예를 들어 이미지 세트의 이미지들을 사용하여 뷰 시프팅, 보간 등을 수행할 수 있는 뷰 합성 동작을 포함할 수 있다. 일부 실시예들에서, 합성은 이미지 세트의 서브세트를 선택하고 합성을 위해 이것만을 사용하는 것을 추가로 포함할 수 있다. 많은 상황에서, 합성은 복수의 이미지에 기초하며, 특히 이미지 세트의 적어도 2개의 이미지 사이의 뷰 보간을 포함할 수 있다.
합성 프로세스의 예로서, 이미지 합성기(209)는 파라미터 공간에서 가까운 이미지 쌍들 사이의 불일치 추정을 수행하고 깊이 맵을 추론할 수 있다. 깊이 맵에 기초하여 새로운 이미지가 합성될 수 있다.
이미지 합성기(209)는 합성된 이미지를 적합한 포맷으로 인코딩하도록 배열된 이미지 인코더(211)에 결합된다. 예를 들어, 원격 이미지 서버(107)는 클라이언트 디바이스(101)로 전송되는 H.264 인코딩된 비디오 스트림을 생성할 수 있고, 이미지 인코더(211)는 H.264 인코딩 포맷에 따라 합성된 이미지를 인코딩하도록 배열될 수 있다. 임의의 적합한 비디오 또는 이미지 인코딩 포맷이 사용될 수 있다는 것을 알 것이다.
이미지 인코더(211)는 인코딩된 합성된 이미지를 포함하는 데이터 스트림의 형태로 출력 신호를 생성하도록 배열된 출력 생성기(213)에 결합된다. 출력 생성기(213)는 출력 데이터 스트림을 클라이언트 디바이스(101)에 송신하도록 배열된 네트워크 인터페이스(203)에 결합된다.
따라서, 관찰 위치, 방향 및 전형적으로 시간을 나타내는 관찰 위치 파라미터 벡터를 송신하는 것에 응답하여, 클라이언트 디바이스(101)는 원격 이미지 서버(107)로부터 이들 파라미터에 대응하는 이미지를 수신할 것이다. 따라서, 클라이언트 디바이스(101)의 사용자는 가상 세계에서 위치 및 관찰 방향(및 시간)을 정의할 수 있고, 답례로 사용자가 이 위치로부터 그리고 이 방향에서(그리고 이 시간에) 인식할 가상 세계의 뷰를 제공하려고 하는 이미지를 수신할 것이다.
원격 이미지 서버(107)는 합성된 이미지에 대한 참조 위치 파라미터 벡터를 생성하도록 배열된 데이터 생성기(215)를 추가로 포함하며, 여기서 참조 위치 파라미터 벡터는 합성된 이미지에 대한 관찰 위치 및 관찰 방향, 및 전형적으로 시간 인스턴트를 나타낸다.
참조 위치 파라미터 벡터는 관련 위치 파라미터 벡터들 및/또는 관찰 위치 파라미터 벡터와 동일한 포맷일 수 있다. 그것은 합성된 이미지에 대한 대응하는 정보를 제공하고, 또한 종종 다음과 같은 벡터의 형태로 제공될 수 있으며:
Figure pct00005
여기서 x,y, z는 유클리드 좌표에서의 관찰 위치이고, θ는 관찰 방향 극각이고, φ는 관찰 방향 방위각이고, t는 시간을 나타낸다. 실제로, 관찰 위치 파라미터 벡터(및 관련 위치 파라미터 벡터들)와 관련하여 제공되는 코멘트는 또한, 준용하여, 참조 위치 파라미터 벡터에 관련된다.
따라서 참조 위치 파라미터 벡터는 합성된 이미지에 대한 참조 지점을 제공하고, 특히 이미지가 생성되는 위치 및 관찰 방향(및 시간)을 나타낸다. 이들은 수신된 값들과는 상이할 수 있는데, 즉 참조 위치 파라미터 벡터는 관찰 위치 파라미터 벡터와는 상이할 수 있다. 이것은 예를 들어 캡처된 이미지들의 입도로 인해 발생할 수 있다. 예를 들어, 관찰 위치 파라미터 벡터의 것과는 약간 상이한 위치 또는 시간에 대한 합성된 이미지를 생성함으로써, 저장된 이미지들 중 하나 이상을 더 직접적으로 사용하는 것이 가능할 수 있고 이것은 더 높은 이미지 품질을 제공할 수 있다.
다른 예로서, 서버는 사용자가 어디를 볼 것인지 그리고 이윽고 사용자 어떻게 움직일지를 예측할 수 있는 적절한 예측 모델을 가질 수 있다. 예측을 한다는 것은 서버가 클라이언트들에 의해 요청된 것과는 상이한 파라미터 벡터를 반송할 것임을 의미한다.
따라서, 전형적으로, 참조 위치 파라미터 벡터는 관찰 위치 파라미터 벡터로부터 벗어날 수 있지만, 편차는 전형적으로 비교적 작을 것이며 실제로 클라이언트 디바이스(101)는 전형적으로 그것이 요청된 파라미터들의 것에 매우 가까운 합성된 이미지를 수신할 것이다.
데이터 생성기(215)는 클라이언트 디바이스(101)로 전송되는 생성된 데이터 스트림에 참조 위치 파라미터 벡터를 포함시키도록 배열된 출력 생성기(213)에 결합된다.
도 3은 도 1의 클라이언트 디바이스(101)의 일부 요소들을 더 상세히 예시한다.
클라이언트 디바이스(101)는 원격 이미지 서버(107)로부터 수신된 이미지들에 기초하여 사용자에게 가상 현실 경험을 제공하는 가상 현실 응용을 실행하도록 배열된 가상 현실 프로세서(301)를 포함한다. 가상 현실 프로세서(301)는 특히 가상 세계에서의 사용자의 움직임 및 머리 움직임을 추적하기 위해 가상 현실 헤드셋 및/또는 예를 들어 조이스틱과 인터페이스할 수 있다. 가상 현실 프로세서(301)는 가상 현실 헤드셋에 3D 이미지들을 제공하고 가상 현실 헤드셋으로부터의 입력에 기초하여 사용자가 그의 머리를 어떻게 움직이는지를 추적할 수 있다.
가상 현실 프로세서(301)는 가상 세계에서의 관찰 위치 및 관찰 방향을 나타내는 파라미터들을 포함하는 현재 관찰 위치 파라미터 벡터를 결정하도록 배열된 위치 프로세서(303)에 결합된다. 위치 프로세서(303)는 특히 가상 현실 프로세서(301)로부터 위치 및 관찰 방향의 정보를 수신할 수 있고 이 데이터를 적합한 데이터 구조에 패키징할 수 있다. 그것은 또한 (예를 들어, 실시간으로 또는 가상 현실의 시간 프레임에서) 현재 시간 인스턴트와 같은 시간 파라미터를 추가할 수 있다. 일부 실시예들에서, 위치 프로세서(303)는 또한 가상 현실 프로세서(301)로부터 시간 정보를 수신할 수 있다.
위치 프로세서(303)는 클라이언트 디바이스(101)를 네트워크(109)에 인터페이스하여 그것이 다른 디바이스들과, 그리고 특히 원격 이미지 서버(107)와 통신할 수 있게 하도록 배열된 네트워크 인터페이스(305)에 결합된다. 다른 실시예들에서 다른 통신 수단이 사용될 수 있다는 것을 알 것이다.
따라서 클라이언트 디바이스(101)는 관찰 위치 파라미터 벡터를 생성하고 이를 네트워크 인터페이스(203)를 송신기로서 사용하여 원격 이미지 서버(107)로 송신하도록 배열된다. 이에 응답하여, 원격 이미지 서버(107)는 대응하는 이미지를 합성하고 이를 앞서 설명된 바와 같이 참조 위치 파라미터 벡터와 함께 클라이언트 디바이스(101)로 송신한다.
네트워크 인터페이스(305)는 양방향 통신을 지원하며 이에 따라 이미지 및 참조 위치 파라미터 벡터를 포함하는 이러한 신호/데이터 스트림을 수신하는 수신기로서 또한 기능한다. 네트워크 인터페이스(305)는 수신된 이미지에 기초하여 출력 이미지를 합성하도록 배열된 클라이언트 이미지 합성기(307)에 결합된다. 이러한 합성된 출력 이미지는 가상 현실 프로세서(301)에 공급되며, 이어서 가상 현실 프로세서는 이를 사용자에게 제시할 수 있다.
그러나, 시스템의 레이턴시로 인해, 가상 세계에서의 사용자의 현재 위치가 변경되었을 수 있는데, 이는 관찰 위치 파라미터 벡터가 원격 이미지 서버(107)로 송신되었기 때문이다. 따라서, 클라이언트 디바이스(101)는 송신된 관찰 위치 파라미터 벡터에 대한 관찰 위치 및 관찰 방향의 변화를 반영하는 업데이트된 관찰 위치 파라미터 벡터를 결정하도록 배열된 업데이트 프로세서(309)를 포함한다.
일부 실시예들에서, 업데이트된 관찰 위치 파라미터 벡터는 예를 들어 현재 값들과 송신된 관찰 위치 파라미터 벡터 값들 간의 차이를 나타내는 상대 벡터로서 생성될 수 있다. 그러나, 다른 실시예들에서, 업데이트된 관찰 위치 파라미터 벡터는 단지 현재 관찰 위치 파라미터 벡터일 수 있다. 따라서, 일부 실시예들에서, 업데이트 프로세서(309)는 단지 위치 프로세서(303)로부터 현재 관찰 위치 파라미터 벡터를 요청할 수 있다. 실제로, 위치 프로세서(303)는 관찰 위치 파라미터 벡터들을 계속 생성하여 원격 이미지 서버(107)로 송신할 수 있고, 또한 이들을 업데이트 프로세서(309)에 제공할 수 있다. 따라서 현재 전송되고 있는 관찰 위치 파라미터 벡터는 또한 이전에 전송된 관찰 위치 파라미터 벡터에 대한(그리고 이에 따라 현재 수신된 이미지/참조 위치 파라미터 벡터에 대한) 업데이트된 관찰 위치 파라미터 벡터일 수 있다.
업데이트된 관찰 위치 파라미터 벡터는 수신된 이미지, 참조 위치 파라미터 벡터, 및 업데이트된 관찰 위치 파라미터 벡터에 기초하여 출력 이미지를 합성하도록 진행하는 클라이언트 이미지 합성기(307)에 공급된다.
사용자의 위치 및 관찰 방향의 변화뿐만 아니라 원격 이미지 서버(107)에서의 처리에 의해 도입된 임의의 편차는 전형적으로 비교적 작다. 따라서, 업데이트된 관찰 위치 파라미터 벡터와 참조 위치 파라미터 벡터 간의 차이는 전형적으로 비교적 작다. 전형적으로, 차이는 사용자의 위치 및/또는 그가 보고 있는 방향의 비교적 작은 변화를 나타낸다.
따라서, 클라이언트 이미지 합성기(307)는 출력 이미지를 합성할 때 수신된 이미지에 대해 비교적 적은 정정을 수행할 수 있다. 특히, 클라이언트 이미지 합성기(307)는 스테레오 이미지 내의 픽셀의 위치를 적절히 병진시킴으로써 뷰 회전 또는 병진을 수행할 수 있다. 예를 들어, 관련 3D 메시를 갖는 이미지가 클라이언트에 의해 수신될 수 있다. 이어서 텍스처 매핑을 사용하여 현재 뷰가 합성될 수 있다. 대안적으로, 관련 깊이 맵을 갖는 이미지가 클라이언트에 의해 수신될 수 있다. 이어서 클라이언트는 픽셀당 깊이에 기초하여 메시를 생성한 다음에 다시 텍스처 매핑을 수행하여 새로운 뷰를 합성할 수 있다. 다른 예에서, 클라이언트는 깊이 이미지 기반 렌더링 방법을 사용하여 관련 깊이 맵을 갖는 이미지로부터 새로운 뷰를 생성할 수 있다.
따라서, 클라이언트 이미지 합성기(307)는 특히 렌더링 전에 수신된 이미지에 대해 관찰 지점/방향 변환을 수행하도록 배열될 수 있으며, 여기서 관찰 지점/방향 변환은 수신된 참조 위치 파라미터 벡터와 생성된 업데이트된 관찰 위치 파라미터 벡터 간의 차이에 의존한다.
클라이언트 측에서 뷰 변환을 적용하는 것의 이익이 도 4 및 도 5에 의해 예시될 수 있다. 도 4는 장면을 캡처할 때 카메라가 따랐을 수 있는 궤적(401)을 예시하며, 다중 방향 이미지들이 (적합한 입도/단계 크기를 갖고서) 이 궤적을 따른 각각의 위치에서 캡처된다. 도 5는 가상 환경에서 사용자가 취할 수 있는 궤적(501)의 예를 예시한다. 각각의 관찰 위치에서, 가장 가까운 이용 가능한 캡처된 이미지가 비디오 스트림에 추가될 수 있다(예를 들어 선택기(207)는 가장 가까운 이미지를 선택할 수 있다. 클라이언트 디바이스(101)는 이 가장 가까운 지점에 대한 이미지를 디코딩할 수 있다. 그러나, 지시된 바와 같이, 위치들은 동일한 것이 아니라 오히려 작은 차이가 존재할 수 있다. 원격 이미지 서버(107)가 또한 참조 위치 파라미터 벡터를 제공함에 따라, 클라이언트 이미지 합성기(307)는 이것을 업데이트된 관찰 위치 파라미터 벡터와 비교하고 그에 맞춰 이것을 보상하는 뷰 변환을 수행할 수 있다. 따라서 이러한 변환은 업데이트된 관찰 위치 파라미터 벡터와 참조 위치 파라미터 벡터 사이의 관찰 차이를 보상한다. 이것은 수신된 파라미터 측정치들에서의 레이턴시 문제 및 가능한 부정확을 보상할 수 있다.
많은 동적 실시예에서, 프로세스는 또한 시간 파라미터를 고려할 수 있다. 이것은 예를 들어 일련의 수신된 이미지들 사이를 보간하는 데 사용될 수 있고/있거나, 예를 들어 수신된 이미지/참조 위치 파라미터 벡터와 국지적으로 생성된 업데이트된 관찰 위치 파라미터 벡터를 매칭시키는 데 사용될 수 있다.
따라서, 시스템은 사용자가 실제 캡처된 이미지들에 기초하여 3차원 경험을 동적으로 그리고 유동적으로 제공받을 수 있는 접근법을 제공한다. 이러한 접근법은 가상 세계에서 고도의 모션 유연성 및 유동성을 제공할 수 있다. 실제로, 많은 응용에서, 사용자는 (몰입 경험을 위해) 움직임이 제한되지 않고, 연속적이고, 전형적으로 높은 이미지 품질을 갖는 것으로 보이는 경험을 제공받을 수 있다. 이미지 품질은 일부 응용들에서 예를 들어 소비자가 예를 들어 고품질 TV 방송에 대해 사용될 수 있는 것보다 낮을 수 있다.
이 접근법은 서버 및 클라이언트 디바이스(101)에 걸쳐 이미지 생성을 분산하는 것에 기초하며, 서버는 클라이언트 디바이스(101)에서 개선될 수 있는 전형적으로 개략적인 그러나 거의 정확한 이미지를 제공한다. 이것은 원격 이미지 서버(107)에서의 처리에 의해 유발되는 레이턴시 또는 아티팩트, 또는 제한된 수의 캡처 지점 또는 디바이스로부터 본질적으로 발생하는 입도와 같은 문제를 해결하는 데 사용될 수 있다.
또한, 서비스를 위해 요구되는 데이터 레이트 및 대역폭은 낮게 유지되며, 개별 클라이언트 디바이스(101)에 대해 단일 이미지/비디오 스트림만이 필요하다. 따라서, 다수의 병렬 스트림이 요구되지 않는다.
많은 실시예에서, 이미지 합성기(209) 및/또는 클라이언트 이미지 합성기(307)의 이미지 합성은 깊이 데이터에 기초하여 3D 뷰 변환을 수행하는 것에 기초할 수 있다. 깊이 데이터는 예를 들어 이미지에 대한 3D 메시의 형태일 수 있거나, 예를 들어, 예컨대 이미지의 픽셀들에 대한 깊이 또는 불일치 값들을 포함하는 깊이 맵일 수 있다.
따라서, 많은 실시예에서, 메모리(201)는 이미지들에 더하여 깊이 맵과 같은 깊이 정보를 또한 저장할 수 있다. 깊이 맵은 예를 들어 3D 카메라인 카메라들(111)에 의해 직접 생성될 수 있다.
이미지들의 세트를 추출할 때, 선택기(207)는 또한 이들 이미지에 대한 깊이 데이터(특히, 깊이 맵)를 추출할 수 있다. 이어서 이미지 및 관련 깊이 맵은 조정을 행하기 위해 이미지 합성기(209)에 의해 사용될 수 있다. 합성된 이미지를 생성하는 것에 더하여, 이미지 합성기(209)는 또한 합성된 이미지에 대한 깊이 맵 또는 메시와 같은 깊이 정보를 생성할 수 있다. 이러한 깊이 맵/메시가 또한 출력 생성기(213)에 공급될 수 있고 출력 파일에 포함될 수 있다.
일부 실시예들에서, 이미지 합성기(209)는 단지 가장 가까운 이미지의 선택에 의해 이미지를 합성할 수 있다. 그러한 경우에, 출력 깊이 맵/메시는 단지 그 이미지에 대한 저장된 깊이 맵/메시에 대응할 수 있다.
따라서, 일부 실시예들에서, 클라이언트 디바이스(101)는 관찰 위치 파라미터 벡터에 대응하는 이미지에 더하여 이 이미지에 대한 깊이 데이터를 또한 수신할 수 있다. 이것은 전형적으로 깊이 맵 또는 메시의 형태일 수 있으며, 뷰 변환을 수행하기 위해 클라이언트 이미지 합성기(307)에 의해 직접 사용될 수 있다. 예를 들어, 예컨대 관찰자가 병진하고 있을 때의 개별 픽셀들에 대한 변위는 깊이에 의존한다. 특히, 관찰자에 가까운 물체들은 관찰자로부터 멀리 떨어져 있는 물체들보다 더 많이 시프트될 것이다.
설명된 접근법의 특별한 이익은 그것이 동적 사용자 경험에 특히 적합하다는 것이다. 실제로, 클라이언트 디바이스(101)가 관찰 위치 파라미터 벡터들을 계속 제공하고 원격 이미지 서버(107)가 그에 응답하여 연속적인 이미지 스트림, 그리고 특히 비디오 스트림을 제공하는 동적 프로세스가 지원될 수 있다. 또한, 이것은 본질적으로 단일 비디오 스트림에 대응하는 순방향 대역폭 및 낮은 레이트 데이터 접속에 대응하는 역방향 대역폭만을 사용하여 효과적으로 달성된다.
따라서, 많은 실시예에서, 원격 이미지 서버(107)는 예를 들어 5 내지 100 ㎐의 업데이트 레이트로 일련의 관찰 위치 파라미터 벡터들을 수신할 수 있다. 이에 응답하여, 원격 이미지 서버(107)는 합성된 이미지들을 생성하고, 이들을 예를 들어 적합한 프레임 레이트를 갖는(또는 아마도 클라이언트 디바이스(101)가 포함된 시간 파라미터들에 기초하여 (예를 들어, 보간을 사용하여) 프레임 레이트 적응을 수행할 수 있는 것에 요구되는 것보다 더 높거나 낮은 프레임 레이트를 갖는) 비디오 스트림으로서 클라이언트 디바이스(101)에 반환할 수 있다. 따라서, 원격 이미지 서버(107)는 일련의 관찰 위치 데이터 벡터들에 대응하는 합성된 이미지들의 시퀀스를 포함하도록 출력 이미지 신호를 생성할 수 있다.
실제로, 많은 실시예에서 이 접근법은 동적 실시간 가상 현실 경험이 높은 이미지 품질 및 대역폭 요건 둘 모두에 따라 제공되는 것을 가능하게 할 수 있다.
이 접근법은 또한 원격 이미지 서버(107)가 복수의 사용자를 동시에 지원하도록 허용할 수 있다. 특히, 원격 이미지 서버(107)는 복수의 클라이언트 디바이스로부터 관찰 위치 파라미터 벡터들을 수신할 수 있고, 그에 응답하여 각각의 클라이언트 디바이스/사용자에 대한 맞춤화되고 개인화된 비디오 스트림을 생성할 수 있다.
일부 실시예들에서, 선택기(209)는 복수의 수신된 관찰 위치 파라미터 벡터(현재의 것을 포함함)로부터 수정된 관찰 위치 파라미터 벡터를 예측하도록 배열될 수 있다. 예를 들어, 선택기(209)는 칼만 필터(Kalman filter)와 같은 다차원 예측 필터를 포함할 수 있다. 이것은 3차원 가상 공간에서 사용자의 궤적을 예측할 수 있으며, 예를 들어 추가적으로 또는 대안적으로 관찰 방향을 예측할 수 있다. 간단한 예로서, 도 5의 예에서의 사용자의 궤적은 심지어 1차 선형 예측 필터에 의해 쉽게 예측될 수 있다.
따라서, 일련의 수신된 관찰 위치 파라미터 벡터들에 기초하여, 미래의 관찰 위치 파라미터 벡터들(또는 그들의 적어도 일부 파라미터들)이 원격 이미지 서버(107)에 의해 예측될 수 있다. 따라서, 일부 실시예들에서, 선택기(209)는 미래 시간에 대한 관찰 위치 및/또는 관찰 방향의 추정에 대응할 수 있는 수정된 관찰 위치 파라미터 벡터를 예측하는 예측기를 포함할 수 있다.
그러한 예측은 상이한 방식들로 사용될 수 있다.
예를 들어, 일부 실시예들에서, 선택기(107)는 수정된 관찰 위치 파라미터 벡터에 응답하여 이미지들의 세트를 선택하도록 배열될 수 있고/있거나, 클라이언트 이미지 합성기(307)는 수정된 관찰 위치 파라미터 벡터에 응답하여 합성된 이미지를 합성하도록 배열될 수 있다.
특히, 전술한 접근법들이 사용될 수 있지만, 수신된 관찰 위치 파라미터 벡터를 직접 사용하는 대신에, 수정된 관찰 위치 파라미터 벡터가 사용될 수 있다. 이것은 전형적으로 약간 수정된 위치/관찰 방향에 대응하는 이미지의 생성을 유발할 수 있다. 특히, 원격 이미지 서버(107)는 (예를 들어, 클라이언트 디바이스(101)를 핑(ping)하거나, 원격 이미지 서버(107)와 클라이언트 디바이스(101) 사이의 메시지에 포함되는 타이밍 정보에 기초하여 타이밍 추정 프로세스를 적용함으로써) 레이턴시를 추정할 수 있다. 이어서 예측기는 그것이 이 지연만큼 오프셋된 시간에 수신할 것으로 예상할 관찰 위치 파라미터 벡터를 추정하는 데 사용될 수 있다. 따라서, 원격 이미지 서버(107)는 이러한 방식으로 클라이언트 디바이스(101)에 의해 이미지가 수신되거나 렌더링되는 시간에 사용자 위치/관찰 방향을 예측하려고 시도할 수 있다. 이어서 그것은 이 위치/관찰 방향에 대응하는 합성된 이미지를 제공할 수 있다. 많은 실시예에서, 이것은 원하는 뷰에 더 가까운 이미지를 생성할 가능성이 있으며, 이에 따라 클라이언트 디바이스(101)에 의해 요구되는 후처리/뷰 변환의 양을 감소시킬 수 있다.
대안적으로 또는 추가적으로, 예측은 사전 선택을 수행하는 데 사용될 수 있다. 예를 들어, 원격 이미지 서버(107)는 이미지들이 메모리(201)로부터 검색된 후에 저장될 수 있는 캐시를 포함할 수 있다. 캐시는 예를 들어 클라이언트 이미지 합성기(307)에 대한 GPU 메모리 또는 전용 메모리에 대응할 수 있다. 따라서 이 캐시 내의 이미지들은 메모리(201)(전형적으로 속도보다는 용량에 대해 최적화될 것임)로부터보다 더 빠르게 검색될 수 있다.
일부 실시예들에서, 선택기(209)는, 예측된 수정된 관찰 위치 파라미터 벡터에 기초하여, 메모리(201)로부터 추출되어 캐시에 저장된 이미지들의 세트를 선택하는 사전 선택기를 포함할 수 있다. 수정된 관찰 위치 파라미터 벡터는 특히 다음 관찰 위치 파라미터 벡터의 예측일 수 있으며, 이것이 수신될 때, 선택된 이미지들은 실제로 이들이 사전 선택된 경우 메모리(201)보다는 캐시로부터 검색될 수 있다.
예로서, 사전 선택은 선택과 정확히 동일한 원리에 기초할 수 있지만, 예를 들어 더 큰 편차를 허용한다. 예를 들어, 사전 선택은 또한 예를 들어 다음을 충족시키는 모든 이미지를 찾는 것에 기초할 수 있다:
Figure pct00006
그러나, 값 Δ_k는 예측에서의 불확실성을 보상하기 위해 후속 선택에 대해서보다 사전 선택에 대해 실질적으로 더 높게 선택될 수 있다.
사용자가 가고 있는 곳에 관하여 이루어지는 예측에 기초한 참조 뷰들의 그러한 사전 페칭(fetching)은 합성된 이미지를 생성함에 있어서의 시간 지연을 감소시킬 수 있고, 그에 따라 전체 레이턴시를 감소시킬 수 있다.
일부 실시예들에서, 수신기는 일련의 관찰 위치 파라미터 벡터들 중 적어도 하나의 파라미터에 저역 통과 필터를 적용하도록 배열될 수 있다. 예를 들어, 일련의 연속적인 관찰 위치 파라미터 벡터들의 수신된 x, y 및 z 좌표들은 매끄러운 위치 궤적을 제공하기 위해 개별적으로 필터링될 수 있다. 따라서, 사실상 개별 파라미터들은 더 매끄러운 동작을 반영하도록 시간적으로 저역 통과 필터링될 수 있다. 따라서, 이 접근법은 예를 들어 클라이언트 디바이스(101)에 의한 후속 수신된 이미지들/프레임들 사이의 시간적 보간을 요구함이 없이 사용자 경험의 특히 효율적인 평활화를 허용한다. 이 접근법은 특히 시퀀스의 후속 이미지들에 대한 더 높은 일관성 및 매끄러운 변화를 허용할 수 있다. 이것은 비디오 인코딩을 용이하게 할 수 있다.
실제로, 비디오 스트림의 효율적인 인코딩을 위해, 비디오는 시간적으로 매끄러운 모션을 따르는 것이 바람직하다. 이를 보장하기 위해, 사용자 위치 및 관찰 방향 파라미터들은 시간에 따라 매끄럽게 변하는 비디오를 생성하기 위해 원격 이미지 서버(107)에 의해 필터링될 수 있다. 이것은 동일 품질에 대한 비트 레이트를 감소시킨다. 실제 위치 및 배향에 대한 도입된 차이는 (송신된 메시 또는 깊이 맵을 사용하여) 클라이언트 측 뷰 합성에 의해 보상될 수 있는데, 즉 클라이언트 이미지 합성기(307)가 뷰 변환을 수행하는 접근법은 인식 품질의 이러한 지나친 저하 없이 필터링이 수신된 관찰 위치 파라미터 벡터들에 대한 편차를 도입할 수 있게 한다. 알려지지 않은 왕복 지연이 있을 수 있기 때문에, 원격 이미지 서버(107)는 전술한 바와 같이 각각의 비디오 프레임과 함께 참조 위치 파라미터 벡터를 전송할 수 있다. 클라이언트 디바이스(101)는 이 정보를 올바른 뷰 합성을 위해 사용할 수 있다. 새로 수신된 데이터와 현재 합성된 데이터 간의 시간적 불일치를 피하기 위해, 알파 블렌딩이 매끄러운 모션 경험을 제공하는 데 사용될 수 있다.
일부 실시예들에서, 클라이언트 디바이스(101)는 원격 이미지 서버(107)의 동작에 영향을 미치는 제어 데이터를 전송하도록 추가로 배열될 수 있다. 이것은 예를 들어 원격 이미지 서버(107)에 의해 생성된 이미지의 특성을 제어하는 데 사용될 수 있으며, 특히 예를 들어 상이한 동작 모드들 사이에서 그리고 상이한 가상 현실 경험들 사이에서 선택하는 데 사용될 수 있다. 특히, 그것은 합성된 이미지의 생성에 부과되는 제한을 제어할 수 있다.
일부 실시예들에서, 클라이언트 디바이스(101)는 특히 선택기(209)가 이미지들의 세트를 선택하는 방법을 제어하는 선택 명령을 송신하도록 배열될 수 있다. 따라서, 클라이언트 디바이스(101)는 원격 이미지 서버(107)에 선택 명령을 송신할 수 있고, 이것을 수신하는 것에 응답하여, 원격 이미지 서버(107)는 선택기(209)에 의해 사용되는 선택 기준을 적응시킬 수 있다.
선택 명령은 특히 상이한 파라미터들이 어떻게 우선순위화되어야 하는지 또는 예를 들어 상이한 파라미터들에 대해 얼마나 큰 편차가 허용되어야 하는지에 대한 표시를 포함할 수 있다. 예를 들어, 선택 명령은 예를 들면 x 방향에서의 비교적 큰 변화가 허용 가능한 반면, y 방향에서의 변화는 낮게 유지되어야 함을 나타낼 수 있다.
특히, 선택 명령은 이미지를 선택할 때 특정 파라미터(또는 파라미터 세트)가 무시되어야 함을 나타낼 수 있다. 특히, 선택 명령은 시간 파라미터가 무시되어야 하고, 지시된 위치 및 관찰 방향에 충분히 근접한 모든 이미지가 그들이 언제 촬영되었는지에 무관하게 포함되어야 함을 나타낼 수 있다. 다른 예로서, 선택 명령은 비대칭 기준이 포함되어야 하고, (가상 세계에서) 현재 시간 인스턴트 후에 캡처된 이미지들만이 포함되어야 함을 나타낼 수 있다.
그러한 선택 명령의 포함은 예를 들어 클라이언트 디바이스(101)가 예를 들어 사용자에 의해 제어되는 상이한 모드들로 동작하는 것을 가능하게 할 수 있다.
예를 들어, 콘텐츠의 타입에 따라, 사용자는 캡처된 환경을 상이한 방식들로 탐색하기를 원할 수 있다. 전술한 설정에서, 이것은 클라이언트 디바이스(101)로부터 원격 이미지 서버(107)로 송신되는 선택 명령에 의해 제어될 수 있는 간격 파라미터 Δ_k에 대한 상이한 설정들을 사용하여 처리될 수 있다.
예시적인 동작 모드들은 예를 들어 다음을 포함할 수 있다:
1. 연대순 모드 : 이벤트들이 발생하는 연대순이 중요하다. 재생은 중지될 수 있지만, 프레임들은 결코 시간적으로 뒤로 가지 않아야 한다. 시간 파라미터 Δ_t의 작은 변화만이 허용될 것이다.
예: 콘서트(오디오가 가장 중요한 부분임), 스포츠 이벤트.
2. 정적 세계 모드 : 레코딩은 정적 3D 모델로서 탐색되고, 따라서 프레임들이 캡처된 시간은 무의미해졌다. 6 파라미터 공간은 이제 5 파라미터 공간으로 축소된다. 이것은 데이터를 검색할 더 밀집한 공간, 및 이에 따라 관찰자에 대한 더 밀집한 유효 위치/관찰 각도를 유발할 것이다.
예: 가상 박물관 방문, 아키텍처.
3. 궤적 모드 : 레코딩은 정적 3D 세계로서 탐색된다. 이어서 3D 공간(x,y,z) 내의 그러한 궤적 또는 경로가 상이한 루트들을 취하는 상이한 방향들에서 탐색될 수 있다.
예: 하이킹 코스.
일부 응용들의 경우, 검색 공간의 차원수가 더욱 감소될 수 있다:
1. 전술한 정적 세계 모드에서, 시간 차원이 없어, 5D 공간을 유발한다.
2. 전술한 궤적 모드에서, 시간 차원이 없고, (x,y,z) 위치는 궤적을 따른 단일 파라미터 s로 감소될 수 있다. 이것은 3D 공간을 유발한다.
3. 스포츠 이벤트의 경우, 시간 차원이 중요하지만, 관찰 위치 및 방향은 전형적으로 제한될 수 있다(관찰자는 전형적으로 경기장 자체보다는 필드를 보고 있다).
예를 들어, 사용자는 그가 다소 큰 시간 간격 Δ_t 동안 가상 세계를 경험하기를 원한다고 결정할 수 있다. 그 경우에, 사용자는 짧은 시간 인스턴스 동안 위치 및 배향에만 의존하는 비디오를 수신할 것이며, 사용자 자신의 모션에 의해 유발되는 것 이외는 장면에서 아무 것도 움직이지 않는다.
일부 실시예들에서, 클라이언트 이미지 합성기(307)는 또한 합성된 이미지를 생성할 때 수신된 이미지를 크로핑(cropping)하는 것이 가능할 수 있다. 따라서, 일부 실시예들에서, 사용자에게 제시되는 합성된 이미지에 의해 표현된 관찰 각도는 수신된 이미지의 것보다 더 작을 수 있다. 크로핑은 업데이트된 관찰 위치 파라미터 벡터 및 참조 위치 파라미터 벡터에 의존할 수 있다.
따라서, 일부 실시예들에서, 원격 이미지 서버(107)는 이미지를 사용자에게 렌더링하는 데 사용되는 디스플레이에 의해 실제로 요구되는 것보다 더 큰 시야를 갖는 이미지를 생성할 수 있다. 이것은 클라이언트 이미지 합성기(307)의 동작을 용이하게 할 수 있는데, 왜냐하면 그것이 업데이트된 관찰 위치 파라미터 벡터에 가장 잘 대응하도록 선택될 합성된 이미지를 생성하는 데 사용되는 수신된 이미지의 선택을 허용할 수 있기 때문이다. 낮은 복잡성 예로서, 관찰 위치 파라미터 벡터가 송신된 후 사용자가 그의 머리를 왼쪽으로 돌린 경우, 클라이언트 이미지 합성기(307)는 수신된 이미지의 왼쪽을 더 많이 향하는 이미지 섹션을 선택하고 이를 합성을 위해 사용할 수 있다. 대신에 사용자가 머리를 오른쪽으로 돌리면, 이미지의 오른쪽을 더 많이 향하는 이미지 섹션이 사용될 수 있다.
위의 설명은 명료함을 위해 상이한 기능 회로들, 유닛들 및 프로세서들을 참조하여 본 발명의 실시예들을 설명하였음을 알 것이다. 그러나, 본 발명으로부터 벗어남이 없이 상이한 기능 회로들, 유닛들 또는 프로세서들 간의 기능의 임의의 적합한 분산이 사용될 수 있음이 명백할 것이다. 예를 들어, 별개의 프로세서들 또는 제어기들에 의해 수행되도록 예시된 기능이 동일한 프로세서 또는 제어기에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에 대한 참조들은 오로지 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기보다는 설명된 기능을 제공하기 위한 적합한 수단에 대한 참조들로 간주되어야 한다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로, 기능은 단일 유닛에서, 복수의 유닛에서, 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 그렇기 때문에, 본 발명은 단일 유닛에서 구현될 수 있거나, 상이한 유닛들, 회로들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분산될 수 있다.
본 발명이 몇몇 실시예들과 관련하여 설명되었지만, 본 명세서에 기재된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범주는 첨부된 청구범위에 의해서만 제한된다. 또한, 소정 특징이 특정 실시예들과 관련하여 설명되는 것처럼 보일 수 있지만, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 청구범위에서, 용어 '포함하는'은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.
또한, 개별적으로 열거되지만, 복수의 수단, 요소, 회로 또는 방법 단계는 예를 들어 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개별 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있으며, 상이한 청구항들에의 포함은 특징들의 조합이 실현 가능하지 않고/않거나 유리하지 않다는 것을 암시하지는 않는다. 또한, 하나의 카테고리의 청구항들에의 소정 특징의 포함은 이 카테고리로의 제한을 암시하는 것이 아니라, 오히려 그 특징이 적절한 바에 따라 다른 청구항 카테고리들에 동등하게 적용될 수 있음을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 암시하지는 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 단계들이 이 순서대로 수행되어야 함을 암시하지는 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 또한, 단수형 언급은 복수를 배제하지 않는다. 따라서, "부정관사(a, an)", "제1", "제2" 등에 대한 언급은 복수를 배제하지 않는다. 청구범위에서의 참조 부호들은 단지 명료화 예로서 제공되며, 어떤 방식으로도 청구범위의 범주를 제한하는 것으로 해석되지 않아야 한다.

Claims (15)

  1. 장치로서,
    3차원 장면에 대한 복수의 이미지들을 저장하기 위한 저장소(201)로서, 상기 이미지들은 상기 장면에 대한 상이한 위치들 및 관찰 방향들에 대응하고, 상기 저장소(201)는 상기 복수의 이미지들에 대한 관련 위치 파라미터 벡터들을 저장하도록 추가로 배열되고, 상기 복수의 이미지들의 이미지에 대한 관련 위치 파라미터 벡터는 상기 이미지에 대한 관찰 위치 및 관찰 방향을 나타내는 데이터를 포함하는, 상기 저장소(201);
    원격 클라이언트(101)로부터 관찰 위치 파라미터 벡터를 수신하기 위한 수신기(205);
    상기 관찰 위치 파라미터 벡터와 상기 관련 위치 파라미터 벡터들의 비교에 응답하여 상기 복수의 이미지들 중 이미지들의 세트를 선택하기 위한 선택기(207);
    상기 이미지들의 세트로부터 합성된 이미지를 생성하기 위한 이미지 합성기(209);
    상기 합성된 이미지에 대한 참조 위치 파라미터 벡터를 생성하도록 배열된 데이터 생성기(215)로서, 상기 참조 위치 파라미터 벡터는 상기 합성된 이미지에 대한 관찰 위치 및 관찰 방향을 나타내는, 상기 데이터 생성기(215);
    인코딩된 합성된 이미지를 생성하기 위해 상기 합성된 이미지를 인코딩하기 위한 이미지 인코더(211);
    상기 인코딩된 합성된 이미지 및 상기 참조 위치 파라미터 벡터를 포함하는 출력 이미지 신호를 생성하기 위한 출력 생성기(213); 및
    상기 출력 이미지 신호를 상기 원격 클라이언트로 송신하기 위한 송신기(203)를 포함하는, 장치.
  2. 제1항에 있어서, 상기 관련 위치 파라미터 벡터들 중 적어도 하나의 관련 위치 파라미터 벡터 및 상기 관찰 위치 파라미터 벡터는 시간 파라미터를 포함하고, 상기 이미지들의 세트의 상기 선택은 상기 관찰 위치 파라미터 벡터의 시간 파라미터 값과 상기 관련 위치 파라미터 벡터들 중 상기 적어도 하나의 관련 위치 파라미터 벡터의 시간 파라미터 값들 사이의 차이의 비교를 포함하는, 장치.
  3. 제1항 또는 제2항에 있어서, 상기 선택기(207)는 복수의 수신된 관찰 위치 파라미터 벡터들로부터 수정된 관찰 위치 파라미터 벡터를 예측하도록 배열되고,
    상기 선택기(207)는 상기 수정된 관찰 위치 파라미터 벡터에 응답하여 상기 이미지들의 세트를 선택하도록 배열되거나;
    상기 이미지 합성기(209)는 상기 수정된 관찰 위치 파라미터 벡터에 응답하여 상기 합성된 이미지를 합성하도록 배열되는, 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 장치는 캐시, 및 복수의 수신된 관찰 위치 파라미터 벡터들로부터 수정된 관찰 위치 파라미터 벡터를 예측하고, 상기 수정된 관찰 위치 파라미터 벡터와 상기 관련 위치 파라미터 벡터들의 비교에 응답하여 상기 복수의 이미지들로부터 이미지들의 예측 세트를 사전 선택하고, 상기 이미지들의 예측 세트를 상기 캐시에 저장하도록 배열된 사전 선택기를 추가로 포함하며, 상기 선택기(209)는 상기 캐시에 저장된 상기 이미지들의 예측 세트로부터 상기 이미지들의 세트 중 적어도 하나의 이미지를 검색하도록 배열되는, 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 저장소(201)는 상기 이미지들에 대한 깊이 데이터를 추가로 포함하고, 상기 이미지 합성기(209)는 상기 이미지들의 세트에 대한 깊이 데이터에 응답하여 상기 합성된 이미지에 대한 깊이 데이터를 추가로 생성하도록 배열되고, 상기 생성기(213)는 상기 깊이 데이터를 상기 출력 이미지 신호에 포함시키도록 배열되는, 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 일련의 관찰 위치 파라미터 벡터들을 수신하고, 상기 일련의 관찰 위치 파라미터 벡터들에 대응하는 합성된 이미지들의 시퀀스를 포함하도록 상기 출력 이미지 신호를 생성하도록 배열되는, 장치.
  7. 제6항에 있어서, 상기 수신기(205)는 상기 일련의 관찰 위치 파라미터 벡터들 중 적어도 하나의 파라미터에 저역 통과 필터를 적용하도록 배열되는, 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 수신기(205)는 선택 명령을 수신하도록 추가로 배열되고, 상기 선택기(207)는 상기 선택 명령에 응답하여 상기 이미지들의 세트를 선택하기 위한 선택 기준을 적응시키도록 배열되는, 장치.
  9. 제8항에 있어서, 상기 선택기(207)는 상기 비교에서 상기 관찰 위치 파라미터 벡터의 파라미터를, 상기 파라미터가 무시될 것을 요청하는 선택 명령을 수신하는 것에 응답하여 무시하도록 배열되는, 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 저장소(201)는 상기 관련 위치 파라미터 벡터들을 범위 트리 구조(range tree structure)에 저장하도록 배열되고, 상기 선택기(207)는 상기 범위 트리 구조에서의 검색에 응답하여 상기 서브세트를 선택하도록 배열되는, 장치.
  11. 이미지 처리 장치로서,
    관찰 위치 및 관찰 방향을 나타내는 파라미터들을 포함하는 제1 관찰 위치 파라미터 벡터를 결정하기 위한 위치 프로세서(303);
    상기 관찰 위치 파라미터 벡터를 원격 이미지 서버로 송신하기 위한 송신기(305);
    상기 원격 이미지 서버로부터 신호를 수신하기 위한 수신기(305)로서, 상기 신호는 제1 이미지, 및 상기 제1 이미지에 대한 관찰자 방향 및 관찰자 위치를 나타내는 참조 위치 파라미터 벡터를 포함하는, 상기 수신기(305);
    상기 제1 관찰 위치 파라미터 벡터에 대한 관찰자 위치 및 관찰 방향의 변화들을 반영하는 업데이트된 관찰 위치 파라미터 벡터를 결정하도록 배열된 업데이트 프로세서(309); 및
    상기 참조 위치 파라미터 벡터 및 상기 업데이트된 관찰 위치 파라미터 벡터에 응답하여 상기 제1 이미지로부터 합성된 이미지를 생성하도록 배열된 이미지 합성기(307)를 포함하는, 이미지 처리 장치.
  12. 제11항에 있어서, 상기 이미지 합성기(307)는 상기 업데이트된 관찰 위치 파라미터 벡터와 상기 참조 위치 파라미터 벡터 사이의 관찰 차이에 대응하는 뷰 변환을 상기 제1 이미지에 적용하도록 배열되는, 이미지 처리 장치.
  13. 제1항 내지 제10항 중 어느 한 항의 장치를 포함하는 이미지 서버 및 제11항 또는 제12항의 이미지 처리 장치를 포함하는 이미지 클라이언트를 포함하는, 이미지 처리 시스템.
  14. 이미지를 제공하기 위한 방법으로서,
    3차원 장면에 대한 복수의 이미지들을 저장하는 단계로서, 상기 이미지들은 상기 장면에 대한 상이한 위치들 및 관찰 방향들에 대응하는, 상기 복수의 이미지들 저장 단계;
    상기 복수의 이미지들에 대한 관련 위치 파라미터 벡터들을 저장하는 단계로서, 상기 복수의 이미지들의 이미지에 대한 관련 위치 파라미터 벡터는 상기 이미지에 대한 관찰 위치 및 관찰 방향을 나타내는 데이터를 포함하는, 상기 관련 위치 파라미터 벡터들 저장 단계;
    원격 클라이언트(101)로부터 관찰 위치 파라미터 벡터를 수신하는 단계;
    상기 관찰 위치 파라미터 벡터와 상기 관련 위치 파라미터 벡터들의 비교에 응답하여 상기 복수의 이미지들 중 이미지들의 세트를 선택하는 단계;
    상기 이미지들의 세트로부터 합성된 이미지를 생성하는 단계;
    상기 합성된 이미지에 대한 참조 위치 파라미터 벡터를 생성하는 단계로서, 상기 참조 위치 파라미터 벡터는 상기 합성된 이미지에 대한 관찰 위치 및 관찰 방향을 나타내는, 상기 참조 위치 파라미터 벡터 생성 단계;
    인코딩된 합성된 이미지를 생성하기 위해 상기 합성된 이미지를 인코딩하는 단계;
    상기 인코딩된 합성된 이미지 및 상기 참조 위치 파라미터 벡터를 포함하는 출력 이미지 신호를 생성하는 단계; 및
    상기 출력 이미지 신호를 상기 원격 클라이언트로 송신하는 단계를 포함하는, 이미지를 제공하기 위한 방법.
  15. 방법으로서,
    관찰 위치 및 관찰 방향을 나타내는 파라미터들을 포함하는 제1 관찰 위치 파라미터 벡터를 결정하는 단계;
    상기 관찰 위치 파라미터 벡터를 원격 이미지 서버로 송신하는 단계;
    상기 원격 이미지 서버로부터 신호를 수신하는 단계로서, 상기 신호는 제1 이미지, 및 상기 제1 이미지에 대한 관찰자 방향 및 관찰자 위치를 나타내는 참조 위치 파라미터 벡터를 포함하는, 상기 신호 수신 단계;
    상기 제1 관찰 위치 파라미터 벡터에 대한 관찰자 위치 및 관찰 방향의 변화들을 반영하는 업데이트된 관찰 위치 파라미터 벡터를 결정하는 단계; 및
    상기 참조 위치 파라미터 벡터 및 상기 업데이트된 관찰 위치 파라미터 벡터에 응답하여 상기 제1 이미지로부터 합성된 이미지를 생성하는 단계를 포함하는, 방법.
KR1020197012162A 2016-09-29 2017-09-28 이미지 처리 KR102376593B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16191405 2016-09-29
EP16191405.6 2016-09-29
PCT/EP2017/074632 WO2018060334A1 (en) 2016-09-29 2017-09-28 Image processing

Publications (2)

Publication Number Publication Date
KR20190052713A true KR20190052713A (ko) 2019-05-16
KR102376593B1 KR102376593B1 (ko) 2022-03-21

Family

ID=57083147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197012162A KR102376593B1 (ko) 2016-09-29 2017-09-28 이미지 처리

Country Status (9)

Country Link
US (1) US11050991B2 (ko)
EP (1) EP3520414A1 (ko)
JP (1) JP7065836B6 (ko)
KR (1) KR102376593B1 (ko)
CN (1) CN109792537B (ko)
BR (1) BR112019005855A2 (ko)
RU (1) RU2746431C2 (ko)
TW (1) TWI818899B (ko)
WO (1) WO2018060334A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3383035A1 (en) 2017-03-29 2018-10-03 Koninklijke Philips N.V. Image generation from video
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
EP3588249A1 (en) 2018-06-26 2020-01-01 Koninklijke Philips N.V. Apparatus and method for generating images of a scene
US10681332B1 (en) * 2018-07-27 2020-06-09 Gopro, Inc. Systems and methods for stabilizing views of videos
EP3629585A1 (en) * 2018-09-25 2020-04-01 Koninklijke Philips N.V. Image synthesis
EP3644604A1 (en) * 2018-10-23 2020-04-29 Koninklijke Philips N.V. Image generating apparatus and method therefor
GB2585479B (en) * 2019-05-10 2024-01-31 Victor Kennedy Roderick Reduction of the effects of latency for extended reality experiences
WO2021071257A1 (ko) * 2019-10-07 2021-04-15 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11363094B2 (en) 2020-07-20 2022-06-14 International Business Machines Corporation Efficient data processing in a mesh network of computing devices
US11659043B1 (en) * 2022-01-27 2023-05-23 Meta Platforms Technologies, Llc Systems and methods for predictively downloading volumetric data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006122663A (ja) * 2004-09-30 2006-05-18 Toshiba Corp 画像処理装置及び画像処理方法
JP2010081440A (ja) * 2008-09-26 2010-04-08 National Institute Of Information & Communication Technology 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996024216A1 (en) 1995-01-31 1996-08-08 Transcenic, Inc. Spatial referenced photography
EP1099343A4 (en) 1998-05-13 2007-10-17 Infinite Pictures Inc PANORAMIC FILMS SIMULATING A DISPLACEMENT IN A MULTI-DIMENSIONAL SPACE
US7274380B2 (en) 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
JP4148671B2 (ja) * 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
JP4094942B2 (ja) * 2002-12-11 2008-06-04 日本電信電話株式会社 任意視点画像伝送方法及びその実施装置並びにその処理プログラムと記録媒体
KR100519779B1 (ko) * 2004-02-10 2005-10-07 삼성전자주식회사 깊이영상기반 3차원 그래픽 데이터의 고속 시각화 방법 및장치
JP2007150747A (ja) * 2005-11-28 2007-06-14 Matsushita Electric Ind Co Ltd 受信装置及び本線映像配信装置
JP4796435B2 (ja) 2006-04-28 2011-10-19 富士フイルム株式会社 画像ビューア
JP4828506B2 (ja) * 2007-11-05 2011-11-30 日本電信電話株式会社 仮想視点画像生成装置、プログラムおよび記録媒体
WO2009111007A1 (en) * 2008-03-04 2009-09-11 Thomson Licensing Virtual reference view
KR101473215B1 (ko) * 2008-04-18 2014-12-17 삼성전자주식회사 파노라마 이미지 생성장치 및 그 방법
KR101313797B1 (ko) * 2009-12-18 2013-10-01 한국전자통신연구원 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
WO2011085812A1 (en) * 2010-01-14 2011-07-21 Telefonaktiebolaget L M Ericsson (Publ) Provision of a freeze-and-view-around effect at the user device
JP5520146B2 (ja) * 2010-06-30 2014-06-11 キヤノン株式会社 映像受信装置、及びその制御方法
EP2621167A4 (en) * 2010-09-24 2015-04-29 Gnzo Inc SYSTEM FOR TRANSMITTING A VIDEO BIT TRAIN
CN103181171B (zh) * 2010-11-04 2016-08-03 皇家飞利浦电子股份有限公司 深度指示图的产生
JPWO2012147363A1 (ja) * 2011-04-28 2014-07-28 パナソニック株式会社 画像生成装置
MX341889B (es) * 2011-06-30 2016-09-07 Sony Corp Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
CN111031302A (zh) * 2012-04-25 2020-04-17 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
KR102407283B1 (ko) 2014-05-29 2022-06-10 네버마인드 캐피탈 엘엘씨 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US10571289B2 (en) * 2015-01-05 2020-02-25 Sony Corporation Information processing device, information processing method, and program
CN108243629B (zh) * 2015-11-11 2020-09-08 索尼公司 图像处理设备和图像处理方法
US10674205B2 (en) * 2015-11-17 2020-06-02 Rovi Guides, Inc. Methods and systems for selecting a preferred viewpoint for media assets

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006122663A (ja) * 2004-09-30 2006-05-18 Toshiba Corp 画像処理装置及び画像処理方法
JP2010081440A (ja) * 2008-09-26 2010-04-08 National Institute Of Information & Communication Technology 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
https://performingarts.withgoogle.tabhumblecom/en_us/performances/carnegie-hall]. *

Also Published As

Publication number Publication date
US20190273902A1 (en) 2019-09-05
BR112019005855A2 (pt) 2019-06-11
KR102376593B1 (ko) 2022-03-21
RU2019112847A3 (ko) 2020-10-29
WO2018060334A1 (en) 2018-04-05
CN109792537B (zh) 2023-06-23
TWI818899B (zh) 2023-10-21
EP3520414A1 (en) 2019-08-07
JP7065836B6 (ja) 2022-06-06
RU2746431C2 (ru) 2021-04-14
JP7065836B2 (ja) 2022-05-12
TW201816726A (zh) 2018-05-01
RU2019112847A (ru) 2020-10-29
US11050991B2 (en) 2021-06-29
CN109792537A (zh) 2019-05-21
JP2019537303A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
KR102376593B1 (ko) 이미지 처리
US20180204381A1 (en) Image processing apparatus for generating virtual viewpoint image and method therefor
US11694390B2 (en) Apparatus and method for generating images of a scene
US11317124B2 (en) Apparatus and method for generating an image data stream
JP2022502755A (ja) 画像合成
JP7138653B2 (ja) ビデオからの画像生成
KR101843025B1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
JP7123222B1 (ja) 表示制御装置、表示制御方法および表示制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant