KR102503337B1 - 이미지 디스플레이 방법, 장치 및 시스템 - Google Patents

이미지 디스플레이 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR102503337B1
KR102503337B1 KR1020217008883A KR20217008883A KR102503337B1 KR 102503337 B1 KR102503337 B1 KR 102503337B1 KR 1020217008883 A KR1020217008883 A KR 1020217008883A KR 20217008883 A KR20217008883 A KR 20217008883A KR 102503337 B1 KR102503337 B1 KR 102503337B1
Authority
KR
South Korea
Prior art keywords
terminal device
view
image
view image
field
Prior art date
Application number
KR1020217008883A
Other languages
English (en)
Other versions
KR20210046759A (ko
Inventor
시아오동 바오
쿠이주안 마
인 후앙
지안빈 리우
구앙 첸
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20210046759A publication Critical patent/KR20210046759A/ko
Application granted granted Critical
Publication of KR102503337B1 publication Critical patent/KR102503337B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

클라우드 VR에서 디스플레이 레이턴시를 줄이기 위한 이미지 디스플레이 방법, 장치 및 시스템이 제공된다. 본 출원에서, 단말 디바이스는 클라우드 디바이스에 제1 정보를 송신하되, 제1 정보는 제1 시점에서 단말 디바이스의 자세 및 위치를 나타낸다. 그런 다음, 단말 디바이스는 클라우드 디바이스로부터 제1 시야 이미지에 관한 정보를 수신하되, 제1 시야 이미지는 제1 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지이다. 단말 디바이스는 제1 시야 이미지에 관한 정보 및 제1 시점부터 제2 시점까지 단말 디바이스의 자세 변화 및 위치 변화에 기초하여 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이한다.

Description

이미지 디스플레이 방법, 장치 및 시스템
본 출원은 이미지 디스플레이 기술 분야에 관한 것으로, 특히 이미지 디스플레이 방법, 장치 및 시스템에 관한 것이다.
가상 현실(virtual reality, VR) 기술은 가상 세계가 생성되고 경험될 수 있는 컴퓨터 시뮬레이션 시스템이다. 이 기술은 컴퓨터를 사용하여 시뮬레이션 환경을 생성하며, 이 시뮬레이션 환경은 다중 소스 정보 융합, 대화형 3차원 동적 뷰, 및 엔티티 행동의 시스템 시뮬레이션이며, 따라서 사용자는 환경에 몰입된다.
현재, 더 나은 사용자 경험을 얻기 위해, VR 기술에서, VR 디바이스는 일반적으로 로컬 고성능 호스트와 결합되고, 로컬 고성능 호스트는 논리적 동작 및 이미지 렌더링과 같은 애플리케이션의 기능들을 구현하고, 최종적으로 디스플레이 이미지를 VR 디바이스에 출력한다. 그러나, 이 방법은 사용자 비용을 분명히 증가시키고, 결과적으로 VR 기술은 대중화될 수 없고, 사용자 그룹에서 제한된다. 따라서, 클라우드 VR(cloud virtual reality) 솔루션이 제안된다. 클라우드 컴퓨팅의 개념은 클라우드 VR 솔루션에서 VR 기술과 결합된다. 클라우드 VR 솔루션에서, 애플리케이션 데이터 및 비디오 데이터와 같은 VR 콘텐츠가 클라우드 디바이스 상에 배치되고, 논리적 동작 및 이미지 렌더링과 같은 애플리케이션의 기능이 클라우드 디바이스 상에서 구현된다. 사용자는 VR 디바이스를 갖는 한 VR 게임 및 VR 영화와 같은 다양한 VR 애플리케이션을 경험할 수 있다. 클라우드 VR 솔루션은 사용자 소비 비용을 효과적으로 감소시키고 사용자 경험을 개선할 수 있다.
그러나, 논리적 동작 및 이미지 렌더링과 같은 기능이 클라우드 VR 내의 클라우드 디바이스에 전달되기 때문에, VR 디바이스는 이미지를 수신한 후에만 클라우드 디바이스에 의해 처리된 시야(field of view, FOV) 이미지를 디스플레이할 수 있다. 이것은 디스플레이 레이턴시를 확실히 증가시키고, 과도하게 높은 디스플레이 레이턴시는 사용자 경험을 악화시킨다.
본 출원은 클라우드 VR에서 과도하게 높은 디스플레이 레이턴시의 종래 기술의 문제점을 해결하기 위한 이미지 디스플레이 방법, 장치 및 시스템을 제공한다.
제1 양태에 따르면, 본 출원의 실시예는 이미지 디스플레이 방법을 제공한다. 상기 방법은 단말 디바이스가 클라우드 디바이스에 제1 정보를 송신하는 단계를 포함하고, 상기 제1 정보는 제1 시점에 상기 단말 디바이스의 자세 및 위치를 지시할 필요가 있다. 이어서, 단말 디바이스는 클라우드 디바이스로부터 제1 시야 이미지에 관한 정보를 수신하고, 제1 시야 이미지는 제1 순간에 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지이다. 상기 제1 시야 이미지 수신 후, 제1 시야 이미지에 대한 정보 및 제1 시점부터 제2 시점까지 상기 단말 디바이스의 자세 변화 및 위치 변화에 기초하여, 단말 디바이스는 제2 시점에서 상기 단말 디바이스의 시야 범위 내에 이미지를디스플레이할 수 있고, 제2 시점은 제1 시점 이후이다.
전술한 방법에 따르면, 제1 시야 이미지에 관한 정보를 수신한 후, 단말 디바이스는, 제1 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하는 대신, 단말 디바이스의 자세 및 위치가 변경되는 제2 시점으로부터 단말 디바이스가 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하는 시점까지의 시간 구간이 효과적으로 단축될 수 있도록, 제1 시야 이미지에 대한 정보 및 제1 시점부터 제2 시점까지 단말 디바이스의 자세 변화 및 위치 변화에 기초하여, 제1 시점 이후 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이할 수 있다. 다시 말해, 이미지 디스플레이 레이턴시가 단축될 수 있고, 이는 사용자 경험을 더 개선할 수 있다.
가능한 설계에서, 제2 시점에 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하기 위해, 제1 시야 이미지가 변환될 필요가 있다. 제1 시야 이미지에 관한 정보는 제1 시야 이미지를 포함할 필요가 있다. 단말 디바이스는 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 제1 시야 이미지를 제2 시야 이미지로 변환할 수 있다. 제2 시야 이미지는 제2 시점에 단말 디바이스의 위치에 대응하는 시야 이미지이다. 다시 말해, 제2 시야 이미지의 시야 범위는 제1 시야 이미지의 시야 범위와 일치하고, 또한 제2 시점에 단말 디바이스의 모든 가능한 시야 범위를 더 잘 커버한다. 그런 다음, 단말 디바이스는, 제1 시점부터 제2 시점까지 단말 디바이스의 자세 변화에 기초하여, 제2 시야 이미지에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이한다.
전술한 방법에 따르면, 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 제1 시야 이미지가 변환되어 제2 시야 이미지를 획득함으로써, 제2 시점에서 단말 디바이스의 시야 범위 내 이미지가 제2 시야 이미지로부터 더 편리하게 결정될 수 있다. 따라서, 단말 디바이스의 자세 및 위치가 변경되는 제2 시점으로부터 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지가 디스플레이되는 시점까지의 시간 구간이 단축될 수 있고, 사용자 경험이 더 향상될 수 있다.
가능한 설계에서, 상기 제1 시점부터 상기 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 상기 제1 시야 이미지를 상기 제2 시야 이미지로 변환할 때, 상기 단말 디바이스는 먼저, 제1 시점부터 제2 시점까지 상기 단말 디바이스의 위치 변화, 제2 시야 이미지의 깊이 정보 및 제1 시야 이미지를 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보에 기초하여 결정할 필요가 있다. 그런 다음, 단말 디바이스는 픽셀 변화 정보 및 제2 시야 이미지의 깊이 정보에 기초하여 제1 시야 이미지를 제2 시야 이미지로 변환한다.
전술한 방법에 따르면, 제1 시점부터 제2 시점까지 위치 변화에 기초하여 단말 디바이스에 의해 획득되는 제2 시야 이미지의 깊이 정보 및 픽셀 변화 정보에 기초하여 제1 시야 이미지가 제2 시야 이미지로 정확하게 변환되는 것이 보장될 수 있다. 그런 다음, 단말 디바이스는 제2 시야 이미지에 기초하여 제2 시점에 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하여, 디스플레이 레이턴시를 단축할 수 있다.
가능한 설계에서, 상기 제2 시야 이미지의 깊이 정보 및 픽셀 변화 정보는 구체적으로 다음의 방식으로 획득될 필요가 있다.
상기 제1 시야 이미지 정보는 깊이 정보를 더 포함하고, 상기 단말 디바이스는 제1 시야 이미지에 대한 정보에서 깊이 정보 및 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 제2 시야 이미지의 깊이 정보를 결정한다.
상기 제1 시야 이미지에 관한 정보는 모션 벡터를 더 포함하고, 상기 모션 벡터는 상기 제1 시야 이미지 내의 픽셀들의 변화 경향을 나타내는 데 사용되고, 상기 단말 디바이스는 상기 모션 벡터 및 상기 단말 디바이스의 제1 시점부터 제2 시점까지의 위치 변화에 기초하여 상기 픽셀 변화 정보를 결정한다.
전술한 방법에 따르면, 제2 시야 이미지의 깊이 정보 및 픽셀 변화 정보는 제1 시야 이미지의 모션 벡터 및 깊이 정보와 같은 제1 시야 이미지의 관련 정보에 기초하여 간단하고 편리하게 결정되어 제1 시야 이미지가 이어서 제2 시야 이미지로 변환되는 것이 보장된다. 또한, 디스플레이 레이턴시가 효과적으로 단축될 수 있다.
가능한 설계에서, 상기 제2 시점에서 상기 단말 디바이스의 시야 범위 내에 상기 이미지를 디스플레이하기 전에, 상기 단말 디바이스는 상기 제2 시점에서 단말 디바이스의 자세에 기초하여 상기 제2 시점에서의 단말 디바이스의 시야 범위를 결정할 수 있다.
전술한 방법에 따르면, 단말 디바이스가 제2 시점에 단말 디바이스의 시야 범위내에서 이미지를 정확하게 디스플레이하는 것이 보장될 수 있고, 사용자 경험이 개선될 수 있다.
가능한 설계에서, 상기 제1 시야 이미지는 상기 제1 시점에 상기 단말 디바이스의 시야 범위 내에 이미지를 포함하고, 상기제1 시야 이미지의 시야 범위는 상기 제1 시점에 상기 단말 디바이스의 시야 범위보다 크다.
전술한 방법에 따르면, 제1 시야 이미지의 시야 범위는 비교적 커서, 제1 시야 이미지가 제2 시야 이미지로 변환된 후에, 제2 시야 이미지가 비교적 큰 시야 범위를 커버할 수 있고, 제2 시점에 단말 디바이스의 모든 가능한시야 범위 내에 이미지들을 포함할 수 있도록 보장한다. 마지막으로, 제2 시점에 단말 디바이스의 시야 범위 내에 이미지가 더 잘 디스플레이될 수 있다.
제2 양태에 따르면, 본 출원의 실시예는 이미지 디스플레이 방법을 제공한다. 방법은 다음을 포함한다: 먼저, 클라우드 디바이스가 단말 디바이스로부터 제1 정보를 수신하되, 제1 정보는 제1 시점에 단말 디바이스의 자세 및 위치 표시에 사용된다. 이어서, 클라우드 디바이스는 제1 정보에 기초하여 단말 디바이스의 미리 저장된 환경 이미지를 렌더링하여 제1 시야 이미지를 획득하되, 제1 시야 이미지는 제1 시점에 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지이다. 렌더링을 완료한 후, 클라우드 디바이스는 제1 시야 이미지에 관한 정보를 단말 디바이스에 전송한다.
전술한 방법에 따르면, 클라우드 디바이스는, 제1 정보를 수신한 후, 제1 시야 이미지를 출력할 수 있고, 단말 디바이스에 제1 시야 이미지를 송신할 때, 단말 디바이스에 제1 시야 이미지에 대한 다른 정보를 더 추가하여 단말 디바이스가 제1 시점부터 제2 시점까지의 단말 디바이스의 자세 변화 및 위치 변화에 대한 정보에 기초하여 제2 시점에 단말 디바이스의 시야 범위 내에 이미지를 표시할 수 있음을 보장한다. 또한, 단말 디바이스의 자세와 위치가 변하는 제2 시점부터 제2 시점에서 단말 디바이스의 제1 시야 범위 내에 이미지가 디스플레이되는 시점까지 시간 구간이 효과적으로 단축될 수 있고, 이미지 디스플레이 레이턴시가 단축되어 사용자 경험을 더욱 향상시킬 수 있다.
가능한 설계에서, 상기 제1 시야 이미지에 관한 정보는 제1 시야 이미지, 깊이 정보 및 모션 벡터를 포함한다.
전술한 방법에 따르면, 제1 시야 이미지에 관한 정보가 단말 디바이스에 송신되고, 따라서 단말 디바이스는 제1 시야 이미지를 편리하게 변환할 수 있다. 마지막으로, 단말 디바이스는 제2 시점에 단말 디바이스의 시야 범위 내에 이미지를 더 잘 디스플레이하여, 디스플레이 레이턴시를 단축하고, 사용자 경험을 향상시킬 수 있다.
가능한 설계에서, 상기 제1 시야 이미지는 상기 제1 시점에 상기 단말 디바이스의 시야 범위 내의 이미지를 포함하고, 상기 제1 시야 이미지의 시야 범위는 상기 제1 시점에 상기 단말 디바이스의 시야 범위보다 크다.
전술한 방법에 따르면, 제1 시야 이미지의 시야 범위는 비교적 커서, 제1 시야 이미지로부터 변환된 제2 시야 이미지는 비교적 큰 시야 범위를 커버할 수 있고, 제2 시점에 단말 디바이스의 모든 가능한시야 범위 내의 이미지를 커버 할 수 있는 것을 보장한다. 마지막으로, 제2 시점에서 단말 디바이스의 시야 범위 내의 이미지가 더 잘 디스플레이될 수 있다.
제3 양태에 따르면, 본 출원의 실시예는 장치를 더 제공한다. 장치는 단말 디바이스에 적용된다. 유익한 효과에 대해서는, 제1 양태의 설명을 참조한다. 상세한 설명은 본 명세서에서 다시 설명되지 않는다. 이 장치는 제1 양태의 방법 예에서 동작을 구현하는 기능을 갖는다. 기능들은 하드웨어에 의해 구현될 수 있거나, 또는 대응하는 소프트웨어를 실행함으로써 하드웨어로 구현될 수 있다. 하드웨어 또는 소프트웨어는 전술한 기능에 대응하는 하나 이상의 모듈을 포함한다. 가능한 설계에서, 상기 장치의 구조는 송신 유닛, 수신 유닛 및 디스플레이 유닛을 포함한다. 이들 유닛들은 제1 양태의 전술한 방법 예에서 대응하는 기능을 실행할 수 있다. 상세한 설명을 위해, 방법 예의 상세한 설명을 참조한다. 상세한 설명은 본 명세서에서 다시 설명되지 않는다.
제4 양태에 따르면, 본 출원의 실시예는 장치를 더 제공한다. 장치는 클라우드 디바이스에 적용된다. 유익한 효과에 대해, 제2 양태에서의 설명을 참조한다. 상세한 설명은 본 명세서에서 다시 설명되지 않는다. 이 장치는 제2 양태의 방법 예에서 동작을 구현하는 기능을 갖는다. 기능들은 하드웨어에 의해 구현될 수 있거나, 또는 대응하는 소프트웨어를 실행함으로써 하드웨어로 구현될 수 있다. 하드웨어 또는 소프트웨어는 전술한 기능에 대응하는 하나 이상의 모듈을 포함한다. 가능한 설계에서, 상기 장치의 구조는 수신 유닛, 처리 유닛 및 송신 유닛을 포함한다. 이들 유닛은 제2 양태의 전술한 방법 예에서 대응하는 기능들을 실행할 수 있다. 상세한 설명을 위해, 방법 예의 상세한 설명을 참조한다. 상세한 설명은 본 명세서에서 다시 설명되지 않는다.
제5 양태에 따르면, 본 출원의 실시예는 장치를 더 제공한다. 장치는 단말 디바이스에 적용된다. 유익한 효과에 대해서는, 제1 양태의 설명을 참조한다. 상세한 설명은 본 명세서에서 다시 설명되지 않는다. 통신 장치의 구조는 프로세서, 트랜시버, 및 메모리를 포함한다. 프로세서는 제1 양태의 방법에서 대응하는 기능들의 수행에서 단말 디바이스를 지원하도록 구성된다. 메모리는 프로세서에 결합되고 통신 장치에 필요한 프로그램 명령 및 데이터를 저장한다. 트랜시버는 다른 디바이스와 통신하도록 구성된다. 디스플레이는 추가로 포함될 수 있고, 프로세서로부터 명령을 수신하고 이미지를 디스플레이하도록 구성된다.
제6 양태에 따르면, 본 출원의 실시예는 장치를 더 제공한다. 장치는 클라우드 디바이스에 적용된다. 유익한 효과에 대해서는, 제2 양태의 설명을 참조한다. 상세한 설명은 본 명세서에서 다시 설명되지 않는다. 장치의 구조는 프로세서, 트랜시버, 및 메모리를 포함한다. 프로세서는 제2 양태의 방법에서 대응하는 기능들의 수행에서 클라우드 디바이스를 지원하도록 구성된다. 메모리는 프로세서에 결합되고 장치에 필요한 프로그램 명령 및 데이터를 저장한다. 트랜시버는 다른 디바이스와 통신하도록 구성된다.
제7 양태에 따르면, 본 출원은 컴퓨터 판독가능 저장 매체를 더 제공한다. 컴퓨터 판독가능 저장 매체는 명령을 저장하고, 명령이 컴퓨터 상에서 실행될 때, 컴퓨터는 전술한 양태들에 따른 방법들을 수행할 수 있다.
제8 양태에 따르면, 본 출원은 명령어를 포함하는 컴퓨터 프로그램 제품을 더 제공하고, 명령어가 컴퓨터 상에서 실행될 때, 컴퓨터는 전술한 양태에 따른 방법을 수행할 수 있다.
제9 양태에 따르면, 본 출원은 컴퓨터 칩을 더 제공한다. 칩은 메모리에 접속된다. 칩은 전술한 양태들에 따른 방법들을 수행하기 위해 메모리에 저장된 소프트웨어 프로그램을 판독 및 실행하도록 구성된다.
도 1은 기존의 클라우드 VR 솔루션의 흐름도이다.
도 2는 본 출원에 따른 네트워크 시스템의 개략적인 구조도이다.
도 3은 본 출원에 따른 이미지 디스플레이 방법의 개략도이다.
도 4는 본 출원에 따른, 제1 시점에서 제1 시야 이미지의 시야 범위 및 단말 디바이스의 시야 범위의 개략도이다.
도 5a 및 도 5b는 본 출원에 따른 이미지 디스플레이 방법의 흐름도이다.
도 6 내지 도 9는 본 출원에 따른 장치의 개략적인 구조도이다.
본 출원은 클라우드 VR 솔루션에서 과도하게 높은 디스플레이 레이턴시로 인해 사용자 경험이 악화되는 종래 기술의 문제점을 해결하기 위한 이미지 디스플레이 방법, 디바이스, 및 시스템을 제공한다.
기존의 클라우드 VR 솔루션에서, 클라우드 디바이스는 논리적 동작 및 이미지 렌더링과 같은 애플리케이션의 기능들을 구현할 수 있고, VR 디바이스는 시야 이미지만을 수신하고 이미지를 디스플레이한다. 다음은 기존의 클라우드 VR 솔루션의 특정 절차를 설명한다.
도 1에 도시된 바와 같이, VR 디바이스 내의 추적기는 먼저 VR 디바이스의 자세 및 위치를 캡처하고, 캡처된 자세 및 위치에 관한 정보를 클라우드 디바이스에 업로드한다.
클라우드 디바이스는 VR 디바이스에 의해 업로드되는 자세 및 위치에 관한 정보를 고정된 빈도로 획득하고, 대응하는 업데이트를 수행한다. VR 장치에 의해 업로드되는 자세 및 위치에 대한 정보를 획득한 후, 클라우드 디바이스는 클라우드 디바이스 내 논리 엔진을 트리거하여 논리 동작을 시작한다.
논리 연산을 수행한 후, 클라우드 디바이스 내의 논리 엔진은 논리 연산 후에 획득된 논리 정보를 클라우드 디바이스 내 렌더링 엔진에 출력한다. 클라우드 디바이스 내의 렌더링 엔진은 논리 정보에 기초하여 시야 이미지 렌더링을 수행하고, 렌더링된 프레임을 출력하고, 인코딩 및 압축과 같은 프로세싱을 위해 렌더링된 프레임을 클라우드 디바이스 내 인코더에 전송한다. 클라우드 디바이스 내 인코더는 프로세싱된 렌더링된 프레임을 클라우드 디바이스 내 캡슐화 및 스트림 푸싱 모듈로 전송한다.
클라우드 디바이스 내 캡슐화 및 스트림 푸싱 모듈은 프로세싱된 렌더링된 프레임을 캡슐화하고, 캡슐화된 렌더링된 프레임을 VR 디바이스로 푸시한다.
VR 디바이스의 역캡슐화 모듈은 클라우드 디바이스에 의해 전달된 데이터를 수신하고 역캡슐화하며, 역캡슐화된 데이터를 VR 디바이스의 디코더로 전송한다.
VR 디바이스 내 디코더는 역캡슐화된 데이터를 디코딩하여 렌더링된 프레임을 획득하고, 렌더링된 프레임을 디스플레이 프레임으로서 VR 디바이스 내 디스플레이 모듈로 전송한다.
VR 장치 내 디스플레이 모듈은 디스플레이 프레임을 리프레시하고 디스플레이한다.
전술한 설명으로부터, 클라우드 VR 솔루션에서, 논리 연산 및 이미지 렌더링이 클라우드 디바이스에 전달되고, 인코딩 및 압축, 캡슐화, 및 푸싱과 같은 일련의 프로세싱 연산들이 클라우드 디바이스에 의해 추가적으로 수행된다는 것을 알 수 있다. 실제로, 클라우드 디바이스에 의해 수행되는 일련의 프로세싱 동작 및 VR 디바이스에 의해 수행된 디스플레이는 직렬 모드로 수행된다. VR 디바이스는 클라우드 디바이스가 (논리 연산, 시야 이미지 렌더링, 인코딩 및 압축, 및 캡슐화와 같은) 일련의 프로세싱 동작들을 완료한 후에만 새로운 이미지를 디스플레이할 수 있다. 결과적으로, VR 장치의 자세 및 위치가 변하는 시점으로부터 VR 장치가 VR 장치의 상기 자세 및 위치에 대응하는 이미지를 디스플레이하는 시점까지의 시간 구간이 증가되고, 디스플레이 레이턴시가 증가된다. 즉, 어떤 시점에서, VR 장치의 자세 및 위치가 변하는 시점부터 그 시점에 대응 이미지가 디스플레이되는 시점까지의 시간 구간이 연장된다. 디스플레이 레이턴시는 VR 기술에서 사용자 경험에 영향을 미치는 중요한 인자이다. 디스플레이 레이턴시가 과도하게 높으면, 사용자 경험이 심각하게 영향을 받는다.
본 출원의 실시예들에서의 디스플레이 레이턴시는 단말 디바이스(예를 들어, VR 디바이스)의 자세 및 위치가 변하는 시점부터 단말 디바이스가 대응 이미지를 디스플레이하는 시점까지의 시간 구간이라는 점에 유의해야 한다.
따라서, 본 출원은 클라우드 VR 솔루션에서의 디스플레이 레이턴시를 효과적으로 단축하고 사용자 경험을 더 개선하기 위한 이미지 디스플레이 방법, 장치 및 시스템을 제공한다. 다음은 첨부 도면을 참조하여 상세한 설명을 제공한다.
도 2는 본 출원의 실시예에 따른 네트워크 시스템의 개략적인 구조도이다. 네트워크 시스템은 클라우드 디바이스 및 단말 디바이스를 포함한다.
클라우드 디바이스는 클라우드 상에 배치된 원격 서버이고, 클라우드 디바이스는 비교적 강한 그래픽 처리 기능 및 데이터 컴퓨팅 기능을 가질 필요가 있고, 예를 들어, 렌더링 및 논리 연산을 수행할 수 있다. 클라우드 디바이스는 멀티-코어 서버, 그래픽 프로세싱 유닛(graphics processing unit, GPU) 클러스터가 배치되는 컴퓨터, 대규모 분산 컴퓨터, 풀링된 하드웨어 리소스들을 갖는 클러스터 컴퓨터 등일 수 있다. 본 출원의 실시예들에서, 클라우드 디바이스는 단말 디바이스의 자세 및 위치에 기초하여 시야 이미지를 출력하고, 시야 이미지에 관한 정보(예컨대, 깊이 정보, 모션 벡터, 및 시야 이미지)를 단말 디바이스에 전송할 수 있다.
클라우드 디바이스는 단말 디바이스의 애플리케이션 데이터, 예를 들어, 애플리케이션에 환경 이미지와 같은 데이터를 추가로 저장할 수 있다. 클라우드 디바이스에 단말 디바이스의 애플리케이션 데이터를 저장하는 것은 단말 디바이스의 데이터 저장 압력을 완화할 수 있을 뿐만 아니라, 단말 디바이스에서의 애플리케이션 데이터의 보안을 보장하여 애플리케이션 데이터가 도난되는 것을 방지할 수 있다.
단말 디바이스는 단말 디바이스의 자세 및 위치를 캡처할 수 있고, 또한 VR 애플리케이션의 이미지를 디스플레이를 통해 사용자에게 디스플레이할 수 있다. 단말 디바이스는 VR 애플리케이션 데이터를 국부적으로 저장할 수 있다. 또는, 단말 디바이스는 VR 애플리케이션 데이터를 국부적으로 저장하지 않을 수 있고, 클라우드 디바이스에 저장하며 단말 디바이스가 VR 애플리케이션을 실행할 필요가 있을 때 클라우드 디바이스를 통해 VR 애플리케이션 데이터를 로딩한다.
단말 디바이스는 사용자의 머리에 착용되는 디바이스, 예를 들어, VR 안경 또는 VR 헬멧을 포함하거나, 사용자의 손, 팔꿈치, 발, 또는 무릎과 같은 사용자의 다른 부분에 착용되는 디바이스, 예를 들어, 게임 핸들을 포함할 수 있다. 본 출원의 실시예들에서, 단말 디바이스는 또한 그래픽 처리 능력 및 이미지 디스플레이 능력을 가질 필요가 있다. 예를 들어, 단말 디바이스는 클라우드 디바이스로부터 획득된 시야 이미지에 기초하여 재투영을 수행하고, 디스플레이될 수 있는 이미지를 획득하고, 그 이미지를 사용자에게 제시할 필요가 있다. 또한, 단말 디바이스는 단말 디바이스의 자세 및 위치를 캡처할 필요가 있고, 액션 캡처 능력을 가질 필요가 있다. 예를 들어, 단말 디바이스는 촉각 피드백, 제스처 인식 및 눈 추적과 같은 기능들을 가질 필요가 있다.
단말 디바이스에 포함되고 사용자의 머리에 착용되는 디바이스는 사용자의 머리의 변화를 캡처하고 그 변화를 단말 디바이스의 자세 및 위치로 변환할 수 있고, 또한 단말 디바이스의 시야 범위 내의 이미지를 사용자에게 디스플레이할 수 있다. 단말 디바이스에 포함되고 사용자의 머리 이외의 부분에 착용되는 디바이스는 사용자의 그 부분의 동작 변화를 캡처하고, 동작 변화를 단말 디바이스의 자세 및 위치로 변환할 수 있다.
본 출원의 실시예에서, 제1 시점 또는 제2 시점에서의 단말 디바이스의 자세 및 위치는 단말 디바이스를 착용한 사용자의 모션에 의해 생성되는 단말 디바이스 자세 및 위치이어야 하고, 상기 제1 시점 또는 상기 제2 시점에서 상기 단말 디바이스의 자세 및 위치는 사용자의 모션 방향 및 모션 종점을 반영할 필요가 있다.
도 2에 도시된 네트워크 시스템에 기초하여, 본 출원의 실시예는 이미지 디스플레이 방법을 제공한다. 도 3에 도시된 바와 같이, 방법은 다음의 단계들을 포함한다.
301 단계: 단말 디바이스는 클라우드 디바이스에 제1 정보를 송신한다. 제1 정보는 제1 시점에 단말 디바이스의 자세 및 위치를 지시하는 데 사용된다.
단말 디바이스의 자세 및 위치는 단말 디바이스의 자세 및 단말 디바이스의 위치를 포함한다. 단말 디바이스의 자세는 공간에서 단말 디바이스의 회전 상태이다. 단말 디바이스의 자세는 많은 방식으로 표현될 수 있는데, 예를 들어, 공간에서 단말 디바이스의 중심 축의 위치 및 단말 디바이스가 회전할 때 단말 디바이스의 중심 축이 회전하는 각도, 다른 예로서, 단말 디바이스가 회전할 때 공간에서 서로 수직인 3개의 표면 상의 단말 디바이스의 투영 영역이다. 단말 디바이스의 위치는 공간 내 단말 디바이스의 위치이다. 단말 디바이스의 위치는 많은 방식들로, 예를 들어, 3차원 좌표계에서의 단말 디바이스의 좌표 포인트로 표현될 수 있다. 또는, 다른 방식이 사용될 수 있다. 이는 본 출원의 이 실시예에서 제한되지 않는다. 단말 디바이스를 나타낼 수 있는 임의의 자세 및 위치는 본 출원의 이 실시예에 적용 가능하다.
단말 디바이스가 클라우드 디바이스에 제1 정보를 송신하기 전에, 단말 디바이스는 먼저 제1 시점에 단말 디바이스의 자세 및 위치를 획득할 수 있다.
단말 디바이스는 내장 장치를 사용하여 제1 시점에 단말 디바이스의 자세 및 위치를 획득할 수 있거나, 다른 장치를 사용하여 제1 시점에서 단말 디바이스의 자세 및 위치를 얻을 수 있다. 예를 들어, 사용자가 단말 디바이스를 착용하고 VR 게임을 플레이할 때, 사용자의 모션을 캡처할 수 있는 센서 등의 장치가 사용자의 근처에 배치될 수 있다.
가능한 구현에서, 추적기가 단말 디바이스에 배치될 수 있고, 단말 디바이스 내 추적기는 단말 디바이스의 자세 및 위치를 캡처할 수 있다. 캡처링 방식은 특정 시나리오에 기초하여 설정될 수 있다. 예를 들어, 단말 디바이스 내 추적기는 단말 디바이스의 자세 및 위치를 실시간으로 캡처할 수 있거나, 또는 단말 디바이스의 자세 및 위치를 주기적으로 캡쳐할 수 있거나, 또는 단말 디바이스 상에서 실행되는 애플리케이션에 기초한 시점에서 단말 디바이스 위치 및 자세를 획득할 수 있다. 예를 들어, 단말 디바이스에서 현재 실행되는 애플리케이션은 특정 리듬을 갖는 댄스 게임이고, 단말 디바이스의 자세 및 위치가 리듬 포인트에서만 변할 수 있고, 단말 디바이스 내 추적기는 특정 리듬 포인트 이전에만 단말 디바이스의 포즈 및 위치를 캡처하기 시작할 수 있다.
다른 가능한 구현에서, 단말 디바이스는 적외선 센서 또는 온도 센서와 같은 배치된 센서를 통해, 제1 시점에서 단말 디바이스를 착용한 사용자의 모션 상태를 식별할 수 있다. 배치된 센서는 단말 디바이스를 착용한 사용자의 모션 상태를 실시간으로 식별할 수 있고, 제1 시점에서 단말 디바이스가 착용한 사용자의 모션 상태가 변하는 것을 감지한 경우, 제1 시점에서 단말 디바이스를 착용한 사용자의 모션 상태를 즉시 단말 디바이스에 전송할 수 있다. 그 후, 단말 디바이스는 단말 디바이스를 착용한 사용자의 모션 상태를 제1 시점에서 단말 디바이스의 자세 및 위치로 변환한다. 배치된 센서는 단말 디바이스를 착용한 사용자 근처에 배치될 수 있거나, 또는 단말 디바이스 착용한 사용자의 신체 상에 배치될 수 있다.
추적기 및 센서를 통해 제1 시점에 단말 디바이스의 자세 및 위치를 획득하는 전술한 방식들은 모두 설명을 위한 예들이다. 실제로, 실제 애플리케이션에서, 제1 시점에서 단말 디바이스의 자세 및 위치는 많은 방식으로 획득될 수 있다. 이는 본 출원의 이 실시예에서 제한되지 않는다. 제1 시점에 단말 디바이스의 자세 및 위치가 획득될 수 있는 임의의 방식이 본 출원의 이 실시예에 적용 가능하다.
제1 시점에 단말 디바이스의 자세 및 위치를 획득한 후, 단말 디바이스는 제1 정보를 클라우드 디바이스에 직접 전송할 수 있다. 다른 예에서, 단말 디바이스는 주요 시점에서 단말 디바이스의 자세 및 위치를 유지할 수 있고, 주요 시점에서 자세 및 위치는 적어도 제1 시점의 이전 시점에서의 단말 디바이스의 자세 및 위치를 포함한다. 또는, 단말 디바이스는, 제1 시점에서 단말 디바이스의 자세 및 위치가 제1 시점의 이전 시점에서 단말 디바이스의 자세 및 위치와 상이할 때에만, 제1 시점에 단말 디바이스의 자세 및 위치를 클라우드 디바이스에 전송할 수 있다.
단계 302: 클라우드 디바이스가 단말 디바이스로부터 제1 정보를 수신한 후, 클라우드 디바이스는 제1 정보에 기초하여 단말 디바이스의 미리 저장된 환경 이미지를 렌더링하여 제1 시야 이미지를 획득한다. 제1 시야 이미지는 제1 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지다.
가능한 구현에서, 제1 정보를 수신한 후, 클라우드 디바이스는 클라우드 디바이스에 저장된 단말 디바이스의 자세 및 위치를 주기적으로 업데이트할 수 있다. 즉, 클라우드 디바이스는 클라우드 디바이스에 저장된 단말 디바이스의 자세 및 위치를 어떤 빈도로 업데이트한다. 제1 정보를 수신한 후, 클라우드 디바이스는 제1 정보로부터 제1 시점에 단말 디바이스의 자세 및 위치를 즉시 획득할 필요는 없지만, 어느 한 시간 포인트에서의 제1 정보로부터 제1 시점에서 단말 디바이스의 포즈 및 위치를 획득하고, 클라우드 디바이스에 국부적으로 저장된 단말 디바이스의 자세 및 위치를 업데이트한다. 또는, 클라우드 디바이스는 클라우드 디바이스에 저장된 단말 디바이스의 자세 및 위치를 실시간으로 업데이트할 수 있고, 제1 정보를 수신하는 한 클라우드 디바이스에 저장되어 있는 단말 디바이스의 포즈 및 위치를 업데이트 할 수 있다. 이러한 방식으로, 단말 디바이스의 자세 및 위치가 실시간으로 획득될 수 있다.
클라우드 디바이스가 제1 정보를 수신한 후, 클라우드 디바이스는 제1 시점에 단말 디바이스의 자세 및 위치에 대해 논리 연산을 수행할 수 있다.
논리 연산은 제1 시점에 단말 디바이스의 자세 및 위치에 기초하여 논리적 결정을 수행하여, 제1 시점에서 단말 디바이스에 의해 디스플레이될 필요가 있는 이미지의 상태 정보를 결정하는 프로세스이다. 제1 시점에 단말 디바이스에 의해 디스플레이될 필요가 있는 이미지의 상태 정보는 제1 시점에서 단말 디바이스의 자세 및 위치에 의해 야기되는, 디스플레이되어야 할 이미지의 상태 변화를 나타내고, 제1 시점에서 단말 디바이스에 의한 디스플레이될 필요가 있는 이미지에 포함된 사람, 물체 및 배경과 같은 재료들의 상태 정보를 포함한다.
예를 들어, 슈팅 게임이 현재 단말 디바이스에서 실행되고 있고, 제1 시점에서 단말 디바이스의 자세 및 위치에 관한 정보가 슈팅이 수행되고 있음을 나타내고, 논리 연산은 현재 슈팅 동작과 타격 위치에서 목표물이 타격되는지 여부 등의 정보를 획득하는 것이다.
구체적으로, 클라우드 디바이스에 논리 엔진이 배치될 수 있고, 클라우드 디바이스 내 논리 엔진은 제1 시점에서 단말 디바이스의 자세 및 위치에 기초하여 논리 연산을 수행하여, 제1 시점에서 단말 디바이스에 의해 디스플레이될 필요가 있는 이미지의 상태 정보를 획득할 수 있다.
클라우드 디바이스 내 논리 엔진은 클라우드 디바이스에 배치된 논리 연산 모듈이고, 논리 엔진은 본 출원의 이 실시예에서 클라우드 디바이스의 논리 연산 모듈을 나타낸다. 클라우드 디바이스 내 논리 연산 모듈은 대안적으로 독립적인 프로세서일 수 있다. 클라우드 디바이스 내 논리 연산 모듈의 특정 표현 형태 및 명칭은 본 출원의 이 실시예에서 제한되지 않는다. 논리 연산을 수행할 수 있는 임의의 모듈이 본 출원의 이 실시예에 적용 가능하다.
클라우드 디바이스는 제1 시점에 단말 디바이스에 의해 디스플레이될 필요가 있는 이미지의 상태 정보에 기초하여 단말 디바이스의 미리 저장된 환경 이미지를 렌더링한다.
클라우드 디바이스는 단말 디바이스 상의 애플리케이션의 모든 환경 이미지들과 같은 단말 디바이스의 애플리케이션 데이터를 미리 저장할 수 있다. 예를 들어, 단말 디바이스 상의 애플리케이션은 게임 애플리케이션이다. 클라우드 디바이스는 게임 애플리케이션의 사람, 오브젝트, 및 배경과 같은 이미지들을 포함하는 기본 환경 이미지들을 게임 애플리케이션에 미리 저장할 수 있다.
클라우드 디바이스는 제1 시점에 단말 디바이스에 의해 디스플레이될 필요가 있는 이미지의 상태 정보를 사용하여, 제1 시점에서 단말 디바이스가 디스플레이되어야 하는 이미지의 데이터를 결정할 수 있다. 데이터는 사람, 객체, 및 이미지에 디스플레이되어야 하는 배경과 같은 이미지들을 포함한다. 클라우드 디바이스는 제1 시야 이미지를 획득하기 위해 렌더링될 필요가 있는 환경 이미지를 추가로 결정하고 렌더링할 수 있다.
렌더링은 원근법에 따라 3차원 가상 공간 내 객체들을 평면으로 투영함으로써 양안 시각 이미지를 형성하는 프로세스로 간단히 이해될 수 있다.
구체적으로, 상기 클라우드 다비이스에 렌더링 엔진이 배치되고, 렌더링 엔진은 논리 연산을 통해 획득된 데이터에 기초하여 단말 디바이스의 환경 이미지를 렌더링하여 상기 제1 시야 이미지를 획득할 수 있다.
클라우드 디바이스 내의 렌더링 엔진은 클라우드 디바이스에 배치되고 이미지 렌더링을 수행하는 모듈이고, 렌더링 엔진은 본 출원의 이 실시예에서 클라우드 디바이스에서 이미지 렌더링을 수행하는 모듈을 나타낸다. 클라우드 디바이스에서 이미지 렌더링을 수행하는 모듈은 대안적으로 독립적인 그래픽 프로세싱 유닛일 수 있다. 클라우드 디바이스에서 이미지 렌더링을 수행하는 모듈의 특정 표현 형태 및 명칭은 본 출원의 이 실시예에서 제한되지 않는다. 이미지 렌더링을 수행할 수 있는 임의의 모듈이 본 출원의 이 실시예에 적용가능하다.
제1 시야 이미지는 제1 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지다. 구체적으로, 제1 시야 이미지는 제1 시점에서 단말 디바이스의 시야 범위 내 이미지를 포함하고, 제2 시야 이미지의 시야 범위는 제1 시점에서 단말 디바이스의 시야 범위보다 커야 한다.
제1 시야 이미지의 시야 범위는 제1 시야 이미지에 의해 디스플레이될 수 있는 최대 시야 범위이다. 예를 들어, 제1 시야 이미지의 시야 범위는, 이미지 에지에서 제1 시야 이미지에 디스플레이되는 재료들로부터 3차원 공간 내 단말 디바이스까지, 제1 시점에서 단말 디바이스의 위치를 정점으로 사용하는 공간 범위로 고려될 수 있다. 제1 시야 이미지의 시야 범위는 이미지 에지에서 제1 시야 이미지에 디스플레이되는 재료들과 3차원 공간 내 단말 디바이스의 위치 사이의 연결 라인들로 형성되는 공간으로 이해될 수 있다.
제1 시점에서 단말 디바이스의 시야 범위는 제1 시점에서 단말 디바이스에 의해 관측될 수 있는 공간 범위이다. 단말 디바이스의 시야 범위는 미리 설정될 수 있다. 예를 들어, 인간의 눈의 시야 범위는 전달 시 단말 디바이스의 시야 범위로 설정될 수 있거나, 고정된 시야는 단말 디바이스의 시야 범위로 사용된다.
가능한 구현에서, 제1 시점에 단말 디바이스의 시야 범위는 대안적으로 사용자의 요구조건에 기초하여 사용자에 의해 설정될 수 있다. 제1 시점에서 단말 디바이스의 시야 범위를 설정하는 방식은 본 출원의 이 실시예에서 제한되지 않는다.
제1 시점에서 제1 시야 이미지의 시야 범위와 단말 디바이스의 시야 범위의 관계를 이해하기 쉽게 하기 위해, 도면을 이용하여 설명한다. 도 4는 제1 시점에서 제1 시야 이미지의 시야 범위 및 단말 디바이스의 시야 범위의 개략도이다. 구체적으로, 제1 시야 이미지는 제1 시점에서 단말 디바이스의 시야 범위 내 이미지를 커버할 필요가 있고, 또한 제1 시점에서 단말 디바이스의 시야 범위를 초과한 일부 이미지를 포함할 필요가 있다.
단말 디바이스의 시야 범위를 초과한 일부 이미지들의 범위는 단말 디바이스의 시야 범위를 중심으로 균일하게 연장될 수 있거나, 또는 단말 디바이스의 제1 시야 범위로부터 시작하여 특정 방향으로 연장될 수 있고, 제1 시점에서 단말 디바이스의 자세 및 위치에 기초하여 결정될 수 있다. 예를 들어, 단말 디바이스의 시야가 제1 시점에서 시야 범위의 일측 상의 임계 위치에 도달할 때, 단말 디바이스들의 시야 범위를 초과하는 일부 이미지들의 범위는 단말 디바이스의 시야 범위에서 시작하여 다른 측으로부터 확장될 수 있다.
제1 시점에서 제1 시야 이미지의 시야 범위 및 단말 디바이스의 시야 범위는 보통 3차원 범위이며, 예를 들어, 보통 원뿔로 추상화될 수 있다는 것을 이해해야 한다. 원뿔의 정점은 단말 디바이스이며, 원뿔의 저면은 이미지가 표시될 수 있는 범위이다. 제1 시야 이미지의 시야 범위에 대응하는 원뿔의 꼭지각은 제1 시점에서 단말 디바이스의 시야 범위에 대응하는 원뿔의 꼭지각보다 클 필요가 있다.
단말 디바이스는 제1 시야 이미지에 기초하여 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이할 필요가 있기 때문에, 제1 시야 이미지의 시야 범위는 제1 시점에서 단말 디바이스 시야 범위보다 커서 단말 디바이스가 제2 시점에서 단말 디바이스의 시야 범위 내에 더 정확하게 이미지를 출력할 수 있도록 보장할 필요가 있다.
예를 들어, 제1 시야 이미지의 시야 범위를 더 크게 하기 위해, 제1 시야 이미지의 시야 범위는 모든 방향에서 단말 디바이스의 시야 범위보다 더 클 수 있다. 구체적으로, 제1 시야 이미지의 시야 범위가 단말 디바이스의 시야 범위로부터 모든 방향으로 연장되는 각도는 실제 시나리오에 기초하여 설정될 수 있다.
단말 디바이스의 미리 저장된 환경 이미지를 렌더링하는 프로세스에서, 클라우드 디바이스는 제1 시야 이미지의 깊이 정보를 더 생성할 수 있다. 깊이 정보는 제1 시야 이미지에 표시된 재료(사람, 물체 및 배경과 같은 이미지들)로부터 단말 디바이스까지의 거리를 표시하는 데 사용된다. 예를 들어, 제1 시야 이미지는 도형 A를 포함하고, 깊이 정보는 도형 B로부터 단말 디바이스까지의 거리를 포함한다.
단말 디바이스는 이미지를 디스플레이할 수 있다. 실제로, 단말 디바이스는 카메라로 추상화될 수 있다. 단말 디바이스가 디스플레이한 이미지는 카메라로 촬상될 수 있는 이미지다. 카메라의 위치는 VR 애플리케이션에서 사용자의 위치이다. 깊이 정보는 제1 시야 이미지에 디스플레이된 재료들(사람, 물체, 및 배경과 같은 이미지들)로부터 가상 카메라까지의 거리들로 이해될 수 있다.
선택적으로, 제1 시야 이미지의 깊이 정보는 제1 시야 이미지의 깊이 맵일 수 있다.
클라우드 디바이스는 제1 시야 이미지의 모션 벡터를 추가 획득할 수 있다. 모션 벡터는 제1 시야 이미지에서의 픽셀들의 변화 경향들의 표현에 사용된다. 즉, 제1 시야 이미지 내의 각 픽셀은 특정 움직임 경향을 가지며, 클라우드 디바이스는 제1 시야 이미지 내의 픽셀들의 이동 경향을 예측하고, 픽셀들의 이동 경향들을 모션 벡터로 변환할 필요가 있다.
특정 구현에서, 제1 시야 이미지 내 픽셀들은 블록에서 처리된다. 즉, 복수의 픽셀은 하나의 픽셀 블록을 형성하고, 픽셀 블록 내의 복수의 픽셀의 이동 경향은 동일하다고 간주될 수 있다.
제1 시야 이미지에서의 픽셀들의 변화 경향들을 더 편리하게 나타내기 위해, 모션 벡터는 제1 시야 이미지에서의 픽셀 블록들의 변화 경향들을 나타내는 데 사용된다.
제1 시야 이미지의 모션 벡터는 제1 시야 이미지에 대한 코드 압축 동안 획득된다. 이미지들의 복수의 프레임들은 클라우드 디바이스에 의한 코드 압축 동안 생성되고, 제1 시야 이미지 및 제1 시야 이미지의 인접 프레임 이미지를 포함한다. 제1 시야 이미지의 모션 벡터를 획득하는 특정 프로세스는 다음과 같다:
클라우드 디바이스는 제1 시야 이미지의 인접 프레임 이미지(예를 들어, 제1 시야 이미지의 이전 프레임의 이미지 또는 제1 시야 이미지의 여러 이전 프레임의 이미지들 중 하나)를 획득하고, 제1 시야 이미지를 여러 픽셀 블록으로 분할하고, 제1 시야 이미지의 인접한 프레임 이미지 내 각 픽셀 블록의 위치를 검색하여, 제1 시야 이미지의 인접 프레임 이미지로부터 제1 시야 이미지까지 동일한 픽셀 블록의 공간 위치의 상대적 오프셋을 계산할 필요가 있다. 픽셀 블록들의 상대적 오프셋들은 제1 시야 이미지의 모션 벡터를 구성할 수 있다.
제1 시야 이미지, 제1 시야 이미지의 깊이 정보 및 모션 벡터를 획득한 후, 클라우드 디바이스는 상술한 정보의 일부 또는 전부를 제1 시야 이미지에 대한 정보로서 사용하고, 그런 다음 단말 디바이스로 제1 시야 이미지를 전송한다.
선택적으로, 제1 시야 이미지에 관한 정보를 단말 디바이스에 효율적으로 송신하기 위해, 클라우드 디바이스는 제1 시야 이미지에 대해 코드 압축을 수행하여 데이터 전송 동안 더 적은 자원을 점유할 수 있고, 이에 의해 데이터 전송 효율을 향상시킨다.
인코더는 클라우드 디바이스에 배치될 수 있고, 제1시야 이미지에 대한 코드 압축을 구현하도록 구성된다.
상기 제1 시야 이미지와 제1 시야 이미지의 깊이 정보 및 모션 벡터 사이에 특정 대응관계가 있기 때문에, 클라우드 디바이스는 제1 시야 이미지에 관한 정보를 캡슐화한 다음, 캡슐화된 제1 시야 이미지에 관한 정보를 단말 디바이스로 전송할 수 있다.
303 단계: 클라우드 디바이스가 제1 시야 이미지에 관한 정보를 단말 디바이스에 송신한다. 제1 시야 이미지는 제1 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지다.
캡슐화 및 스트림 푸싱 모듈은 클라우드 디바이스에 배치될 수 있고, 제1 시야 이미지에 관한 정보를 캡슐화하도록 구성된다. 클라우드 디바이스 내 캡슐화 및 스트림 푸싱 모듈은 제1 시야 이미지에 관한 캡슐화된 정보를 추가로 단말 디바이스에 푸시할 수 있다.
가능한 구현에서, 상기 제1 시야 이미지에 관한 정보는 제1 시점에서 단말 디바이스의 자세와 위치에 대한 정보를 더 포함하고, 따라서 제1 시야 이미지에 대한 정보를 수신한 후, 단말 디바이스는 제1 시야 이미지가 제1 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지임을 명확하게 결정할 수 있다.
대안적으로, 제1 시야 이미지에 관한 정보는 제1 시점에서 단말 디바이스의 자세 및 위치에 관한 정보를 반송하지 않을 수 있다. 단말 디바이스가 클라우드 디바이스에 제1 정보를 송신할 때, 단말 디바이스는 제1 시점에 단말 디바이스의 자세 및 위치에 관한 정보를 저장할 수 있다. 제1 시점 이미지에 대한 정보를 수신한 경우, 단말 디바이스는 제1 시점에 단말 디바이스의 자세 및 위치에 대한 정보를 국부적으로 획득할 수 있다.
클라우드 디바이스가 단말 디바이스로부터 일정 빈도로 정보를 수신하는 경우, 단말 디바이스가 송신한 제1 정보를 반드시 클라우드 디바이스가 수신할 필요는 없음을 주지해야 한다. 즉, 단말 디바이스가 제1 정보를 송신하는 시점은 클라우드 디바이스가 정보를 수신하는 시점에 도달하지 않는다. 제1 시점에서 제1 시야 이미지에 관한 정보가 단말 디바이스의 자세 및 위치에 관한 정보를 반송하지 않는 경우, 단말 디바이스가, 제1 시야 이미지가 제1 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지인 것을 결정하도록 하기 위해 , 제1 정보를 성공적으로 수신한 경우, 클라우드 디바이스는 응답 메시지를 단말 디바이스로 송신하여 단말 디바이스에게 제1 정보가 성공적으로 수신되었음을 통지한다. 응답 메시지를 수신한 후, 단말 디바이스는 제1 시점에서 단말 디바이스의 자세 및 위치에 관한 정보를 저장한다. 대안적으로, 단말 디바이스는 클라우드 디바이스가 정보를 수신하는 빈도 또는 클라우드 디바이스가 국부적으로 저장된 단말 디바이스의 자세 및 위치를 갱신하는 빈도로 클라우드 디바이스에 제1 정보를 전송할 수 있다. 즉, 클라우드 디바이스는 단말 디바이스에 의해 송신된 제1 정보를 수신할 수 있고, 제1 시점에서 단말 디바이스의 자세 및 위치에 기초하여 단말 디바이스의 미리 저장된 환경 이미지를 렌더링하여 제1 시야 이미지를 획득할 수 있다. 이러한 방식으로, 클라우드 디바이스가 제1 시야 이미지에 관한 정보를 단말 디바이스에 전달할 때, 단말 디바이스는 제1 시점에 제1 시야 이미지에 대응하는 단말 디바이스의 자세 및 위치를 결정할 수 있다.
단말 디바이스가 제1 시점에 단말 디바이스의 자세 및 위치를 획득하는 방식은 단지 설명을 위한 예이다. 제1 시야 이미지에 관한 정보를 수신할 때, 단말 디바이스가 제1 시야 이미지에 관한 정보가 제1 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지라고 결정할 수 있는 임의의 방식이 본 출원의 이 실시예에 적용 가능하다.
304 단계: 단말 디바이스가 클라우드 디바이스로부터 제1 시야 이미지에 관한 정보를 수신한 후, 단말 디바이스는 제1 시야 이미지에 관한 정보 및 제1 시점에서 제2 시점까지 단말 디바이스의 자세 변화 및 위치 변화에 기초하여 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 표시한다. 제2 시점은 제1 시점보다 늦다.
클라우드 디바이스가 제1 시야 이미지에 관한 정보를 캡슐화한다면, 단말 디바이스는 제1 시야 이미지에 관한 캡슐화된 정보를 디캡슐화할 필요가 있다.
구체적으로, 디캡슐화 모듈은 단말 디바이스에 배치될 수 있고, 수신된 제1 시야 이미지에 관한 캡슐화된 정보를 디캡슐화하여 제1 시야 이미지에 관한 정보를 획득하도록 구성된다.
클라우드 디바이스가 제1 시야 이미지에 대해 코드 압축을 수행한다면, 단말 디바이스는 추가로 코드 압축을 통해 획득된 제1 시야 이미지를 디코딩하여 제1시야 이미지를 획득할 필요가 있다.
단말 디바이스의 자세 및 위치는 단말 디바이스가 제1 정보를 클라우드 디바이스에 송신하는 시점에서부터 단말 디바이스가 제1 시야 이미지에 관한 정보를 수신하는 시점까지 변할 수 있다. 즉, 단말 디바이스의 자세 및 위치는, 제1 시점의 자세 및 위치로부터, 제2 시점의 자세 및 위치로 변했다.
단말 디바이스가 이미지를 정확하게 디스플레이할 수 있고 디스플레이 레이턴시를 단축시킬 수 있는 것을 보장하기 위해, 단말 디바이스는 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이해야 한다. 이미지를 정확하게 디스플레이하기 위해, 단말 디바이스는 제2 시점에서 단말 디바이스의 자세 및 위치 및 수신된 제1 시야 이미지에 관한 정보를 사용할 필요가 있다.
먼저, 단말 디바이스는 제2 시점에 단말 디바이스의 자세 및 위치를 획득할 필요가 있다. 예를 들어, 단말 디바이스는 추적기 또는 센서를 사용하여 제2 시점에 단말 디바이스의 자세 및 위치를 획득할 수 있다. 단말 디바이스가 제2 시점에 단말 디바이스의 자세 및 위치를 획득할 필요가 있는 방식은, 단말 디바이스가, 제1 시점에 단말 디바이스를 자세 및 위치에 획득해야 할 필요가 있는 방식과 동일하다. 상세한 설명은 전술한 내용을 참조한다. 상세한 내용은 본 명세서에서 다시 설명되지 않는다.
제2 시점에서 단말 디바이스의 자세 및 위치를 획득하는 것 외에도, 단말 디바이스는 제1 시점에서 단말 디바이스 자세와 위치를 더 결정할 필요가 있다. 단말 디바이스가 제1 시점에 단말 디바이스의 자세 및 위치를 결정하는 방식에 대해서는 303 단계의 설명을 참조한다. 상세한 내용은 본 명세서에서 다시 설명되지 않는다.
제2 시점에서 단말 디바이스의 자세와 위치 및 제1 시점에서 단말 디바이스의 자세와 위치를 결정한 후, 단말 디바이스는 제1 시점에서 제2 시점까지 단말 디바이스의 자세 변화 및 위치 변화를 결정할 수 있다.
단말 디바이스는, 제1 시점부터 제2 시점까지 단말 디바이스의 자세 변화 및 위치 변화를 학습할 수 있고, 구체적으로, 제1 시점에서 제2 시점까지 단말 디바이스의 회전 상태 변화 및 공간 위치 변화를 결정할 수 있다.
그 다음, 단말 디바이스는 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 제1 시야 이미지를 제2 시야 이미지로 변환할 수 있다. 제2 시야 이미지는 제2 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지이다.
제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화를 학습한 후, 단말 디바이스는 제1 시야 이미지에 디스플레이된 재료들을 이동시켜 제2 시야 이미지를 획득할 수 있다. 제1 시야 이미지의 시야 범위는 단말 디바이스의 시야 범위보다 크기 때문에, 제1 시야 이미지가 회전되고 이동된 후 획득된 제2 시야 이미지는 제2 시점의 단말 디바이스의 위치에 대응하고, 제2 시야 이미지의 시야 범위는 제1 시야 이미지의 시야 범위와 일치하고 제2 시점에서 단말 디바이스의 시야 범위 보다 크다.
제1 시야 이미지의 시야 범위는 단말 디바이스의 시야 범위로부터 확장되기 때문에, 확장하는 동안, 확장된 범위는 단말 디바이스가 제1 시점부터 제2 시점까지 이동할 수 있는 최대 범위를 참조하여 결정될 수 있다는 것이 이해되어야 한다. 이는 제1 시야 이미지가 제2 시야 이미지로 변환된 후 제2 시점에서 제2 시야 이미지가 단말 디바이스의 모든 가능한 시야 범위 내 이미지들을 커버할 수 있음을 보장할 수 있다.
제1 시야 이미지의 시야 범위는 미리 설정될 수 있다. 제1 시야 이미지의 시야 범위를 미리 설정할 때, 클라우드 디바이스는 단말 디바이스로부터의 정보가 수신되는 시점부터 시야 이미지에 관한 정보가 출력되는 시점까지 기간을 추정하고, 추정된 시간에 기초하여 단말 디바이스의 가능한 이동 범위를 결정하고, 그런 다음 제1 시야 이미지의 시야 범위를 결정한다.
선택적으로, 제1 시야 이미지의 시야 범위가 제1 순간에 단말 디바이스의 시야 범위보다 크면, 제2 시야 이미지는 제2 순간의 단말 디바이스의 모든 가능한 시야 범위 내의 이미지들을 더 잘 커버할 수 있고, 단말 디바이스는 사용자 경험을 향상시키기 위해 제2 시간에 단말 디바이스의 시야 범위 내의 이미지를 더 정확하게 디스플레이할 수 있다.
단말 디바이스가 변환을 통해 제2 시야 이미지를 획득한 후, 단말 디바이스는 제2 시야 이미지로부터 단말 디바이스의 시야 범위 내의 이미지를 결정할 수 있고, 그런 다음 제2 시야 이미지에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이할 수 있다.
구체적으로, 제1 시야 이미지를 제2 시야 이미지로 변환할 때, 단말 디바이스는 먼저 제2 시야 이미지의 깊이 정보, 및 제1 시야 이미지를 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보를 획득할 필요가 있다.
제1 시야 이미지를 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보는 제1 시야 이미지가 제2 시야 이미지로 변환되기 전과 후의 제1 시야 이미지 내의 임의의 픽셀의 상대적 위치의 변화이다. 픽셀들은 보통 블록들에서 변화하기 때문에, 픽셀 변화 정보는 변환 전 및 후 제1 시야 이미지 내 각 픽셀 블록의 상대적 위치들의 변화일 수 있다.
그런 다음, 단말 디바이스는 제2 시야 이미지의 깊이 정보 및 픽셀 변화 정보에 기초하여 제1 시야 이미지를 조정하여, 제1 시야 이미지를 제2 시야 이미지로 변환한다.
구체적으로, 다음의 두 가지 동작이 포함된다:
1. 단말 디바이스는 제2 시야 이미지의 깊이 정보에 기초하여 제1 시야 이미지의 상기 깊이 정보를 조정하고, 제1 시야 이미지에 디스플레이된 재료로부터 단말 디바이스까지의 거리를 조정할 수 있다.
2. 단말 디바이스는 픽셀 변화 정보에 기초하여 제1 시야 이미지 내 픽셀의 위치를 조정한다.
전술한 두 동작은 동시에 수행될 수 있거나, 순차적으로 수행될 수 있다. 수행 시퀀스는 본 출원의 이 실시예에서 제한되지 않는다.
이하, 단말 디바이스가 제2 시야 이미지의 깊이 정보와 픽셀 변화 정보를 획득하는 방식을 설명한다.
1. 제2 시야 이미지의 깊이 정보.
단말 디바이스는 제1 시야 이미지에 관한 정보에서 깊이 정보 및 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 제2 시야 이미지의 깊이 정보를 결정한다.
구체적으로, 시야 이미지의 깊이 정보는 단말 디바이스의 위치와 관련되기 때문에, 단말 디바이스는 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화를 결정할 수 있고, 그런 다음 제1 시야 이미지에 관한 정보에서 깊이 정보에 기초하여 제2 시야 이미지의 깊이 정보를 결정할 수 있으며, 제2 시야 이미지에 디스플레이되어야 하는 재료들의 차단 상태들을 추가로 결정할 수 있다.
제2 시야 이미지의 깊이 정보는 제2 시야 이미지에 표시된 각각의 재료(사람, 물체, 또는 배경과 같은 이미지)로부터 카메라까지의 거리를 나타내기 위해 사용된다(카메라는 단말 디바이스로부터 추상화된다). 특정 설명들에 대해서는, 제1 시야 이미지의 깊이 정보에서 카메라 관련 설명을 참조한다. 세부 사항은 본 명세서에서 다시 설명되지 않는다.) 예를 들어, 제2 시야 이미지는 도형 B를 포함하고, 깊이 정보는 도형 A로부터 단말 디바이스까지의 거리를 포함한다.
선택적으로, 제2 시야 이미지의 깊이 정보는 제2 시야 이미지의 깊이 맵일 수 있다.
2. 픽셀 변화 정보.
단말 디바이스는 제1 시점부터 제2 시점까지 단말 디바이스의 모션 벡터 및 위치 변화에 기초하여 픽셀 변화 정보를 결정한다.
구체적으로, 단말 디바이스의 위치 변화에 의해 픽셀 변화가 야기되므로, 단말 디바이스는 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화를 결정할 수 있고, 그런 다음 모션 벡터 및 제1 시야 이미지에 관한 정보에서 각 픽셀의 위치에 기초하여 픽셀 변화 정보를 결정할 수 있다.
제1 시야 이미지에 디스플레이된 재료들이 서로 다른 위치에 있기 때문에, 일부 차단된 영역들이 존재한다. 제1 시야 이미지가 상기 제2 시야 이미지로 변환된 후 이 차단된 영역이 보일 수 있는지 여부는 픽셀 변화 정보와 제2 시야 이미지의 깊이 정보에 기초하여 결정될 수 있다. 변환 후에 보일 수 있는 차단된 부분은 복원될 필요가 있고, 구체적으로, 이미지를 디스플레이하기 위해 픽셀 보간 처리가 수행될 필요가 있다.
제2 시야 이미지가 제2 시점에서 깊이 정보와 픽셀 변화 정보에 기초하여 결정된 후, 제2 시야 이미지 내에서 단말 디바이스의 시야 범위 내 이미지는 제1 시점에서 제2 시점까지 단말 디바이스의 자세 변화에 기초하여 디스플레이될 수 있다.
단말 디바이스는 제1 시점부터 제2 시점까지 단말 디바이스의 자세 변화에 기초하여, 제1 시점부터 제2 시점까지 단말 디바이스의 시야 범위의 변화를 결정할 수 있고, 그런 다음, 단말 디바이스의 시야 범위에 기초하여 제2 시야 이미지에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이할 수 있다.
구체적으로, 제2 시야 이미지의 시야 범위가 제2 시점에서 단말 디바이스의 시야 범위보다 크기 때문에, 제2 시점에 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하기 위해서, 단말 디바이스는 제2 시점에서 단말 디바이스의 시야 범위를 결정할 필요가 있다.
구체적으로, 단말 디바이스는 제2 시점에서 단말 디바이스의 자세에 기초하여 제2 시점에서 단말 디바이스의 시야 범위를 결정한다.
단말 디바이스의 자세가 단말 디바이스의 시야 범위에 영향을 미치기 때문에, 단말 디바이스는 제2 시점에서 단말 디바이스의 자세를 결정할 수 있고, 그런 다음 제2 시점에서 단말 디바이스의 자세에 기초하여 제2 시각에서의 단말 디바이스 시야 범위를 결정할 수 있다.
제1 시야 이미지를 제2 시야 이미지로 변환하는 프로세스에서는, 단말 디바이스의 위치 변화만이 고려된다. 제2 시점에서 시야 범위 내에 단말 디바이스의 이미지를 최종 디스플레이하기 위해서, 제1 시점에서 제2 시점까지 시야 범위의 변화는 제1 시점부터 제2 시점까지 단말 디바이스의 자세 변화에 기초하여 결정되고, 그런 다음 제2 시점에서 단말 디바이스의 시야 범위가 결정될 수 있다. 제2 시야 이미지에 기초하여, 제2 시점에서 시야 범위 내 단말 디바이스의 이미지는 제2 시점에서 단말 디바이스의 시야 범위에 기초하여 결정될 수 있고, 그런 다음 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지가 디스플레이될 수 있다.
본 출원의 이 실시예에서, 제1 시점에 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지를 수신한 후, 단말 디바이스는 제1 시점부터 제2 시점까지 자세 변화 및 위치 변화에 기초하여 제2 시점에서 단말 디바이스 시야 범위 내에 이미지를 디스플레이할 수 있다. 기존의 직렬 디스플레이 솔루션과 비교하여, 디스플레이 레이턴시는 효과적으로 단축될 수 있고, 더 나은 사용자 경험이 보장될 수 있다.
다음은 특정 데이터를 참조하여, 단말 디바이스가 제2 시점에서 단말 디바이스의 시야 범위 내 이미지를 결정하는 프로세스를 더 설명한다.
쿼터니언 (rX,rY,rZ,w)은 단말 디바이스의 자세를 나타낸다. rX, rY 및 rZ 는 각각 단말 디바이스가 회전할 때 x축, y축 및 z축 상의 회전축 성분을 나타내고, w은 회전축을 따라 회전하는 각도를 나타낸다. (pX,pY,pZ)는 단말 디바이스의 위치 정보를 나타내고, pX, pY, pZ는 각각 x축, y축 및 z축 상의 상기 단말 디바이스 위치의 성분들을 각각 나타낸다.
제1 시야 이미지의 이미지 행렬은 S이고, 제1 시점에서 단말 디바이스의 자세는 Rs=(rXs,rYs,rZs,ws) 이고, 제1 시점의 단말 디바이스의 위치는 Ps=(pXs,pYs,pZs)이며, 제1 시야 이미지의 깊이 정보는 Ds이고, 모션 벡터는 Ms, Ds 및 Ms는 모두 행렬이고, 제2 시점에서 단말 디바이스 자세는 Rt=(rXt,rYt,rZt,wt)이며, 제2 시점에서 단말 디바이스의 위치는 Pt=(pXt,pYt,pZt ) 및 제2 시점에서 단말의 시야 범위 내 이미지의 이미지 행렬은 T인 것으로 가정한다.
먼저, 제2 시야 이미지는 단말 디바이스의 위치 변화 △P, 제1 시야 이미지의 깊이 정보 Ds, 및 모션 벡터 Ms에 기초하여 획득된다.
구체적으로 다음의 단계들이 포함된다:
1 단계: 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화 △P, 여기서 △P=Pt-Ps 를 계산한다.
2 단계: 제1 시야 이미지의 깊이 정보
Figure 112021034927440-pct00001
에 기초하여 제1 시야 이미지 내 픽셀의 3차원 좌표 Ppixel=(pXpixel,pYpixel,pZpixel) 를 결정한다. 제2 시야 이미지 내 각 픽셀
Figure 112021034927440-pct00002
의 깊이 값 dt=∥
Figure 112021034927440-pct00003
∥은 단말의 위치 변화에 기초하여 결정될 수 있다. 다시 말해, 제2 시야 이미지의 깊이 정보
Figure 112021034927440-pct00004
가 결정될 수 있다.
3 단계: 단말 디바이스의 모션 벡터 Ms 및 위치 변화△P에 기초하여 픽셀 변화 정보
Figure 112021034927440-pct00005
를 결정한다. △P'는 제1 시야 이미지의 인접 이미지에 대응하는 단말 디바이스의 위치로부터 제1 시점에서 단말 디바이스 위치로의 변화이다.
4 단계: 제1 시야 이미지 내의 픽셀들을 조정하여 픽셀-조정 이미지 매트릭스 T0를 획득하며, 여기서
Figure 112021034927440-pct00006
이다.
5 단계: 제2 시야 이미지의 깊이 정보 Dt에 기초하여 픽셀-조정 이미지 매트릭스 T0를 조정하여, 최종적으로 제2 시야 이미지의 이미지 매트릭스 T0를 획득한다.
변환을 통해 제2 시야 이미지가 획득된 후, 제2 시점에서 단말 디바이스의 시야 범위 내 이미지가 결정된다.
구체적으로, 제1 시점부터 제2 시점까지 단말 디바이스의 자세 변화 △R가 계산되고, 여기서 △R=Rt-Rs, 및 △R는 회전 행렬 △Rr로 변환된다.
제2 시점에서 단말 디바이스의 시야 범위 내 이미지의 이미지 매트릭스 T는 회전 매트릭스 △Rr에 기초하여 획득되고, 여기서 T0·△R→T 이다.
도 5a 및 도 5b는 본 출원의 실시예에 따른 이미지 디스플레이 방법의 흐름도이다.
501 단계: 먼저, 제1 시점에서 단말 디바이스의 자세 및 위치를 캡처한 후, 단말 디바이스 내의 추적기는 제1 시점에서 단말 디바이스 자세 및 위치에 관한 정보를 클라우드 디바이스에 업로드한다(이는 제1 정보를 전송하는 것으로 간주될 수 있음).
502 단계: 클라우드 디바이스는 주기적으로 단말 디바이스로부터 정보를 수신하고, 수신 시점에서, 제1 시점에서의 단말 디바이스의 자세 및 위치에 관한 정보를 수신하며, 클라우드 디바이스 내 논리 엔진을 트리거하여 논리 동작을 수행한다.
503 단계: 그런 다음, 논리 엔진은 논리 연산을 통해 얻은 데이터를 클라우드 디바이스 내의 렌더링 엔진에 송신하고, 제1 시점에서의 단말 디바이스의 자세 및 위치에 대한 정보를 클라우드 디바이스 내 캡슐화 및 스트림 푸싱 모듈에 송신한다.
504 단계: 클라우드 디바이스 내의 렌더링 엔진은 렌더링 동작을 수행하여 제1 시야 이미지를 획득한다. 제1 시야 이미지는 제1 시점에서 단말 디바이스의 시야 범위 내 이미지를 포함하고, 제1 시야 이미지의 시야 범위는 제1 시점에서 단말 디바이스의 시야 범위보다 크다.
505 단계: 클라우드 디바이스 내 렌더링 엔진은 렌더링 프로세스에서 제1 시야 이미지의 깊이 정보를 생성하고, 클라우드 디바이스 내 인코더로 제1 시야 이미지를 송신하고, 제1 시야 이미지의 깊이 데이터를 클라우드 디바이스 내 캡슐화 및 스트림 푸싱 모듈로 송신한다.
506 단계: 클라우드 디바이스 내 인코더는 제1 시야 이미지에 대해 코드 압축을 진행하고, 모션 벡터를 출력하며, 모션 벡터 및 코드 압축을 통해 얻은 제1 시야 이미지를 클라우드 디바이스 내 캡슐화 및 스트림 푸싱 모듈에 송신한다.
507 단계: 제1 시점에서 단말 디바이스의 자세 및 위치에 관한 정보, 코드 압축을 통해 획득된 제1 시야 이미지, 제1 시야 이미지의 깊이 정보, 및 모션 벡터를 수신한 후, 클라우드 디바이스 내 캡슐화 및 스트림 푸싱 모듈은 제1 시점에서 단말 디바이스의 자세와 위치에 관한 정보, 코드 압축을 통해 획득된 제1 시야 이미지, 제1 시야 이미지의 깊이 정보, 및 모션 벡터를 제1 시야 이미지에 관한 정보로서 사용하고, 그 정보를 캡슐화하고, 제1 시야 이미지에 관한 캡슐화된 정보를 단말 디바이스에 송신한다.
508 단계: 단말 디바이스는 제1 시야 이미지에 대한 캡슐화된 정보를 수신하고, 제1 시야 이미지에 대한 캡슐화 정보는 단말 디바이스 내 역캡슐화 모듈에 도달한다. 단말 디바이스 내 역캡슐화 모듈은 제1 시야 이미지에 관한 캡슐화된 정보를 역캡슐화하여 제1 시야 이미지에 관한 정보를 획득하며, 단말 디바이스 내 디코더로 제1시야 이미지에 대한 정보를 전송한다.
509 단계: 단말 디바이스 내 디캡슐화 모듈은 제1 시점에서 단말 디바이스의 자세 및 위치 정보 및 제1 시야 이미지의 깊이 정보를 단말 디바이스 내 그래픽 처리 시스템에 전송한다.
5010 단계: 디코더는 코드 압축을 통해 획득된 제1 시야 이미지를 디코딩하여 제1 시야 이미지를 획득하고, 모션 벡터를 출력하며, 제1 시야 이미지 및 모션 벡터를 단말 디바이스 내 그래픽 처리 시스템에 전송한다.
5011 단계: 현재, 제2 시점에서, 상기 제2 시점에서의 단말 디바이스의 자세 및 위치를 캡처한 후, 단말 디바이스 내 추적기는 제2 시점에서 단말 디바이스의 자세 및 위치에 관한 정보를 단말 디바이스 내 그래픽 처리 모듈에 전송한다.
5012 단계: 단말 디바이스 내 그래픽 처리 시스템에서, 그래픽 처리 시스템은 제1 시점에서 단말 디바이스의 자세 및 위치와 제2 시점에서 단말 디바이스의 자세와 위치에 기초하여 제1 시점에서 제2 시점까지 단말 디바이스의 자세 변화 및 위치 변화를 결정하고; 제1 시점에서 제2 시점까지 단말 디바이스의 위치 변화, 제1 시야 이미지의 깊이 정보, 및 모션 벡터에 기반하여, 제2 시야 이미지의 깊이 정보 및 제1 시야 이미지를 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보를 결정하고; 제2 시야 이미지의 깊이 정보 및 픽셀 변화 정보에 기반하여 제1 시야 이미지를 제2 시야 이미지로 변환하고; 및 제1 시점에서 제2 시점까지 단말 디바이스의 자세 변화에 기초하여 제2 시점에서 단말 디바이스의 시야 범위를 결정하고, 제2 시야 이미지에서 단말 디바이스의 시야 범위 내 이미지를 추가로 결정한다.
5013 단계: 단말 디바이스 내 그래픽 처리 시스템은 제2 시야 이미지에서 단말 디바이스의 시야 범위 내 이미지를 단말 디바이스 내 디스플레이 모듈에 전송한다.
단계 5014: 단말 디바이스 내 디스플레이 모듈은 제2 시야 이미지에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이한다.
단말 디바이스 내 그래픽 처리 시스템에서, 그래픽 처리 시스템은 제1 시야 이미지에 대한 정보 및 제1 시점에서 제2 시점까지 단말 디바이스의 자세 변화 및 위치 변화에 기초하여 제2시점에서 단말 디바이스의 시야 범위 내 이미지를 결정하는 것이 주지되어야 한다. 즉, 제1 시야 이미지가 재투영되어, 제2 시점에서 단말 디바이스의 시야 범위 내 이미지를 획득한다. 이해를 용이하게 하기 위해, 단말 디바이스의 그래픽 처리 시스템의 동작 프로세스가 재투영으로 언급된다.
VR 기술에서 디스플레이 레이턴시를 측정하기 위해, 모션투포톤(motion-to-photon, MTP) 레이턴시의 개념이 도입된다. MTP 레이턴시는 사용자가 착용한 단말 디바이스의 이동(단말 디바이스의 자세 변화 및 위치 변화)으로부터 사용자가 본 이미지의 변화까지의 시간차다. MTP 레이턴시가 20 ms보다 크지 않으면, 모션과 지각 사이의 불일치에 의해 야기되는 멀미를 더 잘 회피할 수 있다.
본 출원의 이 실시예에서 제공되는 이미지 디스플레이 방법에 따르면, 디스플레이 레이턴시가 효과적으로 단축될 수 있다. 즉, 클라우드 VR 솔루션에서 MTP 레이턴시가 효과적으로 최적화될 수 있고, 따라서 클라우드 VR 솔루션에서 쉽게 야기되는 사용자의 멀미의 문제가 더 잘 해결될 수 있다.
예를 들어, 단말 디바이스에 의한 단말 디바이스의 자세 및 위치를 포착하는 레이턴시, 단말 디바이스에 의해 단말 디바이스의 방위 및 위치를 클라우드 디바이스에 업로드하는 레이턴스, 및 클라우드 디바이스에 의해 이미지 데이터를 렌더링하여 단말 디바이스에 전달하는 레이턴시의 추정 합은 30 ms 내지 50 ms이고, 단말 디바이스의 이미지 표시 프레임 레이트는 90 Hz이다. 클라우드 디바이스에 의한 렌더링과 단말 디바이스에 의한 디스플레이의 기존 직렬 모드가 사용되면, 기존의 클라우드 VR 솔루션에서의 추정된 MTP 레이턴시는 36 ms 내지 68 ms이다. 즉, 어느 시점에서, 단말 디바이스의 자세 및 위치가 변화하는 시점부터 그 시점에 그 단말 디바이스가 그 단말 디바이스의 이미지를 수신 및 디스플레이하는 시점까지 추정된 레이턴시는 36 ms 내지 68 ms이고, 이는 단말 디바이스에 의해 그 단말 디바이스 자세 및 위치를 포착하는 레이턴시, 그 단말 디바이스에 의해 그 단말 디바이스의 자세 및 위치를 클라우드 디바이스에 업로드하는 레이턴시, 및 클라우드 디바이스에 의해 이미지를 렌더링하여 전달하는 레이턴스, 및 단말 디바이스에 의해 이미지가 디스플레이되는 추정된 레이턴스 6 ms 내지 18 ms를 포함한다. 그러나, 본 출원의 이 실시예에서 제공되는 이미지 디스플레이 방법에 따르면, 클라우드 디바이스가 제1 시야 이미지에 관한 정보를 렌더링 및 전달하는 프로세스 및 단말 디바이스가 이미지를 디스플레이하는 프로세스가 병렬로 수행되고, 클라우드 디바이스는 단말 디바이스와 협력한다. 본 출원의 이 실시예에서 제공되는 이미지 디스플레이 방법이 적용되는 클라우드 VR 솔루션에서 MTP 레이턴시는, 단말 디바이스에 의한 단말 디바이스의 자세 및 위치를 캡처하는 레이턴시, 단말 디바이스에 의해 클라우드 디바이스에 단말 디바이스의 포즈 및 위치를 업로드하는 레이턴시, 및 클라우드 디바이스에 의해 이미지를 렌더링 및 전달하는 레이턴시와 무관하며, 단말 디바이스에만 관련된다. 제1 시점에서 단말 디바이스의 자세 및 위치가 변하는 경우, 단말 디바이스는 제1 시점에서 자세 및 위치를 클라우드 디바이스에 업로드한다. 클라우드 디바이스로부터 획득되는 제1 시점의 시야 이미지에 기초하여, 단말 디바이스는 제1 시점의 단말 디바이스의 시야 범위 내 이미지 대신, 제1 시점 이후 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지 디스플레이하여, 단말 디바이스의 자세 및 위치가 변하는 제2 시점부터 제2 시점에서 시야 범위 내 단말 디바이스의 이미지를 디스플레이하기 위한 시점까지의 기간을 단축시킨다. 즉, 어느 시각에 있어서, 단말 디바이스의 자세나 위치가 변하는 시각으로부터, 그 시점에 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하는 시각까지의 레이턴시가 짧아진다. 이 경우, 클라우드 VR 솔루션에서 MTP 레이턴시는 효과적으로 단축되고, 단말 디바이스의 자세 및 위치를 캡쳐하는 추정 레이턴시 1 ms, 재투영의 추정 레이턴시 3 ms 내지 5 ms, 및 디스플레이된 이미지를 업데이트하는 추정 레이턴시 6 ms 내지 18 ms를 포함하는 추정 MTP 레이턴시는 10 ms 내지 25 ms이다.
방법 실시예들과 동일한 발명의 개념에 기초하여, 본 발명의 실시예는 장치(600)를 제공한다. 장치(600)는 구체적으로 전술한 방법 실시예들에서 단말 디바이스에 의해 수행되는 방법을 구현하도록 구성된다. 장치는 도 6에 도시된 구조이고, 송신 유닛(601), 수신 유닛(602), 및 디스플레이 유닛(603)을 포함한다.
송신 유닛(601)은 클라우드 디바이스에 제1 정보를 송신하도록 구성되고, 제1 정보는 제1 시점에 단말 디바이스의 자세 및 위치 표시에 사용된다.
수신 유닛(602)은 클라우드 디바이스로부터 제1 시야 이미지에 관한 정보를 수신하도록 구성되고, 제1 시야 이미지는 제1 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지이다.
디스플레이 유닛(603)은 제1 시야 이미지에 관한 정보 및 제1시점부터 제2 순시점까지 단말 디바이스의 자세 변화 및 위치 변화에 기초하여 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하도록 구성되고, 제2 시점은 제1 시점보다 늦다.
가능한 구현에서, 수신 유닛 (602) 은 역캡슐화 유닛 (또는 역캡슐화 모듈로서 지칭될 수 있음)을 포함할 수 있다. 클라우드 디바이스는 제1 시야 이미지에 관한 정보를 캡슐화하고, 역캡슐화 유닛은 제1 시야 이미지에 관한 캡슐화된 정보를 역캡슐화할 필요가 있다.
제2 시점에 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하기 위해, 디스플레이 유닛(603)은 먼저 제1 시야 이미지를 변환할 필요가 있다. 구체적인 프로세스는 다음과 같다:
제1 시야 이미지에 관한 정보는 제1 시야 이미지를 포함할 필요가 있다. 디스플레이 유닛(603)은 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 제1 시야 이미지를 제2 시야 이미지로 변환할 수 있다. 제2 시야 이미지는 제2 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지이다.
그런 다음, 디스플레이 유닛(603)는, 제1 시점부터 제2 시점까지 단말 디바이스의 자세 변화에 기초하여, 제2 시야 이미지에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이한다.
제1 시야 이미지를 제2 시야 이미지로 변환할 때, 디스플레이 유닛(603)은 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 두 파라미터들을 결정할 필요가 있다. 두 파라미터는 제2 시야 이미지의 깊이 정보 및 제1 시야 이미지를 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보이다.
디스플레이 유닛(603)은 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여, 제2 시야 이미지의 깊이 정보 및 제1 시야 이미지를 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보를 결정할 수 있다. 그런 다음, 디스플레이 유닛(603)은, 픽셀 변화 정보 및 제2 시야 이미지의 깊이 정보에 기초하여 제1 시야 이미지를 제2 시야 이미지로 변환한다.
가능한 구현에서, 디스플레이 유닛(603)이 제2 시야 이미지의 깊이 정보, 및 제1 시야 이미지를 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보를 결정하는 방식은 다음과 같다:
제1 시야 이미지에 관한 정보는 깊이 정보를 더 포함하고, 디스플레이 유닛(603)은 제1 시야 이미지에 관한 정보에서 깊이 정보 및 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 제2 시야 이미지의 깊이 정보를 결정한다.
제1 시야 이미지에 대한 정보는 모션 벡터를 더 포함하고, 모션 벡터는 상기 제1 시야 이미지에서 픽셀의 변화 경향을 나타내는데 사용되며, 디스플레이 유닛(603)은 모션 벡터 및 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 픽셀 변화 정보를 결정한다.
구체적으로, 제1 시야 이미지는 제1 시점에 단말 디바이스의 시야 범위 내 이미지를 포함할 수 있고, 제2 시점에서 제1 시야 이미지가 단말 디바이스의 모든 가능한 시야 범위에서 가능한 한 많은 이미지들을 커버할 수 있도록 보장하기 위해, 제1 시야 이미지의 시야 범위는 단말 디바이스의 시야 범위보다 클 필요가 있다.
제2 시점에서 이미지를 단말 디바이스의 시야 범위 내에 디스플레이하기 전에, 디스플레이 유닛(603)는 제2 시점에서 단말 디바이스의 자세에 기초하여 제2 시점에서 단말 디바이스의 시야 범위를 결정하여 제2 시점에서 제2 시야 이미지로부터 단말 디바이스의 시야 범위 내 이미지를 결정할 필요가 있다.
선택적으로, 디스플레이 유닛(603)은 디코딩 유닛을 포함할 수 있다. 예를 들어, 디코딩 유닛은 디코더일 수 있다. 디코딩 유닛은 코드 압축을 통해 획득된 제1 시야 이미지를 디코딩하도록 구성된다.
디스플레이 유닛(603)은 제1 시야 이미지에 관한 정보에 기초하여 재투영을 수행하여 제2 시점에 단말 디바이스의 시야 범위 내 이미지를 획득하도록 구성된 그래픽 처리 유닛을 더 포함할 수 있다. 그래픽 처리 유닛은 방법 실시예에서 그래픽 처리 시스템에 의해 수행되는 방법을 구현하도록 구성된다. 상세한 설명은 전술한 내용을 참조한다. 상세한 설명은 본 명세서에서 다시 설명되지 않는다.
방법 실시예들과 동일한 발명 개념에 기초하여, 본 발명의 실시예는 장치(700)를 제공한다. 장치(700)는 구체적으로 전술한 방법 실시예에서 클라우드 디바이스에 의해 수행되는 방법을 구현하도록 구성된다. 장치는 도 7에 도시된 구조이고, 수신 유닛(701), 처리 유닛(802) 및 송신 유닛(703)을 포함한다.
수신 유닛(701)은 단말 디바이스로부터 제1 정보를 수신하도록 구성되고, 제1 정보는 제1 시점에서 단말 디바이스의 자세 및 위치를 지시하는 데 사용된다.
처리 유닛(702)은 제1 정보에 기초하여 단말 디바이스의 미리 저장된 환경 이미지를 렌더링하여 제1 시야 이미지를 획득하도록 구성되고, 제1 시야 이미지는 제1 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지이다.
송신 유닛(703)은 제1 시야 이미지에 관한 정보를 단말 디바이스에 송신하도록 구성된다.
가능한 구현에서, 송신 유닛(703)은 캡슐화 및 스트림 푸싱 유닛(또는 캡슐화 및 스트림 푸싱 모듈이라고도 함)을 포함할 수 있고, 캡슐화 및 스트림 푸싱 모듈은 제1 시야 이미지에 관한 정보를 캡슐화하도록 구성되고, 제1 시야 이미지에 대한 캡슐화된 정보를 단말 디바이스에 송신할 수 있다.
선택적으로, 제1 시야 이미지에 관한 정보는 제1 시야 이미지를 포함한다. 제1 시야 이미지에 대한 정보는 깊이 정보 및 모션 벡터를 더 포함할 수 있다.
제1 시야 이미지는 제1 시점에서 단말 디바이스의 시야 범위 내 이미지를 포함하고, 제1 시야 이미지의 시야 범위는 제1 시점에서 단말 디바이스의 시야 범위보다 크다.
선택적으로, 처리 유닛(702)은 논리 연산 유닛을 포함할 수 있다. 예를 들어, 논리 연산 유닛은 논리 엔진일 수 있다. 논리 연산 유닛은 제1 정보에 기초하여 논리 연산을 수행하여 제1 시점에서 단말 디바이스에 의해 디스플레이될 필요가 있는 이미지의 상태 정보를 획득하도록 구성된다.
프로세싱 유닛(702) 은 이미지 렌더링 유닛을 더 포함할 수 있다. 예를 들어, 이미지 렌더링 유닛은 렌더링 엔진일 수 있다. 이미지 렌더링 유닛은 제1 시야 이미지를 획득하기 위해 단말 디바이스의 미리 저장된 환경 이미지를 렌더링하도록 구성된다. 구체적으로, 상기 이미지 렌더링 유닛은, 제1 시점에서 단말 디바이스에 의해 디스플레이될 필요가 있는 이미지 중 논리 동작 유닛에 의해 출력되는 상태 정보에 기초하여 단말 디바이스의 미리 저장된 환경 이미지를 렌더링하여 제1 시야 이미지를 획득할 수 있다.
가능한 구현에서, 프로세싱 유닛 (702) 은 인코딩 유닛을 더 포함할 수 있다. 예를 들어, 인코딩 유닛은 인코더일 수 있다. 인코딩 유닛은 제1 시야 이미지에 대한 코드 압축을 구현하도록 구성된다.
본 출원의 이 실시예에서 유닛들로의 분할은 일례이며 단지 논리적 기능 분할이다. 실제 구현에서, 다른 분할 방식이 사용될 수 있다. 또한, 본 출원의 이 실시예에서의 기능 유닛들은 하나의 프로세서에서 통합될 수 있거나, 물리적으로 단독으로 존재할 수 있고, 또는 둘 이상의 유닛들이 하나의 모듈로 통합될 수 있다. 통합 유닛은 하드웨어의 형태로 구현되거나, 소프트웨어 기능 모듈의 형태로 구현될 수 있다.
통합 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립 제품으로서 판매되거나 사용될 때, 통합 유닛은 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본 출원의 기술적 해결책들, 또는 종래 기술에 기여하는 부분, 또는 기술적 해결책들의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되고, (개인용 컴퓨터, 휴대 전화, 네트워크 장치 등일 수 있는) 단말 디바이스 또는 프로세서(프로세서)에게 본 출원의 실시예들의 방법들의 단계들 전부 또는 일부를 수행하도록 지시하기 위한 여러 명령들을 포함한다. 전술한 저장 매체는 USB 플래시 드라이브, 착탈식 하드 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크, 또는 광학 디스크와 같은 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
본 출원의 실시예들에서, 클라우드 디바이스 및 단말 디바이스 둘 다는 통합을 통해 기능 모듈들로 분할될 수 있다. 본 명세서에서 "모듈"은 하나 이상의 소프트웨어 또는 펌웨어 프로그램을 실행하는 특정 ASIC, 회로, 및 프로세서, 메모리, 집적 논리 회로, 및/또는 전술한 기능을 제공할 수 있는 다른 디바이스일 수 있다.
간단한 실시예에서, 당업자는 단말 디바이스가 도 8에 도시된 형태일 수 있다는 것을 알 수 있다.
도 8에 도시된 장치(800)는 적어도 하나의 프로세서(801) 및 트랜시버(802)를 포함하고, 선택적으로 메모리(803)를 더 포함할 수 있다.
가능한 일 실시예에서, 디바이스(800)는 디스플레이(804)를 더 포함할 수 있고, 단말 디바이스의 자세 및 위치를 캡처하도록 구성된 센서(805)를 더 포함할 수 있다.
메모리(803)는 랜덤 액세스 메모리와 같은 휘발성 메모리일 수 있다. 대안적으로, 메모리는 판독 전용 메모리, 플래시 메모리, 하드 디스크 드라이브(HDD), 또는 고체 상태 드라이브(SSD)와 같은 비휘발성 메모리일 수 있다. 대안적으로, 메모리(803)는 명령 또는 데이터 구조 형태로 예상된 프로그램 코드를 반송 또는 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체이다. 그러나, 이는 제한되지 않는다. 메모리(803)는 전술한 메모리들의 조합일 수 있다.
본 출원의 이 실시예에서, 프로세서(801)와 메모리(803) 사이의 특정 접속 매체는 제한되지 않는다. 본 출원의 이 실시예에서, 메모리(803) 및 프로세서(801)는 도면에서 버스(806)를 사용하여 접속된다. 버스(806)는 도면에서 굵은 선으로 표시된다. 다른 컴포넌트들 간의 접속 방식은 단지 설명을 위한 예일 뿐이며, 이에 제한되지 않는다. 버스(806)는 어드레스 버스, 데이터 버스, 제어 버스 등으로 분류될 수 있다. 표현의 용이함을 위해, 버스는 도 8에서 하나의 굵은 선만을 사용하여 표현되지만, 이는 단지 하나의 버스 또는 단지 하나의 버스 타입만 있음을 의미하지는 않는다.
프로세서(801)는 데이터 수신 및 송신 기능들을 가질 수 있고, 다른 디바이스와 통신할 수 있다. 예를 들어, 본 출원의 이 실시예에서, 프로세서(801)는 제1 정보를 클라우드 디바이스에 전송할 수 있거나, 클라우드 디바이스로부터 제1 시야 이미지에 관한 정보를 수신할 수 있다. 도 8에 도시된 장치에서, 트랜시버(802)와 같은 독립적인 데이터 트랜시버 모듈이 배치될 수 있고, 데이터를 수신 및 전송하도록 구성된다. 다른 디바이스와 통신할 때, 프로세서(801)는 트랜시버(802)를 통해 데이터를 전송할 수 있다. 예를 들어, 본 출원의 이 실시예에서, 프로세서(801)는 트랜시버(802)를 통해 클라우드 디바이스에 제1 정보를 전송할 수 있거나, 트랜시버(82)를 통하여 클라우드 디바이스로부터 제1 시야 이미지에 관한 정보를 수신할 수 있다.
단말 디바이스가 도 8에 도시된 형태일 때, 도 8의 프로세서(801)는 메모리(803)에 저장된 컴퓨터 실행가능 명령어를 호출하여, 단말 디바이스가 전술한 방법 실시예들 중 어느 하나에서 단말 디바이스에 의해 수행되는 방법을 수행할 수 있다.
구체적으로, 메모리(803)는 도 6의 송신 유닛, 수신 유닛, 및 디스플레이 유닛의 기능들을 구현하는데 사용되는 컴퓨터 실행가능 명령을 저장한다. 도 6의 송신 유닛, 수신 유닛, 및 디스플레이 유닛의 모든 기능/구현 프로세스는 메모리(803)에 저장된 컴퓨터 실행가능 명령어를 호출하여 도 8의 프로세서(801)에 의해 구현될 수 있다.
대안적으로, 메모리(803)는 도 6의 디스플레이 유닛의 기능을 구현하는데 사용되는 컴퓨터 실행가능 명령을 저장한다. 도 6의 디스플레이 유닛의 기능/구현 프로세스는 메모리(803)에 저장된 컴퓨터 실행가능 명령어를 호출하여 도 8의 프로세서(801)에 의해 구현될 수 있다. 도 6의 송신 유닛 및 수신 유닛의 기능/구현 프로세스는 도 8의 트랜시버(802)에 의해 구현될 수 있다.
프로세서(801)가 디스플레이 유닛의 기능, 예컨대, 이미지 디스플레이 동작을 수행하여, 예컨대 제2 시점에 단말 디바이스의 시야 범위 내 이미지를 디스플레이할 때, 프로세서(80)는 장치(800)에서 디스플레이(804)를 통해 이미지를 디스플레이할 수 있다. 구체적으로, 프로세서(801)는 제1 시야 이미지에 대한 정보, 및 제1 시점에서 제2 시점까지 단말 디바이스의 자세 변화 및 위치 변화에 기초하여 디스플레이(804)를 통해 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이할 수 있다.
선택적으로, 디스플레이 유닛의 기능을 수행할 때, 프로세서(801)는 대안적으로 다른 디바이스 내 디스플레이를 통해 이미지를 디스플레이할 수 있고, 예를 들어, 이미지를 디스플레이하도록 지시하기 위해 디스플레이 명령을 다른 디바이스에 전송할 수 있다. 구체적으로, 프로세서(801)는, 제1 시야 이미지에 대한 정보, 및 제1 시점에서 제2 시점까지 단말 디바이스의 자세 변화 및 위치 변화에 기초하여, 제2 시점에서 단말 디바이스의 시야 범위 내 이미지를 다른 디바이스의 디스플레이를 통해 표시할 수 있다.
간단한 실시예에서, 당업자는 클라우드 디바이스가 도 9에 도시된 형태일 수 있음을 알 수 있다.
도 9에 도시된 통신 장치(900)는 적어도 하나의 프로세서(901)를 포함하고, 선택적으로 메모리(902) 및 트랜시버(903)를 더 포함할 수 있다.
메모리(902)는 랜덤 액세스 메모리와 같은 휘발성 메모리일 수 있다. 대안적으로, 메모리는 판독 전용 메모리, 플래시 메모리, 하드 디스크 드라이브, 또는 고체 상태 드라이브와 같은 비휘발성 메모리일 수 있다. 대안적으로, 메모리(902)는 명령 또는 데이터 구조 형태로 예상된 프로그램 코드를 반송 또는 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체이다. 그러나, 이는 제한되지 않는다. 메모리(902)는 전술한 메모리들의 조합일 수 있다.
본 출원의 이 실시예에서, 프로세서(901)와 메모리(902) 사이의 특정 접속 매체는 제한되지 않는다. 본 출원의 이 실시예에서, 메모리(902) 및 프로세서(901)는 도면에서 버스(904)를 사용하여 접속된다. 버스(904)는 도면에서 굵은 선으로 표시된다. 다른 컴포넌트들 간의 접속 방식은 단지 설명을 위한 예일 뿐이며, 이에 제한되지 않는다. 버스(904)는 어드레스 버스, 데이터 버스, 제어 버스 등으로 분류될 수 있다. 표현의 용이함을 위해, 버스는 도 9에서 단지 하나의 굵은 선을 사용하여 표현되지만, 이는 단지 하나의 버스 또는 단지 하나의 버스 타입만 있음을 의미하지는 않는다.
프로세서(901)는 데이터 수신 및 송신 기능들을 가질 수 있고, 다른 디바이스와 통신할 수 있다. 도 9에 도시된 장치에서, 독립적인 데이터 트랜시버 모듈이 대안적으로 배치될 수 있다. 예를 들어, 트랜시버(903)는 데이터를 수신하고 전송하도록 구성된다. 프로세서(901)가 다른 디바이스와 통신할 때, 데이터는 트랜시버(903)를 통해 전송될 수 있다.
클라우드 디바이스가 도 9에 도시된 형태일 때, 도 9의 프로세서(901)는 메모리(902)에 저장된 컴퓨터 실행가능 명령어를 호출할 수 있고, 따라서, 클라우드 디바이스는 전술한 방법 실시예 중 어느 하나에서 클라우드 디바이스에 의해 수행되는 방법을 수행할 수 있다.
구체적으로, 메모리(902)는 도 7의 송신 유닛, 수신 유닛, 및 처리 유닛의 기능들을 구현하는데 사용되는 컴퓨터 실행가능 명령을 저장한다. 도 7의 송신 유닛, 수신 유닛, 및 처리 유닛의 모든 기능/구현 프로세스는 메모리(902)에 저장된 컴퓨터 실행가능 명령어를 호출하여 도 9의 프로세서(901)에 의해 구현될 수 있다. 또는, 메모리(902)는 도 7의 프로세싱 유닛의 기능을 구현하는데 사용되는 컴퓨터 실행가능 명령을 저장한다. 도 7의 프로세싱 유닛의 기능/구현 프로세스는 메모리(902)에 저장된 컴퓨터 실행가능 명령을 호출하여 도 9의 프로세서(901)에 의해 구현될 수 있다. 도 7의 송신 유닛 및 수신 유닛의 기능들/구현 프로세스들은 도 9의 트랜시버(903)에 의해 구현될 수 있다.
방법 실시예들과 동일한 발명 개념에 기초하여, 본 출원의 실시예는 시스템을 더 제공한다. 도 2를 참조하면, 시스템은 클라우드 디바이스와 단말 디바이스를 포함한다.
단말 디바이스는 클라우드 디바이스에 제1 정보를 송신하도록 구성되고, 제1 정보는 제1 시점에서 단말 디바이스의 자세 및 위치를 지시하는 데 사용된다.
클라우드 디바이스는: 단말 디바이스로부터 제1 정보를 수신하고, 여기서 제1 정보는 제1 시점에 단말 디바이스의 자세 및 위치를 표시하는데 사용됨; 제1 정보에 기초하여 단말 디바이스의 미리 저장된 환경 이미지를 렌더링하여 제1 시야 이미지를 획득하고, 여기서 제1 시야 이미지는 제1 시점에서 단말 디바이스들의 자세 및 위치에 대응하는 시야 이미지임; 및 제2 시야 이미지에 관한 정보를 단말 디바이스에 전송하도록 구성된다.
그런 다음, 단말 디바이스는: 클라우드 디바이스로부터 제1 시야 이미지에 관한 정보를 수신하고, 여기서 제1 시야 이미지는 제1 시점에서 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지임; 및 제1 시야 이미지에 관한 정보, 및 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화 및 자세 변화에 기초하여 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하도록 더 구성되며, 제2 시점은 제1 시점보다 늦다.
구체적으로, 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이할 때, 단말 디바이스는 제1 시야 이미지를 변환할 필요가 있다. 구체적인 프로세스는 다음과 같다:
제1 시야 이미지에 관한 정보는 제1 시야 이미지를 포함한다. 단말 디바이스는 먼저 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 제1 시야 이미지를 제2 시야 이미지로 변환한다. 제2 시야 이미지는 제2 시점에서 단말 디바이스의 위치에 대응하는 시야 이미지다. 그런 다음, 단말 디바이스는, 제1 시점부터 제2 시점까지 단말 디바이스의 자세 변화에 기초하여, 제2 시야 이미지에서 단말 디바이스의 시야 범위 내에 이미지를 표시한다.
제1 시야 이미지를 제2 시야 이미지로 변환하기 위해, 단말 디바이스는 먼저 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여, 제2 시야 이미지의 깊이 정보 및 제1 시야 이미지를 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보를 결정할 필요가 있다. 그런 다음, 단말 디바이스는 픽셀 변화 정보 및 제2 시야 이미지의 깊이 정보에 기초하여 제1 시야 이미지를 제2 시야 이미지로 변환한다.
이하에서는 픽셀 변화 정보 및 제2 시야 이미지의 깊이 정보를 결정하는 방법을 설명한다.
1. 제1 시야 이미지에 대한 정보는 깊이 정보를 더 포함하고, 단말 디바이스는 제1 시야 이미지에 대한 정보 내 깊이 정보, 및 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 제2 시야 정보의 깊이 정보를 결정한다.
2. 제1 시야 정보는 모션 벡터를 더 포함하고, 모션 벡터는 제1 시야 이미지의 픽셀의 변화 경향을 나타내는 데 사용되며, 단말 디바이스는 모션 벡터, 및 제1 시점부터 제2 시점까지 단말 디바이스의 위치 변화에 기초하여 픽셀 변화 정보를 결정한다.
가능한 구현에서, 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하기 전에, 단말 디바이스는 제2 시점에서 단말 디바이스의 자세에 기초하여 제2 시점에서 단말 디바이스의 시야 범위를 더 결정할 필요가 있을 수 있다.
제1 시야 이미지가 제2 시야 이미지로 변환되고, 제2 시점에 단말 디바이스의 가능한 한 많은 가능한 시야 범위를 커버할 수 있게 하기 위해, 제1 시야 이미지의 시야 범위는 비교적 커야 한다. 구체적으로, 제1 시야 이미지는 제1 시점에서 단말 디바이스의 시야 범위 내 이미지를 포함하고, 제1 시야 이미지의 시야 범위는 제1 시점에서 단말 디바이스의 시야 범위보다 크다.
당업자는 본 출원의 실시예들이 방법, 시스템, 또는 컴퓨터 프로그램 제품으로서 제공될 수 있다는 것을 이해해야 한다. 따라서, 본 출원은 하드웨어 전용 실시예, 소프트웨어 전용 실시예 또는 소프트웨어와 하드웨어의 조합을 갖는 실시예의 형태를 사용할 수 있다. 또한, 본 출원은 컴퓨터 사용가능 프로그램 코드를 포함하는 (자기 디스크 메모리, CD-ROM, 광학 메모리 등을 포함하지만, 이에 제한되지 않는) 하나 이상의 컴퓨터 사용가능 저장 매체상에 구현되는 컴퓨터 프로그램 제품 형태를 사용할 수 있다.
본 출원은 본 출원에 따른 방법, 디바이스(시스템), 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 설명된다. 컴퓨터 프로그램 명령들은 흐름도들 및/또는 블록도들의 각각의 프로세스 및/또는 각각의 블록, 및 흐름도들 또는 블록도들의 프로세스 또는 블록의 조합을 구현하기 위해 사용될 수 있다는 것이 이해되어야 한다. 이러한 컴퓨터 프로그램 명령들은 범용 컴퓨터, 전용 컴퓨터, 임베디드 프로세서, 또는 머신을 생성하기 위한 다른 프로그래머블 데이터 프로세싱 디바이스의 프로세서에 제공되어, 컴퓨터 또는 다른 프로그래머블 데이터 처리 디바이스의 프로세서에 의해 실행되는 명령들은 흐름도들 내의 하나 이상의 프로세스들 및/또는 블록도들 내 하나 이상의 블록들에서 특정 기능을 구현하기 위한 장치를 생성할 수 있다.
이들 컴퓨터 프로그램 명령들은 대안적으로 컴퓨터 또는 다른 프로그래머블 데이터 처리 디바이스에게 특정 방식으로 동작하도록 명령할 수 있는 컴퓨터 판독 가능한 메모리에 저장될 수 있고, 컴퓨터 판독 가능 메모리에 저장된 명령들은 명령 장치를 포함하는 아티팩트를 생성한다. 명령 장치는 흐름도들 내의 하나 이상의 프로세스들 및/또는 블록도들 내 하나 이상의 블록들에서 특정 기능을 구현한다.
이들 컴퓨터 프로그램 명령어는 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치에 로딩되어, 일련의 동작들 및 단계들이 컴퓨터 또는 기타 프로그래머블 장치 상에서 수행되어 컴퓨터 구현 프로세싱을 생성할 수 있다. 따라서, 컴퓨터 또는 다른 프로그래머블 디바이스 상에서 실행되는 명령들은 흐름도들 내의 하나 이상의 프로세스들 및/또는 블록도들 내 하나 이상의 블록들에서 특정 기능을 구현하기 위한 단계들을 제공한다.
삭제

Claims (24)

  1. 이미지를 디스플레이하는 방법에 있어서,
    단말 디바이스가 클라우드 디바이스에 제1 정보를 송신하는 단계 - 상기 제1 정보는 제1 시점에 상기 단말 디바이스의 자세(posture) 및 위치를 지시하는 데 사용되며, 상기 단말 디바이스의 자세는 공간에서 상기 단말 디바이스의 회전 상태이고, 상기 단말 디바이스의 위치는 공간에서 상기 단말 디바이스의 위치임 - 와,
    상기 단말 디바이스가 상기 클라우드 디바이스로부터 제1 시야(field of view) 이미지에 관한 정보를 수신하는 단계 - 상기 제1 시야 이미지는 상기 제1 시점에서 상기 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지이며, 상기 정보는 상기 제1 시야 이미지 및 상기 제1 시야 이미지의 깊이 맵을 포함함 - 와,
    상기 단말 디바이스가 상기 제1 시야 이미지에 관한 정보, 및 상기 제1 시점부터 제2 시점까지 상기 단말 디바이스의 자세 변화 및 위치 변화에 기초하여, 상기 제2 시점에서 상기 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하는 단계 - 상기 제2 시점은 상기 제1 시점에서보다 늦음 - 를 포함하는,
    방법.
  2. 제1항에 있어서,
    상기 단말 디바이스가 상기 제2 시점에서 상기 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하는 단계는,
    상기 단말 디바이스가 상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 상기 위치 변화 및 상기 깊이 맵에 기초하여 상기 제1 시야 이미지를 제2 시야 이미지로 변환하는 단계 - 상기 제2 시야 이미지는 상기 제2 시점에서 상기 단말 디바이스의 위치에 대응하는 시야 이미지임 - 와,
    상기 단말 디바이스가 상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 상기 자세 변화에 기초하여, 상기 제2 시야 이미지에서 상기 단말 디바이스의 상기 시야 범위 내에 이미지를 디스플레이하는 단계를 포함하는,
    방법.
  3. 제2항에 있어서,
    상기 단말 디바이스가 상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 위치 변화 및 상기 깊이 맵에 기초하여 상기 제1 시야 이미지를 제2 시야 이미지로 변환하는 단계는,
    상기 단말 디바이스가 상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 위치 변화 및 깊이 맵에 기초하여 상기 제2 시야 이미지의 깊이 정보, 및 상기 제1 시야 이미지를 상기 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보를 결정하는 단계와,
    상기 단말 디바이스가 상기 제2 시야 이미지의 깊이 정보 및 상기 픽셀 변화 정보에 기초하여 상기 제1 시야 이미지를 상기 제2 시야 이미지로 변환하는 단계를 포함하는,
    방법.
  4. 제3항에 있어서,
    상기 제1 시야 이미지에 대한 정보는 모션 벡터를 더 포함하고, 상기 모션 벡터는 상기 제1 시야 이미지에서 픽셀들의 변화 경향을 나타내는데 사용되며,
    상기 단말 디바이스가 상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 위치 변화 및 상기 깊이 맵에 기초하여 상기 제2 시야 이미지의 깊이 정보, 및 상기 제1 시야 이미지를 상기 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보를 결정하는 단계는,
    상기 단말 디바이스가 상기 깊이 맵 및 상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 위치 변화에 기초하여 상기 제2 시야 이미지의 깊이 정보를 결정하는 단계와,
    상기 단말 디바이스가 상기 모션 벡터 및 상기 제1 시점부터 제2 시점까지 상기 단말 디바이스의 위치 변화에 기초하여 상기 픽셀 변화 정보를 결정하는 단계를 포함하는,
    방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 단말 디바이스가 제2 시점에 상기 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하는 단계는,
    상기 단말 디바이스가 상기 제2 시점에서 상기 단말 디바이스의 자세에 기초하여 상기 제2 시점에서 상기 단말 디바이스의 시야 범위를 결정하는 단계를 더 포함하는,
    방법.
  6. 제1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제1 시야 이미지는 상기 제1 시점에서 상기 단말 디바이스의 시야 범위 내 이미지를 포함하고, 상기 제1 시야 이미지의 시야 범위는 상기 제1 시점에서 상기 단말 디바이스의 시야 범위보다 큰,
    방법.
  7. 제6 항에 있어서,
    상기 제1 시야 이미지의 상기 시야 범위는 상기 단말 디바이스의 상기 시야 범위의 각 방향에서 확장된 시야 범위인
    방법.
  8. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
    상기 시야 이미지는 VR 게임 또는 VR 영화의 이미지인
    방법.
  9. 이미지를 표시하는 방법에 있어서,
    클라우드 디바이스가 단말 디바이스로부터 제1 정보를 수신하는 단계 - 상기 제1 정보는 제1 시점에서 상기 단말 디바이스의 자세 및 위치 표시에 사용되며, 상기 단말 디바이스의 자세는 공간에서 상기 단말 디바이스의 회전 상태이고, 상기 단말 디바이스의 위치는 공간에서 상기 단말 디바이스의 위치임 - 와,
    상기 클라우드 디바이스가 상기 제1 정보에 기초하여 상기 단말 디바이스의 미리 저장된 환경 이미지를 렌더링하여 제1 시야 이미지를 획득하는 단계 - 상기 제1 시야 이미지는 상기 제1 시점에서 상기 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지임 - 와,
    상기 클라우드 디바이스가 상기 제1 시야 이미지에 관한 정보를 상기 단말 디바이스에 송신하는 단계 - 상기 정보는 상기 제1 시야 이미지 및 상기 제1 시야 이미지의 깊이 맵을 포함함 - 를 포함하는,
    방법.
  10. 제9항에 있어서,
    상기 제1 시야 이미지에 관한 정보는 모션 벡터를 더 포함하는,
    방법.
  11. 제9항 또는 제10항에 있어서,
    상기 제1 시야 이미지는 상기 제1 시점에서 상기 단말 디바이스의 시야 범위 내 이미지를 포함하고, 상기 제1 시야 이미지의 시야 범위는 상기 제1 시점에서 상기 단말 디바이스의 시야 범위보다 큰,
    방법.
  12. 송신 유닛, 수신 유닛, 및 디스플레이 유닛을 포함하는 장치로서,
    상기 송신 유닛은 클라우드 디바이스에 제1 정보를 송신 - 상기 제1 정보는 제1 시점에서 단말 디바이스의 자세 및 위치를 나타내는데 사용되며, 상기 단말 디바이스의 자세는 공간에서 상기 단말 디바이스의 회전 상태이고, 상기 단말 디바이스의 위치는 공간에서 상기 단말 디바이스의 위치임 - 하도록 구성되고,
    상기 수신 유닛은 상기 클라우드 디바이스로부터 제1 시야 이미지에 관한 정보를 수신 - 상기 제1 시야 이미지는 상기 제1 시점에서 상기 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지이며, 상기 정보는 상기 제1 시야 이미지 및 상기 제1 시야 이미지의 깊이 맵을 포함함 - 하도록 구성되며,
    상기 디스플레이 유닛은 상기 제1 시야 이미지에 관한 정보 및 상기 제1 시점부터 제2 시점까지 상기 단말 디바이스의 자세 변화 및 위치 변화에 기초하여 상기 제2 시점에서 상기 단말 디바이스의 시야 범위 내에 이미지를 디스플레이 - 상기 제2 시점은 상기 제1 시점보다 늦음 - 하도록 구성되는,
    장치.
  13. 제12항에 있어서,
    상기 디스플레이 유닛은,
    상기 제2 시점에서 상기 단말 디바이스의 시야 범위 내에 상기 이미지를 디스플레이할 때,
    상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 위치 변화 및 상기 깊이 맵에 기초하여 상기 제1 시야 이미지를 제2 시야 이미지로 변환 - 상기 제2 시야 이미지는 상기 제2 시점에 상기 단말 디바이스의 위치에 대응하는 시야 이미지임 - 하고,
    상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 상기 자세 변화에 기초하여, 상기 제2 시야 이미지에서 상기 단말 디바이스의 상기 시야 범위 내에 이미지를 디스플레이하도록 더 구성되는,
    장치.
  14. 제13항에 있어서,
    상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 위치 변화에 기초하여 상기 제1 시야 이미지를 상기 제2 시야 이미지로 변환할 때, 상기 디스플레이 유닛은,
    상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 위치 변화 및 상기 깊이 맵에 기초하여, 상기 제2 시야 이미지의 깊이 정보 및 상기 제1 시야 이미지를 상기 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보를 결정하고,
    상기 제2 시야 이미지의 깊이 정보 및 상기 픽셀 변화 정보에 기초하여 상기 제1 시야 이미지를 상기 제2 시야 이미지로 변환하도록 더 구성되는,
    장치.
  15. 제14항에 있어서,
    상기 제1 시야 이미지에 관한 정보는 모션 벡터를 더 포함하고, 상기 모션 벡터는 상기 제1 시야 이미지 내 픽셀들의 변화 경향을 나타내는 데 사용되고,
    상기 단말 디바이스의 상기 제1 시점부터 상기 제2 시점까지 상기 위치 변화에 기초하여, 상기 제2 시야 이미지의 깊이 정보, 및 상기 제1 시야 이미지를 상기 제2 시야 이미지로 변환하기 위한 픽셀 변화 정보를 결정할 때, 상기 디스플레이 유닛은,
    상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 위치 변화 및 상기 깊이 맵에 기초하여 상기 제2 시야 이미지의 상기 깊이 정보를 결정하고,
    상기 모션 벡터 및 상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 위치 변화에 기초하여 상기 픽셀 변화 정보를 결정하도록 더 구성되는,
    장치.
  16. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 디스플레이 유닛은 상기 제2 시점에서 상기 단말 디바이스의 상기 시야 범위 내에 상기 이미지를 디스플레이하기 전에,
    상기 제2 시점에서 상기 단말 디바이스의 자세에 기초하여, 상기 제2 시점에서 상기 단말 디바이스의 시야 범위를 결정하도록 더 구성되는,
    장치.
  17. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 제1 시야 이미지는 상기 제1 시점에서 상기 단말 디바이스의 시야 범위 내 이미지를 포함하고, 상기 제1 시야 이미지의 시야 범위는 상기 제2 시점에서 상기 단말 디바이스의 시야 범위보다 큰,
    장치.
  18. 수신 유닛, 처리 유닛 및 송신 유닛을 포함하는 장치에 있어서,
    상기 수신 유닛은 단말 디바이스로부터 제1 정보를 수신 - 상기 제1 정보는 제1 시점에서 상기 단말 디바이스의 자세 및 위치를 나타내는 데 사용되며, 상기 단말 디바이스의 자세는 공간에서 상기 단말 디바이스의 회전 상태이고, 상기 단말 디바이스의 위치는 공간에서 상기 단말 디바이스의 위치임 - 하도록 구성되고,
    상기 처리 유닛은 상기 제1 정보에 기초하여 상기 단말 디바이스의 미리 저장된 환경 이미지를 렌더링하여 제1 시야 이미지를 획득 - 상기 제1 시야 이미지는 상기 제1 시점에서 상기 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지임 - 하도록 구성되며,
    상기 송신 유닛은 상기 제1 시야 이미지에 관한 정보를 상기 단말 디바이스에 송신하도록 구성되고,
    상기 정보는 상기 제1 시야 이미지 및 상기 제1 시야 이미지의 깊이 맵을 포함하는,
    장치.
  19. 제18항에 있어서,
    상기 제1 시야 이미지에 관한 정보는 모션 벡터를 더 포함하는,
    장치.
  20. 제18항 또는 제19항에 있어서,
    상기 제1 시야 이미지는 상기 제1 시점에서 상기 단말 디바이스의 시야 범위 내 이미지를 포함하고, 상기 제1 시야 이미지의 시야 범위는 상기 제1 시점에서 상기 단말 디바이스의 시야 범위보다 큰,
    장치.
  21. 단말 디바이스 및 클라우드 디바이스를 포함하는 시스템으로서,
    상기 단말 디바이스는 상기 클라우드 디바이스에 제1 정보를 송신하도록 구성 - 상기 제1 정보는 제1 시점에서 상기 단말 디바이스의 자세 및 위치를 나타내는데 사용되며, 상기 단말 디바이스의 자세는 공간에서 상기 단말 디바이스의 회전 상태이고, 상기 단말 디바이스의 위치는 공간에서 상기 단말 디바이스의 위치임 - 되고,
    상기 클라우드 디바이스는, 상기 단말 디바이스로부터 상기 제1 정보를 수신 - 상기 제1 정보는 상기 제1 시점에서 상기 단말 디바이스의 자세 및 위치를 나타내는데 사용됨 - 하고, 상기 제1 정보에 기초하여 상기 단말 디바이스의 미리 저장된 환경 이미지를 렌더링하여 제1 시야 이미지를 획득 - 상기 제1 시야 이미지는 상기 제1 시점에서 상기 단말 디바이스의 자세 및 위치에 대응하는 시야 이미지임 - 하며, 상기 제1 시야 이미지에 관한 정보를 상기 단말 디바이스에 전송하도록 구성 - 상기 정보는 상기 제1 시야 이미지 및 상기 제1 시야 이미지의 깊이 맵을 포함함 - 되고,
    상기 단말 디바이스는 상기 클라우드 디바이스로부터 상기 제1 시야 이미지에 관한 정보를 수신 - 상기 제1 시야 이미지는 제1 시점에서 상기 단말 디바이스의 자세 및 위치에 대응하는 상기 시야 이미지임 - 하고, 상기 제1 시야 이미지에 대한 정보 및 상기 단말 디바이스의 상기 제1 시점부터 제2 시점까지 자세 변화 및 위치 변화에 기초하여 상기 제2 시점에서 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하도록 더 구성되며,
    상기 제2 시점은 상기 제1 시점보다 늦는,
    시스템.
  22. 제21항에 있어서,
    상기 제1 시야 이미지에 관한 정보는 상기 제1 시야 이미지를 포함하고, 상기 제2 시점에서 상기 단말 디바이스의 시야 범위 내에 상기 이미지를 디스플레이할 때, 상기 단말 디바이스는,
    상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 위치 변화 및 상기 깊이 맵에 기초하여 상기 제1 시야 이미지를 제2 시야 이미지로 변환 - 상기 제2 시야 이미지는 상기 제2 시점에서 상기 단말 디바이스의 위치에 대응하는 시야 이미지임 - 하고,
    상기 제1 시점부터 상기 제2 시점까지 상기 단말 디바이스의 자세 변화에 기초하여, 상기 제2 시야 이미지에서 상기 단말 디바이스의 시야 범위 내에 이미지를 디스플레이하도록 더 구성되는,
    시스템.
  23. 삭제
  24. 삭제
KR1020217008883A 2018-08-28 2019-08-27 이미지 디스플레이 방법, 장치 및 시스템 KR102503337B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810990852.8 2018-08-28
CN201810990852.8A CN110868581A (zh) 2018-08-28 2018-08-28 一种图像的显示方法、装置及系统
PCT/CN2019/102897 WO2020043105A1 (zh) 2018-08-28 2019-08-27 一种图像的显示方法、装置及系统

Publications (2)

Publication Number Publication Date
KR20210046759A KR20210046759A (ko) 2021-04-28
KR102503337B1 true KR102503337B1 (ko) 2023-02-23

Family

ID=69643916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217008883A KR102503337B1 (ko) 2018-08-28 2019-08-27 이미지 디스플레이 방법, 장치 및 시스템

Country Status (5)

Country Link
US (1) US11662580B2 (ko)
EP (1) EP3840371A4 (ko)
KR (1) KR102503337B1 (ko)
CN (1) CN110868581A (ko)
WO (1) WO2020043105A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113839908B (zh) * 2020-06-23 2023-07-11 华为技术有限公司 视频传输方法、装置、系统及计算机可读存储介质
CN114501071A (zh) * 2020-10-27 2022-05-13 中国移动通信有限公司研究院 视频处理方法、视频播放方法及设备
CN115209178A (zh) * 2021-04-14 2022-10-18 华为技术有限公司 一种信息处理方法、装置及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106998409A (zh) * 2017-03-21 2017-08-01 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348068B (zh) * 2011-08-03 2014-11-26 东北大学 一种基于头部姿态控制的随动远程视觉系统
JPWO2015107817A1 (ja) * 2014-01-20 2017-03-23 ソニー株式会社 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
CN106687888A (zh) 2014-09-19 2017-05-17 索尼公司 控制设备、控制方法和程序
US9930315B2 (en) * 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
KR20160139461A (ko) * 2015-05-27 2016-12-07 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN105847785A (zh) * 2016-05-09 2016-08-10 上海乐相科技有限公司 一种图像处理方法、设备和系统
US11017712B2 (en) * 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10565916B2 (en) * 2016-09-09 2020-02-18 Kt Corporation Providing streaming of virtual reality contents
CN106502427B (zh) * 2016-12-15 2023-12-01 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法
US10560660B2 (en) * 2017-01-04 2020-02-11 Intel Corporation Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
CN106919360B (zh) * 2017-04-18 2020-04-14 珠海全志科技股份有限公司 一种头部姿态补偿方法及装置
EP3782125A1 (en) * 2018-04-19 2021-02-24 PCMS Holdings, Inc. Systems and methods employing predictive overfilling for virtual reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106998409A (zh) * 2017-03-21 2017-08-01 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备

Also Published As

Publication number Publication date
US11662580B2 (en) 2023-05-30
US20210181506A1 (en) 2021-06-17
CN110868581A (zh) 2020-03-06
WO2020043105A1 (zh) 2020-03-05
EP3840371A4 (en) 2021-08-25
KR20210046759A (ko) 2021-04-28
EP3840371A1 (en) 2021-06-23

Similar Documents

Publication Publication Date Title
US11838518B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US20230341930A1 (en) Systems and methods for tracking a controller
US9613463B2 (en) Augmented reality extrapolation techniques
CN111627116B (zh) 图像渲染控制方法、装置及服务器
US20170155885A1 (en) Methods for reduced-bandwidth wireless 3d video transmission
KR102503337B1 (ko) 이미지 디스플레이 방법, 장치 및 시스템
US11282264B2 (en) Virtual reality content display method and apparatus
CN109671141B (zh) 图像的渲染方法和装置、存储介质、电子装置
CN109845275B (zh) 用于视场虚拟现实流传输的会话控制支持的方法和装置
JP2018139102A (ja) 没入型コンテンツ内の関心地点を決定する方法及び装置
US10999412B2 (en) Sharing mediated reality content
JP2022524683A (ja) 深度情報を使用して実世界の物体をレンダリングするシステムおよび方法
CN108771866B (zh) 虚拟现实中的虚拟对象控制方法及装置
TWI653551B (zh) 虛擬實境影像傳輸方法、播放方法及利用其的程式
WO2022022449A1 (zh) 用于空间定位的方法和装置
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
WO2017061890A1 (en) Wireless full body motion control sensor
TWI755636B (zh) 虛擬實境影像播放方法及使用其之程式
Schönauer et al. Wide area motion tracking using consumer hardware
CN111459432B (zh) 虚拟内容的显示方法、装置、电子设备及存储介质
JP6518645B2 (ja) 情報処理装置および画像生成方法
CN114419226A (zh) 全景渲染方法、装置、计算机设备和存储介质
CN115668953A (zh) 使用边缘计算服务的图像内容传输方法和设备
WO2021095537A1 (ja) 情報処理装置、情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant