KR102363364B1 - 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템 - Google Patents

파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102363364B1
KR102363364B1 KR1020197004116A KR20197004116A KR102363364B1 KR 102363364 B1 KR102363364 B1 KR 102363364B1 KR 1020197004116 A KR1020197004116 A KR 1020197004116A KR 20197004116 A KR20197004116 A KR 20197004116A KR 102363364 B1 KR102363364 B1 KR 102363364B1
Authority
KR
South Korea
Prior art keywords
interest
region
location information
panoramic video
terminal
Prior art date
Application number
KR1020197004116A
Other languages
English (en)
Other versions
KR20190031504A (ko
Inventor
웨이 황
지안롱 후
웨이준 쉬
순민 첸
친펑 자오
하오 린
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190031504A publication Critical patent/KR20190031504A/ko
Application granted granted Critical
Publication of KR102363364B1 publication Critical patent/KR102363364B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본원은 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템을 개시하며, 상기 방법은 클라이언트에 의해서, 사용자의 현재 관심 영역의 위치 정보를 결정하는 단계; 상기 위치 정보를 이용하여 관심 영역의 비디오 정보를 서버에 요청하는 단계; 및 상기 서버에 의해서, 상기 위치 정보에 따라 관심 영역에 해당하는 파노라마 비디오 슬라이스를 획득하고, 상기 파노라마 비디오 슬라이스를 상기 클라이언트로 송신하는 단계를 포함할 수 있다.

Description

파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템
본 발명은 파노라마 비디오(panoramic video)의 기술 분야에 관한 것으로, 특히 상호작용적 전송(interactive transmission)을 위한 방법 및 시스템에 관한 것이다.
컴퓨터 기술의 급속한 발전에 따라, 점점 더 많은 종류의 멀티미디어가 등장하여 보여 질 수 있는 효과들이 점점 더 많아지고 있다. 몇몇 전통적인 표현 방식은 대다수 고객들의 쇼(show)의 방식에 대한 요구사항들을 충족시키가 어려워지고 있다.
파노라마 비디오는 새롭게 떠오르는 미디어이며, 기존의 비디오와 비교할 때, 시야가 넓고 해상도가 높으며 많은 양의 데이터가 특징이다. 파노라마 비디오를 사용함으로써, 관찰자는 관찰자의 시점을 변경하지 않고 관찰 방향을 변경함으로써 모든 주변 장면을 관찰할 수 있다. 반면에 일반적인 2 차원 비디오는 파노라마 비디오의 일부만을 반영한다. 파노라마 비디오는 부동산 전시장, 관광 명소, 자동차, 호텔, 캠퍼스, 문화 및 스포츠 경기장, 기업 사무실 환경 등의 분야에서 점점 더 많이 사용되고 있다.
파노라마 비디오의 생성은 이미지-스티칭-지향(image-stitching-oriented) 기술이다. 먼저, 상이한 각도들의 실시간 이미지들이 다수의 카메라들을 사용하여 수집되며, 여기서 필요한 카메라의 수는 수집 각도와 관련된다. 그런 다음, 동시에 수집된 상이한 각도의 이미지들은 심리스 이미지 스티칭(seamless image stitching) 기술을 사용하여 360도 파노라마로 스티칭한다. 마지막으로, 파노라마는 실린더(cylinder) 또는 구 알고리즘(sphere algorithm)을 사용하여 2차원 평면에 맵핑된다.
파노라마 비디오 이미지가 다수의 수집된 이미지들에 의해 스티칭되기 때문에, 파노라마 이미지의 해상도는 매우 높으며, 데이터의 양은 일반 이미지의 5 배 내지 6배 이상이다. 예를 들어, Facebook 회사의 현재 가상 현실 디바이스인 Oculus Rift VR 안경은 6K의 단안 해상도 및 60fps의 프레임 속도의 파노라마 비디오를 송신할 수 있다. 파노라마 비디오의 코드 레이트는 최대 245 Mbps일 수 있다. 따라서, 파노라마 비디오의 모든 데이터가 종래의 비디오 송신 솔루션에 따라 클라이언트에게 송신되는 경우, 상당한 송신 리소스 오버헤드가 생성될 것이다. 또한, 파노라마 비디오의 많은 양의 데이터로 인해, 결과적으로 네트워크 송신 지연이 커서, 클라이언트가 파노라마 비디오를 고르지않게 재생하게 된다.
본 발명의 주된 목적은 파노라마 오버헤드를 줄이고 파노라마 비디오 송신의 전송 지연을 줄일 수 있는 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명은 다음의 기술적 해결책을 제공한다.
클라이언트에 의해서 파노라마 비디오를 상호작용적 전송하기 위한 방법으로서,
사용자의 현재 관심 영역의 위치 정보를 결정하는 단계; 상기 위치 정보를 이용하여 상기 사용자의 현재 관심 영역의 비디오 정보를 서버에 요청하는 단계; 및 상기 위치 정보에 기초하여 획득된 상기 사용자의 현재 관심 영역에 대응하는 파노라마 비디오 슬라이스를 상기 서버로부터 수신하는 단계를 포함하는 방법.
서버에 의해서 파노라마 비디오를 상호작용적 전송하기 위한 방법으로서,
사용자의 현재 관심 영역의 위치 정보를 포함하는 비디오 슬라이스 요청 메시지를 클라이언트로부터 수신하는 단계;
상기 위치 정보에 따라 상기 사용자의 현재 관심 영역에 대응하는 파노라마 비디오 슬라이스를 획득하는 단계; 및
상기 파노라마 비디오 슬라이스를 상기 클라이언트로 송신하는 단계를 포함하며, 상기 클라이언트는,
사용자의 현재 관심 영역의 위치 정보를 결정하고, 상기 위치 정보를 사용하여 상기 사용자의 현재 관심 영역의 비디오 정보를 서버에 요청하도록 구성되는 프로세서; 및
상기 위치 정보에 기초하여 획득되는 상기 사용자의 현재 관심 영역에 대응하는 파노라마 비디오 슬라이스를 상기 서버로부터 수신하도록 구성되는 트랜시버를 포함하는 방법.
파노라마 비디오의 상호작용적 전송을 위한 서버로서,
사용자의 현재 관심 영역의 위치 정보를 포함하는 비디오 슬라이스 요청 메시지를 클라이언트로부터 수신하도록 구성되는 트랜시버;
상기 위치 정보에 따라 상기 사용자의 현재 관심 영역에 대응하는 파노라마 비디오 슬라이스를 획득하고, 상기 파노라마 비디오 슬라이스를 상기 클라이언트에 송신하게 상기 트랜시버를 제어하도록 구성되는 프로세서를 포함하는 서버.
요약하면, 본 발명에 의해 제안된 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템에 따르면, 클라이언트가 사용자의 현재 관심 영역을 찾아내어 그 위치 정보를 서버에 송신하고, 서버는 사용자의 관심 영역에 대응하는 파노라마 비디오 슬라이스를 찾아내어, 그 파노라마 비디오 슬라이스만을 클라이언트에 송신하게 된다. 이러한 방식으로, 비디오 송신량이 크게 감소될 수 있으므로, 리소스 오버헤드 및 파노라마 비디오 송신의 송신 지연이 효과적으로 감소될 수 있고, 파노라마 비디오를 재생하는 클라이트의 능숙도가 더욱 개선될 수 있다.
도 1은 본 발명의 일 실시예에 따른 방법의 개략 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 장치의 구조를 도시하는 개략도이다.
본 발명의 목적, 기술적 해결책 및 이점을 보다 명확하게 하기 위해, 도면들 및 실시예들을 참조하여 본 발명에 대해 이하 상세하게 설명한다.
본 발명의 핵심 아이디어는 클라이언트가 사용자의 관심 영역을 계산하고 추적하여 이를 서버로 송신하고, 서버는 사용자의 관심 영역에 대응하는 비디오 슬라이스만을 클라이언트에게 송신하는 것이다. 이러한 방식으로 리소스 오버헤드 및 파노라마 비디오의 송신 지연이 감소될 수 있다.
도 1은 본 발명의 일 실시예에 따른 파노라마 비디오의 상호작용적 전송을 위한 방법의 개략적인 흐름도이다. 도 1에 나타낸 바와 같이, 본 실시예는 주로 다음의 단계들을 포함한다.
단계(101)에서, 클라이언트는 사용자의 현재 관심 영역의 위치 정보를 결정하고, 이 위치 정보를 이용하여 관심 영역의 비디오 정보를 서버에 요청한다.
이 단계에서, 클라이언트는 서버에 비디오를 요청하기 이전에 사용자의 현재 영역의 위치 정보를 결정할 필요가 있으며 이에 따라 후속 단계에서 그 위치 정보에 기초하여 서버가 사용자의 현재 관심 영역에 대응하는 비디오 슬라이스만을 클라이언트에게 송신할 수 있게 된다.
실제 응용에서, 인간의 눈의 통상의 시야각은 약 120도와 같은 특정 범위에 있고, 가장 최근의 가상 현실 제품은 110도 내지 120도 사이의 시야각을 가지며, 일부 제품은 그보다 휠씬 낮은 값을 갖는 다는 것을 고려한다. 바람직하게는, 매번 획득되는 비디오 슬라이스를 사용자의 뷰잉 가능 요건과 정확히 일치시키기 위해서, 관심 영역의 시야각 범위는 사용자의 현재 볼 수 있는 시야각 범위, 예를 들면 120도로 설정될 수 있다. 따라서, 시야각을 초과하는 영역은 사용자의 제한된 현재 시야각으로 인해 사용자의 관심 영역으로 간주되지 않는다. 클라이언트는 대응하는 영역 정보를 획득하거나 대응하는 파노라마 비디오 데이터를 서버에 요청하여 송신하지 않으므로, 비디오 송신량이 합리적으로 제어되어 송신 지연 문제가 효과적으로 해결되며 사용자의 뷰잉 가능 요건이 충족된다.
관심 영역의 위치 정보가 결정될 경우, 클라이언트는 카메라 좌표계에 있는 사용자의 현재 관심 영역의 중심점의 좌표들을 세계 좌표계에서의 좌표들로 변환하고 그 변환된 좌표들을 위치 정보로서 서버에 알려야하며, 이에 따라 서버는 그 위치 정보에 기초하여 관심 영역에 대응하는 비디오 슬라이스를 정확하게 위치시킬 수 있다. 특정 변환 방법이 당업자에게 이용 가능하며, 여기서는 반복되지 않을 것이다.
바람직하게는, 관심 영역의 위치 정보는 다음을 포함할 수 있다: 영역의 중심점의 x 좌표; 영역의 중심점의 y 좌표; 영역의 길이 값; 및 영역의 폭 값. 실제 응용에서, 위치 정보가 상기 정보로 제한되지 않으며, 위치 정보에 포함되는 정보는 서버가 관심 영역을 정확하게 위치시킬 필요성을 만족하기만 하면 된다.
바람직하게는, 클라이언트는 관심 영역의 비디오 정보를 다음과 같은 방식으로 서버에 요청할 수 있다:
클라이언트에 의해서, 비디오 슬라이스 요청 메시지를 서버로 송신하며, 이 비디오 슬라이스 요청 메시지는 현재 관심 영역의 위치 정보를 반송하는 것임.
실제 응용에서, 관심 영역의 위치 정보는 JSON 데이터 포맷을 사용하여 구성될 수 있다. 예를 들어, 관심 영역의 위치 정보가 영역의 중심점의 x 좌표, 영역의 중심점의 y 좌표, 영역의 길이 값 및 영역의 폭 값으로 구성되는 경우, JOSN 데이터 포맷을 사용하여 다음 데이터 세그먼트를 생성할 수 있다:
Figure 112019025208663-pct00001
여기서, x 좌표는 관심 영역의 중심점의 x 좌표를 나타내고, y 좌표는 영역의 y 좌표를 나타내고, 폭은 영역의 폭을 나타내고, 높이는 영역의 높이를 나타낸다. 상기 데이터의 세그먼트는 관심 영역의 중심점의 x 좌표가 100이고, y 좌표가 200이고, 영역의 폭이 600이고, 영역의 높이가 300임을 나타낸다.
이것은 실제 응용에서의 위치 정보에 대한 데이터 포맷의 일 예일 뿐이다. 실제 응용에서, 본 발명은 이에 제한되지 않으며, 당업자는 실제 요구에 따라 적절한 데이터 구성 방식을 선택할 수 있으며, 여기서는 반복하지 않을 것이다.
실제 응용에서, 이 단계는 주기적 트리거 모드(periodic trigger mode)로 구현될 수 있다. 즉, 클라이언트는 특정 주기에 따라 현재 관심 영역의 비디오 정보를 서버에 주기적으로 요청할 수 있다. 파노라마 비디오 디스플레이의 연속성 및 비디오 송신의 지연에 대한 요구사항들에 따라 당업자에 의해 주기의 길이에 대한 적절한 값이 설정될 수 있다.
이 단계는 이벤트-트리거 방식(event-triggered manner)으로 구현될 수도 있다. 예를 들어, 클라이언트는 사용자가 비디오를 볼 필요가 있을 때 현재 관심 영역의 비디오 정보를 서버에 요청할 수 있다.
실제 응용에서, 클라이언트는 이동 전화 및 태블릿과 같은 단말 디바이스이거나 헤드셋 가상 현실 헬멧 및 안경과 같은 시각 장비일 수 있고, 서버는 컴퓨터에 의해 구현될 수 있다.
단계(102)에서, 서버는 위치 정보에 따라 관심 영역에 대응하는 파노라마 비디오 슬라이스를 획득하고, 파노라마 비디오 슬라이스를 클라이언트에게 송신한다.
이 단계에서, 서버는 사용자의 현재 관심 영역에 대응하는 파노라마 비디오 슬라이스만을 사용자에게 전송한다. 이러한 방식으로, 비디오 송신량이 크게 감소될 수 있으므로, 리소스 오버헤드 및 파노라마 비디오 송신의 송신 지연이 효과적으로 감소될 수 있고, 파노라마 비디오를 재생하는 클라이트의 능숙도가 더욱 개선될 수 있다.
실제 응용에서, 서버는 비디오 슬라이스들의 방식으로 파노라마 비디오를 저장한다는 것을 유의해야한다. 즉, 다수의 비디오 슬라이스들을 획득하고 획득된 비디오 슬라이스들을 저장하기 위해서는 먼저 파노라마 비디오를 스플리팅해야 한다. 이러한 방식으로, 서버는 사용자의 관심 영역의 위치 정보를 얻은 이후에 관심 영역과 관련된 비디오 슬라이스만을 판독할 수 있다. 파노라마 비디오의 스플리팅 및 저장은 기존의 방법들을 사용하여 구현될 수 있으며, 여기서는 반복하지 않는다.
바람직하게는, 파노라마 비디오 슬라이스를 얻는 지연을 감소시키기 위해, 이 단계에서, 서버는 관심 영역에 대응하는 파노라마 비디오 슬라이스를 캐시(cache)로부터 판독하는 것에 우선순위를 부여함으로써 저장 매체의 판독에 의해 발생되는 프로세싱 지연을 감소시킬수 있다. 특히 다음 방법으로 이를 수행할 수 있다:
서버에 의해서, 위치 정보에 대응하는 파노라마 비디오 슬라이스가 서버의 캐시에 이미 존재하는지 여부를 결정하고; 그러한 경우, 캐시로부터 파노라마 비디오 슬라이스를 판독하며, 그렇지 않은 경우, 파노라마 비디오가 있는 외부 메모리로부터 파노라마 비디오 슬라이스를 획득.
바람직하게는, 서버는 사용자가 필요로 하는 파노라마 비디오 슬라이스를 프리-캐싱(pre-caching)함으로써 파노라마 비디오 슬라이스를 얻는 지연을 더욱 감소시킬 수 있다. 특히 다음 방법으로 이를 수행할 수 있다:
클라이언트에 의해서, 다음 주기에서 사용자의 관심 영역을 추정하고, 관심 영역을 계산하기 위해 각 주기에서 추정된 관심 영역의 위치 정보를 서버로 송신하고; 서버에 의해서, 추정된 관심 영역의 위치 정보에 따라 파노라마 비디오 슬라이스를 획득하고 그 파노라마 비디오 슬라이스를 캐시에 저장.
관심 영역을 계산하기 위한 각 주기는 클라이언트가 사용자 관심 영역의 위치 정보를 업데이트하는 주기를 정의하는데 사용된다. 주기의 길이는 실제 요구에 따라 당업자에 의해 설정될 수 있다.
상기 프리-캐싱 방법에서, 클라이언트는 다음 주기에서 사용자의 관심 영역을 추정할 필요가 있다. 즉, 클라이언트가 현재 주기에서 회전할 경우 센서에 의해 캡처된 모션의 회전 방향, 회전 각도 및 변위 가속도에 따라 클라이언트의 다음 이동 방향 및 각도를 추정할 수 있고, 이 방향 및 각도에 기초하여 다음 주기에서의 관심 영역을 추정할 수 있다. 상기 모션에는 왼쪽으로 돌리기, 오른쪽으로 돌리기, 위로 돌리기, 아래로 돌리기, 확대하기 및 축소하기와 같은 작업이 포함되지만, 이에 한정되지는 않는다. 특정 추정 방법이 당업자에게 이용 가능하며, 여기서는 반복되지 않을 것이다.
실제 응용에서, 클라이언트는 관심 영역의 비디오 정보를 서버에 요청할 때 그 요청을 사용하여 현재 주기에서 다음 주기에 대하여 추정되는 관심 영역의 위치 정보를 서버로 송신할 수 있다.
서버의 프로세싱 지연을 감소시키기 위해, 서버는 특히 현재 주기 동안의 비디오 슬라이스를 판독하는 동작 및 상이한 스레드를 갖는 다음 주기 동안의 비디오 슬라이스를 사전 판독하는 동작을 수행하도록 구현될 수 있으며, 이에 따라 동일한 스레드가 저장 매체를 판독하는 횟수가 감소될 수 있게 되어, 시스템의 응답 시간이 감소될 수 있다. 구체적으로, 서버의 현재 주기 비디오 슬라이스 판독 스레드는 현재 주기에서 사용자의 관심 영역에 대응하는 비디오 슬라이스를 판독하는 반면, 사전-판독 스레드는 그 영역에 대응하는 비디오 슬라이스를 판독하여 다음 주기에서의 사용자의 관심 영역의 위치 정보를 현재 주기에서 획득한 이후에 그것을 메모리에 버퍼한다.
바람직하게는, 단계(102)에서 서버에 의해 리턴된 비디오 클립 데이터를 클라이언트가 수신한 이후에, 파노라마 비디오의 렌더링 동안 불충분한 비디오 슬라이스 데이터로 인한 고르지 않은 비디오를 방지하기 위해, 수신된 비디오 슬라이스를 먼저 로컬로 버퍼한 다음 렌더링하여 디스플레할 수도 있다.
파노라마 비디오에 대한 상호작용적 전송 방법에 대한 상기 실시예들로부터, 본 발명은 파노라마 비디오의 송신에 필요한 대역폭을 효과적으로 감소시키고 파노라마 비디오의 송신 지연을 감소시킬 수 있음을 알 수 있으며, 이에 의해 사용자의 경험을 효과적으로 개선할 수 있다. 도 2는 상기 방법에 대응하는 파노라마 비디오의 상호작용적 전송을 위한 시스템을 나타낸다. 도 2에 나타낸 바와 같이, 시스템은 다음을 포함한다:
사용자의 현재 관심 영역의 위치 정보를 결정하고, 그 위치 정보를 사용하여 관심 영역의 비디오 정보를 서버에 요청하는 클라이언트; 및
그 위치 정보에 따라 관심 영역에 대응하는 파노라마 비디오 슬라이스를 획득하여 파노라마 비디오 슬라이스를 클라이언트에게 송신하는 서버.
바람직하게는, 클라이언트는 비디오 슬라이스 요청 메시지를 서버로 송신하는데 사용되며, 비디오 슬라이스 요청 메시지는 현재 관심 영역의 위치 정보를 반송한다.
바람직하게는, 클라이언트는 또한 다음 주기에서의 사용자 관심 영역을 추정하고 관심 영역을 계산하기 위한 각 주기에서 이 추정된 관심 영역의 위치 정보를 서버로 송신하는데 사용된다.
서버는 추정된 관심 영역의 위치 정보에 따라 파노라마 비디오 슬라이스를 획득하고 이 파노라마 비디오 슬라이스를 캐시에 저장하는데 사용된다.
바람직하게는, 서버는 위치 정보에 대응하는 파노라마 비디오 슬라이스가 서버의 캐시에 이미 존재하는지 여부를 결정하고, 그러한 경우, 캐시로부터 파노라마 비디오 슬라이스를 판독하고, 그렇지 않은 경우, 파노라마 비디오가 있는 외부 메모리로부터 파노라마 비디오 슬라이스를 획득하는데 사용된다.
바람직하게는, 위치 정보는 다음을 포함한다: 영역의 중심점의 x 좌표; 영역의 중심점의 y 좌표; 영역의 길이 값; 및 영역의 폭 값.
바람직하게는, 관심 영역의 시야각 범위는 사용자의 현재 뷰잉 가능한 시야각 범위이다.
도 2는 본 발명의 일 실시예에 따른 장치의 구조를 도시하는 개략도이다.
도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 클라이언트(210)는 트랜시버(211) 및 프로세서(212)를 포함하며, 본 발명의 실시예에 따른 서버(220)는 트랜시버(221) 및 프로세서(222)를 포함한다.
먼저, 클라이언트(210)의 프로세서(212)는 사용자의 현재 관심 영역의 위치 정보를 결정하고, 이 위치 정보를 사용하여 사용자의 현재 관심 영역의 비디오 정보를 서버(220)에 요청하도록 구성된다.
트랜시버(211)는 위치 정보에 기초하여 획득된 사용자의 현재 관심 영역에 대응하는 파노라마 비디오 슬라이스를 서버(220)로부터 수신하도록 구성된다.
여기서, 관심 영역의 비디오 정보를 서버에 요청하는 것은, 트랜시버(211)가 현재 관심 영역의 위치 정보를 포함하는 비디오 슬라이스 요청 메시지를 서버(220)로 송신하는 것을 포함한다.
여기서, 프로세서(212)는 다음 주기에서의 사용자 관심 영역을 추정하도록 구성되며, 트랜시버(211)는 관심 영역을 계산하기 위한 각 주기에서 추정된 관심 영역의 위치 정보를 서버로 송신하도록 구성된다.
다음으로, 서버(220)의 트랜시버(221)는 사용자의 현재 관심 영역의 위치 정보를 포함하는 비디오 슬라이스 요청 메시지를 클라이언트로부터 수신하고, 프로세서(222)는 위치 정보에 따라 사용자의 현재 관심 영역에 대응하는 파노라마 비디오 슬라이스를 획득하도록 구성되며, 트랜시버(221)는 파노라마 비디오 슬라이스를 클라이언트에게 송신하도록 구성된다.
트랜시버(221)는 각 주기에서 추정된 사용자의 관심 영역의 위치 정보를 클라이언트로부터 수신하도록 구성되며, 트랜시버(221)는 추정된 영역의 위치 정보에 따라 파노라마 비디오 슬라이스를 획득하고 이 파노라마 비디오 슬라이스를 캐시에 저장하도록 구성된다.
여기서, 관심 영역에 대응하는 파노라마 비디오 슬라이스를 획득하는 것은, 프로세서(222)가 위치 정보에 대응하는 파노라마 비디오 슬라이스가 캐시에 존재하는지 여부를 결정하고; 그러한 경우, 캐시로부터 파노라마 비디오 슬라이스를 판독하고, 그렇지 않은 경우, 파노라마 비디오가 있는 외부 메모리로부터 파노라마 비디오 슬라이스를 획득하도록 구성된다.
요컨대, 상기한 내용은 본 발명의 바람직한 실시예들일 뿐이며, 본 발명의 보호 범위를 제한하는 것은 아니다. 본 발명의 사상 및 원리에서 벗어나지 않는 한 임의의 수정, 동등한 대체 및 개선은 본 발명의 보호 범위에 포함되어야 한다.

Claims (14)

  1. 단말에 의해서 수행되는 방법으로서,
    관심 영역의 위치 정보를 업데이트하는 주기를 설정하는 단계;
    상기 설정된 주기에 따른 제1 주기에서 제1 관심 영역의 제1 위치 정보를 결정하는 단계;
    상기 제1 위치 정보를 이용하여 상기 제1 관심 영역의 비디오 정보를 서버에 요청하는 단계;
    상기 제1 관심 영역에 대응하는 제1 파노라마 비디오 슬라이스를 상기 서버로부터 수신하는 단계;
    상기 제1 주기에서 상기 단말의 회전 방향, 회전 각 및 변위 가속도를 캡처하는 단계;
    상기 제1 주기에서 캡처한 상기 단말의 회전 방향, 회전 각 및 변위 가속도에 기반하여 상기 설정된 주기에 따른 제2 주기에서의 제2 관심 영역을 추정하는 단계; 및
    상기 제2 관심 영역에 대응하는 제2 파노라마 비디오 슬라이스를 계산하기 위하여 상기 제2 관심 영역의 제2 위치 정보를 상기 서버로 전송하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 제1 관심 영역의 비디오 정보를 상기 서버에 요청하는 것은,
    상기 제1 관심 영역의 제1 위치 정보를 포함하는 비디오 슬라이스 요청 메시지를 상기 서버로 송신하는 것을 포함하는 방법.
  3. 제 1 항에 있어서,
    상기 제1 위치 정보는 상기 제1 관심 영역의 중심점의 x 좌표, 상기 제1 관심 영역의 중심점의 y 좌표, 상기 제1 관심 영역의 길이 값 및 상기 제1 관심 영역의 폭 값을 포함하는 방법.
  4. 제 1 항에 있어서,
    상기 제1 관심 영역의 시야각 범위는 상기 단말의 현재 뷰잉 가능한 시야각 범위인 방법.
  5. 서버에 의해서 수행되는 방법으로서,
    단말이 관심 영역의 위치 정보를 업데이트하기 위하여 단말에 의해 설정된 주기에 따른 제1 주기에서 상기 단말의 제1 관심 영역의 제1 위치 정보를 포함하는 비디오 슬라이스 요청 메시지를 상기 단말로부터 수신하는 단계;
    상기 제1 위치 정보에 따라 상기 제1 관심 영역에 대응하는 제1 파노라마 비디오 슬라이스를 획득하는 단계;
    상기 제1 파노라마 비디오 슬라이스를 상기 단말로 송신하는 단계;
    상기 단말로부터 상기 설정된 주기에 따른 제2 주기에서의 제2 관심 영역의 제2 위치 정보를 수신하는 단계; - 상기 제2 관심 영역은 상기 제1 주기에서의 상기 단말의 회전 방향, 회전 각 및 변위 가속도에 기반하여 추정됨-;
    상기 제2 관심 영역의 제2 위치 정보에 따라 제2 파노라마 비디오 슬라이스를 획득하는 단계; 및
    상기 제2 파노라마 비디오 슬라이스를 캐시에 저장하는 단계를 포함하는 방법.
  6. 제 5 항에 있어서,
    상기 제1 관심 영역에 대응하는 제1 파노라마 비디오 슬라이스를 획득하는 단계는,
    상기 제1 위치 정보에 대응하는 제1 파노라마 비디오 슬라이스가 상기 캐시에 존재 하는지의 여부를 결정하는 단계; 및
    상기 제1 파노라마 비디오 슬라이스가 상기 캐시에 존재하는 경우, 상기 캐시로부터 상기 제1 파노라마 비디오 슬라이스를 판독하고,
    상기 제1 파노라마 비디오 슬라이스가 상기 캐시에 존재하지 않는 경우, 상기 제1 파노라마 비디오가 있는 외부 메모리로부터 상기 제1 파노라마 비디오 슬라이스를 획득하는 단계를 포함하는 방법.
  7. 제 5 항에 있어서,
    상기 제1 위치 정보는 상기 제1 관심 영역의 중심점의 x 좌표, 상기 제1 관심 영역의 중심점의 y 좌표, 상기 제1 관심 영역의 길이 값, 및 상기 제1 관심 영역의 폭 값을 포함하는 방법.
  8. 제 5 항에 있어서,
    상기 제1 관심 영역의 시야각 범위는 상기 단말의 현재 뷰잉 가능한 시야각 범위인 방법.
  9. 무선 통신 시스템에서 단말로서,
    트랜시버; 및
    상기 트랜시버와 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는:
    관심 영역의 위치 정보를 업데이트하는 주기를 설정하고,
    상기 설정된 주기에 따른 제1 주기에서 제1 관심 영역의 제1 위치 정보를 결정하고,
    상기 제1 위치 정보를 이용하여 상기 제1 관심 영역의 비디오 정보를 서버에 요청하고,
    상기 제1 주기에서 상기 단말의 회전 방향, 회전 각 및 변위 가속도를 캡처하고,
    상기 제1 주기에서 캡처한 상기 단말의 회전 방향, 회전 각 및 변위 가속도에 기반하여 상기 설정된 주기에 따른 제2 주기에서의 제2 관심 영역을 추정하고, 및
    상기 트랜시버가 상기 제1 위치 정보에 기초하여 획득되는 상기 제1 관심 영역에 대응하는 제1 파노라마 비디오 슬라이스를 상기 서버로부터 수신하고, 상기 제2 관심 영역에 대응하는 제2 파노라마 비디오 슬라이스를 계산하기 위하여 상기 제2 관심 영역의 제2 위치 정보를 상기 서버로 전송하도록 제어하는 단말.
  10. 제9항에 있어서, 상기 적어도 하나의 프로세서는
    제 2 항 내지 제 4 항 중 어느 한 항의 방법의 동작들을 더 수행하도록 구성되는 단말.
  11. 무선 통신 시스템에서 서버로서,
    트랜시버; 및
    상기 트랜시버와 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 트랜시버가 관심 영역의 위치 정보를 업데이트하기 위하여 단말에 의해 설정된 주기에 따른 제1 주기에서 상기 단말의 제1 관심 영역의 제1 위치 정보를 포함하는 비디오 슬라이스 요청 메시지를 상기 단말로부터 수신하도록 제어하고,
    상기 제1 위치 정보에 따라 상기 제1 관심 영역에 대응하는 제1 파노라마 비디오 슬라이스를 획득하고,
    상기 트랜시버가 상기 제1 파노라마 비디오 슬라이스를 상기 단말에 송신하고, 상기 단말로부터 상기 설정된 주기에 따른 제2 주기에서의 제2 관심 영역의 제2 위치 정보를 수신하도록 제어하고,
    상기 제2 관심 영역의 제2 위치 정보에 따라 제2 파노라마 비디오 슬라이스를 획득하고, 및
    상기 제2 파노라마 비디오 슬라이스를 캐시에 저장하도록 구성되고,
    상기 제2 주기의 제2 관심 영역은 상기 제1 주기에서의 상기 단말의 회전 방향, 회전 각 및 변위 가속도에 기반하여 추정되는 서버.
  12. 제11항에 있어서, 상기 적어도 하나의 프로세서는
    제 6 항 내지 제 8 항 중 어느 한 항의 방법의 동작들을 더 수행하도록 구성되는 서버.
  13. 삭제
  14. 삭제
KR1020197004116A 2016-07-12 2017-07-12 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템 KR102363364B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610547764.1 2016-07-12
CN201610547764.1A CN106101847A (zh) 2016-07-12 2016-07-12 全景视频交互传输的方法和系统
PCT/KR2017/007483 WO2018012888A1 (en) 2016-07-12 2017-07-12 Method and system for interactive transmission of panoramic video

Publications (2)

Publication Number Publication Date
KR20190031504A KR20190031504A (ko) 2019-03-26
KR102363364B1 true KR102363364B1 (ko) 2022-02-15

Family

ID=57219839

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197004116A KR102363364B1 (ko) 2016-07-12 2017-07-12 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템

Country Status (5)

Country Link
US (1) US10693938B2 (ko)
EP (1) EP3473008A4 (ko)
KR (1) KR102363364B1 (ko)
CN (1) CN106101847A (ko)
WO (1) WO2018012888A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616557B (zh) * 2016-12-13 2022-01-25 中兴通讯股份有限公司 一种全景视频传输方法、装置、终端、服务器及系统
CN108271084B (zh) * 2016-12-30 2021-06-15 华为技术有限公司 一种信息的处理方法及装置
CN108282449B (zh) * 2017-01-06 2020-10-09 华为技术有限公司 一种应用于虚拟现实技术的流媒体的传输方法和客户端
CN108693953A (zh) * 2017-02-28 2018-10-23 华为技术有限公司 一种增强现实ar投影方法及云端服务器
CN108632631B (zh) * 2017-03-16 2020-08-07 华为技术有限公司 一种全景视频中视频分片的下载方法和装置
CN106961622B (zh) * 2017-03-30 2020-09-25 联想(北京)有限公司 一种显示处理方法及装置
US10587800B2 (en) * 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
CN107194865A (zh) * 2017-04-26 2017-09-22 微景天下（北京）科技有限公司 一种全景图片在vr头显中的显示方法及装置
CN108810427B (zh) * 2017-05-02 2020-12-04 北京大学 基于视点的全景视频内容表示的方法及装置
CN108495148B (zh) * 2018-04-02 2021-07-20 四川隧唐科技股份有限公司 图像数据加载方法及装置
CN108777809B (zh) * 2018-04-11 2020-08-21 中国科学院信息工程研究所 一种全景视频分片移动网络缓存方法及系统、全景视频下载方法
CN108683842B (zh) * 2018-04-25 2021-06-04 影石创新科技股份有限公司 一种全景相机及输出全景视频的方法和装置
CN110708566A (zh) * 2018-07-09 2020-01-17 上海交通大学 基于节点计算的全景视频传输方法及系统
CN110798707B (zh) * 2018-08-02 2023-06-16 华为技术有限公司 传输媒体数据的方法、客户端和服务器
CN111163306B (zh) 2018-11-08 2022-04-05 华为技术有限公司 一种vr视频处理的方法及相关装置
CN111225293B (zh) * 2018-11-23 2023-10-03 深圳市中兴微电子技术有限公司 一种视频数据处理方法、装置以及计算机存储介质
CN109862019B (zh) * 2019-02-20 2021-10-22 联想(北京)有限公司 数据处理方法、装置以及系统
CN115134604A (zh) * 2021-03-26 2022-09-30 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质
CN113411557B (zh) * 2021-05-11 2022-03-18 复旦大学 适用于蜂窝网络的vr全景视频优化传输方法
CN113645500B (zh) * 2021-10-15 2022-01-07 北京蔚领时代科技有限公司 虚拟现实视频流数据处理系统
CN114567742A (zh) * 2021-12-27 2022-05-31 影石创新科技股份有限公司 全景视频的传输方法、装置及存储介质
CN114650453B (zh) * 2022-04-02 2023-08-15 北京中庆现代技术股份有限公司 应用于课堂录播中的目标追踪方法、装置、设备以及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021353A1 (en) * 2000-06-09 2002-02-21 Denies Mark Streaming panoramic video

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466254B1 (en) * 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
WO2004004363A1 (ja) 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
KR100700218B1 (ko) 2004-08-13 2007-03-27 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
US8264524B1 (en) * 2008-09-17 2012-09-11 Grandeye Limited System for streaming multiple regions deriving from a wide-angle camera
AU2011331972B2 (en) * 2010-11-24 2016-07-07 Google Llc Rendering and navigating photographic panoramas with depth information in a geographic information system
US8970666B2 (en) * 2011-09-16 2015-03-03 Disney Enterprises, Inc. Low scale production system and method
US20130141526A1 (en) 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
CN202652420U (zh) 2012-04-17 2013-01-02 北京明科全讯技术有限公司 一种全景监控系统
US9245373B2 (en) * 2012-12-04 2016-01-26 Nintendo Co., Ltd. Caching in map systems for displaying panoramic images
WO2014087297A1 (en) * 2012-12-05 2014-06-12 Koninklijke Philips N.V. Enabling a user to navigate through image data
EP2824883A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
US10447746B2 (en) * 2013-07-26 2019-10-15 Futurewei Technologies, Inc. System and method for spatial adaptation in adaptive streaming
EP3028472B1 (en) * 2013-07-29 2020-02-26 Koninklijke KPN N.V. Providing tile video streams to a client
EP2852149A1 (en) * 2013-09-20 2015-03-25 Alcatel Lucent Method and apparatus for generation, processing and delivery of 3D video
CN103945165A (zh) * 2014-05-05 2014-07-23 北京领通科技有限公司 终端设备远程视频传输的处理方法和装置
EP3162074A1 (en) * 2014-06-27 2017-05-03 Koninklijke KPN N.V. Determining a region of interest on the basis of a hevc-tiled video stream
JP6558587B2 (ja) 2014-07-18 2019-08-14 ソニー株式会社 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
US20160050349A1 (en) * 2014-08-15 2016-02-18 Sony Corporation Panoramic video
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
JP6741012B2 (ja) * 2015-10-08 2020-08-19 コニカミノルタ株式会社 超音波診断装置、及び超音波信号処理方法
CN105323552B (zh) * 2015-10-26 2019-03-12 北京时代拓灵科技有限公司 一种全景视频播放方法及系统
KR102171119B1 (ko) * 2015-11-05 2020-10-28 삼성전자주식회사 복수개의 블록 기반의 파이프라인을 이용한 데이터 처리 속도 개선 장치 및 그 동작 방법
KR102618049B1 (ko) * 2016-02-02 2023-12-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 비디오 스트리밍의 관심 장면 섹션 및 영역 처리
US10681326B2 (en) * 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
WO2017210444A1 (en) * 2016-06-02 2017-12-07 Comet Technologies, Llc Method and apparatus for streaming panoramic video
ES2883151T3 (es) * 2016-10-12 2021-12-07 Koninklijke Kpn Nv Procesamiento de datos de vídeo esféricos sobre la base de una zona de interés

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021353A1 (en) * 2000-06-09 2002-02-21 Denies Mark Streaming panoramic video

Also Published As

Publication number Publication date
KR20190031504A (ko) 2019-03-26
US10693938B2 (en) 2020-06-23
CN106101847A (zh) 2016-11-09
EP3473008A1 (en) 2019-04-24
US20190289055A1 (en) 2019-09-19
WO2018012888A1 (en) 2018-01-18
EP3473008A4 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
KR102363364B1 (ko) 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템
US10712555B2 (en) Streaming virtual reality video
US11706403B2 (en) Positional zero latency
US20200288097A1 (en) Method, apparatus, medium, terminal, and device for multi-angle free-perspective interaction
US9965026B2 (en) Interactive video display method, device, and system
JP6131950B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR102492565B1 (ko) 가상 현실 미디어 컨텐츠의 패키징 및 스트리밍을 위한 방법 및 장치
WO2018059034A1 (zh) 一种全景视频播放方法及装置
US20120293613A1 (en) System and method for capturing and editing panoramic images
US20220321858A1 (en) Methods, systems, and media for rendering immersive video content with foveated meshes
CN111669561B (zh) 多角度自由视角图像数据处理方法及装置、介质、设备
CN105939497A (zh) 媒体串流系统及媒体串流方法
KR20160095058A (ko) 카메라 모션에 의해 손상된 비디오 프레임의 처리
CN111669518A (zh) 多角度自由视角交互方法及装置、介质、终端、设备
JPWO2015122052A1 (ja) 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体
KR102503337B1 (ko) 이미지 디스플레이 방법, 장치 및 시스템
US11622099B2 (en) Information-processing apparatus, method of processing information, and program
CN113515193A (zh) 一种模型数据传输方法及装置
JP7176348B2 (ja) 画像出力システム、方法、およびプログラム
US20230069407A1 (en) Remote operation apparatus and computer-readable medium
CN111669569A (zh) 一种视频生成方法及装置、介质、终端
WO2021083150A1 (zh) 变焦方法、装置、飞行器、飞行系统及存储介质
EP3635958B1 (en) Image processing device and system
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质
WO2019100247A1 (zh) 应用于虚拟现实的图像显示方法、装置、设备及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant